实时一对一浏览器任务
用户可以在真实的 computer-use 任务上发起对战，并在同一目标下比较两个代理。
Coarena
认领Coarena 是一个用于发布真实浏览器任务、观看两个前沿 AI 代理实时对战并以盲审判定胜负的 computer-use arena，同时提供基准指标、偏好标签与数据集访问，用于 computer-use 评测。
用于实时代理对战与基准评测的 computer-use arena
Coarena 允许用户发布真实的浏览器任务，并观看两个前沿 AI 代理实时尝试完成任务。胜者由盲审的人类判断选出，每一票都会计入 computer-use 排行榜。
该产品也不仅限于 arena 形式。它发布了明确的基准、指标目录，以及数据集访问，供希望使用真实轨迹、偏好标签和评测记录来研究浏览器代理行为的团队使用。
核心能力
盲审人工投票
评审在不知道哪个模型产生了哪次运行的情况下选择胜者，这让比较更聚焦于可观察到的表现。
已发布的 computer-use 基准
基准页面定义了 57 项指标，涵盖结果、路径、恢复、精度、节奏、成本、表达、输出、一对一对战以及人类判断。
以轨迹为基础的指标
报告的数值来自真实的浏览器轨迹，包括动作、坐标、页面上下文和浏览器回复，而不是仅仅基于单一分数。
数据集与偏好标签访问
数据页面描述了来自实时对战的许可训练数据，包括完整轨迹和盲法成对偏好标签。
与规则关联的发布方式
网站说明发布的数值都附带生成这些数值的规则，帮助读者结合上下文解读每项指标。
使用 Coarena 的实际方式
在同一任务上比较 computer-use 代理
让两个代理执行相同的浏览器任务，并通过盲审判断看看在实际中谁完成得更好。
研究代理研究中的评测指标
使用基准定义来理解 Coarena 如何衡量完成度、恢复能力、精度、成本和判断质量。
获取训练或偏好数据
从事浏览器代理工作的团队可以申请访问数据页面所描述的许可轨迹、偏好或评测数据。
检查代理如何处理失败与恢复
研究人员可以使用指标目录来考察任务是否完成，也可以考察代理在某一步失败时如何响应。
审计模型在真实工作流上的行为
由于该 arena 基于真实的浏览器工作，因此它适合评估实际任务，而不仅仅是合成提示。
Pros and Cons
Pros
- 使用真实浏览器任务，而不是抽象测试。
- 将实时执行与盲审人工判断结合起来。
- 发布指标定义，而不只是一个排名。
- 为训练和评测工作提供数据集与访问路径。
- 区分完成、恢复、精度和成本等多个性能维度。
Cons
- 定价页面返回 404，因此网站上没有公开证实的定价和套餐详情。
- 现有来源未显示除登录和任务提交之外的完整设置或入门流程。
- 部分数据集层级被描述为需申请访问，因此并非所有资产看起来都可直接下载。
FAQ
Coarena 如何选出胜者？
该 arena 使用盲审的人类判断。用户发布一个浏览器任务，两个代理展开竞争，评审在不以模型身份为依据的情况下投票决定结果。
基准会发布哪些类型的指标？
基准页面定义的指标涵盖结果、路径、恢复、精度、节奏、成本、表达、输出、一对一对战以及人类判断。
Coarena 提供数据集访问吗？
是的。数据页面描述了一个公开样本，以及用于偏好数据、轨迹许可和评测访问的许可路径。
数据集中包含截图吗？
不包含。数据页面说明不会交付截图，并且与截图一起的路径和摘要也会被保留。
网站上有定价信息吗？
定价 URL 目前返回 404 页面，而且数据页面明确说明该页面没有定价信息。所提供来源中没有证实公开定价详情。
Quick Facts
- 类别
- Computer-use 评测
- 产品类型
- Arena、基准与数据集平台
- 主要流程
- 发布浏览器任务，观看两个代理执行，并进行盲投票
- 基准规模
- 57 项定义指标
- 数据访问
- 公开样本加申请访问层级
- 域名
- coarena.ai
Coarena 数据分析
Coarena· 月访问量 0
流量数据仅供参考。
- 月访问量
- 0
- 全球排名
- -
- 分类排名
- -
- 用户跳出率
- 0.00%
- 平均访问时长
- 00:00
- 每次访问页数
- 0.00
流量趋势
| 5月 | 0 |
|---|---|
| 6月 | 0 |
| 7月 | 0 |
流量来源
暂无流量分析数据。
主要访问地区
暂无流量分析数据。