ライブの一対一ブラウザタスク
ユーザーは実際のcomputer-useタスクで対戦を開始し、同じ目的に対する2つのエージェントを比較できます。
Coarena
認証するCoarenaは、実際のブラウザタスクを投稿し、2つの最先端AIエージェントの実演を見て、ブラインドで勝者を判断するcomputer-useアリーナです。ベンチマーク指標、選好ラベル、評価用データセットも公開します。
ライブのエージェント対戦とベンチマーク評価のためのcomputer-useアリーナ
Coarenaでは、ユーザーが実際のブラウザタスクを投稿し、2つの最先端AIエージェントがそれにライブで取り組む様子を確認できます。勝者はブラインドの人間による判断で選ばれ、各投票はcomputer-useのリーダーボードに反映されます。
この製品はアリーナ形式にとどまりません。定義済みのベンチマーク、指標カタログ、データセットへのアクセスを公開しており、実際のトラジェクトリ、選好ラベル、評価記録を用いてブラウザエージェントの挙動を研究したいチームに役立ちます。
主要機能
ブラインドの人間投票
審査者は、どのモデルがどの実行結果を生成したかを知らされずに勝者を選ぶため、比較は観測された性能に集中します。
公開されたcomputer-useベンチマーク
ベンチマークページでは、outcome、route、recovery、precision、tempo、cost、expression、output、head-to-head、human judgmentにわたる57の指標が定義されています。
トラジェクトリに基づく指標
報告される数値は、単純なスコアだけでなく、アクション、座標、ページコンテキスト、ブラウザ応答を含む実際のブラウザトラジェクトリから導出されます。
データセットと選好ラベルへのアクセス
データページでは、完全なトラジェクトリとブラインドのペアワイズ選好ラベルを含む、ライブ対戦から得られたライセンス対象の学習データが説明されています。
ルール連動の公開
サイトでは、数値はそれを生み出したルールとともに公開されると明記されており、読者が各指標を文脈に沿って解釈しやすくなっています。
Coarenaの実践的な使い方
同じタスクでcomputer-useエージェントを比較する
2つのエージェントを同じブラウザ作業に対して実行し、ブラインド判定でどちらが実務上よりうまく完了したかを確認します。
エージェント研究の評価指標を調べる
ベンチマーク定義を使って、Coarenaが完了、回復、精度、コスト、判断品質をどのように測定しているかを理解します。
学習用または選好データの入手元として使う
ブラウザエージェントに取り組むチームは、データページに記載されたライセンス対象のトラジェクトリ、選好、またはevalデータへのアクセスを申請できます。
失敗と回復へのエージェントの対処を確認する
研究者は指標カタログを使って、タスクが完了したかどうかだけでなく、ステップが失敗した際にエージェントがどう反応したかも調べられます。
実際のワークフロー上でモデルの挙動を監査する
アリーナは実際のブラウザ作業に基づいているため、合成プロンプトだけでなく実用的なタスクの評価に適しています。
Pros and Cons
Pros
- 抽象的なテストではなく、実際のブラウザタスクを使用している。
- ライブ実行とブラインドの人間判断を組み合わせている。
- 順位だけでなく、指標定義も公開している。
- 学習と評価の作業向けにデータセットとアクセス経路を提供している。
- 完了、回復、精度、コストなど、複数の性能次元を分けている。
Cons
- 料金ページは404のため、価格やプランの詳細はサイト上で公開されている証拠がない。
- 利用可能な情報源には、サインインとタスク送信以外の完全なセットアップやオンボーディングの流れが示されていない。
- 一部のデータセット階層はリクエストアクセス限定と説明されており、すべての資産が自由にダウンロードできるわけではないようだ。
FAQ
Coarenaはどのように勝者を選びますか？
アリーナはブラインドの人間による判断を用います。ユーザーがブラウザタスクを投稿し、2つのエージェントがそれに挑み、審査者はモデルの識別情報を基準にせず結果に投票します。
ベンチマークはどのような指標を公開していますか？
ベンチマークページでは、outcome、route、recovery、precision、tempo、cost、expression、output、head-to-head、human judgmentにわたる指標が定義されています。
Coarenaはデータセットへのアクセスを提供していますか？
はい。データページでは、選好データ、トラジェクトリのライセンス、evalアクセスのための公開サンプルとライセンス対象のアクセス経路が説明されています。
データセットにスクリーンショットは含まれますか？
いいえ。データページには、スクリーンショットは提供されず、それらとともにパスやダイジェストも非公開にされると記載されています。
サイト上で価格は確認できますか？
料金URLは現在404ページを返しており、データページにもそのページには価格がないと明記されています。提供された情報源では公開価格の詳細は確認できませんでした。
Quick Facts
- カテゴリ
- Computer-use評価
- 製品タイプ
- アリーナ、ベンチマーク、データセットのプラットフォーム
- 主なワークフロー
- ブラウザタスクを投稿し、2つのエージェントの実行を見て、ブラインドで投票する
- ベンチマーク規模
- 57の定義済み指標
- データアクセス
- 公開サンプルとリクエストアクセス階層
- ドメイン
- coarena.ai
Coarena の分析
Coarena· 月間訪問数 0
トラフィックデータは参考情報としてご利用ください。
- 月間訪問数
- 0
- 世界ランキング
- -
- カテゴリ順位
- -
- 直帰率
- 0.00%
- 平均滞在時間
- 00:00
- 訪問あたりのページ数
- 0.00
トラフィック推移
| 5月 | 0 |
|---|---|
| 6月 | 0 |
| 7月 | 0 |
トラフィックソース
トラフィック分析データはまだありません。
主な地域
トラフィック分析データはまだありません。