Arena

Freemium

Arenaは、モデルとのチャット、出力への投票、タスク別リーダーボードの閲覧ができる公開AIモデル比較・ランキングプラットフォームです。テキスト、ビジョン、コード、検索、動画、エージェントの各タスクで最先端モデルを評価できます。

Arenaとは？

Arenaは、AIモデルを比較・ランキングできる公開プラットフォームです。最先端のモデルと会話し、応答を比較し、より良い回答に投票し、large language models、image models、code models、その他のタスク別 arena に関するコミュニティのリーダーボード形成に参加できます。

このサイトは、実世界の評価設定におけるモデルのベンチマークを行う公式リーダーボードとして位置づけられています。専用のリーダーボードページでは、text、vision、document understanding、image generation and editing、web development、search、text-to-video、image-to-video、video editing、agent タスクを扱っています。

Arenaでできること

モデルを並べて比較

ユーザーはモデルと会話し、応答を横並びで比較したうえで、より良いと思う回答に投票できます。これにより、日常的なプロンプトが公開評価ワークフローになります。

マルチモーダルなリーダーボード

Arena は、text、vision、document、image generation、image editing、web development、search、video など複数の arena にわたるリーダーボード表示を維持しています。各表示では、順位付きのモデルとスコア差が確認できます。

agent 性能ランキング

Agent Arena ページでは、ツールの信頼性、タスク完了、操作しやすさなどのシグナルを用いて、実世界の agent タスクにおけるモデルを順位付けします。これにより、会話品質だけでなく、オーケストレーションの評価にも役立ちます。

チャット履歴検索

サイトには、過去の会話を検索できるチャット履歴エリアがあり、Agent、Battles、Search、Code、Image、Video、Archived の各チャット用タブが用意されています。これにより、以前の評価や例を見返しやすくなっています。

詳細に掘り下げられるリーダーボード表示

リーダーボードページでは、概要のスナップショットと詳細ビューへのリンクが提供されているため、まず全体を素早く確認し、必要に応じて特定の arena に掘り下げることができます。

利用シーン

“チャットモデルをベンチマークする”

複数の最先端モデルの応答を比較し、特定のプロンプトに対してどの出力が最も役立つかを判断します。これは、汎用チャット品質を評価する人向けの中核的なワークフローです。

“タスクに応じてモデルを選ぶ”

vision、document understanding、search、web development、video generation の作業向けにモデルを選ぶ際は、タスク別ランキングを確認します。専用の arena により、同種同士の比較がしやすくなっています。

“agent ワークフローを評価する”

Agent Arena のリーダーボードを使って、モデルがツールをオーケストレーションし、複数ステップの作業を完了する際の性能を確認します。ランキングでは、信頼性、完了率、操作しやすさが重視されています。

“保存済みチャットを見返す”

保存済みの会話やバトルを検索し、例を見直したり、以前のプロンプトを比較したり、異なるカテゴリにまたがる過去の評価を追跡したりできます。

よくある質問

Arenaは何に使われますか？

Arenaでは、会話を開始し、モデルの応答を比較し、どの回答がより良いかに投票できます。また、保存済みチャットの検索や、agent、text、image、その他のモデルカテゴリ向けの専用リーダーボードも提供しています。

サイト上で料金は確認できますか？

公開サイトにはリーダーボードページとチャットインターフェースがありますが、`/pricing` の料金ページは現在 404 を返します。利用可能な情報に基づくと、料金の詳細は公開されていません。

チャットは非公開ですか？

表示されるホームページでは、入力は第三者のAIによって処理され、会話や一部の個人情報がAIプロバイダーに開示される場合があり、またそれ以外の方法で公開される可能性があると警告しています。共有したくない機密情報は送信しないよう案内されています。

Arenaはどのようなモデルやタスクをランキングしますか？

リーダーボードページは、text、web development、vision、document、text-to-image、image edit、image-to-webdev、search、text-to-video、image-to-video、video edit などのタスク種別ごとに整理されています。agent リーダーボードでは、ツール利用、タスク完了、信頼性、操作しやすさに関する性能が強調されています。