2026年 おすすめのLLM評価ツール

LLM評価ツールやベンチマーク、テスト基盤を探し、モデル品質の測定、出力比較、リスク検出、AIアプリの改善に役立てられます。

AIインフラ

このコレクションを探索

製品

Agnost AI preview
Agnost AI logo

Agnost AI

AIオブザーバビリティ

Agnost AI monitors AI agents in production by analyzing conversations, traces, user corrections, and frustration. It helps teams identify recurring failures, review suggested prompt fixes, and apply approved changes with replay-based regression coverage.

無料・有料プラン
Adaline preview
Adaline logo

Adaline

AIオブザーバビリティ

Adalineは、AIエージェントの本番ログやトレースを分析し、繰り返し発生する挙動を特定する可観測性・評価プラットフォームです。チームはその知見から評価、データセット、プロンプト改善案を作成できます。

FastRouter.ai preview
FastRouter.ai logo

FastRouter.ai

AIゲートウェイとルーティング

FastRouter.aiは、OpenAI互換APIで200以上のAIモデルへのアクセスを一元化するゲートウェイです。モデルやプロバイダーを切り替えても、アプリケーションコードを変更せずに運用できます。

無料・有料プラン
Sourcebae preview
Sourcebae logo

Sourcebae

AI採用アシスタント

Sourcebaeは、AIチームと分野専門家をつなぎ、教師ありファインチューニングやRLHF、マルチモーダルアノテーション、モデル評価に必要なデータ作成と人によるフィードバックを支援します。進捗や品質をダッシュボードで管理できます。

有料
Klavis AI preview
Klavis AI logo

Klavis AI

AIエージェント基盤

Klavis AIは、コーディングデータとツール利用データに対応したAIエージェントの学習・評価環境を提供します。

無料・有料プラン
Hamming AI preview
Hamming AI logo

Hamming AI

AIオブザーバビリティ

音声・チャットエージェント向けに、リリース前のテストや adversarial testing、運用中のモニタリングを一元化する品質保証プラットフォームです。開発チームや企業が会話の挙動とタスク完了を検証できます。

無料・有料プラン
MCPJam preview
MCPJam logo

MCPJam

AIテストアシスタント

MCPJamは、MCPサーバーのテスト、デバッグ、評価を行う開発者向けプラットフォームです。ローカル検証からモデルベースの評価、CI/CDでの回帰チェックまで対応します。

無料・有料プラン
Dynamo AI preview
Dynamo AI logo

Dynamo AI

AIオブザーバビリティ

Dynamo AIは、生成AIやエージェント型AIを評価・保護・監視・統制する企業向けプラットフォームです。導入前のリスク評価から、本番環境でのガードレール適用や監査まで支援します。

TruLens preview
TruLens logo

TruLens

AIエージェント基盤

TruLensは、AIエージェントやLLMアプリの動作を記録し、応答や個々の処理ステップを評価できるオープンソースライブラリです。開発チームはトレースから問題の原因を調べ、品質指標でアプリのバージョンを比較できます。

無料・有料プラン
TensorZero preview
TensorZero logo

TensorZero

AIゲートウェイとルーティング

TensorZeroは、LLMゲートウェイ、可観測性、評価、最適化、実験機能を統合したオープンソースのLLMOpsプラットフォームです。なお、現在はメンテナンスされておらず、関連リポジトリはアーカイブされています。

無料・有料プラン
iFixAi preview
iFixAi logo

iFixAi

LLM評価

iFixAiは、AIエージェントが権限や承認、組織の境界、証拠要件を守りながら担当業務を遂行できるかを独立して監査します。

無料・有料プラン
OverallGPT preview
OverallGPT logo

OverallGPT

LLM評価

1つの質問に対する複数のAIモデルの回答を並べて比較し、違いを確認できます。個別の回答をもとに、まとめた「Overall Answer」も表示します。

無料・有料プラン
Jev State preview
Jev State logo

Jev State

AIエージェントビルダー

Jev Stateは、エージェントの会話型意思決定を定義・検証し、判断の基準を確認できるワークスペースです。会話を回帰テストとして保存し、実行可能なTypeScriptとテストをアプリ向けに書き出せます。

無料・有料プラン
inferock-bench preview
inferock-bench logo

inferock-bench

AIゲートウェイとルーティング

inferock-benchは、LLM API呼び出しをlocalhost経由で記録し、プロバイダー報告の使用量・料金、失敗、請求整合性の兆候をローカルレシートで検証する診断プロキシです。開発者がOpenAI、Anthropic、Gemini Developer API、固定済みのOpenRouterエンドポイントの通信を調査できます。

無料・有料プラン
Oqoqo preview
Oqoqo logo

Oqoqo

LLM評価

Oqoqoは、現実的で隔離された環境でAIエージェントの実験を繰り返し実行・分析する評価プラットフォームです。チームは独自ベンチマークの構築や、エージェントとモデルの比較、失敗原因の調査に活用できます。

無料・有料プラン
ComputeArena preview
ComputeArena logo

ComputeArena

LLM評価

ComputeArenaは、チップや量子化、ランタイム別にローカルAIモデルの推論速度を測定・比較できるコミュニティ向けベンチマークディレクトリです。開発者はオフラインで計測し、署名付きレポートを確認できます。

無料・有料プラン
fez preview
fez logo

fez

AIゲートウェイとルーティング

fezは、ワークフローの文脈を確率に変換し、モデル振り分けやツール選択、エスカレーション、サポートの振り分けに活用する実験的な意思決定モデル基盤です。チームによる専用モデルの学習と評価を支援します。

無料・有料プラン
QAgent preview
QAgent logo

QAgent

AIテストアシスタント

QAgentは、開発者やアジャイルチーム向けのAIエージェント評価・品質保証プラットフォームです。エンドポイントやWebhookなどでエージェントに接続し、テストケースを自動実行して、事実に基づく回答、ポリシー遵守、プロンプトへの適合性などを評価します。

無料・有料プラン
ALIA preview
ALIA logo

ALIA

AIモデルハブ

ALIAは、アフリカの言語・文化・知識に特化したデータ基盤です。組織はテキスト、音声、文書を収集・注釈・検証し、モデルの学習や評価に活用できます。

無料・有料プラン
NovaSynth preview
NovaSynth logo

NovaSynth

AIテストアシスタント

NovaSynthは、合成ユーザーを使ってAIエージェントの音声・チャット会話を本番前にテストするプラットフォームです。ペルソナやシナリオを通じて失敗を見つけ、修正を検証できます。

無料・有料プラン