2026年 おすすめのLLM評価ツール

LLM評価ツールやベンチマーク、テスト基盤を探し、モデル品質の測定、出力比較、リスク検出、AIアプリの改善に役立てられます。

AIインフラ

このコレクションを探索

製品

Arena preview
Arena logo

Arena

AIチャットボット

テキスト、視覚、画像、動画、検索、エージェントタスクに対応した公開AIモデルランキング・比較プラットフォーム。

無料・有料プラン
Outlier AI preview
Outlier AI logo

Outlier AI

LLM評価

専門家を柔軟な案件とつなぎ、週払いに対応するリモートAIトレーニングプラットフォーム

無料・有料プラン
Artificial Analysis preview
Artificial Analysis logo

Artificial Analysis

LLM評価

モデル、プロバイダー、ハードウェアを比較できるAIベンチマーク・分析プラットフォーム。Pro、Enterprise、無料APIに対応。

無料・有料プラン
micro1 preview
micro1 logo

micro1

LLM評価

micro1は、専門家とソフトウェアを組み合わせ、AIチーム向けの学習データ作成やモデル・エージェントの評価を支援します。要件に応じた専門人材の選定から、データ制作、評価までを一貫して進められます。

無料・有料プラン
Weights & Biases preview
Weights & Biases logo

Weights & Biases

AIオブザーバビリティ

実験追跡、アーティファクト管理、GenAI トレーシング、評価に対応する機械学習・AIプラットフォーム。

無料・有料プラン
OpenTrain AI preview
OpenTrain AI logo

OpenTrain AI

LLM評価

OpenTrain AIは、事前審査済みのAIトレーナー、データラベラー、ドメイン専門家を採用できるマーケットプレイス兼マネージドサービスです。RLHF、評価、レッドチーム、アノテーション、エージェントワークフローに対応します。

無料・有料プラン
Horizon preview
Horizon logo

Horizon

LLM評価

LabelboxのRL環境製品。長期タスク向けのポストトレーニングと評価に対応。

無料・有料プラン
Scale AI preview
Scale AI logo

Scale AI

LLM評価

本番で信頼できるAIを構築するためのデータ・評価・企業向けAIツール

Langfuse preview
Langfuse logo

Langfuse

AIオブザーバビリティ

LLMアプリケーションとエージェントの追跡・評価・改善を行うオープンソースAIエンジニアリング基盤。

無料・有料プラン
SuperAnnotate preview
SuperAnnotate logo

SuperAnnotate

LLM評価

画像・動画・テキスト・音声のアノテーションと評価パイプラインを構築するAIデータ基盤。

無料・有料プラン
Pydantic preview
Pydantic logo

Pydantic

AIゲートウェイとルーティング

型安全アプリの構築、AIシステムの可観測性、出力評価、モデルルーティングを支援するAIエンジニアリングスタック

無料・有料プラン
Mindgard preview
Mindgard logo

Mindgard

AIテストアシスタント

Mindgardは、企業が導入するモデル、エージェント、AIアプリケーションの攻撃面を可視化し、敵対的テストで脆弱性を検証するAIセキュリティプラットフォームです。

無料・有料プラン
Future AGI preview
Future AGI logo

Future AGI

AIオブザーバビリティ

AIエージェントの開発・運用チーム向けに、評価、会話シミュレーション、実行時ガードレール、本番環境のトレース分析を提供します。問題の特定から原因調査まで支援します。

無料・有料プラン
Evidently AI preview
Evidently AI logo

Evidently AI

AIオブザーバビリティ

LLMアプリ、RAGシステム、AIエージェント、予測機械学習モデルを評価・テスト・監視するオープンソースのフレームワークです。開発時の品質確認から、導入後の変化やリスクの追跡まで支援します。

無料・有料プラン
Promptfoo preview
Promptfoo logo

Promptfoo

AIテストアシスタント

Promptfooは、LLMアプリケーション、エージェント、モデル、ワークフローを評価するAIセキュリティ・テスト基盤です。開発者やセキュリティチームが攻撃テストで脆弱性を見つけ、ガードレールを検証し、修正状況を追跡できます。

無料・有料プラン
Galileo preview
Galileo logo

Galileo

AIオブザーバビリティ

Galileoは、LLMアプリケーションやAIエージェントのテスト、デバッグ、ガバナンスを支援する評価・可観測性プラットフォームです。評価結果を本番監視やガードレールに結び付け、問題の検出と調査を支援します。

無料・有料プラン
DeepEval preview
DeepEval logo

DeepEval

AIテストアシスタント

DeepEvalは、LLMアプリケーションをテスト・ベンチマークするオープンソースの評価フレームワークです。開発者はpytestとPythonを使い、出力やエージェントの実行トレースを評価できます。

無料・有料プラン
huntr preview
huntr logo

huntr

LLM評価

huntrは、研究者がAIのガードレールや安全フィルターを試す、時間制のセキュリティチャレンジを提供します。参加者は目標達成を目指して競い、上位入賞者には賞金が贈られます。

無料・有料プラン
Context preview
Context logo

Context

AIエージェントビルダー

Context は、顧客インフラ上で AI エージェントを構築・デプロイ・改善できる企業向けプラットフォームです。ワークスペース、ランタイム、コンテキスト、評価ツール、コネクタ、IdP ベースのアクセス制御を備えています。

無料・有料プラン
Giskard preview
Giskard logo

Giskard

AIテストアシスタント

Giskardは、会話型LLMエージェントを導入前から運用中まで検証する、AIセキュリティ・評価プラットフォームです。自動レッドチーミングや品質評価、実行時のガードレール、修正ワークフローを通じて、信頼性の高いAIシステムを担うチームを支援します。

無料・有料プラン

よくある質問

LLM評価の製品はどう比較すればよいですか?

各製品の概要と料金体系を比較し、必要な機能、利用制限、最新のプランを公式サイトで確認してください。

機能や料金はどこで確認できますか?

ツールのカードから製品の詳細ページを開き、概要を確認できます。最新の機能、料金、利用制限は、詳細ページのリンクから公式サイトで確認してください。