# Braintrust Braintrust は、本番環境の AI の挙動を追跡し、評価を実行して、ユーザーに影響が及ぶ前にリグレッションを検出できる AI オブザーバビリティプラットフォームです。トレース、データセット、スコアリング、ワークフローツールで AI 製品の開発・運用を支援します。 - Findings24: - ウェブサイト: - 料金: Freemium - カテゴリー: AI開発者ツール, AIオブザーバビリティ, AIテストアシスタント ## Braintrustとは？ Braintrustは、運用中の挙動をトレースし、モデル品質を評価し、ユーザーに届く前に回帰を検出したいチーム向けのAI observabilityプラットフォームです。サイトでは、オフラインテストだけに頼るのではなく、本番で実際に何が起きたかを理解するためのシステムとして位置づけられています。 この製品は、トレースの検査、evals、自動化、ワークフロー用ツールを組み合わせています。チームはアプリケーションに計測を組み込み、プロンプトやツール呼び出しを検査し、モデルやプロンプトを比較し、実際の失敗からデータセットを構築し、Topicsのような本番シグナルを使って継続的な改善を導けます。 ## Braintrustでできること ### 本番トレースの可観測性 各AI呼び出しについて、プロンプト、応答、ツール呼び出し、レイテンシ、コスト、リクエストメタデータを確認できます。UIは、本番挙動を検証し、実際のトレースから問題を見つけるために設計されています。 ### Evalsとスコアリング データセットに対して実験を実行し、LLM、コード、人間を使って出力をスコアリングできます。リリース前に品質を定義し、プロンプトやモデルを並べて比較するためのevalとして位置づけられています。 ### Topicsによるパターン発見 Topicsを使って実際のトラフィックに繰り返し現れるパターンを可視化し、それらのパターンを評価やアラートに変換できます。価格ページとホームページの文言では、Topicsは本番ログ内のドメイン固有の問題を分類・発見する方法として説明されています。 ### データセットとレビュー ワークフロー 本番トレースを回帰テスト用のデータセットに変換し、独自のフロントエンドコードを構築せずに人間のレビュー用ワークフローを作成できます。サイトでは、データセット、playground、カスタム注釈インターフェースも強調されています。 ### CLI、SDK、MCPアクセス CLI、SDK、MCPサーバーを使って、アプリの計測、ログのクエリ、evalの実行、開発ツールからのプロンプト更新ができます。ドキュメントでは、コーディングエージェントのワークフロー向けに、再現可能なセットアップとスクリプト化を重視しています。 ### チーム向けガバナンス制御 チームの成長に合わせて、トレースビュー、チャート、環境、アクセス制御をカスタマイズできます。価格ページには、保存済みテーブルビュー、カスタム列、カスタムチャート、環境、RBAC、SSO、MFA、データ保持制御が上位ティアで用意されていると記載されています。 ## 利用シーン ### 本番のAI挙動をトレースする AIアプリケーションに計測を組み込み、すべての呼び出しがBraintrustにトレースを書き込むようにしてから、Logsビューでプロンプト、出力、ツール呼び出し、トークン数、レイテンシ、コストを確認します。 ### プロンプトとモデルの品質を測定する 実際のデータセットからevalを作成し、プロンプトとモデルを並べて比較し、変更をリリースする前にLLM、コード、人間のレビュアーで出力をスコアリングします。 ### ライブトラフィックから回帰を見つける Topicsを使って本番ログ内の繰り返し現れるパターンを可視化し、新しい回帰が現れたときにそれらのパターンをeval、品質ゲート、またはアラートに変換します。 ### 実際の失敗から回帰テストを構築する 実際のトレースからデータセットとカスタムレビューのフローを作成し、チームがエッジケースに対してテストし、タスクに合ったワークフローで出力をレビューできるようにします。 ### 開発ツールからBraintrustを運用する CLI、SDK、またはMCPサーバーを使って、エンジニアリングツールやエージェントのワークフローからログをクエリし、evalを実行し、プロンプトを管理します。 ## よくある質問 ### Braintrustはどのように使い始めますか？ Braintrustは、CLIをインストールし、アプリに計測を組み込み、その後BraintrustのUIでトレースを確認することでセットアップします。クイックスタートでは\`bt\`をインストールするセットアップスクリプトが示され、計測の手順が案内されています。また、ドキュメントでは、evalの実行、ログのクエリ、データ同期などの再現可能な作業に\`bt\` CLIを使う方法も説明されています。 ### トレースでは何が表示されますか？ トレースのクイックスタートによると、アプリに計測を組み込むと、すべてのAI呼び出しのトレースが記録されます。UIでは、入力プロンプトとモデル出力の全体、トークン数、レイテンシ、コスト、モデル設定、リクエスト／レスポンスのメタデータを確認できます。 ### Braintrustはどのようなワークフローをサポートしていますか？ ドキュメントでは、Braintrustはトレースの収集、ログの分析、人間のフィードバックの追加、データセットの構築、実験による変更テスト、本番監視をしながらのリリースのためのプラットフォームとして紹介されています。ワークフローは、トレースの収集、パターンの発見、フィードバックの追加、変更のテスト、そして本番監視を中心に構成されています。 ### どの言語と統合がサポートされていますか？ ドキュメントと価格ページでは、ネイティブSDKを通じてPython、TypeScript、Go、Ruby、C\#などに対応していること、さらにAIプロバイダー、フレームワーク、開発者向けツールとの統合に対応していることが示されています。統合ページでは、フレームワークに依存しない利用と、MCPおよびCLIを通じた開発者ツールのワークフローも案内されています。 ### Braintrustには無料プランがありますか？ Braintrustには、無料のStarterプラン、有料のProプラン、カスタムのEnterprise価格があります。価格ページには、処理データとスコアに連動した従量課金のオプションに加え、上位プランで利用できるカスタムチャート、RBAC、高い保持期間などの機能も表示されています。 ## クイック情報 - **カテゴリ**: AI observabilityプラットフォーム - **主な用途**: AI製品のトレース、evals、回帰検出 - **アクセス方法**: Webアプリ、CLI、SDK、MCPサーバー - **対応SDK言語**: Python、TypeScript、Go、Ruby、C\#、その他 - **価格モデル**: 無料のStarterプラン、有料のProプラン、カスタムのEnterprise価格 - **Webサイト**: braintrust.dev