Braintrust

Braintrustは、CLIをインストールし、アプリに計測を組み込み、その後BraintrustのUIでトレースを確認することでセットアップします。クイックスタートでは`bt`をインストールするセットアップスクリプトが示され、計測の手順が案内されています。また、ドキュメントでは、evalの実行、ログのクエリ、データ同期などの再現可能な作業に`bt` CLIを使う方法も説明されています。

トレースのクイックスタートによると、アプリに計測を組み込むと、すべてのAI呼び出しのトレースが記録されます。UIでは、入力プロンプトとモデル出力の全体、トークン数、レイテンシ、コスト、モデル設定、リクエスト／レスポンスのメタデータを確認できます。

ドキュメントでは、Braintrustはトレースの収集、ログの分析、人間のフィードバックの追加、データセットの構築、実験による変更テスト、本番監視をしながらのリリースのためのプラットフォームとして紹介されています。ワークフローは、トレースの収集、パターンの発見、フィードバックの追加、変更のテスト、そして本番監視を中心に構成されています。

ドキュメントと価格ページでは、ネイティブSDKを通じてPython、TypeScript、Go、Ruby、C#などに対応していること、さらにAIプロバイダー、フレームワーク、開発者向けツールとの統合に対応していることが示されています。統合ページでは、フレームワークに依存しない利用と、MCPおよびCLIを通じた開発者ツールのワークフローも案内されています。

Braintrustには、無料のStarterプラン、有料のProプラン、カスタムのEnterprise価格があります。価格ページには、処理データとスコアに連動した従量課金のオプションに加え、上位プランで利用できるカスタムチャート、RBAC、高い保持期間などの機能も表示されています。