Basalt

Basaltは、実際のユーザー対話を分析し、失敗パターンを検出して、検証済みのpull requestを生成することで、AI agentsの改善を支援します。観測データでagentの挙動を監視しているチーム向けです。

AIエージェント開発 AI開発者ツール AIテストQA 監視・ログ管理プログラミングエージェント

概要

Basaltは、実際のユーザー対話から AI agents を改善するための製品です。観測データや trace のソースに接続し、前日の会話を読み取り、agent の挙動を調整すべき箇所を示す、繰り返し発生する失敗パターンを特定します。

問題を見つけると、Basaltはプロンプト、tool definition、または system instruction を変更できる、対象を絞った pull request を生成します。PRを開く前に、提案された修正は golden dataset に対して検証され、既存の挙動に regression がないか確認されます。

機能

観測ツールからの trace 取り込み

Langfuse、Braintrust、Datadog、または custom trace source に接続し、夜間の定期実行で会話データを自動的に取り込みます。

失敗パターン分析

Claude を使って会話をクラスタリングし、失敗パターンを検出し、どの対話が品質ギャップを示しているかを特定します。

自動修正生成

検出された問題に基づいて、プロンプト、tool definition、または system instruction を更新できる、焦点を絞ったPRを生成します。

golden dataset による検証

各生成された修正をPR公開前に golden dataset に対して実行し、regressions を生む変更をブロックします。

挙動駆動のワークフロー

LLM-as-a-judge や手動アノテーションに依存しない、自動レビューのループとしてこの製品を位置づけます。

日次改善サイクル

前日のユーザー挙動から毎朝1件の高品質なPRを送信し、ワークフローを最新の対話に結びつけます。

ユースケース

本番会話のレビュー
すでに観測ツールに traces を記録しているチームは、それらのソースを接続して、Basalt に夜間の会話スキャンを任せ、繰り返し発生するエラーを検出できます。
繰り返し発生する失敗パターンの修正
同じ誤解や tool 使用ミスが繰り返し発生する場合、Basalt は影響を受けている挙動パターンを対象にした、焦点を絞ったPRを生成できます。
既存挙動の保護
期待される挙動のために golden datasets を管理しているチームは、Basalt の検証ステップを使って、提案された修正が既知の良好ケースを regression させないか確認できます。
agent 改善案の作成
すべての変更を手作業で書かずに prompt や tool の更新を行いたい組織は、実際のユーザー挙動に基づいて Basalt に修正案を提案させることができます。
日次レビューサイクルでの変更の整理
軽量な改善ループを求めるチームは、すべての対話を手作業で仕分ける代わりに、毎日の1件のPRを確認できます。

Pros and Cons

Pros

実際のユーザー挙動を、手動アノテーションに頼らず具体的なコードやプロンプトの変更に変換します。
提案された修正をPRを開く前に golden dataset で確認するため、regressions を早期に検出しやすくなります。
プロンプト、tool definitions、few-shot examples など、複数種類の agent 更新をサポートします。
名前付きの観測ツールと custom trace source に接続できるため、既存の tracing ワークフローに組み込みやすくなっています。
前日の対話をシグナルとして使うので、改善ループを最新の本番挙動に結びつけたままにできます。

Cons

公開ページでは、マージされたPRベースのモデルと最初の3件のPR無料以外の詳細な料金体系は説明されていません。
ホームページで名前が挙がっている統合先は少数に限られており、より広い互換性についてはここでは十分に文書化されていません。
ワークフローは夜間分析と毎朝1件のPRに中心が置かれているため、即時介入を求めるチームには合わない可能性があります。

FAQ

Basaltはユーザーとの対話をどのように更新に変換しますか？

Basaltは、接続された観測データソースから会話を取り込み、夜間にそれらを分析し、繰り返し発生する失敗パターンを、対象を絞ったPRに変換します。ホームページでは、プロンプト更新、tool definition の変更、または system instruction の変更を生成し、PRを開く前に golden dataset に対して修正を検証できると説明しています。

Basaltはどの trace source をサポートしていますか？

ホームページでは、接続先として Langfuse、Braintrust、Datadog、そして custom trace source が明示されています。Basaltは、手動のアノテーションを必要とせず、これらのソースの traces を使って動作すると説明されています。

Basaltはagentのどの部分を改善できますか？

Basaltは、実際のユーザー会話から agent の挙動を改善することを目的としています。ページでは、失敗パターンを見つけたときに変更対象となる部分として、system prompts、tool definitions、few-shot examples が強調されています。

Basaltは修正が既存の挙動を壊さないことをどのように確認しますか？

ホームページでは、BasaltはPRを開く前に fixes を golden dataset に対して実行し、regressions が出た場合はPRをブロックすると説明されています。また、主なワークフローには LLM-as-a-judge も手動アノテーションもないと記載されています。

Basaltの料金体系はどのようになっていますか？

pricing セクションでは、PRをマージしたときにのみ料金が発生し、最初の3件のPRは無料で、サブスクリプションや契約の縛りはないと説明されています。また、料金はリポジトリごとのマージ済みPR1件あたりに適用され、月に20件以上のPRをマージするチーム向けには volume discounts があると記載されています。

Quick Facts

カテゴリ: AI開発ツール
主な用途: ユーザー対話から AI agents を改善すること
ワークフロー: 夜間の trace 分析と毎朝1件のPR
対応ソース: Langfuse、Braintrust、Datadog、custom trace sources
料金形態: マージ済みPRごとの課金、最初の3件のPRは無料
ソースドメイン: getbasalt.ai