# Basalt 実際のユーザーインタラクションを分析し、失敗パターンの検出と検証済みプルリクエスト生成でAIエージェントを改善。 - Findings24: - ウェブサイト: - 料金: Freemium - カテゴリー: AIコードアシスタント, AIオブザーバビリティ, AIテストアシスタント ## Basaltとは？ Basaltは、実際のユーザー対話から AI agents を改善するための製品です。観測データや trace のソースに接続し、前日の会話を読み取り、agent の挙動を調整すべき箇所を示す、繰り返し発生する失敗パターンを特定します。 問題を見つけると、Basaltはプロンプト、tool definition、または system instruction を変更できる、対象を絞った pull request を生成します。PRを開く前に、提案された修正は golden dataset に対して検証され、既存の挙動に regression がないか確認されます。 ## Basaltでできること ### 観測ツールからの trace 取り込み Langfuse、Braintrust、Datadog、または custom trace source に接続し、夜間の定期実行で会話データを自動的に取り込みます。 ### 失敗パターン分析 Claude を使って会話をクラスタリングし、失敗パターンを検出し、どの対話が品質ギャップを示しているかを特定します。 ### 自動修正生成 検出された問題に基づいて、プロンプト、tool definition、または system instruction を更新できる、焦点を絞ったPRを生成します。 ### golden dataset による検証 各生成された修正をPR公開前に golden dataset に対して実行し、regressions を生む変更をブロックします。 ### 挙動駆動のワークフロー LLM-as-a-judge や手動アノテーションに依存しない、自動レビューのループとしてこの製品を位置づけます。 ### 日次改善サイクル 前日のユーザー挙動から毎朝1件の高品質なPRを送信し、ワークフローを最新の対話に結びつけます。 ## 利用シーン ### 本番会話のレビュー すでに観測ツールに traces を記録しているチームは、それらのソースを接続して、Basalt に夜間の会話スキャンを任せ、繰り返し発生するエラーを検出できます。 ### 繰り返し発生する失敗パターンの修正 同じ誤解や tool 使用ミスが繰り返し発生する場合、Basalt は影響を受けている挙動パターンを対象にした、焦点を絞ったPRを生成できます。 ### 既存挙動の保護 期待される挙動のために golden datasets を管理しているチームは、Basalt の検証ステップを使って、提案された修正が既知の良好ケースを regression させないか確認できます。 ### agent 改善案の作成 すべての変更を手作業で書かずに prompt や tool の更新を行いたい組織は、実際のユーザー挙動に基づいて Basalt に修正案を提案させることができます。 ### 日次レビューサイクルでの変更の整理 軽量な改善ループを求めるチームは、すべての対話を手作業で仕分ける代わりに、毎日の1件のPRを確認できます。 ## よくある質問 ### Basaltはユーザーとの対話をどのように更新に変換しますか？ Basaltは、接続された観測データソースから会話を取り込み、夜間にそれらを分析し、繰り返し発生する失敗パターンを、対象を絞ったPRに変換します。ホームページでは、プロンプト更新、tool definition の変更、または system instruction の変更を生成し、PRを開く前に golden dataset に対して修正を検証できると説明しています。 ### Basaltはどの trace source をサポートしていますか？ ホームページでは、接続先として Langfuse、Braintrust、Datadog、そして custom trace source が明示されています。Basaltは、手動のアノテーションを必要とせず、これらのソースの traces を使って動作すると説明されています。 ### Basaltはagentのどの部分を改善できますか？ Basaltは、実際のユーザー会話から agent の挙動を改善することを目的としています。ページでは、失敗パターンを見つけたときに変更対象となる部分として、system prompts、tool definitions、few-shot examples が強調されています。 ### Basaltは修正が既存の挙動を壊さないことをどのように確認しますか？ ホームページでは、BasaltはPRを開く前に fixes を golden dataset に対して実行し、regressions が出た場合はPRをブロックすると説明されています。また、主なワークフローには LLM-as-a-judge も手動アノテーションもないと記載されています。 ### Basaltの料金体系はどのようになっていますか？ pricing セクションでは、PRをマージしたときにのみ料金が発生し、最初の3件のPRは無料で、サブスクリプションや契約の縛りはないと説明されています。また、料金はリポジトリごとのマージ済みPR1件あたりに適用され、月に20件以上のPRをマージするチーム向けには volume discounts があると記載されています。 ## クイック情報 - **カテゴリ**: AI開発ツール - **主な用途**: ユーザー対話から AI agents を改善すること - **ワークフロー**: 夜間の trace 分析と毎朝1件のPR - **対応ソース**: Langfuse、Braintrust、Datadog、custom trace sources - **料金形態**: マージ済みPRごとの課金、最初の3件のPRは無料 - **ソースドメイン**: getbasalt.ai