Basalt

Basaltは、接続された観測データソースから会話を取り込み、夜間にそれらを分析し、繰り返し発生する失敗パターンを、対象を絞ったPRに変換します。ホームページでは、プロンプト更新、tool definition の変更、または system instruction の変更を生成し、PRを開く前に golden dataset に対して修正を検証できると説明しています。

ホームページでは、接続先として Langfuse、Braintrust、Datadog、そして custom trace source が明示されています。Basaltは、手動のアノテーションを必要とせず、これらのソースの traces を使って動作すると説明されています。

Basaltは、実際のユーザー会話から agent の挙動を改善することを目的としています。ページでは、失敗パターンを見つけたときに変更対象となる部分として、system prompts、tool definitions、few-shot examples が強調されています。

ホームページでは、BasaltはPRを開く前に fixes を golden dataset に対して実行し、regressions が出た場合はPRをブロックすると説明されています。また、主なワークフローには LLM-as-a-judge も手動アノテーションもないと記載されています。

pricing セクションでは、PRをマージしたときにのみ料金が発生し、最初の3件のPRは無料で、サブスクリプションや契約の縛りはないと説明されています。また、料金はリポジトリごとのマージ済みPR1件あたりに適用され、月に20件以上のPRをマージするチーム向けには volume discounts があると記載されています。