# Basalt 透過分析真實使用者互動追蹤、偵測失敗模式並產生經驗證的提取要求，協助團隊改善 AI 代理。 - Findings24: - 網站: - 價格: Freemium - 分類: AI程式助手, AI 可觀測性, AI 測試助手 ## 什麼是 Basalt？ Basalt 是一款用於根據真實使用者互動改善 AI agents 的產品。它會連接到 observability 或 trace 來源，讀取前一天的對話，並找出反覆出現、指出 agent 行為需要調整的失敗模式。 當它發現問題時，Basalt 會產生一個有針對性的 pull request，可用來變更 prompt、tool definition 或 system instruction。在 PR 開啟之前，建議的修正會先用 golden dataset 驗證，以檢查既有行為是否出現 regressions。 ## Basalt 能做什麼？ ### 來自 observability 工具的 trace 匯入 可連接 Langfuse、Braintrust、Datadog 或 custom trace source，並以每晚排程自動匯入對話資料。 ### 失敗模式分析 使用 Claude 將對話分群、偵測失敗模式，並找出哪些互動反映品質缺口。 ### 自動修正生成 根據偵測到的問題產生聚焦的 PR，可更新 prompt、tool definition 或 system instruction。 ### golden dataset 驗證 在 PR 開啟前，先用 golden dataset 對每個生成的修正進行驗證，以阻擋會引入 regressions 的變更。 ### 以行為驅動的工作流程 將產品定位為自動化審查迴圈，不依賴 LLM-as-a-judge 或人工標註。 ### 每日改進循環 根據前一天的使用者行為，每天早上送出一個高品質 PR，讓流程維持與近期互動一致。 ## 使用情境 ### 檢視 production 對話 已在 observability 工具中記錄 traces 的團隊，可以連接這些來源，讓 Basalt 在夜間掃描對話中的重複錯誤。 ### 修補重複出現的失敗模式 當同一種誤解或工具使用錯誤持續出現時，Basalt 可以產生一個聚焦的 PR，針對受影響的行為模式。 ### 保護既有行為 維護 golden datasets 以對應預期行為的團隊，可以利用 Basalt 的驗證步驟，確認建議修正不會讓已知良好案例退化。 ### 草擬 agent 改進 希望在不手動撰寫每個變更的情況下更新 prompt 或 tool 的組織，可以使用 Basalt 根據真實使用者行為提出修改建議。 ### 在每日審查循環中分流變更 想要輕量化改進循環的團隊，可以每天檢視一個 PR，而不是手動整理每一次互動。 ## 常見問題 ### Basalt 如何將使用者互動轉換為更新？ Basalt 會從已連結的 observability 來源擷取對話、在夜間分析，並將重複出現的失敗模式轉換為具體的 PR。首頁說明它可以產生 prompt 更新、tool definition 變更或 system instruction 變更，然後在開啟 PR 前先用 golden dataset 驗證修正內容。 ### Basalt 支援哪些 trace 來源？ 首頁明確列出 Langfuse、Braintrust、Datadog，以及 custom trace source 作為可連接選項。Basalt 的設計是使用這些來源的 traces，而不是依賴人工標註。 ### Basalt 可以改善 agent 的哪些部分？ Basalt 的定位是根據真實使用者對話來改善 agent 行為。頁面強調它可以在找到失敗模式時變更 system prompts、tool definitions 和 few-shot examples。 ### Basalt 如何確認修正不會破壞既有行為？ 首頁說明 Basalt 會在 PR 開啟前先將修正內容與 golden dataset 比對，若出現 regressions 就會阻擋 PR。它也表示主要工作流程不使用 LLM-as-a-judge，也不依賴人工標註。 ### Basalt 如何計價？ 定價區塊說明，你只會在合併 PR 時付費，前 3 個 PR 免費，且沒有訂閱或承諾。它也註明價格是以每個 repository 的每個合併 PR 計算，對於每月合併 20+ 個 PR 的團隊提供量大折扣。 ## 快速資訊 - **類別**: AI 開發工具 - **主要用途**: 根據使用者互動改善 AI agents - **工作流程**: 夜間 trace 分析與每天早上一個 PR - **支援來源**: Langfuse、Braintrust、Datadog，以及 custom trace sources - **定價形式**: 按合併的 PR 付費；前 3 個 PR 免費 - **來源網域**: getbasalt.ai