来自可观测性工具的 trace 摄取
可连接到 Langfuse、Braintrust、Datadog 或自定义 trace 来源，并按夜间节奏自动摄取对话数据。
什么是 Basalt？
Basalt 是一款用于基于真实用户交互改进 AI agent 的产品。它连接到可观测性或 trace 来源，读取前一天的对话，并识别重复出现的失败模式，从而指出 agent 行为需要调整的地方。
当它发现问题时，Basalt 会生成一个有针对性的 pull request，用于修改提示词、工具定义或系统指令。在 PR 打开之前，建议的修复会先与黄金数据集进行验证，以检查现有行为是否出现回归。
Basalt 能做什么？
失败模式分析
使用 Claude 对对话进行聚类、检测失败模式，并识别哪些交互指向质量缺口。
自动化修复生成
基于检测到的问题生成聚焦的 PR，可更新提示词、工具定义或系统指令。
黄金数据集验证
在打开 PR 之前，将每个生成的修复方案与黄金数据集运行比对，阻止引入回归的变更。
以行为驱动的工作流
将产品定位为一个自动化审查循环，不依赖 LLM-as-a-judge 或人工标注。
每日改进周期
根据前一天的用户行为，每天早晨发送一个高质量 PR，让工作流始终围绕最近的交互。
使用场景
“审查生产环境对话”
已经在可观测性工具中记录 traces 的团队可以连接这些来源，让 Basalt 通宵扫描对话中的重复错误。
“修补重复的失败模式”
当同样的误解或工具使用错误不断出现时，Basalt 可以生成一个聚焦的 PR，针对受影响的行为模式进行修复。
“保护现有行为”
维护用于预期行为的黄金数据集的团队，可以使用 Basalt 的验证步骤检查 proposed fix 是否不会让已知良好案例回退。
“起草 agent 改进”
希望在不手工编写每一处变更的情况下更新提示词或工具的组织，可以使用 Basalt 基于真实用户行为提出修改建议。
“在每日审查周期中处理变更”
希望采用轻量级改进循环的团队，可以审查每天一个 PR，而不是手动筛选每一次交互。
常见问题
Basalt 如何将用户交互转化为更新？
Basalt 从已连接的可观测性来源摄取对话，夜间分析这些对话，并将重复出现的失败模式转化为有针对性的 PR。主页说明它可以生成提示词更新、工具定义变更或系统指令变更，并在打开 PR 之前先使用黄金数据集验证修复。
Basalt 支持哪些 trace 来源？
主页明确提到 Langfuse、Braintrust、Datadog 以及自定义 trace 源作为连接选项。它将 Basalt 定位为处理来自这些来源的 traces，而不是要求手动标注。
Basalt 可以改进 agent 的哪些部分？
Basalt 的定位是基于真实用户对话改进 agent 行为。页面突出显示了系统提示词、工具定义和 few-shot 示例作为它在发现失败模式时可以修改的部分。
Basalt 如何检查修复不会破坏现有行为？
主页说明 Basalt 会在打开 PR 之前将修复方案与黄金数据集进行对比测试，并在出现回归时阻止 PR。它还表示主工作流中不使用 LLM 作为评判器，也不需要人工标注。
Basalt 如何定价？
定价部分说明，你只需在合并 PR 时付费，前 3 个 PR 免费，且没有订阅或承诺。它还注明价格按每个仓库的已合并 PR 计费，并且对于每月合并 20+ 个 PR 的团队提供批量折扣。
快速信息
- 类别
- AI 开发工具
- 主要用途
- 基于用户交互改进 AI agent
- 工作流
- 夜间 trace 分析 + 每天早晨一个 PR
- 支持来源
- Langfuse、Braintrust、Datadog 和自定义 trace 来源
- 定价形式
- 按已合并 PR 付费；前 3 个 PR 免费
- 来源域名
- getbasalt.ai
Basalt 流量分析
流量数据仅供参考。
- 域名评分
- 29
Basalt 替代品
Laminar
lmnr.ai
面向 AI 智能体的开源可观测性平台，支持运行追踪、故障检测、评估、Slack 警报和自托管。
Hoplite
hoplite.sh
Hoplite 是一个编码代理平台，可在隔离的开发环境中运行任务，并在任务完成后创建 pull request。它面向希望将代码仓库工作委派给代理，并通过实时反馈和审批进行协作的团队。
Morph
morphllm.com
面向编码代理的开发者工具：通过统一的 OpenAI 兼容 API，结合通用模型与搜索、编辑应用、上下文压缩和语义轨迹分析等专用服务。
Hacktron AI
hacktron.ai
用于代码审查和应用安全的 AI 工具，可发现拉取请求中的可利用漏洞
cubic
cubic.dev
cubic 是一个面向复杂代码库的 AI 代码审查平台，帮助团队在合并或发布前发现拉取请求中的漏洞，并扫描代码仓库中的问题。
PandaProbe
chirpz.ai
Chirpz AI 是一家应用型 AI 实验室，打造 PandaProbe 开源平台，用于在生产环境中追踪、评估和监控 AI 智能体，帮助团队提升智能体工作流的可观测性与调试能力。