# Braintrust

Braintrust 是一个 AI 可观测性平台，用于追踪生产环境中的 AI 行为、运行评估，并在回归问题影响用户前及时发现。它通过追踪记录、数据集、评分和工作流工具，支持团队构建和运营 AI 产品。

- Findings24: <https://findings24.com/zh-CN/tools/braintrust-braintrust-dev>
- 网站: <https://braintrust.dev>
- 价格: Freemium
- 分类: AI开发者工具, AI 可观测性, AI 测试助手

## 什么是 Braintrust？

Braintrust 是一款面向希望追踪生产行为、评估模型质量并在问题到达用户之前发现回归的团队的 AI 可观测平台。该网站将其定位为一个用于理解生产环境中实际发生情况的系统，而不仅仅依赖离线测试。

该产品结合了 trace 检查、evals、自动化和工作流工具。团队可以为应用添加埋点，检查 prompts 和 tool calls，对比 models 和 prompts，从真实故障中构建数据集，并使用 Topics 等生产信号随着时间推移指导改进。

## Braintrust 能做什么？

### 生产环境 trace 可观测性

查看每次 AI 调用的 prompts、responses、tool calls、latency、cost 和请求元数据。界面专为检查生产行为和从真实 traces 中发现问题而设计。

### 评测与评分

针对数据集运行实验，并使用 LLM、代码或人工对输出进行评分。产品将 evals 定位为在发布前定义质量并并排比较 prompts 或 models 的方式。

### 借助 Topics 发现模式

使用 Topics 从真实流量中发现重复出现的模式，然后将这些模式转化为 evaluations 或 alerts。定价页和首页文案都将 Topics 描述为一种在生产日志中对特定领域问题进行分类和发现的方式。

### 数据集与审核工作流

将生产 traces 转换为用于回归测试的数据集，并创建人工审核工作流，而无需构建自定义前端代码。网站还重点介绍了数据集、playgrounds 和自定义标注界面。

### CLI、SDK 与 MCP 访问

使用 CLI、SDK 和 MCP server 来为应用添加埋点、查询日志、运行 evals，并从开发工具更新 prompts。文档强调了面向 coding-agent 工作流的可重复设置和脚本化操作。

### 团队与治理控制

随着团队规模增长，可自定义 trace 视图、图表、环境和访问控制。定价页在更高层级中列出了已保存的表格视图、自定义列、自定义图表、环境、RBAC、SSO、MFA 和数据保留控制。

## 使用场景

### 追踪生产环境中的 AI 行为

为 AI 应用添加埋点，使每次调用都会将 traces 写入 Braintrust，然后在 Logs 视图中查看 prompts、outputs、tool calls、token 数、延迟和成本。

### 衡量 prompt 和模型质量

基于真实数据集构建 evals，并在发布变更前并排比较 prompts 和 models，使用 LLM、代码或人工审核者对输出进行评分。

### 从实时流量中发现回归

使用 Topics 从生产日志中发现重复出现的模式，然后在出现新的回归时将这些模式转化为 evals、质量门禁或 alerts。

### 基于真实故障构建回归测试

基于实际 traces 创建数据集和自定义审核流程，使团队能够针对边缘案例进行测试，并在与任务匹配的工作流中审核输出。

### 通过开发工具操作 Braintrust

使用 CLI、SDK 或 MCP server 从工程工具和 agent 工作流中查询日志、运行 evals 并管理 prompts。

## 常见问题

### 如何开始使用 Braintrust？

Braintrust 的设置方式是先安装 CLI，接着为应用添加埋点，然后在 Braintrust 界面中查看 traces。快速开始会展示一个安装 \`bt\` 并指导完成埋点的脚本，文档也说明可以通过 \`bt\` CLI 进行可重复的工作，例如运行 evals、查询日志和同步数据。

### Traces 会显示什么？

追踪快速开始说明，一旦应用完成埋点，每次 AI 调用都会记录 traces。在界面中，你可以查看完整的输入提示词和模型输出、token 数、延迟、成本、模型配置以及请求/响应元数据。

### Braintrust 支持什么工作流？

文档将 Braintrust 描述为一个用于捕获 traces、分析日志、添加人工反馈、构建数据集、通过实验测试更改，并在监控生产环境的同时发布的 platform。工作流围绕捕获 traces、发现模式、添加反馈、测试更改以及随后监控生产环境展开。

### 支持哪些语言和集成？

文档和定价页表明，它通过原生 SDK 支持 Python、TypeScript、Go、Ruby、C\# 等语言，并与 AI 提供商、框架和开发者工具集成。集成页面还指出，它可通过 MCP 和 CLI 以不依赖框架的方式使用，并支持开发者工具工作流。

### Braintrust 有免费计划吗？

Braintrust 提供免费的 Starter 计划、付费的 Pro 计划以及定制的 Enterprise 定价。定价页还显示，基于使用量的费用与已处理的数据和分数相关，同时高阶套餐包含自定义图表、RBAC 以及更长的数据保留期等功能。

## 快速信息

- **类别**: AI 可观测平台
- **主要用途**: 面向 AI 产品的 tracing、evals 与回归检测
- **访问方式**: Web 应用、CLI、SDK 和 MCP server
- **支持的 SDK 语言**: Python、TypeScript、Go、Ruby、C\# 等
- **定价模式**: 免费 Starter 计划、付费 Pro 计划和定制 Enterprise 定价
- **网站**: braintrust.dev