LLM 和代理追踪
为 LLM 调用、工具调用、检索步骤和其他应用逻辑捕获层级化追踪。可按用户、会话、成本、延迟或自定义元数据筛选并检查追踪。
Langfuse
认领Langfuse 是一个开源 AI 工程平台，用于追踪、评估并改进 LLM 应用和代理。它将可观测性、提示管理、实验和人工标注整合到一个工作流中。
开源 AI 工程平台
Langfuse 是一个开源 AI 工程平台，用于追踪、评估并改进 LLM 应用和代理。它将可观测性、提示管理、实验和人工标注整合到一个工作流中，让团队能够借助真实使用数据从原型走向生产。
该平台围绕兼容 OpenTelemetry 的追踪、原生 SDK 和广泛集成构建，使团队能够捕获 LLM 和非 LLM 活动，而不会被锁定在单一框架中。Langfuse 还支持云部署和自托管，其产品和核心功能采用 MIT 许可。
核心能力
会话、用户和代理图
将多轮对话作为会话进行跟踪，并添加用户跟踪，以便进行生产调试和使用分析。代理还可以表示为图结构，以支持更复杂的工作流。
提示管理工作流
将提示与应用代码分离管理，支持版本控制、按标签部署、回滚、提示缓存和 playground 测试。提示历史和变更跟踪可帮助团队审查提示如何演进。
评估和人工审核
在生产数据或实验上使用 LLM-as-a-judge、启发式函数或人工审核运行评估。支持数据集、实验、评估分数和人工标注，有助于比较随时间变化的结果。
运营指标和告警
通过仪表板、告警和与追踪关联的指标监控质量、成本和延迟。这使得理解提示或模型变更对生产行为的影响更加容易。
开放集成和部署选项
通过原生 SDK、OpenTelemetry、基于代理的日志记录、API、导出以及 100 多个集成进行连接。该平台还支持自托管和数据可移植性。
常见使用场景
生产可观测性
为生产环境中的 LLM 应用添加埋点，以便在调试延迟、成本激增或意外输出时检查追踪、会话和用户级行为。
提示迭代
将提示作为带版本的资产进行管理，按标签部署，回滚更改，并在发布更新前在 playground 中比较提示变体。
评估工作流
在数据集上运行离线或在线评估，然后使用 LLM-as-a-judge、启发式方法或人工审核比较实验，以评估质量变化。
人在回路审核
创建人工标注队列并审查追踪，以构建黄金数据集或与协作者一起验证模型行为。
端到端 LLM 开发
在原型和生产系统中使用同一平台，将埋点、实验和迭代连接到一个工作流中。
Pros and Cons
Pros
- 将追踪、提示管理、评估、实验和人工标注整合在一个平台中。
- 可通过 OpenTelemetry、原生 SDK、基于 API 的访问以及大量集成与现有技术栈协同工作。
- 同时支持云托管和自托管，核心功能为开源并采用 MIT 许可。
- 包含适用于生产迭代的工作流功能，例如提示版本管理、回滚、数据集和并排比较。
Cons
- 源内容没有明确说明单一的一站式设置路径，因此实施工作量将取决于你选择的技术栈和集成方式。
- 某些高级能力，例如企业级 SSO、SCIM、审计日志和专属支持，属于更高等级的方案或附加组件。
FAQ
Langfuse 解决什么问题？
Langfuse 面向希望在一个系统中追踪 LLM 和代理工作流、管理提示并评估输出的团队。它支持追踪、提示管理、评估、实验和人工标注。
团队如何集成 Langfuse？
源内容强调了适用于 Python 和 JavaScript 的原生 SDK、OpenTelemetry 支持、100 多个集成，以及通过像 LiteLLM 这样的 LLM 网关捕获追踪的选项。该产品旨在与现有技术栈协同工作，而不是要求使用单一框架。
团队在收集数据后可以做什么？
Langfuse 支持追踪、会话、用户跟踪、提示版本管理、提示部署、playground 测试、实验、评估分数、数据集和人工审核工作流。文档将其描述为从原型到生产的连贯工作流。
Langfuse 是否同时提供云端和自托管部署？
定价页面显示有免费的 Hobby 方案、付费 Cloud 方案和自托管选项。它还列出了托管云方案，提供更长的数据保留时间、更高的限制，以及 SSO、SCIM、审计日志和支持选项等企业功能。
Langfuse 最适合哪些用户？
该产品面向 LLM 应用和代理。文档强调对 LLM 和非 LLM 调用的追踪、生产调试、提示迭代，以及质量、成本和延迟监控。
Quick Facts
- Category
- AI 工程平台
- Primary use
- LLM 可观测性、提示管理和评估
- Deployment
- 云端或自托管
- License
- 核心产品功能采用 MIT 许可
- Integrations
- 100+ 个集成，另支持 OpenTelemetry
- Pricing
- 免费 Hobby 方案，另有付费云方案和自托管选项