# Langfuse 开源 AI 工程平台，用于追踪、评估和改进 LLM 应用与智能体。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 可观测性, 大语言模型评测, 提示词管理 ## 什么是 Langfuse？ Langfuse 是一个开源 AI 工程平台，用于追踪、评估并改进 LLM 应用和代理。它将可观测性、提示管理、实验和人工标注整合到一个工作流中，让团队能够借助真实使用数据从原型走向生产。 该平台围绕兼容 OpenTelemetry 的追踪、原生 SDK 和广泛集成构建，使团队能够捕获 LLM 和非 LLM 活动，而不会被锁定在单一框架中。Langfuse 还支持云部署和自托管，其产品和核心功能采用 MIT 许可。 ## Langfuse 能做什么？ ### LLM 和代理追踪 为 LLM 调用、工具调用、检索步骤和其他应用逻辑捕获层级化追踪。可按用户、会话、成本、延迟或自定义元数据筛选并检查追踪。 ### 会话、用户和代理图 将多轮对话作为会话进行跟踪，并添加用户跟踪，以便进行生产调试和使用分析。代理还可以表示为图结构，以支持更复杂的工作流。 ### 提示管理工作流 将提示与应用代码分离管理，支持版本控制、按标签部署、回滚、提示缓存和 playground 测试。提示历史和变更跟踪可帮助团队审查提示如何演进。 ### 评估和人工审核 在生产数据或实验上使用 LLM-as-a-judge、启发式函数或人工审核运行评估。支持数据集、实验、评估分数和人工标注，有助于比较随时间变化的结果。 ### 运营指标和告警 通过仪表板、告警和与追踪关联的指标监控质量、成本和延迟。这使得理解提示或模型变更对生产行为的影响更加容易。 ### 开放集成和部署选项 通过原生 SDK、OpenTelemetry、基于代理的日志记录、API、导出以及 100 多个集成进行连接。该平台还支持自托管和数据可移植性。 ## 使用场景 ### 生产可观测性 为生产环境中的 LLM 应用添加埋点，以便在调试延迟、成本激增或意外输出时检查追踪、会话和用户级行为。 ### 提示迭代 将提示作为带版本的资产进行管理，按标签部署，回滚更改，并在发布更新前在 playground 中比较提示变体。 ### 评估工作流 在数据集上运行离线或在线评估，然后使用 LLM-as-a-judge、启发式方法或人工审核比较实验，以评估质量变化。 ### 人在回路审核 创建人工标注队列并审查追踪，以构建黄金数据集或与协作者一起验证模型行为。 ### 端到端 LLM 开发 在原型和生产系统中使用同一平台，将埋点、实验和迭代连接到一个工作流中。 ## 常见问题 ### Langfuse 解决什么问题？ Langfuse 面向希望在一个系统中追踪 LLM 和代理工作流、管理提示并评估输出的团队。它支持追踪、提示管理、评估、实验和人工标注。 ### 团队如何集成 Langfuse？ 源内容强调了适用于 Python 和 JavaScript 的原生 SDK、OpenTelemetry 支持、100 多个集成，以及通过像 LiteLLM 这样的 LLM 网关捕获追踪的选项。该产品旨在与现有技术栈协同工作，而不是要求使用单一框架。 ### 团队在收集数据后可以做什么？ Langfuse 支持追踪、会话、用户跟踪、提示版本管理、提示部署、playground 测试、实验、评估分数、数据集和人工审核工作流。文档将其描述为从原型到生产的连贯工作流。 ### Langfuse 是否同时提供云端和自托管部署？ 定价页面显示有免费的 Hobby 方案、付费 Cloud 方案和自托管选项。它还列出了托管云方案，提供更长的数据保留时间、更高的限制，以及 SSO、SCIM、审计日志和支持选项等企业功能。 ### Langfuse 最适合哪些用户？ 该产品面向 LLM 应用和代理。文档强调对 LLM 和非 LLM 调用的追踪、生产调试、提示迭代，以及质量、成本和延迟监控。 ## 快速信息 - **Category**: AI 工程平台 - **Primary use**: LLM 可观测性、提示管理和评估 - **Deployment**: 云端或自托管 - **License**: 核心产品功能采用 MIT 许可 - **Integrations**: 100+ 个集成，另支持 OpenTelemetry - **Pricing**: 免费 Hobby 方案，另有付费云方案和自托管选项