# TruLens TruLens 是一个用于追踪和评估 AI 智能体及其他 LLM 应用的开源库，帮助团队检查智能体步骤、使用可配置指标评估质量，并通过基于 OpenTelemetry 的埋点对比应用版本。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 智能体基础设施, AI 可观测性, 大语言模型评测 ## 什么是 TruLens？ TruLens 是一个用于 AI 智能体和 LLM 应用的开源评估与可观测性库。它会将应用活动记录为追踪，并在整体响应或单个步骤层面评估质量，帮助团队将不理想的答案与导致问题的检索、工具调用、规划或生成环节关联起来。 该产品会捕获已记录步骤的输入、输出、延迟、令牌用量和成本等详细信息。其评估流程包含针对智能体行为、检索增强生成和工具使用的指标，包括上下文相关性、基于依据性、答案相关性、正确性、计划遵循度和工具选择。评估结果可以与追踪详情一并检查，而不是被当作孤立的分数。 团队可以从内置的 LLM 评审指标开始，并通过评分标准、示例、分数范围和补充说明进行调整。TruLens 还支持自定义指标，并通过类似排行榜的结果对比应用版本，将质量指标与延迟和成本并列，从而评估工具参数修改、重排序、策略引用或模型选择等变更。 文档涵盖运行时和批量评估、现有数据评估、人工反馈记录、真实值工作流、防护措施，以及趋势和记录查看。埋点基于 OpenTelemetry，文档还包含使用框架、模型提供商和存储系统的指南与提供商参考。TruLens 采用 MIT 许可证分发；所提供的产品页面未提供详细的定价模式或套餐限制。 ## TruLens 能做什么？ ### 原生支持 OpenTelemetry 的追踪 将智能体和 LLM 应用活动记录为跨度，包括单个步骤的输入、输出、延迟、令牌数量和成本。 ### 步骤级评估 使用工具选择、计划遵循度、上下文相关性、基于依据性、答案相关性和正确性等指标，对智能体行为和中间操作进行评分。 ### 可解释的 LLM 评审 查看能够识别工具调用缺失、参数不合适或上下文选择不佳等问题的评分解释，而不只是依赖汇总数字。 ### 可配置和自定义指标 通过评分标准、少样本示例、分数范围和补充说明调整内置评估，或使用针对相关记录数据的选择器定义自定义指标。 ### 版本及质量成本对比 将评估分数与平均延迟和总成本结合，对比应用版本，以分析质量与效率之间的权衡。 ## 使用场景 ### 调试智能体故障 通过追踪检查失败的答案，确定问题是由规划、检索、工具选择、工具参数还是生成环节引入的。 ### 评估 RAG 流程 使用面向 RAG 的指标和评估工作流，衡量检索到的上下文是否相关，以及最终答案是否基于该上下文。 ### 测试应用变更 在不同版本中运行可比记录，并在修改提示词、工具、重排序、引用或模型时，对比质量、延迟和成本。 ### 监控已部署应用 使用运行时评估、已记录的追踪、结果视图和趋势来跟踪发布后的应用行为，而不只是依赖上线前测试。 ### 使评估符合领域要求 当通用指标无法体现团队的质量标准时，使用特定领域的标准、示例和评分说明改进评审行为。 ## 常见问题 ### TruLens 会追踪哪些内容？ 它会将 AI 智能体和 LLM 应用活动作为跨度进行追踪。文档中的追踪视图包括规划、检索、工具调用和生成等操作，以及可用时的输入、输出、时间、令牌用量和成本。 ### 可以自定义评估分数吗？ 可以。文档所述的指标 API 支持自定义标准、补充说明、少样本示例、分数范围、选择器和自定义指标。这使团队能够让评估符合特定领域的要求。 ### TruLens 可以在应用运行时评估应用吗？ 文档包含运行时评估和内联评估，也包含对现有数据的评估和批量评估。具体工作流取决于应用和埋点设置。 ### TruLens 只评估最终答案吗？ 不是。其示例和指标涵盖中间的智能体行为，包括计划遵循度、工具选择、检索上下文和其他已记录步骤，此外还会评估最终答案质量。 ### 所提供的产品页面是否提供详细定价？ 没有。所提供的定价页面内容未提供定价层级、限制或商业条款。现有产品信息表明 TruLens 是开源产品，并采用 MIT 许可证。 ## 快速信息 - **类别**: 开发者工具 - **主要功能**: AI 智能体追踪与评估 - **埋点**: 原生支持 OpenTelemetry - **许可证**: MIT - **评估模式**: 运行时、批量、现有数据和真实值工作流 - **来源域名**: trulens.org