# OpenLIT 基于 OpenTelemetry 的开源 LLM 可观测性平台，用于监控、追踪和评估 AI 应用。 - Findings24: - 网站: - 价格: Freemium - 分类: AI开发者工具, AI 模型平台, AI 可观测性 ## 什么是 OpenLIT？ OpenLIT 是一个面向 AI 工程的开源平台，重点关注 LLM 可观测性、追踪和评估。它基于 OpenTelemetry 构建，面向需要对 AI 应用、提示词、模型及其周边基础设施进行监控的生产级工作负载。 该产品旨在与现有的基于 SDK 的应用和可观测性栈协同工作。官网强调只需几行代码即可快速接入，而定价页面则说明自托管版本采用 Apache 2.0 许可，永久免费，没有使用限制，也不需要许可证密钥。 ## OpenLIT 能做什么？ ### 分布式追踪 通过 OpenTelemetry 驱动的分布式追踪，实时监控和追踪 LLM 应用。网站说明，这有助于可视化请求流、识别瓶颈，并跟踪每次 AI 交互的生命周期。 ### AI 模型评估 可通过 UI 或 SDK 运行在线和离线评估。产品定位将评估与提示、模型以及端到端应用测试联系起来。 ### 提示词管理 通过版本管理和部署控制集中管理提示词。OpenLIT 将其作为一种方式，用于试验不同提示词变体并随时间跟踪提示词表现。 ### 实时监控 使用实时仪表板和自定义 SQL 查询查看各部署的遥测数据。主页还提到可配置的小组件和布局，用于可视化 OpenTelemetry 数据。 ### 多部署管理 在一个视图中管理多个部署。OpenLIT 将 Fleet Hub 描述为一种比较不同环境性能指标并从单个仪表板协调 AI 集群的方式。 ### 基础设施感知型可观测性 将基础设施信号与 LLM 活动一并跟踪，包括 GPU 监控、向量数据库追踪、令牌使用量和成本跟踪。定价页面还提到可导出到 Grafana、Datadog 以及任何 OTLP 后端。 ## 使用场景 ### 为线上 LLM 应用添加可观测性 直接在 SDK 中为现有 LLM 应用接入可观测性，捕获追踪、令牌使用量和成本数据，而无需通过代理转发流量。这适合希望以最少代码改动且不增加代理延迟的团队。 ### 测试提示词和模型 在 UI 中或通过 SDK 运行提示词和模型实验，然后使用评估来比较输出并迭代应用行为。OpenLIT 还包含提示词版本管理，帮助团队跟踪随时间发生的变化。 ### 观察模型和基础设施工作负载 监控自托管或分布式 AI 基础设施，在这些场景中 GPU 利用率、VRAM、温度和功耗很重要。对比页面明确提到了 NVIDIA 和 AMD GPU 监控以及向量数据库追踪。 ### 协调多个部署 从单个仪表板管理多个 AI 部署，并比较不同环境之间的性能。Fleet Hub 被描述为面向运营多个应用或环境的团队的多部署视图。 ### 融入现有可观测性栈 将遥测数据导出到现有可观测性工具，例如 Grafana、Datadog 或任何兼容 OTLP 的后端。这适合已经有标准监控栈并希望继续在其中流转数据的团队。 ## 常见问题 ### OpenLIT 真的免费吗？ 是。OpenLIT 采用 Apache 2.0 许可，可免费自托管，没有使用限制、没有功能门槛，也不需要许可证密钥。 ### 自托管 OpenLIT 需要什么？ 定价页面说明，只需 Docker 和 Docker Compose 就可以自托管。页面还写明，你可以在仓库中运行 \`docker compose up -d\` 来启动完整栈，包括 UI、ClickHouse 存储和 OpenTelemetry Collector。 ### OpenLIT 可以将数据发送到现有的可观测性后端吗？ 可以。OpenLIT 原生支持 OpenTelemetry，可导出到兼容 OTLP 的后端，例如 Grafana、Datadog、New Relic、SigNoz 和 Jaeger。 ### OpenLIT 支持 GPU 监控吗？ 可以。定价页面说明，可以通过 \`openlit.init(collect\_gpu\_stats=True)\` 启用 GPU 指标，而且 OpenLIT 会收集 NVIDIA 和 AMD GPU 的利用率、VRAM 使用量、温度和功耗。 ### 是否有云版本可用？ 有一个托管云服务，页面标注为“即将推出”。页面还说明 Cloud 层正在开发中，并邀请用户发送电子邮件到 \[email protected\] 加入等待名单。 ## 快速信息 - **类别**: AI 可观测性平台 - **许可证**: Apache 2.0 - **部署方式**: 当前为自托管；云托管选项即将推出 - **主要用户**: 构建 LLM 应用的开发者和工程师 - **源域名**: openlit.io - **显著工作流**: 一行或几行 SDK 接入 + OpenTelemetry 导出