OpenLIT

认领

OpenLIT 是基于 OpenTelemetry 的开源 LLM 可观测性平台，用于监控、追踪和评估 AI 应用。支持自托管，适合希望用最少代码为 LLM 应用接入可观测性的开发者和工程师。

AI开发者工具监控日志管理大语言模型

访问网站

OpenLIT 概览

OpenLIT 是一个面向 AI 工程的开源平台，重点关注 LLM 可观测性、追踪和评估。它基于 OpenTelemetry 构建，面向需要对 AI 应用、提示词、模型及其周边基础设施进行监控的生产级工作负载。

该产品旨在与现有的基于 SDK 的应用和可观测性栈协同工作。官网强调只需几行代码即可快速接入，而定价页面则说明自托管版本采用 Apache 2.0 许可，永久免费，没有使用限制，也不需要许可证密钥。

功能

分布式追踪

通过 OpenTelemetry 驱动的分布式追踪，实时监控和追踪 LLM 应用。网站说明，这有助于可视化请求流、识别瓶颈，并跟踪每次 AI 交互的生命周期。

AI 模型评估

可通过 UI 或 SDK 运行在线和离线评估。产品定位将评估与提示、模型以及端到端应用测试联系起来。

提示词管理

通过版本管理和部署控制集中管理提示词。OpenLIT 将其作为一种方式，用于试验不同提示词变体并随时间跟踪提示词表现。

实时监控

使用实时仪表板和自定义 SQL 查询查看各部署的遥测数据。主页还提到可配置的小组件和布局，用于可视化 OpenTelemetry 数据。

多部署管理

在一个视图中管理多个部署。OpenLIT 将 Fleet Hub 描述为一种比较不同环境性能指标并从单个仪表板协调 AI 集群的方式。

基础设施感知型可观测性

将基础设施信号与 LLM 活动一并跟踪，包括 GPU 监控、向量数据库追踪、令牌使用量和成本跟踪。定价页面还提到可导出到 Grafana、Datadog 以及任何 OTLP 后端。

使用场景

为线上 LLM 应用添加可观测性
直接在 SDK 中为现有 LLM 应用接入可观测性，捕获追踪、令牌使用量和成本数据，而无需通过代理转发流量。这适合希望以最少代码改动且不增加代理延迟的团队。
测试提示词和模型
在 UI 中或通过 SDK 运行提示词和模型实验，然后使用评估来比较输出并迭代应用行为。OpenLIT 还包含提示词版本管理，帮助团队跟踪随时间发生的变化。
观察模型和基础设施工作负载
监控自托管或分布式 AI 基础设施，在这些场景中 GPU 利用率、VRAM、温度和功耗很重要。对比页面明确提到了 NVIDIA 和 AMD GPU 监控以及向量数据库追踪。
协调多个部署
从单个仪表板管理多个 AI 部署，并比较不同环境之间的性能。Fleet Hub 被描述为面向运营多个应用或环境的团队的多部署视图。
融入现有可观测性栈
将遥测数据导出到现有可观测性工具，例如 Grafana、Datadog 或任何兼容 OTLP 的后端。这适合已经有标准监控栈并希望继续在其中流转数据的团队。

Pros and Cons

Pros

OpenTelemetry 原生设计使其可与现有 OTLP 工作流和导出器兼容。
免费自托管版本采用 Apache 2.0 许可，没有使用限制，也不需要许可证密钥。
覆盖范围广，包括追踪、评估、提示词管理、仪表板和多部署管理。
同时支持应用可观测性和基础设施信号，例如 GPU、向量数据库、令牌使用量和成本跟踪。
可与多种提供商、框架、向量数据库、GPU 以及兼容 OTLP 的后端协同工作。

Cons

Managed Cloud 层尚不可用；网站说明即将推出。
某些高级平台能力似乎集中在自托管产品中，因此团队若要使用完整功能栈，现在需要自行托管。

FAQ

OpenLIT 真的免费吗？

是。OpenLIT 采用 Apache 2.0 许可，可免费自托管，没有使用限制、没有功能门槛，也不需要许可证密钥。

自托管 OpenLIT 需要什么？

定价页面说明，只需 Docker 和 Docker Compose 就可以自托管。页面还写明，你可以在仓库中运行 `docker compose up -d` 来启动完整栈，包括 UI、ClickHouse 存储和 OpenTelemetry Collector。

OpenLIT 可以将数据发送到现有的可观测性后端吗？

可以。OpenLIT 原生支持 OpenTelemetry，可导出到兼容 OTLP 的后端，例如 Grafana、Datadog、New Relic、SigNoz 和 Jaeger。

OpenLIT 支持 GPU 监控吗？

可以。定价页面说明，可以通过 `openlit.init(collect_gpu_stats=True)` 启用 GPU 指标，而且 OpenLIT 会收集 NVIDIA 和 AMD GPU 的利用率、VRAM 使用量、温度和功耗。

是否有云版本可用？

有一个托管云服务，页面标注为“即将推出”。页面还说明 Cloud 层正在开发中，并邀请用户发送电子邮件到 [email protected] 加入等待名单。

Quick Facts

类别: AI 可观测性平台
许可证: Apache 2.0
部署方式: 当前为自托管；云托管选项即将推出
主要用户: 构建 LLM 应用的开发者和工程师
源域名: openlit.io
显著工作流: 一行或几行 SDK 接入 + OpenTelemetry 导出