OpenLIT

認領

OpenLIT 是以 OpenTelemetry 為基礎的開源 LLM 觀測平台，提供監控、追蹤與評估 AI 應用；可免費自架，適合以最少程式碼為 LLM 應用加入可觀測性。

AI開發者工具監控與日誌管理大型語言模型

訪問網站

OpenLIT 一覽

OpenLIT 是一個專注於 LLM 可觀測性、追蹤與評估的開源 AI 工程平台。它建立於 OpenTelemetry 之上，定位於需要對 AI 應用、prompts、models 與周邊基礎設施進行監控的正式環境工作負載。

此產品設計為可與既有的 SDK 型應用與可觀測性堆疊搭配使用。首頁強調只需幾行程式碼即可快速設定，而價格頁則說明自架版本採 Apache 2.0 授權、永久免費，且不受使用量限制或授權金鑰限制。

功能

分散式追蹤

透過 OpenTelemetry 驅動的分散式追蹤，即時監控與追蹤 LLM 應用。網站表示，這有助於視覺化請求流程、找出瓶頸，並追蹤每次 AI 互動的生命週期。

AI 模型評估

可從 UI 或透過 SDK 執行線上與離線評估。產品定位將評估與 prompts、models 以及端到端應用測試連結在一起。

Prompt 管理

集中管理 prompts，支援版本控管與部署控制。OpenLIT 將其定位為可用來測試不同 prompt 變體，並追蹤 prompt 表現隨時間的變化。

即時監控

透過即時儀表板與自訂 SQL 查詢檢視跨部署的 telemetry。首頁也提到可設定的小工具與版面配置，用於視覺化 OpenTelemetry 資料。

多部署管理

從單一檢視管理多個部署。OpenLIT 將 Fleet Hub 描述為可比較不同環境效能指標，並從單一儀表板協調 AI fleet 的方式。

具基礎設施感知的可觀測性

將基礎設施訊號與 LLM 活動一併追蹤，包括 GPU 監控、向量資料庫追蹤、token 用量與成本追蹤。價格頁也提到可匯出到 Grafana、Datadog，以及任何 OTLP 後端。

使用情境

為線上 LLM 應用加入可觀測性
直接在 SDK 中為既有的 LLM 應用加入監測，擷取 traces、token 用量與成本資料，而不必將流量透過 proxy。這適合希望以最少程式碼變更、且不增加 proxy 延遲的團隊。
測試 prompts 與 models
在 UI 或透過 SDK 執行 prompt 與 model 實驗，接著使用評估結果比較輸出並迭代應用行為。OpenLIT 也包含 prompt 版本控管，方便團隊追蹤變更歷程。
觀測模型與基礎設施工作負載
監控自架或分散式 AI 基礎設施，其中 GPU 使用率、VRAM、溫度與功耗都很重要。比較頁特別提到 NVIDIA 與 AMD GPU 監控，以及向量資料庫追蹤。
協調多個部署
從單一儀表板管理多個 AI 部署，並比較不同環境的效能。Fleet Hub 被描述為供管理多於一個應用或環境的團隊使用的多部署檢視。
整合至既有觀測堆疊
將 telemetry 匯出到既有的觀測工具，例如 Grafana、Datadog，或任何相容 OTLP 的後端。這適合已經有標準監控堆疊、並希望資料持續流入其中的團隊。

Pros and Cons

Pros

以 OpenTelemetry 為原生設計，與既有 OTLP 工作流程與匯出器相容。
免費自架版本採 Apache 2.0 授權，無使用量限制，也不需要授權金鑰。
涵蓋追蹤、評估、prompt 管理、儀表板與多部署管理等多項功能。
同時支援應用可觀測性與基礎設施訊號，例如 GPU、向量資料庫、token 用量與成本追蹤。
可與多種供應商、框架、向量資料庫、GPU 與相容 OTLP 的後端搭配使用。

Cons

目前尚未提供代管 Cloud 方案；網站說明即將推出。
部分進階平台能力似乎集中在自架產品中，因此團隊若要使用完整堆疊，目前需要自行架設。

FAQ

OpenLIT 真的免費嗎？

是。OpenLIT 採用 Apache 2.0 授權，可免費自架，沒有使用量限制、沒有功能門檻，也不需要授權金鑰。

自架 OpenLIT 需要什麼？

價格頁指出，只要有 Docker 和 Docker Compose 就足以自架 OpenLIT。頁面也說你可以在儲存庫中執行 `docker compose up -d` 來啟動完整堆疊，包括 UI、ClickHouse 儲存與 OpenTelemetry Collector。

OpenLIT 可以把資料送到既有的觀測後端嗎？

可以。OpenLIT 原生支援 OpenTelemetry，並可匯出到相容 OTLP 的後端，例如 Grafana、Datadog、New Relic、SigNoz 和 Jaeger。

OpenLIT 支援 GPU 監控嗎？

可以。價格頁指出，可透過 `openlit.init(collect_gpu_stats=True)` 啟用 GPU 指標，且 OpenLIT 會收集 NVIDIA 與 AMD GPU 的使用率、VRAM 用量、溫度與功耗。

有提供雲端版本嗎？

有，受管理的雲端服務標示為即將推出。頁面說 Cloud 方案仍在開發中，並邀請使用者寄信到 [email protected] 加入候補名單。

Quick Facts

分類: AI 可觀測性平台
授權: Apache 2.0
部署方式: 目前為自架；雲端代管選項即將推出
主要使用者: 打造 LLM 應用的開發者與工程師
來源網域: openlit.io
代表性工作流程: 以單行或少量程式碼完成 SDK 監測與 OpenTelemetry 匯出