OpenLIT

Freemium

基於 OpenTelemetry 的開源 LLM 可觀測性平台，用於監控、追蹤與評估 AI 應用。

什麼是 OpenLIT？

OpenLIT 是一個專注於 LLM 可觀測性、追蹤與評估的開源 AI 工程平台。它建立於 OpenTelemetry 之上，定位於需要對 AI 應用、prompts、models 與周邊基礎設施進行監控的正式環境工作負載。

此產品設計為可與既有的 SDK 型應用與可觀測性堆疊搭配使用。首頁強調只需幾行程式碼即可快速設定，而價格頁則說明自架版本採 Apache 2.0 授權、永久免費，且不受使用量限制或授權金鑰限制。

透過 OpenTelemetry 驅動的分散式追蹤，即時監控與追蹤 LLM 應用。網站表示，這有助於視覺化請求流程、找出瓶頸，並追蹤每次 AI 互動的生命週期。

可從 UI 或透過 SDK 執行線上與離線評估。產品定位將評估與 prompts、models 以及端到端應用測試連結在一起。

集中管理 prompts，支援版本控管與部署控制。OpenLIT 將其定位為可用來測試不同 prompt 變體，並追蹤 prompt 表現隨時間的變化。

透過即時儀表板與自訂 SQL 查詢檢視跨部署的 telemetry。首頁也提到可設定的小工具與版面配置，用於視覺化 OpenTelemetry 資料。

從單一檢視管理多個部署。OpenLIT 將 Fleet Hub 描述為可比較不同環境效能指標，並從單一儀表板協調 AI fleet 的方式。

將基礎設施訊號與 LLM 活動一併追蹤，包括 GPU 監控、向量資料庫追蹤、token 用量與成本追蹤。價格頁也提到可匯出到 Grafana、Datadog，以及任何 OTLP 後端。

直接在 SDK 中為既有的 LLM 應用加入監測，擷取 traces、token 用量與成本資料，而不必將流量透過 proxy。這適合希望以最少程式碼變更、且不增加 proxy 延遲的團隊。

在 UI 或透過 SDK 執行 prompt 與 model 實驗，接著使用評估結果比較輸出並迭代應用行為。OpenLIT 也包含 prompt 版本控管，方便團隊追蹤變更歷程。

監控自架或分散式 AI 基礎設施，其中 GPU 使用率、VRAM、溫度與功耗都很重要。比較頁特別提到 NVIDIA 與 AMD GPU 監控，以及向量資料庫追蹤。

從單一儀表板管理多個 AI 部署，並比較不同環境的效能。Fleet Hub 被描述為供管理多於一個應用或環境的團隊使用的多部署檢視。

將 telemetry 匯出到既有的觀測工具，例如 Grafana、Datadog，或任何相容 OTLP 的後端。這適合已經有標準監控堆疊、並希望資料持續流入其中的團隊。

OpenLIT 真的免費嗎？

是。OpenLIT 採用 Apache 2.0 授權，可免費自架，沒有使用量限制、沒有功能門檻，也不需要授權金鑰。

自架 OpenLIT 需要什麼？

價格頁指出，只要有 Docker 和 Docker Compose 就足以自架 OpenLIT。頁面也說你可以在儲存庫中執行 `docker compose up -d` 來啟動完整堆疊，包括 UI、ClickHouse 儲存與 OpenTelemetry Collector。

OpenLIT 可以把資料送到既有的觀測後端嗎？

可以。OpenLIT 原生支援 OpenTelemetry，並可匯出到相容 OTLP 的後端，例如 Grafana、Datadog、New Relic、SigNoz 和 Jaeger。

OpenLIT 支援 GPU 監控嗎？

可以。價格頁指出，可透過 `openlit.init(collect_gpu_stats=True)` 啟用 GPU 指標，且 OpenLIT 會收集 NVIDIA 與 AMD GPU 的使用率、VRAM 用量、溫度與功耗。

有提供雲端版本嗎？

有，受管理的雲端服務標示為即將推出。頁面說 Cloud 方案仍在開發中，並邀請使用者寄信到 [email protected] 加入候補名單。

流量數據僅供參考。