# OpenLIT 基於 OpenTelemetry 的開源 LLM 可觀測性平台，用於監控、追蹤與評估 AI 應用。 - Findings24: - 網站: - 價格: Freemium - 分類: AI開發者工具, AI模型中心, AI 可觀測性 ## 什麼是 OpenLIT？ OpenLIT 是一個專注於 LLM 可觀測性、追蹤與評估的開源 AI 工程平台。它建立於 OpenTelemetry 之上，定位於需要對 AI 應用、prompts、models 與周邊基礎設施進行監控的正式環境工作負載。 此產品設計為可與既有的 SDK 型應用與可觀測性堆疊搭配使用。首頁強調只需幾行程式碼即可快速設定，而價格頁則說明自架版本採 Apache 2.0 授權、永久免費，且不受使用量限制或授權金鑰限制。 ## OpenLIT 能做什麼？ ### 分散式追蹤 透過 OpenTelemetry 驅動的分散式追蹤，即時監控與追蹤 LLM 應用。網站表示，這有助於視覺化請求流程、找出瓶頸，並追蹤每次 AI 互動的生命週期。 ### AI 模型評估 可從 UI 或透過 SDK 執行線上與離線評估。產品定位將評估與 prompts、models 以及端到端應用測試連結在一起。 ### Prompt 管理 集中管理 prompts，支援版本控管與部署控制。OpenLIT 將其定位為可用來測試不同 prompt 變體，並追蹤 prompt 表現隨時間的變化。 ### 即時監控 透過即時儀表板與自訂 SQL 查詢檢視跨部署的 telemetry。首頁也提到可設定的小工具與版面配置，用於視覺化 OpenTelemetry 資料。 ### 多部署管理 從單一檢視管理多個部署。OpenLIT 將 Fleet Hub 描述為可比較不同環境效能指標，並從單一儀表板協調 AI fleet 的方式。 ### 具基礎設施感知的可觀測性 將基礎設施訊號與 LLM 活動一併追蹤，包括 GPU 監控、向量資料庫追蹤、token 用量與成本追蹤。價格頁也提到可匯出到 Grafana、Datadog，以及任何 OTLP 後端。 ## 使用情境 ### 為線上 LLM 應用加入可觀測性 直接在 SDK 中為既有的 LLM 應用加入監測，擷取 traces、token 用量與成本資料，而不必將流量透過 proxy。這適合希望以最少程式碼變更、且不增加 proxy 延遲的團隊。 ### 測試 prompts 與 models 在 UI 或透過 SDK 執行 prompt 與 model 實驗，接著使用評估結果比較輸出並迭代應用行為。OpenLIT 也包含 prompt 版本控管，方便團隊追蹤變更歷程。 ### 觀測模型與基礎設施工作負載 監控自架或分散式 AI 基礎設施，其中 GPU 使用率、VRAM、溫度與功耗都很重要。比較頁特別提到 NVIDIA 與 AMD GPU 監控，以及向量資料庫追蹤。 ### 協調多個部署 從單一儀表板管理多個 AI 部署，並比較不同環境的效能。Fleet Hub 被描述為供管理多於一個應用或環境的團隊使用的多部署檢視。 ### 整合至既有觀測堆疊 將 telemetry 匯出到既有的觀測工具，例如 Grafana、Datadog，或任何相容 OTLP 的後端。這適合已經有標準監控堆疊、並希望資料持續流入其中的團隊。 ## 常見問題 ### OpenLIT 真的免費嗎？ 是。OpenLIT 採用 Apache 2.0 授權，可免費自架，沒有使用量限制、沒有功能門檻，也不需要授權金鑰。 ### 自架 OpenLIT 需要什麼？ 價格頁指出，只要有 Docker 和 Docker Compose 就足以自架 OpenLIT。頁面也說你可以在儲存庫中執行 \`docker compose up -d\` 來啟動完整堆疊，包括 UI、ClickHouse 儲存與 OpenTelemetry Collector。 ### OpenLIT 可以把資料送到既有的觀測後端嗎？ 可以。OpenLIT 原生支援 OpenTelemetry，並可匯出到相容 OTLP 的後端，例如 Grafana、Datadog、New Relic、SigNoz 和 Jaeger。 ### OpenLIT 支援 GPU 監控嗎？ 可以。價格頁指出，可透過 \`openlit.init(collect\_gpu\_stats=True)\` 啟用 GPU 指標，且 OpenLIT 會收集 NVIDIA 與 AMD GPU 的使用率、VRAM 用量、溫度與功耗。 ### 有提供雲端版本嗎？ 有，受管理的雲端服務標示為即將推出。頁面說 Cloud 方案仍在開發中，並邀請使用者寄信到 \[email protected\] 加入候補名單。 ## 快速資訊 - **分類**: AI 可觀測性平台 - **授權**: Apache 2.0 - **部署方式**: 目前為自架；雲端代管選項即將推出 - **主要使用者**: 打造 LLM 應用的開發者與工程師 - **來源網域**: openlit.io - **代表性工作流程**: 以單行或少量程式碼完成 SDK 監測與 OpenTelemetry 匯出