OpenAI 相容閘道
提供單一 OpenAI 相容閘道，用於呼叫超過 100 個 LLM 的模型，並在不同供應商之間維持相同的請求格式。
LiteLLM
Freemium
LiteLLM 是 LLM 閘道與 OpenAI 代理，協助團隊管理驗證、負載平衡、支出追蹤，以及跨 100 多個 LLM 的存取，透過單一 OpenAI 相容層連接多家模型供應商。
什麼是 LiteLLM？
LiteLLM 是一個 LLM gateway／OpenAI proxy，旨在管理超過 100 個 LLM 的驗證、負載平衡與支出追蹤。此產品將自己定位為可讓開發者透過 OpenAI 格式存取模型，同時由中央代理保有控制權的方式。
該網站將 LiteLLM 描述為適合需要管理眾多開發者與專案存取權的平台團隊與組織。它支援模型備援、支出追蹤、預算、速率限制、防護規則與可觀測性功能，並提供開源與企業方案。
LiteLLM 能做什麼？
支出追蹤與成本歸屬
依 key、使用者、團隊或組織追蹤用量，並跨 OpenAI、Azure、Bedrock 與 GCP 等供應商歸屬支出。
LLM 備援與負載平衡
在供應商之間路由請求，以處理服務中斷，並在需要時以相同模型名稱重用多個部署。
預算與速率限制
套用預算與速率限制，包括 RPM 與 TPM 追蹤，以協助管理跨團隊與部署的用量。
營運控制
加入防護規則、提示管理與 passthrough endpoints，以調整請求如何透過代理傳遞。
記錄與可觀測性
使用記錄與可觀測性功能，例如 s3 logging、OTEL logging，以及 Langfuse、Arize Phoenix 與 LangSmith 等整合。
使用情境
“標準化模型存取”
將多個模型供應商的存取集中在單一代理之後，讓開發者無需學習各供應商的專屬格式即可呼叫模型。
“處理中斷與速率限制”
當某個模型無法使用或受到速率限制時，將流量路由至替代供應商或部署，以協助團隊維持應用程式運作。
“管理跨團隊支出”
依團隊、組織、key 或使用者追蹤用量，讓平台管理者能歸屬成本並監控各專案的消耗。
“在大型組織中控制存取”
當許多開發者需要臨時或以群組為基礎的模型存取權時，使用企業身分與管理控制。
“自我管理的企業部署”
當組織需要自有基礎架構或升級協助時，在自我管理環境中部署該閘道。
常見問題
什麼是 LiteLLM？
LiteLLM 是一個 LLM gateway／OpenAI proxy，可協助團隊管理驗證、負載平衡與跨 100+ LLM 的支出追蹤。來源描述其可透過 OpenAI 格式提供服務。
LiteLLM 可以自我託管嗎？
來源顯示 LiteLLM 可部署於內部環境，且 LiteLLM Enterprise 也可作為安全、由使用者自我管理的部署方案。
LiteLLM 同時有開源與企業版本嗎？
可以。首頁將 Open Source 描述為免費，企業頁面則將 Enterprise 描述為另一項方案，包含 SSO、SCIM、OIDC/JWT 驗證、支援與即時升級協助等功能。
LiteLLM 適合哪些使用者？
已公開的來源未提供完整設定指南，但其強調 OpenAI 相容存取、模型存取控制與企業身分功能，適合需要管理眾多開發者與專案存取權的組織。
快速資訊
- 類別
- LLM gateway／OpenAI proxy
- 主要使用者
- 管理開發者與專案之 LLM 存取的平台團隊與組織
- 部署
- 雲端、開源與自我管理的企業部署
- 格式
- OpenAI 相容
- 定價
- 開源版本標示為免費；企業版需聯絡銷售
- 來源網域
- litellm.ai
LiteLLM 流量分析
流量數據僅供參考。
- 網域評分
- 80