OpenAI 相容閘道
提供單一 OpenAI 相容閘道，用於呼叫超過 100 個 LLM 的模型，並在不同供應商之間維持相同的請求格式。
概覽
LiteLLM 是一個 LLM gateway／OpenAI proxy，旨在管理超過 100 個 LLM 的驗證、負載平衡與支出追蹤。此產品將自己定位為可讓開發者透過 OpenAI 格式存取模型，同時由中央代理保有控制權的方式。
該網站將 LiteLLM 描述為適合需要管理眾多開發者與專案存取權的平台團隊與組織。它支援模型備援、支出追蹤、預算、速率限制、防護規則與可觀測性功能，並提供開源與企業方案。
功能
支出追蹤與成本歸屬
依 key、使用者、團隊或組織追蹤用量，並跨 OpenAI、Azure、Bedrock 與 GCP 等供應商歸屬支出。
LLM 備援與負載平衡
在供應商之間路由請求，以處理服務中斷，並在需要時以相同模型名稱重用多個部署。
預算與速率限制
套用預算與速率限制，包括 RPM 與 TPM 追蹤，以協助管理跨團隊與部署的用量。
營運控制
加入防護規則、提示管理與 passthrough endpoints，以調整請求如何透過代理傳遞。
記錄與可觀測性
使用記錄與可觀測性功能，例如 s3 logging、OTEL logging，以及 Langfuse、Arize Phoenix 與 LangSmith 等整合。
使用情境
標準化模型存取
將多個模型供應商的存取集中在單一代理之後，讓開發者無需學習各供應商的專屬格式即可呼叫模型。
處理中斷與速率限制
當某個模型無法使用或受到速率限制時，將流量路由至替代供應商或部署，以協助團隊維持應用程式運作。
管理跨團隊支出
依團隊、組織、key 或使用者追蹤用量，讓平台管理者能歸屬成本並監控各專案的消耗。
在大型組織中控制存取
當許多開發者需要臨時或以群組為基礎的模型存取權時，使用企業身分與管理控制。
自我管理的企業部署
當組織需要自有基礎架構或升級協助時，在自我管理環境中部署該閘道。
Pros and Cons
Pros
- 使用 OpenAI 相容格式，可能降低串接多個供應商所需的工作量。
- 在單一閘道中涵蓋存取控制、支出追蹤、負載平衡與模型備援。
- 透過企業方案與 on-prem 部署說明，支援自我管理部署。
- 包含企業身分與管理功能，例如 SSO、SCIM、OIDC/JWT 驗證，以及團隊／組織管理員。
- 透過整合與首頁上所示的大量使用數據，展現廣泛的生態系足跡。
Cons
- 在蒐集到的來源中未提供定價頁面，因此無法在此確認公開方案細節與確切商業條款。
- 網站上有些功能僅以高層次方式提及，但在蒐集到的證據中並非都擁有專屬來源頁面。
FAQ
什麼是 LiteLLM？
LiteLLM 是一個 LLM gateway／OpenAI proxy，可協助團隊管理驗證、負載平衡與跨 100+ LLM 的支出追蹤。來源描述其可透過 OpenAI 格式提供服務。
LiteLLM 可以自我託管嗎？
來源顯示 LiteLLM 可部署於內部環境，且 LiteLLM Enterprise 也可作為安全、由使用者自我管理的部署方案。
LiteLLM 同時有開源與企業版本嗎？
可以。首頁將 Open Source 描述為免費，企業頁面則將 Enterprise 描述為另一項方案，包含 SSO、SCIM、OIDC/JWT 驗證、支援與即時升級協助等功能。
LiteLLM 適合哪些使用者？
已公開的來源未提供完整設定指南，但其強調 OpenAI 相容存取、模型存取控制與企業身分功能，適合需要管理眾多開發者與專案存取權的組織。
Quick Facts
- 類別
- LLM gateway／OpenAI proxy
- 主要使用者
- 管理開發者與專案之 LLM 存取的平台團隊與組織
- 部署
- 雲端、開源與自我管理的企業部署
- 格式
- OpenAI 相容
- 定價
- 開源版本標示為免費；企業版需聯絡銷售
- 來源網域
- litellm.ai
LiteLLM 替代品
OpenAI
OpenAI 是專注於 ChatGPT、API、Platform 工具與 Codex 的 AI 研究與部署公司；探索對話式 AI、以模型開發，並掌握產品與研究更新。
AakarDev AI
AakarDev AI 讓團隊從單一儀表板管理 AI provider 存取、專案設定、日誌與分析，支援 BYOK 流程，並涵蓋 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AI。
书生
書生是一個通用大模型體系，提供語言、多模態、氣象海洋、工業設計、三維空間、金融與科學發現等場景的模型與平台能力。
Orca
Orca 是一款 Agent 開發環境，專為搭配 coding agents 發佈軟體而設計。可在隔離的 worktrees 中平行執行多個 CLI agents，並提供桌面與行動裝置輔助工作流程。
Firebase Studio
Firebase Studio 是一個以瀏覽器為基礎的全端應用開發工作區，提供 Gemini 輔助編碼、應用預覽、雲端模擬器，可匯入既有專案、原型設計、協作與瀏覽器部署。
EZsite AI
EZsite AI 是一款 AI 網站建置工具，可將網址轉換成完整的 React 或 Vue.js 應用程式，並提供主機、網域、程式碼匯出與後端功能，適合需要可部署成果的團隊。