# LiteLLM

LiteLLM 是 LLM 閘道與 OpenAI 代理，協助團隊管理驗證、負載平衡、支出追蹤，以及跨 100 多個 LLM 的存取，透過單一 OpenAI 相容層連接多家模型供應商。

- Findings24: <https://findings24.com/zh-TW/tools/litellm-litellm-ai>
- 網站: <https://litellm.ai>
- 價格: Freemium
- 分類: AI開發者工具, AI模型中心

## 什麼是 LiteLLM？

LiteLLM 是一個 LLM gateway／OpenAI proxy，旨在管理超過 100 個 LLM 的驗證、負載平衡與支出追蹤。此產品將自己定位為可讓開發者透過 OpenAI 格式存取模型，同時由中央代理保有控制權的方式。

該網站將 LiteLLM 描述為適合需要管理眾多開發者與專案存取權的平台團隊與組織。它支援模型備援、支出追蹤、預算、速率限制、防護規則與可觀測性功能，並提供開源與企業方案。

## LiteLLM 能做什麼？

### OpenAI 相容閘道

提供單一 OpenAI 相容閘道，用於呼叫超過 100 個 LLM 的模型，並在不同供應商之間維持相同的請求格式。

### 支出追蹤與成本歸屬

依 key、使用者、團隊或組織追蹤用量，並跨 OpenAI、Azure、Bedrock 與 GCP 等供應商歸屬支出。

### LLM 備援與負載平衡

在供應商之間路由請求，以處理服務中斷，並在需要時以相同模型名稱重用多個部署。

### 預算與速率限制

套用預算與速率限制，包括 RPM 與 TPM 追蹤，以協助管理跨團隊與部署的用量。

### 營運控制

加入防護規則、提示管理與 passthrough endpoints，以調整請求如何透過代理傳遞。

### 記錄與可觀測性

使用記錄與可觀測性功能，例如 s3 logging、OTEL logging，以及 Langfuse、Arize Phoenix 與 LangSmith 等整合。

## 使用情境

### 標準化模型存取

將多個模型供應商的存取集中在單一代理之後，讓開發者無需學習各供應商的專屬格式即可呼叫模型。

### 處理中斷與速率限制

當某個模型無法使用或受到速率限制時，將流量路由至替代供應商或部署，以協助團隊維持應用程式運作。

### 管理跨團隊支出

依團隊、組織、key 或使用者追蹤用量，讓平台管理者能歸屬成本並監控各專案的消耗。

### 在大型組織中控制存取

當許多開發者需要臨時或以群組為基礎的模型存取權時，使用企業身分與管理控制。

### 自我管理的企業部署

當組織需要自有基礎架構或升級協助時，在自我管理環境中部署該閘道。

## 常見問題

### 什麼是 LiteLLM？

LiteLLM 是一個 LLM gateway／OpenAI proxy，可協助團隊管理驗證、負載平衡與跨 100+ LLM 的支出追蹤。來源描述其可透過 OpenAI 格式提供服務。

### LiteLLM 可以自我託管嗎？

來源顯示 LiteLLM 可部署於內部環境，且 LiteLLM Enterprise 也可作為安全、由使用者自我管理的部署方案。

### LiteLLM 同時有開源與企業版本嗎？

可以。首頁將 Open Source 描述為免費，企業頁面則將 Enterprise 描述為另一項方案，包含 SSO、SCIM、OIDC/JWT 驗證、支援與即時升級協助等功能。

### LiteLLM 適合哪些使用者？

已公開的來源未提供完整設定指南，但其強調 OpenAI 相容存取、模型存取控制與企業身分功能，適合需要管理眾多開發者與專案存取權的組織。

## 快速資訊

- **類別**: LLM gateway／OpenAI proxy
- **主要使用者**: 管理開發者與專案之 LLM 存取的平台團隊與組織
- **部署**: 雲端、開源與自我管理的企業部署
- **格式**: OpenAI 相容
- **定價**: 開源版本標示為免費；企業版需聯絡銷售
- **來源網域**: litellm.ai