# LiteLLM

LiteLLM 是一个 LLM 网关和 OpenAI 代理，帮助团队管理身份验证、负载均衡、支出追踪及 100 多个 LLM 的访问，通过统一的 OpenAI 兼容层接入多家模型提供商。

- Findings24: <https://findings24.com/zh-CN/tools/litellm-litellm-ai>
- 网站: <https://litellm.ai>
- 价格: Freemium
- 分类: AI开发者工具, AI 模型平台

## 什么是 LiteLLM？

LiteLLM 是一款 LLM 网关，也可称为 OpenAI 代理，旨在管理 100 多个 LLM 的认证、负载均衡和费用追踪。该产品将自己定位为一种通过 OpenAI 格式向开发者提供模型访问，同时将控制保留在中央代理中的方式。

该网站将 LiteLLM 定位为适合平台团队和组织，用于管理大量开发者和项目的访问权限。它支持模型回退、费用追踪、预算、速率限制、护栏和可观测性功能，并提供开源版和企业版。

## LiteLLM 能做什么？

### OpenAI 兼容网关

提供一个统一的 OpenAI 兼容网关，用于调用 100+ 个 LLM，并在不同提供方之间保持相同的请求格式。

### 费用追踪与成本归因

按密钥、用户、团队或组织追踪使用情况，并在 OpenAI、Azure、Bedrock 和 GCP 等提供方之间归因费用。

### LLM 回退与负载均衡

在不同提供方之间路由请求，以处理故障，并在需要时在同一模型名下复用多个部署。

### 预算与速率限制

应用预算和速率限制，包括 RPM 和 TPM 追踪，以帮助管理跨团队和部署的使用情况。

### 运维控制

添加护栏、提示词管理和透传端点，以控制请求在代理中的流转方式。

### 日志与可观测性

使用日志与可观测性功能，例如 s3 日志、OTEL 日志，以及 Langfuse、Arize Phoenix 和 LangSmith 等集成。

## 使用场景

### 标准化模型访问

通过单一代理集中接入多个模型提供方，使开发者无需学习各提供方特定的格式即可调用模型。

### 处理故障与速率限制

当某个模型不可用或受到速率限制时，将流量路由到替代提供方或部署，帮助团队保持应用运行。

### 管理跨团队支出

按团队、组织、密钥或用户追踪使用情况，以便平台负责人归因成本并监控各项目的消耗。

### 在大型组织中控制访问

当许多开发者需要临时或基于组的模型访问权限时，使用企业身份和管理控制。

### 自托管企业部署

当组织需要自己的基础设施或升级支持时，在自托管环境中部署该网关。

## 常见问题

### LiteLLM 是什么？

LiteLLM 是一款 LLM 网关 / OpenAI 代理，帮助团队在 100+ 个 LLM 间管理认证、负载均衡和费用追踪。来源说明它可使用 OpenAI 格式提供服务。

### LiteLLM 可以自托管吗？

来源表明 LiteLLM 可以部署在本地，且 LiteLLM Enterprise 可作为安全的自托管部署方案。

### LiteLLM 同时有开源版和企业版吗？

可以。主页将 Open Source 描述为免费，企业页面则将 Enterprise 描述为独立方案，并提供 SSO、SCIM、OIDC/JWT 认证、支持以及实时升级协助等功能。

### LiteLLM 适合哪些用户？

公开来源没有提供完整的上手指南，但它强调 OpenAI 兼容访问、模型访问控制以及面向需要管理大量开发者和项目访问权限的组织的企业身份功能。

## 快速信息

- **类别**: LLM 网关 / OpenAI 代理
- **主要用户**: 管理开发者和项目 LLM 访问的平台团队和组织
- **部署方式**: 云端、开源和自托管企业部署
- **格式**: OpenAI 兼容
- **定价**: 开源版标为免费；企业版需联系销售
- **来源域名**: litellm.ai