OpenAI 兼容网关
提供一个统一的 OpenAI 兼容网关，用于调用 100+ 个 LLM，并在不同提供方之间保持相同的请求格式。
LiteLLM
认领LiteLLM 是一款 LLM 网关（OpenAI 代理），帮助团队在 100+ LLM 间管理认证、负载均衡、费用追踪与访问控制，适合需要统一 OpenAI 兼容层的平台团队和企业。
概览
LiteLLM 是一款 LLM 网关，也可称为 OpenAI 代理，旨在管理 100 多个 LLM 的认证、负载均衡和费用追踪。该产品将自己定位为一种通过 OpenAI 格式向开发者提供模型访问，同时将控制保留在中央代理中的方式。
该网站将 LiteLLM 定位为适合平台团队和组织，用于管理大量开发者和项目的访问权限。它支持模型回退、费用追踪、预算、速率限制、护栏和可观测性功能，并提供开源版和企业版。
功能
费用追踪与成本归因
按密钥、用户、团队或组织追踪使用情况，并在 OpenAI、Azure、Bedrock 和 GCP 等提供方之间归因费用。
LLM 回退与负载均衡
在不同提供方之间路由请求，以处理故障，并在需要时在同一模型名下复用多个部署。
预算与速率限制
应用预算和速率限制，包括 RPM 和 TPM 追踪，以帮助管理跨团队和部署的使用情况。
运维控制
添加护栏、提示词管理和透传端点，以控制请求在代理中的流转方式。
日志与可观测性
使用日志与可观测性功能，例如 s3 日志、OTEL 日志，以及 Langfuse、Arize Phoenix 和 LangSmith 等集成。
使用场景
标准化模型访问
通过单一代理集中接入多个模型提供方，使开发者无需学习各提供方特定的格式即可调用模型。
处理故障与速率限制
当某个模型不可用或受到速率限制时，将流量路由到替代提供方或部署，帮助团队保持应用运行。
管理跨团队支出
按团队、组织、密钥或用户追踪使用情况，以便平台负责人归因成本并监控各项目的消耗。
在大型组织中控制访问
当许多开发者需要临时或基于组的模型访问权限时，使用企业身份和管理控制。
自托管企业部署
当组织需要自己的基础设施或升级支持时，在自托管环境中部署该网关。
Pros and Cons
Pros
- 采用 OpenAI 兼容格式，可减少连接多个提供方所需的工作量。
- 在一个网关中同时覆盖访问控制、费用追踪、负载均衡和模型回退。
- 企业版支持自托管部署，并有本地部署相关说明。
- 包含企业身份和管理功能，例如 SSO、SCIM、OIDC/JWT 认证，以及团队/组织管理员。
- 通过集成和主页上披露的大量使用数据，展示了较广的生态覆盖。
Cons
- 在收集到的来源中无法获取定价页面，因此此处无法确认公开方案细节和准确的商业条款。
- 网站提到的一些能力仅在较高层级进行说明，但并非所有能力都在收集到的证据中有专门页面。
FAQ
LiteLLM 是什么？
LiteLLM 是一款 LLM 网关 / OpenAI 代理，帮助团队在 100+ 个 LLM 间管理认证、负载均衡和费用追踪。来源说明它可使用 OpenAI 格式提供服务。
LiteLLM 可以自托管吗？
来源表明 LiteLLM 可以部署在本地，且 LiteLLM Enterprise 可作为安全的自托管部署方案。
LiteLLM 同时有开源版和企业版吗？
可以。主页将 Open Source 描述为免费，企业页面则将 Enterprise 描述为独立方案，并提供 SSO、SCIM、OIDC/JWT 认证、支持以及实时升级协助等功能。
LiteLLM 适合哪些用户？
公开来源没有提供完整的上手指南，但它强调 OpenAI 兼容访问、模型访问控制以及面向需要管理大量开发者和项目访问权限的组织的企业身份功能。
Quick Facts
- 类别
- LLM 网关 / OpenAI 代理
- 主要用户
- 管理开发者和项目 LLM 访问的平台团队和组织
- 部署方式
- 云端、开源和自托管企业部署
- 格式
- OpenAI 兼容
- 定价
- 开源版标为免费；企业版需联系销售
- 来源域名
- litellm.ai