OpenAI 兼容网关
提供一个统一的 OpenAI 兼容网关，用于调用 100+ 个 LLM，并在不同提供方之间保持相同的请求格式。
LiteLLM
Freemium
LiteLLM 是一个 LLM 网关和 OpenAI 代理，帮助团队管理身份验证、负载均衡、支出追踪及 100 多个 LLM 的访问，通过统一的 OpenAI 兼容层接入多家模型提供商。
什么是 LiteLLM？
LiteLLM 是一款 LLM 网关，也可称为 OpenAI 代理，旨在管理 100 多个 LLM 的认证、负载均衡和费用追踪。该产品将自己定位为一种通过 OpenAI 格式向开发者提供模型访问，同时将控制保留在中央代理中的方式。
该网站将 LiteLLM 定位为适合平台团队和组织，用于管理大量开发者和项目的访问权限。它支持模型回退、费用追踪、预算、速率限制、护栏和可观测性功能，并提供开源版和企业版。
LiteLLM 能做什么？
费用追踪与成本归因
按密钥、用户、团队或组织追踪使用情况，并在 OpenAI、Azure、Bedrock 和 GCP 等提供方之间归因费用。
LLM 回退与负载均衡
在不同提供方之间路由请求，以处理故障，并在需要时在同一模型名下复用多个部署。
预算与速率限制
应用预算和速率限制，包括 RPM 和 TPM 追踪，以帮助管理跨团队和部署的使用情况。
运维控制
添加护栏、提示词管理和透传端点，以控制请求在代理中的流转方式。
日志与可观测性
使用日志与可观测性功能，例如 s3 日志、OTEL 日志，以及 Langfuse、Arize Phoenix 和 LangSmith 等集成。
使用场景
“标准化模型访问”
通过单一代理集中接入多个模型提供方，使开发者无需学习各提供方特定的格式即可调用模型。
“处理故障与速率限制”
当某个模型不可用或受到速率限制时，将流量路由到替代提供方或部署，帮助团队保持应用运行。
“管理跨团队支出”
按团队、组织、密钥或用户追踪使用情况，以便平台负责人归因成本并监控各项目的消耗。
“在大型组织中控制访问”
当许多开发者需要临时或基于组的模型访问权限时，使用企业身份和管理控制。
“自托管企业部署”
当组织需要自己的基础设施或升级支持时，在自托管环境中部署该网关。
常见问题
LiteLLM 是什么？
LiteLLM 是一款 LLM 网关 / OpenAI 代理，帮助团队在 100+ 个 LLM 间管理认证、负载均衡和费用追踪。来源说明它可使用 OpenAI 格式提供服务。
LiteLLM 可以自托管吗？
来源表明 LiteLLM 可以部署在本地，且 LiteLLM Enterprise 可作为安全的自托管部署方案。
LiteLLM 同时有开源版和企业版吗？
可以。主页将 Open Source 描述为免费，企业页面则将 Enterprise 描述为独立方案，并提供 SSO、SCIM、OIDC/JWT 认证、支持以及实时升级协助等功能。
LiteLLM 适合哪些用户？
公开来源没有提供完整的上手指南，但它强调 OpenAI 兼容访问、模型访问控制以及面向需要管理大量开发者和项目访问权限的组织的企业身份功能。
快速信息
- 类别
- LLM 网关 / OpenAI 代理
- 主要用户
- 管理开发者和项目 LLM 访问的平台团队和组织
- 部署方式
- 云端、开源和自托管企业部署
- 格式
- OpenAI 兼容
- 定价
- 开源版标为免费；企业版需联系销售
- 来源域名
- litellm.ai
LiteLLM 流量分析
流量数据仅供参考。
- 域名评分
- 80
LiteLLM 替代品
AlphaProxy
alphaproxy.ai
AlphaProxy 是兼容 OpenAI 的网关，可在 100 多家提供商的 450 多个模型之间路由请求，并支持多步骤代理任务与定时工作流。
APIPark
apipark.com
开源企业级 API 开发者门户与 AI 网关，管理 API 和生产环境 LLM
OpenRouter
openrouter.ai
通过统一 API 访问数百种 AI 模型，支持路由、故障转移和兼容 OpenAI 的集成。
Groq
groq.com
借助 Groq LPU 和 GroqCloud，提供快速低成本的 AI 推理
EasyRouter
easyrouter.io
通过一个接口统一接入第三方模型 API 的 AI 模型网关
NavtoAI API
sub2api.navtoai.com
统一 AI API 网关，通过一个账户路由 200 多个模型