跨提供方的 OpenAI 风格访问
通过与 OpenAI 兼容的接口调用 100+ 个 LLM，然后将这些调用转换为特定于提供方的端点，例如 chat completions、responses、embeddings、images、audio 和 batches。
什么是 LiteLLM？
LiteLLM 是一个开发者平台，可通过 Python SDK 或代理服务器调用和管理大型语言模型。其核心目标是提供与 OpenAI 兼容的接口，同时在后台将请求转换为许多特定于提供方的端点。
文档将 LiteLLM 描述为支持 100 多个模型以及广泛的端点类型，包括 chat completions、responses、embeddings、images、audio、batches、routing 和基于代理的网关工作流。这使它适合需要为多提供方 LLM 使用、成本追踪和请求管理提供统一访问层的团队。
LiteLLM 能做什么？
中心化代理与访问控制
将代理作为中心化 LLM 网关使用，提供身份验证和授权、虚拟密钥以及用于监控和管理的管理仪表板。
多租户成本管理
按项目和用户跟踪支出，设置预算，并应用按项目定制，例如日志记录、护栏和缓存。
路由、回退与负载均衡
在各个部署之间路由请求，使用重试和回退逻辑，包括冷却时间、超时、排队，并支持在 Azure、OpenAI 和其他提供方之间进行负载均衡。
广泛的端点覆盖
通过代理暴露多个受支持的接口，包括 chat completions、embeddings、图像生成、RAG 端点、护栏、记忆以及其他特定于提供方的端点。
可观测性与 SDK 易用性
集成 Lunary、MLflow 和 Langfuse 等可观测性回调，并使用与 OpenAI 兼容的错误进行应用层处理。
使用场景
“中心化模型网关”
当多个应用需要受控地访问共享模型提供方时，可将代理作为中心化 LLM 网关使用。文档将这种设置中的身份验证、授权、虚拟密钥、管理监控和按项目策略控制作为重点。
“直接应用集成”
当你希望将 LiteLLM 直接嵌入应用代码时，可使用 Python SDK。文档将此路径定位为适合构建 LLM 项目的开发者，无需运行单独代理也能获得统一接口。
“跨部署路由与故障切换”
当流量必须在同一模型别名的多个部署之间分配时，可使用 Router。路由文档描述了负载均衡、重试、回退、冷却时间、排队，以及面向延迟或成本的策略选项。
“预算与支出监管”
当需要在团队或项目之间跟踪支出并管理预算时，可使用该平台。首页提到按项目进行支出追踪和预算控制，而代理文档则补充了多租户成本管理以及用户/项目级控制。
“多端点提供方访问”
当你需要通过一个接口访问许多特定于提供方的端点时，可使用 LiteLLM。受支持端点页面显示，覆盖范围不仅限于聊天，还包括 embeddings、images、audio、RAG、memory、guardrails 和其他专用 API。
常见问题
如何使用 LiteLLM？
LiteLLM 可通过 Proxy Server 或直接通过 Python SDK 使用。文档将这两种方式都作为同一产品的一部分，其中代理定位为中心化的 LLM 网关，而 SDK 适用于在 Python 代码中直接使用。
LiteLLM 支持哪些类型的端点？
文档强调，LiteLLM 会在保持 OpenAI 风格输入和输出格式的同时，将请求转换为特定于各提供方的端点。它支持 chat completions、responses、embeddings、images、audio、batches 等更多能力。
LiteLLM 支持路由和故障转移吗？
LiteLLM Router 可以在多个同一模型别名的部署之间进行负载均衡，并支持重试、回退、冷却时间、超时和排队。代理文档还提到，在生产环境中管理 token-per-minute 和 requests-per-minute 限制时，可使用基于 Redis 的冷却和使用情况跟踪。
文档中有列出定价吗？
收集到的来源中没有显示公开的定价详情。定价 URL 返回的是页面未找到信息，因此应视为提供的文档中未提供定价。
LiteLLM 适合哪些用户？
代理被描述为面向 GenAI 赋能团队和 ML 平台团队，而 Python SDK 则面向构建 LLM 项目的开发者。这表明该产品既适用于中心化平台工作流，也适用于直接应用集成。
快速信息
- 类别
- 开发者工具
- 主要工作流
- 通过代理或 SDK 以 OpenAI 兼容方式访问多提供方 LLM
- 主要用户
- Gen AI 赋能团队、ML 平台团队和开发者
- 来源域名
- docs.litellm.ai
- 支持的提供方
- 100+ 个 LLM 和端点，覆盖 OpenAI、Anthropic、Azure、Vertex AI、NVIDIA、Hugging Face、Ollama、OpenRouter、Novita AI 和 Vercel AI Gateway 等提供方
- 定价
- 收集到的文档中未提供
LiteLLM 流量分析
流量数据仅供参考。
- 月访问量
- 39.9万
- 全球排名
- -
- 用户跳出率
- 51.3%
- 平均访问时长
- 03:36
- 每次访问页数
- 2.63
- 域名评分
- 80
流量趋势
| 3月 | 468217 |
|---|---|
| 4月 | 399827 |
| 5月 | 398723 |
流量来源
- 直接访问: 39.4%
- 搜索: 39.2%
- 引荐: 17.4%
- 社交: 1.57%
- 邮件: 0.20%
- 展示广告: 0.01%
主要访问地区
- 中国: 26.1%
- 美国: 15.4%
- 印度: 5.82%
- 白俄罗斯: 3.95%
- 韩国: 3.40%
- 其他: 45.3%
LiteLLM 替代品
AIMLAPI
aimlapi.com
AIMLAPI provides one API and billing key for accessing a catalog of AI models for chat, reasoning, image, video, audio, voice, search, embeddings, code, and related tasks. It is intended for developers and teams that want to compare and use models from multiple providers through a common platform.
ZenMux
zenmux.ai
面向企业的 LLM 平台，提供统一多模型 API 与智能路由
New API
www.newapi.ai
New API is an open-source, self-hosted AI gateway for developers and teams. It provides a unified OpenAI-compatible endpoint for connecting multiple AI providers, selecting models, configuring channels, and monitoring usage on their own infrastructure.
Router by Ramp
router.com
Router by Ramp is an LLM gateway that gives applications one API endpoint for accessing models from multiple providers. It routes eligible requests based on cost, quality, and availability while providing usage and spend visibility.
CometAPI
cometapi.com
CometAPI is a unified, OpenAI-compatible API layer for accessing more than 500 text, image, video, and audio models through one key. It helps developers and teams compare models, centralize billing, and switch providers without maintaining separate vendor integrations.
Vercel AI Gateway
vercel.com
Vercel AI Gateway gives developers one API surface for hundreds of text, image, video, and audio models across multiple providers. It centralizes model access, routing, fallback, billing, and observability while supporting AI SDK, OpenAI, and Anthropic workflows.