跨提供方的 OpenAI 风格访问
通过与 OpenAI 兼容的接口调用 100+ 个 LLM，然后将这些调用转换为特定于提供方的端点，例如 chat completions、responses、embeddings、images、audio 和 batches。
LiteLLM 的作用
LiteLLM 是一个开发者平台，可通过 Python SDK 或代理服务器调用和管理大型语言模型。其核心目标是提供与 OpenAI 兼容的接口，同时在后台将请求转换为许多特定于提供方的端点。
文档将 LiteLLM 描述为支持 100 多个模型以及广泛的端点类型，包括 chat completions、responses、embeddings、images、audio、batches、routing 和基于代理的网关工作流。这使它适合需要为多提供方 LLM 使用、成本追踪和请求管理提供统一访问层的团队。
核心能力
中心化代理与访问控制
将代理作为中心化 LLM 网关使用，提供身份验证和授权、虚拟密钥以及用于监控和管理的管理仪表板。
多租户成本管理
按项目和用户跟踪支出，设置预算，并应用按项目定制，例如日志记录、护栏和缓存。
路由、回退与负载均衡
在各个部署之间路由请求，使用重试和回退逻辑，包括冷却时间、超时、排队，并支持在 Azure、OpenAI 和其他提供方之间进行负载均衡。
广泛的端点覆盖
通过代理暴露多个受支持的接口，包括 chat completions、embeddings、图像生成、RAG 端点、护栏、记忆以及其他特定于提供方的端点。
可观测性与 SDK 易用性
集成 Lunary、MLflow 和 Langfuse 等可观测性回调，并使用与 OpenAI 兼容的错误进行应用层处理。
团队使用 LiteLLM 的常见方式
中心化模型网关
当多个应用需要受控地访问共享模型提供方时，可将代理作为中心化 LLM 网关使用。文档将这种设置中的身份验证、授权、虚拟密钥、管理监控和按项目策略控制作为重点。
直接应用集成
当你希望将 LiteLLM 直接嵌入应用代码时，可使用 Python SDK。文档将此路径定位为适合构建 LLM 项目的开发者，无需运行单独代理也能获得统一接口。
跨部署路由与故障切换
当流量必须在同一模型别名的多个部署之间分配时，可使用 Router。路由文档描述了负载均衡、重试、回退、冷却时间、排队，以及面向延迟或成本的策略选项。
预算与支出监管
当需要在团队或项目之间跟踪支出并管理预算时，可使用该平台。首页提到按项目进行支出追踪和预算控制，而代理文档则补充了多租户成本管理以及用户/项目级控制。
多端点提供方访问
当你需要通过一个接口访问许多特定于提供方的端点时，可使用 LiteLLM。受支持端点页面显示，覆盖范围不仅限于聊天，还包括 embeddings、images、audio、RAG、memory、guardrails 和其他专用 API。
Pros and Cons
Pros
- 为许多提供方提供与 OpenAI 兼容的接口，可减少特定提供方代码变更。
- 同时支持代理服务器和 Python SDK，因此团队可以选择中心化网关或直接库集成。
- 包含重试、回退、冷却时间、超时以及跨部署负载均衡等路由功能。
- 提供成本和预算控制，支持按项目支出跟踪以及用户/项目级管理。
- 文档记录了广泛支持的端点，从 chat completions 和 embeddings 到图像生成、RAG、护栏和记忆。
Cons
- 收集到的来源中的公开定价页面不可用，因此无法从这些文档中确认价格。
- 提供的来源中最强的证据集中在代理、路由和端点支持上；定价和更广泛的集成等一些领域在这里仍只有部分文档支持。
FAQ
如何使用 LiteLLM？
LiteLLM 可通过 Proxy Server 或直接通过 Python SDK 使用。文档将这两种方式都作为同一产品的一部分，其中代理定位为中心化的 LLM 网关，而 SDK 适用于在 Python 代码中直接使用。
LiteLLM 支持哪些类型的端点？
文档强调，LiteLLM 会在保持 OpenAI 风格输入和输出格式的同时，将请求转换为特定于各提供方的端点。它支持 chat completions、responses、embeddings、images、audio、batches 等更多能力。
LiteLLM 支持路由和故障转移吗？
LiteLLM Router 可以在多个同一模型别名的部署之间进行负载均衡，并支持重试、回退、冷却时间、超时和排队。代理文档还提到，在生产环境中管理 token-per-minute 和 requests-per-minute 限制时，可使用基于 Redis 的冷却和使用情况跟踪。
文档中有列出定价吗？
收集到的来源中没有显示公开的定价详情。定价 URL 返回的是页面未找到信息，因此应视为提供的文档中未提供定价。
LiteLLM 适合哪些用户？
代理被描述为面向 GenAI 赋能团队和 ML 平台团队，而 Python SDK 则面向构建 LLM 项目的开发者。这表明该产品既适用于中心化平台工作流，也适用于直接应用集成。
Quick Facts
- 类别
- 开发者工具
- 主要工作流
- 通过代理或 SDK 以 OpenAI 兼容方式访问多提供方 LLM
- 主要用户
- Gen AI 赋能团队、ML 平台团队和开发者
- 来源域名
- docs.litellm.ai
- 支持的提供方
- 100+ 个 LLM 和端点，覆盖 OpenAI、Anthropic、Azure、Vertex AI、NVIDIA、Hugging Face、Ollama、OpenRouter、Novita AI 和 Vercel AI Gateway 等提供方
- 定价
- 收集到的文档中未提供
LiteLLM 替代品
OpenAI
OpenAI is an AI research and deployment company centered on ChatGPT, the API, Platform tools, and Codex. The site helps individuals, developers, and businesses explore conversational AI, build with models, and follow product and research updates.
AakarDev AI
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
DDS Hub
DDS Hub 是面向 Claude 和 OpenAI 系列模型工作流的 AI API 平台，提供按 token 计费、模型选择和 Claude Code 配置指引，帮助开发者集中完成 API 接入、用量计费和基础故障排查。
NavtoAI API
NavtoAI API is a unified AI API gateway that lets developers and teams route requests across 200+ models through one account and one API shape. The collected pages also show API key usage lookup, routing controls, and centralized management for keys, quota, billing, users, and observability.
EvoLink
EvoLink 是面向 AI 模型的 API 平台，提供一个兼容 OpenAI 的统一入口，可访问来自多家提供商的文本、图像、视频和音乐模型，适合生产级应用、agent 和工作流的模型比较、路由与按量调用。
Happycapy
Happycapy is a browser-based agent platform that lets users run Claude Code, manage skills, and delegate tasks inside a secure sandbox. It offers a free tier plus paid plans for more automation, email handoff, and larger workloads.