LiteLLM

LiteLLM 提供与 OpenAI 兼容的方式，通过 Python SDK 或代理服务器调用和管理 100+ 个 LLM。支持统一路由、费用追踪和多供应商接入。

LiteLLM 的作用

LiteLLM 是一个开发者平台，可通过 Python SDK 或代理服务器调用和管理大型语言模型。其核心目标是提供与 OpenAI 兼容的接口，同时在后台将请求转换为许多特定于提供方的端点。

文档将 LiteLLM 描述为支持 100 多个模型以及广泛的端点类型，包括 chat completions、responses、embeddings、images、audio、batches、routing 和基于代理的网关工作流。这使它适合需要为多提供方 LLM 使用、成本追踪和请求管理提供统一访问层的团队。

核心能力

跨提供方的 OpenAI 风格访问

通过与 OpenAI 兼容的接口调用 100+ 个 LLM，然后将这些调用转换为特定于提供方的端点，例如 chat completions、responses、embeddings、images、audio 和 batches。

中心化代理与访问控制

将代理作为中心化 LLM 网关使用，提供身份验证和授权、虚拟密钥以及用于监控和管理的管理仪表板。

多租户成本管理

按项目和用户跟踪支出，设置预算，并应用按项目定制，例如日志记录、护栏和缓存。

路由、回退与负载均衡

在各个部署之间路由请求，使用重试和回退逻辑，包括冷却时间、超时、排队，并支持在 Azure、OpenAI 和其他提供方之间进行负载均衡。

广泛的端点覆盖

通过代理暴露多个受支持的接口，包括 chat completions、embeddings、图像生成、RAG 端点、护栏、记忆以及其他特定于提供方的端点。

可观测性与 SDK 易用性

集成 Lunary、MLflow 和 Langfuse 等可观测性回调，并使用与 OpenAI 兼容的错误进行应用层处理。

团队使用 LiteLLM 的常见方式

中心化模型网关
当多个应用需要受控地访问共享模型提供方时，可将代理作为中心化 LLM 网关使用。文档将这种设置中的身份验证、授权、虚拟密钥、管理监控和按项目策略控制作为重点。
直接应用集成
当你希望将 LiteLLM 直接嵌入应用代码时，可使用 Python SDK。文档将此路径定位为适合构建 LLM 项目的开发者，无需运行单独代理也能获得统一接口。
跨部署路由与故障切换
当流量必须在同一模型别名的多个部署之间分配时，可使用 Router。路由文档描述了负载均衡、重试、回退、冷却时间、排队，以及面向延迟或成本的策略选项。
预算与支出监管
当需要在团队或项目之间跟踪支出并管理预算时，可使用该平台。首页提到按项目进行支出追踪和预算控制，而代理文档则补充了多租户成本管理以及用户/项目级控制。
多端点提供方访问
当你需要通过一个接口访问许多特定于提供方的端点时，可使用 LiteLLM。受支持端点页面显示，覆盖范围不仅限于聊天，还包括 embeddings、images、audio、RAG、memory、guardrails 和其他专用 API。

Pros and Cons

Pros

为许多提供方提供与 OpenAI 兼容的接口，可减少特定提供方代码变更。
同时支持代理服务器和 Python SDK，因此团队可以选择中心化网关或直接库集成。
包含重试、回退、冷却时间、超时以及跨部署负载均衡等路由功能。
提供成本和预算控制，支持按项目支出跟踪以及用户/项目级管理。
文档记录了广泛支持的端点，从 chat completions 和 embeddings 到图像生成、RAG、护栏和记忆。

Cons

收集到的来源中的公开定价页面不可用，因此无法从这些文档中确认价格。
提供的来源中最强的证据集中在代理、路由和端点支持上；定价和更广泛的集成等一些领域在这里仍只有部分文档支持。

FAQ

如何使用 LiteLLM？

LiteLLM 可通过 Proxy Server 或直接通过 Python SDK 使用。文档将这两种方式都作为同一产品的一部分，其中代理定位为中心化的 LLM 网关，而 SDK 适用于在 Python 代码中直接使用。

LiteLLM 支持哪些类型的端点？

文档强调，LiteLLM 会在保持 OpenAI 风格输入和输出格式的同时，将请求转换为特定于各提供方的端点。它支持 chat completions、responses、embeddings、images、audio、batches 等更多能力。

LiteLLM 支持路由和故障转移吗？

LiteLLM Router 可以在多个同一模型别名的部署之间进行负载均衡，并支持重试、回退、冷却时间、超时和排队。代理文档还提到，在生产环境中管理 token-per-minute 和 requests-per-minute 限制时，可使用基于 Redis 的冷却和使用情况跟踪。

文档中有列出定价吗？

收集到的来源中没有显示公开的定价详情。定价 URL 返回的是页面未找到信息，因此应视为提供的文档中未提供定价。

LiteLLM 适合哪些用户？

代理被描述为面向 GenAI 赋能团队和 ML 平台团队，而 Python SDK 则面向构建 LLM 项目的开发者。这表明该产品既适用于中心化平台工作流，也适用于直接应用集成。

Quick Facts

类别: 开发者工具
主要工作流: 通过代理或 SDK 以 OpenAI 兼容方式访问多提供方 LLM
主要用户: Gen AI 赋能团队、ML 平台团队和开发者
来源域名: docs.litellm.ai
支持的提供方: 100+ 个 LLM 和端点，覆盖 OpenAI、Anthropic、Azure、Vertex AI、NVIDIA、Hugging Face、Ollama、OpenRouter、Novita AI 和 Vercel AI Gateway 等提供方
定价: 收集到的文档中未提供

LiteLLM 数据分析

LiteLLM· 月访问量 39.9万

流量数据仅供参考。

月访问量: 39.9万
全球排名: -
分类排名: -
用户跳出率: 51.3%
平均访问时长: 03:36
每次访问页数: 2.63

流量趋势

月访问量 - 3
3月	468217
4月	399827
5月	398723

流量来源

直接访问39.4%
搜索39.2%
引荐17.4%
社交1.57%
邮件0.20%
展示广告0.01%

主要访问地区

中国26.1%
美国15.4%
印度5.82%
白俄罗斯3.95%
韩国3.40%
其他45.3%