プロバイダーをまたいだOpenAI風アクセス
OpenAI互換のインターフェースで100以上のLLMを呼び出し、chat completions、responses、embeddings、images、audio、batchesなどのプロバイダー固有エンドポイントへの呼び出しに変換します。
LiteLLMの概要
LiteLLMは、Python SDKまたはプロキシサーバーのいずれかを通じて大規模言語モデルを呼び出し・管理できる開発者向けプラットフォームです。OpenAI互換のインターフェースを提供しつつ、内部では多数のプロバイダー固有エンドポイントへリクエストを変換することが中心的な役割です。
ドキュメントでは、LiteLLMが100以上のモデルと、chat completions、responses、embeddings、images、audio、batches、routing、プロキシベースのgateway workflowsを含む幅広いエンドポイント種別をサポートすると説明されています。そのため、複数プロバイダーのLLM利用、コスト追跡、リクエスト管理を1つのアクセス層でまとめたいチームに向いています。
主な機能
集中型プロキシとアクセス制御
認証と認可、virtual keys、監視・管理用のadmin dashboardを備えた集中型LLM gatewayとしてproxyを利用できます。
マルチテナントのコスト管理
projectとuserごとに支出を追跡し、budgetを設定し、logging、guardrails、cachingのようなproject単位のカスタマイズを適用できます。
ルーティング、フォールバック、ロードバランシング
retryとfallbackロジックでデプロイ間のリクエストをルーティングし、cooldowns、timeouts、queueing、Azure、OpenAI、その他のプロバイダー間でのload balancingをサポートします。
幅広いエンドポイント対応
proxyを通じて、chat completions、embeddings、image generation、RAG endpoints、guardrails、memory、その他のプロバイダー固有エンドポイントなど、複数のサポート対象を公開します。
可観測性とSDKの使いやすさ
Lunary、MLflow、Langfuseなどのobservability callbackを統合し、アプリケーション側のハンドリングにはOpenAI互換のエラーを使用できます。
チームがLiteLLMを使う主な方法
中央モデルゲートウェイ
複数のアプリケーションが共有モデルプロバイダーへ制御されたアクセスを必要とする場合に、proxyを中央のLLM gatewayとして使います。ドキュメントでは、この構成のための認証、認可、virtual keys、admin monitoring、projectごとのポリシー制御が強調されています。
アプリケーションへの直接統合
アプリケーションコードにLiteLLMを直接組み込みたい場合はPython SDKを使います。ドキュメントでは、別のproxyを運用せずに統一されたインターフェースが必要なLLMプロジェクト開発者向けの方法として位置づけられています。
デプロイ間ルーティングとフェイルオーバー
同じモデルエイリアスの複数デプロイ間でトラフィックを分散する必要がある場合はRouterを使います。ルーティングのドキュメントでは、load balancing、retry、fallback、cooldowns、queueing、latencyやcostを考慮した戦略オプションが説明されています。
予算と支出の監視
チームやプロジェクト全体の支出を追跡し、budgetを管理したい場合にプラットフォームを使います。ホームページではprojectごとのspend trackingとbudgetsが示され、proxyのドキュメントではマルチテナントのコスト管理とuser/projectレベルの制御が追加されています。
マルチエンドポイントのプロバイダーアクセス
1つのインターフェースから多くのプロバイダー固有エンドポイントへ到達したい場合にLiteLLMを使います。対応エンドポイントのページでは、chat以外にもembeddings、images、audio、RAG、memory、guardrails、その他の特殊APIまでカバーしていることが示されています。
Pros and Cons
Pros
- 多くのプロバイダーに対してOpenAI互換のインターフェースを提供するため、プロバイダー固有のコード変更を減らせます。
- proxy serverとPython SDKの両方をサポートしているため、集中型ゲートウェイと直接ライブラリ統合のどちらも選べます。
- retry、fallback、cooldowns、timeouts、デプロイ間のload balancingなどのルーティング機能を備えています。
- project単位の支出追跡とuser/projectレベルの管理を通じて、コストとbudgetの制御を行えます。
- chat completionsやembeddingsからimage generation、RAG、guardrails、memoryまで、幅広いサポート済みエンドポイントが文書化されています。
Cons
- 収集したソース内に公開価格ページがないため、価格はこれらのドキュメントから確認できません。
- 提供されたソースで特に強く裏付けられているのはプロキシ、ルーティング、エンドポイント対応であり、価格やより広い統合などの一部領域はここでは十分に文書化されていません。
FAQ
LiteLLMはどのように使いますか？
LiteLLMは、Proxy ServerまたはPython SDKのいずれかを通じて使用できます。ドキュメントでは、プロキシを中央のLLMゲートウェイとして、SDKをPythonコード内で直接使うための विकल्पとして、どちらも同じ製品の一部として示しています。
LiteLLMはどのようなエンドポイントをサポートしていますか？
ドキュメントでは、LiteLLMがOpenAI風の入出力形式を保ちながら、リクエストをプロバイダー固有のエンドポイントに変換すると強調されています。chat completions、responses、embeddings、images、audio、batchesなどをサポートします。
LiteLLMはルーティングとフェイルオーバーを処理しますか？
LiteLLM Routerは、複数の同一モデルエイリアスのデプロイ間でロードバランスでき、retry、fallback、cooldowns、timeouts、queueingをサポートします。プロキシのドキュメントでは、本番環境でtoken-per-minuteとrequests-per-minuteの制限を管理する際のcooldownと使用量追跡にRedisベースの追跡も示されています。
ドキュメントに価格は記載されていますか？
収集したソースには公開価格の詳細は表示されていません。pricingのURLはページが見つからないメッセージを返すため、提供されたドキュメントからは価格は利用不可として扱うべきです。
LiteLLMは誰向けですか？
プロキシはGenAI enablementチームとML platformチーム向け、Python SDKはLLMプロジェクトを構築する開発者向けとして説明されています。つまり、この製品は集中管理されたプラットフォーム運用と直接のアプリケーション統合の両方に対応できると考えられます。
Quick Facts
- カテゴリ
- 開発者向けツール
- 主なワークフロー
- proxyまたはSDK経由で、OpenAI互換の方法で複数プロバイダーのLLMへアクセス
- 主な利用者
- Gen AI enablementチーム、ML platformチーム、開発者
- ソースドメイン
- docs.litellm.ai
- 対応プロバイダー
- OpenAI、Anthropic、Azure、Vertex AI、NVIDIA、Hugging Face、Ollama、OpenRouter、Novita AI、Vercel AI Gatewayなど、プロバイダーをまたいだ100以上のLLMとエンドポイント
- 価格
- 収集したドキュメントでは利用不可
LiteLLMの代替品
OpenAI
OpenAI is an AI research and deployment company centered on ChatGPT, the API, Platform tools, and Codex. The site helps individuals, developers, and businesses explore conversational AI, build with models, and follow product and research updates.
AakarDev AI
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
DDS Hub
DDS Hubは、ClaudeとOpenAI系モデルのワークフロー向けAI APIプラットフォーム。トークン課金、モデル選択、Claude Codeのセットアップ案内まで、開発者向けにまとめて利用できます。
NavtoAI API
NavtoAI API is a unified AI API gateway that lets developers and teams route requests across 200+ models through one account and one API shape. The collected pages also show API key usage lookup, routing controls, and centralized management for keys, quota, billing, users, and observability.
EvoLink
EvoLinkは、複数プロバイダのテキスト、画像、動画、音楽モデルをOpenAI互換の単一エンドポイントで利用できるAIモデルAPIプラットフォーム。比較、ルーティング、従量課金にも対応します。
Happycapy
Happycapy is a browser-based agent platform that lets users run Claude Code, manage skills, and delegate tasks inside a secure sandbox. It offers a free tier plus paid plans for more automation, email handoff, and larger workloads.