# LiteLLM LiteLLMはLLMゲートウェイ兼OpenAIプロキシです。認証、負荷分散、利用額の追跡、100以上のLLMへのアクセスを管理し、複数プロバイダーのモデルを単一のOpenAI互換レイヤーで利用できます。 - Findings24: - ウェブサイト: - 料金: Freemium - カテゴリー: AI開発者ツール, AIモデルハブ ## LiteLLMとは？ LiteLLMは、100以上のLLMにわたる認証、負荷分散、利用額の追跡を管理するために構築された、OpenAIプロキシとも説明されるLLMゲートウェイです。この製品は、制御を中央のプロキシに維持しながら、OpenAI形式で開発者にモデルアクセスを提供する方法として位置づけられています。 サイトでは、LiteLLMは多くの開発者やプロジェクトのアクセス管理を必要とするプラットフォームチームや組織に有用であるとされています。モデルのフォールバック、利用額の追跡、予算、レート制限、ガードレール、可観測性機能をサポートしており、オープンソース版とエンタープライズ版の両方が利用できます。 ## LiteLLMでできること ### OpenAI互換ゲートウェイ 100以上のLLMにわたってモデルを呼び出すための、単一のOpenAI互換ゲートウェイを提供し、プロバイダー間で同じリクエスト形式を維持します。 ### 利用額の追跡とコスト配賦 キー、ユーザー、チーム、または組織ごとに利用状況を追跡し、OpenAI、Azure、Bedrock、GCP などのプロバイダー間で利用額を割り当てます。 ### LLMのフォールバックと負荷分散 障害に対応するためにプロバイダー間でリクエストをルーティングし、必要に応じて同じモデル名の下で複数のデプロイメントを再利用します。 ### 予算とレート制限 RPM と TPM の追跡を含む予算とレート制限を適用して、チームやデプロイメント全体の利用管理を支援します。 ### 運用制御 ガードレール、プロンプト管理、パススルーエンドポイントを追加して、リクエストがプロキシを通過する方法を調整します。 ### ログ記録と可観測性 s3 ロギング、OTEL ロギング、Langfuse、Arize Phoenix、LangSmith などの統合を含む、ログ記録と可観測性機能を利用します。 ## 利用シーン ### モデルアクセスの標準化 単一のプロキシの背後に複数のモデルプロバイダーへのアクセスを集約し、開発者がプロバイダー固有の形式を学ばずにモデルを呼び出せるようにします。 ### 障害とレート制限への対応 モデルが利用できない場合やレート制限に達した場合に、トラフィックを別のプロバイダーやデプロイメントへルーティングし、アプリケーションの稼働維持を支援します。 ### チーム全体の支出管理 チーム、組織、キー、ユーザーごとに利用状況を追跡し、プラットフォーム管理者がプロジェクト全体のコスト配賦と消費量を監視できるようにします。 ### 大規模組織でのアクセス制御 多くの開発者が一時的またはグループベースでモデルにアクセスする必要がある場合に、エンタープライズのID管理と管理機能を利用します。 ### 自己管理型エンタープライズデプロイ 組織が独自のインフラストラクチャやアップグレード支援を必要とする場合に、自己管理型環境へゲートウェイをデプロイします。 ## よくある質問 ### LiteLLMとは何ですか？ LiteLLMは、チームが100以上のLLMにわたる認証、負荷分散、利用額の追跡を管理するのを支援するLLMゲートウェイ / OpenAIプロキシです。ソースでは、OpenAI形式で利用できると説明されています。 ### LiteLLMはセルフホストできますか？ ソースによると、LiteLLMはオンプレミスにデプロイでき、LiteLLM Enterpriseは安全な自己管理型デプロイとして利用できます。 ### LiteLLMにはオープンソース版とエンタープライズ版の両方がありますか？ はい。ホームページでは Open Source が無料であると説明されており、エンタープライズページでは SSO、SCIM、OIDC/JWT 認証、サポート、ライブアップグレード支援などの機能を備えた別の提供形態として Enterprise が説明されています。 ### LiteLLMは誰向けですか？ 公開されているソースでは完全なセットアップガイドは提供されていませんが、OpenAI互換のアクセス、モデルアクセス制御、そして多くの開発者やプロジェクトのアクセスを管理する必要がある組織向けのエンタープライズID機能が強調されています。 ## クイック情報 - **カテゴリ**: LLMゲートウェイ / OpenAIプロキシ - **主なユーザー**: 開発者やプロジェクトのLLMアクセスを管理するプラットフォームチームと組織 - **デプロイ**: クラウド、オープンソース、自己管理型エンタープライズデプロイ - **形式**: OpenAI互換 - **価格**: オープンソースは無料、エンタープライズは問い合わせ販売 - **ソースドメイン**: litellm.ai