OpenLIT

OpenLITは、OpenTelemetryベースのオープンソースLLM可観測性プラットフォーム。AIアプリの監視、トレース、評価に対応し、無料でセルフホスト可能。最小限のコードで導入できます。

OpenLITの概要

OpenLITは、LLMの可観測性、トレーシング、評価に重点を置いたAIエンジニアリング向けのオープンソースプラットフォームです。OpenTelemetry上に構築されており、AIアプリケーション、プロンプト、モデル、周辺インフラ全体の監視を必要とする本番ワークロード向けに位置付けられています。

この製品は、既存のSDKベースのアプリケーションや可観測性スタックと連携するよう設計されています。ホームページでは、数行のコードで素早くセットアップできることが強調されており、料金ページではセルフホスト版がApache 2.0ライセンスで、永続的に無料、使用制限やライセンスキーなしで利用可能と説明されています。

機能

分散トレーシング

OpenTelemetry搭載の分散トレーシングで、LLMアプリをリアルタイムに監視・トレースします。サイトでは、リクエストの流れを可視化し、ボトルネックを特定し、各AIインタラクションのライフサイクルを追跡するのに役立つと説明されています。

AIモデル評価

UIまたはSDKからオンライン・オフラインの評価を実行できます。製品の位置づけでは、評価はプロンプト、モデル、エンドツーエンドのアプリケーションテストと結び付けられています。

プロンプト管理

バージョン管理とデプロイ制御を備えたプロンプトを一元管理できます。OpenLITは、プロンプトのバリエーションを試し、時間の経過に伴うプロンプトのパフォーマンスを追跡する方法としてこれを提示しています。

リアルタイム監視

リアルタイムダッシュボードとカスタムSQLクエリで、デプロイ全体のテレメトリを確認できます。ホームページでは、OpenTelemetryデータを可視化するためのウィジェットやレイアウトの設定も紹介されています。

マルチデプロイメント管理

1つの画面から複数のデプロイを管理できます。OpenLITはFleet Hubを、環境間のパフォーマンス指標を比較し、単一のダッシュボードからAIフリートを連携させる方法として説明しています。

インフラを考慮した可観測性

GPU監視、ベクトルデータベースのトレース、トークン使用量、コスト追跡を含むインフラ信号を、LLMアクティビティとあわせて追跡できます。料金ページでは、Grafana、Datadog、その他任意のOTLPバックエンドへのエクスポートについても触れられています。

ユースケース

本番LLMアプリに可観測性を追加する
既存のLLMアプリケーションにSDKで直接計装を追加し、トラフィックをプロキシ経由にせずにトレース、トークン使用量、コストデータを収集します。最小限のコード変更と追加のプロキシ遅延なしで可観測性を得たいチームに適しています。
プロンプトとモデルをテストする
UIまたはSDKを通じてプロンプトやモデルの実験を行い、その後に評価を使って出力を比較し、アプリケーションの挙動を改善します。OpenLITにはプロンプトのバージョン管理も含まれており、チームは変更を時系列で追跡できます。
モデルとインフラのワークロードを可観測化する
GPU使用率、VRAM、温度、消費電力が重要なセルフホストまたは分散AIインフラを監視します。比較ページでは、NVIDIAとAMDのGPU監視、およびベクトルDBトレーシングが特に取り上げられています。
複数のデプロイを統括する
1つのダッシュボードから複数のAIデプロイを管理し、環境ごとのパフォーマンスを比較します。Fleet Hubは、複数のアプリケーションや環境を運用するチーム向けのマルチデプロイメントビューとして紹介されています。
既存の可観測性スタックに組み込む
Grafana、Datadog、または任意のOTLP互換バックエンドなど、既存の可観測性ツールへテレメトリをエクスポートします。これは、すでに標準的な監視スタックを持ち、データをそこへ流し続けたいチームに適しています。

Pros and Cons

Pros

OpenTelemetryネイティブな設計により、既存のOTLPワークフローやエクスポーターと互換性があります。
Apache 2.0ライセンスの無料セルフホスト版で、使用制限やライセンスキーの要件がありません。
トレーシング、評価、プロンプト管理、ダッシュボード、マルチデプロイメント管理まで幅広く対応しています。
アプリケーションの可観測性に加え、GPU、ベクトルデータベース、トークン使用量、コスト追跡などのインフラ信号もサポートします。
幅広いプロバイダー、フレームワーク、ベクトルデータベース、GPU、OTLP互換バックエンドと連携できます。

Cons

管理型のCloudティアはまだ利用できず、サイトでは近日公開予定とされています。
一部の高度なプラットフォーム機能はセルフホスト製品に集約されているようで、現時点でフルスタックを使うにはセルフホストが必要です。

FAQ

OpenLITは本当に無料ですか？

はい。OpenLITはApache 2.0ライセンスで、セルフホストは無料です。使用制限、機能制限、ライセンスキーの要求はありません。

OpenLITをセルフホストするには何が必要ですか？

料金ページによると、セルフホストにはDockerとDocker Composeがあれば十分です。また、リポジトリ内で `docker compose up -d` を実行すると、UI、ClickHouseストレージ、OpenTelemetry Collectorを含むフルスタックを起動できるとされています。

OpenLITは既存の可観測性バックエンドにデータを送れますか？

はい。OpenLITはOpenTelemetryネイティブで、Grafana、Datadog、New Relic、SigNoz、JaegerなどのOTLP互換バックエンドへエクスポートできます。

OpenLITはGPU監視をサポートしていますか？

はい。料金ページでは、`openlit.init(collect_gpu_stats=True)` でGPUメトリクスを有効化でき、OpenLITがNVIDIAおよびAMDのGPUから使用率、VRAM使用量、温度、消費電力を収集すると説明されています。

クラウド版はありますか？

管理型クラウドサービスは近日提供予定として掲載されています。ページではCloudティアは開発中とされており、[email protected] へメールしてウェイトリストに参加するよう案内しています。

Quick Facts

カテゴリ: AI可観測性プラットフォーム
ライセンス: Apache 2.0
デプロイ: 現在はセルフホスト、クラウド管理オプションは近日提供予定
主な利用者: LLMアプリケーションを構築する開発者とエンジニア
ソースドメイン: openlit.io
注目のワークフロー: 1行または数行のSDK計装とOpenTelemetryエクスポート