Lunary

Freemium

LLMベースのアプリ向けに、可観測性とプロンプト管理を提供するプラットフォーム。チャットボットやエージェントなどのLLMワークフローの監視、改善、セキュリティ強化を支援します。

Lunaryとは？

Lunaryは、LLMベースのアプリケーション向けに可観測性とプロンプト管理を提供するプラットフォームです。開発から本番環境へ移行する際に、チームがAIチャットボットやその他のLLMワークフローを監視、改善、保護できるよう設計されています。

ログ、トレース、プロンプトテンプレート、人によるレビュー、分析、ガードレールを1か所に集約します。また、セルフホスティングの選択肢、エンタープライズ向けの制御機能、SDKベースの統合にも重点を置いており、リクエスト処理経路にLunaryを直接配置せずに監視を追加できます。

プロンプト、トレース、エラー、実行、関連メタデータを追跡し、本番環境でLLMアプリがどのように動作しているかをチームが確認できます。

プロンプトテンプレートを作成し、チームメンバーと共同作業できます。バージョン管理とA/Bテストを使って、プロンプトの変更を反復的に改善できます。

応答をレビューしてデータにラベルを付け、後続のファインチューニングワークフロー向けにログをJSONL形式でエクスポートできます。

分析機能とカスタムダッシュボードを使って、利用状況、コスト、トピック、満足度を検索、絞り込み、分析できます。

個人情報をマスキングし、ロールとアクセス権を管理できます。SSO/SAMLにも対応し、データへのアクセスを制御できます。

SDK、HTTP API、OpenAI、LangChain、LiteLLM、Flowiseなどのツールとの統合を通じて接続できます。

Lunaryを使って本番環境のLLMトラフィックを確認し、トレースとエラーをレビューして、実際のユーザーがチャットボットやエージェントをどのように利用しているかを把握できます。

テンプレートを作成し、プロンプトのバージョンを比較して、システムプロンプトやチャットフローを改善する際にA/Bテストを実施できます。

モデルのファインチューニングや分析向けのデータセットを準備する際に、ログにラベルを付け、応答をレビューし、データをJSONL形式でエクスポートできます。

機密性の高いユーザーデータやコンプライアンス要件の厳しいワークロードを扱う際に、PIIマスキング、アクセス制御、セルフホスティングを適用できます。

プロジェクトを共有し、チームメンバーを招待できます。人によるレビューとダッシュボードを使って、技術担当者と非技術担当者の間でフィードバックを調整できます。

Lunaryとは何ですか？

Lunaryは、AIチャットボットの監視、改善、保護を行うためのプラットフォームです。FAQでは、可観測性、プロンプト管理、評価、LLMガードレールをカバーするものと説明されています。

イベントまたは実行として扱われるものは何ですか？

FAQによると、実行にはllm、trace、chain、embedding、chatなどの種類があります。LLMの場合、実行は通常、推論APIへの1回のAPI呼び出し、またはスレッド内の1件のチャットメッセージを指します。

LunaryによってLLM呼び出しが遅くなりますか？

いいえ。FAQによると、Lunary SDKはコードと推論APIの間に配置されるのではなく非同期で動作するため、リクエストのレイテンシーに影響を与えないとされています。

データはどのくらい保持されますか？

FAQによると、無料プランのデータは30日間利用でき、有料プランのデータは無期限に保持されます。セルフホスティングの場合、データは無期限に手元に残ります。

セルフホスティングは無料ですか？

はい。FAQによると、Community Editionでは無料でセルフホスティングできます。一方、Enterprise EditionはDocker、Kubernetesなどに対応しており、有料です。

トラフィックデータは参考情報としてご利用ください。