# HoneyHive 本番AIエージェント向けの可観測性・評価プラットフォーム - Findings24: - ウェブサイト: - 料金: Freemium - カテゴリー: AIコードアシスタント, AI開発者ツール, AIオブザーバビリティ ## HoneyHiveとは？ HoneyHiveは、本番AIエージェント向けの観測・評価プラットフォームです。分散トレーシング、ライブ評価、実験、レビューのワークフローを組み合わせ、チームがエージェントの挙動を確認し、失敗を特定し、再現可能なループで改善できるようにします。 このサイトでは、HoneyHiveをOpenTelemetryネイティブかつフレームワーク非依存の製品として位置づけており、あらゆるスタック上のエージェントを計測できます。デバッグ、ライブシステムの監視、本番の問題を次のイテレーションのテストケースに変えるための、単一の共有された信頼できる情報源を求めるチームを対象としています。 ## HoneyHiveでできること ### 分散トレーシング OpenTelemetryを使ってエージェントを計測し、フレームワーク、モデル、ランタイムを横断して挙動を追跡し、共有ビューでデバッグと分析を行えます。 ### オンライン評価 トレースに対してライブ評価を実行し、失敗を検出し、出力を採点し、自動チェックと人手レビューを組み合わせられます。 ### 監視とアラート アラート、ドリフト検出、カスタムダッシュボードで実際の挙動を監視し、ユーザーより先に問題を検知できます。 ### セッション再生とトラジェクトリ表示 チャットセッションを再生し、トラジェクトリ、グラフ、タイムラインを確認して、複数ステップのエージェントワークフローがどのように展開されるかを理解できます。 ### 実験と回帰追跡 本番での失敗をオフラインのテストスイートに変換し、ベースラインと比較して、リリース前に回帰を検出できます。 ### アノテーションとデータセットのワークフロー フラグ付けされたトレースをアノテーションキューに振り分け、カスタムルーブリックを適用し、専門家のフィードバックでデータセットを整備して評価器を調整できます。 ## 利用シーン ### 本番エージェントの挙動をデバッグする 本番エージェントを計測して、ライブシステム全体で予期しない挙動をデバッグする際に、トレース、トラジェクトリ、セッション再生を確認します。 ### 本番で品質を追跡する オンライン評価、アラート、ドリフト検出、ダッシュボードでライブトラフィックを監視し、品質問題が発生し始めた時点で把握します。 ### リリース前に回帰を防ぐ 実際の失敗からオフラインの回帰テストスイートを構築し、変更をベースラインと比較して、更新の提供前にCI/CDでチェックを実行します。 ### 人間参加型レビュー アノテーションキューとカスタムルーブリックを使って、分野の専門家がエッジケースをレビューし、評価器をビジネス基準に合わせられるようにします。 ### エンタープライズ展開と制御 データ分離、ガバナンス、またはエンタープライズ向け制御が必要な場合に、セルフホストまたはハイブリッドのデプロイを採用します。 ## よくある質問 ### HoneyHiveはどのような評価をサポートしていますか？ HoneyHiveは、 автомат化された評価と人手による評価の両方をサポートします。自動評価ではコードまたはLLM-as-a-judgeによるスコアリングを使用でき、人手による評価では、ドメインの専門家がカスタムルーブリックとアノテーションキューを使って出力をレビューできます。 ### HoneyHiveはセルフホスティングできますか？ はい。Enterpriseプランではセルフホスティングがサポートされており、料金ページには、HoneyHiveが管理するコントロールプレーンとセルフホストのデータプレーンを組み合わせたハイブリッドオプションも記載されています。 ### チームはどのようにアプリケーションをHoneyHiveに統合しますか？ 料金ページによると、HoneyHiveはPythonとTypeScriptのSDKに加え、ネイティブのOpenTelemetryサポートを提供し、LangChain、LangGraph、AWS Strands、Google ADK、OpenAI Agents SDKなど50以上のライブラリ向けの自動インストルメンテーションも備えています。 ### HoneyHiveは何に使われますか？ HoneyHiveは、AIエージェントの観測と評価のために設計されています。サイトでは、本番エージェント、分散トレーシング、オンライン評価、実験、アラート、アノテーション、レビューのワークフロー向けのプラットフォームとして位置づけられています。 ## クイック情報 - **カテゴリ**: AIの観測と評価 - **主な利用者**: 本番AIエージェントを構築・運用するチーム - **プラットフォーム**: OpenTelemetryネイティブ、フレームワーク非依存のWebプラットフォーム - **ソースドメイン**: honeyhive.ai - **デプロイオプション**: マルチテナントSaaS、シングルテナントSaaS、ハイブリッド、セルフホスト - **料金モデル**: 個人開発者向けの無料枠あり。Enterpriseプランあり