Heronは、AIエージェントとLLM API向けの受動型オブザーバビリティツールです。ネットワークトラフィックやホストのTLS境界からturn、tool呼び出し、性能指標を再構築し、SDK変更やリクエスト経路上のproxyなしで挙動を確認できます。

Heron preview

概要

Heronは、AIエージェントとLLM API向けの受動型オブザーバビリティツールです。ネットワークトラフィックやホストのTLS境界からagent activityを再構築し、観測対象のworkloadを変更することなく、turn、tool呼び出し、LLM interaction、performance dataを確認できます。

このプロジェクトはprovider-side monitorとして位置づけられており、request path上に置かれず、SDK変更も不要で、`.pcap` の再生、live interfaceからのキャプチャ、または信頼できるsourceからのtraffic取り込みで利用できます。READMEでは、ホスト上の暗号化traffic向けの実験的なLinux eBPF capture pathについても説明されています。

コンソールとAPI surfaceでは、timeline、turn reconstruction、TTFT、latency、throughput、error rate、per-agent mixなどのmetricsが公開されます。repositoryでは、service-topology inspection用の出力や、turnをfine-tuning向けJSONLへexportする機能も強調されています。

Heronができること

Agent turn reconstruction

planner、tool、result、next-stepの流れを、raw requestではなく単一の参照可能なturnとして追えるように、複数回のcallを含むagent interactionを再構築します。

Traffic-derived performance metrics

キャプチャしたtrafficからライブのTTFT、latency、throughput、error rate、per-agent mixを測定し、local consoleとAPIで表示します。

Multiple capture paths

`.pcap` replay、live network interface、cloud-probe ingress、またはホスト上のTLS暗号化traffic向けの実験的Linux eBPF sourceから動作します。

Service topology view

wire上のbytesからserving topologyを分類し、client-to-proxy-to-backendの関係をdirected graphとして表示できます。

SFT trajectory export

tool calls、results、reasoningを保持したまま、turnまたはsessionをOpenAI-style messages JSONLとしてexportし、fine-tuning workflowに利用できます。

Wire-API decoding

OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini AI Studioを含む複数のwire APIを認識します。

一般的な使用例

  • Captured agent sessionsを分析する

    記録済みのpacket captureを再生して、元のruntimeにアクセスしなくても、turn structure、tool usage、timingを含むagent behaviorを事後に確認します。

  • コード変更なしでproduction trafficを観測する

    inference hostまたはTLS terminatorを監視して、SDK instrumentationの追加が難しい環境でLLM trafficを受動的に観測します。

  • 推論インフラをマッピングする

    service-topology viewを使って、どのendpointがどの役割を担うのかを推定し、proxyとbackendを経由するrequest routingを確認します。

  • ライブtrafficからtraining dataを準備する

    実際のagent turnをOpenAI-style messages JSONLとしてexportし、下流のfine-tuningやdataset作成に再利用します。

  • latencyとreliabilityの問題を調査する

    CLIとlocal consoleを使って、debuggingやperformance review中にtimeline、metrics、per-agent mixを確認します。

Pros and Cons

Pros

  • SDK変更なしの受動監視で利用できます。
  • `.pcap` ファイルのreplay、live trafficのcapture、信頼できるpacket sourceからの取り込みに対応します。
  • 個別のHTTP callではなく、完全なagent turnを再構築します。
  • TTFT、latency、throughput、error rateなどのoperational metricsを表示します。
  • fine-tuning workflowに適した形式でturnやsessionをexportできます。

Cons

  • 収集されたソースでは、Heron単体の価格は公開されていません。
  • eBPF capture pathは実験的かつLinux専用として説明されています。
  • Packet captureで見えるのは平文のみなので、eBPF pathを使わない場合、Heronはtrafficがすでに復号されている場所に配置する必要があります。

FAQ

Heronは何を監視しますか?

Heronは、ネットワークトラフィックまたはTLS境界からエージェントのturn、tool呼び出し、LLMとのやり取りを再構築します。SDK変更やリクエスト経路上のproxyなしで動作する受動型オブザーバビリティとして説明されています。

どのように使用しますか?

READMEでは、LinuxまたはmacOSにユーザーローカルのバイナリをインストールしたうえで、`heron --pcap-file capture.pcap --no-retention` を使って `.pcap` を再生するクイックスタートが示されています。Linuxでは `eth0` のようなインターフェースからのライブキャプチャにも対応します。

どのagentまたはAPI形式がサポートされていますか?

ソースでは、OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini AI Studio のwire formatが強調されています。また、Claude Code と OpenAI Codex CLI 向けの名前付きprofile、その他のagent向けの汎用profileにも触れています。

Heronはどこに配置すべきですか?

Heronは、通信がすでに復号された場所、たとえば推論ホスト上やTLS terminatorの背後で動作するよう設計されています。READMEには、ホスト上の暗号化トラフィック向けの実験的なLinux eBPF capture pathも記載されています。

Heronには公開価格がありますか?

GitHubのpricing pageにはGitHubの無料、Team、Enterpriseの提供内容が表示されていますが、Heron自体のproduct pricingは記載されていません。ここで参照したrepository sourcesにはHeronの価格は示されていません。

Quick Facts

Category
Developer Tool
Primary use
Agent and LLM API observability
Deployment model
Provider-side or host-side passive capture
Interfaces mentioned
`.pcap`, live interface, cloud-probe ZMQ, Linux eBPF
Supported wire APIs
OpenAI Chat Completions, OpenAI Responses, Anthropic Messages, Gemini AI Studio
Repository
github.com/Netis/heron