Findings24Findings24
Heron logo

Heron

認領

Heron 是一款用於 AI agents 與 LLM API 的被動可觀測性工具，可從網路流量或主機 TLS 邊界重建對話、工具呼叫與效能指標，無需變更 SDK，也不需將代理放在請求路徑中。

AI開發者工具監控與日誌管理
訪問網站
Heron preview

概覽

Heron 是一款用於 AI agents 與 LLM API 的被動可觀測性工具。它會從網路流量或主機 TLS 邊界重建 agent 活動，讓使用者能在不修改被觀測工作負載的情況下，檢視 turns、tool calls、LLM 互動與效能資料。

此專案將自己定位為供應端監控：它不位於請求路徑中，不需要 SDK 變更，且可透過回放 `.pcap`、從即時介面擷取，或從受信任來源匯入流量來使用。README 也描述了用於主機上加密流量的實驗性 Linux eBPF 擷取路徑。

其主控台與 API 介面提供時間軸、turn 重建，以及 TTFT、延遲、吞吐量、錯誤率與 per-agent mix 等指標。repository 也強調可用於服務拓撲檢視的輸出，以及可匯出為適合 fine-tuning 的 JSONL turns。

Heron 的功能

Agent turn 重建

將多次呼叫的 agent 互動重建為單一、可定址的 turn，讓你可以追蹤 planner、tool、result 與下一步流程，而不是只看到原始請求。

流量衍生效能指標

從擷取到的流量量測即時 TTFT、延遲、吞吐量、錯誤率與 per-agent mix，並在本機主控台與 API 中呈現。

多種擷取路徑

可透過 `.pcap` 回放、即時網路介面、cloud-probe ingress，或實驗性的 Linux eBPF 來源來處理主機上的 TLS 加密流量。

服務拓撲檢視

根據線上位元組分類服務拓撲，並可將 client-to-proxy-to-backend 關係顯示為有向圖。

SFT 軌跡匯出

將 turns 或 sessions 匯出為 OpenAI 風格的 messages JSONL，保留 tool calls、results 與 reasoning 以供 fine-tuning 工作流程使用。

Wire API 解碼

可辨識多種 wire API，包括 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 與 Gemini AI Studio。

常見使用情境

  • 分析已擷取的 agent sessions

    重新播放已錄製的封包擷取，以便事後檢視 agent 行為，包括 turn 結構、工具使用與時間資訊，而不需要存取原始執行環境。

  • 在不變更程式碼的情況下觀察 production 流量

    監控推論主機或 TLS 終止器，以便在無法實作 SDK instrumentation 的環境中被動觀察 LLM 流量。

  • 描繪推論基礎架構

    透過 service-topology 檢視推斷哪些端點扮演哪些角色，進而檢視一組機器如何透過 proxies 與 backends 轉送請求。

  • 從即時流量準備訓練資料

    將真實的 agent turns 匯出為 OpenAI 風格的 messages JSONL，以便在下游 fine-tuning 或資料集建立工作流程中重複使用。

  • 調查延遲與可靠性問題

    在除錯或效能檢視期間，使用 CLI 與本機主控台檢查時間軸、指標與 per-agent mix。

Pros and Cons

Pros

  • 可在不變更 SDK 的情況下進行被動監控。
  • 可回放 `.pcap` 檔、擷取即時流量，或從受信任的封包來源匯入。
  • 能重建完整的 agent turns，而不是只留下孤立的 HTTP 呼叫。
  • 可顯示 TTFT、延遲、吞吐量與錯誤率等營運指標。
  • 可將 turns 或 sessions 匯出為適合 fine-tuning 工作流程的格式。

Cons

  • 在蒐集到的來源中，repository 沒有公布獨立的 Heron 定價。
  • eBPF 擷取路徑被描述為實驗性且僅支援 Linux。
  • 封包擷取只能看到明文，因此除非使用 eBPF 路徑，Heron 必須部署在流量已經解密的位置。

FAQ

Heron 監控什麼？

Heron 會從網路流量或 TLS 邊界重建 agent 對話、工具呼叫與 LLM 互動。它被描述為被動可觀測性，不需變更 SDK，也不需在請求路徑中放置代理。

要如何使用它？

README 顯示的快速開始方式是在 Linux 或 macOS 上安裝使用者本機二進位檔，接著使用 `heron --pcap-file capture.pcap --no-retention` 重新播放 `.pcap`。它也支援從 Linux 上的 `eth0` 等介面進行即時擷取。

支援哪些 agent 或 API 格式？

原始內容重點提到 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 與 Gemini AI Studio 的 wire format。它也列出 Claude Code 與 OpenAI Codex CLI 的命名設定檔，以及供其他 agents 使用的通用設定檔。

Heron 應該部署在哪裡？

Heron 設計為部署在流量已經解密的位置，例如推論主機上或 TLS 終止器之後。README 也描述了一條用於主機上加密流量的實驗性 Linux eBPF 擷取路徑。

Heron 有公開定價嗎？

GitHub 價格頁面顯示 GitHub 有免費、Team 與 Enterprise 方案，但沒有提供 Heron 本身的產品定價。此處的 repository 來源也未說明 Heron 的價格。

Quick Facts

類別
Developer Tool
主要用途
Agent 與 LLM API 可觀測性
部署模式
供應端或主機端被動擷取
提及的介面
`.pcap`、即時介面、cloud-probe ZMQ、Linux eBPF
支援的 wire APIs
OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini AI Studio
Repository
github.com/Netis/heron