相容 OTEL 的 tracing
可從 Latitude 的 SDK 擷取 traces,或將既有的 OpenTelemetry pipeline 指向此平台,讓 traces 以非專有格式流入。
Latitude 是一個開源 AI agent 可觀測性與監控平台。它旨在協助團隊檢視真實的 production traffic、找出失敗原因,並驗證部署後的修復是否真的生效。
此產品以 traces、session 搜尋、問題偵測與評估工作流為核心。它可以透過自己的 SDK 或既有的 OpenTelemetry pipeline 連接,並提供將相似失敗分群、為 traces 加上註解,以及把 production 範例轉成可重複執行 eval 的工具。
可從 Latitude 的 SDK 擷取 traces,或將既有的 OpenTelemetry pipeline 指向此平台,讓 traces 以非專有格式流入。
分析已完成的 sessions,辨識對話主題、發生了什麼,以及 escalation、abandonment、retry、tool failure 或 trust break 出現的位置。
使用 semantic search、精確文字與 metadata filters,在全部 traces 中搜尋,快速縮小到真實範例。
偵測新的問題或 escalation,並將 alerts 路由到 Slack、email 或 webhooks,讓團隊能在使用者抱怨前回應。
將已驗證的 production issues 轉為 evals,建立有版本控管的 golden datasets,並針對新的 traces 執行 regression checks。
在 traces、spans 或 outputs 上留下 inline feedback,並將產生的結構化 annotations 用於搜尋、分群與 eval 工作流。
檢視 production traces,了解 agent 在一次 session 中實際做了什麼,包括訊息、tool calls、錯誤與其他失敗訊號。
搜尋所有 conversations,找出符合某個問題、某個 release window 或特定失敗模式的真實範例群組。
當問題出現時及早偵測,將相似失敗分群,並將警示送給團隊,讓問題能在擴散前被分流處理。
將已驗證的 production issue 轉成以真實範例支撐的 eval,接著在發布修復後以新 traces 重新執行。
使用 annotations、datasets 與 issue clustering,讓正在開發 AI agents 的團隊能有結構地進行審查工作。
Latitude 的設計是用來監控 AI agent,並從 production traces 中找出問題。價格頁也顯示有免費的 Starter 方案,以及付費的 Pro 和 Enterprise 選項。
來源指出 Latitude 會擷取 traces、搜尋 conversations、發現問題,並可透過 SDK 或既有的 OpenTelemetry pipeline 支援 telemetry。
首頁說明它可以將 issue alerts 發送到 Slack、email 或 webhooks;價格頁則提到 Starter 方案支援 Slack,Pro 則提供 priority support。
首頁說明 Latitude 提供 observability、session 搜尋、conversation intelligence、issue discovery、自動化 evals、dataset management、human annotations、進階 filters,以及 failure mode clustering。
blop 是一款 QA agent,將瀏覽器測試以程式碼形式寫入你的 repo,在 CI 中執行,彙整重複失敗,並可開啟 PR 修復損壞測試。適合使用 coding agents 並希望瀏覽器 QA 保持可審閱與版本控管的團隊。
Bluejay 是專為 AI 代理打造的 QA 平台,協助團隊在部署前後測試、監控並優化語音與聊天系統;聚焦模擬、正式環境重播、可觀測性與比較測試。
Orca 是一款 Agent 開發環境,專為搭配 coding agents 發佈軟體而設計。可在隔離的 worktrees 中平行執行多個 CLI agents,並提供桌面與行動裝置輔助工作流程。
BotLab is a tool for testing video-game bots by running them in simulated game clients, reviewing session logs, and comparing results in the Reactor. It offers a free tier for short sessions and a paid Pro plan for longer online runs.
AI Magicx 是整合式 AI 工作區,將聊天、圖片、影片、語音、音樂、電子郵件與開發任務集中於一處,方便創作者、團隊與開發者整合多模型,免切換工具與訂閱。
Paper 是一款設計工具,串連畫布、程式碼與 AI agent,讓團隊可在同一工作流程中建立、分享並交付作品。支援桌面應用程式、MCP agent 存取,以及真實內容與設計 token 工作流。