Raindrop

Raindrop 是一個 AI agent 監控與可觀測性平台，協助團隊檢視正式環境執行、找出故障並驗證修復。結合 traces、signals、以 Slack 進行分流與實驗，幫助開發者除錯並確認 agent 行為。

概覽

Raindrop 是一個 AI agent 監控與可觀測性平台，旨在協助團隊檢視正式環境行為、找出故障，並驗證修復是否 באמת 解決了根本問題。它將 trace 擷取、signal 追蹤、分流、告警與 experiments 結合在以真實 agent 事件為核心的工作流程中。

這個產品圍繞調查與後續驗證而設計：追蹤一次執行、找出模式、請 Triage 進行根因分析、通知正確的 Slack 頻道，然後對 live traffic 執行 experiment 以確認 regression 已消失。文件也展示了供 coding agents 使用的 MCP 支援，因此相同的問題脈絡也能帶入開發工作流程。

功能

追蹤正式環境執行

將每次正式環境執行集中記錄在同一處，包括訊息、tool calls、重試與錯誤，讓團隊可以直接檢視實際發生的情況，而不是只憑 logs 猜測。

自動浮現問題

從 traces 偵測問題並將真實故障顯示到 Slack，包括 hallucinations、loops 與損壞的 tools，讓沉默的問題能快速浮現。

Signal 追蹤

使用預設、自訂、分類器、keyword/regex 與 instrumented signals 定義 agent 效能的 ground truth signals，接著在後續事件中持續追蹤，並回填近期歷史資料。

Slack、網頁與 MCP 分流

使用 Triage 搭配 semantic 與 regex 搜尋、signal counts、trace 檢視、charts 與 experiments 來調查問題，並取得以真實對話為基礎的回覆。

Agent experiments

將 models、properties、tools、signals 與日期範圍組合起來，對 live traffic 執行 experiments，比較行為並確認變更是否修正了問題。

自動化通知

設定排程調查、每日摘要與自訂的 threshold-based alerts，讓團隊不用手動檢查應用程式也能監控重複模式。

使用案例

正式環境事件調查
監控正式環境中的 agents，找出如 hallucinations、loops、損壞的 tools 或任務失敗等無聲故障，然後檢視 trace 以確認執行在哪裡開始偏離。
以 Slack 為基礎的分流
讓支援或工程團隊在 Slack 中向 Raindrop 提問，將調查留在串內進行，並使用回傳的範例來理解根因與使用者影響。
營運信號監控
根據觀察到的模式建立 signals，搭配範例進一步調整，並隨時間追蹤事件，讓重複出現的行為可以被量化，而不是臨時處理。
版本驗證
針對 models、tools、prompts 或受 feature flag 控制的行為變更進行 A/B 測試，然後在進一步推出前確認 regression 是否消失。
coding agent 協助除錯
使用 MCP 工作流程把線上的正式環境問題帶入 coding agent，檢視失敗範例、進行針對性修正，並在開啟 PR 前先執行測試。

Pros and Cons

Pros

可擷取豐富的正式環境 traces，包含訊息、tool calls、重試與錯誤。
可將故障顯示到 Slack，並支援在串內調查。
提供多種 signal 類型，包括預設、分類器、keyword/regex 與 instrumented signals。
支援 experiments，用以驗證修復是否在 live traffic 上生效。
可在 Slack、網頁應用程式與相容 MCP 的 coding agents 中使用 Triage。

Cons

在提供的證據中未公布定價；定價頁面回傳了 404。
多項進階功能已有文件說明，但部分整合與方案細節在提供的來源中仍不完整。

FAQ

Raindrop 是用來做什麼的？

Raindrop 是專為監控 AI agent 行為、找出故障，並透過 traces、signals、Slack 與網頁應用程式協助團隊調查問題而設計。其文件也描述了供 coding agents 使用的 MCP 工作流程。

Raindrop 可以在 Slack 中使用嗎？

文件顯示 Slack 是主要使用介面：你可以在頻道中 @ 提及 Raindrop、在串內持續進行調查，並在其中接收主動告警、每日摘要與排定的 Agent Briefs。

可以在哪裡使用 Triage Agent？

Raindrop 的 Triage Agent 可在三個地方使用：Slack、網頁應用程式，以及作為適用於 Claude Code、Cursor 和 Codex 等 coding agents 的 MCP 整合。

Raindrop 的費用是多少？

提供的證據中沒有可用的定價細節；定價頁面回傳了 404。來源只確認了產品網站與文件，沒有公布方案架構。

Raindrop 可以協助驗證 agent 修復嗎？

Raindrop 文件將 experiments 描述為一種使用 models、properties、tools、signals 與日期範圍組合來對 agents 進行 A/B 測試的方法，進而確認修復是否真正生效。

Quick Facts

Category: AI agent monitoring and observability
Primary surfaces: Slack, web app, MCP
Docs domain: raindrop.ai
Core workflow: Trace runs, detect issues, triage in Slack, run experiments
Signal types: Default, custom, classifier, keyword/regex, instrumented
Pricing: Not available in the supplied evidence