LLM gateway 與請求路由
透過單一 gateway 轉送 OpenAI 風格的呼叫，或為 provider 原生 SDK 使用 passthrough endpoints，同時記錄每一筆請求。
什麼是 Respan？
Respan 是一個供團隊使用的 LLM 工程平台，將可觀測性、評估、提示管理與 gateway 路由整合在一起。該網站將其定位為一套可從單一工作流程中路由、觀察、評估、最佳化與部署 LLM 流量的系統。
此產品聚焦於正式環境中的 LLM 營運：每次呼叫的 trace、用量與成本儀表板、用於品質檢查的 evaluators，以及涵蓋重試、fallback、快取與速率限制的 gateway 控制。它面向正在推出 AI agents 與其他由 LLM 驅動功能、需要追蹤行為並減少正式環境問題的團隊。
Respan 能做什麼？
可觀測性與 trace 檢視
在 traces 中檢視呼叫、查看 spans 的延遲、追蹤 logs，並依客戶識別碼或 metadata 篩選，以了解正式環境行為。
用量監控與警示
在儀表板中監控請求、token、錯誤、延遲與成本，並可依模型或使用者切分，在超過門檻時發出警示。
評估工作流程
建立結合規則檢查、LLM judges、人工審查、datasets 與 experiments 的評估工作流程，涵蓋 prompt 與 model 變體。
提示管理與部署
以版本控制、協作編輯、一鍵部署、發佈管理與 model playground 來管理 prompts。
可靠性與支出控管
從 gateway 與設定中處理 retries、fallback models、load balancing、caching、key limits 與 spend controls。
使用情境
“營運 LLM gateway”
透過單一端點路由模型流量、記錄每一筆請求，並在供應商發生錯誤或速率限制時使用 fallback 或重試。
“監控即時正式流量”
在儀表板中檢視 traces、延遲、token 使用量與成本，讓正式環境回歸問題能快速浮現。
“在發布前測試 prompts 與 models”
從 traces 或 CSV 建立 datasets，接著在合併變更前針對 prompt 與 model 變體執行 experiments。
“執行結構化評估”
在單一工作流程中結合規則檢查、LLM judges 與人工審查，為實際正式流量與離線樣本評分。
“以可控方式推出提示變更”
使用 prompts、versions、rollout 邏輯，以及存取多個 models 的能力，將工作流程從 UI 推進到正式環境。
常見問題
什麼是 Respan？
Respan 被定位為一個 LLM 工程平台，將可觀測性、評估、提示最佳化與 LLM gateway 整合於同一系統中。
Respan 有付費方案嗎？
來源顯示有 Free、Team 與 Enterprise 三種方案。Team 方案標示為每月 199 美元、按年計費，而 Enterprise 則需聯絡銷售。
Respan 有免費方案嗎？
有。定價頁列出包含 logs、scores、datasets、evaluators 和 prompts 的免費方案，另有 Team 方案提供無限 datasets、evaluators 和 prompts。
Respan 是否在這些頁面中說明所有支援的整合？
產品有標註支援 OpenTelemetry，但來源未提供詳細的整合文件或完整的供應商清單。
Respan 強調哪些工作流程？
首頁與定價頁強調追蹤、儀表板、評估工作流程、提示管理，以及如 fallback 與 caching 之類的 gateway 功能。
快速資訊
- 類別
- LLM 工程平台
- 網站
- keywordsai.co
- 主要用途
- 用於 LLM 應用的可觀測性、評估、提示管理與 gateway 路由
- 方案
- Free、Team、Enterprise
- Team 方案
- 每月 199 美元，按年計費
- 部署
- 雲端；Enterprise 提及可自架
Respan 流量分析
流量數據僅供參考。
- 網域評分
- 48