Respan

Respan 是面向 LLM 工程的平台，集可观测性、评估、提示词管理和网关路由于一体，帮助团队监控生产流量、测试变更，并在单一工作流中控制模型可靠性。

概述

Respan 是面向希望将可观测性、评估、提示词管理和网关路由集中在一处的团队的 LLM 工程平台。该网站将其定位为一个可通过单一工作流对 LLM 流量进行路由、观测、评估、优化和部署的系统。

该产品聚焦于生产环境中的 LLM 运维：为每次调用提供 trace，提供使用情况和成本仪表板，提供用于质量检查的评估器，以及用于重试、回退、缓存和速率限制的网关控制。它面向正在交付 AI agents 和其他由 LLM 驱动功能、并需要跟踪行为和减少生产问题的团队。

功能

LLM 网关与请求路由

通过单一网关路由 OpenAI 风格的调用，或为提供商原生 SDK 使用透传端点，同时记录每一条请求。

可观测性与 trace 检查

在 trace 中检查调用、查看 span 延迟、跟踪日志，并按客户标识符或元数据筛选，以了解生产行为。

使用情况监控与告警

在仪表板中监控请求、token、错误、延迟和成本，并可按模型或用户切分，以及在阈值被触发时发出告警。

评估工作流

创建将规则检查、LLM judge、人工审核、数据集和实验结合起来的评估工作流，覆盖提示词和模型变体。

提示词管理与部署

使用版本控制、协作编辑、一键部署、发布管理和模型 playground 来管理提示词。

可靠性与支出控制

在网关和设置中处理重试、回退模型、负载均衡、缓存、密钥限制和支出控制。

使用场景

运营 LLM 网关
通过一个端点路由模型流量，记录每个请求，并在提供商出错或限流时使用回退或重试。
监控实时生产流量
在仪表板中查看 trace、延迟、token 使用量和成本，以便快速发现生产回归。
在发布前测试提示词和模型
从 trace 或 CSV 构建数据集，然后在合并更改之前，针对提示词和模型变体运行实验。
运行结构化评估
在单一工作流中结合规则检查、LLM judge 和人工审核，为真实生产流量和离线样本打分。
带控制地发布提示词变更
使用提示词、版本、发布逻辑以及访问多个模型的能力，将工作流从 UI 推进到生产环境。

Pros and Cons

Pros

将可观测性、评估、提示词工具和网关路由整合在一个平台中。
展示了回退、重试、缓存、支出上限和告警等具体运维控制。
同时包含生产监控以及离线/在线评估工作流。
提供免费层级，并有清晰的团队版和企业版使用路径。
定价页面声明了包括 ISO 27001、SOC 2、GDPR，以及与 HIPAA 相关的选项在内的安全与合规事项。

Cons

来源未提供完整的集成目录，因此仅凭这些页面，无法判断其对特定技术栈的适配情况。
首页和定价页对若干能力的描述停留在较高层面，但所提供的证据中并未包含详细的产品文档。

FAQ

Respan 是什么？

Respan 被定位为一个将可观测性、评估、提示词优化和 LLM 网关整合到同一系统中的 LLM 工程平台。

Respan 有付费方案吗？

来源显示有 Free 方案、Team 方案和 Enterprise 方案。Team 方案按年付费时为每月 $199，Enterprise 需要联系销售。

Respan 有免费层级吗？

有。定价页面列出了包含日志、评分、数据集、评估器和提示词的免费层级，并且 Team 方案增加了无限数据集、评估器和提示词。

Respan 是否在这些页面上完整说明了所有支持的集成？

该产品标注支持 OpenTelemetry，但来源未提供详细的集成文档或完整的提供商列表。

Respan 强调哪些工作流？

首页和定价页重点强调了跟踪、仪表板、评估工作流、提示词管理，以及诸如回退和缓存之类的网关功能。

Quick Facts

类别: LLM 工程平台
网站: keywordsai.co
主要用途: 用于 LLM 应用的可观测性、评估、提示词管理和网关路由
方案: Free、Team、Enterprise
Team 方案: 每月 $199，按年计费
部署方式: 云端；Enterprise 提及可自托管