NovaSynth logo

NovaSynth

Freemium
访问

面向 AI 智能体的预生产测试平台,通过合成用户模拟真实 SIP 电话、LiveKit 音频和聊天交互,帮助团队演练多轮对话、发现问题并在发布前验证修复。

什么是 NovaSynth?

NovaSynth 是面向 AI 智能体的预生产测试平台。它会创建具有明确目标、情绪、口音、语言、打断方式和对抗性行为的合成用户,然后让这些用户与智能体进行语音或聊天交互。其用途是在发布前演练完整对话、识别问题,并在不调用线上生产系统的情况下验证修复效果。

该平台支持真实 SIP 电话、LiveKit 音频和聊天测试。测试运行可按用户画像与场景组合进行组织,并记录为轨迹和评分,帮助团队调查多轮智能体行为中的问题。

NovaSynth 能做什么?

合成用户画像与场景

按个性、背景、语言、行为、目标、情绪、口音和打断方式定义呼叫者。NovaSynth 还可根据智能体上下文(例如提示词、产品需求、工作流和文档)提出边界情况。

真实语音与聊天交互

通过 Twilio、Plivo 或 Vobiz 的 SIP 电话、LiveKit 实时音频以及基于 HTTP 的聊天测试智能体。语音测试使用真实的电话、音频和延迟,而不只是模拟的转写文本。

批量与并发测试

在共享批次下运行用户画像与场景矩阵,并集中比较结果。可以提高并发量进行负载测试;网站说明,在为此用途完成资源配置后,最多支持 2,000 条并发线路。

沙盒化工具行为

可以重放读取操作并将写入操作置于沙盒中,让团队端到端测试智能体决策,而不会向生产系统发送写入操作。

轨迹记录与评分

合成呼叫会被记录为完整轨迹(包括音频),并使用 30 多项语音 AI 指标进行评分。Noveum 更广泛的评估平台列出了 112 项校准指标,涵盖任务进度、安全性、幻觉和对话质量等领域。

闭环问题调查

该工作流将用户画像和场景设置与评分器、根因调查、建议以及后续验证运行连接起来,帮助团队检查某项更改是否解决了已发现的问题。

使用场景

“发布前语音智能体演练”

准备电话智能体的团队可以在上线前使用合成客户拨打测试号码或预发布 SIP 端点,发现轮流发言、降级处理、打断、静默处理和故障恢复方面的问题。

“对抗性安全测试”

团队可以运行提示注入探测和其他刻意设置的困难对话,以检查智能体是否会拒绝不安全请求并保持预期边界。

“智能体变更后的回归测试”

更改提示词、模型、工作流或工具后,团队可以重新运行可比的用户画像和场景批次,以识别完整多轮流程中的行为回归。

“负载与容量演练”

工程团队可以提高并发量,考察智能体在大量同时呼叫下的表现。来源指出,大规模负载运行应提前完成资源配置。

“聊天智能体质量检查”

测试基于 HTTP 的聊天智能体时,团队可以使用合成对话和按额度计费的文本运行,评估无需电话功能的场景,包括话题切换和对抗性意图。

常见问题

NovaSynth 会调用线上生产系统吗?

不会。NovaSynth 被描述为一款预生产产品。它会调用团队提供的智能体端点,例如测试号码、预发布 SIP 端点或尚未发布的智能体。线上生产环境评估被描述为独立的生产后模块。

开始使用需要提供哪些智能体上下文?

对于单智能体架构,网站建议提供系统提示词,以及描述智能体预期行为的 PRD、BRD、工作流文档或其他材料。如果无法公开提示词,团队也可以改为提供智能体说明,但生成的建议可能不够精确。对于多智能体系统,网站建议集成 SDK,以便从轨迹中获取上下文。

支持哪些连接类型?

网站列出了通过 Twilio、Plivo 和 Vobiz 接入的 SIP;LiveKit;Pipecat;LangChain 和 LangGraph;OpenAI 和 Anthropic SDK;基于 HTTP 的聊天;以及通过 SDK 或在 LLM 调用周围添加轻量级钩子连接的自定义智能体或从零构建的智能体。

NovaSynth 能否在不更改生产数据的情况下测试工具?

可以。产品介绍了重放读取操作和将写入操作置于沙盒中的功能,因此可以端到端执行经过更改的决策,同时写入操作不会触及生产系统。

NovaSynth 如何计量使用量?

NovaSynth 可在列出的所有 Noveum 套餐中使用,但受额度限制。定价页面说明,语音测试按每通话分钟 25 个额度计费,文本测试按每次对话 10 个额度计费;每月额度在每个计费周期重置,而购买的附加额度不会过期。

快速信息

产品类型
AI 智能体预生产测试平台
测试模式
SIP 语音、LiveKit 音频和 HTTP 聊天
支持的连接
Twilio、Plivo、Vobiz、Pipecat、LangChain、LangGraph、OpenAI SDK、Anthropic SDK 和自定义智能体
主要工作流
用户画像与场景设置 → 运行 → 评分 → 根因分析 → 修复验证
语音容量
最多支持 2,000 条并发线路用于负载测试,大规模运行需要预先完成资源配置
使用模式
受额度限制;每通语音通话每分钟 25 个额度,每次文本对话 10 个额度