Oqoqo

Freemium

用于在真实且隔离的环境中运行可重复智能体实验的评估平台，帮助团队构建私有基准、比较智能体与模型，并分析工作流成败原因。

什么是 Oqoqo？

Oqoqo 是一个用于设计、运行和分析 AI 智能体在真实世界任务上评估的平台。一次实验会将任务定义和评分标准与智能体、模型、工作量设置、产品处理方案及重复试验结合起来，使团队能够在受控条件下比较行为。

每次试验都会在全新的沙箱中运行，沙箱包含任务所需的项目文件、凭据、依赖项和工具。Oqoqo 会记录完整轨迹，并同时报告结果指标（如通过率和提升幅度）以及运营指标，包括步骤数、工具调用次数、令牌数和持续时间。

该平台面向构建私有基准、评估面向智能体的产品或调查工作流失败原因的团队。分析结果包括有证据支持的阻碍因素，可为“修复并重新运行”循环提供参考；同时，结果仅适用于实验中选定的任务、智能体、模型和环境。

在一次实验中定义任务、评分标准要求、智能体、处理方案和重复运行。处理方案可以代表技能包、MCP 服务器、CLI 或 SDK，并可将其中一种设置用作比较基线。

在相互隔离且不会重复使用的环境中运行每次试验，其中包含项目文件、凭据、依赖项和已安装工具。分别记录设置、智能体工作和清理的耗时，有助于区分基础设施耗时与智能体耗时。

查看运行期间的步骤、工具调用、命令、输出和发生更改的文件。记录的轨迹能够显示智能体在哪一步停止或走上无效路径，而不是将结果简化为单一分数。

为评分标准中的每项要求给出通过或失败结果、原因以及运行引用。评分标准更改后，无需再次运行智能体即可重新评估已记录的工作。

比较处理方案和智能体的通过率及提升幅度，同时查看步骤数、令牌数、工具调用次数和持续时间。分组后的阻碍发现会描述障碍、严重程度、恢复情况、可能负责方以及支持性轨迹证据。

用户可以从 Web 应用启动实验，智能体则可以通过 CLI 或 MCP 访问来启动实验。任务和实验配置都进行版本管理，启动时会对所使用的处理方案、技能和环境进行快照。

将真实世界工作流转化为带版本管理且具有明确评分标准的任务集。重复试验可为这些任务所代表的工作流提供由团队管理的基准。

针对不同智能体、模型和工作量设置，运行相同的任务、处理方案和试验网格。结合通过率、提升幅度、令牌数和持续时间，同时比较结果与运行成本。

测试智能体能否使用包含技能、MCP 服务器、CLI 或 SDK 的产品设置。将基线处理方案与改进后的设置进行比较，以衡量变更的影响。

检查轨迹和需求引用以定位失败原因，然后利用阻碍证据区分产品、文档、环境、测试框架、智能体和任务问题，再重新运行。

当某项变更可能影响智能体工作流时，使用 CLI 或 MCP 访问启动实验。带版本管理的任务和已快照的处理方案有助于明确被测配置。

Oqoqo 中的运行是什么？

一次运行是一个智能体在一个处理方案下对一个任务进行的一次尝试。出错或取消的运行不会计入组织的运行配额。模型推理费用与 Oqoqo 的平台和基础设施费用分开计算。

Oqoqo 如何评估任务？

评估器会逐项检查记录的轨迹和发生更改的文件。每项要求都会获得通过或失败结果、原因以及指向该运行的引用；只有所有要求都通过时，任务才算通过。

可以在不重新运行智能体的情况下更改评分标准吗？

可以。已记录的工作保持不变，因此可以通过重新评估同一次运行来应用修订后的评分标准。如果任务本身发生变化，Oqoqo 的方法要求启动新实验。

除通过率外，Oqoqo 还衡量什么？

报告包括相对于基线的提升幅度、步骤数、工具调用次数、令牌数和持续时间。阻碍分析会识别具体障碍，并记录其类别、严重程度、恢复情况、可能负责方以及支持性轨迹证据。

结果有哪些主要局限？

结果仅描述所选任务，不能说明在所有工作流中的表现。结果还取决于所使用的智能体、模型和工作量设置，而这些因素可能随时间变化。评估器的判断可能不正确，因此应检查结论原因和引用。

流量数据仅供参考。