MCPJam logo

MCPJam

Freemium
访问

MCPJam 是用于测试和评估 MCP 服务器的平台,支持本地检查、用户与模型测试,以及 CI/CD 行为检查。

什么是 MCPJam?

MCPJam 是用于测试、调试和评估模型上下文协议(MCP)服务器的开发者工具,覆盖从本地检查和 OAuth 故障排查,到基于模型的评估、用户测试、模拟用户群组和 CI/CD 检查的完整流程。

其核心目标是展示 MCP 服务器在真实客户端和模型交互中是否正常工作。开发者可以在本地检查工具调用和协议行为,然后将工作流转化为可重复运行的测试套件,以衡量准确率、延迟和故障模式等结果。CI/CD 集成可以将这些评估用作发布门禁。

MCPJam 能做什么?

MCP 服务器检查器

连接到本地 MCP 服务器,调用其工具,检查原始请求和响应,并查看跟踪信息。开源检查器可以使用 npx 启动。

OAuth 与协议调试

逐步跟踪 OAuth 和 XAA 或 EMA 身份验证流程,并使用一致性检查来识别授权流程中断的位置。

基于模型的评估

根据 MCP 服务器的工具生成评估套件,并使用真实模型运行。结果不仅可以包含协议检查,还可以包括准确率、延迟和诊断出的故障模式。

用户测试与可重放会话

创建托管且可共享的验收测试环境,模拟主要 AI 宿主。测试者会话可以暴露易用性问题,并转化为可重放的回归测试。

用于模拟用户的用户群组

针对生成或选定的用户画像,在选定客户端上并行运行多轮交互旅程,帮助发现不同交互路径中的边界情况。

CI/CD 评估门禁

在 GitHub Actions 或其他流水线中使用 MCPJam CLI 或 SDK。评估套件会返回通过/失败退出代码,而托管运行会持续跟踪准确率,使行为回归能够阻止合并。

使用场景

“在开发期间检查服务器”

开发者可以在本地启动检查器,连接 MCP 服务器,调用工具,并在将服务器与 AI 客户端集成之前读取底层请求、响应和跟踪信息。

“诊断身份验证失败”

调查受保护 MCP 服务器的工程师可以逐步检查其 OAuth 和跨应用访问流程,使用一致性检查,并定位授权失败的阶段。

“验证客户端和模型行为”

团队可以根据服务器工具生成评估套件,并在选定客户端上运行工作流,以衡量模型是否正确选择和使用工具,包括准确率和延迟。

“在上线前进行验收测试”

产品和工程团队可以与测试者共享托管测试环境,收集每轮对话的反馈,并将有价值的会话保留为回归测试用例。

“防止拉取请求中的回归”

团队可以通过现有测试运行器运行 MCPJam SDK 评估,或在 CI 中使用 CLI 门禁。失败的通过率检查可以返回非零状态,并在变更触达用户之前阻止合并。

常见问题

如何开始使用 MCPJam 测试 MCP 服务器?

该产品提供可使用 npx 启动的开源检查器。你可以在本地连接服务器、调用其工具,并检查请求、响应和跟踪信息。MCPJam 还提供 Web 和桌面端入口。

MCPJam 是否只测试 MCP 服务器能否响应?

不是。其评估流程旨在测试真实的模型行为,包括模型是否正确使用工具。结果可以包括准确率、延迟和诊断出的故障模式;CI 门禁旨在捕获单元测试可能遗漏的回归。

MCPJam 能否在现有 CI 流水线中运行?

可以。CLI 和 SDK 可与 GitHub Actions 或其他流水线配合使用。SDK 评估套件可以通过 Jest 或 Vitest 等测试运行器运行,失败的套件会返回通过/失败状态,从而阻止合并。

团队能否跨不同 AI 客户端进行测试?

MCPJam 已发布的工作流展示了跨客户端测试,并明确提及 ChatGPT、Claude、Cursor 和 Copilot。可用客户端取决于测试工作流和配置。

MCPJam 的哪些部分可以免费使用?

已发布的定价信息列出了免费套餐,其中包含核心测试工具,包括 Playground、OAuth Debugger、Evals、User Testing、Swarm 和 CI/CD 检查。该套餐每天包含 200 个额度且席位数不限;付费套餐提供更高用量,以及额外的协作、历史记录和支持选项。

快速信息

类别
开发者工具
主要用户
构建 MCP 服务器的开发者和团队
交付方式
Web 应用、桌面应用、npx 检查器、CLI 和 SDK 工作流
支持的工作流
本地检查、OAuth 调试、评估、用户测试、用户群组和 CI/CD 检查
客户端示例
ChatGPT、Claude、Cursor 和 Copilot
免费套餐
每天 200 个额度、席位数不限,以及核心测试工具

MCPJam 流量分析

流量数据仅供参考。

域名评分
62