Ito logo

Ito 是一款自动化 QA 产品,借助懂代码的 agent 审查 pull request,帮助快速迭代的工程团队在无需维护手动测试脚本的情况下发现回归和可用性问题。

Ito preview

面向 pull request 的自动化 QA

Ito 是一款自动化 QA 产品,借助懂代码的 agent 审查 pull request。它聚焦于真实浏览器中的运行时行为,帮助团队在无需维护手动测试脚本的情况下发现回归和可用性问题。

该产品面向快速迭代的工程团队,希望对每个 PR 都获得覆盖。Ito 会读取 diff 和 PR 上下文,构建有针对性的测试计划,在隔离容器中运行应用,并将视频、截图、重现步骤和 bug 详情等证据回传到 GitHub。

功能

基于每个 PR 的定向测试计划

Ito 会读取完整的 PR diff 和描述,然后围绕这次变更可能影响的内容构建测试计划。团队还可以补充用通俗英语写的说明,指出最重要的关注点,例如安全性、可访问性或性能。

基于真实代码的容器化执行

每个 PR 都会在一个由变更本身构建的干净、一次性容器中运行。Ito 在真实浏览器中针对实际代码执行应用,而不是使用 mock 或快照。

真实浏览器中的行为覆盖

这些 agent 会覆盖登录、导航、表单提交、后端调用以及 PR 所触及的其他应用流程。来源强调运行时行为,包括静态审查无法观察到的时序、状态和集成路径。

证据丰富的 PR 结果

Ito 会记录每次运行,并将结果回传到 PR 和仪表板。证据可以包括视频、截图、重现步骤以及导致失败的确切代码行。

自适应测试类别

系统可根据变更内容运行正向路径、边界情况、对抗性、逻辑、可访问性、移动端和 UX 检查。测试计划会结合 diff、PR 描述、仓库级指引以及过往运行中的学习结果进行加权。

GitHub PR 工作流

该产品以 GitHub 检查项的形式运行,默认不会阻止合并,并支持按仓库配置。其设计目标是融入 PR 审查,而不是替代审查。

使用场景

  • PR 级回归检查

    当团队希望在不为每条流程编写和维护单独测试套件的情况下,对每个 PR 进行自动化覆盖时,可使用 Ito。该产品旨在根据 diff 推断变更内容,并自动运行相关检查。

  • 行为型 bug 检测

    适用于运行时行为比静态审查更重要的应用,例如认证、状态变化、重定向或只有在应用运行时才可能失败的后端调用。

  • 有证据支持的代码审查

    当审查者需要在 pull request 中看到具体证据时使用 Ito,包括与失败相关联的视频片段、截图和重现步骤。这比单纯的通过/失败信号更便于分流和处理问题。

  • 优先级驱动的覆盖

    当团队希望测试计划反映项目优先级,例如可访问性、性能、移动端可用性或安全性时,可使用 Ito。这些优先级可以用通俗英语提供,并应用到各个 PR。

  • 以 GitHub 为中心的 QA 工作流

    适用于基于 GitHub 的审查流程:检查应自动运行,但默认不一定阻止每次合并。该产品设计为出现在 PR 评论和 GitHub 检查流中。

Pros and Cons

Pros

  • 为每个 pull request 提供自动化行为测试覆盖。
  • 无需维护手动测试脚本或选择器。
  • 使用真实浏览器在实际应用代码上执行。
  • 将证据丰富的结果直接发布到 GitHub PR 中。
  • 根据 diff、PR 描述、仓库说明和过往反馈调整测试计划。

Cons

  • 运行时检查可能比静态审查耗时更长;FAQ 表示一次 PR 测试通常需要 45 分钟到 2 小时。
  • 该产品目前支持 web 应用和 HTTP API,而原生移动端仍在路线图中。

FAQ

Ito 会取代 QA 团队吗?

Ito 替代了 QA 中的手动回归测试层。它面向那些希望在保留人工进行策略性 QA、探索性测试和发布规划的同时,对 pull request 进行自动化检查的团队。

这里的行为测试是什么意思?

Ito 会在真实浏览器中运行你的实际产品,并端到端地执行用户流程。来源将这描述为行为测试,而不是只基于源代码的分析。

设置需要多长时间?

价格页面显示,团队可在不到 60 分钟内获得首个结果;FAQ 还写明,从安装到测试第一个 PR,大约需要 60 分钟。GitHub 组织中的管理员可以将其设置为在 PR 上运行。

Ito 发现问题时会提供什么证据?

当 Ito 发现 bug 时,它会在 PR 上发布一条 GitHub 评论,其中包含失败的视频片段、重现步骤以及受影响的流程。价格页面还说明,视频和截图会直接发布到 GitHub PR 中。

Ito 可以测试哪些类型的应用?

Ito 目前支持 web 应用和 HTTP API。FAQ 说明原生移动端仍在路线图中。

Quick Facts

类别
自动化 QA / 开发者工具
主要工作流
审查 pull request 并将结果发布到 GitHub PR
平台
Web 应用和 HTTP API
设置
从安装到测试第一个 PR 约需 60 分钟
证据输出
视频、截图、重现步骤和代码引用
价格信号
提供付费方案;价格页面也提到符合资格的开源项目可享受免费选项