Findings24Findings24
Ito logo

Ito

認領

Ito 是一款自動化 QA 工具，透過具備程式碼理解能力的 agents 稽核 pull request，協助快速開發團隊在不維護手動測試腳本的情況下，及早發現回歸與可用性問題。

AI開發者工具AI測試與QA
訪問網站
Ito preview

Pull request 的自動化 QA

Ito 是一款自動化 QA 工具，透過具備程式碼理解能力的 agents 稽核 pull request。它聚焦於真實瀏覽器中的 runtime 行為，讓團隊在不維護手動測試腳本的情況下，及早發現回歸與可用性問題。

這項產品是為快速開發團隊而設計，希望能在每個 PR 上都具備覆蓋率。Ito 會讀取 diff 與 PR 情境、建立針對性的測試計畫、在隔離容器中執行應用程式，並將影片、截圖、重現步驟與 bug 詳情等證據回傳到 GitHub。

功能

根據每個 PR 產生精準測試計畫

Ito 會讀取完整的 PR diff 與描述，然後根據變更最可能影響的部分建立測試計畫。團隊也可以用簡單英文加入最重要的指示，例如安全性、無障礙、或效能。

以容器化方式在真實程式碼上執行

每個 PR 都會在由變更本身建立的乾淨、一次性容器中執行。Ito 會在真實瀏覽器中、針對實際程式碼執行應用程式，而不是使用模擬或快照。

真實瀏覽器的行為覆蓋

agents 會處理登入、導覽、表單提交、後端呼叫，以及 PR 影響到的其他應用流程。來源強調的是 runtime 行為，包括靜態審查無法觀察到的時間、狀態與整合路徑。

包含豐富證據的 PR 結果

Ito 會記錄每次執行，並將結果回傳到 PR 與 dashboard。證據可以包含影片、截圖、重現步驟，以及造成失敗的確切程式碼行。

可自適應的測試類別

系統可依變更內容執行 happy-path、edge-case、adversarial、logic、無障礙、mobile 與 UX 檢查。測試計畫會依據 diff、PR 描述、repo 層級指引，以及先前執行的學習結果來加權。

GitHub PR 工作流程

這項產品以 GitHub check 的形式運作，預設不會阻擋合併，也可針對每個 repo 進行設定。它的設計是為了融入 PR review，而不是取代它。

使用情境

  • PR 層級的回歸檢查

    當團隊希望針對每個 PR 提供自動化覆蓋，卻不想為每個流程都撰寫並維護獨立測試套件時，可使用 Ito。這項產品會從 diff 推斷變更內容，並自動執行相關檢查。

  • 行為型 bug 偵測

    當應用程式的 runtime 行為比靜態審查更重要時，可使用 Ito，例如驗證、狀態變更、重新導向，或只有在應用程式執行時才會失敗的後端呼叫。

  • 有證據支撐的 code review

    當審查者需要在 pull request 中看到具體證據，例如與失敗相關的影片片段、截圖和重現步驟時，可使用 Ito。這會讓分流處理比單純的通過／失敗訊號更快。

  • 以優先順序驅動的覆蓋

    當團隊希望測試計畫反映專案優先事項，例如無障礙、效能、行動裝置可用性或安全性時，可使用 Ito。這些優先事項可以用簡單英文提供，並套用到所有 PR。

  • 以 GitHub 為中心的 QA 工作流程

    對於以 GitHub 為中心的 review 流程，若檢查應自動執行但不一定要預設阻擋每次合併，可使用 Ito。這項產品設計為會出現在 PR comment 與 GitHub check 流程中。

Pros and Cons

Pros

  • 以自動化行為測試涵蓋每個 pull request。
  • 不需要手動維護測試腳本或 selector。
  • 使用真實瀏覽器在實際應用程式程式碼上執行。
  • 直接在 GitHub PR 中貼出包含豐富證據的結果。
  • 根據 diff、PR 描述、repo 指示與先前回饋調整測試計畫。

Cons

  • runtime 檢查可能比靜態審查更耗時；FAQ 指出一個 PR 測試通常需要 45 分鐘到 2 小時。
  • 目前產品支援 web apps 與 HTTP APIs，而 native mobile 仍在 roadmap 上。

FAQ

Ito 會取代 QA 團隊嗎？

Ito 會取代 QA 中手動回歸測試的部分。它專為希望在 pull request 上進行自動化檢查，同時仍由人員負責策略性 QA、探索式測試與發版規劃的團隊而設計。

這裡的行為測試是什麼意思？

Ito 會在真實瀏覽器中執行你的實際產品，並端到端地操作使用者流程。來源將這稱為行為測試，而非僅針對原始碼的分析。

設定需要多久？

價格頁寫道，團隊可在不到 60 分鐘內看到第一個結果；而 FAQ 則說從安裝到第一個 PR 完成測試大約需要 60 分鐘。GitHub 組織中的管理員可以設定它在 PR 上執行。

Ito 在發現問題時會提供哪些證據？

當 Ito 發現 bug 時，它會在 PR 上發送 GitHub 留言，附上失敗片段的影片、重現步驟，以及受影響的流程。價格頁也提到影片與截圖會直接發佈到 GitHub PR 中。

Ito 可以測試哪些類型的應用程式？

Ito 目前支援 web apps 和 HTTP APIs。FAQ 也說 native mobile 已在 roadmap 上。

Quick Facts

類別
自動化 QA / 開發者工具
主要工作流程
稽核 pull request 並將結果發佈到 GitHub PR
平台
Web apps 與 HTTP APIs
設定
從安裝到第一個 PR 測試約需 60 分鐘
證據輸出
影片、截圖、重現步驟與程式碼參照
價格訊號
提供付費方案；價格頁也提到符合資格的 open source 專案可使用免費方案