Signs

什麼是 Signs？

Signs 是一個以 AI 輔助學習美國手語的網頁平台，並可上傳手語影片建立資料集。首頁提供兩條主要路徑：Learn ASL 使用網路攝影機與 AI 回饋，幫助使用者練習手語；Record Signs 則讓貢獻者錄製單字或手語，以供建立資料集。

此專案由 NVIDIA 與 Hello Monday/DEPT® 及 American Society for Deaf Children 合作推動。其宣稱目標是支援 ASL 學習者、幫助聽人家庭與聾童溝通，並建立可用於開發無障礙技術的公開資料集，以服務聾人社群。

Signs 能做什麼？

互動式 ASL 學習

透過以網路攝影機為基礎的學習流程練習美國手語，在練習基礎內容與選定關卡時提供即時回饋。

3D 虛擬角色回饋

在 Learn 區塊中接收來自 3D 虛擬角色的引導，作為靜態文字或純影片學習方式的替代方案。

手語貢獻流程

錄製單一 ASL 手語並提交到共享資料集，每次提交都會對應到網站清單中的指定單字。

教學與關卡選擇

使用教學與關卡選擇流程，讓首次使用者在開始學習或錄製手語前先熟悉操作。

多攝影機裝置處理

當裝置有多個可用攝影機時，可從中選擇，支援桌面環境下的網路攝影機擷取。

以同意為基礎的資料蒐集

在揭露條款下提交影像，條款會說明 ASL 資料集的資料蒐集與公開散布流程。

使用情境

“開始學習 ASL”

初學者可以從 Learn 區塊開始，使用教學內容、選擇關卡，並透過 AI 驅動的介面回饋練習常用 ASL 手語。

“貢獻手語影片”

已經會一些 ASL 的使用者可以從清單中錄製一個手語，並提交單一範例，協助擴充共享資料集。

“家庭溝通練習”

聽人父母或家人可以使用此平台，開始學習有助於與聾童及親屬進行日常溝通的手語。

“檢視資料蒐集條款”

專案貢獻者或研究人員可以依據揭露條款，了解影像在參與前如何被使用、分享與管理。

“社群資料集建置”

ASL 社群成員可以透過貢獻經核准的錄製內容，幫助提升資料集中的代表性，後續再由聾人審閱者與持證口譯員進行驗證。

常見問題

Signs 是用來做什麼的？

Signs 設計為雙向平台：學習者可以在 AI 引導下練習常見的 ASL 手語，而貢獻者可以錄製手語影片，協助擴充公開資料集。

Learn 區塊適合誰？

Learn 區塊是為初學者與剛開始接觸 ASL 的使用者設計，提供分級內容，介紹常用手語，並透過 3D 虛擬角色提供即時回饋。

誰可以貢獻手語影片？

任何同意揭露條款的人都可以貢獻，不受 ASL 熟練度限制。貢獻內容會先由聾人與持證口譯員審核，再用於資料集。

資料集是否涵蓋臉部表情與頭部動作？

資料集主要以手部與手指位置為建構重點。網站指出，臉部表情與頭部動作等非手勢訊號很重要，但不是初期重點。

蒐集到的資料是公開的嗎？

NVIDIA 表示，這個資料集將會公開並廣泛提供。揭露條款也說明，貢獻者可以使用貢獻後取得的唯一 ID，要求存取資料、從未來使用或散布中移除，或更正自己的資料。