対話型ASL学習
Webカメラベースの学習フローでAmerican Sign Languageを練習し、基本から選択したレベルまで進めながらリアルタイムのフィードバックを受けられます。
Signs
認証するSignsは、AIのガイド付きでAmerican Sign Languageを学べるWebプラットフォーム。初心者や聞こえる家族向けに、手話動画の投稿で公開データセットづくりにも参加できます。
Signs概要
Signsは、AIの支援付きでAmerican Sign Languageを学び、手話動画をデータセットに提供できるWebベースのプラットフォームです。ホームページには2つの主要な導線があります。Learn ASLはWebカメラとAIフィードバックを使って手話の練習を支援し、Record Signsは投稿者が個々の単語や手話を記録してデータセット作成に参加できる機能です。
このプロジェクトはNVIDIAが主導し、Hello Monday/DEPT®およびAmerican Society for Deaf Childrenと連携しています。目的は、ASL学習者を支援し、聞こえる親族がDeafの子どもとコミュニケーションを取る助けとなり、Deafコミュニティ向けのアクセシブルな技術開発に使える公開データセットを構築することです。
主な機能
3Dアバターによるフィードバック
Learnセクションでは3Dアバターからガイダンスを受けられ、静的なテキスト中心の学習や動画のみの学習に代わる方法として提示されています。
手話投稿ワークフロー
個々のASLサインを記録して共有データセットに送信でき、各投稿はサイトの一覧から選んだ単語に紐づきます。
チュートリアルとレベル選択
初めて使うユーザーが学習や手話の記録を始める前に、チュートリアルとレベル選択の流れで案内します。
複数カメラ対応のデバイス処理
デバイスに複数のカメラがある場合は選択でき、デスクトップ環境でのWebカメラ撮影を支援します。
同意に基づくデータ収集
ASLデータセットの収集と公開配布の流れを説明する開示条件のもとで映像を送信できます。
主な使用例
ASL学習を始める
初心者はLearnセクションから始めて、チュートリアルを使い、レベルを選択し、AI駆動のインターフェースからのフィードバックを受けながら一般的なASLの手話を練習できます。
手話動画を投稿する
すでにある程度ASLを知っている人は、一覧から手話を選んで1例を記録し、共有データセットの拡充に役立てることができます。
家族のコミュニケーション練習
聞こえる親や家族は、このプラットフォームを使って、Deafの子どもや家族との日常的なコミュニケーションを支える手話の学習を始められます。
データ収集条件を確認する
プロジェクトの投稿者や研究者は、開示条件を確認することで、参加前に映像の利用方法、共有方法、管理方法を把握できます。
コミュニティによるデータセット構築
ASLコミュニティの参加者は、後にDeafのレビュアーと認定通訳者によって検証される承認済みの録画を提供することで、データセット内の表現の多様性向上に協力できます。
Pros and Cons
Pros
- 学習と投稿を1つのプラットフォームに統合しているため、練習とデータセット構築を同じワークフローで進められます。
- ASLを始める学習者向けに、リアルタイムのフィードバックと3Dアバターを提供します。
- Deafの当事者と認定通訳者によって確認される投稿プロセスを採用しています。
- 公開配布や投稿者のデータ請求オプションを含め、データ収集条件が明確に示されています。
Cons
- 現在のデータセットの重点は手と指の位置にあり、表情や頭の動きなどの非手指信号は将来的な検討事項として説明されています。
- 提供されたページには、価格、プランの詳細、商用パッケージに関する情報は掲載されていません。
FAQ
Signsは何に使うものですか？
Signsは、AIによるガイド付きで共通のASL（American Sign Language）を練習できるように設計された、2つの側面を持つプラットフォームです。学習者はAI支援のフィードバックを受けながら手話を練習でき、投稿者は公開データセットの拡充に役立つ手話を記録できます。
Learnセクションは誰向けですか？
Learnセクションは、初心者やASLを始めたばかりの人向けです。よく使われる手話を段階的に学べるほか、3Dアバターを通じてリアルタイムのフィードバックを受けられます。
手話動画を投稿できるのは誰ですか？
同意のうえで開示条件に同意できる人なら、ASLの習熟度に関係なく誰でも投稿できます。投稿内容は、データセットで利用される前にDeafの当事者と認定通訳者によって確認されます。
このデータセットは表情や頭の動きを含みますか？
このデータセットは主に手と指の位置を中心に構築されています。サイトでは、表情や頭の動きなどの非手指信号も重要だと述べていますが、初期の重点対象ではありません。
収集されたデータは公開されますか？
NVIDIAによると、このデータセットは公開され、広く利用可能になる予定です。開示文には、投稿後に付与される一意のIDを使って、今後の利用や配布からの削除、またはデータの修正を依頼できるとも記載されています。
Quick Facts
- カテゴリ
- ASL学習とデータ収集
- 主なユーザー
- ASLを学ぶ初心者と手話を記録する投稿者
- プラットフォーム
- Web
- 組織
- NVIDIA、Hello Monday/DEPT®、American Society for Deaf Children
- ソースドメイン
- signs-ai.com
- データモデル
- 同意条件付きで公開配布されるASL動画データセット