ASL 手指スペル認識
Web カメラ入力から American Sign Language の手指スペル用アルファベットを認識し、A から Z までをリアルタイムで判定します。
signspell
認証するsignspell は、Webカメラから英語のアルファベット指文字をリアルタイム認識する Python パッケージです。CLI とライブラリ API に対応し、モデルと Web カメラ UI を同梱しています。
概要
signspell は、Web カメラからライブの American Sign Language 手指スペル認識を行う Python パッケージです。手アルファベットに焦点を当て、A〜Z をリアルタイムで識別し、洗練された画面上インターフェースで結果を表示します。
このプロジェクトは、MediaPipe の手追跡と、30 フレームのキーポイント系列で学習した LSTM モデルを組み合わせています。学習済みモデルが付属し、コマンドラインまたはインポート可能なライブラリとして使用でき、オフラインの画像分類ではなく、Web カメラベースのライブ認識を求めるユーザー向けです。
特徴
系列ベースの認識パイプライン
プロジェクト説明にあるとおり、MediaPipe の手追跡と、30 フレームのキーポイント系列で学習した LSTM モデルを使用します。
同梱モデルと UI
学習済みモデルと洗練された Web カメラ UI を同梱しており、最初に自分でモデルを接続しなくても実行できます。
CLI 制御
カメラ選択、信頼度しきい値、ミラー表示の切り替え、カスタムモデルパスの指定に対応したコマンドラインツールとして動作します。
ライブラリ API
ライブラリとしてインポートでき、フル UI 用の `signspell.run()` と、プログラムからフレームごとの予測を行う `Recognizer` を利用できます。
バッファ付き出力処理
30 フレームのローリングバッファと短い安定化ウィンドウを使い、文字が確定する前のちらつきを抑えます。
利用例
ライブ Web カメラ認識
ターミナルから signspell を実行し、デフォルトのカメラまたは選択した Web カメラインデックスから手指スペル文字を認識し、必要に応じて信頼度しきい値やミラー表示モードを調整します。
組み込み UI の利用
Python アプリケーションにパッケージをインポートし、`signspell.run()` を呼び出してフル Web カメラ UI を自分のワークフローに組み込みます。
プログラムによるフレーム単位の推論
フレームを自分で処理し、予測された文字をコードで扱いたい場合は、OpenCV のフレームキャプチャと `Recognizer` クラスを使います。
カスタムモデルの統合
期待される入出力形状に合う互換モデルをすでに持っている場合は、同梱モデルをカスタム `.h5` ファイルに置き換えます。
対話型 ASL デモ
リアルタイムの ASL 手指スペル認識を主な操作パターンとする、アクセシブルなデモ、授業例、またはプロトタイプに利用できます。
Pros and Cons
Pros
- Web カメラ入力から ASL の手指スペル用アルファベットをリアルタイムで認識します。
- 用途に応じて CLI とライブラリの両方で利用できます。
- 学習済みモデルと UI が最初から付属しています。
- 独自モデルを差し替えたいユーザー向けにカスタムモデルパスをサポートします。
- カメラ選択、しきい値設定、ミラー表示、キーボード操作などの実行時動作が具体的に文書化されています。
Cons
- ライブ認識には Web カメラが必要です。
- ソースではサポート対象の Python バージョンが 3.9〜3.11 に限定されています。
- プロジェクト説明には、インストール方法と基本的な CLI / ライブラリの例以外のセットアップ詳細がありません。
FAQ
signspell はどのように使えますか？
コマンドラインインターフェースと、インポート可能な Python ライブラリとして利用できます。CLI ではデフォルトの Web カメラまたは選択したカメラを使え、ライブラリでは `signspell.run()` と、フレームごとの予測を行うための `Recognizer` クラスを公開しています。
実行時の要件は何ですか？
このプロジェクトの説明では、ライブ認識には Python 3.9〜3.11 と Web カメラが必要とされています。
何を認識しますか？
ソースによると、American Sign Language の手指スペル用アルファベット（A〜Z）をリアルタイムで認識し、文字が確定する前のちらつきを抑えるための安定化ウィンドウも備えています。
signspell のライセンスは何ですか？
PyPI では、このプロジェクトのライセンスは MIT License (MIT) と表示されています。
独自のモデルを使えますか？
`--model path/to/your_model.h5` または `Recognizer(model_path=...)` でカスタムモデルを指定できます。ソースでは、モデルは入力形状 `(1, 30, 63)` を受け取り、26 クラスのスコアを出力する必要があるとされています。
Quick Facts
- カテゴリ
- 開発者ツール
- パッケージ名
- signspell
- プラットフォーム
- Python 3.9–3.11
- 主な入力
- Web カメラ映像
- ライセンス
- MIT License (MIT)
- ソースドメイン
- pypi.org