Findings24Findings24
FUTO Swipe logo

FUTO Swipe

認証する

FUTO Swipeは、スワイプ入力のパスを単語予測に変換する研究向けリリースです。データセット、モデル群、C++デコードライブラリを収録し、評価や学習に活用できます。

リサーチツールAI開発者ツールその他
ウェブサイトを訪問
FUTO Swipe preview

概要

FUTO Swipeは、描画したキーボードのパスを単語予測に変換することに焦点を当てた、スワイプ入力の研究およびモデル公開です。このプロジェクトは、公開データセット、学習済みモデル、デコードライブラリを組み合わせており、スワイプ入力を評価したり推論ワークフローで利用したりできます。

このサイトでは、モデルスタックは3つの要素で構成されると説明されています。汎用エンコーダー、単一言語のContextLM、レイアウト固有のデコーダーです。これらを辞書制約付きビームサーチと組み合わせることで、低価格帯のデバイスでも動作するほど小さいモデルサイズを保ちながら、スワイプ予測の品質向上を目指しています。

このプロジェクトは、2024年8月にswipe.futo.orgで行われたデータセット収集作業から生まれました。その取り組みにより100万件を超えるスワイプが収集され、クリーンアップ済みの100万件のスワイプからなるデータセットが、2025年3月にMITライセンスのもとHuggingFaceで公開されました。

FUTO Swipeは、推論、デコード、ビームサーチのためのC++ライブラリであるswipe-libraryも公開しています。サイトでは、スワイプの軌跡から順位付き候補語へ移るために必要な、欠けていた要素として位置づけられています。

機能

3要素のモデルスタック

レイアウトと言語に依存しないエンコーダー、単一言語のContextLM、より高精度を狙うレイアウト固有のデコーダーという3種類のモデルを組み合わせて使用します。

レイアウトを考慮した予測

エンコーダーはレイアウトや言語をまたいだ汎用的なスワイプ予測を提供し、デコーダーは特定のレイアウトと言語向けに学習されてキーボード固有の挙動を捉えます。

文脈に基づくフィルタリング

ContextLMは直前の文脈を使って意味をなさない語の並びを抑制し、学習にはテキストデータだけが必要です。

ビームサーチによるデコード

辞書制約付きビームサーチがスワイプパスから候補語をスコア付けします。生のモデル出力だけでは不十分なため、この処理が必要になります。

C++推論ライブラリ

この公開版にはswipe-libraryが含まれており、スワイプパスから単語予測までの推論、デコード、ビームサーチを扱うC++ライブラリです。

公開済みスワイプデータセット

このサイトでは、MITライセンスのもとで公開された100万件の英語QWERTYスワイプのデータセットが報告されており、モデルの学習と評価に使われています。

ユースケース

  • スワイプ入力手法の研究

    公開データセットとモデル説明を使って、スワイプ入力システムを調査したり、アプローチを比較したり、管理された英語QWERTYコーパスで評価を再現したりできます。

  • スワイプ予測ワークフローの構築

    生のジェスチャーパスから候補を順位付けする必要があるスワイプから単語へのパイプラインを構築またはテストするときに、エンコーダー、ContextLM、デコーダーを組み合わせて使えます。

  • スワイプパスを順位付き単語に変換

    モデル出力の周辺にあるデコード層とビームサーチ層が必要な場合は、単にスコアを出すだけの生のモデルではなく、swipe-libraryを使えます。

  • モデルの役割とトレードオフの比較

    公開リソースを使って、文脈、レイアウト知識、レイアウト固有学習が予測品質にどの程度寄与するかを理解できます。

  • 制約のあるハードウェアへの展開

    ミリ秒規模の推論と低い計算量が重要なデバイスや環境を対象にする場合は、小型のモデルスタックを使えます。

Pros and Cons

Pros

  • MITライセンスのもとで大規模なスワイプデータセットを公開しています。
  • レイアウト非依存、文脈対応、レイアウト固有のモデルを組み合わせて予測品質を高めます。
  • サイトによると、低価格帯のデバイスでもミリ秒単位で動作できる小さなパラメータ規模です。
  • 推論とデコードのワークフロー向けのC++コンポーネントであるswipe-libraryを含みます。
  • サイトのテストセットで約4%のトップ4失敗率など、具体的な評価値を示しています。

Cons

  • 現在の公開版で利用できるデコーダーはQWERTY英語のみに限られます。
  • ソースには、エンドユーザー向けのホスト型アプリ、API、SDKについての説明がありません。
  • モデルの詳細と評価はサイト独自のテストセットに基づいているため、より広範な性能主張は示されていません。

FAQ

FUTO Swipeは何をするものですか？

ソースでは、FUTO Swipeは公開スワイプデータセット、学習済みモデル、そしてパスを単語予測へデコードするためのC++ swipe-libraryで構成されたスワイプ入力システムだと説明されています。

どのキーボードレイアウトと言語が対応していますか？

ページでは、公開されているデコーダーは現在QWERTY英語のみで利用可能だと述べています。これは、デコーダーの学習に特定のレイアウトと言語のスワイプ入力データが必要だからです。

データセットは自由に使えますか？

サイトでは、データセットはMITライセンスで公開されており、HuggingFaceで利用可能だと説明されています。

推論はどのように動作しますか？

モデルは低価格帯のデバイスでミリ秒単位で動作できるほど小さいと説明されており、サイトによると全体のスタックは辞書制約付きビームサーチを使って候補語を生成します。

FUTO SwipeにはAPIやアプリがありますか？

ページには一般向けアプリ、SDK、ホスト型APIの記載はなく、スワイプから単語予測へのワークフロー向けに公開されたリソースとしてモデルとswipe-libraryが示されています。

Quick Facts

カテゴリ
スワイプ入力 / 開発者向けツール
主要ドメイン
swipe.futo.tech
関連データセットドメイン
swipe.futo.org
公開データセット
100万件のスワイプ
ライセンス
公開データセットはMIT
実装
推論とデコードのためのC++ swipe-library