CPU推論
CPU上でモデルを実行し、マシンで利用可能なスレッド数に合わせて推論を調整できます。ホームページでは、q4、5.1、8、f16のGGML量子化サポートも記載されています。
Local AI Playgroundは、AIモデルをローカルで実行・管理できるネイティブデスクトップアプリ。初期設定不要で、オフライン・GPU不要の推論、モデル管理、ダイジェスト検証に対応。
Local AI Playgroundは、AIモデルをローカルで試すためのネイティブデスクトップアプリです。ローカルAIの管理、検証、推論に重点を置いており、技術的なセットアップを一切せずにユーザーがすぐ始められるようにすることを目指しています。
ホームページでは、このアプリはオフラインで利用でき、GPUを必要としないと案内されています。また、無料のオープンソースとして紹介されており、Mac、Windows、Linux向けのダウンロードがサイト上に表示されています。
CPU上でモデルを実行し、マシンで利用可能なスレッド数に合わせて推論を調整できます。ホームページでは、q4、5.1、8、f16のGGML量子化サポートも記載されています。
モデルを一か所にまとめ、任意のディレクトリをアプリに指定できます。サイトでは、再開可能な同時ダウンロード、使用頻度ベースの並び替え、ディレクトリに依存しないモデル管理が強調されています。
BLAKE3とSHA256ベースのダイジェストツールでダウンロードしたモデルを確認できます。ホームページでは、既知の良好なモデルAPI、ライセンスと用途のチップ、BLAKE3のクイックチェックにも触れています。
モデルを読み込んで、2回のクリックでローカルのストリーミングサーバーを起動できます。インターフェースにはクイック推論UI、推論パラメータ、.mdxへの書き込みサポートが含まれます。
Rustバックエンドを備えたコンパクトなネイティブアプリを使用できます。ホームページでは、Mac M2、Windows、Linuxの.debビルドでメモリ効率が高く、10MB未満であると説明されています。
データをリモートサービスに送信する代わりに、オフライン実行とプライベートな処理が必要なときに、ローカルマシン上でAIモデルを試せます。
異なるディレクトリに保存されていても、ダウンロードしたモデルを1か所で整理し、使用頻度で並べ替えてアクティブなモデルをすばやく見つけられます。
BLAKE3またはSHA256のチェックとアプリのモデルメタデータツールを使って、ダウンロードしたモデルが期待されるダイジェストと一致するかを使用前に検証できます。
モデルを読み込んだ後にローカルのストリーミングサーバーを起動し、別のAIアプリがローカル推論エンドポイント経由でそのモデルを利用できるようにします。
クイック推論UIを使ってモデルを読み込み、別途サービスやワークフローを用意せずにテストできます。
ゼロの技術的なセットアップで、AIモデルをローカルで試せるネイティブアプリです。ホームページでは、ローカルAIの管理、検証、推論をより簡単に行えるよう設計されており、ローカル推論セッションは2回のクリックで開始できると説明されています。
ホームページでは、このアプリはCPU推論をサポートし、利用可能なスレッドに合わせて動作すると説明されています。また、q4、5.1、8、f16を含むGGML量子化オプションも掲載されています。
提供元の情報では、MSI、EXE、M1/M2、Intel、AppImage、.deb のダウンロードがホームページに掲載されており、Mac、Windows、Linuxに対応しています。
サイトでは、モデルを読み込んだ後、2回のクリックでローカルストリーミングサーバーを起動できると案内されています。また、クイック推論UIと.mdxへの書き出しについても言及されています。
ホームページでは、このアプリは無料のオープンソースであると説明されています。