最新ワークロード向け推論アクセラレータ
RNGD は、エンタープライズおよびクラウド推論向けのFuriosaAIのフラッグシップアクセラレータとして紹介されており、LLMおよびマルチモーダル展開をサポートします。
FuriosaAI
認証するFuriosaAIは、LLMやマルチモーダルモデルなど要求の高いデータセンター推論向けにAIアクセラレータとサーバーを提供。クラウド/オンプレ対応のソフトウェアスタックも搭載。
データセンター向けAI推論ハードウェアとソフトウェア
FuriosaAIはデータセンター向け推論用AIアクセラレータを設計しており、主力製品として RNGD、パッケージ化された導入オプションとして NXT RNGD Server を提供しています。同社はこのハードウェアを、コンピュータビジョン、生成AI、LLM、エージェント系ワークロード向けの高性能かつ電力効率の高い実行基盤として位置づけています。
製品群の中心は Tensor Contraction Processor アーキテクチャで、FuriosaAI はこれを tensor contraction に最適化したハードウェアとソフトウェアのアプローチだと説明しています。サイトでは、エンタープライズおよびクラウド環境での導入を強調しており、空冷データセンター、オンプレミス環境、マネージド環境、コロケーション施設での利用に対応し、コンパイル、最適化、本番展開を支援するソフトウェアスタックが備わっています。
主な機能
tensor contraction を重視したアーキテクチャ
このプラットフォームは Tensor Contraction Processor アーキテクチャを採用しており、FuriosaAI は固定の matmul プリミティブではなく、tensor contraction を中心に構築されていると説明しています。
電力効率の高い展開オプション
RNGD は 180W の電力プロファイル、NXT RNGD Server は空冷データセンター向けに 3 kW の消費電力目標として説明されています。
推論ソフトウェアツールチェーン
Furiosa Software は、LLM推論およびエージェント系ワークロード向けに、コンパイル、最適化、本番展開のワークフローを提供します。
クラウドネイティブおよびフレームワークのサポート
ソースでは、PyTorch 2.x との統合に加え、コンテナ化、SR-IOV、Kubernetes、その他のクラウドネイティブコンポーネントへの対応が উল্লেখされています。
エンタープライズ展開機能
RNGD には、LLM向けの PCIe P2P サポート、BF16/FP8/INT8/INT4 対応、マルチインスタンスおよび仮想化機能、さらにセキュアブートとモデル暗号化が含まれます。
適用領域
エンタープライズLLM推論
RNGD または NXT RNGD Server を展開先として使用し、電力密度とラックの稼働率が重要なデータセンターで高スループットの LLM 推論を実行します。
マルチモーダルモデルの提供
サイトで低レイテンシ実行と本番対応のソフトウェアサポートが強調されているクラウドまたはエンタープライズ環境にマルチモーダルモデルを展開します。
ハードウェア評価と導入計画
本番展開に移行する前に、Furiosa Access Program を通じてアクセラレータを評価、統合、認定します。
空冷アプライアンス展開
NXT RNGD Server を使用して、オンプレミス、マネージド、またはコロケーション環境向けに推論を空冷アプライアンスとしてパッケージ化します。
コンパイラ主導の本番展開
Furiosa のソフトウェアスタックを使用して、PyTorch 2.x とクラウドネイティブツールを用いたモデルのコンパイル、最適化、配信を行います。
Pros and Cons
Pros
- 推論ワークロード向けに設計されており、汎用計算ではなく LLM とマルチモーダルアプリケーションに明確にフォーカスしています。
- コンパイラ駆動の展開と本番運用ツールを含む、ハードウェアとソフトウェアを組み合わせた提案があります。
- アクセラレータカードから NXT RNGD Server アプライアンスまで、複数の導入形態に対応しています。
- 仮想化、セキュアブート、モデル暗号化などのエンタープライズ機能をサポートしています。
- 評価、統合、認定、展開のための構造化されたアクセスプログラムが用意されています。
Cons
- サイト上に公開価格が掲載されておらず、価格ページのURLは not found ページに遷移します。
- ソースで明示されている第三者連携は PyTorch 2.x とクラウドネイティブ展開コンポーネントに限られ、詳細は限定的です。
- 一部の展開に関する記載は空冷データセンターやエンタープライズ環境に特化しているため、すべてのエッジ環境やコンシューマー向け構成に適するとは限りません。
FAQ
RNGDは何に使われますか？
FuriosaAIは、RNGDをエンタープライズおよびクラウド推論向けのAIアクセラレータとして位置づけています。ソースでは、高性能なLLMおよびマルチモーダル展開機能をサポートし、NXT RNGD Serverはエージェント系システム向けの3 kW推論アプライアンスとして説明されています。
展開に利用できるソフトウェアサポートは何ですか？
ソースによると、Furiosa Softwareは、コンパイルと最適化から本番展開まで、LLM推論とエージェント系ワークロード向けのツールチェーンを提供します。PyTorch 2.x との統合に加え、コンテナ化、SR-IOV、Kubernetes のサポートも記載されています。
導入前にハードウェアをどのように評価できますか？
Furiosa Access Programは、顧客やパートナーがFuriosaのアクセラレータを評価、統合、認定し、展開するための構造化された手段として説明されています。オンラインとオフラインの両方のアクセスで世界中で利用できます。
Webサイトに価格は掲載されていますか？
ソースには公開価格は表示されていません。価格ページのURLは not found ページに遷移するため、商用パッケージはサイト上のセルフサービス価格ではなく、直接問い合わせや別の販売経路が必要と思われます。
Quick Facts
- カテゴリ
- AIアクセラレータ / 推論ハードウェア
- 主な製品
- RNGD PCIe と NXT RNGD Server
- アーキテクチャ
- Tensor Contraction Processor (TCP)
- 主な利用者
- エンタープライズおよびクラウドの推論チーム
- 展開
- オンプレミス、マネージド環境、コロケーション、空冷データセンター
- ソースドメイン
- furiosa.ai