最新ワークロード向け推論アクセラレータ
RNGD は、エンタープライズおよびクラウド推論向けのFuriosaAIのフラッグシップアクセラレータとして紹介されており、LLMおよびマルチモーダル展開をサポートします。
FuriosaAIはデータセンター向け推論用AIアクセラレータを設計しており、主力製品として RNGD、パッケージ化された導入オプションとして NXT RNGD Server を提供しています。同社はこのハードウェアを、コンピュータビジョン、生成AI、LLM、エージェント系ワークロード向けの高性能かつ電力効率の高い実行基盤として位置づけています。
製品群の中心は Tensor Contraction Processor アーキテクチャで、FuriosaAI はこれを tensor contraction に最適化したハードウェアとソフトウェアのアプローチだと説明しています。サイトでは、エンタープライズおよびクラウド環境での導入を強調しており、空冷データセンター、オンプレミス環境、マネージド環境、コロケーション施設での利用に対応し、コンパイル、最適化、本番展開を支援するソフトウェアスタックが備わっています。
RNGD は、エンタープライズおよびクラウド推論向けのFuriosaAIのフラッグシップアクセラレータとして紹介されており、LLMおよびマルチモーダル展開をサポートします。
このプラットフォームは Tensor Contraction Processor アーキテクチャを採用しており、FuriosaAI は固定の matmul プリミティブではなく、tensor contraction を中心に構築されていると説明しています。
RNGD は 180W の電力プロファイル、NXT RNGD Server は空冷データセンター向けに 3 kW の消費電力目標として説明されています。
Furiosa Software は、LLM推論およびエージェント系ワークロード向けに、コンパイル、最適化、本番展開のワークフローを提供します。
ソースでは、PyTorch 2.x との統合に加え、コンテナ化、SR-IOV、Kubernetes、その他のクラウドネイティブコンポーネントへの対応が উল্লেখされています。
RNGD には、LLM向けの PCIe P2P サポート、BF16/FP8/INT8/INT4 対応、マルチインスタンスおよび仮想化機能、さらにセキュアブートとモデル暗号化が含まれます。
RNGD または NXT RNGD Server を展開先として使用し、電力密度とラックの稼働率が重要なデータセンターで高スループットの LLM 推論を実行します。
サイトで低レイテンシ実行と本番対応のソフトウェアサポートが強調されているクラウドまたはエンタープライズ環境にマルチモーダルモデルを展開します。
本番展開に移行する前に、Furiosa Access Program を通じてアクセラレータを評価、統合、認定します。
NXT RNGD Server を使用して、オンプレミス、マネージド、またはコロケーション環境向けに推論を空冷アプライアンスとしてパッケージ化します。
Furiosa のソフトウェアスタックを使用して、PyTorch 2.x とクラウドネイティブツールを用いたモデルのコンパイル、最適化、配信を行います。
FuriosaAIは、RNGDをエンタープライズおよびクラウド推論向けのAIアクセラレータとして位置づけています。ソースでは、高性能なLLMおよびマルチモーダル展開機能をサポートし、NXT RNGD Serverはエージェント系システム向けの3 kW推論アプライアンスとして説明されています。
ソースによると、Furiosa Softwareは、コンパイルと最適化から本番展開まで、LLM推論とエージェント系ワークロード向けのツールチェーンを提供します。PyTorch 2.x との統合に加え、コンテナ化、SR-IOV、Kubernetes のサポートも記載されています。
Furiosa Access Programは、顧客やパートナーがFuriosaのアクセラレータを評価、統合、認定し、展開するための構造化された手段として説明されています。オンラインとオフラインの両方のアクセスで世界中で利用できます。
ソースには公開価格は表示されていません。価格ページのURLは not found ページに遷移するため、商用パッケージはサイト上のセルフサービス価格ではなく、直接問い合わせや別の販売経路が必要と思われます。
トラフィックデータは参考情報としてご利用ください。
www.ibm.com
IBM watsonx.ai is an enterprise AI development studio for building predictive, prescriptive, and generative AI solutions. It supports AI builders, data scientists, and developers across model development, customization, retrieval-augmented generation, deployment, and lifecycle management.
together.ai
Together AIは推論、ファインチューニング、GPUクラスター、サンドボックス、マネージドストレージに対応するAIクラウドプラットフォームです。
www.bentoml.com
Bento is an inference platform for packaging, deploying, optimizing, and operating AI and machine-learning models at scale. It supports open and custom models across cloud, on-premises, Kubernetes, and bring-your-own-cloud environments.
prodia.com
Prodia is a multi-silicon inference platform focused on video generation. It develops AI model implementations across different hardware to balance cost, output quality, and performance.
digitalocean.com
本番環境のAIアプリを構築・デプロイ・拡張できるAIネイティブなクラウドプラットフォーム。
www.byteplus.com
ModelArk is BytePlus's one-stop large language model service platform for organizations building, deploying, and scaling AI applications. It is positioned within BytePlus's broader AI-native cloud portfolio.