FuriosaAI logo

FuriosaAI

認領

FuriosaAI 提供企業級 AI 推論加速器與伺服器硬體,支援 LLM、多模態模型及資料中心工作負載,並提供編譯、最佳化與雲端原生、地端部署軟體堆疊。

FuriosaAI preview

適用於資料中心的 AI 推論硬體與軟體

FuriosaAI 為資料中心推論設計 AI 加速器,其中 RNGD 為旗艦產品,NXT RNGD Server 則是封裝式部署選項。該公司將硬體定位於高效能、低功耗的運算,涵蓋電腦視覺、生成式 AI、LLM 與 agentic 工作負載。

產品系列以 Tensor Contraction Processor 架構為核心,FuriosaAI 將其描述為一種針對 tensor contraction 最佳化的軟硬體方法。網站強調可部署於企業與雲端環境,包括空冷資料中心、地端安裝、代管環境與共置機房,並由用於編譯、最佳化與正式上線的軟體堆疊提供支援。

核心功能

適用於現代工作負載的推論加速器

RNGD 被定位為 FuriosaAI 針對企業與雲端推論的旗艦加速器,支援 LLM 與多模態部署。

以 tensor contraction 為核心的架構

此平台採用 Tensor Contraction Processor 架構,FuriosaAI 表示其設計是以 tensor contraction 為核心,而非固定的 matmul 基元。

節能的部署選項

RNGD 的功耗設定為 180W,而 NXT RNGD Server 則將 3 kW 作為空冷資料中心的功耗目標。

推論軟體工具鏈

Furiosa Software 提供用於 LLM 推論與 agentic 工作負載的編譯、最佳化與正式部署流程。

雲端原生與框架支援

來源提到 PyTorch 2.x 整合,以及容器化、SR-IOV、Kubernetes 和其他雲端原生元件。

企業部署功能

RNGD 包含支援 LLM 的 PCIe P2P、BF16/FP8/INT8/INT4 支援、多實例與虛擬化功能,以及具備模型加密的安全開機。

適用場景

  • 企業級 LLM 推論

    在重視功耗密度與機架利用率的資料中心中,使用 RNGD 或 NXT RNGD Server 作為部署目標,執行高吞吐量的 LLM 推論。

  • 多模態模型服務

    在網站強調低延遲執行與可正式上線的軟體支援之雲端或企業環境中,部署多模態模型。

  • 硬體評估與推廣規劃

    在進入正式部署前,先透過 Furiosa Access Program 評估、整合並驗證加速器。

  • 空冷設備部署

    使用 NXT RNGD Server,將推論封裝為可在地端、代管或共置環境中運作的空冷設備。

  • 以編譯器為主導的正式部署

    利用 Furiosa 軟體堆疊,搭配 PyTorch 2.x 與雲端原生工具來編譯、最佳化並發佈模型。

Pros and Cons

Pros

  • 專為推論工作負載設計,而非通用運算,且明確聚焦於 LLM 與多模態應用。
  • 同時提供硬體與軟體方案,包含由編譯器驅動的部署與正式上線工具。
  • 提供多種部署形式,從加速卡到 NXT RNGD Server 設備皆有。
  • 支援企業功能,如虛擬化、安全開機與模型加密。
  • 網站提供結構化的評估、整合、驗證與部署存取計畫。

Cons

  • 網站未列出公開價格,而且定價網址會導向找不到頁面。
  • 來源對第三方整合的說明有限,僅提到 PyTorch 2.x 與雲端原生部署元件。
  • 部分部署主張特別針對空冷資料中心與企業環境,因此這些產品可能不適合所有邊緣或消費級情境。

FAQ

RNGD 的用途是什麼?

FuriosaAI 將 RNGD 定位為適用於企業與雲端推論的 AI 加速器。來源描述它支援高效能的 LLM 與多模態部署能力,而 NXT RNGD Server 則是適用於 agentic 系統的 3 kW 推論型設備。

可用哪些軟體支援進行部署?

來源指出 Furiosa Software 提供一套用於 LLM 推論與 agentic 工作負載的工具鏈,涵蓋從編譯、最佳化到正式部署。它也提到支援 PyTorch 2.x 整合,以及容器化、SR-IOV 與 Kubernetes。

團隊要如何在部署前評估硬體?

Furiosa Access Program 被描述為一條結構化路徑,讓客戶與合作夥伴能評估、整合、驗證並部署 Furiosa 加速器。該計畫可透過線上與離線方式在全球使用。

網站上有列出價格嗎?

來源沒有顯示公開定價。定價網址會回傳找不到頁面,因此商業方案似乎需要直接聯絡或透過其他銷售管道,而非在網站上自助查看價格。

Quick Facts

類別
AI 加速器 / 推論硬體
主要產品
RNGD PCIe 與 NXT RNGD Server
架構
Tensor Contraction Processor (TCP)
主要使用者
企業與雲端推論團隊
部署
地端、代管環境、共置機房與空冷資料中心
來源網域
furiosa.ai