# FuriosaAI 面向企業推理工作負載的 AI 加速器與伺服器 - Findings24: - 網站: - 分類: AI 推論平台, AI 模型部署 ## 什麼是 FuriosaAI？ FuriosaAI 為資料中心推論設計 AI 加速器，其中 RNGD 為旗艦產品，NXT RNGD Server 則是封裝式部署選項。該公司將硬體定位於高效能、低功耗的運算，涵蓋電腦視覺、生成式 AI、LLM 與 agentic 工作負載。 產品系列以 Tensor Contraction Processor 架構為核心，FuriosaAI 將其描述為一種針對 tensor contraction 最佳化的軟硬體方法。網站強調可部署於企業與雲端環境，包括空冷資料中心、地端安裝、代管環境與共置機房，並由用於編譯、最佳化與正式上線的軟體堆疊提供支援。 ## FuriosaAI 能做什麼？ ### 適用於現代工作負載的推論加速器 RNGD 被定位為 FuriosaAI 針對企業與雲端推論的旗艦加速器，支援 LLM 與多模態部署。 ### 以 tensor contraction 為核心的架構 此平台採用 Tensor Contraction Processor 架構，FuriosaAI 表示其設計是以 tensor contraction 為核心，而非固定的 matmul 基元。 ### 節能的部署選項 RNGD 的功耗設定為 180W，而 NXT RNGD Server 則將 3 kW 作為空冷資料中心的功耗目標。 ### 推論軟體工具鏈 Furiosa Software 提供用於 LLM 推論與 agentic 工作負載的編譯、最佳化與正式部署流程。 ### 雲端原生與框架支援 Furiosa 提供編譯、量化、執行環境與 LLM 推論服務工具，包括 torch.compile 整合、vLLM 相容介面、OpenAI 相容 API 伺服器、容器支援及 Kubernetes 外掛。 ### 企業部署功能 RNGD 支援 BF16、FP8、INT8 與 INT4 運算。規格列明 SR-IOV 最多八個虛擬實例、ECC 記憶體及基於硬體信任根的安全啟動。硬體運算支援不代表每個 SDK 版本皆已提供全部量化方式。 ## 使用情境 ### 企業級 LLM 推論 在重視功耗密度與機架利用率的資料中心中，使用 RNGD 或 NXT RNGD Server 作為部署目標，執行高吞吐量的 LLM 推論。 ### 多模態模型服務 在網站強調低延遲執行與可正式上線的軟體支援之雲端或企業環境中，部署多模態模型。 ### 硬體評估與推廣規劃 在進入正式部署前，先透過 Furiosa Access Program 評估、整合並驗證加速器。 ### 空冷設備部署 使用 NXT RNGD Server，將推論封裝為可在地端、代管或共置環境中運作的空冷設備。 ### 以編譯器為主導的正式部署 利用 Furiosa 軟體堆疊，搭配 PyTorch 2.x 與雲端原生工具來編譯、最佳化並發佈模型。 ## 常見問題 ### RNGD 的用途是什麼？ FuriosaAI 將 RNGD 定位為適用於企業與雲端推論的 AI 加速器。來源描述它支援高效能的 LLM 與多模態部署能力，而 NXT RNGD Server 則是適用於 agentic 系統的 3 kW 推論型設備。 ### 可用哪些軟體支援進行部署？ Furiosa 提供編譯、量化、執行環境與 LLM 推論服務工具，包括 torch.compile 整合、vLLM 相容介面、OpenAI 相容 API 伺服器、容器支援及 Kubernetes 外掛。 ### 團隊要如何在部署前評估硬體？ 全球團隊可申請專用 NXT RNGD 裸機伺服器或 OpenAI 相容 API 端點，評估效能、延遲、功耗及應用相容性。存取須申請，並非無條件免費方案。 ### 網站上有列出價格嗎？ 官網未公開價格。請聯絡 FuriosaAI 洽詢硬體配置與報價。 ## 快速資訊 - **類別**: AI 加速器 / 推論硬體 - **主要產品**: RNGD PCIe 與 NXT RNGD Server - **架構**: Tensor Contraction Processor (TCP) - **主要使用者**: 企業與雲端推論團隊 - **部署**: 地端、代管環境、共置機房與空冷資料中心 - **來源網域**: furiosa.ai