# FuriosaAI 面向企业推理工作负载的 AI 加速器与服务器 - Findings24: - 网站: - 分类: AI 推理平台, AI 模型部署 ## 什么是 FuriosaAI？ FuriosaAI 为数据中心推理设计 AI 加速器，其中 RNGD 是其旗舰产品，NXT RNGD Server 则是打包式部署选项。公司将硬件定位于面向计算机视觉、生成式 AI、LLM 和 agentic 工作负载的高性能、低功耗执行。 该产品线以 Tensor Contraction Processor 架构为核心，FuriosaAI 将其描述为一种针对张量收缩优化的软硬件结合方案。网站强调可部署于企业与云环境，包括风冷数据中心、本地部署、托管环境和 colocation 机房，并由支持编译、优化和生产上线的软件栈提供支撑。 ## FuriosaAI 能做什么？ ### 面向现代工作负载的推理加速器 RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器，支持 LLM 和多模态部署。 ### 以张量收缩为核心的架构 该平台采用 Tensor Contraction Processor 架构，FuriosaAI 表示其围绕张量收缩构建，而非固定的 matmul 原语。 ### 高能效部署选项 RNGD 的功耗配置为 180W，NXT RNGD Server 面向风冷数据中心，目标功耗为 3 kW。 ### 推理软件工具链 Furiosa Software 提供用于 LLM 推理和 agentic 工作负载的编译、优化与生产部署工作流。 ### 云原生与框架支持 Furiosa 提供编译、量化、运行时和 LLM 推理服务工具，包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。 ### 企业级部署功能 RNGD 支持 BF16、FP8、INT8 和 INT4 运算。规格列明 SR-IOV 最多八个虚拟实例、ECC 内存和基于硬件信任根的安全启动。硬件运算支持不代表每个 SDK 版本都已提供全部量化方式。 ## 使用场景 ### 企业级 LLM 推理 在数据中心中运行高吞吐量 LLM 推理，适用于功耗密度和机架利用率至关重要的场景，并以 RNGD 或 NXT RNGD Server 作为部署目标。 ### 多模态模型服务 在云端或企业环境中部署多模态模型，适用于网站强调低延迟执行和可直接用于生产的软件支持的场景。 ### 硬件评估与上线规划 在正式生产部署前，通过 Furiosa Access Program 对加速器进行评估、集成和验证。 ### 风冷一体机部署 使用 NXT RNGD Server，将推理封装为适用于本地部署、托管或 colocation 环境的风冷一体机。 ### 编译器驱动的生产部署 借助 Furiosa 软件栈，结合 PyTorch 2.x 和云原生工具，对模型进行编译、优化并交付。 ## 常见问题 ### RNGD 用于什么场景？ FuriosaAI 将 RNGD 定位为面向企业和云端推理的 AI 加速器。来源描述其支持高性能 LLM 和多模态部署能力，而 NXT RNGD Server 则是面向 agentic 系统的 3 kW 推理一体机。 ### 部署可获得哪些软件支持？ Furiosa 提供编译、量化、运行时和 LLM 推理服务工具，包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。 ### 团队如何在部署前评估硬件？ 全球团队可申请专用 NXT RNGD 裸机服务器或 OpenAI 兼容 API 端点，评估性能、延迟、功耗及应用兼容性。访问需申请，不是无条件免费套餐。 ### 网站上有定价信息吗？ 官网未公开价格。请联系 FuriosaAI 咨询硬件配置与报价。 ## 快速信息 - **类别**: AI 加速器 / 推理硬件 - **主要产品**: RNGD PCIe 和 NXT RNGD Server - **架构**: Tensor Contraction Processor（TCP） - **主要用户**: 企业和云端推理团队 - **部署**: 本地部署、托管环境、colocation 和风冷数据中心 - **来源域名**: furiosa.ai