面向现代工作负载的推理加速器
RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器,支持 LLM 和多模态部署。
FuriosaAI 为数据中心推理设计 AI 加速器,其中 RNGD 是其旗舰产品,NXT RNGD Server 则是打包式部署选项。公司将硬件定位于面向计算机视觉、生成式 AI、LLM 和 agentic 工作负载的高性能、低功耗执行。
该产品线以 Tensor Contraction Processor 架构为核心,FuriosaAI 将其描述为一种针对张量收缩优化的软硬件结合方案。网站强调可部署于企业与云环境,包括风冷数据中心、本地部署、托管环境和 colocation 机房,并由支持编译、优化和生产上线的软件栈提供支撑。
RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器,支持 LLM 和多模态部署。
该平台采用 Tensor Contraction Processor 架构,FuriosaAI 表示其围绕张量收缩构建,而非固定的 matmul 原语。
RNGD 的功耗配置为 180W,NXT RNGD Server 面向风冷数据中心,目标功耗为 3 kW。
Furiosa Software 提供用于 LLM 推理和 agentic 工作负载的编译、优化与生产部署工作流。
Furiosa 提供编译、量化、运行时和 LLM 推理服务工具,包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。
RNGD 支持 BF16、FP8、INT8 和 INT4 运算。规格列明 SR-IOV 最多八个虚拟实例、ECC 内存和基于硬件信任根的安全启动。硬件运算支持不代表每个 SDK 版本都已提供全部量化方式。
在数据中心中运行高吞吐量 LLM 推理,适用于功耗密度和机架利用率至关重要的场景,并以 RNGD 或 NXT RNGD Server 作为部署目标。
在云端或企业环境中部署多模态模型,适用于网站强调低延迟执行和可直接用于生产的软件支持的场景。
在正式生产部署前,通过 Furiosa Access Program 对加速器进行评估、集成和验证。
使用 NXT RNGD Server,将推理封装为适用于本地部署、托管或 colocation 环境的风冷一体机。
借助 Furiosa 软件栈,结合 PyTorch 2.x 和云原生工具,对模型进行编译、优化并交付。
FuriosaAI 将 RNGD 定位为面向企业和云端推理的 AI 加速器。来源描述其支持高性能 LLM 和多模态部署能力,而 NXT RNGD Server 则是面向 agentic 系统的 3 kW 推理一体机。
Furiosa 提供编译、量化、运行时和 LLM 推理服务工具,包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。
全球团队可申请专用 NXT RNGD 裸机服务器或 OpenAI 兼容 API 端点,评估性能、延迟、功耗及应用兼容性。访问需申请,不是无条件免费套餐。
官网未公开价格。请联系 FuriosaAI 咨询硬件配置与报价。
流量数据仅供参考。
baseten.co
用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台,支持托管云、自托管、混合及专用部署。
runpod.io
Runpod 将 GPU Pod、自动扩缩容的无服务器推理和多节点集群整合到一个云平台,帮助开发团队完成模型开发、微调、部署及批处理工作负载。
sambanova.ai
面向开发者、企业和基础设施运营者的 AI 推理平台,支持运行大型开源模型和智能体工作负载,并适用于云端、本地、混合及隔离环境。
inference.net
面向生产环境 AI 工作负载的基础设施,支持运行、监控、评估、训练和部署,帮助团队通过互联工作流提升成本、延迟、可靠性与质量。
chutes.ai
Chutes 是面向开源模型的去中心化无服务器推理平台。开发者可通过 API 调用托管模型,也可在机密 GPU 算力上部署私有自定义工作负载。
friendli.ai
面向生产环境部署前沿开放权重模型和自定义 AI 模型的推理云,提供无服务器模型 API、专用 GPU 端点及 BYOG 选项,支持智能体、多模态和高吞吐工作负载。