FuriosaAI logo

FuriosaAI

访问

面向企业推理工作负载的 AI 加速器与服务器

什么是 FuriosaAI?

FuriosaAI 为数据中心推理设计 AI 加速器,其中 RNGD 是其旗舰产品,NXT RNGD Server 则是打包式部署选项。公司将硬件定位于面向计算机视觉、生成式 AI、LLM 和 agentic 工作负载的高性能、低功耗执行。

该产品线以 Tensor Contraction Processor 架构为核心,FuriosaAI 将其描述为一种针对张量收缩优化的软硬件结合方案。网站强调可部署于企业与云环境,包括风冷数据中心、本地部署、托管环境和 colocation 机房,并由支持编译、优化和生产上线的软件栈提供支撑。

FuriosaAI 能做什么?

面向现代工作负载的推理加速器

RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器,支持 LLM 和多模态部署。

以张量收缩为核心的架构

该平台采用 Tensor Contraction Processor 架构,FuriosaAI 表示其围绕张量收缩构建,而非固定的 matmul 原语。

高能效部署选项

RNGD 的功耗配置为 180W,NXT RNGD Server 面向风冷数据中心,目标功耗为 3 kW。

推理软件工具链

Furiosa Software 提供用于 LLM 推理和 agentic 工作负载的编译、优化与生产部署工作流。

云原生与框架支持

Furiosa 提供编译、量化、运行时和 LLM 推理服务工具,包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。

企业级部署功能

RNGD 支持 BF16、FP8、INT8 和 INT4 运算。规格列明 SR-IOV 最多八个虚拟实例、ECC 内存和基于硬件信任根的安全启动。硬件运算支持不代表每个 SDK 版本都已提供全部量化方式。

使用场景

“企业级 LLM 推理”

在数据中心中运行高吞吐量 LLM 推理,适用于功耗密度和机架利用率至关重要的场景,并以 RNGD 或 NXT RNGD Server 作为部署目标。

“多模态模型服务”

在云端或企业环境中部署多模态模型,适用于网站强调低延迟执行和可直接用于生产的软件支持的场景。

“硬件评估与上线规划”

在正式生产部署前,通过 Furiosa Access Program 对加速器进行评估、集成和验证。

“风冷一体机部署”

使用 NXT RNGD Server,将推理封装为适用于本地部署、托管或 colocation 环境的风冷一体机。

“编译器驱动的生产部署”

借助 Furiosa 软件栈,结合 PyTorch 2.x 和云原生工具,对模型进行编译、优化并交付。

常见问题

RNGD 用于什么场景?

FuriosaAI 将 RNGD 定位为面向企业和云端推理的 AI 加速器。来源描述其支持高性能 LLM 和多模态部署能力,而 NXT RNGD Server 则是面向 agentic 系统的 3 kW 推理一体机。

部署可获得哪些软件支持?

Furiosa 提供编译、量化、运行时和 LLM 推理服务工具,包括 torch.compile 集成、vLLM 兼容接口、OpenAI 兼容 API 服务器、容器支持及 Kubernetes 插件。

团队如何在部署前评估硬件?

全球团队可申请专用 NXT RNGD 裸机服务器或 OpenAI 兼容 API 端点,评估性能、延迟、功耗及应用兼容性。访问需申请,不是无条件免费套餐。

网站上有定价信息吗?

官网未公开价格。请联系 FuriosaAI 咨询硬件配置与报价。

快速信息

类别
AI 加速器 / 推理硬件
主要产品
RNGD PCIe 和 NXT RNGD Server
架构
Tensor Contraction Processor(TCP)
主要用户
企业和云端推理团队
部署
本地部署、托管环境、colocation 和风冷数据中心
来源域名
furiosa.ai

FuriosaAI 流量分析

流量数据仅供参考。

域名评分
55

FuriosaAI 替代品

Baseten logo

Baseten

baseten.co

用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台,支持托管云、自托管、混合及专用部署。

Runpod logo

Runpod

runpod.io

Runpod 将 GPU Pod、自动扩缩容的无服务器推理和多节点集群整合到一个云平台,帮助开发团队完成模型开发、微调、部署及批处理工作负载。

SambaNova logo

SambaNova

sambanova.ai

面向开发者、企业和基础设施运营者的 AI 推理平台,支持运行大型开源模型和智能体工作负载,并适用于云端、本地、混合及隔离环境。

Inference.net logo

Inference.net

inference.net

面向生产环境 AI 工作负载的基础设施,支持运行、监控、评估、训练和部署,帮助团队通过互联工作流提升成本、延迟、可靠性与质量。

Chutes logo

Chutes

chutes.ai

Chutes 是面向开源模型的去中心化无服务器推理平台。开发者可通过 API 调用托管模型,也可在机密 GPU 算力上部署私有自定义工作负载。

FriendliAI logo

FriendliAI

friendli.ai

面向生产环境部署前沿开放权重模型和自定义 AI 模型的推理云,提供无服务器模型 API、专用 GPU 端点及 BYOG 选项,支持智能体、多模态和高吞吐工作负载。