面向现代工作负载的推理加速器
RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器,支持 LLM 和多模态部署。
FuriosaAI 为数据中心推理设计 AI 加速器,其中 RNGD 是其旗舰产品,NXT RNGD Server 则是打包式部署选项。公司将硬件定位于面向计算机视觉、生成式 AI、LLM 和 agentic 工作负载的高性能、低功耗执行。
该产品线以 Tensor Contraction Processor 架构为核心,FuriosaAI 将其描述为一种针对张量收缩优化的软硬件结合方案。网站强调可部署于企业与云环境,包括风冷数据中心、本地部署、托管环境和 colocation 机房,并由支持编译、优化和生产上线的软件栈提供支撑。
RNGD 被定位为 FuriosaAI 面向企业和云端推理的旗舰加速器,支持 LLM 和多模态部署。
该平台采用 Tensor Contraction Processor 架构,FuriosaAI 表示其围绕张量收缩构建,而非固定的 matmul 原语。
RNGD 的功耗配置为 180W,NXT RNGD Server 面向风冷数据中心,目标功耗为 3 kW。
Furiosa Software 提供用于 LLM 推理和 agentic 工作负载的编译、优化与生产部署工作流。
来源提到 PyTorch 2.x 集成,以及容器化、SR-IOV、Kubernetes 和其他云原生组件。
RNGD 支持面向 LLM 的 PCIe P2P、BF16/FP8/INT8/INT4、多实例与虚拟化功能,以及安全启动和模型加密。
在数据中心中运行高吞吐量 LLM 推理,适用于功耗密度和机架利用率至关重要的场景,并以 RNGD 或 NXT RNGD Server 作为部署目标。
在云端或企业环境中部署多模态模型,适用于网站强调低延迟执行和可直接用于生产的软件支持的场景。
在正式生产部署前,通过 Furiosa Access Program 对加速器进行评估、集成和验证。
使用 NXT RNGD Server,将推理封装为适用于本地部署、托管或 colocation 环境的风冷一体机。
借助 Furiosa 软件栈,结合 PyTorch 2.x 和云原生工具,对模型进行编译、优化并交付。
FuriosaAI 将 RNGD 定位为面向企业和云端推理的 AI 加速器。来源描述其支持高性能 LLM 和多模态部署能力,而 NXT RNGD Server 则是面向 agentic 系统的 3 kW 推理一体机。
来源说明 Furiosa Software 提供一套面向 LLM 推理和 agentic 工作负载的工具链,覆盖从编译、优化到生产部署。它还提到支持 PyTorch 2.x 集成,以及容器化、SR-IOV 和 Kubernetes。
Furiosa Access Program 被描述为客户和合作伙伴评估、集成、验证并部署 Furiosa 加速器的结构化路径。它可通过线上和线下方式在全球范围内使用。
来源没有显示公开定价。定价 URL 返回的是未找到页面,因此商业包装似乎需要直接联系或通过其他销售路径获取,而不是在网站上自助查看价格。
流量数据仅供参考。
www.ibm.com
IBM watsonx.ai is an enterprise AI development studio for building predictive, prescriptive, and generative AI solutions. It supports AI builders, data scientists, and developers across model development, customization, retrieval-augmented generation, deployment, and lifecycle management.
together.ai
Together AI 是一个支持推理、微调、GPU 集群、沙盒和托管存储的 AI 云平台。
www.bentoml.com
Bento is an inference platform for packaging, deploying, optimizing, and operating AI and machine-learning models at scale. It supports open and custom models across cloud, on-premises, Kubernetes, and bring-your-own-cloud environments.
prodia.com
Prodia is a multi-silicon inference platform focused on video generation. It develops AI model implementations across different hardware to balance cost, output quality, and performance.
digitalocean.com
面向 AI 原生的云平台,用于构建、部署和扩展生产级 AI 应用。
www.byteplus.com
ModelArk is BytePlus's one-stop large language model service platform for organizations building, deploying, and scaling AI applications. It is positioned within BytePlus's broader AI-native cloud portfolio.