Acelerador de inferencia para cargas de trabajo modernas
RNGD se presenta como el acelerador insignia de FuriosaAI para inferencia empresarial y en la nube, con compatibilidad para la implementación de LLM y modelos multimodales.
FuriosaAI
Aceleradores de IA y hardware para inferencia empresarial, con optimización para LLM, modelos multimodales y cargas de trabajo exigentes en centros de datos.
¿Qué es FuriosaAI?
FuriosaAI diseña aceleradores de IA para inferencia en centros de datos, con RNGD como su producto insignia y NXT RNGD Server como opción de implementación empaquetada. La empresa presenta el hardware como una solución para ejecutar cargas de trabajo de visión por computadora, IA generativa, LLM y sistemas agénticos con alto rendimiento y eficiencia energética.
La familia de productos se centra en la arquitectura Tensor Contraction Processor, que FuriosaAI describe como un enfoque de hardware y software optimizado para la contracción de tensores. El sitio destaca la implementación en entornos empresariales y de nube, incluidos centros de datos con refrigeración por aire, instalaciones locales, entornos gestionados y centros de coubicación, respaldada por una pila de software para compilación, optimización y puesta en producción.
¿Qué puede hacer FuriosaAI?
Arquitectura centrada en la contracción de tensores
La plataforma utiliza la arquitectura Tensor Contraction Processor, que FuriosaAI describe como diseñada en torno a la contracción de tensores en lugar de primitivas matmul fijas.
Opciones de implementación eficientes en consumo energético
RNGD se describe con un perfil de consumo de 180 W, mientras que NXT RNGD Server tiene un objetivo de consumo de 3 kW para centros de datos con refrigeración por aire.
Cadena de herramientas de software para inferencia
Furiosa Software proporciona flujos de trabajo de compilación, optimización e implementación en producción para inferencia de LLM y cargas de trabajo agénticas.
Compatibilidad con la nube nativa y frameworks
Furiosa ofrece compilación, cuantización, ejecución y herramientas para servir LLM, con integración de torch.compile, interfaces compatibles con vLLM, un servidor API compatible con OpenAI, contenedores y complementos de Kubernetes.
Funciones de implementación empresarial
RNGD admite operaciones BF16, FP8, INT8 e INT4. Sus especificaciones incluyen SR-IOV con hasta ocho instancias virtuales, memoria ECC y arranque seguro con raíz de confianza de hardware. La compatibilidad aritmética no implica que todos los modos de cuantización estén disponibles en cada versión del SDK.
Casos de uso
“Inferencia empresarial de LLM”
Ejecuta inferencia de LLM de alto rendimiento en centros de datos donde la densidad energética y el aprovechamiento de los racks son importantes, utilizando RNGD o NXT RNGD Server como destino de implementación.
“Servicio de modelos multimodales”
Implementa modelos multimodales en entornos empresariales o de nube donde el sitio destaca la ejecución de baja latencia y la compatibilidad con software listo para producción.
“Evaluación de hardware y planificación de la implementación”
Evalúa, integra y califica aceleradores mediante el Furiosa Access Program antes de pasar a la implementación en producción.
“Implementación en dispositivos con refrigeración por aire”
Empaqueta la inferencia en un dispositivo con refrigeración por aire para entornos locales, gestionados o de coubicación mediante NXT RNGD Server.
“Implementación en producción guiada por el compilador”
Utiliza la pila de software de FuriosaAI para compilar, optimizar y poner modelos en producción con PyTorch 2.x y herramientas de nube nativa.
Preguntas frecuentes
¿Para qué se utiliza RNGD?
FuriosaAI presenta RNGD como un acelerador de IA para inferencia empresarial y en la nube. La fuente describe su compatibilidad con capacidades de implementación de LLM y modelos multimodales de alto rendimiento, y presenta NXT RNGD Server como un dispositivo de inferencia de 3 kW para sistemas agénticos.
¿Qué compatibilidad de software está disponible para la implementación?
Furiosa ofrece compilación, cuantización, ejecución y herramientas para servir LLM, con integración de torch.compile, interfaces compatibles con vLLM, un servidor API compatible con OpenAI, contenedores y complementos de Kubernetes.
¿Cómo pueden los equipos evaluar el hardware antes de implementarlo?
Los equipos de todo el mundo pueden solicitar un servidor NXT RNGD dedicado o un endpoint API compatible con OpenAI para evaluar rendimiento, latencia, consumo y compatibilidad. El acceso se solicita; no es un plan gratuito sin restricciones.
¿El sitio web muestra los precios?
Los precios no se publican. Contacta con FuriosaAI para solicitar una configuración y un presupuesto.
Datos rápidos
- Categoría
- Aceleradores de IA / hardware de inferencia
- Productos principales
- RNGD PCIe y NXT RNGD Server
- Arquitectura
- Tensor Contraction Processor (TCP)
- Usuarios principales
- Equipos de inferencia empresarial y en la nube
- Implementación
- Instalaciones locales, entornos gestionados, coubicación y centros de datos con refrigeración por aire
- Dominio de la fuente
- furiosa.ai
Análisis de tráfico de FuriosaAI
Los datos de tráfico son solo como referencia.
- Valoración del dominio
- 55
Alternativas a FuriosaAI
Cloudera
cloudera.com
Cloudera es una plataforma empresarial de datos e IA para trabajar con cargas de trabajo en nubes públicas, centros de datos y el borde. Reúne ingeniería de datos, analítica y servicios de IA con seguridad y gobernanza compartidas.
Hyperstack
www.hyperstack.cloud
Plataforma de GPU en la nube para ejecutar cargas de trabajo de IA y aprendizaje automático, con entrenamiento, inferencia, análisis de datos y desarrollo de modelos.
SambaNova
sambanova.ai
Plataforma de inferencia de IA para ejecutar modelos abiertos de gran tamaño y cargas de trabajo con agentes, en la nube o en infraestructura propia.
Runpod
runpod.io
Infraestructura en la nube con GPU para que los equipos de IA desarrollen y ajusten modelos, ejecuten inferencias con escalado automático y procesen cargas de trabajo por lotes.
Prodia
prodia.com
Plataforma de inferencia multisilicio para generación de vídeo, con implementaciones de modelos de IA en distintos entornos de hardware para equilibrar coste, calidad y rendimiento.
NVIDIA NIM APIs
build.nvidia.com
NVIDIA NIM APIs es una plataforma para explorar y usar endpoints de modelos y crear aplicaciones empresariales de IA generativa. También ofrece blueprints y guías específicas para cada dispositivo, desde la selección del modelo hasta los flujos de trabajo de las aplicaciones.