# FuriosaAI Aceleradores de IA y hardware para inferencia empresarial, con optimización para LLM, modelos multimodales y cargas de trabajo exigentes en centros de datos. - Findings24: - Sitio web: - Categorías: Plataformas de inferencia de IA, Despliegue de modelos de IA ## ¿Qué es FuriosaAI? FuriosaAI diseña aceleradores de IA para inferencia en centros de datos, con RNGD como su producto insignia y NXT RNGD Server como opción de implementación empaquetada. La empresa presenta el hardware como una solución para ejecutar cargas de trabajo de visión por computadora, IA generativa, LLM y sistemas agénticos con alto rendimiento y eficiencia energética. La familia de productos se centra en la arquitectura Tensor Contraction Processor, que FuriosaAI describe como un enfoque de hardware y software optimizado para la contracción de tensores. El sitio destaca la implementación en entornos empresariales y de nube, incluidos centros de datos con refrigeración por aire, instalaciones locales, entornos gestionados y centros de coubicación, respaldada por una pila de software para compilación, optimización y puesta en producción. ## ¿Qué puede hacer FuriosaAI? ### Acelerador de inferencia para cargas de trabajo modernas RNGD se presenta como el acelerador insignia de FuriosaAI para inferencia empresarial y en la nube, con compatibilidad para la implementación de LLM y modelos multimodales. ### Arquitectura centrada en la contracción de tensores La plataforma utiliza la arquitectura Tensor Contraction Processor, que FuriosaAI describe como diseñada en torno a la contracción de tensores en lugar de primitivas matmul fijas. ### Opciones de implementación eficientes en consumo energético RNGD se describe con un perfil de consumo de 180 W, mientras que NXT RNGD Server tiene un objetivo de consumo de 3 kW para centros de datos con refrigeración por aire. ### Cadena de herramientas de software para inferencia Furiosa Software proporciona flujos de trabajo de compilación, optimización e implementación en producción para inferencia de LLM y cargas de trabajo agénticas. ### Compatibilidad con la nube nativa y frameworks Furiosa ofrece compilación, cuantización, ejecución y herramientas para servir LLM, con integración de torch.compile, interfaces compatibles con vLLM, un servidor API compatible con OpenAI, contenedores y complementos de Kubernetes. ### Funciones de implementación empresarial RNGD admite operaciones BF16, FP8, INT8 e INT4. Sus especificaciones incluyen SR-IOV con hasta ocho instancias virtuales, memoria ECC y arranque seguro con raíz de confianza de hardware. La compatibilidad aritmética no implica que todos los modos de cuantización estén disponibles en cada versión del SDK. ## Casos de uso ### Inferencia empresarial de LLM Ejecuta inferencia de LLM de alto rendimiento en centros de datos donde la densidad energética y el aprovechamiento de los racks son importantes, utilizando RNGD o NXT RNGD Server como destino de implementación. ### Servicio de modelos multimodales Implementa modelos multimodales en entornos empresariales o de nube donde el sitio destaca la ejecución de baja latencia y la compatibilidad con software listo para producción. ### Evaluación de hardware y planificación de la implementación Evalúa, integra y califica aceleradores mediante el Furiosa Access Program antes de pasar a la implementación en producción. ### Implementación en dispositivos con refrigeración por aire Empaqueta la inferencia en un dispositivo con refrigeración por aire para entornos locales, gestionados o de coubicación mediante NXT RNGD Server. ### Implementación en producción guiada por el compilador Utiliza la pila de software de FuriosaAI para compilar, optimizar y poner modelos en producción con PyTorch 2.x y herramientas de nube nativa. ## Preguntas frecuentes ### ¿Para qué se utiliza RNGD? FuriosaAI presenta RNGD como un acelerador de IA para inferencia empresarial y en la nube. La fuente describe su compatibilidad con capacidades de implementación de LLM y modelos multimodales de alto rendimiento, y presenta NXT RNGD Server como un dispositivo de inferencia de 3 kW para sistemas agénticos. ### ¿Qué compatibilidad de software está disponible para la implementación? Furiosa ofrece compilación, cuantización, ejecución y herramientas para servir LLM, con integración de torch.compile, interfaces compatibles con vLLM, un servidor API compatible con OpenAI, contenedores y complementos de Kubernetes. ### ¿Cómo pueden los equipos evaluar el hardware antes de implementarlo? Los equipos de todo el mundo pueden solicitar un servidor NXT RNGD dedicado o un endpoint API compatible con OpenAI para evaluar rendimiento, latencia, consumo y compatibilidad. El acceso se solicita; no es un plan gratuito sin restricciones. ### ¿El sitio web muestra los precios? Los precios no se publican. Contacta con FuriosaAI para solicitar una configuración y un presupuesto. ## Datos rápidos - **Categoría**: Aceleradores de IA / hardware de inferencia - **Productos principales**: RNGD PCIe y NXT RNGD Server - **Arquitectura**: Tensor Contraction Processor (TCP) - **Usuarios principales**: Equipos de inferencia empresarial y en la nube - **Implementación**: Instalaciones locales, entornos gestionados, coubicación y centros de datos con refrigeración por aire - **Dominio de la fuente**: furiosa.ai