Directorio comunitario de benchmarks
Consulta resultados enviados de rendimiento de IA local en 526 envíos, 36 modelos, 16 chips y 8 colaboradores, según los totales mostrados en el sitio.
ComputeArena
Freemium
Directorio comunitario de benchmarks para medir el rendimiento de modelos de IA locales en distintos chips, cuantizaciones y entornos de ejecución.
¿Qué es ComputeArena?
ComputeArena es un directorio comunitario de benchmarks para la inferencia de IA local. Recopila informes de benchmarks firmados, generados en hardware de la comunidad, y los organiza por modelo, cuantización, chip, entorno de ejecución y backend.
El servicio informa del rendimiento de decode y prefill en tokens por segundo. Su clasificación se centra en las cargas de trabajo compatibles de prefill PP512 y decode TG128, con filtros por modelo, entorno de ejecución, cuantización, chip, tamaño de prefill y métrica de clasificación. Los informes no estándar y antiguos siguen disponibles en las vistas de modelo, chip y perfil.
Los usuarios pueden contribuir desde macOS o Linux mediante la CLI de ComputeArena. El flujo ejecuta benchmarks sin conexión con BaseRT o llama.cpp, conserva los informes en el equipo local hasta su revisión y solo requiere iniciar sesión al enviar determinados resultados. Una vista de comparación permite analizar lado a lado chips, entornos de ejecución o versiones de estos mediante pares de benchmarks equivalentes cuando están disponibles.
¿Qué puede hacer ComputeArena?
Mediciones de decode y prefill
Examina resultados en tokens por segundo tanto para el decode de generación como para el prefill del prompt, con cargas medidas como TG128 y PP512 mostradas junto a los valores.
Clasificación multidimensional
Filtra y clasifica configuraciones compatibles por modelo, entorno de ejecución, cuantización, chip, tamaño de prefill y rendimiento de decode o prefill.
Flujo de trabajo de CLI sin conexión
Instala la CLI de ComputeArena en macOS o Linux, selecciona BaseRT o llama.cpp, ejecuta benchmarks sin conexión y revisa los informes guardados antes de compartirlos.
Comparaciones equivalentes
Compara dos chips, entornos de ejecución o versiones de estos mediante pares equivalentes, mientras la interfaz señala las diferencias en las condiciones del benchmark y los campos del protocolo.
Detalles del entorno de ejecución y el hardware
Los resultados muestran versiones del entorno de ejecución, backends como Metal, CUDA, BLAS, Vulkan o ROCm cuando se indican, además de la cuantización, el enfriamiento, el condicionamiento y el esquema del harness.
Casos de uso
“Evaluar hardware para inferencia local”
Usa los filtros de la clasificación para examinar cómo rinden un modelo y una cuantización en los chips disponibles antes de elegir una configuración de inferencia local.
“Comparar chips o entornos de ejecución”
Selecciona dos plataformas de hardware, entornos de ejecución o versiones de estos en Compare para revisar ejecuciones equivalentes y consultar los cocientes de decode y prefill junto con las condiciones subyacentes.
“Investigar las ventajas y desventajas de modelos y cuantizaciones”
Explora un modelo en distintas cuantizaciones y chips para distinguir los cambios en los pesos del modelo de las diferencias causadas por el hardware o el entorno de ejecución.
“Contribuir con mediciones reproducibles”
Ejecuta el benchmark de la CLI sin conexión en un equipo macOS o Linux, inspecciona el informe guardado y envía únicamente los resultados que quieras publicar.
Preguntas frecuentes
¿Qué mide ComputeArena?
Publica el rendimiento de inferencia de IA local, incluidas las tasas de tokens de decode y prefill. Los resultados están asociados a un modelo, una cuantización, un chip, un entorno de ejecución y las condiciones del benchmark indicadas.
¿Qué entornos de ejecución son compatibles?
El flujo documentado es compatible con BaseRT y llama.cpp. Los datos de comparación incluyen versiones del entorno de ejecución e información del backend cuando se indican esos campos.
¿Se pueden ejecutar benchmarks sin una cuenta o conexión de red?
Sí. El sitio indica que los benchmarks pueden ejecutarse sin conexión y que no se requiere una cuenta para ejecutarlos. Es necesario iniciar sesión cuando el usuario quiere enviar determinados informes guardados.
¿Qué son PP512 y TG128?
Son las etiquetas principales de carga de trabajo que utiliza la clasificación: PP512 representa un prefill de 512 tokens y TG128 representa una carga de trabajo de decode de 128 tokens. La carga medida se muestra con cada resultado.
¿Son estrictamente equivalentes todas las comparaciones?
No. ComputeArena identifica pares equivalentes, pero las comparaciones aún pueden diferir en modelos, cuantizaciones, versiones del entorno de ejecución, backends, enfriamiento, condicionamiento, detalles de la carga de trabajo o esquema del harness. La vista Compare muestra estas diferencias y advierte que los cocientes pueden reflejar el protocolo, no el rendimiento del chip.
Datos rápidos
- Categoría
- Benchmarking de IA y herramienta para desarrolladores
- Plataformas
- macOS y Linux
- Entornos de ejecución
- BaseRT y llama.cpp
- Flujo de trabajo
- Instalar la CLI, ejecutar sin conexión, revisar los informes y después enviarlos de forma selectiva
- Cobertura mostrada
- 526 envíos, 36 modelos, 16 chips y 8 colaboradores
- Sitio web
- computearena.ai
Análisis de tráfico de ComputeArena
Los datos de tráfico son solo como referencia.
- Valoración del dominio
- 3
Alternativas a ComputeArena
Oqoqo
oqoqo.ai
Plataforma de evaluación para ejecutar experimentos repetibles con agentes en entornos realistas y aislados. Permite crear benchmarks privados, comparar agentes y modelos e investigar por qué los flujos de trabajo tienen éxito o fallan.
Artificial Analysis
artificialanalysis.ai
Plataforma independiente de evaluación y análisis de IA para comparar modelos, proveedores de inferencia y hardware, con planes Pro y Enterprise y una API gratuita con datos de benchmarks y límites de uso.
micro1
micro1.ai
micro1 combina software y expertos de dominio para crear conjuntos de datos de entrenamiento y evaluar el comportamiento de modelos y agentes para equipos de IA.
Horizon
labelbox.com
Producto de entornos RL de Labelbox para posentrenamiento y evaluación de tareas de IA de largo alcance.
Outlier AI
outlier.ai
Plataforma remota de formación de IA que conecta a expertos freelance con proyectos flexibles para mejorar modelos mediante prompts, evaluaciones, rúbricas y otros comentarios humanos, con pagos semanales.