Inferencia y cuantización en la CPU
Ejecuta la inferencia en la CPU y se adapta a los hilos disponibles. Las opciones de cuantización GGML compatibles incluyen q4, 5.1, 8 y f16.
Local AI Playground
Freemium
Aplicación de escritorio de código abierto para gestionar, verificar y ejecutar modelos de IA localmente y sin conexión. Permite probar modelos en la CPU y conectarlos a otras aplicaciones mediante un servidor local.
¿Qué es Local AI Playground?
Local AI Playground es una aplicación de escritorio gratuita y de código abierto para experimentar con modelos de IA sin conexión y de forma privada. Reúne en una sola interfaz la gestión de modelos, la verificación de descargas y la inferencia local, con ejecución en la CPU que no requiere GPU.
La aplicación ofrece una interfaz de inferencia rápida para probar modelos y un servidor local de streaming para conectarlos a otras aplicaciones de IA. Su backend en Rust está diseñado para una aplicación nativa compacta y eficiente en el uso de la memoria.
¿Qué puede hacer Local AI Playground?
Gestión centralizada de modelos
Registra los modelos en un directorio de tu elección y los ordena por uso, lo que ayuda a organizar una colección local.
Descargas de modelos reanudables
Ofrece un descargador simultáneo con compatibilidad para reanudar descargas, de modo que varias descargas de modelos puedan realizarse a la vez y las transferencias interrumpidas puedan continuar.
Comprobaciones de integridad de modelos
Calcula resúmenes BLAKE3 y SHA256, y ofrece una comprobación rápida de BLAKE3. Una API de modelos verificados, tarjetas de información de modelos y etiquetas de licencia y uso ayudan a inspeccionar los modelos.
Servidor local de streaming
Inicia un servidor de inferencia en dos pasos: carga un modelo y, después, inicia el servidor. El sitio web demuestra cómo usarlo con window.ai para impulsar otra aplicación de IA.
Interfaz de inferencia rápida
Ofrece una interfaz para probar la inferencia, configurar sus parámetros y escribir el resultado en archivos .mdx. También se indica la compatibilidad con vocabulario remoto.
Casos de uso
“Probar modelos sin conexión a la nube”
Experimenta sin conexión con un modelo descargado mediante la interfaz de inferencia rápida. Es adecuada para pruebas locales cuando es importante mantener el flujo de inferencia en tu ordenador.
“Preparar una colección de modelos para experimentar”
Descarga varios modelos, consulta su información y etiquetas de licencia, y verifica los resúmenes de los archivos antes de elegir qué modelo cargar.
“Conectar una aplicación de IA a un modelo local”
Carga un modelo e inicia el servidor de streaming para proporcionar inferencia a otra aplicación de IA, incluido el flujo de trabajo con window.ai que se muestra en el sitio web.
Preguntas frecuentes
¿Qué sistemas operativos son compatibles?
El sitio web ofrece descargas de Windows en formatos .MSI y .EXE, descargas de macOS para equipos M1/M2 e Intel, y paquetes AppImage y .deb para Linux.
¿Es compatible con la inferencia mediante GPU?
La capacidad de inferencia disponible indicada utiliza la CPU. La inferencia mediante GPU y las sesiones paralelas figuran como funciones futuras.
¿Puede generar audio o imágenes?
El sitio web incluye /audio y /image como funciones futuras del servidor, no como capacidades disponibles.
¿La gestión de modelos incluye búsquedas?
El ordenamiento por uso y la selección de directorio están disponibles. El ordenamiento y la búsqueda personalizados, los directorios anidados y la exploración y las recomendaciones de modelos figuran como funciones futuras.
Datos rápidos
- Tipo de producto
- Aplicación de escritorio nativa para experimentar con IA local
- Disponibilidad
- Gratuita y de código abierto
- Plataformas
- Windows, macOS y Linux
- Backend
- Rust
- Sitio web oficial
- https://localai.app
Análisis de tráfico de Local AI Playground
Los datos de tráfico son solo como referencia.
- Valoración del dominio
- 27
Alternativas a Local AI Playground
Baseten
baseten.co
Plataforma de inferencia para desplegar, servir y escalar modelos de IA de código abierto, personalizados y ajustados para producción.
Parasail
parasail.io
Parasail es una nube de inferencia para startups de IA nativa que ofrece acceso a modelos abiertos y de frontera mediante una API compatible con OpenAI, con opciones de implementación sin servidor, elástica, dedicada y por lotes.
ComfyICU
comfy.icu
Plataforma en la nube gestionada para ejecutar, compartir y desplegar flujos de trabajo de ComfyUI, con GPU sin servidor, espacios de trabajo para equipos y API REST, sin gestionar infraestructura de GPU.
SambaNova Cloud
cloud.sambanova.ai
Plataforma de inferencia de IA con acceso mediante API a modelos de lenguaje y visión de código abierto, API compatible con OpenAI, entorno de pruebas y catálogo de modelos.
NVIDIA NIM APIs
build.nvidia.com
NVIDIA NIM APIs es una plataforma para explorar y usar endpoints de modelos y crear aplicaciones empresariales de IA generativa. También ofrece blueprints y guías específicas para cada dispositivo, desde la selección del modelo hasta los flujos de trabajo de las aplicaciones.
SambaNova
sambanova.ai
Plataforma de inferencia de IA para ejecutar modelos abiertos de gran tamaño y cargas de trabajo con agentes, en la nube o en infraestructura propia.