# OpenLIT Plataforma de observabilidad de LLM de código abierto, basada en OpenTelemetry, para supervisar, rastrear y evaluar aplicaciones de IA. Gratuita para alojar por cuenta propia y diseñada para instrumentar aplicaciones con cambios mínimos de código. - Findings24: - Sitio web: - Precios: Freemium - Categorías: Herramientas IA Dev, Centros de modelos de IA, Observabilidad de IA ## ¿Qué es OpenLIT? OpenLIT es una plataforma de código abierto para la ingeniería de IA, centrada en la observabilidad, el rastreo y la evaluación de LLM. Está basada en OpenTelemetry y orientada a cargas de trabajo de producción que necesitan supervisión en aplicaciones de IA, prompts, modelos y la infraestructura circundante. El producto está diseñado para funcionar con aplicaciones existentes basadas en SDK y con pilas de observabilidad. La página de inicio destaca una configuración rápida con unas pocas líneas de código, mientras que la página de precios indica que la edición autogestionada cuenta con licencia Apache 2.0, es gratuita para siempre y está disponible sin límites de uso ni claves de licencia. ## ¿Qué puede hacer OpenLIT? ### Rastreo distribuido Supervisa y rastrea aplicaciones de LLM en tiempo real mediante el rastreo distribuido basado en OpenTelemetry. El sitio indica que esto ayuda a visualizar los flujos de solicitudes, identificar cuellos de botella y seguir el ciclo de vida de cada interacción de IA. ### Evaluación de modelos de IA Ejecuta evaluaciones en línea y sin conexión desde la interfaz de usuario o mediante SDK. La propuesta del producto vincula la evaluación con prompts, modelos y pruebas integrales de aplicaciones. ### Gestión de prompts Gestiona prompts de forma centralizada con control de versiones y controles de despliegue. OpenLIT lo presenta como una forma de experimentar con variaciones de prompts y hacer un seguimiento de su rendimiento a lo largo del tiempo. ### Supervisión en tiempo real Inspecciona la telemetría en todos los despliegues mediante paneles en tiempo real y consultas SQL personalizadas. La página de inicio también menciona widgets y diseños configurables para visualizar datos de OpenTelemetry. ### Gestión de múltiples despliegues Gestiona varios despliegues desde una sola vista. OpenLIT describe Fleet Hub como una forma de comparar métricas de rendimiento entre entornos y coordinar una flota de IA desde un único panel. ### Observabilidad consciente de la infraestructura Realiza un seguimiento de las señales de infraestructura junto con la actividad de LLM, incluida la supervisión de GPU, el rastreo de bases de datos vectoriales, el uso de tokens y el seguimiento de costes. La página de precios también menciona exportaciones a Grafana, Datadog y cualquier backend OTLP. ## Casos de uso ### Añadir observabilidad a aplicaciones de LLM activas Instrumenta una aplicación de LLM existente directamente en el SDK y captura trazas, uso de tokens y datos de costes sin dirigir el tráfico a través de un proxy. Esto es adecuado para equipos que quieren observabilidad con cambios mínimos de código y sin latencia adicional de proxy. ### Probar prompts y modelos Ejecuta experimentos con prompts y modelos desde la interfaz de usuario o mediante SDK y, después, usa evaluaciones para comparar resultados e iterar sobre el comportamiento de la aplicación. OpenLIT también incluye control de versiones de prompts para que los equipos puedan hacer un seguimiento de los cambios a lo largo del tiempo. ### Observar cargas de trabajo de modelos e infraestructura Supervisa infraestructura de IA autogestionada o distribuida en la que importan la utilización de GPU, la VRAM, la temperatura y el consumo de energía. Las páginas comparativas destacan específicamente la supervisión de GPU NVIDIA y AMD y el rastreo de bases de datos vectoriales. ### Coordinar múltiples despliegues Gestiona varios despliegues de IA desde un único panel y compara el rendimiento entre entornos. Fleet Hub se presenta como una vista de múltiples despliegues para equipos que operan más de una aplicación o entorno. ### Integrarse en una pila de observabilidad existente Exporta telemetría a herramientas de observabilidad existentes como Grafana, Datadog o cualquier backend compatible con OTLP. Esto es adecuado para equipos que ya cuentan con una pila de supervisión estándar y quieren mantener allí el flujo de datos. ## Preguntas frecuentes ### ¿OpenLIT es realmente gratuito? Sí. OpenLIT cuenta con licencia Apache 2.0 y es gratuito para alojarlo por cuenta propia, sin límites de uso, restricciones de funciones ni necesidad de una clave de licencia. ### ¿Qué necesito para alojar OpenLIT por cuenta propia? La página de precios indica que Docker y Docker Compose son suficientes para alojarlo por cuenta propia. También señala que puedes ejecutar \`docker compose up -d\` en el repositorio para iniciar la pila completa, incluida la interfaz de usuario, el almacenamiento de ClickHouse y OpenTelemetry Collector. ### ¿Puede OpenLIT enviar datos a un backend de observabilidad existente? Sí. OpenLIT es nativo de OpenTelemetry y puede exportar a backends compatibles con OTLP, como Grafana, Datadog, New Relic, SigNoz y Jaeger. ### ¿OpenLIT admite la supervisión de GPU? Sí. La página de precios indica que las métricas de GPU se pueden habilitar con \`openlit.init(collect\_gpu\_stats=True)\` y que OpenLIT recopila la utilización, el uso de VRAM, la temperatura y el consumo de energía de GPU NVIDIA y AMD. ### ¿Hay una versión en la nube disponible? Se indica que un servicio en la nube administrado estará disponible próximamente. La página señala que el nivel Cloud está en desarrollo e invita a los usuarios a unirse a la lista de espera escribiendo a \[email protected\]. ## Datos rápidos - **Categoría**: Plataforma de observabilidad de IA - **Licencia**: Apache 2.0 - **Despliegue**: Autogestionado actualmente; opción administrada en la nube próximamente - **Usuarios principales**: Desarrolladores e ingenieros que crean aplicaciones de LLM - **Dominio de origen**: openlit.io - **Flujo de trabajo destacado**: Instrumentación del SDK en una línea o unas pocas líneas, más exportación mediante OpenTelemetry