Plataforma de observabilidad de LLM de código abierto, basada en OpenTelemetry, para supervisar, rastrear y evaluar aplicaciones de IA. Gratuita para alojar por cuenta propia y diseñada para instrumentar aplicaciones con cambios mínimos de código.
OpenLIT es una plataforma de código abierto para la ingeniería de IA, centrada en la observabilidad, el rastreo y la evaluación de LLM. Está basada en OpenTelemetry y orientada a cargas de trabajo de producción que necesitan supervisión en aplicaciones de IA, prompts, modelos y la infraestructura circundante.
El producto está diseñado para funcionar con aplicaciones existentes basadas en SDK y con pilas de observabilidad. La página de inicio destaca una configuración rápida con unas pocas líneas de código, mientras que la página de precios indica que la edición autogestionada cuenta con licencia Apache 2.0, es gratuita para siempre y está disponible sin límites de uso ni claves de licencia.
Supervisa y rastrea aplicaciones de LLM en tiempo real mediante el rastreo distribuido basado en OpenTelemetry. El sitio indica que esto ayuda a visualizar los flujos de solicitudes, identificar cuellos de botella y seguir el ciclo de vida de cada interacción de IA.
Ejecuta evaluaciones en línea y sin conexión desde la interfaz de usuario o mediante SDK. La propuesta del producto vincula la evaluación con prompts, modelos y pruebas integrales de aplicaciones.
Gestiona prompts de forma centralizada con control de versiones y controles de despliegue. OpenLIT lo presenta como una forma de experimentar con variaciones de prompts y hacer un seguimiento de su rendimiento a lo largo del tiempo.
Inspecciona la telemetría en todos los despliegues mediante paneles en tiempo real y consultas SQL personalizadas. La página de inicio también menciona widgets y diseños configurables para visualizar datos de OpenTelemetry.
Gestiona varios despliegues desde una sola vista. OpenLIT describe Fleet Hub como una forma de comparar métricas de rendimiento entre entornos y coordinar una flota de IA desde un único panel.
Realiza un seguimiento de las señales de infraestructura junto con la actividad de LLM, incluida la supervisión de GPU, el rastreo de bases de datos vectoriales, el uso de tokens y el seguimiento de costes. La página de precios también menciona exportaciones a Grafana, Datadog y cualquier backend OTLP.
Instrumenta una aplicación de LLM existente directamente en el SDK y captura trazas, uso de tokens y datos de costes sin dirigir el tráfico a través de un proxy. Esto es adecuado para equipos que quieren observabilidad con cambios mínimos de código y sin latencia adicional de proxy.
Ejecuta experimentos con prompts y modelos desde la interfaz de usuario o mediante SDK y, después, usa evaluaciones para comparar resultados e iterar sobre el comportamiento de la aplicación. OpenLIT también incluye control de versiones de prompts para que los equipos puedan hacer un seguimiento de los cambios a lo largo del tiempo.
Supervisa infraestructura de IA autogestionada o distribuida en la que importan la utilización de GPU, la VRAM, la temperatura y el consumo de energía. Las páginas comparativas destacan específicamente la supervisión de GPU NVIDIA y AMD y el rastreo de bases de datos vectoriales.
Gestiona varios despliegues de IA desde un único panel y compara el rendimiento entre entornos. Fleet Hub se presenta como una vista de múltiples despliegues para equipos que operan más de una aplicación o entorno.
Exporta telemetría a herramientas de observabilidad existentes como Grafana, Datadog o cualquier backend compatible con OTLP. Esto es adecuado para equipos que ya cuentan con una pila de supervisión estándar y quieren mantener allí el flujo de datos.
Sí. OpenLIT cuenta con licencia Apache 2.0 y es gratuito para alojarlo por cuenta propia, sin límites de uso, restricciones de funciones ni necesidad de una clave de licencia.
La página de precios indica que Docker y Docker Compose son suficientes para alojarlo por cuenta propia. También señala que puedes ejecutar `docker compose up -d` en el repositorio para iniciar la pila completa, incluida la interfaz de usuario, el almacenamiento de ClickHouse y OpenTelemetry Collector.
Sí. OpenLIT es nativo de OpenTelemetry y puede exportar a backends compatibles con OTLP, como Grafana, Datadog, New Relic, SigNoz y Jaeger.
Sí. La página de precios indica que las métricas de GPU se pueden habilitar con `openlit.init(collect_gpu_stats=True)` y que OpenLIT recopila la utilización, el uso de VRAM, la temperatura y el consumo de energía de GPU NVIDIA y AMD.
Se indica que un servicio en la nube administrado estará disponible próximamente. La página señala que el nivel Cloud está en desarrollo e invita a los usuarios a unirse a la lista de espera escribiendo a [email protected].
Los datos de tráfico son solo como referencia.
braintrust.dev
Plataforma de observabilidad de IA para rastrear el comportamiento en producción, evaluar modelos y detectar regresiones antes de que lleguen a los usuarios.
whylabs.ai
Plataforma de observabilidad de IA y proyecto de código abierto para registro con preservación de la privacidad, monitorización de IA y seguridad de LLM.
lunary.ai
Plataforma de observabilidad y gestión de prompts para aplicaciones basadas en modelos de lenguaje (LLM). Ayuda a los equipos a supervisar, mejorar y proteger chatbots, agentes y otros flujos de trabajo con LLM.
apipark.com
Portal empresarial de desarrolladores de API y gateway de IA de código abierto para gestionar API, modelos, tráfico, observabilidad y uso de LLM en producción.
confident-ai.com
Plataforma de calidad de IA para rastrear, probar, supervisar y mejorar sistemas de inteligencia artificial.
openlayer.com
Plataforma de gobernanza y observabilidad de IA para probar, supervisar y controlar sistemas de ML y LLM.
