Rastreo de LLM y agentes
Captura trazas jerárquicas de llamadas a LLM, invocaciones de herramientas, pasos de recuperación y otra lógica de la aplicación. Filtra e inspecciona trazas por usuario, sesión, coste, latencia o metadatos personalizados.
Langfuse
Freemium
Plataforma de ingeniería de IA de código abierto para rastrear, evaluar y mejorar aplicaciones y agentes basados en modelos de lenguaje (LLM).
¿Qué es Langfuse?
Langfuse es una plataforma de IA de código abierto para rastrear, evaluar y mejorar aplicaciones y agentes basados en modelos de lenguaje (LLM), con observabilidad, gestión de prompts, experimentos y revisión humana.
La plataforma se basa en el rastreo compatible con OpenTelemetry, SDK nativos e integraciones amplias, lo que permite a los equipos capturar actividad de LLM y no relacionada con LLM sin depender de un único framework. Langfuse también admite implementaciones en la nube y autohospedaje, y el producto y sus funciones principales están disponibles bajo una licencia MIT.
¿Qué puede hacer Langfuse?
Sesiones, usuarios y grafos de agentes
Registra conversaciones de varios turnos como sesiones y añade el seguimiento de usuarios para la depuración en producción y el análisis del uso. Los agentes también pueden representarse como grafos para flujos de trabajo más complejos.
Flujo de trabajo para la gestión de prompts
Gestiona los prompts por separado del código de la aplicación con control de versiones, implementaciones por etiqueta, reversiones, almacenamiento en caché de prompts y pruebas en el playground. El historial de prompts y el seguimiento de cambios ayudan a los equipos a revisar su evolución.
Evaluación y revisión humana
Ejecuta evaluaciones con LLM como juez, funciones heurísticas o revisión humana sobre datos de producción o experimentos. La compatibilidad con conjuntos de datos, experimentos, puntuaciones de evaluación y anotación humana ayuda a comparar cambios a lo largo del tiempo.
Métricas operativas y alertas
Supervisa la calidad, el coste y la latencia mediante paneles, alertas y métricas vinculadas a trazas. Esto facilita comprender el impacto de los cambios en prompts o modelos sobre el comportamiento en producción.
Integraciones abiertas y opciones de implementación
Conecta mediante SDK nativos, OpenTelemetry, registro basado en proxy, API, exportaciones y más de 100 integraciones. La plataforma también admite autohospedaje y portabilidad de datos.
Casos de uso
“Observabilidad en producción”
Instrumenta aplicaciones de LLM en producción para inspeccionar trazas, sesiones y comportamiento a nivel de usuario al depurar problemas de latencia, aumentos repentinos de costes o resultados inesperados.
“Iteración de prompts”
Gestiona los prompts como recursos versionados, impleméntalos por etiqueta, revierte cambios y compara variantes en el playground antes de publicar actualizaciones.
“Flujos de trabajo de evaluación”
Ejecuta evaluaciones offline u online sobre conjuntos de datos y, después, compara experimentos con LLM como juez, heurísticas o revisión humana para evaluar cambios en la calidad.
“Revisión con intervención humana”
Crea colas de anotación humana y revisa trazas para crear conjuntos de datos de referencia o validar el comportamiento de los modelos con colaboradores.
“Desarrollo de LLM de extremo a extremo”
Usa la misma plataforma en prototipos y sistemas de producción para conectar la instrumentación, la experimentación y la iteración en un único flujo de trabajo.
Preguntas frecuentes
¿Qué problema resuelve Langfuse?
Langfuse está diseñado para equipos que quieren rastrear flujos de trabajo de LLM y agentes, gestionar prompts y evaluar resultados en un único sistema. Admite rastreo, gestión de prompts, evaluación, experimentos y anotación humana.
¿Cómo integran los equipos Langfuse?
La fuente destaca SDK nativos para Python y JavaScript, compatibilidad con OpenTelemetry, más de 100 integraciones y opciones para capturar trazas mediante una pasarela de LLM como LiteLLM. El producto está diseñado para funcionar con las pilas existentes, sin exigir un único framework.
¿Qué pueden hacer los equipos después de recopilar los datos?
Langfuse admite trazas, sesiones, seguimiento de usuarios, control de versiones de prompts, implementaciones de prompts, pruebas en el playground, experimentos, puntuaciones de evaluación, conjuntos de datos y flujos de revisión humana. La documentación lo describe como un flujo conectado desde el prototipo hasta la producción.
¿Langfuse ofrece implementaciones tanto en la nube como autohospedadas?
La página de precios muestra un plan Hobby gratuito, planes Cloud de pago y una opción autohospedada. También incluye planes de nube administrada con mayor retención, límites más altos y funciones empresariales como SSO, SCIM, registros de auditoría y opciones de soporte.
¿Para quién es más adecuado Langfuse?
El producto está diseñado para aplicaciones y agentes basados en LLM. La documentación hace hincapié en el rastreo de llamadas de LLM y no relacionadas con LLM, la depuración en producción, la iteración de prompts y la supervisión de la calidad, el coste y la latencia.
Datos rápidos
- Categoría
- Plataforma de ingeniería de IA
- Uso principal
- Observabilidad de LLM, gestión de prompts y evaluación
- Implementación
- En la nube o autohospedada
- Licencia
- MIT para las funciones principales del producto
- Integraciones
- Más de 100 integraciones y compatibilidad con OpenTelemetry
- Precios
- Plan Hobby gratuito, además de planes de nube de pago y opción autohospedada
Análisis de tráfico de Langfuse
Los datos de tráfico son solo como referencia.
- Valoración del dominio
- 80
Alternativas a Langfuse
Future AGI
futureagi.com
Plataforma para evaluar, simular y supervisar agentes de IA. Los equipos pueden probar conversaciones, aplicar controles en tiempo de ejecución e investigar fallos en producción.
Hamming AI
hamming.ai
Plataforma de control de calidad para probar agentes de voz y chat antes del lanzamiento, evaluar su seguridad y supervisar su funcionamiento en conversaciones reales.
Waydev
waydev.co
Plataforma de inteligencia de ingeniería que mide la adopción de la IA, rastrea su impacto desde el código hasta producción y cuantifica el ROI para equipos de software.
Ito
ito.ai
Ito es una solución automatizada de QA que audita pull requests con agentes capaces de analizar código para ayudar a los equipos de ingeniería ágiles a detectar regresiones y problemas de usabilidad sin mantener scripts de pruebas manuales.
Weights & Biases
wandb.ai
Plataforma de machine learning e IA para seguimiento de experimentos, gestión de artefactos, trazabilidad de GenAI y evaluación de aplicaciones de IA, con opciones de implementación alojada, dedicada y autogestionada.
New Relic
newrelic.com
Plataforma de observabilidad impulsada por IA que correlaciona la telemetría de aplicaciones, infraestructura, registros, experiencias digitales y sistemas de IA para ayudar a identificar la causa raíz y comprender el impacto empresarial.