Plataforma de observabilidad de IA para rastrear el comportamiento en producción, evaluar modelos y detectar regresiones antes de que lleguen a los usuarios.
Braintrust es una plataforma de observabilidad de IA para equipos que quieren rastrear el comportamiento en producción, evaluar la calidad de los modelos y detectar regresiones antes de que lleguen a los usuarios. El sitio la presenta como un sistema para comprender lo que realmente ocurrió en producción, en lugar de depender únicamente de pruebas sin conexión.
El producto combina inspección de trazas, evaluaciones, automatización y herramientas de flujo de trabajo. Los equipos pueden instrumentar aplicaciones, inspeccionar prompts y llamadas a herramientas, comparar modelos y prompts, crear conjuntos de datos a partir de fallos reales y usar señales de producción, como Topics, para orientar mejoras con el tiempo.
Consulta los prompts, las respuestas, las llamadas a herramientas, la latencia, el coste y los metadatos de solicitud de cada llamada de IA. La interfaz está diseñada para inspeccionar el comportamiento en producción y encontrar problemas a partir de trazas reales.
Ejecuta experimentos con conjuntos de datos y puntúa los resultados mediante LLM, código o personas. El producto presenta las evaluaciones como una forma de definir la calidad antes del lanzamiento y comparar prompts o modelos en paralelo.
Detecta patrones recurrentes en el tráfico real con Topics y conviértelos en evaluaciones o alertas. Tanto la información de precios como el contenido de la página de inicio describen Topics como una forma de clasificar y descubrir problemas específicos del dominio en los registros de producción.
Convierte las trazas de producción en conjuntos de datos para pruebas de regresión y crea flujos de revisión humana sin desarrollar código de frontend personalizado. El sitio también destaca los conjuntos de datos, los entornos de pruebas y las interfaces de anotación personalizadas.
Usa la CLI, los SDK y el servidor MCP para instrumentar aplicaciones, consultar registros, ejecutar evaluaciones y actualizar prompts desde herramientas de desarrollo. La documentación hace hincapié en una configuración repetible y en la creación de scripts para flujos de trabajo con agentes de programación.
Personaliza las vistas de trazas, los gráficos, los entornos y los controles de acceso a medida que crece tu equipo. La página de precios enumera vistas de tabla guardadas, columnas personalizadas, gráficos personalizados, entornos, RBAC, SSO, MFA y controles de retención de datos en los niveles superiores.
Instrumenta una aplicación de IA para que cada llamada escriba trazas en Braintrust y, después, inspecciona los prompts, los resultados, las llamadas a herramientas, los recuentos de tokens, la latencia y el coste en la vista Registros.
Crea evaluaciones a partir de conjuntos de datos reales, compara prompts y modelos en paralelo y puntúa los resultados mediante LLM, código o revisores humanos antes de publicar cambios.
Usa Topics para detectar patrones recurrentes en los registros de producción y convierte esos patrones en evaluaciones, controles de calidad o alertas cuando aparezcan nuevas regresiones.
Crea conjuntos de datos y flujos de revisión personalizados a partir de trazas reales para que los equipos puedan probar casos límite y revisar resultados en un flujo adaptado a su tarea.
Usa la CLI, los SDK o el servidor MCP para consultar registros, ejecutar evaluaciones y gestionar prompts desde herramientas de ingeniería y flujos de trabajo con agentes.
Braintrust se configura instalando la CLI, instrumentando tu aplicación y visualizando después las trazas en la interfaz de Braintrust. La guía de inicio rápido muestra un script de configuración que instala `bt` y orienta la instrumentación; la documentación también describe el uso de la CLI `bt` para tareas repetibles, como ejecutar evaluaciones, consultar registros y sincronizar datos.
La guía de inicio rápido de trazas indica que, una vez instrumentada la aplicación, se registran trazas para cada llamada de IA. En la interfaz puedes inspeccionar el prompt de entrada completo y la salida del modelo, los recuentos de tokens, la latencia, el coste, la configuración del modelo y los metadatos de solicitud y respuesta.
La documentación presenta Braintrust como una plataforma para capturar trazas, analizar registros, añadir comentarios humanos, crear conjuntos de datos, probar cambios con experimentos y publicar mientras se supervisa la producción. El flujo se organiza en torno a capturar trazas, encontrar patrones, añadir comentarios, probar cambios y, después, supervisar la producción.
La documentación y la página de precios indican compatibilidad con Python, TypeScript, Go, Ruby, C# y otros lenguajes mediante SDK nativos, además de integraciones con proveedores de IA, frameworks y herramientas de desarrollo. La página de integraciones también señala un uso independiente del framework y un flujo de trabajo con herramientas de desarrollo mediante MCP y la CLI.
Braintrust ofrece un plan Starter gratuito, un plan Pro de pago y precios personalizados para Enterprise. La página de precios también muestra opciones con tarifas basadas en el uso vinculadas a los datos y las puntuaciones procesados, junto con funciones como gráficos personalizados, RBAC y una mayor retención en los planes de nivel superior.
Los datos de tráfico son solo como referencia.
openlit.io
Plataforma de observabilidad de LLM de código abierto, basada en OpenTelemetry, para supervisar, rastrear y evaluar aplicaciones de IA. Gratuita para alojar por cuenta propia y diseñada para instrumentar aplicaciones con cambios mínimos de código.
deepchecks.com
Plataforma para evaluar, probar y monitorizar LLM, prompts, modelos, RAG y agentes
lunary.ai
Plataforma de observabilidad y gestión de prompts para aplicaciones basadas en modelos de lenguaje (LLM). Ayuda a los equipos a supervisar, mejorar y proteger chatbots, agentes y otros flujos de trabajo con LLM.
apipark.com
Portal empresarial de desarrolladores de API y gateway de IA de código abierto para gestionar API, modelos, tráfico, observabilidad y uso de LLM en producción.
entrypointai.com
Plataforma de ajuste fino sin código para entrenar, gestionar, validar y evaluar modelos de lenguaje grandes personalizados con múltiples proveedores.
www.reflexio.ai
Reflexio es una plataforma de aprendizaje para agentes de IA que convierte los resultados de las interacciones y las correcciones de los usuarios en pautas de comportamiento recuperables. Los desarrolladores pueden conectar un ciclo de reflexión, evaluación y recuperación a agentes existentes mediante API alojadas, un SDK de Python, REST o una CLI y un backend locales.
