# Promptic Plataforma de optimización de GenAI para evaluar modelos, mejorar prompts y agentes, y seleccionar configuraciones según métricas de negocio. - Findings24: - Sitio web: - Precios: Freemium - Categorías: Herramientas IA Dev ## ¿Qué es Promptic? Promptic ayuda a los equipos a evaluar y mejorar aplicaciones de AI mediante datos representativos, resultados esperados y métricas de negocio. Abarca la comparación de modelos, la optimización de prompts, la evaluación de agentes, la extracción de información y los flujos de trabajo de selección de herramientas. Los usuarios pueden comparar configuraciones candidatas en cuanto a calidad, coste y latencia, inspeccionar el comportamiento en producción mediante trazas de OpenTelemetry y recuperar o implementar una configuración validada desde los flujos de trabajo de la aplicación. ## ¿Qué puede hacer Promptic? ### Optimización de prompts Optimiza prompts según ejemplos etiquetados, evaluadores y métricas de negocio. Promptic admite prompts con múltiples variables y plantillas estructuradas de mensajes de chat, para que los experimentos coincidan con el formato utilizado en una aplicación. ### Comparación de modelos Compara distintos modelos fundacionales en la misma tarea y contrasta la calidad, el coste de inferencia y la latencia para identificar una configuración que se ajuste a las prioridades del proyecto. ### Evaluación de agentes Evalúa agentes completos y compara sus resultados, artefactos, trayectorias y arquitecturas, incluidos los flujos de trabajo que utilizan enrutamiento, recuperación o herramientas. ### Trazado con OpenTelemetry Captura llamadas a LLM, llamadas a herramientas y pasos del flujo de trabajo mediante spans independientes del proveedor. Las trazas pueden incluir cargas útiles de solicitud y respuesta, recuentos de tokens, coste y latencia para la depuración y la optimización. ### Evaluación de resultados estructurados Puntúa únicamente los campos de salida relevantes, con inclusión por campo, ponderación, gestión de campos obligatorios, sobrescrituras de estrategia y comportamiento configurable del evaluador basado en LLM. ### Integración para desarrolladores Usa el SDK de Python, la API REST, la CLI o los flujos de trabajo documentados del panel para instrumentar aplicaciones, gestionar experimentos y recuperar prompts o configuraciones optimizados. El SDK admite trazado nativo para OpenAI, Anthropic, Google, LangChain y Cohere. ## Casos de uso ### Selección de un modelo para una tarea de producción Ejecuta el mismo conjunto de datos de evaluación en modelos candidatos y sopesa la calidad de los resultados frente al coste de inferencia y la latencia antes de decidir qué implementar. ### Mejora de un agente de soporte o de flujo de trabajo Compara arquitecturas completas de agentes, inspecciona las trazas y los spans que fallan y valida una implementación revisada con casos fijos antes de ponerla en producción. ### Optimización de la extracción y las respuestas estructuradas Optimiza prompts para documentos u otras tareas estructuradas y, a continuación, evalúa individualmente los campos de salida importantes para que los campos opcionales o ruidosos no oculten regresiones relevantes. ### Mejora del uso de herramientas en un agente Evalúa la fiabilidad con la que un modelo selecciona herramientas de un servidor MCP y utiliza la evidencia de las trazas para investigar enrutamientos incorrectos, reintentos u otros fallos en el uso de herramientas. ## Preguntas frecuentes ### ¿Qué puede optimizar Promptic? Promptic puede optimizar prompts, comparar modelos, evaluar arquitecturas de agentes, mejorar flujos de trabajo de extracción de información y optimizar la selección de herramientas por parte del modelo. La documentación también describe la compatibilidad con prompts de múltiples variables, prompts de mensajes de chat y evaluación de resultados estructurados. ### ¿Cómo funciona un flujo de trabajo de optimización? Los usuarios proporcionan entradas representativas y resultados esperados, definen las métricas relevantes y comparan prompts, modelos o arquitecturas candidatas con el mismo conjunto de datos. Promptic muestra las diferencias en los resultados y ayuda a seleccionar una configuración según las compensaciones elegidas. ### ¿Cómo funciona el trazado? Promptic utiliza instrumentación basada en OpenTelemetry para capturar llamadas a LLM, llamadas a herramientas y pasos del flujo de trabajo. Los datos de las trazas pueden incluir cargas útiles, recuentos de tokens, coste y latencia, y posteriormente utilizarse para depuración, creación de conjuntos de datos y optimización. ### ¿Se puede integrar Promptic en una aplicación existente? Sí. Promptic documenta un SDK de Python, una API REST, flujos de trabajo de CLI y flujos de trabajo basados en el panel. El SDK de Python ofrece inicialización directa para el trazado y admite integraciones con OpenAI, Anthropic, Google, LangChain y Cohere. ### ¿El uso de modelos está incluido en la suscripción? La página de precios distingue los créditos de Promptic del uso de modelos o tokens. Los usuarios pueden aportar sus propias claves de modelos, mientras que el uso gestionado de modelos es opcional en los planes aplicables y se factura por separado; las condiciones para empresas se personalizan. ## Datos rápidos - **Categoría**: Plataforma de AI para desarrolladores y evaluación - **Flujo de trabajo principal**: Comparar, optimizar, validar e implementar configuraciones de GenAI - **Observabilidad**: Trazado de LLM y agentes basado en OpenTelemetry - **Acceso para desarrolladores**: SDK de Python, API REST, CLI y panel - **Acceso a modelos**: Aporta tus propias claves de modelos o utiliza la facturación opcional de modelos gestionados en los planes aplicables - **Precios**: Nivel gratuito, planes Team y Business de pago y condiciones Enterprise personalizadas