# MCPJam MCPJam es una plataforma para probar y evaluar servidores MCP, inspeccionarlos localmente, ejecutar pruebas basadas en usuarios y modelos, y añadir comprobaciones de comportamiento a flujos de CI/CD. - Findings24: - Sitio web: - Precios: Freemium - Categorías: Asistentes de pruebas con IA, Evaluación de LLM, Herramientas MCP ## ¿Qué es MCPJam? MCPJam es una herramienta para desarrolladores destinada a probar, depurar y evaluar servidores del Model Context Protocol (MCP). Abarca el flujo de trabajo desde la inspección local y la resolución de problemas de OAuth hasta las evaluaciones basadas en modelos, las pruebas con usuarios, los enjambres simulados y las comprobaciones de CI/CD. Su objetivo principal es mostrar si un servidor MCP funciona correctamente en interacciones realistas con clientes y modelos. Los desarrolladores pueden inspeccionar localmente las llamadas a herramientas y el comportamiento del protocolo, y luego convertir los flujos de trabajo en suites repetibles que midan resultados como la precisión, la latencia y los patrones de fallos. Las integraciones de CI/CD pueden usar esas evaluaciones como criterios para aprobar versiones. ## ¿Qué puede hacer MCPJam? ### Inspector de servidores MCP Conecta con un servidor MCP local, llama a sus herramientas, inspecciona las solicitudes y respuestas sin procesar, y revisa la información de trazas. El Inspector de código abierto puede iniciarse con npx. ### Depuración de OAuth y del protocolo Rastrea paso a paso los flujos de autenticación de OAuth y XAA o EMA, y usa comprobaciones de conformidad para identificar dónde se interrumpe un flujo de autorización. ### Evaluaciones basadas en modelos Genera suites de evaluación a partir de las herramientas de un servidor MCP y ejecútalas con un modelo real. Los resultados pueden incluir precisión, latencia y patrones de fallos diagnosticados, no solo comprobaciones del protocolo. ### Pruebas con usuarios y sesiones reproducibles Crea entornos alojados y compartibles para pruebas de aceptación que reflejan los principales hosts de IA. Las sesiones de los evaluadores pueden revelar problemas de usabilidad y convertirse en pruebas de regresión reproducibles. ### Enjambres para usuarios simulados Ejecuta en paralelo recorridos de varios turnos para perfiles de usuario generados o seleccionados en clientes específicos, ayudando a revelar casos límite en distintas rutas de interacción. ### Criterios de evaluación para CI/CD Usa la CLI o el SDK de MCPJam en GitHub Actions u otro flujo de trabajo. Las suites de evaluación devuelven códigos de salida de aprobado/no aprobado, mientras que las ejecuciones alojadas registran la precisión a lo largo del tiempo para que las regresiones de comportamiento puedan bloquear una combinación de cambios. ## Casos de uso ### Inspeccionar un servidor durante el desarrollo Un desarrollador puede iniciar el Inspector localmente, conectar un servidor MCP, llamar a herramientas y leer las solicitudes, respuestas y trazas subyacentes antes de integrar el servidor con un cliente de IA. ### Diagnosticar fallos de autenticación Un ingeniero que investiga un servidor MCP protegido puede recorrer su flujo de OAuth y de acceso entre aplicaciones, usar comprobaciones de conformidad y localizar la etapa en la que falla la autorización. ### Validar el comportamiento del cliente y del modelo Un equipo puede generar suites de evaluación a partir de las herramientas de su servidor y ejecutar flujos de trabajo en clientes seleccionados para medir si los modelos eligen y utilizan correctamente las herramientas, incluida la precisión y la latencia. ### Realizar pruebas de aceptación antes del lanzamiento Los equipos de producto e ingeniería pueden compartir un entorno de pruebas alojado con los evaluadores, recopilar comentarios por turno sobre las conversaciones y conservar las sesiones útiles como casos de regresión. ### Prevenir regresiones en las solicitudes de cambios Un equipo puede ejecutar evaluaciones del SDK de MCPJam mediante su ejecutor de pruebas existente o usar criterios de la CLI en CI. Una comprobación fallida de la tasa de aprobados puede devolver un estado distinto de cero y bloquear una combinación de cambios antes de que el cambio llegue a los usuarios. ## Preguntas frecuentes ### ¿Cómo puedo empezar a probar un servidor MCP con MCPJam? El producto ofrece un Inspector de código abierto que puede iniciarse con npx. Puedes conectar un servidor localmente, llamar a sus herramientas e inspeccionar solicitudes, respuestas y trazas. MCPJam también ofrece opciones de acceso web y de escritorio. ### ¿MCPJam solo comprueba si un servidor MCP responde? No. Su flujo de evaluación está pensado para probar el comportamiento real de los modelos, incluido si un modelo utiliza correctamente las herramientas. Los resultados pueden incluir precisión, latencia y patrones de fallos diagnosticados; los criterios de CI están diseñados para detectar regresiones que las pruebas unitarias podrían pasar por alto. ### ¿Puede MCPJam ejecutarse en un flujo de CI existente? Sí. La CLI y el SDK pueden usarse con GitHub Actions u otro flujo de trabajo. Las suites de evaluación del SDK se ejecutan mediante un ejecutor de pruebas como Jest o Vitest, y una suite fallida devuelve un estado de aprobado/no aprobado que puede impedir una combinación de cambios. ### ¿Pueden los equipos probar con distintos clientes de IA? Los flujos de trabajo publicados de MCPJam muestran pruebas entre clientes y hacen referencia específicamente a ChatGPT, Claude, Cursor y Copilot. Los clientes disponibles dependen del flujo de pruebas y de la configuración. ### ¿Qué partes de MCPJam están disponibles de forma gratuita? La información de precios publicada incluye un plan gratuito con herramientas de pruebas principales, como Playground, OAuth Debugger, Evals, User Testing, Swarm y comprobaciones de CI/CD. Incluye 200 créditos al día y un número ilimitado de plazas; los planes de pago ofrecen un uso mayor y opciones adicionales de colaboración, historial y soporte. ## Datos rápidos - **Categoría**: Herramienta para desarrolladores - **Usuarios principales**: Desarrolladores y equipos que crean servidores MCP - **Modalidades de uso**: Aplicación web, aplicación de escritorio, Inspector de npx, CLI y flujos de trabajo del SDK - **Flujos de trabajo compatibles**: Inspección local, depuración de OAuth, evaluaciones, pruebas con usuarios, enjambres y comprobaciones de CI/CD - **Ejemplos de clientes**: ChatGPT, Claude, Cursor y Copilot - **Plan gratuito**: 200 créditos al día, un número ilimitado de plazas y herramientas de pruebas principales