Langfuse est une plateforme d’ingénierie IA open source pour tracer, évaluer et améliorer les applications et agents basés sur des LLM. Elle réunit observabilité, gestion des prompts, expérimentation et annotation humaine dans un même workflow.
Langfuse est une plateforme d’IA open source pour tracer, évaluer et améliorer les applications et agents basés sur des LLM grâce à l’observabilité, aux prompts, à l’expérimentation et à la revue humaine.
La plateforme repose sur un traçage compatible avec OpenTelemetry, des SDK natifs et de nombreuses intégrations, ce qui permet aux équipes de capturer l’activité liée aux LLM et celle qui ne l’est pas, sans dépendre d’un framework unique. Langfuse prend également en charge le déploiement dans le cloud et l’auto-hébergement, le produit et ses fonctionnalités principales étant disponibles sous licence MIT.
Capturez des traces hiérarchiques pour les appels aux LLM, les invocations d’outils, les étapes de récupération et les autres logiques applicatives. Filtrez et inspectez les traces par utilisateur, session, coût, latence ou métadonnées personnalisées.
Suivez les conversations à plusieurs tours sous forme de sessions et ajoutez le suivi des utilisateurs pour le débogage en production et l’analyse de l’utilisation. Les agents peuvent également être représentés sous forme de graphes pour les workflows plus complexes.
Gérez les prompts séparément du code applicatif grâce au versionnage, aux déploiements par libellé, aux restaurations, à la mise en cache des prompts et aux tests dans le playground. L’historique et le suivi des modifications des prompts aident les équipes à examiner leur évolution.
Effectuez des évaluations avec un LLM comme juge, des fonctions heuristiques ou une revue humaine sur des données de production ou des expériences. La prise en charge des jeux de données, des expériences, des scores d’évaluation et de l’annotation humaine aide à comparer les changements au fil du temps.
Surveillez la qualité, le coût et la latence au moyen de tableaux de bord, d’alertes et de métriques associées aux traces. Il est ainsi plus facile de comprendre l’impact des changements de prompts ou de modèles sur le comportement en production.
Connectez-vous via des SDK natifs, OpenTelemetry, la journalisation par proxy, des API, des exports et plus de 100 intégrations. La plateforme prend également en charge l’auto-hébergement et la portabilité des données.
Instrumentez les applications LLM en production pour inspecter les traces, les sessions et le comportement au niveau utilisateur lors du débogage de problèmes de latence, de pics de coûts ou de sorties inattendues.
Gérez les prompts comme des ressources versionnées, déployez-les par libellé, restaurez les changements et comparez les variantes dans le playground avant de mettre à jour la production.
Effectuez des évaluations hors ligne ou en ligne sur des jeux de données, puis comparez les expériences avec un LLM comme juge, des heuristiques ou une revue humaine afin d’évaluer les changements de qualité.
Créez des files d’annotation humaine et examinez les traces pour constituer des jeux de données de référence ou valider le comportement des modèles avec des collaborateurs.
Utilisez la même plateforme pour les prototypes et les systèmes en production afin de relier l’instrumentation, l’expérimentation et l’itération dans un même workflow.
Langfuse est conçu pour les équipes qui souhaitent tracer les workflows de LLM et d’agents, gérer les prompts et évaluer les sorties dans un même système. Il prend en charge le traçage, la gestion des prompts, l’évaluation, les expériences et l’annotation humaine.
La source met en avant des SDK natifs pour Python et JavaScript, la prise en charge d’OpenTelemetry, plus de 100 intégrations et la possibilité de capturer les traces via une passerelle LLM telle que LiteLLM. Le produit est conçu pour fonctionner avec les stacks existantes plutôt que d’imposer un framework unique.
Langfuse prend en charge les traces, les sessions, le suivi des utilisateurs, le versionnage des prompts, les déploiements de prompts, les tests dans le playground, les expériences, les scores d’évaluation, les jeux de données et les workflows de revue humaine. La documentation le décrit comme un workflow connecté, du prototype à la production.
La page tarifaire présente une offre Hobby gratuite, des offres Cloud payantes et une option d’auto-hébergement. Elle répertorie également des offres cloud gérées avec une conservation plus longue, des limites plus élevées et des fonctionnalités d’entreprise telles que le SSO, SCIM, les journaux d’audit et des options d’assistance.
Le produit est conçu pour les applications et agents basés sur des LLM. La documentation met l’accent sur le traçage des appels liés ou non aux LLM, le débogage en production, l’itération des prompts ainsi que le suivi de la qualité, du coût et de la latence.
Les données de trafic sont fournies à titre indicatif uniquement.
evidentlyai.com
Open-source framework for evaluating and monitoring LLM applications, AI agents, and ML models.
newrelic.com
Observabilité propulsée par l’IA pour applications, infrastructures, logs, expériences numériques et systèmes d’IA.
dynatrace.com
Observabilité propulsée par l’IA pour applications, infrastructure, sécurité et expériences numériques
wandb.ai
Plateforme de machine learning et d’IA pour le suivi des expériences, des artefacts, le traçage GenAI et les évaluations.
waydev.co
Intelligence d’ingénierie pour mesurer l’adoption, l’impact et le ROI de l’IA
akto.io
AI security platform for discovering, testing, governing, and protecting LLMs, agents, MCPs, and GenAI applications.
