2026 Melhores ferramentas de Avaliação de LLMs

A

Artificial Analysis

Avaliação de LLMs

Plataforma de benchmarking e insights de IA para comparar modelos, provedores e hardware, com planos Pro, Enterprise e API gratuita.

W

Weights & Biases

Observabilidade de IA

Plataforma de machine learning e IA para acompanhamento de experimentos, artefatos, rastreamento GenAI e avaliações.

P

Pydantic

Gateways e roteamento de IA

Stack de engenharia de IA para apps type-safe, observabilidade, avaliação e roteamento de modelos

A

Arena

Chatbot IA

Arena é uma plataforma pública de comparação e classificação de modelos de IA que permite conversar com modelos, votar nas respostas e explorar rankings por tarefa em texto, visão, código, pesquisa, vídeo e agentes.

S

Scale AI

Avaliação de LLMs

Dados, avaliações e ferramentas de IA empresarial para sistemas confiáveis em produção

L

Langfuse

Observabilidade de IA

Plataforma open source de engenharia de IA para rastrear, avaliar e melhorar aplicações e agentes LLM.

S

SuperAnnotate

Avaliação de LLMs

Plataforma de dados de IA para criar pipelines de anotação e avaliação de imagens, vídeo, texto e áudio.

M

micro1

Avaliação de LLMs

Expert data production software and human-led evaluation for AI teams.

E

Evidently AI

Observabilidade de IA

Open-source framework for evaluating and monitoring LLM applications, AI agents, and ML models.

H

Horizon

Avaliação de LLMs

Produto de ambientes RL da Labelbox para pós-treinamento e avaliação de tarefas de IA de longo horizonte.

O

Outlier AI

Avaliação de LLMs

Plataforma remota de treinamento de IA que conecta especialistas a projetos flexíveis com pagamento semanal

H

huntr

Avaliação de LLMs

AI security challenges for researchers to test guardrails and compete for cash prizes.

M

MCPJam

Assistentes de testes com IA

MCPJam is a testing and evaluation platform for MCP servers. It helps developers inspect servers locally, run user and model-based tests, and add behavior checks to CI/CD workflows.

M

Mindgard

Assistentes de testes com IA

AI security and automated red teaming for enterprise models, agents, and applications.

C

Context

Criador de agentes de IA

Context é uma plataforma empresarial de agentes de IA para criar, implementar e melhorar agentes na infraestrutura do cliente, com workspace, runtime, contexto, avaliação, conectores e controlo de acesso baseado em IdP.

F

Future AGI

Observabilidade de IA

Evaluation, simulation, and monitoring tools for teams building AI agents.

H

Hamming AI

Observabilidade de IA

Testing, red teaming, and production monitoring for teams building voice and chat agents.

D

Dynamo AI

Observabilidade de IA

Enterprise AI controls for evaluating, securing, monitoring, and governing generative and agentic AI.

K

Klavis AI

Infraestrutura para agentes de IA

Klavis AI oferece ambientes ao vivo para treinar e avaliar agentes de IA com dados de programação e uso de ferramentas.

A

Adaline

Observabilidade de IA

Observability and evaluation tools for teams improving AI agents from production data.