2026년 최고의 LLM 평가 도구

A

Artificial Analysis

LLM 평가

모델, 제공업체, 하드웨어를 비교하는 AI 벤치마킹 및 인사이트 플랫폼으로 Pro, Enterprise 요금제와 무료 API를 제공합니다.

W

Weights & Biases

AI 옵저버빌리티

실험 추적, 아티팩트 관리, GenAI 추적 및 평가를 위한 머신러닝·AI 플랫폼.

P

Pydantic

AI 게이트웨이 및 라우팅

타입 안전 앱 구축, AI 시스템 관측, 출력 평가, 모델 라우팅을 위한 AI 엔지니어링 스택

A

Arena

AI챗봇

Arena는 모델과 대화하고 출력 결과에 투표하며 작업별 리더보드를 살펴볼 수 있는 공개 AI 모델 비교·랭킹 플랫폼입니다. 텍스트, 비전, 코드, 검색, 동영상, 에이전트 작업 전반에서 최신 모델을 평가할 수 있습니다.

S

Scale AI

LLM 평가

신뢰할 수 있는 프로덕션 AI 구축을 위한 데이터·평가·엔터프라이즈 AI 도구

L

Langfuse

AI 옵저버빌리티

LLM 애플리케이션과 에이전트를 추적·평가·개선하는 오픈소스 AI 엔지니어링 플랫폼.

S

SuperAnnotate

LLM 평가

이미지, 동영상, 텍스트, 오디오 워크플로를 위한 AI 데이터 주석 및 평가 파이프라인 플랫폼.

M

micro1

LLM 평가

Expert data production software and human-led evaluation for AI teams.

E

Evidently AI

AI 옵저버빌리티

Open-source framework for evaluating and monitoring LLM applications, AI agents, and ML models.

H

Horizon

LLM 평가

Labelbox의 RL 환경 제품으로 장기 과제의 사후 학습과 평가를 지원합니다.

O

Outlier AI

LLM 평가

전문가를 유연한 프로젝트와 연결하고 주급을 제공하는 원격 AI 학습 플랫폼

H

huntr

LLM 평가

AI security challenges for researchers to test guardrails and compete for cash prizes.

M

Mindgard

AI 테스트 어시스턴트

AI security and automated red teaming for enterprise models, agents, and applications.

M

MCPJam

AI 테스트 어시스턴트

MCPJam is a testing and evaluation platform for MCP servers. It helps developers inspect servers locally, run user and model-based tests, and add behavior checks to CI/CD workflows.

C

Context

AI 에이전트 빌더

Context는 고객 인프라에서 AI 에이전트를 구축, 배포, 개선하는 엔터프라이즈 플랫폼으로, 워크스페이스, 런타임, 컨텍스트, 평가 도구, 커넥터 및 IdP 기반 접근 제어를 제공합니다.

F

Future AGI

AI 옵저버빌리티

Evaluation, simulation, and monitoring tools for teams building AI agents.

H

Hamming AI

AI 옵저버빌리티

Testing, red teaming, and production monitoring for teams building voice and chat agents.

D

Dynamo AI

AI 옵저버빌리티

Enterprise AI controls for evaluating, securing, monitoring, and governing generative and agentic AI.

K

Klavis AI

AI 에이전트 인프라

Klavis AI는 코딩 데이터와 도구 사용 데이터를 지원하는 AI 에이전트 학습·평가용 실시간 환경을 제공합니다.

A

Adaline

AI 옵저버빌리티

Observability and evaluation tools for teams improving AI agents from production data.