LLM Evaluation

A

Artificial Analysis

LLM Evaluation

用于比较模型、提供商和硬件的 AI 基准测试与洞察平台，提供 Pro、Enterprise 计划及免费 API。

W

Weights & Biases

LLM Evaluation

用于实验跟踪、制品管理、GenAI 追踪与评估的机器学习和 AI 平台。

A

Arena

AI聊天机器人

Arena 是一个公开的 AI 模型对比与排名平台，支持与模型聊天、为输出结果投票，并浏览按任务分类的排行榜，覆盖文本、视觉、代码、搜索、视频和智能体任务。

P

Pydantic

AI Observability

用于构建类型安全应用、观测 AI 系统、评估输出和路由模型访问的 AI 工程技术栈

S

Scale AI

LLM Evaluation

为构建可靠生产级 AI 系统的团队提供数据、评测和企业级 AI 工具

L

Langfuse

AI Observability

开源 AI 工程平台，用于追踪、评估和改进 LLM 应用与智能体。

S

SuperAnnotate

LLM Evaluation

面向图像、视频、文本和音频工作流的 AI 数据标注与评估管线平台。

H

Horizon

LLM Evaluation

Horizon 是 Labelbox 面向后训练与评估的强化学习环境产品，帮助 AI 团队构建软件环境、偏好信号和长时程任务评测标准。

O

Outlier AI

LLM Evaluation

远程 AI 训练平台，连接专家参与灵活项目并按周获得报酬

M

MCPJam

AI Testing Assistant

MCPJam 是用于测试和评估 MCP 服务器的平台，支持本地检查、用户与模型测试，以及 CI/CD 行为检查。

C

Context

AI Agent Builder

面向企业的 AI 智能体平台，可在客户基础设施上构建、部署和持续改进智能体，整合工作区、运行时、上下文与评估工具，并通过受权限控制的连接器和基于身份提供商的访问控制保障安全。

K

Klavis AI

AI Agent Infrastructure

Klavis AI 提供用于训练和评估 AI 智能体的实时环境，支持编程数据和工具使用数据。

A

Agnost AI

AI Observability

Agnost AI monitors AI agents in production by analyzing conversations, traces, user corrections, and frustration. It helps teams identify recurring failures, review suggested prompt fixes, and apply approved changes with replay-based regression coverage.

O

OpenTrain AI

LLM Evaluation

OpenTrain AI 是一个市场与托管服务平台，可招聘经过预审的 AI 训练师、数据标注员和领域专家，用于 RLHF、评估、红队测试、标注及智能体工作流。

F

FastRouter.ai

AI Gateway And Routing

兼容 OpenAI 的网关，用于路由、评估和治理 200 多种 AI 模型的访问。

O

Oqoqo

LLM Evaluation

用于在真实且隔离的环境中运行可重复智能体实验的评估平台，帮助团队构建私有基准、比较智能体与模型，并分析工作流成败原因。

C

ComputeArena

LLM Evaluation

ComputeArena 是一个社区基准测试目录，用于衡量本地 AI 模型在不同芯片、量化方式和运行时上的吞吐量，支持离线测试、签名报告查看与性能对比。

Q

QAgent

AI Testing Assistant

面向开发者和敏捷团队的 AI 智能体测试与质量保障平台，可通过 Webhook 或端点连接智能体，运行自动化测试用例，并评估响应的事实依据、政策遵循、提示词合规性及相关质量维度。

I

inferock-bench

AI Gateway And Routing

本地诊断代理，用于追踪 LLM API 用量、供应商报告的费用、调用失败及计费完整性信号

N

NovaSynth

AI Testing Assistant

面向 AI 智能体的预生产测试平台，通过合成用户模拟真实 SIP 电话、LiveKit 音频和聊天交互，帮助团队演练多轮对话、发现问题并在发布前验证修复。