ComputeArena

什么是 ComputeArena？

ComputeArena 是一个社区本地 AI 推理基准测试目录，收集在社区硬件上生成的带签名基准测试报告，并按模型、量化方式、芯片、运行时和后端进行整理。

该服务以每秒令牌数报告解码和预填充吞吐量。其排行榜重点展示兼容的 PP512 预填充和 TG128 解码工作负载，并提供模型、运行时、量化方式、芯片、预填充大小和排名指标筛选。非标准及较旧的报告仍可在模型、芯片和配置文件视图中查看。

用户可以通过 ComputeArena CLI 在 macOS 或 Linux 上贡献数据。该流程使用 BaseRT 或 llama.cpp 离线运行基准测试，在审核前将报告保留在本地机器上，并且仅在提交所选结果时要求登录。比较视图会在可用时使用匹配的基准测试对，对芯片、运行时或运行时版本进行并排分析。

ComputeArena 能做什么？

社区基准测试目录

浏览已提交的本地 AI 吞吐量结果；根据网站显示的总数，涵盖 526 次提交、36 个模型、16 种芯片和 8 位贡献者。

解码和预填充测量

查看生成解码和提示预填充的每秒令牌数结果，以及与数值一同显示的 TG128、PP512 等实测工作负载。

多维排行榜

按模型、运行时、量化方式、芯片、预填充大小、解码或预填充性能筛选并排列兼容配置。

离线 CLI 流程

在 macOS 或 Linux 上安装 ComputeArena CLI，选择 BaseRT 或 llama.cpp，离线运行基准测试，并在分享前审核已保存的报告。

匹配比较

使用同类匹配对比较两种芯片、运行时或运行时版本；界面同时标出基准测试条件和协议字段的差异。

运行时和硬件详情

结果会在有报告时展示运行时版本、Metal、CUDA、BLAS、Vulkan 或 ROCm 等后端、量化方式、冷却时间、条件设置和测试工具架构。

使用场景

“评估本地推理硬件”

使用排行榜筛选器，查看某个模型和量化方式在可用芯片上的表现，再选择本地推理配置。

“比较芯片或运行时”

在 Compare 中选择两种硬件平台、运行时或运行时版本，查看匹配运行结果，并结合底层条件了解解码和预填充比率。

“研究模型与量化方式的权衡”

浏览某个模型在不同量化方式和芯片上的表现，以区分模型权重变化与硬件或执行运行时造成的差异。

“贡献可复现的测量结果”

在 macOS 或 Linux 计算机上离线运行 CLI 基准测试，检查已保存的报告，并仅提交贡献者希望发布的结果。

常见问题

ComputeArena 测量什么？

它发布本地 AI 推理吞吐量，包括解码和预填充的令牌速率。结果会关联模型、量化方式、芯片、运行时和所报告的基准测试条件。

支持哪些运行时？

文档所述流程支持 BaseRT 和 llama.cpp。比较数据会在有报告时包含运行时版本和后端信息。

无需账户或网络连接也能运行基准测试吗？

可以。网站说明基准测试可以离线运行，运行测试不需要账户。用户希望提交已保存的特定报告时才需要登录。

PP512 和 TG128 是什么？

它们是排行榜使用的主要工作负载标签：PP512 表示 512 个令牌的预填充，TG128 表示 128 个令牌的解码工作负载。每项结果都会显示对应的实测工作负载。

所有比较都严格等价吗？

不完全是。ComputeArena 会标识同类匹配对，但比较结果仍可能在模型、量化方式、运行时版本、后端、冷却时间、条件设置、工作负载详情或测试工具架构方面存在差异。Compare 视图会显示这些差异，并提醒用户比率可能反映协议差异，而非芯片性能。