# inferock-bench

本地诊断代理，用于追踪 LLM API 用量、供应商报告的费用、调用失败及计费完整性信号

- Findings24: <https://findings24.com/zh-CN/tools/inferock-bench>
- 网站: <https://inferock.ai>
- 价格: Freemium
- 分类: AI 网关与路由, AI 可观测性, 大语言模型评测

## 什么是 inferock-bench？

inferock-bench 是一个面向计量型 LLM API 流量的本地诊断代理。它通过 localhost 路由调用，记录事件数据，并生成本地收据，用于比较供应商报告的用量、定价证据、交付结果和计费完整性信号。

该项目用于调查令牌用量、API 失败，以及不成功的调用是否仍可能影响账单等问题。其已测量的供应商范围包括 OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点。收据会区分观察到的事实与计算得出的解释，并在检查无法打开时明确标示，而不是将其视为检查通过。

该代理只覆盖它实际看到的调用。它不是完整的发票审计工具、供应商支出上限工具，也不能为绕过 localhost 的流量提供证据。

## inferock-bench 能做什么？

### 本地计量流量代理

通过 localhost 路由受支持的 LLM API 调用，并为代理观察到的流量写入本地事件记录。

### 用量与计费证据

捕获供应商报告的令牌数量、定价证据、请求和响应元数据、状态、时间信息及重试证据。

### 失败与交付检测器

显示计费但输出为空、拒答、截断、令牌重新计数不匹配、请求 ID 重复、缓存折扣面临风险的证据，以及供应商故障重试等信号。

### 覆盖状态报告

将每个面标记为已监测且无异常、有信号或无法打开，使未打开的检查清晰可见，而不是暗示其已通过。

### 基于收据的测量

使用随附的 @inferock/measure 评级代码和带版本标记的评级版本，根据存储的事件记录生成收据。

### 多供应商测量覆盖

支持 OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点等已测量范围，覆盖选定的模型系列和已观察到的主机。

## 使用场景

### 调查 AI API 账单

通过本地路由调用，并在审查意外费用时，将观察到的供应商用量和定价证据与对应发票进行比较。

### 检查失败的请求

使用交付和重试信号，调查拒答、空输出、截断或供应商故障是否发生在可能仍产生计费后果的调用中。

### 测量本地令牌用量

在开发和测试期间，检查受支持的 OpenAI、Anthropic、Gemini 或固定 OpenRouter 流量中的供应商报告令牌数量和请求元数据。

### 审查计费完整性风险

使用供应商支出、账单范围内的金钱损失、时间损失和发票检查风险等收据类别，不将不同类型的测量合并为一个总体指标。

## 常见问题

### inferock-bench 测量什么？

对于通过其本地代理路由的调用，它会记录供应商报告的用量、定价证据、请求和响应元数据、状态、时间信息、重试证据及检测器信号。

### 测量哪些供应商？

该仓库列出了四个已测量的供应商范围：OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点，覆盖选定的模型和已观察到的主机。其他覆盖范围被描述为可扩展，而不是当前已测量范围。

### 收据会发送给 Inferock 吗？

源代码说明，本地基准测试不会将供应商密钥发送给 Inferock。代理会将密钥附加到供应商请求中，收据保留在本地，除非用户选择分享。

### 该工具能证明月度发票正确吗？

不能。它无法观察绕过代理的流量，无法限制未观察到的调用产生的支出，也无法在没有对应发票的情况下解释月度账单。其金额数据是在公开假设下根据观察到的事件计算得出的。

### 无法执行检查时会怎样？

收据会显示“无法打开”的覆盖状态，而不是将未打开的检查呈现为正常。这一区分了观察到的结果与不可用的证据。

## 快速信息

- **产品类型**: 本地 LLM 成本追踪与诊断代理
- **已测量的供应商**: OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点
- **输出**: 本地事件记录和计费完整性收据
- **主要工作流**: 通过 localhost 路由 API 调用，然后检查用量、失败和成本证据
- **分发方式**: 公开的 GitHub 仓库
- **最新可见版本**: 0.2.4