本地计量流量代理
通过 localhost 路由受支持的 LLM API 调用，并为代理观察到的流量写入本地事件记录。
什么是 inferock-bench？
inferock-bench 是一个面向计量型 LLM API 流量的本地诊断代理。它通过 localhost 路由调用，记录事件数据，并生成本地收据，用于比较供应商报告的用量、定价证据、交付结果和计费完整性信号。
该项目用于调查令牌用量、API 失败，以及不成功的调用是否仍可能影响账单等问题。其已测量的供应商范围包括 OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点。收据会区分观察到的事实与计算得出的解释，并在检查无法打开时明确标示，而不是将其视为检查通过。
该代理只覆盖它实际看到的调用。它不是完整的发票审计工具、供应商支出上限工具，也不能为绕过 localhost 的流量提供证据。
inferock-bench 能做什么？
用量与计费证据
捕获供应商报告的令牌数量、定价证据、请求和响应元数据、状态、时间信息及重试证据。
失败与交付检测器
显示计费但输出为空、拒答、截断、令牌重新计数不匹配、请求 ID 重复、缓存折扣面临风险的证据，以及供应商故障重试等信号。
覆盖状态报告
将每个面标记为已监测且无异常、有信号或无法打开，使未打开的检查清晰可见，而不是暗示其已通过。
基于收据的测量
使用随附的 @inferock/measure 评级代码和带版本标记的评级版本，根据存储的事件记录生成收据。
多供应商测量覆盖
支持 OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点等已测量范围，覆盖选定的模型系列和已观察到的主机。
使用场景
“调查 AI API 账单”
通过本地路由调用，并在审查意外费用时，将观察到的供应商用量和定价证据与对应发票进行比较。
“检查失败的请求”
使用交付和重试信号，调查拒答、空输出、截断或供应商故障是否发生在可能仍产生计费后果的调用中。
“测量本地令牌用量”
在开发和测试期间，检查受支持的 OpenAI、Anthropic、Gemini 或固定 OpenRouter 流量中的供应商报告令牌数量和请求元数据。
“审查计费完整性风险”
使用供应商支出、账单范围内的金钱损失、时间损失和发票检查风险等收据类别，不将不同类型的测量合并为一个总体指标。
常见问题
inferock-bench 测量什么？
对于通过其本地代理路由的调用，它会记录供应商报告的用量、定价证据、请求和响应元数据、状态、时间信息、重试证据及检测器信号。
测量哪些供应商？
该仓库列出了四个已测量的供应商范围：OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点，覆盖选定的模型和已观察到的主机。其他覆盖范围被描述为可扩展，而不是当前已测量范围。
收据会发送给 Inferock 吗？
源代码说明，本地基准测试不会将供应商密钥发送给 Inferock。代理会将密钥附加到供应商请求中，收据保留在本地，除非用户选择分享。
该工具能证明月度发票正确吗？
不能。它无法观察绕过代理的流量，无法限制未观察到的调用产生的支出，也无法在没有对应发票的情况下解释月度账单。其金额数据是在公开假设下根据观察到的事件计算得出的。
无法执行检查时会怎样？
收据会显示“无法打开”的覆盖状态，而不是将未打开的检查呈现为正常。这一区分了观察到的结果与不可用的证据。
快速信息
- 产品类型
- 本地 LLM 成本追踪与诊断代理
- 已测量的供应商
- OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点
- 输出
- 本地事件记录和计费完整性收据
- 主要工作流
- 通过 localhost 路由 API 调用，然后检查用量、失败和成本证据
- 分发方式
- 公开的 GitHub 仓库
- 最新可见版本
- 0.2.4
inferock-bench 流量分析
流量数据仅供参考。
- 域名评分
- 3