Wafer：面向工作负载优化开放模型推理

什么是 Wafer？

Wafer 为开放模型提供推理服务，并优化这些模型的服务方式。其优化代理会分析工作负载，比较模型、服务引擎、内核和硬件的不同配置，然后随着条件变化持续测量生产流量。

对于专用部署，团队需提供模型、请求模式和服务级别目标，以便 Wafer 据此构建并调优端点。个人用户可以通过 Wafer Pass 使用该服务；其账户和使用限额与专用或企业安排不同。

Wafer 能做什么？

根据工作负载的实际流量模式，识别调度、解码、内核、内存使用和硬件适配方面的瓶颈。

针对所需的延迟或吞吐量结果，比较批处理、解码、量化、引擎、内核和硬件配置。

Wafer 介绍了生成融合操作和硬件专用内核的方法，并针对工作负载调优服务引擎设置，例如调度和 KV 缓存。

围绕选定模型、实际请求组合和服务级别目标构建端点，并在流量、模型和硬件发生变化时持续进行分析。

使用场景

根据真实应用的流量和延迟要求评估端点，而不是仅依赖通用吞吐量基准。

测试更快的模型响应是否可以减少应用侧的变通方案，例如预取。Wafer 将 Brilliant 移除其预取层的做法作为客户案例进行介绍。

在目标加速器技术栈上分析并调优模型。Wafer 将其与 DigitalOcean 合作在 AMD 上部署 Kimi 2.5 的工作作为示例，而非普遍适用的模型性能保证。

常见问题

什么是持续推理？

Wafer 使用这一术语来指代分析工作负载行为并反复调整服务配置。其描述的流程会测试候选配置，并在部署后继续测量生产流量。

团队可以共享 Wafer Pass 账户吗？

不可以。Wafer Pass 面向单个个人用户，禁止共享账户或 API 密钥，也禁止共用订阅；每个账户最多允许同时处理三个进行中的推理请求。团队和组织应安排专用或企业方案。

Wafer Pass 如何计费？

周、月和年订阅会自动续订，除非在续订前取消。取消后将停止未来续订，但在已付费期间内仍可继续使用。费用通常不予退款，包括未使用的配额；所包含的模型、配额和超额费率取决于订阅方案。

提示词和模型输出归谁所有？

用户保留提示词和补全内容的所有权。Wafer 的条款授予其有限许可，用于处理这些内容以运营、保护和计费服务。使用输出还必须遵守所服务模型自身的许可条款；不保证输出准确无误。

客户性能结果是否构成保证？

不构成。报告中的客户结果涉及特定工作负载和部署。Wafer 的条款不承诺特定速度、不间断可用性或无错误的模型输出。

Wafer