# Wafer Wafer 为开放模型提供推理服务，并根据实际工作负载优化模型服务配置。它会分析流量、比较模型与硬件配置，并持续评估生产环境表现，适合个人开发者和部署团队。 - Findings24: - 网站: - 价格: Paid - 分类: 大语言模型 API ## 什么是 Wafer？ Wafer 为开放模型提供推理服务，并优化这些模型的服务方式。其优化代理会分析工作负载，比较模型、服务引擎、内核和硬件的不同配置，然后随着条件变化持续测量生产流量。 对于专用部署，团队需提供模型、请求模式和服务级别目标，以便 Wafer 据此构建并调优端点。个人用户可以通过 Wafer Pass 使用该服务；其账户和使用限额与专用或企业安排不同。 ## Wafer 能做什么？ ### 工作负载分析 根据工作负载的实际流量模式，识别调度、解码、内核、内存使用和硬件适配方面的瓶颈。 ### 配置搜索 针对所需的延迟或吞吐量结果，比较批处理、解码、量化、引擎、内核和硬件配置。 ### 内核和引擎优化 Wafer 介绍了生成融合操作和硬件专用内核的方法，并针对工作负载调优服务引擎设置，例如调度和 KV 缓存。 ### 专用推理端点 围绕选定模型、实际请求组合和服务级别目标构建端点，并在流量、模型和硬件发生变化时持续进行分析。 ## 使用场景 ### 对延迟敏感的应用 根据真实应用的流量和延迟要求评估端点，而不是仅依赖通用吞吐量基准。 ### 简化推理基础设施 测试更快的模型响应是否可以减少应用侧的变通方案，例如预取。Wafer 将 Brilliant 移除其预取层的做法作为客户案例进行介绍。 ### 针对特定硬件的模型服务 在目标加速器技术栈上分析并调优模型。Wafer 将其与 DigitalOcean 合作在 AMD 上部署 Kimi 2.5 的工作作为示例，而非普遍适用的模型性能保证。 ## 常见问题 ### 什么是持续推理？ Wafer 使用这一术语来指代分析工作负载行为并反复调整服务配置。其描述的流程会测试候选配置，并在部署后继续测量生产流量。 ### 团队可以共享 Wafer Pass 账户吗？ 不可以。Wafer Pass 面向单个个人用户，禁止共享账户或 API 密钥，也禁止共用订阅；每个账户最多允许同时处理三个进行中的推理请求。团队和组织应安排专用或企业方案。 ### Wafer Pass 如何计费？ 周、月和年订阅会自动续订，除非在续订前取消。取消后将停止未来续订，但在已付费期间内仍可继续使用。费用通常不予退款，包括未使用的配额；所包含的模型、配额和超额费率取决于订阅方案。 ### 提示词和模型输出归谁所有？ 用户保留提示词和补全内容的所有权。Wafer 的条款授予其有限许可，用于处理这些内容以运营、保护和计费服务。使用输出还必须遵守所服务模型自身的许可条款；不保证输出准确无误。 ### 客户性能结果是否构成保证？ 不构成。报告中的客户结果涉及特定工作负载和部署。Wafer 的条款不承诺特定速度、不间断可用性或无错误的模型输出。 ## 快速信息 - **产品类型**: 开放模型推理平台 - **用户**: 个人开发者和部署团队 - **部署范围**: Wafer Pass 以及专用或企业安排 - **网站**: wafer.ai