无服务器推理
运行托管的开放权重模型,无需管理服务基础设施。通过 Zyphra Cloud 及其 API 服务访问该服务。
Zyphra 将开放式 AI 研究实验室与用于构建和部署 AI 系统的云平台相结合。目前,Zyphra Cloud 提供通过 Zyphra Inference 托管模型服务,重点面向长上下文和多步骤智能体工作负载。开发者可以使用云服务,而无需自行运营模型服务基础设施。
该平台提供无服务器推理和专用推理容量。其模型目录包括语言模型和语音生成模型,使用价格取决于所选模型和输入类型。Zyphra Research 探索架构和计算系统,但这些研究主题与托管服务的能力有所区别。研究主题和已公布的平台计划,并不表示相应能力已在 Cloud 中提供。
运行托管的开放权重模型,无需管理服务基础设施。通过 Zyphra Cloud 及其 API 服务访问该服务。
为对延迟敏感的生产工作负载使用预留的服务容量,而不是通用的无服务器部署。
Cloud 模型目录决定当前可用的托管语言与语音能力。各模型的可用性、使用单位和费率应分别查看,不能由研究公告直接推断。
在长上下文和模型服务基础设施都很重要的多步骤应用中使用托管推理。
针对具有特定延迟和容量需求的应用,评估无服务器访问与预留容量之间的差异。
为语言任务或文本转语音选择合适的托管模型,并考虑其对应的使用单位和价格。
使用单位和价格取决于所选模型及服务。使用前请查看 Zyphra Cloud 当前定价,确认输入、输出及可能的缓存用量如何计量。token、字节、字符和音频分钟不能直接等同。
可用模型、免费选项及使用额度以当前 Cloud 模型目录和定价为准。研究模型开放或其许可条件,并不等于托管推理或预留容量免费。
不是。研究方向和已公布的平台计划应与 Zyphra Cloud 当前可用的服务区分开来。部署前请根据现行服务文档确认具体能力是否已经提供。
公共演示不能视为生产服务承诺。用于生产前请确认适用的服务和数据处理条款;提交机密或敏感信息前,应先确认其处理条件。
流量数据仅供参考。
parasail.io
面向 AI 原生初创团队的推理云,通过兼容 OpenAI 的 API 提供开放模型与前沿模型,并支持无服务器、弹性、专用和批量部署,按令牌或 GPU 计费。
chutes.ai
Chutes 是面向开源模型的去中心化无服务器推理平台。开发者可通过 API 调用托管模型,也可在机密 GPU 算力上部署私有自定义工作负载。
friendli.ai
面向生产环境部署前沿开放权重模型和自定义 AI 模型的推理云,提供无服务器模型 API、专用 GPU 端点及 BYOG 选项,支持智能体、多模态和高吞吐工作负载。
baseten.co
用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台,支持托管云、自托管、混合及专用部署。
cloud.sambanova.ai
面向开发者的 AI 推理平台,通过 API 提供对开源语言和视觉模型的访问,支持使用 OpenAI 兼容 API、在线体验场和模型目录构建及测试 AI 应用。
hyperbolic.xyz
Hyperbolic 是一个开放接入的 GPU 与 AI 云平台,提供按需使用的 H100、H200、B200 及其他 GPU 算力,支持实验、训练、微调、推理和生产工作负载,并提供按需实例、预留集群与私有云基础设施。