专用模型部署
将开源、自定义、专有及微调模型部署为专用推理服务，以支持生产工作负载。
什么是 Baseten？
Baseten 是一个用于在生产环境中部署和运营开源、自定义及微调模型的 AI 推理平台。它将 Baseten Inference Stack 与托管基础设施、模型 API、自动扩缩容以及多种部署选项相结合，支持 Baseten Cloud、客户 VPC 或混合环境。
该平台支持专用模型服务、用于原型设计和评估的预优化 Model API，以及在同一技术栈上运行训练任务。它面向需要从模型开发推进到可靠生产推理的团队，适用于涉及 LLM、图像生成、转录、文本转语音、嵌入和复合 AI 系统等工作负载。
Baseten 能做什么？
预优化 Model API
通过开箱即用的 API 使用受支持的模型，用于测试工作负载、原型设计产品或评估模型选项，而无需先构建服务技术栈。
跨云自动扩缩容
根据传入流量跨云和区域扩展副本，目标是保持延迟并避免不必要的计算资源使用。
针对推理优化的基础设施
Baseten Inference Stack 包含自定义内核、解码技术、缓存、GPU 配置和冷启动优化等性能优化工作。
灵活的部署位置
可在 Baseten Cloud 中运行工作负载，也可通过自托管部署在客户 VPC 中运行，或采用增加 Baseten Cloud 容量的混合设置。
训练与复合 AI 工具
使用 Loops SDK 运行训练任务，并将训练好的模型部署到同一推理技术栈；Baseten Chains 为复合 AI 系统提供基础设施。
使用场景
“生产环境 LLM 服务”
构建面向客户的应用的团队可以部署自定义或开源语言模型，并根据请求量变化扩展推理。
“快速模型评估”
产品和工程团队可以使用预优化 Model API 测试受支持的模型、为工作负载创建原型，或在决定采用专用部署前比较不同选项。
“实时音频应用”
语音代理、电话呼叫、翻译和转录产品可以利用该平台所述的实时音频流、语音转文本和文本转语音工作负载支持。
“图像生成与工作流”
团队可以提供自定义图像生成模型或 ComfyUI 工作流，包括针对特定应用微调的模型。
“从训练到生产的工作流”
模型团队可以使用 Baseten 的 Loops SDK 训练模型，并将其迁移到 Baseten 推理技术栈进行部署，让训练和服务运行在同一平台内。
常见问题
Baseten 可以部署哪些类型的模型？
Baseten 表示支持开源、自定义、专有及微调 AI 模型。其网站还重点介绍了 LLM、图像生成、转录、文本转语音、嵌入和复合 AI 工作负载。
模型可以在哪里运行？
部署可以运行在 Baseten Cloud 中，也可以通过自托管部署运行在客户 VPC 中，或采用同时使用客户基础设施和 Baseten Cloud 容量的混合方案。
Baseten 是否提供现成的模型 API？
是。Baseten 为受支持的模型提供预优化 Model API，用于测试新工作负载、原型设计产品和评估模型。定价页面列出了按每一百万个 token 计费的 Model API 费用。
专用推理如何定价？
定价页面将专用部署描述为按需计算资源付费，按使用量计费，精确到分钟，并提供批量折扣。费率因实例类型而异，应以当前定价页面为准。
Baseten 也可以运行训练任务吗？
可以。该网站介绍了用于训练任务的按需计算资源、开发者体验和基础设施，并表示使用 Loops SDK 训练的模型可以在同一技术栈上部署到生产推理环境。
快速信息
- 类别
- AI 推理平台
- 主要用户
- AI、ML 和产品工程团队
- 部署选项
- Baseten Cloud、自托管、混合及专用部署
- 模型类型
- 开源、自定义、专有及微调模型
- 定价模式
- 按需付费方案；Model API 按每 100 万个 token 计费，专用部署按计算资源使用量计费
- 训练工作流
- 使用 Loops SDK 训练，并部署到 Baseten 推理技术栈
Baseten 流量分析
流量数据仅供参考。
- 域名评分
- 77