# Baseten

用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台，支持托管云、自托管、混合及专用部署。

- Findings24: <https://findings24.com/zh-CN/tools/baseten>
- 网站: <https://baseten.co>
- 价格: Freemium
- 分类: AI 推理平台, AI 模型部署

## 什么是 Baseten？

Baseten 是一个用于在生产环境中部署和运营开源、自定义及微调模型的 AI 推理平台。它将 Baseten Inference Stack 与托管基础设施、模型 API、自动扩缩容以及多种部署选项相结合，支持 Baseten Cloud、客户 VPC 或混合环境。

该平台支持专用模型服务、用于原型设计和评估的预优化 Model API，以及在同一技术栈上运行训练任务。它面向需要从模型开发推进到可靠生产推理的团队，适用于涉及 LLM、图像生成、转录、文本转语音、嵌入和复合 AI 系统等工作负载。

## Baseten 能做什么？

### 专用模型部署

将开源、自定义、专有及微调模型部署为专用推理服务，以支持生产工作负载。

### 预优化 Model API

通过开箱即用的 API 使用受支持的模型，用于测试工作负载、原型设计产品或评估模型选项，而无需先构建服务技术栈。

### 跨云自动扩缩容

根据传入流量跨云和区域扩展副本，目标是保持延迟并避免不必要的计算资源使用。

### 针对推理优化的基础设施

Baseten Inference Stack 包含自定义内核、解码技术、缓存、GPU 配置和冷启动优化等性能优化工作。

### 灵活的部署位置

可在 Baseten Cloud 中运行工作负载，也可通过自托管部署在客户 VPC 中运行，或采用增加 Baseten Cloud 容量的混合设置。

### 训练与复合 AI 工具

使用 Loops SDK 运行训练任务，并将训练好的模型部署到同一推理技术栈；Baseten Chains 为复合 AI 系统提供基础设施。

## 使用场景

### 生产环境 LLM 服务

构建面向客户的应用的团队可以部署自定义或开源语言模型，并根据请求量变化扩展推理。

### 快速模型评估

产品和工程团队可以使用预优化 Model API 测试受支持的模型、为工作负载创建原型，或在决定采用专用部署前比较不同选项。

### 实时音频应用

语音代理、电话呼叫、翻译和转录产品可以利用该平台所述的实时音频流、语音转文本和文本转语音工作负载支持。

### 图像生成与工作流

团队可以提供自定义图像生成模型或 ComfyUI 工作流，包括针对特定应用微调的模型。

### 从训练到生产的工作流

模型团队可以使用 Baseten 的 Loops SDK 训练模型，并将其迁移到 Baseten 推理技术栈进行部署，让训练和服务运行在同一平台内。

## 常见问题

### Baseten 可以部署哪些类型的模型？

Baseten 表示支持开源、自定义、专有及微调 AI 模型。其网站还重点介绍了 LLM、图像生成、转录、文本转语音、嵌入和复合 AI 工作负载。

### 模型可以在哪里运行？

部署可以运行在 Baseten Cloud 中，也可以通过自托管部署运行在客户 VPC 中，或采用同时使用客户基础设施和 Baseten Cloud 容量的混合方案。

### Baseten 是否提供现成的模型 API？

是。Baseten 为受支持的模型提供预优化 Model API，用于测试新工作负载、原型设计产品和评估模型。定价页面列出了按每一百万个 token 计费的 Model API 费用。

### 专用推理如何定价？

定价页面将专用部署描述为按需计算资源付费，按使用量计费，精确到分钟，并提供批量折扣。费率因实例类型而异，应以当前定价页面为准。

### Baseten 也可以运行训练任务吗？

可以。该网站介绍了用于训练任务的按需计算资源、开发者体验和基础设施，并表示使用 Loops SDK 训练的模型可以在同一技术栈上部署到生产推理环境。

## 快速信息

- **类别**: AI 推理平台
- **主要用户**: AI、ML 和产品工程团队
- **部署选项**: Baseten Cloud、自托管、混合及专用部署
- **模型类型**: 开源、自定义、专有及微调模型
- **定价模式**: 按需付费方案；Model API 按每 100 万个 token 计费，专用部署按计算资源使用量计费
- **训练工作流**: 使用 Loops SDK 训练，并部署到 Baseten 推理技术栈