Fleet 管理
定义 fleets，可在 GPU 云、Kubernetes 和本地环境之间 provision 和管理集群。fleets 可用于控制实例的 provision 与复用方式。
dstack
认领dstack 是一款开源控制平面，可在 GPU 云、Kubernetes 和本地集群间调度与编排 AI 工作负载，支持通过 YAML 和 CLI 统一管理开发、训练与推理。
什么是 dstack
dstack 是一个面向异构 AI 计算的开源编排层。它充当统一控制平面，用于在 GPU 云、Kubernetes 和本地集群之间 provision GPU 并运行工作负载。
该产品专为容器化 AI 工作负载设计，覆盖开发、训练和推理。用户通过 YAML 定义 fleets、dev environments、tasks、services 和 volumes，然后通过 CLI 或 API 应用这些配置，而 dstack 负责基础设施 provision 和工作负载调度。
核心能力
开发环境
创建交互式 dev environments，供 agents 或 IDE 访问，从而让开发者可以在更接近目标算力的位置工作，无需手动进行基础设施设置。
任务
为训练和批处理作业调度单节点或分布式 tasks。文档还说明 tasks 也可以运行 web 应用。
服务
将模型推理和其他面向 Web 的工作负载作为 services 部署，由 dstack 负责其周边的编排。
卷
管理 network volumes，以便在不同工作负载和运行之间持久化数据。
CLI、UI 和 API
使用 CLI、UI 和 API 管理工作负载，YAML 配置文件存储在仓库中。
常见用例
多云 GPU 运维
跨多个 GPU 云或混合基础设施 provision 集群，然后通过一个控制平面统一管理，而不是分别使用各家厂商工具。
AI 开发环境
创建可复现的开发环境，开发者或 agent 可从 IDE 中打开，减少本地环境配置工作。
模型训练与批处理工作负载
使用相同的配置模型，在单节点或多节点计算上运行训练、批处理作业和分布式实验。
模型服务
部署推理端点或其他需要安全、可扩展运行时的服务，运行在您现有计算资源之上。
自带基础设施
当您已经有现成基础设施并希望由 dstack 在其上编排工作负载时，连接现有的 Kubernetes 集群或可通过 SSH 访问的服务器。
Pros and Cons
Pros
- 可通过单一控制平面跨 GPU 云、Kubernetes 和本地集群工作。
- 支持多种加速器类型，包括 NVIDIA、AMD、TPU 和 Tenstorrent。
- 覆盖从开发环境到任务和服务的完整 ML 工作流。
- 同时提供 CLI 和 UI 访问，以及程序化 API。
- 支持现有的 Kubernetes 集群和基于 SSH 的本地 fleets。
Cons
- 公开页面未清晰列出定价细节，因此买家可能需要联系销售或查看托管选项，以了解商业条款。
- 主要工作流以配置驱动，因此希望获得完全托管体验的团队可能需要采用 dstack 的 YAML 和 CLI 模式。
FAQ
如何开始使用 dstack？
您可以使用 `uv` 在本地安装 dstack，或使用 `dstackai/dstack` Docker 镜像进行部署。文档还提到，您也可以注册 dstack Sky，而无需自行托管服务器。
dstack 如何融入工作流？
dstack 的工作方式是在仓库中的 YAML 文件里定义配置，然后通过 `dstack apply` 或程序化 API 应用这些配置。它会在处理自动扩缩容、端口转发和入口流量的同时，负责基础设施的 provision 和工作负载调度。
dstack 可以与现有的 Kubernetes 或本地基础设施一起使用吗？
可以。文档说明，您可以通过 Kubernetes 后端连接现有的 Kubernetes 集群，并在其上运行开发环境、任务和服务。dstack 也支持用于本地服务器的 SSH fleet。
dstack 的定价模式是什么？
来源页面未显示核心产品的公开定价表。不过页面展示了 dstack Sky 和 dstack Enterprise 等托管选项，其中 Sky 描述为由 dstack 托管，Enterprise 描述为自托管并提供 SSO、隔离网络部署和专属支持。
dstack 适合哪些用户？
dstack 面向在异构 AI 计算上进行开发、训练和推理的场景。文档强调 fleets、dev environments、tasks、services 和 volumes 是主要的配置类型。
Quick Facts
- 类别
- AI 基础设施编排
- 来源域名
- dstack.ai
- 部署模式
- 开源服务器，提供自托管和托管选项
- 主要接口
- CLI、UI 和 API
- 支持的后端
- GPU 云、Kubernetes、SSH fleets
- 提到的加速器
- NVIDIA、AMD、TPU、Tenstorrent