dstack icon

dstack

认领

dstack 是一款开源控制平面,可在 GPU 云、Kubernetes 和本地集群间调度与编排 AI 工作负载,支持通过 YAML 和 CLI 统一管理开发、训练与推理。

dstack

什么是 dstack

dstack 是一个面向异构 AI 计算的开源编排层。它充当统一控制平面,用于在 GPU 云、Kubernetes 和本地集群之间 provision GPU 并运行工作负载。

该产品专为容器化 AI 工作负载设计,覆盖开发、训练和推理。用户通过 YAML 定义 fleets、dev environments、tasks、services 和 volumes,然后通过 CLI 或 API 应用这些配置,而 dstack 负责基础设施 provision 和工作负载调度。

核心能力

Fleet 管理

定义 fleets,可在 GPU 云、Kubernetes 和本地环境之间 provision 和管理集群。fleets 可用于控制实例的 provision 与复用方式。

开发环境

创建交互式 dev environments,供 agents 或 IDE 访问,从而让开发者可以在更接近目标算力的位置工作,无需手动进行基础设施设置。

任务

为训练和批处理作业调度单节点或分布式 tasks。文档还说明 tasks 也可以运行 web 应用。

服务

将模型推理和其他面向 Web 的工作负载作为 services 部署,由 dstack 负责其周边的编排。

管理 network volumes,以便在不同工作负载和运行之间持久化数据。

CLI、UI 和 API

使用 CLI、UI 和 API 管理工作负载,YAML 配置文件存储在仓库中。

常见用例

  • 多云 GPU 运维

    跨多个 GPU 云或混合基础设施 provision 集群,然后通过一个控制平面统一管理,而不是分别使用各家厂商工具。

  • AI 开发环境

    创建可复现的开发环境,开发者或 agent 可从 IDE 中打开,减少本地环境配置工作。

  • 模型训练与批处理工作负载

    使用相同的配置模型,在单节点或多节点计算上运行训练、批处理作业和分布式实验。

  • 模型服务

    部署推理端点或其他需要安全、可扩展运行时的服务,运行在您现有计算资源之上。

  • 自带基础设施

    当您已经有现成基础设施并希望由 dstack 在其上编排工作负载时,连接现有的 Kubernetes 集群或可通过 SSH 访问的服务器。

Pros and Cons

Pros

  • 可通过单一控制平面跨 GPU 云、Kubernetes 和本地集群工作。
  • 支持多种加速器类型,包括 NVIDIA、AMD、TPU 和 Tenstorrent。
  • 覆盖从开发环境到任务和服务的完整 ML 工作流。
  • 同时提供 CLI 和 UI 访问,以及程序化 API。
  • 支持现有的 Kubernetes 集群和基于 SSH 的本地 fleets。

Cons

  • 公开页面未清晰列出定价细节,因此买家可能需要联系销售或查看托管选项,以了解商业条款。
  • 主要工作流以配置驱动,因此希望获得完全托管体验的团队可能需要采用 dstack 的 YAML 和 CLI 模式。

FAQ

如何开始使用 dstack?

您可以使用 `uv` 在本地安装 dstack,或使用 `dstackai/dstack` Docker 镜像进行部署。文档还提到,您也可以注册 dstack Sky,而无需自行托管服务器。

dstack 如何融入工作流?

dstack 的工作方式是在仓库中的 YAML 文件里定义配置,然后通过 `dstack apply` 或程序化 API 应用这些配置。它会在处理自动扩缩容、端口转发和入口流量的同时,负责基础设施的 provision 和工作负载调度。

dstack 可以与现有的 Kubernetes 或本地基础设施一起使用吗?

可以。文档说明,您可以通过 Kubernetes 后端连接现有的 Kubernetes 集群,并在其上运行开发环境、任务和服务。dstack 也支持用于本地服务器的 SSH fleet。

dstack 的定价模式是什么?

来源页面未显示核心产品的公开定价表。不过页面展示了 dstack Sky 和 dstack Enterprise 等托管选项,其中 Sky 描述为由 dstack 托管,Enterprise 描述为自托管并提供 SSO、隔离网络部署和专属支持。

dstack 适合哪些用户?

dstack 面向在异构 AI 计算上进行开发、训练和推理的场景。文档强调 fleets、dev environments、tasks、services 和 volumes 是主要的配置类型。

Quick Facts

类别
AI 基础设施编排
来源域名
dstack.ai
部署模式
开源服务器,提供自托管和托管选项
主要接口
CLI、UI 和 API
支持的后端
GPU 云、Kubernetes、SSH fleets
提到的加速器
NVIDIA、AMD、TPU、Tenstorrent