dstack icon

dstack

認領

dstack 是一個開源控制平面,用於在 GPU 雲端、Kubernetes 與內部部署叢集上佈建與編排 AI 工作負載,透過單一 YAML 與 CLI 工作流程管理開發、訓練與推論。

dstack

dstack 是什麼

dstack 是一個用於異質 AI 運算的開源編排層。它作為統一的控制平面,負責在 GPU 雲端、Kubernetes 與內部部署叢集之間佈建 GPU 並執行工作負載。

此產品專為容器化 AI 工作負載設計,涵蓋開發、訓練與推論。使用者以 YAML 定義 fleet、dev environment、task、service 與 volume,然後透過 CLI 或 API 套用這些設定,而 dstack 則負責基礎設施佈建與工作負載排程。

核心功能

Fleet 管理

定義 fleet,以在 GPU 雲端、Kubernetes 與內部部署環境之間佈建與管理叢集。Fleet 可用來控制執行個體的佈建與重複使用方式。

Dev environments

建立互動式開發環境,讓 agents 或 IDE 可以存取,使開發者能在接近目標運算資源的地方工作,而不需要手動設定基礎設施。

Tasks

為訓練與批次作業排程單節點或分散式任務。文件也指出,任務可以執行 Web 應用程式。

Services

將模型推論與其他面向 Web 的工作負載部署為服務,由 dstack 負責其周邊的編排。

Volumes

管理網路磁碟區,以在工作負載與執行之間保留資料。

CLI、UI 與 API

使用 CLI、UI 與 API 來管理工作負載,並透過儲存在儲存庫中的 YAML 設定檔進行設定。

常見使用案例

  • 多雲 GPU 作業

    在多個 GPU 雲端或混合基礎設施上佈建叢集,然後透過單一控制平面進行管理,而不是分別使用各家供應商的工具。

  • AI 開發環境

    建立可重現的開發環境,開發者或 agent 可從 IDE 開啟,減少本機設定工作。

  • 模型訓練與批次工作負載

    使用相同的設定模型,在單節點或多節點運算上執行訓練、批次作業與分散式實驗。

  • 模型服務

    在既有運算資源之上部署推論端點或其他需要安全、可擴充執行環境的服務。

  • 自備基礎設施

    當您已經有現成基礎設施時,連接既有的 Kubernetes 叢集或可透過 SSH 存取的伺服器,讓 dstack 在其上編排工作負載。

Pros and Cons

Pros

  • 可透過單一控制平面跨越 GPU 雲端、Kubernetes 與內部部署叢集運作。
  • 支援多種加速器類型,包括 NVIDIA、AMD、TPU 與 Tenstorrent。
  • 涵蓋從開發環境到任務與服務的完整 ML 工作流程。
  • 同時提供 CLI 與 UI 存取,以及程式化 API。
  • 支援既有的 Kubernetes 叢集與基於 SSH 的內部部署 fleet。

Cons

  • 公開頁面上沒有清楚列出定價細節,因此買家可能需要聯絡銷售或查看代管方案,才能了解商務條款。
  • 主要工作流程是以設定檔驅動,因此想要完全代管體驗的團隊,可能需要採用 dstack 的 YAML 與 CLI 模式。

FAQ

我該如何開始使用 dstack?

您可以使用 `uv` 在本地安裝 dstack,或使用 `dstackai/dstack` Docker 映像進行部署。文件也提到,您可以註冊 dstack Sky,而不必自行代管伺服器。

dstack 如何融入工作流程?

dstack 的運作方式是:先在您的儲存庫中的 YAML 檔案裡定義設定,然後透過 `dstack apply` 或程式化 API 套用。它會在處理自動擴縮、埠轉發與 ingress 的同時,佈建基礎設施並排程工作負載。

dstack 可以搭配既有的 Kubernetes 或內部部署基礎設施使用嗎?

可以。文件指出,您可以透過 Kubernetes backend 連接現有的 Kubernetes 叢集,並在其上執行開發環境、任務與服務。dstack 也支援用於內部部署伺服器的 SSH fleet。

dstack 的定價模式是什麼?

來源頁面沒有顯示核心產品的公開定價表。不過頁面有提到 dstack Sky 和 dstack Enterprise 等代管選項,其中 Sky 描述為由 dstack 代管,Enterprise 則為自架,並提供 SSO、隔離網路部署與專屬支援。

dstack 適合哪些使用者?

dstack 是為異質 AI 運算上的開發、訓練與推論而打造。文件強調 fleet、dev environment、task、service 與 volume 是主要的設定類型。

Quick Facts

類別
AI 基礎設施編排
來源網域
dstack.ai
部署模式
開源伺服器,提供自架與代管選項
主要介面
CLI、UI 與 API
支援的後端
GPU 雲端、Kubernetes、SSH fleet
提及的加速器
NVIDIA、AMD、TPU、Tenstorrent