GMI Cloud

GMI Cloud 是一個 AI 基礎架構平台，可在 NVIDIA GPU 上執行生產級推論、訓練與微調，結合 serverless 推論、專屬叢集與裸機部署，滿足可擴充 GPU 容量需求。

概覽

GMI Cloud 是一個以 AI 為原生的推論雲端，專為 NVIDIA 基礎架構上的生產級 AI 工作負載而打造。它在單一平台上結合 serverless 推論、專屬 GPU 叢集與裸機 GPU 部署，讓團隊可以先使用代管推論，並隨著需求成長再進一步取得更深層的基礎架構控制。

此平台定位於推論、訓練、微調與大規模 GPU 工作負載。來源強調可預測的效能、自動擴展與專屬資源，而非共享環境，並針對特定 NVIDIA GPU 類別與容量選項公開定價。

核心能力

Serverless 推論

透過自動縮放至零、內建批次處理、延遲感知排程，以及可供 LLM 與多模態模型使用的生產級 API 來執行推論。

彈性的部署路徑

在不更換平台的情況下，從 API 型推論切換到專屬 GPU 叢集，並在不同部署模式間使用相同的基礎架構。

專屬 GPU 基礎架構

在 GMI 營運的資料中心內使用專屬 NVIDIA GPU，以支援需要可預測效能與隔離資源的持續性工作負載。

裸機控制

當基礎架構控制比代管抽象化更重要時，可部署具備完整 root 存取權與自訂堆疊的裸機伺服器。

叢集網路

針對需要在持續負載下維持穩定吞吐量的工作負載，使用具備 RDMA-ready 網路的多節點 GPU 叢集。

廣泛的 NVIDIA 硬體涵蓋

可在 NVIDIA H100、H200、Blackwell、GB200、GB300 與 B200 產品中選擇隨需、保留或預購容量。

常見使用情境

生產模型服務
先以 LLM 或多模態模型的代管推論開始，之後當流量成長並需要更多控制或容量時，繼續使用同一平台。
模型訓練與微調
在具備可預測效能與隔離資源的專屬 NVIDIA GPU 上執行長時間或高使用率的訓練與微調工作。
分散式叢集工作負載
使用具備 RDMA-ready 網路的多節點 GPU 叢集來處理需要大規模穩定吞吐量的分散式工作負載。
基礎架構可控的部署
當您需要 root 存取權、硬體層級控制或特定基礎架構設定時，部署裸機伺服器與自訂堆疊。
容量規劃與擴展
選擇隨需或保留 GPU 容量，以符合短期實驗、彈性成長或較可預測的長期使用需求。

Pros and Cons

Pros

在同一平台上同時支援 serverless 推論與專屬 GPU 基礎架構。
公開多種 NVIDIA 類別的 GPU 價格，包括 H100、H200、B200、GB200 與 GB300。
提供從容器服務到裸機與代管多節點叢集的部署選項。
為推論工作負載說明自動擴展、批次處理與延遲感知排程。
採用專屬資源與隔離，而非共享 GPU 環境。

Cons

來源未提供詳細的整合、API 或框架文件。
部分較新的 GPU 選項標示為預購、供應有限或僅可聯絡銷售。
提供的頁面未詳細列出網路、儲存與完整系統組合的定價。

FAQ

GMI Cloud 的用途是什麼？

GMI Cloud 提供用於 NVIDIA 硬體上的生產級 AI 基礎架構，涵蓋 serverless 推論、專屬 GPU 叢集與裸機 GPU 部署。

GMI Cloud 如何處理擴展？

來源說明其預設為 serverless 推論，並在工作負載成長或需要更多控制時，擴展到專屬 GPU 基礎架構。

平台上提供哪些 NVIDIA GPU？

定價頁列出 NVIDIA H100、H200、Blackwell、GB200、GB300 與 B200 選項，其中部分 GPU 可立即使用，其他則標示為預購或聯絡銷售。

定價結構是如何安排的？

來源指出有專屬資源、隨需與保留容量選項，且沒有隱藏費用，但未提供網路或儲存費用的完整明細。

Quick Facts

Category: AI 基礎架構
Primary use: 生產推論與 GPU 工作負載
Platform: NVIDIA GPU 雲端
Deployment modes: Serverless 推論、專屬 GPU 叢集、裸機
Pricing model: 公開的 GPU 每小時定價，加上保留與隨需容量
Domain: gmicloud.ai