Runpod

Runpodは複数のデプロイ方法を提供しています。専用GPUインスタンス向けのPods、API形式の推論向けのServerless、マルチノードワークロード向けのClustersです。最適な構成は、単一のGPU環境が必要か、オートスケールする推論が必要か、複数ノードにまたがる連携計算が必要かによって異なります。

料金ページによると、PodsとClustersは秒単位で課金され、Serverlessは推論ワーカーの利用量に基づいて課金されます。ストレージ、デプロイの選択、ワークロードの継続時間によって総コストは変わります。

製品ページでは、独自のDockerコンテナを持ち込み、推論、学習、研究ワークロード向けの最適化されたテンプレートを利用できると説明されています。Runpodはまた、Serverless向けにログ、監視、メトリクス、オートスケーリングといったワークフロー制御も示しています。

Runpodは、学習、推論、バッチジョブ、分散ワークロード向けのGPUインフラを必要とするチーム向けに位置づけられています。サイトでは、専用容量や大規模デプロイ向けのエンタープライズ向けオプションも案内されています。

ソースでは各製品に共通する単一のセットアップ手順は説明されていませんが、セルフサービスのプロビジョニング、数分でのクラスタ起動、そしてライブ推論エンドポイント向けにコードをServerlessへプッシュする流れが示されています。