# Soup CLI Soup CLI 是一款開源命令列工具，適用於後訓練及相關模型工作流程，包括微調、偏好訓練、評估、模型合併、部署和資料準備。適合想透過單一離線 CLI，在本機或借用的硬體上管理模型訓練與交付的使用者。 - Findings24: - 網站: - 價格: Freemium - 分類: AI DevOps助手, AI開發者工具, AI模型中心 ## 什麼是 Soup CLI？ Soup CLI 是一款離線、以 CLI 為核心的工具，適用於後訓練語言模型及相關工作流程。它將訓練設定、資料準備、評估、模型合併、推論服務、匯出與部署命令整合在同一個介面中。 其核心訓練工作流程設計為從工具產生的設定檔執行，並透過規則自動設定許多預設值。網站強調監督式微調與偏好訓練等方法，並支援層串流，使凍結的基礎模型可以保留在 CPU RAM 或 NVMe 中，而不是佔用完整 VRAM。 此產品定位於在有限硬體上訓練的使用者，包括模型過大而無法完整常駐於 GPU 記憶體的情境。文件也展示了從其他工具遷移設定、瀏覽 recipe、執行 eval gate，以及將模型推送或部署到外部執行環境的命令。 ## Soup CLI 能做什麼？ ### 以設定檔驅動的訓練設定 \`soup init\` 會建立 \`soup.yaml\`，而網站指出 Soup 會自動寫入大量訓練設定，包括當規則決定時的任務、量化、學習率與 epoch 數。 ### 適用於超大模型的層串流 Soup 可以將凍結的基礎模型按層從 CPU RAM 或 NVMe 串流到 VRAM，因此一次只會常駐一層；網站表示這有助於訓練無法完整放入顯示卡的模型。 ### 多種訓練方法 訓練文件與首頁提到支援監督式微調，以及包含 DPO、ORPO、SimPO 與 KTO 在內的偏好方法；訓練頁面則指出 schema 中有 23 個 task 值。 ### 評估與儲存門檻控制 \`soup train\` 支援 \`--gate\`，可在每個 epoch 邊界執行評估套件，並在出現回歸時停止；首頁也表示 Soup 會根據使用者自己的資料產生 eval，並以是否可交付的判定來限制儲存。 ### 遷移與 recipes \`soup migrate\` 可從 LLaMA-Factory、Axolotl 與 Unsloth 等工具匯入設定，而 \`soup recipes\` 則可讓使用者列出、檢視、搜尋並複製 142 個現成 recipes。 ### 更廣泛的 CLI 工作流程 參考文件包含 chat、serving、export、merge、push、evaluation、資料驗證、去重、生成與 dataset 發佈等命令，使此工具成為更完整的模型營運 CLI，而不只是訓練工具。 ## 使用情境 ### 在有限 GPU 記憶體下進行微調 當基礎模型太大而無法完整載入 VRAM 時，可使用 Soup；它提供串流式方法，將凍結的基礎模型保留在 RAM 或 NVMe 中。 ### 偏好訓練與對齊 可用於 DPO、ORPO、SimPO 或 KTO 執行，且你希望參考模型來自同一個串流式基礎模型，而不是載入第二份常駐副本。 ### 從其他框架遷移設定 使用 \`soup migrate\`，可將 LLaMA-Factory、Axolotl 或 Unsloth 的既有設定轉換為 Soup YAML，將人工重寫降到最低。 ### 以檢查點與回歸檢查進行訓練 當你希望在評估回歸時停止執行，或在訓練期間自動恢復並推送檢查點時，可使用門檻控制與檢查點相關旗標。 ### 用單一 CLI 完成準備、評估與交付 當你想要用一套單一工作流程完成資料審閱、訓練、評估、adapter 合併、部署與匯出到服務格式時，可使用 Soup。 ## 常見問題 ### Soup CLI 做什麼？ Soup CLI 是一個用於後訓練工作流程的命令列工具，例如訓練、評估、合併、部署、資料準備與資料集處理。 ### 它能訓練無法完整放入 GPU 記憶體的模型嗎？ 可以。網站表示 Soup 能將凍結的基礎模型從 CPU RAM 或 NVMe 逐層串流，因此模型不必常駐在 VRAM 中。 ### 支援哪些訓練方法？ 網站明確提到 SFT、DPO、ORPO、SimPO 與 KTO，且訓練文件描述 schema 中有 23 個 task 值。 ### 我可以使用其他工具的設定檔嗎？ 可以。文件中有 \`soup migrate\`，可用來匯入 LLaMA-Factory、Axolotl 與 Unsloth 的設定。 ### 它只有訓練功能嗎？ 不是。CLI 參考文件也記載了 chat、serving、export、merge、push、eval 與 data 命令。 ## 快速資訊 - **類別**: Developer Tool - **主要介面**: Command-line interface - **授權**: Apache-2.0 - **來源網域**: trysoup.dev - **安裝指令**: \`pip install "soup-cli\[train\]"\` - **支援的 Python 版本**: 3.10 to 3.12