Soup CLI logo

Soup CLI

Freemium
訪問

Soup CLI 是一款開源命令列工具,適用於後訓練及相關模型工作流程,包括微調、偏好訓練、評估、模型合併、部署和資料準備。適合想透過單一離線 CLI,在本機或借用的硬體上管理模型訓練與交付的使用者。

什麼是 Soup CLI?

Soup CLI 是一款離線、以 CLI 為核心的工具,適用於後訓練語言模型及相關工作流程。它將訓練設定、資料準備、評估、模型合併、推論服務、匯出與部署命令整合在同一個介面中。

其核心訓練工作流程設計為從工具產生的設定檔執行,並透過規則自動設定許多預設值。網站強調監督式微調與偏好訓練等方法,並支援層串流,使凍結的基礎模型可以保留在 CPU RAM 或 NVMe 中,而不是佔用完整 VRAM。

此產品定位於在有限硬體上訓練的使用者,包括模型過大而無法完整常駐於 GPU 記憶體的情境。文件也展示了從其他工具遷移設定、瀏覽 recipe、執行 eval gate,以及將模型推送或部署到外部執行環境的命令。

Soup CLI 能做什麼?

以設定檔驅動的訓練設定

`soup init` 會建立 `soup.yaml`,而網站指出 Soup 會自動寫入大量訓練設定,包括當規則決定時的任務、量化、學習率與 epoch 數。

適用於超大模型的層串流

Soup 可以將凍結的基礎模型按層從 CPU RAM 或 NVMe 串流到 VRAM,因此一次只會常駐一層;網站表示這有助於訓練無法完整放入顯示卡的模型。

多種訓練方法

訓練文件與首頁提到支援監督式微調,以及包含 DPO、ORPO、SimPO 與 KTO 在內的偏好方法;訓練頁面則指出 schema 中有 23 個 task 值。

評估與儲存門檻控制

`soup train` 支援 `--gate`,可在每個 epoch 邊界執行評估套件,並在出現回歸時停止;首頁也表示 Soup 會根據使用者自己的資料產生 eval,並以是否可交付的判定來限制儲存。

遷移與 recipes

`soup migrate` 可從 LLaMA-Factory、Axolotl 與 Unsloth 等工具匯入設定,而 `soup recipes` 則可讓使用者列出、檢視、搜尋並複製 142 個現成 recipes。

更廣泛的 CLI 工作流程

參考文件包含 chat、serving、export、merge、push、evaluation、資料驗證、去重、生成與 dataset 發佈等命令,使此工具成為更完整的模型營運 CLI,而不只是訓練工具。

使用情境

“在有限 GPU 記憶體下進行微調”

當基礎模型太大而無法完整載入 VRAM 時,可使用 Soup;它提供串流式方法,將凍結的基礎模型保留在 RAM 或 NVMe 中。

“偏好訓練與對齊”

可用於 DPO、ORPO、SimPO 或 KTO 執行,且你希望參考模型來自同一個串流式基礎模型,而不是載入第二份常駐副本。

“從其他框架遷移設定”

使用 `soup migrate`,可將 LLaMA-Factory、Axolotl 或 Unsloth 的既有設定轉換為 Soup YAML,將人工重寫降到最低。

“以檢查點與回歸檢查進行訓練”

當你希望在評估回歸時停止執行,或在訓練期間自動恢復並推送檢查點時,可使用門檻控制與檢查點相關旗標。

“用單一 CLI 完成準備、評估與交付”

當你想要用一套單一工作流程完成資料審閱、訓練、評估、adapter 合併、部署與匯出到服務格式時,可使用 Soup。

常見問題

Soup CLI 做什麼?

Soup CLI 是一個用於後訓練工作流程的命令列工具,例如訓練、評估、合併、部署、資料準備與資料集處理。

它能訓練無法完整放入 GPU 記憶體的模型嗎?

可以。網站表示 Soup 能將凍結的基礎模型從 CPU RAM 或 NVMe 逐層串流,因此模型不必常駐在 VRAM 中。

支援哪些訓練方法?

網站明確提到 SFT、DPO、ORPO、SimPO 與 KTO,且訓練文件描述 schema 中有 23 個 task 值。

我可以使用其他工具的設定檔嗎?

可以。文件中有 `soup migrate`,可用來匯入 LLaMA-Factory、Axolotl 與 Unsloth 的設定。

它只有訓練功能嗎?

不是。CLI 參考文件也記載了 chat、serving、export、merge、push、eval 與 data 命令。

快速資訊

類別
Developer Tool
主要介面
Command-line interface
授權
Apache-2.0
來源網域
trysoup.dev
安裝指令
`pip install "soup-cli[train]"`
支援的 Python 版本
3.10 to 3.12

Soup CLI 流量分析

流量數據僅供參考。

月造訪量
0
全球排名
-
使用者跳出率
0.00%
平均造訪時長
00:00
每次造訪頁數
0.00
網域評分
38

流量趨勢

流量來源

尚無流量分析數據。

主要造訪地區

尚無流量分析數據。