Soup CLI logo

Soup CLI

Freemium
访问

Soup CLI 是一款开源命令行工具,用于后训练及相关模型工作流,包括微调、偏好训练、评估、模型合并、部署和数据准备。它适合希望通过一个离线 CLI,在本地或借用的硬件上管理模型训练与交付的用户。

什么是 Soup CLI?

Soup CLI 是一款离线、以 CLI 为核心的工具,用于语言模型的后训练及相关工作流。它把训练设置、数据准备、评估、模型合并、推理服务、导出和部署命令整合到一个界面中。

其核心训练流程设计为从工具生成的配置文件运行,并通过规则自动设置许多默认值。网站强调了监督式微调和偏好训练等方法,以及层流式传输,使冻结的基础模型可以驻留在 CPU RAM 或 NVMe 中,而不是占用全部 VRAM。

该产品面向在受限硬件上训练的用户,包括模型过大而无法完整驻留在 GPU 内存中的场景。文档还展示了从其他工具迁移配置、浏览配方、运行评估门控,以及将模型推送到外部运行时或部署模型的命令。

Soup CLI 能做什么?

基于配置的训练设置

`soup init` 会创建一个 `soup.yaml`,网站说明 Soup 会在规则可确定时自动写入大量训练配置,包括任务、量化、学习率和轮数等。

面向超大模型的层流式传输

Soup 可以将冻结的基础层按层从 CPU RAM 或 NVMe 流式传入 VRAM,因此一次只驻留一层,网站称这支持训练无法完整放入显卡的模型。

多种训练方法

训练文档和首页提到支持监督式微调以及偏好方法,包括 DPO、ORPO、SimPO 和 KTO,而训练页面说明 schema 中有 23 个 task 值。

评估与保存门控

`soup train` 支持 `--gate`,可在每个 epoch 边界运行评估套件,并在回归时停止;首页还表示 Soup 会根据用户自己的数据派生评估,并基于“ship / don't-ship”判定对保存进行门控。

迁移与配方

`soup migrate` 可导入来自 LLaMA-Factory、Axolotl 和 Unsloth 等工具的配置,而 `soup recipes` 允许用户列出、查看、搜索并复制 142 个现成配方。

更广泛的 CLI 工作流

参考文档包含用于聊天、服务、导出、合并、推送、评估、数据验证、去重、生成和数据集发布的命令,使该工具更像一个更全面的模型运维 CLI,而不只是训练工具。

使用场景

“在有限 GPU 显存上进行微调”

当基础模型过大,无法完整加载到 VRAM 时,使用 Soup 的流式方案,将冻结的基础模型保留在 RAM 或 NVMe 上。

“偏好训练与对齐”

用于 DPO、ORPO、SimPO 或 KTO 运行,并希望参考模型来自同一个流式基础模型,而不是再加载第二份常驻副本。

“从其他框架迁移配置”

使用 `soup migrate` 将 LLaMA-Factory、Axolotl 或 Unsloth 中的现有设置转换为 Soup YAML,尽量减少手动重写。

“带检查点和回归检查的训练”

当你希望运行在评估回归时停止,或者在训练过程中自动恢复并推送检查点时,可以使用门控和检查点相关标志。

“在一个 CLI 中完成准备、评估和交付”

当你希望用一套单一工作流完成数据审查、训练、评估、适配器合并、部署以及导出为服务格式时,使用 Soup。

常见问题

Soup CLI 是做什么的?

Soup CLI 是一个用于后训练工作流的命令行工具,例如训练、评估、合并、部署、数据准备和数据集处理。

它能训练无法完全放入 GPU 内存的模型吗?

可以。网站说明 Soup 能将冻结的基础模型从 CPU RAM 或 NVMe 按层流式传输,因此模型不必常驻在 VRAM 中。

支持哪些训练方法?

网站明确提到了 SFT、DPO、ORPO、SimPO 和 KTO,训练文档还描述了 schema 中的 23 个 task 值。

我可以使用其他工具的配置吗?

可以。文档说明 `soup migrate` 可用于导入来自 LLaMA-Factory、Axolotl 和 Unsloth 的配置。

它只用于训练吗?

不是。CLI 参考文档还包含聊天、服务、导出、合并、推送、评估和数据命令。

快速信息

类别
开发者工具
主要界面
命令行界面
许可证
Apache-2.0
源域名
trysoup.dev
安装命令
`pip install "soup-cli[train]"`
支持的 Python
3.10 至 3.12

Soup CLI 流量分析

流量数据仅供参考。

月访问量
0
全球排名
-
用户跳出率
0.00%
平均访问时长
00:00
每次访问页数
0.00
域名评分
38

流量趋势

流量来源

暂无流量分析数据。

主要访问地区

暂无流量分析数据。