本地模型运行
在本地运行 GGUF 和 safetensors 模型,并排比较两个模型,同时在工作流中使用上传的图片、文档、音频或代码文件。
Unsloth 是一个开源框架和本地 Web UI,用于通过一个统一界面训练、运行和导出开源模型。该产品的核心是让模型工作流始终运行在你的自有硬件上,相关文档涵盖本地推理、微调、数据准备和导出。
Studio 版本增加了一个无需代码的本地工作流,可用于运行 GGUF 和 safetensors 模型、从 PDF 和 CSV 等文件准备数据集,以及使用内置可观测性进行模型训练。该网站将 Unsloth 定位为一种可在本地环境中处理 500+ 个涵盖文本、视觉、音频和嵌入的模型的方式。
在本地运行 GGUF 和 safetensors 模型,并排比较两个模型,同时在工作流中使用上传的图片、文档、音频或代码文件。
从 PDF、CSV、JSON、DOCX、TXT 和 YAML 源自动创建数据集,然后在 Data Recipes 工作流中进行清理和优化。
使用 LoRA、4-bit、16-bit、FP8 和预训练选项训练并微调 500+ 个模型,并通过 loss、梯度范数和 GPU 使用情况进行实时可观测性监控。
使用自我修复式工具调用、网页搜索、Bash 和 Python 执行,包括用于测试和验证的沙箱代码运行。
将模型导出为 GGUF 或 safetensors,以便在 llama.cpp、vLLM、Ollama、LM Studio 等类似运行时中使用。
通过 API 端点连接到 Unsloth,或根据 Studio 文档与 Claude Code 和 Codex 等外部工具配合使用。
通过导入源文件、将其转换为数据集,并使用预设或自定义设置开始训练,来准备本地微调工作流。
在自己的机器上离线运行模型,对比两个模型的输出,并在受控环境中测试工具调用或网页搜索。
使用 Data Recipes 将非结构化文件转换为可用于训练的数据集,然后在可视化节点工作流中对数据集进行微调后再训练。
将训练后的模型或基础模型导出为 GGUF 或 safetensors,以便在 llama.cpp、vLLM、Ollama 或 LM Studio 等运行时中使用。
当你希望在开发工作流中使用本地推理时,可使用 API 端点或将外部工具连接到本地模型。
Unsloth Studio 是一个用于训练、运行和导出开源模型的本地 Web UI。文档将其描述为一个开源、无需代码、可在自己的机器上离线运行的界面。
文档显示 Unsloth Studio 可在 Windows、Linux、WSL 和 macOS 上运行。它还支持用于训练的 NVIDIA GPU,而纯 CPU 设置仅限聊天推理和 Data Recipes。
Unsloth 支持在本地运行和训练模型,将模型导出为 safetensors 或 GGUF,并使用 API 端点。文档还提到支持文本、视觉、音频/TTS 和嵌入模型。
有。定价页面包含 Free 方案、Pro 方案和 Enterprise 方案。免费版本是开源的,而付费方案增加了更高性能和企业级功能。
Studio 文档说明 Unsloth 不会收集使用遥测数据。它只会收集为兼容性所需的最少硬件信息,并且 Studio 100% 离线、本地运行。
流量数据仅供参考。
ludwig.ai
开源声明式深度学习框架,通过单个 YAML 配置训练、微调和部署模型。
tensorflow.org
开源机器学习平台,支持在桌面、移动端、Web、云端和边缘环境构建、训练与部署模型。
agents.craft.do
Craft Agents 是一款开源桌面应用,连接模型、API、MCP 服务器、本地文件和内置浏览器,助你一站式规划、执行和审查工作。
phospho.ai
phospho 提供开源机器人工具包、硬件套件、PRO 订阅和定制解决方案,用于机器人控制、数据集采集和 AI 模型训练。
voideditor.com
基于 VS Code 的开源 AI IDE,支持自动补全、聊天、智能代理及本地或托管模型。
kilocode.ai
Kilo 是一款开源 AI 编程代理,支持 VS Code、JetBrains、命令行和云端工作流,并提供模型路由、自带密钥、本地模型及托管代理工作流。