CPU 推理与量化
在 CPU 上运行推理，并根据可用线程进行调整。支持的 GGML 量化选项包括 q4、5.1、8 和 f16。
Local AI Playground
Freemium
Local AI Playground 是一款开源桌面应用，用于离线管理、验证和运行 AI 模型。它支持无需 GPU 的 CPU 推理，并可通过本地流式服务器连接其他 AI 应用。
什么是 Local AI Playground？
Local AI Playground 是一款免费开源的桌面应用，可让你在离线环境中私密地试用 AI 模型。它将模型管理、下载验证和本地推理整合在同一界面中，使用 CPU 运行，无需 GPU。
该应用提供快速推理界面，方便测试模型，还提供本地流式服务器，可将模型连接到其他 AI 应用。其 Rust 后端旨在打造体积小巧、内存使用高效的原生应用。
Local AI Playground 能做什么？
集中管理模型
跟踪所选目录中的模型，并按使用情况排序，帮助你整理本地模型库。
支持断点续传的模型下载
提供支持断点续传的并发下载器，可同时下载多个模型，并继续中断的传输。
模型完整性检查
计算 BLAKE3 和 SHA256 摘要，并提供 BLAKE3 快速检查。已知可靠模型 API、模型信息卡片以及许可证和用途标签，可辅助检查模型。
本地流式服务器
只需两步即可启动推理服务器：先加载模型，再启动服务器。网站演示了如何搭配 window.ai 使用，为其他 AI 应用提供支持。
快速推理界面
提供用于试用推理、配置推理参数以及将输出写入 .mdx 文件的界面。功能列表中还包括远程词表支持。
使用场景
“无需连接云端即可试用模型”
通过快速推理界面，离线试用已下载的模型。适用于需要将推理流程保留在自己电脑上的本地测试场景。
“准备供实验使用的模型库”
下载多个模型，查看其信息和许可证标签，并验证文件摘要，然后选择要加载的模型。
“将 AI 应用连接到本地模型”
加载模型并启动流式服务器，为其他 AI 应用提供推理服务，也可使用网站演示的 window.ai 工作流程。
常见问题
支持哪些操作系统？
网站提供 Windows .MSI 和 .EXE 下载、适用于 M1/M2 和 Intel 机型的 macOS 下载，以及 Linux AppImage 和 .deb 安装包。
支持 GPU 推理吗？
目前列出的可用推理功能使用 CPU。GPU 推理和并行会话被列为即将推出的功能。
可以生成音频或图像吗？
网站将 /audio 和 /image 列为即将推出的服务器功能，目前尚不可用。
模型管理包含搜索功能吗？
目前支持按使用情况排序和选择目录。自定义排序与搜索、嵌套目录，以及模型探索与推荐被列为即将推出的功能。
快速信息
- 产品类型
- 用于本地 AI 实验的原生桌面应用
- 获取方式
- 免费开源
- 支持平台
- Windows、macOS、Linux
- 后端
- Rust
- 官方网站
- https://localai.app
Local AI Playground 流量分析
流量数据仅供参考。
- 域名评分
- 28
Local AI Playground 替代品
Baseten
baseten.co
用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台，支持托管云、自托管、混合及专用部署。
SambaNova
sambanova.ai
面向开发者、企业和基础设施运营者的 AI 推理平台，支持运行大型开源模型和智能体工作负载，并适用于云端、本地、混合及隔离环境。
Inference.net
inference.net
面向生产环境 AI 工作负载的基础设施，支持运行、监控、评估、训练和部署，帮助团队通过互联工作流提升成本、延迟、可靠性与质量。
Parasail
parasail.io
面向 AI 原生初创团队的推理云，通过兼容 OpenAI 的 API 提供开放模型与前沿模型，并支持无服务器、弹性、专用和批量部署，按令牌或 GPU 计费。
ComfyICU
comfy.icu
ComfyICU 是一个托管式云平台，用于运行、分享和部署 ComfyUI 工作流，支持可视化开发、无服务器 GPU 执行、团队工作区及 REST API 部署，无需管理 GPU 基础设施。
Chutes
chutes.ai
Chutes 是面向开源模型的去中心化无服务器推理平台。开发者可通过 API 调用托管模型，也可在机密 GPU 算力上部署私有自定义工作负载。