# Local AI Playground Local AI Playground 是一款开源桌面应用,用于离线管理、验证和运行 AI 模型。它支持无需 GPU 的 CPU 推理,并可通过本地流式服务器连接其他 AI 应用。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 推理平台, AI 模型部署 ## 什么是 Local AI Playground? Local AI Playground 是一款免费开源的桌面应用,可让你在离线环境中私密地试用 AI 模型。它将模型管理、下载验证和本地推理整合在同一界面中,使用 CPU 运行,无需 GPU。 该应用提供快速推理界面,方便测试模型,还提供本地流式服务器,可将模型连接到其他 AI 应用。其 Rust 后端旨在打造体积小巧、内存使用高效的原生应用。 ## Local AI Playground 能做什么? ### CPU 推理与量化 在 CPU 上运行推理,并根据可用线程进行调整。支持的 GGML 量化选项包括 q4、5.1、8 和 f16。 ### 集中管理模型 跟踪所选目录中的模型,并按使用情况排序,帮助你整理本地模型库。 ### 支持断点续传的模型下载 提供支持断点续传的并发下载器,可同时下载多个模型,并继续中断的传输。 ### 模型完整性检查 计算 BLAKE3 和 SHA256 摘要,并提供 BLAKE3 快速检查。已知可靠模型 API、模型信息卡片以及许可证和用途标签,可辅助检查模型。 ### 本地流式服务器 只需两步即可启动推理服务器:先加载模型,再启动服务器。网站演示了如何搭配 window.ai 使用,为其他 AI 应用提供支持。 ### 快速推理界面 提供用于试用推理、配置推理参数以及将输出写入 .mdx 文件的界面。功能列表中还包括远程词表支持。 ## 使用场景 ### 无需连接云端即可试用模型 通过快速推理界面,离线试用已下载的模型。适用于需要将推理流程保留在自己电脑上的本地测试场景。 ### 准备供实验使用的模型库 下载多个模型,查看其信息和许可证标签,并验证文件摘要,然后选择要加载的模型。 ### 将 AI 应用连接到本地模型 加载模型并启动流式服务器,为其他 AI 应用提供推理服务,也可使用网站演示的 window.ai 工作流程。 ## 常见问题 ### 支持哪些操作系统? 网站提供 Windows .MSI 和 .EXE 下载、适用于 M1/M2 和 Intel 机型的 macOS 下载,以及 Linux AppImage 和 .deb 安装包。 ### 支持 GPU 推理吗? 目前列出的可用推理功能使用 CPU。GPU 推理和并行会话被列为即将推出的功能。 ### 可以生成音频或图像吗? 网站将 /audio 和 /image 列为即将推出的服务器功能,目前尚不可用。 ### 模型管理包含搜索功能吗? 目前支持按使用情况排序和选择目录。自定义排序与搜索、嵌套目录,以及模型探索与推荐被列为即将推出的功能。 ## 快速信息 - **产品类型**: 用于本地 AI 实验的原生桌面应用 - **获取方式**: 免费开源 - **支持平台**: Windows、macOS、Linux - **后端**: Rust - **官方网站**: https://localai.app