# NobodyWho NobodyWho 是一款面向受支持设备的本地高效 LLM 推理引擎，支持离线推理、多模态输入以及无需 API 密钥的本地语音和文本工作流。 - Findings24: - 网站: - 价格: Freemium - 分类: AI编程助手 ## 什么是 NobodyWho？ NobodyWho 是一款在设备上运行的大语言模型本地推理引擎。该项目将自身定位为一种在任何设备上高效使用 LLM 的方式，重点强调离线运行和本地执行，而非调用托管 API。 仓库 README 突出介绍了对聊天模型、结构化工具调用、多模态输入、文本转语音、语音转文本的支持，以及从 Hugging Face 或任意直接 URL 下载模型的能力。README 还提到可通过 Vulkan 或 Metal 进行 GPU 加速推理、支持具备对话感知能力的上下文切换，以及兼容由 llama.cpp 驱动的 GGUF 模型。 ## NobodyWho 能做什么？ ### 本地离线推理 无需 API 密钥或隐藏使用费用即可运行 LLM，适合隐私要求较高或网络受限的工作流。 ### 支持聊天模型 支持 Gemma、Qwen 和 Mistral 等聊天 LLM，并广泛兼容许多 GGUF 格式的模型。 ### 类型安全的工具调用 根据函数签名生成结构化语法，减少手动编写模式的需要。 ### 多模态输入 可在 LLM 交互中接收图像和音频信息。 ### 语音工作流 内置 Kokoro、Pocket TTS 和 Supertonic 等文本转语音后端，并通过 Whisper 支持语音转文本。 ### 灵活的模型加载 可直接从 Hugging Face 或任意 URL 加载模型，简化分发和测试。 ## 使用场景 ### 离线助手和聊天应用 构建不依赖外部模型 API 的本地聊天体验。 ### 多平台嵌入式 AI 功能 使用文档中介绍的平台软件包，将 LLM 能力添加到 Kotlin、Swift、Python、Flutter、React Native 或 Godot 项目中。 ### 需要语音输入和输出的应用 将 Whisper 转录与本地文本转语音结合，用于支持语音的工作流。 ### 使用工具的智能体 需要模型根据应用代码触发结构化操作时，可使用类型安全的函数调用。 ### 从原型到产品的模型测试 从 Hugging Face URL 加载 GGUF 模型，并在受支持的运行时中试验本地推理。 ## 常见问题 ### NobodyWho 需要 API 密钥吗？ 不需要。README 说明它可在本地离线运行，无需 API 密钥。 ### 它支持哪些类型的模型？ 仓库说明它可以运行 Gemma、Qwen 和 Mistral 等聊天 LLM，并兼容数千个 GGUF 格式的预训练 LLM。 ### 它能处理语音工作流吗？ 可以。README 提到支持文本转语音和语音转文本，包括 Kokoro、Pocket TTS、Supertonic 和 Whisper。 ### 支持哪些平台？ 项目列出了 Kotlin、Swift、Python、Flutter、React Native 和 Godot。 ### 模型来自哪里？ README 说明模型可以从 Hugging Face 或任意 URL 加载。 ## 快速信息 - **类别**: 开发者工具 - **主要用途**: 本地 LLM 推理 - **部署方式**: 本地/离线运行 - **支持的平台**: Kotlin、Swift、Python、Flutter、React Native、Godot - **模型格式**: GGUF - **项目来源**: github.com