本地离线推理
无需 API 密钥或隐藏使用费用即可运行 LLM,适合隐私要求较高或网络受限的工作流。
NobodyWho 是一款在设备上运行的大语言模型本地推理引擎。该项目将自身定位为一种在任何设备上高效使用 LLM 的方式,重点强调离线运行和本地执行,而非调用托管 API。
仓库 README 突出介绍了对聊天模型、结构化工具调用、多模态输入、文本转语音、语音转文本的支持,以及从 Hugging Face 或任意直接 URL 下载模型的能力。README 还提到可通过 Vulkan 或 Metal 进行 GPU 加速推理、支持具备对话感知能力的上下文切换,以及兼容由 llama.cpp 驱动的 GGUF 模型。
无需 API 密钥或隐藏使用费用即可运行 LLM,适合隐私要求较高或网络受限的工作流。
支持 Gemma、Qwen 和 Mistral 等聊天 LLM,并广泛兼容许多 GGUF 格式的模型。
根据函数签名生成结构化语法,减少手动编写模式的需要。
可在 LLM 交互中接收图像和音频信息。
内置 Kokoro、Pocket TTS 和 Supertonic 等文本转语音后端,并通过 Whisper 支持语音转文本。
可直接从 Hugging Face 或任意 URL 加载模型,简化分发和测试。
构建不依赖外部模型 API 的本地聊天体验。
使用文档中介绍的平台软件包,将 LLM 能力添加到 Kotlin、Swift、Python、Flutter、React Native 或 Godot 项目中。
将 Whisper 转录与本地文本转语音结合,用于支持语音的工作流。
需要模型根据应用代码触发结构化操作时,可使用类型安全的函数调用。
从 Hugging Face URL 加载 GGUF 模型,并在受支持的运行时中试验本地推理。
不需要。README 说明它可在本地离线运行,无需 API 密钥。
仓库说明它可以运行 Gemma、Qwen 和 Mistral 等聊天 LLM,并兼容数千个 GGUF 格式的预训练 LLM。
可以。README 提到支持文本转语音和语音转文本,包括 Kokoro、Pocket TTS、Supertonic 和 Whisper。
项目列出了 Kotlin、Swift、Python、Flutter、React Native 和 Godot。
README 说明模型可以从 Hugging Face 或任意 URL 加载。
流量数据仅供参考。
| 6月 | 0 |
|---|---|
| 7月 | 0 |
| 8月 | 0 |
暂无流量分析数据。
暂无流量分析数据。