# oMLX 基于 MLX 的原生 macOS 本地推理服务器，支持在 Apple Silicon 上运行语言、视觉语言、嵌入和重排序模型，适用于编码代理工作流。 - Findings24: - 网站: - 价格: Freemium - 分类: AI开发者工具 ## 什么是 oMLX？ oMLX 是一款基于 MLX 构建的原生 macOS 推理服务器，用于在 Apple Silicon 上本地运行 MLX 格式的 AI 模型。它提供用于管理模型、与模型聊天以及监控服务器指标的控制面板，同时支持 LLM、视觉语言、嵌入和重排序模型。 该产品尤其适用于编码代理会话，因为这类会话中的对话上下文会反复变化。其分页 SSD KV 缓存可以在请求之间以及服务器重启后保留缓存块，从而减少对之前已处理前缀的重复计算。 ## oMLX 能做什么？ ### 分页 SSD KV 缓存 以 safetensors 格式存储 KV 缓存块，将高频访问的缓存块保留在 RAM 中，并根据 LRU 策略将较少访问的缓存块移至 SSD。缓存的前缀可以在不同请求之间以及服务器重启后恢复。 ### 连续批处理 使用 mlx-lm 的 BatchGenerator 处理并发请求，而不是严格地一次处理一个请求。该网站在其公布的基准测试中报告称，在八路并发下，生成速度最高提升 4.14 倍。 ### 多模型服务 可同时加载 LLM、视觉语言、嵌入和重排序模型，并在内存不足时使用 LRU 驱逐机制。用户可以通过管理控制面板浏览和下载模型。 ### 兼容 OpenAI 和 Anthropic 的 API 提供 \`/v1/chat/completions\` 和 \`/v1/messages\` 端点，供兼容客户端使用，包括 Claude Code、OpenClaw、Cursor 以及其他兼容 OpenAI 的应用。 ### macOS 管理应用 原生菜单栏应用可以启动、停止和监控服务器。其 Web 控制面板包含模型管理、聊天和实时指标功能；该应用经过签名和公证，并支持应用内自动更新。 ### 工具调用和 MCP 支持 JSON、Qwen、Gemma、GLM 和 MiniMax 工具调用格式，还支持 MCP 工具集成，以及按模型配置对过大的工具结果进行裁剪。 ## 使用场景 ### 本地编码代理 在编码会话中，当代理反复访问或更改上下文时，将 oMLX 用作 Claude Code、OpenClaw 或 Cursor 的本地后端。 ### 并发本地推理 当多个本地客户端或工作流需要同时进行模型生成时，通过连续批处理服务多个请求。 ### 在 Mac 上进行模型实验 通过控制面板管理和测试来自 Hugging Face 的 MLX 格式模型，包括语言、视觉语言、嵌入和重排序模型。 ### 支持工具的模型工作流 将模型连接到使用工具调用或 MCP 的应用，并支持多种特定于模型的工具格式以及可选的工具结果裁剪。 ## 常见问题 ### oMLX 需要什么硬件和操作系统？ oMLX 需要搭载 Apple Silicon（M1 及更新型号）的 Mac，并运行 macOS 15 或更高版本。该网站列出的最低内存为 16GB，并建议使用 64GB 或更高内存，以便更舒适地运行较大的模型。 ### oMLX 能否与 Claude Code、OpenClaw 和 Cursor 配合使用？ 可以。它提供兼容 OpenAI 的 \`/v1/chat/completions\` 端点和兼容 Anthropic 的 \`/v1/messages\` 端点。其控制面板可以为支持的工具生成配置命令。 ### 现有模型是否需要重新下载？ 不一定。oMLX 可以读取标准 Hugging Face 缓存、LM Studio 文件夹和自定义目录。控制面板还提供 Hugging Face 下载器，用于下载新模型。 ### oMLX 可以提供哪些模型？ 该网站称，oMLX 支持来自 Hugging Face 的 MLX 格式模型，包括 Qwen、LLaMA、Mistral、Gemma、DeepSeek、MiniMax 和 GLM。它支持视觉语言模型，且对推理模型的处理包括自动支持 \`\\` 标签。 ### 如何安装 oMLX？ 用户可以下载 macOS DMG，或从源代码安装。从源代码安装需要 Python 3.10 或更高版本以及 Apple Silicon；文档中的服务器示例会连接到 localhost:8000 上的兼容客户端。 ## 快速信息 - **类别**: 本地 AI 推理服务器 - **平台**: Apple Silicon 上的 macOS 15 及更高版本 - **模型格式**: 来自 Hugging Face 的 MLX 格式模型 - **API 兼容性**: 兼容 OpenAI 和 Anthropic 的端点 - **主要工作流**: 编码代理、本地模型服务和支持工具的应用 - **许可证**: Apache 2.0