整合多个免费提供商
将包括 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 和 OpenCode Zen 在内的多个提供商免费额度聚合到一个兼容 OpenAI 的统一入口后。
概览
FreeLLMAPI 是一款兼容 OpenAI 的代理，可通过单一 `/v1` 端点路由多个 LLM 提供商的免费额度请求。该项目将自己定位为把各自的免费计划整合为一个共享推理入口，适合个人实验。
它支持一长串提供商集成，也支持任何自定义的兼容 OpenAI 端点，例如 llama.cpp、LM Studio、vLLM 或本地 Ollama 实例。该代理负责模型路由、自动故障转移、上游密钥的加密存储，以及用于管理密钥和查看使用情况的仪表板。
功能
自动路由与故障转移
使用路由器为每个请求选择一个模型；当某个提供商触发限流、返回 429/5xx 或超时时，自动切换到下一个提供商，并对失败的密钥设置短暂冷却时间。
按密钥使用情况追踪
按提供商、模型和密钥跟踪 RPM、RPD、TPM 和 TPD，并在多轮对话期间将会话粘在同一模型上约 30 分钟。
加密密钥与统一应用访问
使用 AES-256-GCM 将提供商 API 密钥加密后存储在 SQLite 中，同时客户端通过单一统一的 bearer token 向代理完成认证。
兼容 OpenAI 的 API 入口
提供 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式、非流式以及 OpenAI 风格工具调用，兼容相关客户端。
内置管理面板与分析
包含一个 React + Vite 管理面板，可用于管理密钥、调整回退链顺序、查看分析数据，并在 playground 中运行提示词。
使用场景
为 LLM 应用使用单一 API 端点
将 OpenAI SDK、LangChain、LlamaIndex、Continue 或类似客户端指向该代理，并保持相同的应用代码，只需将上游路径切换为 `/v1`。
在多个免费额度之间分散请求
添加多个免费额度服务的提供商密钥，让路由器选择可用模型；当某个提供商被限流或不可用时，自动故障转移。
自托管个人代理栈
在本地或小型服务器上运行 Docker Compose 配置，将 API、管理面板和 SQLite 数据保留在同一个自托管环境中。
管理密钥并监控使用情况
使用管理面板调整回退链顺序、查看延迟和 token 使用情况，并在将客户端接入代理前测试提示词。
路由到自定义本地或远程端点
通过同一个统一路由器连接自定义的兼容 OpenAI 后端，例如 LM Studio、llama.cpp、vLLM 或本地 Ollama。
Pros and Cons
Pros
- 将许多免费额度提供商整合到一个兼容 OpenAI 的端点后。
- 在提供商被限流、出错或超时时支持自动回退。
- 使用 AES-256-GCM 在静态存储时加密上游密钥。
- 通过更改基础 URL，就能与广泛的兼容 OpenAI 客户端和 SDK 配合使用。
- 包含一个自托管的管理面板，用于密钥管理和分析。
Cons
- 它明确限定于个人实验和单用户设置，不适用于多租户团队计费。
- 部分 OpenAI API 领域尚未实现，包括图像生成、音频、旧版 completions、审核以及 n > 1 completions。
FAQ
哪些客户端可以使用 FreeLLMAPI？
FreeLLMAPI 旨在与兼容 OpenAI 的客户端配合使用。README 说明，你可以通过更改基础 URL，将任何 OpenAI SDK 或兼容客户端（例如 LangChain、LlamaIndex、Continue 或 Hermes）指向该代理。
FreeLLMAPI 通常如何部署？
Docker 指南说明，个人使用时推荐通过 Docker Compose 运行。它在 3001 端口从单个进程提供 API 和管理面板服务，并将 SQLite 持久化到命名卷中。
支持哪些 OpenAI 风格的端点和工作流？
README 说明，该代理实现了 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式和非流式响应，以及 OpenAI 风格的工具调用。它不实现图像生成、音频、旧版 completions、审核、单次请求多次 completions 或按用户计费。
团队可以使用多租户认证来使用它吗？
该项目围绕单用户设置构建。README 明确说明，目前不支持按用户计费和多租户认证。
Quick Facts
- 类别
- 开发者工具
- 主要用途
- 兼容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自托管
- 认证模型
- 应用使用统一 bearer token；管理端使用邮箱/密码登录
- 源站域名
- github.com
- 价格
- 开源项目；已查看 GitHub 的定价页面以获取托管背景，但该产品本身不提供付费计划
FreeLLMAPI 替代品
AakarDev AI
AakarDev AI helps teams manage AI provider access, project-level setups, logs, and analytics from one dashboard. It supports BYOK workflows and lists providers including OpenAI, Google Gemini, Anthropic, Groq, Mistral AI, and Perplexity AI.
Happycapy
Happycapy is a browser-based agent platform that lets users run Claude Code, manage skills, and delegate tasks inside a secure sandbox. It offers a free tier plus paid plans for more automation, email handoff, and larger workloads.
Agentset
Agentset 是一个开源平台，用于在私有或内部知识库之上构建 AI 聊天和搜索体验。支持带引用的生产级 RAG、图像/图表/表格等多模态文档，并提供免费版、Pro 版和企业版方案。
Firecrawl
Firecrawl 是面向 AI 代理和开发者的 web 上下文 API，可将实时网站转换为干净的 Markdown 或结构化数据。支持搜索、抓取、爬取、监控和浏览器交互，适用于研究与自动化工作流。
Tinkerer Club
Tinkerer Club 私密会员：自管服务器、运行自建AI，软件访问描述为$0/月，支持$299终身访问。
openbmb/MiniCPM-o-4_5
MiniCPM-o 4.5 is a 9B-parameter multimodal model on Hugging Face for vision, speech, OCR, and full-duplex live-streaming workflows. It supports instruct and thinking modes, bilingual English and Chinese speech, and multiple deployment paths including PyTorch, llama.cpp, Ollama, vLLM, and SGLang.