整合多個免費供應商
在一個相容 OpenAI 的介面後方，彙整包含 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 與 OpenCode Zen 在內的多個供應商免費額度。
概覽
FreeLLMAPI 是一個相容 OpenAI 的代理，透過單一 /v1 端點將請求路由到多個 LLM 供應商的免費額度。此專案定位為將個人的免費方案整合成一個共享推理介面，供個人測試使用。
它支援大量供應商整合，以及任何相容 OpenAI 的自訂端點，例如 llama.cpp、LM Studio、vLLM，或本機 Ollama 執行個體。此代理負責模型路由、自動故障轉移、上游金鑰的加密儲存，以及用來管理金鑰和檢視使用情況的儀表板。
功能
自動路由與故障轉移
使用路由器為每個請求選擇模型；當某個供應商受到速率限制、回傳 429/5xx 或逾時時，會切換到下一個供應商，並對失敗的金鑰維持短暫冷卻時間。
逐金鑰使用量追蹤
依供應商、模型與金鑰追蹤 RPM、RPD、TPM 與 TPD，並在多輪對話期間於同一模型上維持約 30 分鐘的黏性工作階段。
加密金鑰與統一應用存取
將供應商 API 金鑰以 AES-256-GCM 加密後儲存在 SQLite 中，同時讓用戶端透過單一整合的 bearer token 向代理驗證。
相容 OpenAI 的 API 介面
提供 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流、非串流，以及相容用戶端可使用的 OpenAI 風格工具呼叫。
內建儀表板與分析
內建 React + Vite 管理儀表板，可用來管理金鑰、排序備援鏈、查看分析資料，並在 playground 中執行提示詞。
使用情境
讓 LLM 應用只使用單一 API 端點
將 OpenAI SDK、LangChain、LlamaIndex、Continue 或類似用戶端指向此代理，並在將上游路徑切換為 /v1 的同時維持相同的應用程式程式碼。
將請求分散到免費額度
加入多個免費額度服務的供應商金鑰，讓路由器選擇可用模型，當某個供應商被限流或無法使用時自動故障轉移。
自架個人代理堆疊
在本機或小型伺服器上執行 Docker Compose 設定，將 API、儀表板與 SQLite 資料保留在同一個自架環境中。
管理金鑰並監控使用量
使用管理儀表板重新排序備援鏈、檢視延遲與 token 使用量，並在將用戶端接入代理前測試提示詞。
路由到自訂本機或遠端端點
透過同一個統一路由器連接自訂的相容 OpenAI 後端，例如 LM Studio、llama.cpp、vLLM 或本機 Ollama。
Pros and Cons
Pros
- 將多個免費額度供應商整合到單一相容 OpenAI 的端點後方。
- 當供應商受到速率限制、發生錯誤或逾時時，支援自動備援。
- 以 AES-256-GCM 將上游金鑰靜態加密儲存。
- 只要變更 base URL，就能與廣泛的相容 OpenAI 用戶端與 SDK 搭配使用。
- 包含可自架的儀表板，用於金鑰管理與分析。
Cons
- 它明確聚焦於個人測試與單一使用者設定，而非多租戶團隊計費。
- 若干 OpenAI API 範圍未實作，包括圖片生成、音訊、舊版 completions、審核，以及 n > 1 completions。
FAQ
哪些用戶端可以使用 FreeLLMAPI？
FreeLLMAPI 設計為可與相容 OpenAI 的用戶端搭配使用。README 表示，你可以透過變更 base URL，將任何 OpenAI SDK 或相容用戶端，例如 LangChain、LlamaIndex、Continue 或 Hermes，指向此代理。
FreeLLMAPI 通常如何部署？
Docker 指南說，Docker Compose 是個人使用時建議的執行方式。它會在單一程序中於 3001 連接埠提供 API 與儀表板，SQLite 則會持久化到具名磁碟區。
支援哪些 OpenAI 風格的端點與工作流程？
README 說，這個代理實作了 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流與非串流回應，以及 OpenAI 風格的工具呼叫。它不支援圖片生成、音訊、舊版 completions、審核、每次請求多個 completions，或 per-user 計費。
團隊可以搭配多租戶驗證使用嗎？
此專案是以單一使用者設定為核心。README 明確表示，目前不支援 per-user 計費與多租戶驗證。
Quick Facts
- 分類
- 開發者工具
- 主要用途
- 相容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自架
- 驗證模式
- 應用使用統一 bearer token；管理員使用 email/password 登入
- 來源網域
- github.com
- 價格
- 開源專案；曾檢視 GitHub 的價格頁以了解主機託管情境，但產品本身未提供付費方案
FreeLLMAPI 替代品
DDS Hub
DDS Hub 是一個支援 Claude 與 OpenAI 家族模型工作流程的 AI API 平台，提供 token 計價、模型選擇與 Claude Code 設定指引，方便開發者在同一處取得 API 存取、用量計費與基本疑難排解。
NavtoAI API
NavtoAI API is a unified AI API gateway that lets developers and teams route requests across 200+ models through one account and one API shape. The collected pages also show API key usage lookup, routing controls, and centralized management for keys, quota, billing, users, and observability.
EvoLink
EvoLink 是 AI 模型 API 平台，提供相容 OpenAI 的單一端點，讓開發者可存取多家供應商的文字、圖片、影片與音樂模型，適合正式應用、agents 與工作流程。
ZenMux
ZenMux is an enterprise LLM platform with a unified API for multiple model providers, automatic prompt-based routing, and usage-based or subscription pricing. It is aimed at developers and teams building AI applications that need multi-model access, cost visibility, and compensation for certain model failures.
Kie.ai
Kie.ai 是專為開發者打造的 AI API 平台，透過單一介面存取聊天、圖片、影片與音樂模型，並提供模型瀏覽、API keys、計費、用量紀錄與按模型定價，適合整合型工作流程。
AIHubMix
AIHubMix 是面向開發者的 AI Gateway，透過單一 API 路由 ChatGPT、Claude、Gemini、DeepSeek、Doubao、Qwen 等多模型，並支援無限併發。