FreeLLMAPI

FreeLLMAPI 是相容 OpenAI 的代理，透過單一 `/v1` 端點將請求分散到多個 LLM 供應商的免費額度，適合個人測試，並提供自動故障轉移、上游金鑰加密儲存與內建管理儀表板。

概覽

FreeLLMAPI 是一個相容 OpenAI 的代理，透過單一 /v1 端點將請求路由到多個 LLM 供應商的免費額度。此專案定位為將個人的免費方案整合成一個共享推理介面，供個人測試使用。

它支援大量供應商整合，以及任何相容 OpenAI 的自訂端點，例如 llama.cpp、LM Studio、vLLM，或本機 Ollama 執行個體。此代理負責模型路由、自動故障轉移、上游金鑰的加密儲存，以及用來管理金鑰和檢視使用情況的儀表板。

功能

整合多個免費供應商

在一個相容 OpenAI 的介面後方，彙整包含 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 與 OpenCode Zen 在內的多個供應商免費額度。

自動路由與故障轉移

使用路由器為每個請求選擇模型；當某個供應商受到速率限制、回傳 429/5xx 或逾時時，會切換到下一個供應商，並對失敗的金鑰維持短暫冷卻時間。

逐金鑰使用量追蹤

依供應商、模型與金鑰追蹤 RPM、RPD、TPM 與 TPD，並在多輪對話期間於同一模型上維持約 30 分鐘的黏性工作階段。

加密金鑰與統一應用存取

將供應商 API 金鑰以 AES-256-GCM 加密後儲存在 SQLite 中，同時讓用戶端透過單一整合的 bearer token 向代理驗證。

相容 OpenAI 的 API 介面

提供 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流、非串流，以及相容用戶端可使用的 OpenAI 風格工具呼叫。

內建儀表板與分析

內建 React + Vite 管理儀表板，可用來管理金鑰、排序備援鏈、查看分析資料，並在 playground 中執行提示詞。

使用情境

讓 LLM 應用只使用單一 API 端點
將 OpenAI SDK、LangChain、LlamaIndex、Continue 或類似用戶端指向此代理，並在將上游路徑切換為 /v1 的同時維持相同的應用程式程式碼。
將請求分散到免費額度
加入多個免費額度服務的供應商金鑰，讓路由器選擇可用模型，當某個供應商被限流或無法使用時自動故障轉移。
自架個人代理堆疊
在本機或小型伺服器上執行 Docker Compose 設定，將 API、儀表板與 SQLite 資料保留在同一個自架環境中。
管理金鑰並監控使用量
使用管理儀表板重新排序備援鏈、檢視延遲與 token 使用量，並在將用戶端接入代理前測試提示詞。
路由到自訂本機或遠端端點
透過同一個統一路由器連接自訂的相容 OpenAI 後端，例如 LM Studio、llama.cpp、vLLM 或本機 Ollama。

Pros and Cons

Pros

將多個免費額度供應商整合到單一相容 OpenAI 的端點後方。
當供應商受到速率限制、發生錯誤或逾時時，支援自動備援。
以 AES-256-GCM 將上游金鑰靜態加密儲存。
只要變更 base URL，就能與廣泛的相容 OpenAI 用戶端與 SDK 搭配使用。
包含可自架的儀表板，用於金鑰管理與分析。

Cons

它明確聚焦於個人測試與單一使用者設定，而非多租戶團隊計費。
若干 OpenAI API 範圍未實作，包括圖片生成、音訊、舊版 completions、審核，以及 n > 1 completions。

FAQ

哪些用戶端可以使用 FreeLLMAPI？

FreeLLMAPI 設計為可與相容 OpenAI 的用戶端搭配使用。README 表示，你可以透過變更 base URL，將任何 OpenAI SDK 或相容用戶端，例如 LangChain、LlamaIndex、Continue 或 Hermes，指向此代理。

FreeLLMAPI 通常如何部署？

Docker 指南說，Docker Compose 是個人使用時建議的執行方式。它會在單一程序中於 3001 連接埠提供 API 與儀表板，SQLite 則會持久化到具名磁碟區。

支援哪些 OpenAI 風格的端點與工作流程？

README 說，這個代理實作了 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流與非串流回應，以及 OpenAI 風格的工具呼叫。它不支援圖片生成、音訊、舊版 completions、審核、每次請求多個 completions，或 per-user 計費。

團隊可以搭配多租戶驗證使用嗎？

此專案是以單一使用者設定為核心。README 明確表示，目前不支援 per-user 計費與多租戶驗證。

Quick Facts

分類: 開發者工具
主要用途: 相容 OpenAI 的 LLM 代理
部署方式: Docker Compose 或 Node 20+ 自架
驗證模式: 應用使用統一 bearer token；管理員使用 email/password 登入
來源網域: github.com
價格: 開源專案；曾檢視 GitHub 的價格頁以了解主機託管情境，但產品本身未提供付費方案

FreeLLMAPI 數據分析

FreeLLMAPI· 月造訪量 6.2億· 全球排名 #47

流量數據僅供參考。

月造訪量: 6.2億
全球排名: #47
分類排名: #4
使用者跳出率: 36.3%
平均造訪時長: 06:23
每次造訪頁數: 5.87

流量趨勢

月造訪量 - 3
4月	631004092
5月	636075828
6月	615239605

流量來源

直接造訪52.1%
搜尋25.4%
引薦9.88%
社群9.24%
郵件1.16%
展示廣告0.27%

主要造訪地區

美國19.3%
中國11.3%
印度10.2%
俄羅斯8.43%
德國4.06%
其他46.7%