여러 무료 제공업체를 함께 연결
Google, Groq, Cerebras, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare, HuggingFace, Z.ai, Ollama, Kilo, Pollinations, LLM7, OVH AI Endpoints, OpenCode Zen 등 여러 제공업체의 무료 요금을 하나의 OpenAI 호환 표면 아래로 통합합니다.
FreeLLMAPI
FreeLLMAPI는 여러 LLM 제공업체의 무료 요금을 하나의 /v1 엔드포인트로 연결하는 OpenAI 호환 프록시입니다. 개인 실험용으로 자동 장애 조치, 암호화된 업스트림 키 저장, 내장 관리자 대시보드를 제공합니다.
개요
FreeLLMAPI는 단일 /v1 엔드포인트 뒤에서 여러 LLM 제공업체의 무료 요금제를 가로질러 요청을 라우팅하는 OpenAI 호환 프록시입니다. 이 프로젝트는 개인 실험용으로 개별 무료 플랜을 하나의 공유 추론 표면으로 결합하는 방법으로 자신을 소개합니다.
여러 제공업체 통합은 물론 llama.cpp, LM Studio, vLLM, 로컬 Ollama 인스턴스 같은 임의의 OpenAI 호환 엔드포인트도 지원합니다. 이 프록시는 모델 라우팅, 자동 장애 조치, 업스트림 키의 암호화 저장, 키 관리와 사용량 검토를 위한 대시보드를 처리합니다.
기능
자동 라우팅 및 장애 조치
각 요청에 대해 모델을 선택하는 라우터를 사용하며, 속도 제한에 걸리거나 429/5xx를 반환하거나 시간 초과가 발생하면 다음 제공업체로 폴백하고, 실패한 키에는 짧은 쿨다운을 유지합니다.
키별 사용량 추적
제공업체, 모델, 키별로 RPM, RPD, TPM, TPD를 추적하며, 여러 턴의 대화 중에는 약 30분 동안 같은 모델에 스티키 세션을 유지합니다.
암호화된 키와 통합 앱 접근
제공업체 API 키를 SQLite에 AES-256-GCM으로 암호화해 저장하고, 클라이언트는 하나의 통합 베어러 토큰으로 프록시에 인증합니다.
OpenAI 호환 API 표면
/v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, 스트리밍, 비스트리밍, OpenAI 스타일 도구 호출을 호환 클라이언트에 제공합니다.
내장 대시보드와 분석
키 관리, 폴백 체인 정렬, 분석 확인, 플레이그라운드에서 프롬프트 실행을 위한 React + Vite 관리자 대시보드를 포함합니다.
사용 사례
LLM 앱에 단일 API 엔드포인트 사용
OpenAI SDK, LangChain, LlamaIndex, Continue 또는 유사한 클라이언트를 프록시에 연결하고, 업스트림 경로를 /v1로 바꾸면서 동일한 애플리케이션 코드를 유지합니다.
무료 요금제 전반으로 요청 분산
여러 무료 요금제 서비스의 제공업체 키를 추가한 뒤 라우터가 사용 가능한 모델을 선택하도록 하고, 제공업체가 제한되거나 사용 불가할 때 자동으로 폴백합니다.
개인 프록시 스택 자체 호스팅
Docker Compose 설정을 로컬이나 소형 서버에서 실행해 API, 대시보드, SQLite 데이터를 하나의 자체 호스팅 환경에 유지합니다.
키 관리 및 사용량 모니터링
관리자 대시보드로 폴백 체인을 재정렬하고, 지연 시간과 토큰 사용량을 확인하며, 클라이언트를 프록시에 연결하기 전에 프롬프트를 테스트합니다.
커스텀 로컬 또는 원격 엔드포인트로 라우팅
LM Studio, llama.cpp, vLLM, 로컬 Ollama 같은 커스텀 OpenAI 호환 백엔드를 동일한 통합 라우터를 통해 연결합니다.
Pros and Cons
Pros
- 여러 무료 요금제 제공업체를 하나의 OpenAI 호환 엔드포인트 아래로 결합합니다.
- 제공업체가 속도 제한에 걸리거나 오류가 나거나 시간 초과되면 자동으로 폴백을 지원합니다.
- 업스트림 키를 AES-256-GCM으로 암호화해 저장 시 보호합니다.
- base URL만 변경하면 다양한 OpenAI 호환 클라이언트와 SDK와 함께 작동합니다.
- 키 관리와 분석을 위한 자체 호스팅 대시보드를 포함합니다.
Cons
- 개인 실험과 단일 사용자 설정을 명시적으로 대상으로 하며, 멀티테넌트 팀 청구는 지원하지 않습니다.
- 이미지 생성, 오디오, 레거시 completions, moderation, n > 1 completions를 포함해 여러 OpenAI API 영역이 구현되지 않았습니다.
FAQ
어떤 클라이언트가 FreeLLMAPI를 사용할 수 있나요?
FreeLLMAPI는 OpenAI 호환 클라이언트와 함께 작동하도록 설계되었습니다. README에서는 base URL을 변경하면 OpenAI SDK나 LangChain, LlamaIndex, Continue, Hermes 같은 호환 클라이언트를 프록시에 연결할 수 있다고 설명합니다.
FreeLLMAPI는 일반적으로 어떻게 배포되나요?
Docker 가이드에 따르면 개인 사용에는 Docker Compose로 실행하는 것이 권장됩니다. API와 대시보드를 하나의 프로세스로 포트 3001에서 제공하며, SQLite는 이름 있는 볼륨에 유지됩니다.
어떤 OpenAI 스타일 엔드포인트와 워크플로를 지원하나요?
README에 따르면 이 프록시는 /v1/chat/completions, /v1/models, /v1/responses, /v1/embeddings, 스트리밍 및 비스트리밍 응답, 그리고 OpenAI 스타일 도구 호출을 구현합니다. 이미지 생성, 오디오, 레거시 completions, moderation, 요청당 여러 completions, 사용자별 청구는 구현하지 않습니다.
팀이 멀티테넌트 인증과 함께 사용할 수 있나요?
이 프로젝트는 단일 사용자 설정을 중심으로 만들어졌습니다. README에서는 사용자별 청구와 멀티테넌트 인증이 아직 지원되지 않는다고 명시합니다.
Quick Facts
- Category
- 개발자 도구
- Primary use
- OpenAI 호환 LLM 프록시
- Deployment
- Docker Compose 또는 Node 20+ 자체 호스팅
- Auth model
- 앱용 통합 베어러 토큰; 관리자용 이메일/비밀번호 로그인
- Source domain
- github.com
- Pricing
- 오픈 소스 프로젝트; 호스팅 맥락을 위해 GitHub의 가격 페이지를 검토했지만, 제품 자체는 유료 플랜을 제공하지 않습니다
FreeLLMAPI 대안
DDS Hub
DDS Hub is an AI API platform for Claude and OpenAI-family model workflows, with token-based pricing, model selection, and Claude Code setup guidance. It is aimed at developers who want API access, usage-based billing, and basic troubleshooting in one place.
NavtoAI API
NavtoAI API is a unified AI API gateway that lets developers and teams route requests across 200+ models through one account and one API shape. The collected pages also show API key usage lookup, routing controls, and centralized management for keys, quota, billing, users, and observability.
EvoLink
EvoLink is an AI model API platform that gives developers one OpenAI-compatible endpoint for accessing text, image, video, and music models from multiple providers. It is positioned for production apps, agents, and workflows that need model comparison, routing, and usage-based access.
ZenMux
ZenMux is an enterprise LLM platform with a unified API for multiple model providers, automatic prompt-based routing, and usage-based or subscription pricing. It is aimed at developers and teams building AI applications that need multi-model access, cost visibility, and compensation for certain model failures.
Kie.ai
Kie.ai is a developer-focused AI API platform for accessing chat, image, video, and music models through one interface. It combines model browsing, API keys, billing, usage logs, and per-model pricing for integration-focused workflows.
AIHubMix
AIHubMix is a developer-oriented AI gateway for routing requests through a single API across multiple model families, including ChatGPT, Claude, Gemini, DeepSeek, Doubao, and Qwen. The site also states support for unlimited concurrency.