FreeLLMAPI es un proxy compatible con OpenAI para enrutar solicitudes entre los planes gratis de varios proveedores LLM detrás de un único endpoint /v1. El proyecto se presenta como una forma de combinar planes gratuitos individuales en una única superficie de inferencia compartida para experimentación personal.
Admite una larga lista de integraciones de proveedores, además de cualquier endpoint personalizado compatible con OpenAI, como llama.cpp, LM Studio, vLLM o una instancia local de Ollama. El proxy gestiona el enrutamiento de modelos, el failover automático, el almacenamiento cifrado de claves upstream y un panel para administrar claves y revisar el uso.