# LiteLLM Pasarela de LLM, o proxy compatible con OpenAI, para gestionar autenticación, balanceo de carga, seguimiento del gasto y acceso a más de 100 LLM. - Findings24: - Sitio web: - Precios: Freemium - Categorías: Herramientas IA Dev, Centros de modelos de IA ## ¿Qué es LiteLLM? LiteLLM es una pasarela de LLM, también descrita como un proxy compatible con OpenAI, diseñada para gestionar la autenticación, el balanceo de carga y el seguimiento del gasto en más de 100 LLM. El producto se presenta como una forma de proporcionar a los desarrolladores acceso a modelos mediante el formato de OpenAI, manteniendo al mismo tiempo el control en un proxy central. El sitio presenta LiteLLM como una solución útil para equipos de plataforma y organizaciones que necesitan gestionar el acceso de muchos desarrolladores y proyectos. Admite alternativas de modelos, seguimiento del gasto, presupuestos, límites de velocidad, controles de protección y funciones de observabilidad, con opciones de código abierto y empresariales disponibles. ## ¿Qué puede hacer LiteLLM? ### Pasarela compatible con OpenAI Proporciona una única pasarela compatible con OpenAI para llamar a modelos de más de 100 LLM, manteniendo el mismo formato de solicitud entre proveedores. ### Seguimiento del gasto y atribución de costes Realiza un seguimiento del uso por clave, usuario, equipo u organización, y atribuye el gasto entre proveedores como OpenAI, Azure, Bedrock y GCP. ### Alternativas de LLM y balanceo de carga Enruta las solicitudes entre proveedores para gestionar interrupciones y reutiliza varias implementaciones con el mismo nombre de modelo cuando es necesario. ### Presupuestos y límites de velocidad Aplica presupuestos y límites de velocidad, incluido el seguimiento de RPM y TPM, para ayudar a gestionar el uso entre equipos e implementaciones. ### Controles operativos Añade controles de protección, gestión de prompts y endpoints de transferencia directa para definir cómo pasan las solicitudes por el proxy. ### Registro y observabilidad Utiliza funciones de registro y observabilidad, como el registro en S3 y OTEL, además de integraciones como Langfuse, Arize Phoenix y LangSmith. ## Casos de uso ### Estandarizar el acceso a modelos Centraliza el acceso a varios proveedores de modelos detrás de un único proxy para que los desarrolladores puedan llamar a modelos sin aprender formatos específicos de cada proveedor. ### Gestionar interrupciones y límites de velocidad Enruta el tráfico a proveedores o implementaciones alternativas cuando un modelo no está disponible o alcanza el límite de velocidad, ayudando a los equipos a mantener las aplicaciones en funcionamiento. ### Gestionar el gasto entre equipos Realiza un seguimiento del uso por equipo, organización, clave o usuario para que los responsables de la plataforma puedan atribuir costes y supervisar el consumo entre proyectos. ### Controlar el acceso en organizaciones grandes Utiliza controles empresariales de identidad y administración cuando muchos desarrolladores necesitan acceso temporal o basado en grupos a los modelos. ### Implementación empresarial autogestionada Implementa la pasarela en un entorno autogestionado cuando la organización necesita su propia infraestructura o asistencia para las actualizaciones. ## Preguntas frecuentes ### ¿Qué es LiteLLM? LiteLLM es una pasarela de LLM o proxy compatible con OpenAI que ayuda a los equipos a gestionar la autenticación, el balanceo de carga y el seguimiento del gasto en más de 100 LLM. La fuente lo describe como disponible en el formato de OpenAI. ### ¿Se puede alojar LiteLLM de forma autogestionada? La fuente indica que LiteLLM puede implementarse en las instalaciones y que LiteLLM Enterprise está disponible como una implementación segura y autogestionada. ### ¿LiteLLM ofrece opciones de código abierto y empresariales? Sí. La página de inicio describe la opción de código abierto como gratuita, mientras que la página empresarial presenta Enterprise como una oferta independiente con funciones como SSO, SCIM, autenticación OIDC/JWT, asistencia y ayuda para actualizaciones en directo. ### ¿Para quién está pensado LiteLLM? La fuente publicada no ofrece una guía de configuración completa, pero destaca el acceso compatible con OpenAI, el control del acceso a modelos y las funciones de identidad empresarial para organizaciones que necesitan gestionar el acceso de muchos desarrolladores y proyectos. ## Datos rápidos - **Categoría**: Pasarela de LLM o proxy compatible con OpenAI - **Usuarios principales**: Equipos de plataforma y organizaciones que gestionan el acceso de desarrolladores y proyectos a LLM - **Implementación**: Nube, código abierto e implementación empresarial autogestionada - **Formato**: Compatible con OpenAI - **Precios**: El código abierto aparece como gratuito; para Enterprise hay que contactar con ventas - **Dominio de origen**: litellm.ai