Inferencia de modelos sin servidor
Accede a una selección de modelos de IA generativa mediante API sin gestionar directamente la infraestructura de inferencia. El catálogo incluye Llama, Qwen, OSS GPT y más de 20 modelos en total.
AI Endpoints
Freemium
OVHcloud AI Endpoints ofrece API de inferencia sin servidor para una selección de modelos de IA generativa, incluidos LLM y modelos de voz y análisis de documentos e imágenes.
¿Qué es AI Endpoints?
AI Endpoints de OVHcloud es una API de inferencia sin servidor que ofrece acceso a un catálogo de más de 20 modelos de IA generativa. Proporciona a los desarrolladores acceso mediante API a modelos como Llama, Qwen y OSS GPT, además de modelos para cargas de trabajo de LLM y embeddings, procesamiento de voz y análisis de documentos e imágenes.
El servicio está pensado para añadir capacidades de IA a las aplicaciones sin gestionar directamente la infraestructura de inferencia de modelos. Sus API siguen el formato compatible con OpenAI, y la página del producto ofrece documentación y ejemplos de código para la integración. También hay un entorno de pruebas para probar modelos en un entorno aislado o mediante la API.
AI Endpoints ofrece dos modos de procesamiento: Base, para cargas de trabajo continuas, y Batch, indicado como beta, para procesamiento masivo o diferido. OVHcloud declara que los datos no se utilizan para entrenar ni mejorar sus modelos de IA y describe una retención cero de datos, salvo los necesarios para la facturación. Los modelos se pueden desplegar en la infraestructura del usuario o utilizar con otros servicios en la nube, lo que facilita la portabilidad.
¿Qué puede hacer AI Endpoints?
Procesamiento Base y Batch
Utiliza Base para cargas de trabajo continuas y patrones habituales de respuesta interactiva, o Batch, actualmente en beta, para tareas masivas o diferidas, como la clasificación y el etiquetado masivo.
API compatibles con OpenAI
Utiliza un formato de API estándar compatible con herramientas populares de IA. La página del producto incluye LLM y embeddings para Base, con un prompt por llamada a la API para modelos generales y de 1 a 25 prompts para embeddings.
Gestión de datos centrada en la privacidad
OVHcloud declara que los datos de los clientes no se utilizan para entrenar ni mejorar sus modelos de IA y que la retención de datos se limita a la información necesaria para la facturación.
Gestión del ciclo de vida de los modelos
La gestión transparente de las versiones de los modelos favorece la reproducibilidad a medida que se actualiza el catálogo.
Pruebas e integraciones del ecosistema
Prueba los modelos en el entorno de pruebas o mediante la API y conéctate con las herramientas y los frameworks indicados, como Hugging Face, LiteLLM, Pydantic AI, Continue, Apache Airflow, LlamaIndex, LiveKit y Docker Agent.
Casos de uso
“Aplicaciones conversacionales”
Añade interacciones conversacionales en tiempo real a las aplicaciones mediante chatbots y otras interfaces destinadas a la interacción con clientes, la automatización del servicio de atención al cliente o experiencias de usuario personalizadas.
“Transcripción de voz e interacciones por voz”
Utiliza la conversión de voz a texto para registros de atención al cliente, reuniones o subtítulos, y habilita experiencias de texto a voz cuando se requiera accesibilidad o personalización del audio.
“Asistentes de programación privados”
Conecta plugins de asistencia a la programación, como Continue, a los entornos de desarrollo. El flujo de trabajo indicado permite sugerencias de código, detección de errores y automatización de tareas, con especial atención a la confidencialidad de los datos.
“Clasificación masiva de datos”
Utiliza el procesamiento Batch para tareas de LLM diferidas o de gran volumen, como la clasificación y el etiquetado masivo de datos, en lugar de cargas de trabajo interactivas de una solicitud cada vez.
“Desarrollo de agentes de IA y flujos de trabajo”
Crea agentes con conocimiento del contexto y flujos de trabajo orquestados con herramientas del ecosistema indicadas, como LlamaIndex, Pydantic AI, Apache Airflow, Mastra, LiveKit y Docker Agent.
Preguntas frecuentes
¿Qué es OVHcloud AI Endpoints?
Es una API de inferencia sin servidor que ofrece acceso a una selección de modelos de IA generativa, incluidos modelos de lenguaje, embeddings, procesamiento de voz y análisis de documentos e imágenes.
¿Cuál es la diferencia entre Base y Batch?
Base está pensado para cargas de trabajo continuas y uso interactivo. Batch, que la página del producto indica como beta, está pensado para cargas de trabajo masivas o diferidas, como la clasificación y el etiquetado masivo.
¿Las API son compatibles con herramientas que utilizan el formato OpenAI?
Sí. La página del producto indica que tanto Base como Batch son compatibles con OpenAI, por lo que el formato de API especificado es adecuado para herramientas basadas en esa convención.
¿Se utilizan los datos de los clientes para entrenar los modelos?
OVHcloud declara que los datos de los clientes no se utilizarán para entrenar ni mejorar sus modelos de IA. También describe una retención cero de datos y conserva únicamente los necesarios para la facturación.
¿Se pueden trasladar los modelos a otro entorno?
La página del producto indica que los modelos se pueden desplegar en la infraestructura del usuario o integrar con otros servicios en la nube. Se presenta como una opción de portabilidad y reversibilidad, aunque la información disponible no especifica el proceso de migración.
Datos rápidos
- Proveedor
- OVHcloud
- Tipo de producto
- API de inferencia sin servidor
- Catálogo de modelos
- Más de 20 modelos, incluidos Llama, Qwen y OSS GPT
- Formato de API
- Compatible con OpenAI
- Modos de procesamiento
- Base y Batch (beta)
- Disponibilidad
- Disponible en la región Public Cloud de Gravelines