# AI Endpoints OVHcloud AI Endpoints 为多种生成式 AI 模型提供无服务器推理 API，涵盖大语言模型、语音、文档和图像分析模型。开发者可通过兼容 OpenAI 的 API 及受支持的集成，为应用添加 AI 能力。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 向量嵌入 API, AI 推理平台, 大语言模型 API ## 什么是 AI Endpoints？ AI Endpoints 是 OVHcloud 面向 20 多种生成式 AI 模型提供的无服务器推理 API。开发者可以通过 API 访问 Llama、Qwen 和 OSS GPT 等模型，以及用于大语言模型（LLM）和嵌入任务、语音处理、文档分析和图像分析的模型。 该服务旨在帮助开发者为应用添加 AI 能力，而无需直接管理模型推理基础设施。其 API 遵循兼容 OpenAI 的格式，产品页面提供用于集成的文档和代码示例。此外，还提供 Playground，可在沙盒中或通过 API 测试模型。 AI Endpoints 提供两种处理模式：适用于持续工作负载的 Base，以及标记为 beta、适用于批量或延迟处理的 Batch。OVHcloud 声明不会使用数据训练或改进其 AI 模型，并说明除计费所需数据外不会保留数据。模型可以部署在用户的基础设施上，或与其他云服务结合使用，从而支持可移植性。 ## AI Endpoints 能做什么？ ### 无服务器模型推理 通过 API 调用多种生成式 AI 模型，无需直接运行推理基础设施。模型目录总计包含 20 多种模型，其中包括 Llama、Qwen 和 OSS GPT。 ### Base 和 Batch 处理 使用 Base 处理持续工作负载和典型的交互式响应模式，或使用目前处于 beta 阶段的 Batch 处理分类和批量标注等批量或延迟任务。 ### 兼容 OpenAI 的 API 使用受常见 AI 工具支持的标准 API 格式。产品页面列出了适用于 Base 的大语言模型和嵌入模型；通用模型每次 API 调用可使用一个提示词，嵌入模型则可使用 1–25 个提示词。 ### 注重隐私的数据处理 OVHcloud 声明不会使用客户数据训练或改进其 AI 模型，并且数据保留范围仅限于计费所需的信息。 ### 模型生命周期管理 提供透明的模型版本管理，以便在模型目录更新时支持结果的可复现性。 ### 测试与生态系统集成 在 Playground 中或通过 API 测试模型，并连接 Hugging Face、LiteLLM、Pydantic AI、Continue、Apache Airflow、LlamaIndex、LiveKit 和 Docker Agent 等列出的工具与框架。 ## 使用场景 ### 对话式应用 通过聊天机器人和其他面向客户互动、客户服务自动化或个性化用户体验的界面，为应用添加实时对话交互。 ### 语音转写与语音交互 使用语音转文本处理客户服务记录、会议记录或隐藏式字幕，并在需要音频无障碍支持或自定义时支持文本转语音体验。 ### 私有编码助手 将 Continue 等编码辅助插件连接到开发环境。列出的工作流支持代码建议、错误检测和任务自动化，同时注重数据机密性。 ### 批量数据分类 使用 Batch 处理延迟或高容量的 LLM 任务，包括数据分类和批量标注，而不是逐个请求的交互式工作负载。 ### AI 智能体与工作流开发 使用 LlamaIndex、Pydantic AI、Apache Airflow、Mastra、LiveKit 和 Docker Agent 等列出的生态系统工具，构建具备上下文感知能力的智能体和编排工作流。 ## 常见问题 ### 什么是 OVHcloud AI Endpoints？ 它是一种无服务器推理 API，可访问多种生成式 AI 模型，包括用于语言、嵌入、语音处理、文档分析和图像分析的模型。 ### Base 和 Batch 有什么区别？ Base 适用于持续工作负载和交互式使用。产品页面将 Batch 标记为 beta，适用于分类和批量标注等批量或延迟工作负载。 ### 这些 API 是否兼容采用 OpenAI 格式的工具？ 是。产品页面将 Base 和 Batch 都标识为兼容 OpenAI，因此所述 API 格式适用于围绕这一约定构建的工具。 ### 客户数据会用于训练模型吗？ OVHcloud 声明不会使用客户数据训练或改进其 AI 模型。同时，其说明不会保留数据，仅保留计费所需的数据。 ### 模型可以迁移到其他环境吗？ 产品页面说明，模型可以部署在用户基础设施上，或与其他云服务集成。这被描述为一种可移植性和可逆性选项，但现有来源未说明迁移流程。 ## 快速信息 - **提供商**: OVHcloud - **产品类型**: 无服务器推理 API - **模型目录**: 20 多种模型，包括 Llama、Qwen 和 OSS GPT - **API 格式**: 兼容 OpenAI - **处理模式**: Base 和 Batch（beta） - **可用性**: 列于 Gravelines Public Cloud 区域