AI Endpoints

什么是 AI Endpoints？

AI Endpoints 是 OVHcloud 面向 20 多种生成式 AI 模型提供的无服务器推理 API。开发者可以通过 API 访问 Llama、Qwen 和 OSS GPT 等模型，以及用于大语言模型（LLM）和嵌入任务、语音处理、文档分析和图像分析的模型。

该服务旨在帮助开发者为应用添加 AI 能力，而无需直接管理模型推理基础设施。其 API 遵循兼容 OpenAI 的格式，产品页面提供用于集成的文档和代码示例。此外，还提供 Playground，可在沙盒中或通过 API 测试模型。

AI Endpoints 提供两种处理模式：适用于持续工作负载的 Base，以及标记为 beta、适用于批量或延迟处理的 Batch。OVHcloud 声明不会使用数据训练或改进其 AI 模型，并说明除计费所需数据外不会保留数据。模型可以部署在用户的基础设施上，或与其他云服务结合使用，从而支持可移植性。

AI Endpoints 能做什么？

无服务器模型推理

通过 API 调用多种生成式 AI 模型，无需直接运行推理基础设施。模型目录总计包含 20 多种模型，其中包括 Llama、Qwen 和 OSS GPT。

Base 和 Batch 处理

使用 Base 处理持续工作负载和典型的交互式响应模式，或使用目前处于 beta 阶段的 Batch 处理分类和批量标注等批量或延迟任务。

兼容 OpenAI 的 API

使用受常见 AI 工具支持的标准 API 格式。产品页面列出了适用于 Base 的大语言模型和嵌入模型；通用模型每次 API 调用可使用一个提示词，嵌入模型则可使用 1–25 个提示词。

注重隐私的数据处理

OVHcloud 声明不会使用客户数据训练或改进其 AI 模型，并且数据保留范围仅限于计费所需的信息。

模型生命周期管理

提供透明的模型版本管理，以便在模型目录更新时支持结果的可复现性。

测试与生态系统集成

在 Playground 中或通过 API 测试模型，并连接 Hugging Face、LiteLLM、Pydantic AI、Continue、Apache Airflow、LlamaIndex、LiveKit 和 Docker Agent 等列出的工具与框架。

使用场景

“对话式应用”

通过聊天机器人和其他面向客户互动、客户服务自动化或个性化用户体验的界面，为应用添加实时对话交互。

“语音转写与语音交互”

使用语音转文本处理客户服务记录、会议记录或隐藏式字幕，并在需要音频无障碍支持或自定义时支持文本转语音体验。

“私有编码助手”

将 Continue 等编码辅助插件连接到开发环境。列出的工作流支持代码建议、错误检测和任务自动化，同时注重数据机密性。

“批量数据分类”

使用 Batch 处理延迟或高容量的 LLM 任务，包括数据分类和批量标注，而不是逐个请求的交互式工作负载。

“AI 智能体与工作流开发”

使用 LlamaIndex、Pydantic AI、Apache Airflow、Mastra、LiveKit 和 Docker Agent 等列出的生态系统工具，构建具备上下文感知能力的智能体和编排工作流。

常见问题

什么是 OVHcloud AI Endpoints？

它是一种无服务器推理 API，可访问多种生成式 AI 模型，包括用于语言、嵌入、语音处理、文档分析和图像分析的模型。

Base 和 Batch 有什么区别？

Base 适用于持续工作负载和交互式使用。产品页面将 Batch 标记为 beta，适用于分类和批量标注等批量或延迟工作负载。

这些 API 是否兼容采用 OpenAI 格式的工具？

是。产品页面将 Base 和 Batch 都标识为兼容 OpenAI，因此所述 API 格式适用于围绕这一约定构建的工具。

客户数据会用于训练模型吗？

OVHcloud 声明不会使用客户数据训练或改进其 AI 模型。同时，其说明不会保留数据，仅保留计费所需的数据。

模型可以迁移到其他环境吗？

产品页面说明，模型可以部署在用户基础设施上，或与其他云服务集成。这被描述为一种可移植性和可逆性选项，但现有来源未说明迁移流程。