兼容 OpenAI 的模型 API
使用熟悉的 API 接口访问精选的前沿开放权重模型。文档所述设置方式是创建 API 密钥并发送推理请求，无需管理推理基础设施。
FriendliAI
Freemium
面向生产环境部署前沿开放权重模型和自定义 AI 模型的推理云，提供无服务器模型 API、专用 GPU 端点及 BYOG 选项，支持智能体、多模态和高吞吐工作负载。
什么是 FriendliAI？
FriendliAI 是一款面向生产环境提供前沿开放权重模型和自定义模型服务的 AI 推理云。它提供三种主要部署方式：无服务器模型 API、基于专用 GPU 的专用端点，以及自带 GPU（BYOG）。该平台面向构建智能体、多模态及其他推理工作负载的团队，适用于需要可扩展吞吐量、低延迟响应和托管运维的场景。
模型 API 提供可直接使用且兼容 OpenAI 的精选模型目录访问方式；专用端点则为可预测性能、自定义模型和部署控制提供专用容量。FriendliAI 还支持 JSON 模式、函数和工具调用以及架构引导输出等结构化生成特性。其文档所述基础设施包括多云多区域冗余、自动故障转移和监控。
FriendliAI 能做什么？
专用 GPU 推理
当工作负载需要可预测的吞吐量、隔离能力或自定义模型服务时，可将模型部署在专用 GPU 实例上。可用部署模式包括按需容量和企业预留容量。
智能体与结构化生成支持
模型 API 支持 JSON 模式、函数和工具调用以及架构引导输出。文档还介绍了广泛的模型支持、严格的架构校验和并行工具调用。
多模态模型访问
该平台为文本、视觉及其他受支持模态提供统一的 API 接口，帮助团队构建不仅使用文本生成的应用。
推理性能技术栈
FriendliAI 将自定义 GPU 内核、智能缓存、连续批处理、推测解码、并行推理和基础设施级缓存列为其推理优化方案的组成部分。
多区域可靠性与扩展
该服务采用多云多区域架构，并提供主动冗余、自动故障转移、快速恢复、监控以及用于应对流量变化的自动扩缩容。
使用场景
“生产环境 AI 智能体”
构建需要流式响应、长上下文推理、函数或工具调用以及结构化输出的智能体。模型 API 可作为起点，无需团队自行运营 GPU 基础设施。
“编程智能体”
通过 FriendliAI 文档所述的 FriendliLink 设置和智能体示例，将编程智能体工作流连接到开放权重模型，然后使用 API 执行由模型驱动的编程任务。
“自定义模型部署”
当应用需要专用 GPU 容量以及比共享无服务器 API 更多的部署控制时，可通过专用端点提供微调模型或专有模型服务。
“高流量或变化型流量”
使用模型 API 以无服务器方式开始并随需求扩展；当应用需要为持续推理工作负载提供更可预测的吞吐量时，也可迁移到专用端点。
“多模态应用”
使用该平台的文本和视觉模型访问能力，构建结合语言生成与视觉输入的应用，具体取决于所选模型的能力。
常见问题
如何开始使用 FriendliAI？
注册 FriendliAI，在“API Keys”设置页面创建 API 密钥，然后发送初始推理请求。文档为使用模型 API 和专用端点进行构建提供了指南、示例和 API 参考。
有哪些模型可用？
FriendliAI 列出了包括 GLM、MiniMax、Kimi、DeepSeek、Qwen 和 Gemma 在内的模型系列中的前沿开放权重模型。其网站还表示，专用端点支持自定义模型以及超过 610,000 个开放源代码模型；具体可用性和价格取决于所选服务方式。
现有的兼容 OpenAI 的应用可以使用 FriendliAI 吗？
可以。模型 API 被描述为兼容 OpenAI。产品页面表示，团队可以替换基础 URL，让兼容的代码通过 FriendliAI 发送请求。
什么时候应该使用专用端点，而不是模型 API？
模型 API 适用于快速、无服务器地访问精选模型，无需管理基础设施。当你需要专用 GPU 容量、可预测吞吐量、自定义模型服务，或按需实例和预留实例等部署选项时，专用端点更为合适。
专用端点的使用如何计费？
专用端点采用按秒计量的按需 GPU 计费方式；价格页面说明，客户仅在 GPU 处于活动状态期间付费，不收取额外的启动时间费用。列出的 GPU 每小时费率因 GPU 类型而异，而企业预留和 BYOG 安排采用单独的商业条款。
快速信息
- 产品类型
- 托管式 AI 推理云
- 部署选项
- 模型 API、专用端点和 BYOG
- API 兼容性
- 兼容 OpenAI 的模型 API
- 支持的模型范围
- 前沿开放权重模型、自定义模型以及包含 610,000 多个开放源代码模型的目录
- 文档所述输出能力
- 文本和视觉推理、JSON 模式、函数/工具调用以及架构引导输出
- 源站域名
- friendli.ai