# AI21 AI21 为企业团队提供基础模型 API,并通过 Gateway 路由、缓存和压缩智能体上下文,帮助优化现有智能体工作流。 - Findings24: - 网站: - 价格: Paid - 分类: AI开发者工具, 大语言模型 API ## 什么是 AI21? AI21 为企业提供模块化 AI 技术栈,涵盖基础模型 API,以及用于优化现有智能体工作流的工具。团队可以通过 API 使用 Jamba 模型,也可以将智能体的 API base URL 连接到 AI21 Gateway,以实现请求路由、缓存和上下文压缩。 Gateway 目前处于 beta 阶段,预览期间免费。AI21 的企业后训练服务提供模型与智能体运行框架的联合优化,具体范围和交付安排需与团队确认。针对明确的企业工作负载,可与 AI21 协商专用模型调优;基础模型 API 的使用采用单独定价,并提供定制方案选项。 ## AI21 能做什么? ### 路由智能体请求 beta 版 Gateway 会根据任务难度、上下文长度和缓存大小等因素,为每轮请求选择模型。它会根据每个智能体的流量建立成本概况。 ### 压缩并缓存上下文 减少提示词、工具 schema 和输出中的冗余上下文,并调整上下文以便缓存。Gateway 会在提出建议时考虑更广泛的智能体运行过程。 ### 查看优化建议 查看建议的更改和预期节省,并在更改进入生产环境前批准这些更改。 ### 通过 API 访问基础模型 通过基础模型 API 和 SDK 使用 Jamba Mini 或 Jamba Large,并按使用量收取输入和输出 token 费用。 ### 安排专用模型调优 与 AI21 合作,为明确的企业工作负载调优专用的小型开放模型。 ## 使用场景 ### 优化现有智能体技术栈 将智能体流量连接到 Gateway,以查看路由、上下文和缓存方面的优化机会,而无需替换智能体的 harness。 ### 构建语言应用 将基础模型 API 用于指令或聊天工作负载,并根据模型输入和输出 token 计费。 ### 开发针对特定工作负载的模型 针对明确的业务工作负载使用专用模型调优,并与 AI21 讨论交付要求。 ## 常见问题 ### 哪些部分可以免费试用? AI21 Gateway 在 beta 预览期间免费。官方定价页另列基础模型 API 的 10 美元试用额度,无需信用卡;试用期限及适用条件请在注册时确认。付费 API 访问按使用量计费。 ### Jamba API 请求如何收费? Jamba Mini 的费用为每百万输入 token 0.20 美元、每百万输出 token 0.40 美元。Jamba Large 的费用为每百万输入 token 2 美元、每百万输出 token 8 美元。这些是基础模型 API 的费率,与专用模型工作分开。 ### 现有智能体如何连接到 Gateway? 将智能体的 API base URL 指向 AI21 Gateway。Gateway 位于 harness 与模型之间,根据流量建立成本概况,并在生产环境更改前提供建议供审核。 ### 技术栈的所有部分都以相同方式提供吗? 不是。Gateway 目前处于 beta 阶段;企业工作负载的专用模型训练,以及模型与智能体运行框架的联合优化,需与 AI21 协商安排。基础模型 API 按使用量提供访问,并提供定制方案选项。 ## 快速信息 - **主要受众**: 企业 AI 团队和开发者 - **核心输入**: 模型请求、智能体流量和明确的工作负载 - **访问方式**: 基础模型 API 和 SDK;Gateway 端点 - **当前可用性**: Gateway beta;企业后训练及运行框架优化需协商安排 - **访问模式**: 按使用量计费的模型 API;独立的 beta Gateway 和定制工作方案