路由智能体请求
beta 版 Gateway 会根据任务难度、上下文长度和缓存大小等因素,为每轮请求选择模型。它会根据每个智能体的流量建立成本概况。
AI21 为企业提供模块化 AI 技术栈,涵盖基础模型 API,以及用于优化现有智能体工作流的工具。团队可以通过 API 使用 Jamba 模型,也可以将智能体的 API base URL 连接到 AI21 Gateway,以实现请求路由、缓存和上下文压缩。
Gateway 目前处于 beta 阶段,预览期间免费。AI21 的企业后训练服务提供模型与智能体运行框架的联合优化,具体范围和交付安排需与团队确认。针对明确的企业工作负载,可与 AI21 协商专用模型调优;基础模型 API 的使用采用单独定价,并提供定制方案选项。
beta 版 Gateway 会根据任务难度、上下文长度和缓存大小等因素,为每轮请求选择模型。它会根据每个智能体的流量建立成本概况。
减少提示词、工具 schema 和输出中的冗余上下文,并调整上下文以便缓存。Gateway 会在提出建议时考虑更广泛的智能体运行过程。
查看建议的更改和预期节省,并在更改进入生产环境前批准这些更改。
通过基础模型 API 和 SDK 使用 Jamba Mini 或 Jamba Large,并按使用量收取输入和输出 token 费用。
与 AI21 合作,为明确的企业工作负载调优专用的小型开放模型。
将智能体流量连接到 Gateway,以查看路由、上下文和缓存方面的优化机会,而无需替换智能体的 harness。
将基础模型 API 用于指令或聊天工作负载,并根据模型输入和输出 token 计费。
针对明确的业务工作负载使用专用模型调优,并与 AI21 讨论交付要求。
AI21 Gateway 在 beta 预览期间免费。官方定价页另列基础模型 API 的 10 美元试用额度,无需信用卡;试用期限及适用条件请在注册时确认。付费 API 访问按使用量计费。
Jamba Mini 的费用为每百万输入 token 0.20 美元、每百万输出 token 0.40 美元。Jamba Large 的费用为每百万输入 token 2 美元、每百万输出 token 8 美元。这些是基础模型 API 的费率,与专用模型工作分开。
将智能体的 API base URL 指向 AI21 Gateway。Gateway 位于 harness 与模型之间,根据流量建立成本概况,并在生产环境更改前提供建议供审核。
不是。Gateway 目前处于 beta 阶段;企业工作负载的专用模型训练,以及模型与智能体运行框架的联合优化,需与 AI21 协商安排。基础模型 API 按使用量提供访问,并提供定制方案选项。
流量数据仅供参考。
| 5月 | 170162 |
|---|---|
| 6月 | 146693 |
| 7月 | 134331 |
暂无流量分析数据。
apipark.com
开源企业级 API 开发者门户与 AI 网关,管理 API 和生产环境 LLM
www.jurniti.com
jurniti 是面向 AI 智能体的托管平台,让智能体持续运行于专属 Firecracker 微型虚拟机中,并提供自带模型密钥、网页控制台、CLI、MCP、持久化存储及灵活计费方案。
higress.ai
面向 AI 场景的云原生网关,统一接入大模型 API、MCP Server 和 Agent
www.experientiallabs.ai
开源 AI 网关:用一个端点和 API 密钥统一接入托管模型、自有密钥、本地模型与自定义模型,并提供路由、预算、访问控制、归因及可选智能功能。
easyrouter.io
通过一个接口统一接入第三方模型 API 的 AI 模型网关
alphaproxy.ai
AlphaProxy 是兼容 OpenAI 的网关,可在 100 多家提供商的 450 多个模型之间路由请求,并支持多步骤代理任务与定时工作流。