兼容 OpenAI 的网关端点
提供带流式传输支持的单一 `/v1` 端点,使现有客户端无需改变基本 API 形式即可连接。
开源 AI 网关:用一个端点和 API 密钥统一接入托管模型、自有密钥、本地模型与自定义模型,并提供路由、预算、访问控制、归因及可选智能功能。
Experiential Labs 是一个开源 AI 网关,可通过单一兼容 OpenAI 的端点路由模型流量。团队可以让智能体和应用指向同一个 API,同时通过同一接口使用托管服务商、自有服务商密钥,或本地及自定义模型。
该产品旨在集中管理模型调用中的密钥、使用控制和归因。其核心网关免费且开源,可自行托管;托管服务则增加了托管式路由、组织控制,以及智能层,可建议更低成本或更快的路由、提高缓存命中率,并支持使用团队流量训练的模型。
提供带流式传输支持的单一 `/v1` 端点,使现有客户端无需改变基本 API 形式即可连接。
在托管服务商、云主机、共享账户、自有密钥和本地模型之间路由请求,并在容量不足或服务商出错时进行故障转移。
在网关层执行硬性上限、模型允许列表和请求级策略,使限制应用于每次调用。
提供支出、请求、令牌数量、TTFT 以及按智能体、人员、模型或日期细分的使用情况日志和仪表板。
支持使用自有服务商密钥;在更高版本的套餐中,还可通过同一端点路由至本地和自定义模型。
提供逐提示词的模型优化、缓存建议、提示词压缩指导,以及可选择加入的、使用团队流量训练的模型。
使用多个模型服务商的团队可以为智能体和开发者提供一个端点、一次登录,以及统一管理密钥和策略的位置。
管理员可以设置上限、按预算路由,并按密钥、人员、智能体或日期检查使用情况,以了解成本来源。
产品和工程团队可以使用智能层,将简单提示词路由至成本更低的模型,将复杂提示词路由至能力更强的模型。
希望在自有基础设施上运行网关的组织,可以自行托管开源核心,并通过同一 API 路由至本地模型。
需要留存记录的团队可以查看单次调用的请求日志,其中包含路由、令牌、备用路由和成本数据。
定价采用积分制。路由的令牌按照服务商目录价消耗积分,不加价;智能功能也会消耗积分。网站提供 Free 套餐、Pro 套餐,以及可定制承诺积分的 Enterprise 套餐。
可以。网站称支持 BYOK,路由流量可以优先使用自有服务商密钥。
可以。核心网关开源,可在自有基础设施上运行。
支持。网站提到预算、允许列表、RBAC、组织级策略和 API 密钥管理。
它可以建议最佳模型路由、识别缓存机会,并支持使用流量训练的可选择加入模型。
流量数据仅供参考。