# Experiential Labs 开源 AI 网关:用一个端点和 API 密钥统一接入托管模型、自有密钥、本地模型与自定义模型,并提供路由、预算、访问控制、归因及可选智能功能。 - Findings24: - 网站: - 价格: Freemium - 分类: AI开发者工具 ## 什么是 Experiential Labs? Experiential Labs 是一个开源 AI 网关,可通过单一兼容 OpenAI 的端点路由模型流量。团队可以让智能体和应用指向同一个 API,同时通过同一接口使用托管服务商、自有服务商密钥,或本地及自定义模型。 该产品旨在集中管理模型调用中的密钥、使用控制和归因。其核心网关免费且开源,可自行托管;托管服务则增加了托管式路由、组织控制,以及智能层,可建议更低成本或更快的路由、提高缓存命中率,并支持使用团队流量训练的模型。 ## Experiential Labs 能做什么? ### 兼容 OpenAI 的网关端点 提供带流式传输支持的单一 \`/v1\` 端点,使现有客户端无需改变基本 API 形式即可连接。 ### 服务商路由与故障转移 在托管服务商、云主机、共享账户、自有密钥和本地模型之间路由请求,并在容量不足或服务商出错时进行故障转移。 ### 预算与模型允许列表 在网关层执行硬性上限、模型允许列表和请求级策略,使限制应用于每次调用。 ### 使用情况跟踪与归因 提供支出、请求、令牌数量、TTFT 以及按智能体、人员、模型或日期细分的使用情况日志和仪表板。 ### BYOK 与本地模型 支持使用自有服务商密钥;在更高版本的套餐中,还可通过同一端点路由至本地和自定义模型。 ### 智能层 提供逐提示词的模型优化、缓存建议、提示词压缩指导,以及可选择加入的、使用团队流量训练的模型。 ## 使用场景 ### 集中管理团队的模型访问 使用多个模型服务商的团队可以为智能体和开发者提供一个端点、一次登录,以及统一管理密钥和策略的位置。 ### 控制支出 管理员可以设置上限、按预算路由,并按密钥、人员、智能体或日期检查使用情况,以了解成本来源。 ### 改进智能体路由 产品和工程团队可以使用智能层,将简单提示词路由至成本更低的模型,将复杂提示词路由至能力更强的模型。 ### 支持自托管或本地推理 希望在自有基础设施上运行网关的组织,可以自行托管开源核心,并通过同一 API 路由至本地模型。 ### 审计请求行为 需要留存记录的团队可以查看单次调用的请求日志,其中包含路由、令牌、备用路由和成本数据。 ## 常见问题 ### 定价如何运作? 定价采用积分制。路由的令牌按照服务商目录价消耗积分,不加价;智能功能也会消耗积分。网站提供 Free 套餐、Pro 套餐,以及可定制承诺积分的 Enterprise 套餐。 ### 可以使用自有服务商密钥吗? 可以。网站称支持 BYOK,路由流量可以优先使用自有服务商密钥。 ### 可以自行托管网关吗? 可以。核心网关开源,可在自有基础设施上运行。 ### 网关支持访问控制吗? 支持。网站提到预算、允许列表、RBAC、组织级策略和 API 密钥管理。 ### 智能层能做什么? 它可以建议最佳模型路由、识别缓存机会,并支持使用流量训练的可选择加入模型。 ## 快速信息 - **类别**: 开发者工具 - **产品类型**: 开源 AI 网关 - **主要用户**: 跨多个模型服务商路由调用的团队和智能体 - **部署方式**: 托管服务,或在自有基础设施上自行托管 - **API 形式**: 兼容 OpenAI 的 \`/v1\` 端点 - **来源域名**: experientiallabs.ai