AI 网关和统一 API
通过统一 API 路由模型流量,使团队能够管理对多个 LLM 的访问,而无需为每个提供商单独集成。
Portkey 是面向 Gen AI 构建者的生产级技术栈。它将 AI 网关、可观测性、护栏、治理和提示词管理整合在一个平台中,帮助团队将 AI 应用推进到生产环境,并通过统一控制平面进行管理。
网站将 Portkey 描述为用于生产级 AI 的统一 API 和控制面板,提供从用于原型开发的免费层到生产与企业级方案等不同计划。在整个产品页面中,该平台围绕路由模型流量、记录 AI 交互、应用护栏以及让团队了解使用情况和成本来进行定位。
通过统一 API 路由模型流量,使团队能够管理对多个 LLM 的访问,而无需为每个提供商单独集成。
记录请求、响应、追踪、反馈、自定义元数据和筛选条件,帮助团队检查模型行为并调试故障。
使用护栏保护请求,并将 LLM 或合作伙伴护栏作为生产工作流的一部分。
借助 playground、API 端点和变量创建、版本化并复用提示词模板,用于提示词管理。
支持回退、负载均衡、重试、请求超时、缓存和虚拟密钥,便于运维控制。
使用基于角色的访问控制、服务账户 API 密钥以及企业治理选项来 পরিচাল团队运维。
通过单一 API 将应用连接到多个 LLM 提供商,让模型访问更易管理,并可在无需重写每个集成的情况下在提供商之间切换。
查看日志、追踪、反馈和元数据,以了解性能问题、调试错误,并监控 LLM 交互在生产环境中的表现。
应用护栏和路由控制(如回退、重试和负载均衡),使请求保持在生产策略范围内并提升可靠性。
管理提示词模板、版本、变量和 playground 测试,让团队在将提示词投入应用工作流之前进行迭代。
当组织需要更严格的运维控制时,可使用企业治理选项,例如基于角色的访问控制、SSO 和部署选项。
Portkey 是面向 Gen AI 应用的 AI 网关和生产控制平面。它将网关路由、可观测性、护栏和提示词管理整合在一个平台中。
定价页显示有免费方案、每月 49 美元的 Production 方案,以及定制价格的 Enterprise 方案。免费方案定位于原型开发和测试,而生产和企业方案则提供更多治理和支持功能。
网站将 Portkey 描述为可通过统一 API 访问的生产级 AI 控制面板。它旨在帮助团队在一个地方路由请求、查看日志和追踪、管理提示词并应用护栏。
网站上的可观测性页面说明,Portkey 会以详细日志、追踪、反馈和指标记录每个请求和响应。网关页面还强调了路由、回退、负载均衡、重试和 API/密钥管理。
定价页指出,Enterprise 方案支持私有云部署、VPC 托管、数据导出到数据湖、SSO 和高级合规功能。页面还说明,Free 和 Production 方案并不面向需要自定义安全控制或数据驻留保证的组织。
流量数据仅供参考。
www.tensorzero.com
开源 LLMOps 平台,用于构建和运营生产级大语言模型应用,涵盖网关、可观测性、评估、优化与实验;现已停止维护。
konghq.com
Kong AI Gateway 在 Kong AI 连接平台中集中治理 LLM、MCP 和代理间流量,帮助平台与 AI 团队为生产环境 AI 工作负载实施安全、可观测性、路由和成本控制。
helicone.ai
Helicone 是面向 AI 应用开发者的开源网关与大语言模型可观测性平台,可路由模型请求,并帮助团队分析用量、延迟、成本及应用行为。支持云端服务和自托管部署。
eachlabs.ai
each::labs 通过单一 API 编排 600 多个 AI 模型,提供路由、故障回退、可观测性和按用量计费,支持团队构建和运营涵盖视频、图像、音频与文本工作流的生产级 AI 应用。
trustedrouter.com
TrustedRouter 是兼容 OpenAI 的 AI 网关,可在数百种模型和服务商之间路由请求,提供可配置的隐私路由、服务商故障转移和可验证的提示词路径,面向开发者与团队打造。