AI 推理平台帮助你部署、运行和扩展生产环境中的机器学习模型,提供 API、GPU、监控与性能优化工具。
目录更新于 2026年11月19日
AI 网关与路由
AIMLAPI 通过一个 API 和计费密钥,接入涵盖聊天、推理、图像、视频、音频、语音、搜索、嵌入、代码等任务的 AI 模型目录,帮助开发者和团队在统一平台上比较并使用来自多家提供商的模型。
AI 推理平台
Cloudera 是面向企业的混合数据与 AI 平台,支持跨公有云、数据中心和边缘环境构建数据管道、开展分析并开发和部署私有模型。
Chutes 是面向开源模型的去中心化无服务器推理平台。开发者可通过 API 调用托管模型,也可在机密 GPU 算力上部署私有自定义工作负载。
SGLang 是用于大语言模型和多模态模型的开源推理与服务框架。开发者可在多种 GPU、CPU、TPU、NPU 和 XPU 平台上启动模型服务器,并通过兼容 OpenAI 的接口调用模型。
Eden AI 为开发者提供统一 API,可接入、比较并路由多个服务商的语言模型及专业 AI 模型,便于在应用需求变化时灵活选择模型。
面向开发者、企业和基础设施运营者的 AI 推理平台,支持运行大型开源模型和智能体工作负载,并适用于云端、本地、混合及隔离环境。
Reka 是多模态 AI 平台,支持视频、图像、音频和文本,用于视觉搜索、推理及训练数据生成,服务企业、创作者和开发者。
PiAPI 是一个统一的生成式 AI 平台,通过模型目录、Playground、API、CLI 和 MCP 服务器,为开发者、AI 智能体及自动化工作流提供视频、图像、音频、3D 资产和大语言模型输出的生成能力。
面向大规模 AI 与机器学习模型打包、部署、优化和运营的推理平台,支持云端、私有部署、Kubernetes 及自带云环境。
each::labs 通过单一 API 编排 600 多个 AI 模型,提供路由、故障回退、可观测性和按用量计费,支持团队构建和运营涵盖视频、图像、音频与文本工作流的生产级 AI 应用。
Ray 是一个开源、原生支持 Python 的框架,用于分布式运行和扩展 AI、机器学习及其他计算密集型工作负载。
云端 GPU 平台,支持 AI 与机器学习工作负载的训练、推理、数据分析和模型开发,并提供 AI Studio、虚拟机及托管 Kubernetes。
面向生产环境部署前沿开放权重模型和自定义 AI 模型的推理云,提供无服务器模型 API、专用 GPU 端点及 BYOG 选项,支持智能体、多模态和高吞吐工作负载。
面向生产环境 AI 工作负载的基础设施,支持运行、监控、评估、训练和部署,帮助团队通过互联工作流提升成本、延迟、可靠性与质量。
Cerebrium 为团队提供无服务器 CPU 和 GPU 基础设施,用于部署和运行实时 AI 工作负载。开发者可提交应用代码或 Dockerfile,由平台负责容器编排与弹性扩缩容。
AI视频生成器
专注于视频生成的多芯片推理平台,跨硬件实现 AI 模型,在成本、输出质量与性能之间取得平衡。
AI 智能体基础设施
Prem 为处理敏感数据的组织提供主权式 AI 基础设施和代理工具。通过硬件隔离环境中的机密推理及可验证部署,帮助医疗、金融、政府等领域在掌控数据的同时运行模型和代理。
面向企业推理工作负载的 AI 加速器与服务器
面向开发者的 AI 推理平台,通过 API 提供对开源语言和视觉模型的访问,支持使用 OpenAI 兼容 API、在线体验场和模型目录构建及测试 AI 应用。
dstack 统一管理 GPU 云、Kubernetes 和本地集群中的算力资源,为 AI 开发、训练与推理工作负载配置基础设施并安排运行。