生成式与预测式推理
该平台面向生成式 AI 和预测式 AI 推理工作负载，覆盖不止一种广泛的模型服务模式。
什么是 KServe？
KServe 是一个基于 Kubernetes 的标准化分布式推理平台。它旨在部署和运行生成式 AI 与预测式 AI 工作负载，同时支持多种模型框架。
该项目的核心目标是为 Kubernetes 团队提供通用的推理服务层，而不是要求每个模型服务采用独立的部署方式。其代码仓库包含文档、安装资源、Charts、API、示例和运维指南，表明该平台面向管理模型服务基础设施的工程团队。
KServe 能做什么？
多框架部署
KServe 旨在支持使用多种模型框架构建的推理服务，而不是为每种工作负载规定单一框架。
基于 Kubernetes 的运行
Kubernetes 是该平台的基础，因此 KServe 适用于通过 Kubernetes 资源和部署实践管理模型服务工作负载的团队。
标准化服务层
该项目为部署推理服务提供通用的平台方案，帮助团队在不同工作负载之间采用一致的运维模式。
部署与运维文档
代码仓库包含专门的文档和安装目录，以及涵盖多模型服务、清单、调试和 OpenShift 等主题的指南。
基于代码仓库的可扩展性
代码库提供 API，并包含 Charts、配置、示例和多个实现目录，便于平台团队查看和调整项目资料。
使用场景
“在 Kubernetes 中提供预测模型服务”
机器学习团队可以将该平台作为标准化的 Kubernetes 基础，用于提供预测式推理工作负载。
“运行生成式 AI 推理”
部署生成式 AI 服务的团队可以将 KServe 评估为面向 Kubernetes 的分布式推理服务层。
“管理混合模型组合”
使用不同框架构建模型的组织可以采用通用的平台方案，而不必为每个框架创建完全独立的服务工作流。
“支持平台团队”
内部基础设施团队可以将项目的安装资料、Charts、API 和运维指南作为基础，为应用团队提供模型服务能力。
“多模型服务场景”
需要提供多个模型服务的团队可以参考代码仓库中专门的多模型服务指南，设计其 Kubernetes 部署方案。
常见问题
KServe 用于什么？
KServe 用于通过标准化的多框架平台方案，在 Kubernetes 上部署分布式生成式和预测式 AI 推理工作负载。
KServe 面向哪些用户？
它主要适用于在 Kubernetes 环境中运行推理服务的机器学习、平台和基础设施团队。
KServe 同时支持生成式 AI 和预测式 AI 吗？
支持。项目描述明确涵盖生成式 AI 和预测式 AI 推理。
KServe 是否需要 Kubernetes？
项目描述中指定的平台是 Kubernetes，因此 KServe 面向基于 Kubernetes 的部署，而不是独立的、与平台无关的安装方式。
在哪里可以找到部署指南？
项目代码仓库包含专门的文档和安装目录，以及 Charts 和运维指南。具体安装方式和前置条件应以当前项目文档为准。
快速信息
- 类别
- AI 推理平台
- 主要平台
- Kubernetes
- 工作负载范围
- 生成式和预测式 AI 推理
- 部署模式
- 分布式、多框架服务
- 主要用户
- 机器学习、平台和基础设施团队
- 来源
- github.com/kserve/kserve