PagedAttention
将 PagedAttention 作为核心服务技术，用于提升大语言模型推理期间的内存使用效率。
什么是 vLLM？
vLLM 是面向大语言模型的推理与服务引擎。它旨在以高吞吐和高效内存使用运行开源模型，为开发者和基础设施团队提供用于部署大语言模型应用的服务层。
其核心性能方案结合了 PagedAttention、先进调度和连续批处理。这些机制旨在处理多个推理请求时提升硬件利用率。vLLM 还提供可直接替换使用的 OpenAI 兼容 API，便于连接已经采用该 API 模式的应用。
网站为 CUDA、ROCm、XPU 和 CPU 环境提供安装选项，并提供面向 Python 和 Docker 的安装方式。文档中的快速开始命令为 uv pip install vllm --torch-backend auto；要求使用 Python 3.10 或更高版本，并推荐 Python 3.12。
vLLM 能做什么？
连续批处理
将持续到达的推理请求合并到进行中的批次中，帮助服务进程保持吞吐量。
先进调度
提供调度机制，旨在让可用的加速器容量在各类推理工作负载中得到有效利用。
OpenAI 兼容 API
提供兼容 OpenAI API 风格的可直接替换使用的 API，减少连接现有客户端应用所需的改动。
多种安装平台
快速开始流程为 CUDA、ROCm、XPU 和 CPU 环境提供选项，并提供 Python 和 Docker 安装路径。
稳定版和 nightly 构建
用户可以选择当前经过测试的稳定版本，也可以在需要更新开发版本时选择 nightly 构建。
使用场景
“为应用提供开源模型服务”
开发团队可以安装 vLLM、启动受支持的模型，并通过 OpenAI 兼容 API 连接应用，而不必自行实现推理接口。
“提升并发请求的吞吐量”
处理多个用户或应用请求的推理运营人员可以使用连续批处理和调度，在服务进程中组织工作。
“改善部署期间的内存使用”
受加速器内存限制的团队可以在部署大语言模型时，评估基于 PagedAttention 的 vLLM 服务方案。
“根据可用硬件调整部署”
基础设施团队可以选择与其环境匹配的安装路径，包括产品设置流程中展示的 CUDA、ROCm、XPU 或 CPU 选项。
“在正式采用前测试版本”
团队可以使用稳定版获取当前经过最多测试的版本，也可以选择 nightly 构建，在更新服务工作流前评估较新的变更。
常见问题
vLLM 用于什么？
vLLM 用于运行大语言模型推理并提供模型服务，面向开源模型的高吞吐、内存高效部署。
vLLM 是否为现有应用提供 API？
是。网站介绍了可直接替换使用的 OpenAI 兼容 API，用于将应用与由 vLLM 提供服务的模型集成。
文档声明的 Python 要求是什么？
快速开始信息指出，必须使用 Python 3.10 或更高版本，并建议使用 Python 3.12 或更高版本。
安装流程展示了哪些计算平台？
网站列出了 CUDA、ROCm、XPU 和 CPU 安装选项，还提供 Python 和 Docker 安装路径；具体兼容性取决于所选设置。
产品网站是否公布了定价？
所提供的定价 URL 返回 404 页面，未提供套餐、用量或价格信息。因此，现有证据无法确定其定价模式。
快速信息
- 产品类型
- 大语言模型推理与服务引擎
- 主要工作流
- 安装 vLLM、提供开源模型服务，并通过 OpenAI 兼容 API 进行连接
- 展示的支持平台选项
- CUDA、ROCm、XPU 和 CPU
- Python 要求
- 需要 Python 3.10+；推荐 Python 3.12+
- 当前展示的稳定版本
- v0.30.0
- 文档
- docs.vllm.ai
vLLM 替代品
SGLang
www.sglang.io
SGLang is an open-source serving framework for large language and multimodal models. It helps developers deploy model servers and query them through OpenAI-compatible endpoints across supported GPU, CPU, TPU, NPU, and XPU platforms.
SambaNova Cloud
cloud.sambanova.ai
面向开发者的 AI 推理平台，通过 API 提供对开源语言和视觉模型的访问，支持使用 OpenAI 兼容 API、在线体验场和模型目录构建及测试 AI 应用。
SambaNova
sambanova.ai
面向开发者、企业和基础设施运营者的 AI 推理平台，支持运行大型开源模型和智能体工作负载，并适用于云端、本地、混合及隔离环境。
Parasail
parasail.io
面向 AI 原生初创团队的推理云，通过兼容 OpenAI 的 API 提供开放模型与前沿模型，并支持无服务器、弹性、专用和批量部署，按令牌或 GPU 计费。
Chutes
chutes.ai
Chutes is a decentralized, serverless AI inference platform for deploying, running, and scaling open-source models. Developers can access hosted models through an API or deploy private custom workloads on confidential GPU capacity.
Ray
www.ray.io
Ray 是一个开源、原生支持 Python 的框架，用于分布式运行和扩展 AI、机器学习及其他计算密集型工作负载。