分布式 Python 执行
Ray Core 提供任务、参与者和对象，用于扩展 Python 应用，包括模拟和回测。
什么是 Ray？
Ray 是一个开源、原生支持 Python 的框架，用于管理、执行和优化分布式计算。其核心原语——任务、参与者和对象——帮助开发者分发 Python 应用，高级库则支持端到端 AI 工作流。
该平台面向多样化的工作负载和基础设施。它支持结构化和非结构化数据，包括图像、视频和音频；支持异构 CPU 和 GPU 资源；支持从传统机器学习到多模态模型和大语言模型的各种模型架构。Ray 可以从本地开发环境扩展到拥有数千个 GPU 的集群。
Ray 支持的工作负载包括分布式模型训练、模型服务、批量推理、强化学习、生成式 AI、LLM 推理和 LLM 微调。Anyscale 提供完全托管的选项，包括治理、开发者工具和专家支持。
Ray 能做什么？
多模态数据处理
在分布式工作流中处理图像、视频和音频等结构化与非结构化数据。
分布式模型训练
使用 Ray 为基础模型、时间序列模型、XGBoost 及其他 AI/ML 工作负载运行训练，并通过所述的一行式扩展路径和框架兼容性进行扩展。
使用 Ray Serve 提供模型服务
部署模型和业务逻辑，支持独立扩展和分数资源分配，包括 LLM、Stable Diffusion 模型和目标检测模型。
异构批量推理
在离线推理流水线中结合 CPU 和 GPU 资源，以提高加速器利用率并管理计算成本。
专业化 AI 工作流
通过 RLlib 支持面向生产的强化学习，以及生成式 AI、RAG、LLM 推理和 LLM 微调工作流。
使用场景
“分布式 Python 应用”
开发者可以并行化模拟、回测和其他 Python 程序，以获得单个进程或机器无法提供的更多执行能力。
“训练大型模型和传统模型”
AI 团队可以将基础模型、时间序列模型、XGBoost 及其他模型训练工作负载分布到可用计算资源上。
“生产环境模型服务”
团队可以将模型与业务逻辑一同部署，并独立扩展各个组件，同时支持不同模型类型和分数资源。
“离线批量推理”
数据和 ML 团队可以构建同时使用 CPU 和 GPU 的流水线，用于高容量推理任务。
“生成式 AI 和强化学习”
团队可以为多模态模型、RAG 应用、LLM 推理或微调，以及分布式强化学习组装工作流。
常见问题
什么是 Ray？
Ray 是一个开源框架，用于管理计算资源上的 Python 和 AI 工作负载并进行分布式处理。它包含支持分布式应用的核心原语和支持 AI 工作流的库。
Ray 支持哪些工作负载？
根据来源，Ray 支持分布式 Python 代码、多模态数据处理、模型训练、模型服务、批量推理、强化学习、生成式 AI、LLM 推理和 LLM 微调。
Ray 可以同时使用 CPU 和 GPU 吗？
可以。Ray 支持异构 GPU 和 CPU，包括在批量推理中同时使用这两类资源的流水线，以及支持独立资源扩展的模型服务。
Anyscale 与 Ray 有什么关系？
Anyscale 是用于运行 Ray 的完全托管平台。它在开源框架的基础上增加了企业级治理、高级开发者工具和专家支持。
提供的网站上有定价信息吗？
没有。提供的定价 URL 返回 404 页面，未显示定价详情。网站确实宣传了 Anyscale 免费试用和 100 美元额度优惠，但收集到的内容未提供套餐价格或限制。
快速信息
- 类别
- 开发者工具；机器学习基础设施；AI 平台
- 许可模式
- 开源
- 编程模型
- 原生支持 Python
- 核心范围
- 面向 AI、ML 和通用 Python 工作负载的分布式计算
- 扩展范围
- 从笔记本电脑到拥有数千个 GPU 的集群
- 托管选项
- Anyscale
- 社区
- Ray Community Slack
- 来源域名
- ray.io
Ray 替代品
Baseten
baseten.co
用于部署、服务和扩展开源、自定义及微调 AI 模型的推理平台，支持托管云、自托管、混合及专用部署。
Hyperbolic
hyperbolic.xyz
Hyperbolic 是一个开放接入的 GPU 与 AI 云平台，提供按需使用的 H100、H200、B200 及其他 GPU 算力，支持实验、训练、微调、推理和生产工作负载，并提供按需实例、预留集群与私有云基础设施。
Chutes
chutes.ai
Chutes is a decentralized, serverless AI inference platform for deploying, running, and scaling open-source models. Developers can access hosted models through an API or deploy private custom workloads on confidential GPU capacity.
vLLM
vllm.ai
面向大语言模型的高吞吐、内存高效推理与服务引擎，支持通过 OpenAI 兼容 API 部署开源模型。
Nebius AI Cloud
nebius.com
Nebius AI Cloud 是一个专为开发、训练和部署 AI 工作负载打造的云平台，整合 GPU 与 CPU 计算、托管 Kubernetes、MLOps 工具，以及托管式或无服务器推理服务，助力团队从实验扩展到生产环境。
CoreWeave
www.coreweave.com
面向 AI 的云平台，融合 GPU 基础设施、存储、网络、编排与运维工具，支持从模型实验到生产部署。