# Ray Ray 是一个开源、原生支持 Python 的框架，用于分布式运行和扩展 AI、机器学习及其他计算密集型工作负载。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 推理平台, AI 模型部署 ## 什么是 Ray？ Ray 是一个开源、原生支持 Python 的框架，用于管理、执行和优化分布式计算。其核心原语——任务、参与者和对象——帮助开发者分发 Python 应用，高级库则支持端到端 AI 工作流。 该平台面向多样化的工作负载和基础设施。它支持结构化和非结构化数据，包括图像、视频和音频；支持异构 CPU 和 GPU 资源；支持从传统机器学习到多模态模型和大语言模型的各种模型架构。Ray 可以从本地开发环境扩展到拥有数千个 GPU 的集群。 Ray 支持的工作负载包括分布式模型训练、模型服务、批量推理、强化学习、生成式 AI、LLM 推理和 LLM 微调。Anyscale 提供完全托管的选项，包括治理、开发者工具和专家支持。 ## Ray 能做什么？ ### 分布式 Python 执行 Ray Core 提供任务、参与者和对象，用于扩展 Python 应用，包括模拟和回测。 ### 多模态数据处理 在分布式工作流中处理图像、视频和音频等结构化与非结构化数据。 ### 分布式模型训练 使用 Ray 为基础模型、时间序列模型、XGBoost 及其他 AI/ML 工作负载运行训练，并通过所述的一行式扩展路径和框架兼容性进行扩展。 ### 使用 Ray Serve 提供模型服务 部署模型和业务逻辑，支持独立扩展和分数资源分配，包括 LLM、Stable Diffusion 模型和目标检测模型。 ### 异构批量推理 在离线推理流水线中结合 CPU 和 GPU 资源，以提高加速器利用率并管理计算成本。 ### 专业化 AI 工作流 通过 RLlib 支持面向生产的强化学习，以及生成式 AI、RAG、LLM 推理和 LLM 微调工作流。 ## 使用场景 ### 分布式 Python 应用 开发者可以并行化模拟、回测和其他 Python 程序，以获得单个进程或机器无法提供的更多执行能力。 ### 训练大型模型和传统模型 AI 团队可以将基础模型、时间序列模型、XGBoost 及其他模型训练工作负载分布到可用计算资源上。 ### 生产环境模型服务 团队可以将模型与业务逻辑一同部署，并独立扩展各个组件，同时支持不同模型类型和分数资源。 ### 离线批量推理 数据和 ML 团队可以构建同时使用 CPU 和 GPU 的流水线，用于高容量推理任务。 ### 生成式 AI 和强化学习 团队可以为多模态模型、RAG 应用、LLM 推理或微调，以及分布式强化学习组装工作流。 ## 常见问题 ### 什么是 Ray？ Ray 是一个开源框架，用于管理计算资源上的 Python 和 AI 工作负载并进行分布式处理。它包含支持分布式应用的核心原语和支持 AI 工作流的库。 ### Ray 支持哪些工作负载？ 根据来源，Ray 支持分布式 Python 代码、多模态数据处理、模型训练、模型服务、批量推理、强化学习、生成式 AI、LLM 推理和 LLM 微调。 ### Ray 可以同时使用 CPU 和 GPU 吗？ 可以。Ray 支持异构 GPU 和 CPU，包括在批量推理中同时使用这两类资源的流水线，以及支持独立资源扩展的模型服务。 ### Anyscale 与 Ray 有什么关系？ Anyscale 是用于运行 Ray 的完全托管平台。它在开源框架的基础上增加了企业级治理、高级开发者工具和专家支持。 ### 提供的网站上有定价信息吗？ 没有。提供的定价 URL 返回 404 页面，未显示定价详情。网站确实宣传了 Anyscale 免费试用和 100 美元额度优惠，但收集到的内容未提供套餐价格或限制。 ## 快速信息 - **类别**: 开发者工具；机器学习基础设施；AI 平台 - **许可模式**: 开源 - **编程模型**: 原生支持 Python - **核心范围**: 面向 AI、ML 和通用 Python 工作负载的分布式计算 - **扩展范围**: 从笔记本电脑到拥有数千个 GPU 的集群 - **托管选项**: Anyscale - **社区**: Ray Community Slack - **来源域名**: ray.io