# Flyte 用于持久化 AI 工作流、模型训练、服务部署与智能体执行的开源运行时。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 智能体基础设施, AI 推理平台, AI 工作流自动化 ## 什么是 Flyte？ Flyte 是一个开源编排平台，其 Flyte 2 运行时可运行训练、推理和智能体执行等 AI 工作负载。它负责协调任务与计算资源，同时记录执行输入和输出，使中断的工作流能够从失败步骤恢复。 开发者可以使用普通的分支和循环将工作流编写为 Python 函数。任务环境可指定容器映像、资源、密钥和重试策略。该平台支持在自有基础设施上部署，并可通过 Union.ai 获取企业版。 ## Flyte 能做什么？ ### 感知基础设施的故障恢复 从内存不足终止、节点抢占和 GPU 丢失等情况中恢复。可配置指数退避重试、每次尝试的运行时限和执行截止时间；由基础设施问题触发的重试与任务重试预算分别处理。 ### 动态 Python 工作流 使用异步函数、条件语句、循环和异常处理来组合任务。类型化输入和输出支持文件、DataFrame 与数据类，无需单独的工作流配置语言。 ### 并行执行与批处理 通过 map 和扇出模式运行并行任务与分布式作业。DynamicBatcher 根据成本预算、批次大小限制、调度超时和队列背压对推理请求进行分组。 ### 模型与应用服务部署 通过 FastAPI、Streamlit、vLLM、SGLang 和 Ollama 集成部署长期运行的应用。可在工作流中配置资源、副本数量和缩容至零行为。 ### 执行记录与缓存 执行过程会被记录并进行版本管理，输入和恢复事件可在界面中查看。任务缓存可以复用输入相同的结果。 ### 用于生成代码的沙箱 在基于 Monty 的 Python 沙箱中运行 LLM 生成的编排代码，并将工作分发给容器任务；也可以在一次性容器中执行脚本和 shell 命令。 ## 使用场景 ### 分布式模型训练 协调 GPU 资源上的微调或预训练，并可集成 Ray 和 PyTorch Elastic 等工具来运行分布式训练作业。 ### 大规模批量推理 将数据集拆分为并行分片进行处理，同时对请求进行批处理以充分利用 GPU。单个分片失败时可单独重试，无需重新运行已完成的工作。 ### 智能体执行循环 构建能够规划、调用工具并根据结果调整操作的智能体。将工具封装为任务，并跟踪决策循环中的 LLM 调用。 ### 模型端点与仪表板 通过兼容 OpenAI 的端点或 FastAPI 服务提供模型，并在处理工作流旁提供交互式 Streamlit 仪表板。 ## 常见问题 ### 如何启动本地开发环境？ 使用 \`pip install flyte\` 安装 SDK，然后运行 \`flyte start devbox\`。平台页面会显示本地 Flyte 界面，地址为 http://localhost:30080。 ### Flyte 可以在我自己的基础设施上运行吗？ 可以。Flyte 支持在自有基础设施上进行开源部署。Union.ai 提供基础设施托管的企业版 Flyte 平台。 ### 如果重试也无济于事，任务能否立即失败？ 可以。对于无效输入或格式错误的配置，可抛出 \`NonRecoverableError\`，使任务停止，而不耗尽其重试预算。 ### Flyte 如何连接现有的数据和机器学习工具？ 其集成目录包括 Spark、BigQuery、Snowflake、Databricks、Weights & Biases、MLflow 和 Dask。部分集成需要配置后端，开发者也可以创建其他集成。 ## 快速信息 - **许可证**: Apache 2.0 - **项目归属**: Linux Foundation AI & Data - **当前运行时**: Flyte 2 - **工作流编写方式**: Python SDK - **网站**: https://flyte.org