感知基础设施的故障恢复
从内存不足终止、节点抢占和 GPU 丢失等情况中恢复。可配置指数退避重试、每次尝试的运行时限和执行截止时间；由基础设施问题触发的重试与任务重试预算分别处理。
什么是 Flyte？
Flyte 是一个开源编排平台，其 Flyte 2 运行时可运行训练、推理和智能体执行等 AI 工作负载。它负责协调任务与计算资源，同时记录执行输入和输出，使中断的工作流能够从失败步骤恢复。
开发者可以使用普通的分支和循环将工作流编写为 Python 函数。任务环境可指定容器映像、资源、密钥和重试策略。该平台支持在自有基础设施上部署，并可通过 Union.ai 获取企业版。
Flyte 能做什么？
动态 Python 工作流
使用异步函数、条件语句、循环和异常处理来组合任务。类型化输入和输出支持文件、DataFrame 与数据类，无需单独的工作流配置语言。
并行执行与批处理
通过 map 和扇出模式运行并行任务与分布式作业。DynamicBatcher 根据成本预算、批次大小限制、调度超时和队列背压对推理请求进行分组。
模型与应用服务部署
通过 FastAPI、Streamlit、vLLM、SGLang 和 Ollama 集成部署长期运行的应用。可在工作流中配置资源、副本数量和缩容至零行为。
执行记录与缓存
执行过程会被记录并进行版本管理，输入和恢复事件可在界面中查看。任务缓存可以复用输入相同的结果。
用于生成代码的沙箱
在基于 Monty 的 Python 沙箱中运行 LLM 生成的编排代码，并将工作分发给容器任务；也可以在一次性容器中执行脚本和 shell 命令。
使用场景
“分布式模型训练”
协调 GPU 资源上的微调或预训练，并可集成 Ray 和 PyTorch Elastic 等工具来运行分布式训练作业。
“大规模批量推理”
将数据集拆分为并行分片进行处理，同时对请求进行批处理以充分利用 GPU。单个分片失败时可单独重试，无需重新运行已完成的工作。
“智能体执行循环”
构建能够规划、调用工具并根据结果调整操作的智能体。将工具封装为任务，并跟踪决策循环中的 LLM 调用。
“模型端点与仪表板”
通过兼容 OpenAI 的端点或 FastAPI 服务提供模型，并在处理工作流旁提供交互式 Streamlit 仪表板。
常见问题
如何启动本地开发环境？
使用 `pip install flyte` 安装 SDK，然后运行 `flyte start devbox`。平台页面会显示本地 Flyte 界面，地址为 http://localhost:30080。
Flyte 可以在我自己的基础设施上运行吗？
可以。Flyte 支持在自有基础设施上进行开源部署。Union.ai 提供基础设施托管的企业版 Flyte 平台。
如果重试也无济于事，任务能否立即失败？
可以。对于无效输入或格式错误的配置，可抛出 `NonRecoverableError`，使任务停止，而不耗尽其重试预算。
Flyte 如何连接现有的数据和机器学习工具？
其集成目录包括 Spark、BigQuery、Snowflake、Databricks、Weights & Biases、MLflow 和 Dask。部分集成需要配置后端，开发者也可以创建其他集成。
快速信息
- 许可证
- Apache 2.0
- 项目归属
- Linux Foundation AI & Data
- 当前运行时
- Flyte 2
- 工作流编写方式
- Python SDK
- 网站
- https://flyte.org
Flyte 流量分析
流量数据仅供参考。
- 域名评分
- 66
Flyte 替代品
Statewave
www.statewave.ai
Statewave 是面向 AI 智能体的开源、自托管记忆运行时：持久化存储事件，编译带来源信息的结构化记忆，并为需要跨会话连续性的应用返回排序后的上下文集合。
Prime Intellect
www.primeintellect.ai
Prime Intellect 是面向 AI 模型与智能体训练、评估、部署和改进的开放式技术栈，集成强化学习环境、托管评估与训练、模型推理、GPU 算力及隔离沙箱，支持研究与生产工作流。
OpenTrade
opentrade.io
OpenTrade 是面向 Claude Code 和 Codex 智能体的开源交易运行框架，提供基于代码仓库的应用、智能体模板及面向调度的运行管理，用于自动化交易工作流。
Relace
relace.ai
面向编码代理的 AI 模型与基础设施平台，专注于代码检索、文件合并和源代码管理工作流，支持托管、本地部署及 VPC 隔离部署。
Superlinked SIE
superlinked.com
面向智能体的开源推理服务，在您自己的基础设施上运行嵌入模型、重排序模型、信息抽取模型和开放大语言模型。
Steel
steel.dev
面向 AI 智能体和网页自动化的开源浏览器基础设施，提供云端浏览器会话 API，支持主流自动化工具与工作流。