实时环境生成
根据提示生成具身环境,并预测人物或智能体移动、行动或引入事件时环境如何变化。
Odyssey-3 是面向物理和虚拟系统的基础世界模型。它采用自回归扩散 Transformer 架构,可预测物体如何在空间中移动和交互,以及情境如何随时间演变。该模型通过视觉观察学习物理规律、动力学、因果关系和人类行为的表征。
开发者可以使用 Odyssey-3 生成并检查交互式环境、模拟场景,并为特定机器或任务训练策略。适配方式包括训练动作解码器或策略,使其基于成对的观察与动作数据进行学习,从而将模型学到的表征连接到机器人、人形机器人、车辆或其他系统的控制机制。
已发布的研究将 Odyssey-3 定位为研究预览版。报告的应用包括机械臂操作、人形机器人自主控制、闭环车辆驾驶和多摄像头观察生成。网站邀请有意基于该模型开展工作的物理人工智能开发者联系团队。
根据提示生成具身环境,并预测人物或智能体移动、行动或引入事件时环境如何变化。
预览版支持第一人称和第三人称导航,并可独立移动摄像机,以检查模型的预测结果。
Odyssey-3 经训练用于建模物理行为。据报告,Odyssey-3 Pro 在 Physics-IQ Verified 的视频到视频基准测试中得分为 66.1,测试领域包括流体动力学、光学、固体力学、磁学和热力学。
可使用成对的观察与动作数据训练动作解码器或策略,将基础模型的表征转化为特定物理系统所需的控制指令。
一项早期驾驶实验在 100 个训练步骤后,为自动驾驶数据集同时生成了三个摄像头视角,展示了模型对指定传感器配置的适配能力。
开发者可以通过演示数据训练机械臂策略,用于倾倒麦片、关闭螺丝盒或搬运物体等任务。据报告,测试包括在抓取失败后恢复,以及取回掉落的物体。
Odyssey-3 已被用作基础模型,与 Flexion 合作开发人形机器人控制策略。演示任务包括打开容器、取出盒子以及将马克杯放在桌上;测试还涵盖光照变化和其他环境条件变化的情况。
一项驾驶策略使用 Odyssey-3 的视觉表征预测汽车前方的路径点,并在印度道路上进行闭环驾驶。据报告,该实验使用 20 小时驾驶数据进行训练,同时保持骨干网络冻结。
该模型可生成交互式环境并预测其演变,为检查物理场景或生成模拟体验以训练智能体和策略提供了途径。
Odyssey-3 是一种基础世界模型,可预测物体和情境随时间的演变。它利用视觉观察,为物理和虚拟系统学习物理规律、动力学及因果关系的表征。
已发布的方法会使用目标系统的成对观察与动作数据训练动作解码器或策略。该组件将 Odyssey-3 学到的表征转化为机器或任务所需的控制指令。
报告中的示例包括机械臂、人形机器人系统和车辆。研究还介绍了为三摄像头自动驾驶配置生成同步观察数据。
所提供的网站内容将 Odyssey-3 描述为研究预览版,并邀请物理人工智能开发者联系团队。内容未提供可用的定价、详细设置流程、API 或 SDK 文档,也未列出受支持的集成。