NVIDIA 在 CoRL 发布世界动作模型与智能体机器人工作流

仿真长期以来一直是机器人学习行走、滚动和跳跃的试验场，如今它正帮助研究人员教机器人完成需要更精细操作的任务：对齐齿轮、连接线缆以及组装小型部件。

从运动控制到操作任务的转变，成为本周在德克萨斯州奥斯汀举行的机器人学习会议（CoRL）的核心议题，与此同时，智能体机器人（agentic robotics）也在兴起——这是一种新范式，通过集成前沿智能体为物理机器人系统生成可解释的代码。

在 CoRL 上，NVIDIA 推出了新的开放机器人技术，包括世界动作模型、仿真工具、基准测试和智能体工作流。

在 CoRL 最佳论文奖的数千份投稿中，NVIDIA 有两篇论文跻身六篇入围论文之列：

• GRAIL（Generating Humanoid Loco-Manipulation from World Models），提出了一套用于机器人学习的 3D 资产和仿真器就绪场景的数字生成流水线。
• RoboTTT: Context Scaling for Robot Policies，提出了一种机器人模型和训练方法，将视觉运动上下文扩展到超越当前最先进策略三个数量级的规模，同时不增加推理延迟。

这些进展帮助研究人员在复杂任务上训练机器人、在变化条件下评估其性能，并利用失败来指导进一步学习——从而构建从实验室演示走向工业部署所需的精度、适应性和自主性。

NVIDIA 正与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和 University of Washington 等合作伙伴携手，将这些进展带给更广泛的机器人社区。

世界动作模型实现更高层次的机器人自主性

更高层次的机器人自主性要求机器人感知周围环境、预判其行动将如何改变环境，并以高精度执行复杂的多步骤任务。世界动作模型正是实现这一目标的关键。

在CoRL上，NVIDIA推出了GR00T 2，这是一个基于NVIDIA Cosmos构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据上训练，包括100,000小时的NVIDIA开源人类自我中心数据，使机器人能够学习灵巧操作技能。主要特性包括：

• 开箱即用性能： 在50个评估任务中，无需特定任务的演示即至少完成40个任务。
• 技能迁移： 从人类演示中学习，并在不同机器人本体之间迁移技能，无需机器人演示
• 少数据泛化： 在50个任务中，每个任务仅需一次演示即可达到71%的平均成功率，五次演示则提升至95%。
• 智能体控制： AI智能体可以使用GR00T 2的应用程序编程接口和支持工具来按顺序运行技能并从错误中恢复。

GR00T 2目前在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces基准测试的所有视觉语言动作和世界动作模型类别中位列前三，并多次在排行榜上获胜。

Nexuni正在测试其用于机器人洗衣处理，富士康正在将GR00T 2应用于服务器制造的工厂自动化，西门子正在评估其在工业用例中的应用。

MicroAGI正在使用通过强化学习后训练的GR00T 2，以YAM机械臂执行以太网线缆更换。其智能体机器人方法使用Isaac Lab 3.0和Newton自动化仿真环境的创建和校准，并在其中训练策略。该智能体机器人工作流将在CoRL上展示。

训练有能力的机器人需要多样化的数据。开放的NVIDIA工作流和模型为研究人员提供了更好的数据收集和标注工具：

• 对于构建机器人训练数据集的研究人员，NVIDIA新的开放Video to Data工作流将人类视频转换为模拟机器人演示，并设有一项挑战赛，邀请研究人员推进该工作。
• NVIDIA EgoHand开放模型——正在CoRL上演示，自发布两周内在Hugging Face上获得超过40,000次下载——重建3D手部运动，使用来自Noitom Robotics的数据训练。

训练和扩展发生的地方——在仿真中

预训练模型为机器人提供了一套核心技能。仿真让研究人员能够在将技能部署到物理机器人之前，大规模地训练、优化和评估这些技能。

NVIDIA Isaac Lab 是一个开源的机器人学习框架，为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体，借助可直接用于仿真的资产快速搭建训练环境，在 NVIDIA PhysX 和 Newton 物理求解器之间切换，为基于感知的训练选择渲染器，并将新的强化学习后训练库应用于 GR00T 等基础模型。

精确的物理仿真对于将学到的技能从仿真迁移到真实机器人至关重要。通过与开源物理引擎 Newton 的更紧密集成，Isaac Lab 现在能够对电缆和布料等可变形物体进行建模，也能对具有许多相互作用的关节的机械手等复杂关节系统进行建模。

与 Newton 的集成可模拟草莓在机器人抓握下的形变。

Isaac Lab 和 Newton 共同将精确物理与规模相结合，使研究人员能够并行训练数千个仿真机器人。在基于视觉的灵巧操作基准测试中，采用 Newton 的 Isaac Lab 3.0 实现了高达采用 PhysX 的 Isaac Lab 2.3 的 2.5 倍训练吞吐量。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人仿真。

开发者正在扩展 Newton 的能力。在 CoRL 上，Skild AI 发布了 Scalable Throughput-optimized Engine for Embodied Learning（简称 STEEL），这是一个构建于 Newton 之上的新型刚体物理求解器，可借助 Isaac Lab 加速机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练 Reflect——其结合推理与全身操作的机器人智能模型。

Flexion 使用 Newton 配合 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略，以便部署到非结构化的真实环境中。Dyna Robotics 将演示 Isaac Lab 中的并行仿真如何帮助为其半人形 Taku 机器人训练全身控制器，用于仓库、酒店和餐饮服务工作。

Walden Robotics 正在利用 Isaac Sim 的照片级真实感渲染，在虚拟环境中为其通用机器人进行制造和物流场景的训练与评估；而 Dexmate 则在探索编码智能体如何在 Isaac Sim 中演练并优化操作策略，然后再在其 Vega 机器人上执行。

AlphaNIST 基于 Isaac Lab 构建，展示了高效练习如何转化为精准操作。单一策略即可学会 NIST 装配任务板上的全部 20 项任务，仅凭是或否的成功信号来操作毫米级零件。其训练成功率达到 98% 以上，而针对每项任务单独训练的策略为 81%，且 GPU 时间约减少 39 倍。

AlphaNIST 使用 Isaac Lab 在 NIST 装配任务板上训练单一机器人策略，完成 20 项精密任务。

这些成果背后是来自华盛顿大学和 NVIDIA 的 Success-Guided Sampling，简称 SGS。该方法将练习集中在策略成功率约为一半的任务上，把训练引导至它仍在学习的技能。借助 SGS，机器人训练可以扩展到超过一百万个并行环境。

德克萨斯大学奥斯汀分校计算学院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在仿真中训练机器人技能，让学生能够在物理硬件就绪之前就开始开发。

面向机器人评估的新工业基准

学会一项技能是一回事，在多变条件下可靠地完成它则是另一回事。

NVIDIA Isaac Lab-Arena 是一个用于规模化策略评估的开源框架，使开发者能够组合多样化且可重复的评估，然后并行地在数千种变体上运行策略。分析结果可揭示哪些条件会导致失败，从而让研究人员知道在下一次训练中需要修正什么。其最新版本 0.4 的开发者预览版将在 CoRL 上发布。

DexBench 和 VABAR 是两个全新的开放基准，它们是最早一批旨在利用 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中灵巧性与适应性的基准。

DexBench 由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面场景带入真实工作流程。它基于 NVIDIA Isaac Lab-Arena 构建，涵盖零售、物流、制造和酒店服务四大场景下的 15 项任务，用于测试机器人在物体、空间和物理变化下的泛化能力。

Genesis AI、mimic robotics 及其他行业合作伙伴正通过早期访问对 DexBench 进行评估。

团队可以在 Manifold 上运行 DexBench——这是 Bifrost 用于扩展机器人仿真的评估平台，无需任何配置，内置故障分析，并为初始评估提供免费额度。

VABAR——面向智能体机器人的变分自动化基准（Variational Automation Benchmark for Agentic Robotics）——由加州大学伯克利分校与 NVIDIA 联合推出，在六项工业任务上评估机器人。每项任务都配有标准化变体、难度等级和成功指标。

一个模拟的工具分拣任务，展示了 VABAR 如何评估机器人在工业工作流程中的操作技能。

智能体将技能转化为机器人程序

要成功完成任务，机器人需要协调多种技能，并在出现问题时做出调整。为这些多步骤任务构建可靠的程序仍然是一项挑战。

智能体机器人技术有助于解决这一挑战。

加州大学伯克利分校的新 Graph-as-Policy（GaP）框架利用智能体将各项技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序，并根据失败情况进行改进。这有助于研究人员以更少的数据扩展开发规模，同时保持程序的可解释性，以便工程师在部署前进行审查和验证。

GaP 利用智能体和仿真将单个机器人技能转化为协调一致的动作，例如擦拭吧台。

“在我看来，智能体机器人技术是自 1995 年互联网以来最令人兴奋的技术发展，”加州大学伯克利分校机器人学教授、VABAR 和 GaP 项目负责人 Ken Goldberg 表示。

Ambi Robotics 正在探索将 GaP 用于工业自动化。

Ambi Robotics、Bosch Research 和 Siemens 都在探索将 GaP 用于其跨多种工业场景的智能体机器人工作流。

欢迎参加NVIDIA 在 CoRL的活动以了解更多。