英伟达在GR00T 2技术页中报告,在50项目标机器人未练习过的任务上,每项加入五次示范并微调后,试验成功率从零样本的40%升至95%。这些任务已出现在人类视频或其他机器人的数据中,测试的是技能向目标机器人的迁移。

这组评估使用配备两只Sharpa手的双臂机器人。据英伟达介绍,每项任务的五次示范合计不足3分钟,每次适配在单张RTX 5090上进行30分钟LoRA微调。零样本指直接使用预训练模型;加入示范后的结果则来自针对任务微调的模型。

两个容易混淆的数字需要分开看:零样本试验成功率是40%,同时,50项任务中有40项至少成功过一次。英伟达技术页的上述适配实验说明未列出每项任务的试验次数、总试验数及置信区间,因此不能由95%推算成功次数或统计精度。

GR00T 2采用的世界—动作模型,会一起预测接下来的视频和机器人动作。英伟达介绍,同一个扩散Transformer联合去噪未来视频与动作,再由各机器人专用的小型输出头转成电机控制指令。也就是说,模型学习动作时,也学习场景会怎样随之变化。

训练数据的主体来自人类。据英伟达披露,预训练混合了402,730小时人类第一视角视频、10,184小时手持UMI夹爪示范,以及23,500小时机器人遥操作数据。手持夹爪示范覆盖2,897项任务。

人类视频的作用也有一组对照。英伟达将其预训练用量设为零、1%、10%和100%,在Dexter双臂灵巧手机器人平台的72项任务上评估;真实机器人上的任务进度随之从50%升至70%。这里衡量的是任务进度,不能读成完整任务成功率。

从这些结果看,值得关注的是通用预训练能否减少机器人适配具体任务时所需的示范量。但不足3分钟示范和30分钟微调,只覆盖实验中的适配条件,没有计入硬件、数据采集、系统集成和失败恢复等完整部署成本。

完成复杂任务仍有明显边界。英伟达披露,加入视觉标记、指示抓取与释放位置后,YAM机械臂在垃圾分类中完成17/20次,在板件拆解中完成3/10次;另一平台Dexter虽然能在垃圾分类中放置更多物品,却很少完成整个任务。这些长时程任务结果与前述50项适配任务属于不同评估。少量示范带来的适配提升,还需要与长任务的持续执行能力分别判断。

开放获取方面,Thomas Wolf在11月13日的推荐帖中表示,LeRobot集成正在进行。本次引用的GR00T 2技术页未明确权重获取范围和许可条件,现有GR00T N1.7文档中的商用许可与已完成集成信息,不能直接套用于GR00T 2。

参考来源: