苹果研究团队11月4日在预印本平台arXiv提交论文,披露人形机器人自主控制系统HALO,并在宇树G1人形机器人上验证。HALO的全称是Humanoid Autonomy, Learned in simulation, running Onboard,意为在仿真中学习、在机载设备上运行的人形机器人自主系统,名字本身就点明了技术路线。
HALO分三层:上层由视觉语言模型负责编排技能,中层由扩散模型根据图像生成运动,下层则由完全在仿真中训练的策略负责跟踪执行。三层各司其职,机器人无需遥操作、无需动作捕捉、无需真实家庭数据训练,就能把仿真中学到的动作搬到陌生真实房间里执行。
论文的关键数字是91%:在6个未建图的真实环境中,HALO完成了360次试验,成功率达到91%。技能覆盖坐下、导航至指定物体、侧身穿过半开的门、在桌下蹲伏与爬行、推动箱子,以及多步骤长程任务的串联,覆盖了家庭场景里的常见动作。
两个千问模型各司其职
HALO用到的两个千问模型分工明确:运动生成器以冻结的Qwen3.5-2B视觉语言模型为编码器,配合同架构解码器以流匹配方式生成5秒、150帧的运动计划;编排器则在机载Mac mini上运行Qwen3.6-35B-A3B的4-bit量化版,无需联网,也可选用前沿闭源模型。
训练数据的规模同样可观:296.3小时、162698个回合、1000个程序化生成的家庭,全部来自仿真。仿真训练的意义在于,机器人可以在虚拟家庭里无限试错,而不用在真实世界里摔坏硬件,成本与风险都大幅降低,训练效率也更高。
从仿真到真实的零样本迁移
HALO的真正卖点是零样本迁移:训练全在仿真里完成,部署时直接进入从未见过的真实房间。单任务真实成功率平均91%,与仿真中的91%持平,说明仿真与真实之间的差距已经被抹平;多任务平均真实成功率为70%,仿真为69%,同样接近。
硬件上,验证平台是宇树G1人形机器人,加装后置Mac mini机箱后重37.56公斤,配Mac mini M4 Pro、Jetson Orin NX、OAK-1W广角RGB相机与RealSense深度相机。整套系统跑在机器人自己身上,不依赖云端,离线也能工作,隐私与延迟都有保障。
苹果选择公开这篇论文,等于把人形机器人的一条技术路线摆上了台面:仿真训练加机载模型,不靠海量真实数据,也能让机器人在陌生环境里干活。这条路线能不能走通,91%的成功率给出了一个初步答案,接下来要看它能否走出实验室。走出实验室,才是真正的考验。