论文导读
斯坦福大学、普林斯顿大学提出FoveaVLA,让机械臂从外部相机原图中选择下一次要看的特写,同时保留全景。在四组共48次实机试验中,双外部相机配置总体成功率77.1%,高于带腕部相机基线的52.1%,无需把相机装在机械臂手腕上也能看清操作细节。
找黑色笔时,别只盯着手边那一支
把黑色记号笔放进黄色碗,难点有时不在抓取,而在识别目标。腕部相机能看清手边细节,却可能把远处的目标和其他干扰物排除在视野之外。全景相机看得广,但整张图缩小后,细小物体又容易糊成一团。
FoveaVLA同时保留两种信息:一张缩小后的全景,告诉机器人东西在哪;一张从原始分辨率图像裁出来的局部,告诉它眼前细节是什么。特写来自实际相机图像,不是生成一个虚拟腕部视角。
图:四类实机任务的初始与完成画面,分别展示抓放、干扰抓放、远距移动和布料操作。
论文给出了放笔、移动远处物体、折叠和展开布料等实机案例。在同样任务设置下,模型一边执行动作,一边决定下一次查询需要观察哪片区域,让特写随着操作进程转移。
这一轮做动作,也为下一眼画框
模型每次生成一段机器人动作,同时预测外部画面中的交互框。机器人执行动作期间,框已经准备好;下一张图像到来时,系统据此裁取局部,再把全景和局部一起交给策略。
框的训练依据来自已有机器人示范的交互标注:夹爪、目标物体,以及放置或接触区域。它不是简单地永远放大夹爪中心。比如需要把笔放进碗,下一步有用的区域要同时覆盖手、笔和目标容器。
图:全景、局部RGB与深度输入共同产生动作块和下一次观察区域。
两种配置都使用外部双目相机,并由双目图像估计深度。Single是一处外部视角,Dual是两处;两者都没有腕部相机。训练建立在π0.5基础上,利用DROID数据与RoboInter标注做后训练,因此不能把成绩解释为给原模型拔掉相机就能直接提升。
48次实机测试,收益集中在难看的场景
四类实机任务各12次,共48次。普通抓放上,腕部相机基线和两种FoveaVLA配置都达到100%;差别主要来自有干扰物、布料和远处物体的任务。
Single总体70.8%,Dual总体77.1%,腕部相机基线52.1%。其中Single在干扰抓放上为58.3%,基线为25.0%;移动远处物体为75.0%,基线为41.7%。这些是小规模受控任务的成功比例,论文同时报告标准误,不能把单个百分数当成稳定产品保证。
图:四类任务中腕部相机基线与两种FoveaVLA配置的成功率柱状对照。
消融也说明,“裁一下”并不是全部答案。只有RGB、缺少深度,或去掉局部特写,结果会明显变化;观察区域的选择和空间信息一起影响操作。
在MolmoSpaces仿真测试中,Dual九项任务平均22.4%,报告的π0.5-DROID参考为17.8%,其中七项更高。这个测试另有相机与深度协议,应该单独理解。实际展示出来的改进,是把有限视觉输入分给当前最需要的区域,同时保住全局场景。
参考资料
https://arxiv.org/abs/2610.20064
https://arxiv.org/html/2610.20064