arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

拆掉腕部相机,机器人靠全景加特写做到77.1%

作者:arXivDaily编辑部 论文中文资料arXiv 2610.20064 cs.AI · cs.RO

论文导读

斯坦福大学、普林斯顿大学提出FoveaVLA,让机械臂从外部相机原图中选择下一次要看的特写,同时保留全景。在四组共48次实机试验中,双外部相机配置总体成功率77.1%,高于带腕部相机基线的52.1%,无需把相机装在机械臂手腕上也能看清操作细节。

找黑色笔时,别只盯着手边那一支

把黑色记号笔放进黄色碗,难点有时不在抓取,而在识别目标。腕部相机能看清手边细节,却可能把远处的目标和其他干扰物排除在视野之外。全景相机看得广,但整张图缩小后,细小物体又容易糊成一团。

FoveaVLA同时保留两种信息:一张缩小后的全景,告诉机器人东西在哪;一张从原始分辨率图像裁出来的局部,告诉它眼前细节是什么。特写来自实际相机图像,不是生成一个虚拟腕部视角。

图:四类实机任务的初始与完成画面,分别展示抓放、干扰抓放、远距移动和布料操作。

论文给出了放笔、移动远处物体、折叠和展开布料等实机案例。在同样任务设置下,模型一边执行动作,一边决定下一次查询需要观察哪片区域,让特写随着操作进程转移。

这一轮做动作,也为下一眼画框

模型每次生成一段机器人动作,同时预测外部画面中的交互框。机器人执行动作期间,框已经准备好;下一张图像到来时,系统据此裁取局部,再把全景和局部一起交给策略。

框的训练依据来自已有机器人示范的交互标注:夹爪、目标物体,以及放置或接触区域。它不是简单地永远放大夹爪中心。比如需要把笔放进碗,下一步有用的区域要同时覆盖手、笔和目标容器。

图:全景、局部RGB与深度输入共同产生动作块和下一次观察区域。

两种配置都使用外部双目相机,并由双目图像估计深度。Single是一处外部视角,Dual是两处;两者都没有腕部相机。训练建立在π0.5基础上,利用DROID数据与RoboInter标注做后训练,因此不能把成绩解释为给原模型拔掉相机就能直接提升。

48次实机测试,收益集中在难看的场景

四类实机任务各12次,共48次。普通抓放上,腕部相机基线和两种FoveaVLA配置都达到100%;差别主要来自有干扰物、布料和远处物体的任务。

Single总体70.8%,Dual总体77.1%,腕部相机基线52.1%。其中Single在干扰抓放上为58.3%,基线为25.0%;移动远处物体为75.0%,基线为41.7%。这些是小规模受控任务的成功比例,论文同时报告标准误,不能把单个百分数当成稳定产品保证。

图:四类任务中腕部相机基线与两种FoveaVLA配置的成功率柱状对照。

消融也说明,“裁一下”并不是全部答案。只有RGB、缺少深度,或去掉局部特写,结果会明显变化;观察区域的选择和空间信息一起影响操作。

在MolmoSpaces仿真测试中,Dual九项任务平均22.4%,报告的π0.5-DROID参考为17.8%,其中七项更高。这个测试另有相机与深度协议,应该单独理解。实际展示出来的改进,是把有限视觉输入分给当前最需要的区域,同时保住全局场景。

参考资料

https://arxiv.org/abs/2610.20064

https://arxiv.org/html/2610.20064

https://arxiv.org/pdf/2610.20064

https://tml.stanford.edu/FoveaVLA/

↑