arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

清华让机器人装手机连接器,400次测试成功397次

作者:arXivDaily编辑部 arXiv 2610.09327 cs · cs.RO

论文导读

清华大学提出MCFR,让机械臂先找准手机连接器,再修正细小的位置和角度误差。八类板对板连接器各做50次实机插接,完整方法平均成功率99.25%,对应400次中397次成功。研究团队还展示了手机摄像头模组的识别、抓取、对齐与插入流程,把视觉检测接到实际装配动作上。系统先找准位置,再细调对齐,让相机引导的机械臂完成小零件装配。固定工位里,模型把注意力放到连接器本身,避免依赖背景位移判断位置。

零件很小,背景却可能骗过模型

手机里的板对板连接器需要精确对齐。连接器形状、镀层和针脚数量不同,定位线索也会变化;一点点偏移,就可能让针脚卡住。

采集训练数据时,机械臂移动零件,画面中的背景也可能随相对视角变化。模型于是学到背景怎么移动,而没有真正看清零件。到了固定检测工位,背景不动、零件偏了,这种捷径就失效。

作者准备4500组样本,包含10类连接器和3类手机摄像头模组,并加入强弱光照记录。为检查固定背景问题,测试图像把连接器合成到另外拍摄的空工位背景中,让模型不能继续依靠背景位移判断零件姿态。

图:连接器装配平台与不同零件实物(Figure 3)。

先圈住连接器,再粗估,最后精修

MCFR首先从图像中生成连接器所在区域的概率遮罩,告诉模型主要该看哪里。接着比较两幅图像,估计相对平移和旋转。最后根据图像亮度与局部内容的对应关系,精细调整初步位置。

三个步骤承担不同任务:遮罩压低背景干扰,粗估把较大的偏差拉回,精修处理插接前剩下的小误差。遮罩由视觉基础模型离线准备,不需要在每次训练迭代中重复运行完整分割模型。

遮挡敏感性图也提供了检查线索。没有遮罩的模型更依赖图像边缘和夹具轮廓;加入遮罩后,响应集中到连接器及针脚区域。这是模型关注区域的分析,不能单独当成装配成功率证据。

图:目标遮罩、粗估和精细对齐三个处理阶段(Figure 2)。

八种规格,成功率从22%升到99.25%

实机采用UR5e机械臂、真空夹具和高分辨率检测相机。八类连接器各做50次完整试验:端到端对照平均成功率22%,去掉最终精修的MCFR为94%,完整方法为99.25%。

成功标准是连接器在插入方向接触力达到25牛顿前完成装配。这个阈值来自人工正确对齐插接时观察到的平均峰值力,统计并非只看机械臂是否移动到目标附近。

固定背景测试中,完整模型平均平移误差0.027毫米、旋转误差0.126度。移除遮罩后,平均平移误差上升到0.793毫米;移除精修则变为0.052毫米。两类对照分别说明背景筛选和最后对齐的作用。

图:手机摄像头模组装配的六阶段实机画面(Figure 6)。

未来应用:从连接器测试台到摄像头模组装配

研究团队使用Redmi K40手机与摄像头模组,展示识别、抓取、检测、对齐、插入和归位的完整流程。八类连接器的99.25%来自测试台批量试验,不能直接写成手机摄像头模组的量产良率。

目前方法针对已经收集过的多种零件进行训练,完全没见过的连接器能否直接初始化和插接,还没有被这项研究解决。论文将新类别的零样本适配列为后续方向。

把遮罩、粗估和图像精修接成一条流程,提供了一种可测试的装配方案。扩展到其他小型零件时,需要继续核对目标区域能否稳定分离、表面是否适合图像对齐,以及最终误差是否满足该零件的实际公差。

参考资料

https://arxiv.org/abs/2610.09327

https://arxiv.org/html/2610.09327

https://arxiv.org/pdf/2610.09327

↑