拧瓶盖时，摄像头能看到机械臂位置，却很难判断软夹爪是否已经压紧；力和触觉传感器又会增加布线、标定和成本。清华大学、南方科技大学、哈尔滨工业大学提出VISTA-Policy，从合规夹爪的三维形变场中提取接触反馈。
团队在跨尺度抓取、拧瓶盖和书法书写三类任务上测试，报告VISTA-Policy超过纯视觉3D Diffusion Policy和触觉基线，并对未见物体尺寸与动态干扰保持更强鲁棒性。实验属于受控设备与任务，不能外推到任意夹爪。
软夹爪形变是一张高维接触地图
外部RGB或点云只间接反映接触，物体被夹爪遮挡后线索更少。VISTA把夹爪表面在三维空间中的位移写成Visual Deformation Field。不同位置、方向和幅度的形变共同反映接触点、受力变化和物体滑动趋势。
论文Figure 1：视觉形变场进入物理编码、去噪与策略网络，形成闭环操作。
视觉形变不等于真实力值。它依赖夹爪材料、相机与三维解码的标定，只能在论文装置上作为物理反馈代理。方法的优势是不用给每个接触面布置专用触觉阵列。
与单个压力数值相比，形变场保留了空间分布：夹爪哪一侧先接触、形变是否沿表面扩散、物体是否在两指之间偏移，都可以进入策略。代价是输入维度更高，视觉重建噪声也会被一起放大，因此论文专门设计编码和去噪模块，而不是把原始位移直接拼到动作网络。
先去掉抖动，再让策略读取接触信号
Physics-Aware Encoding Engine实时解码形变场。机械臂运动、视角噪声和材料回弹也会产生位移，Energy Aggregation Denoising Mechanism把空间上零散、能量较低的变化过滤掉，保留与真实交互一致的形变区域。
论文机制图：三维位移经过物理编码和能量聚合去噪后输入策略。
策略网络同时读取场景视觉与去噪形变，并用增量夹爪动作做小幅修正。对拧盖和书写这类接触丰富任务，增量控制比一次给出完整轨迹更容易在中途根据形变纠偏。
三类任务检验力度、尺度和轨迹
跨尺度抓取改变物体大小，测试夹爪能否在未见尺度上调整闭合；拧瓶盖要求保持接触并持续旋转；书法书写同时要求笔尖压力和二维轨迹。三类任务分别强调抓稳、持续接触与精细运动。
论文实验装置：跨尺度物体、瓶盖与书法平台，以及对应机器人执行过程。
论文报告VISTA-Policy在三类任务上均超过纯视觉和触觉基线，并在外力扰动下恢复。由于摘要没有给出可跨表格统一的单一百分比，文章不把结果包装成一个“全面领先”数字。
跨尺度测试把训练范围外的物体尺寸留作评估，动态干扰则在操作中改变接触状态。这两类设置分别检查静态泛化和在线纠偏。书法任务的轨迹精度还受到笔尖、纸面摩擦和夹持角度影响，因此成功不能只看是否留下笔迹，还要比较路径与连续性。
换材料和换夹爪是部署前的关键测试
实验图展示不同对象、扰动和任务的对比。形变反馈能补足遮挡条件下的接触信息，但夹爪老化、温度和材料批次变化都可能改变同一接触对应的位移模式。
论文Figure 3：VISTA-Policy在抓取、拧盖与精细操作设置中的结果与对比。
下一步需要做跨夹爪校准、长期耐久性和更高速操作测试，并把形变场与真实力传感器对齐。若不同软夹爪能通过少量数据完成迁移，视觉形变反馈才可能成为低成本接触感知模块，而非某一套硬件的专用方案。
部署时还要监测夹爪材料的基线漂移。系统可以在空载闭合时记录参考形变，超过阈值就重新标定或停机；对于拧盖和书写，还应把允许的接触范围交给低层安全控制器。视觉形变能提供丰富反馈，但不应单独承担过力保护。
参考资料
https://arxiv.org/abs/2608.25872
