机器人学习与视觉预测力
Robot Learning with Visual Predicted Force
浏览论文内容
中文总结 AI 辅助
本研究提出通过Fin Ray夹爪变形的视觉力预测实现力感知操作，训练视觉力估计器和动作-力提议策略，在部署时无需力或触觉传感器，并在浆果采摘等任务中验证了有效性。
中文摘要 AI 辅助
力感知操作通常依赖于专门的力或触觉传感器。我们表明，力感知操作可以通过对柔性Fin Ray夹爪变形的视觉力预测来实现。我们的方法训练两个模型。首先，我们在标定数据上训练一个视觉力估计器，并用它来为任务演示标注力估计值。其次，我们在这些力增强的演示上训练一个动作-力提议策略，以联合生成候选机器人动作及其相关力。在测试时，我们采样候选动作及其预期产生的力，然后执行预测力最接近演示中目标的动作。我们在浆果采摘、空罐抓取、手中重新定向和插头插入上评估了我们的方法。我们的结果表明，视觉力预测可以在部署时无需力或触觉传感器的情况下，指导接触丰富操作的推理时动作选择。
英文摘要
Force-aware manipulation typically relies on specialized force or tactile sensors. We show that force-aware manipulation can instead be achieved through visual force prediction from the deformation of a compliant Fin Ray gripper. Our approach trains two models. First, we train a visual force estimator on calibration data and use it to annotate task demonstrations with force estimates. Second, we train an action--force proposal policy on these force-augmented demonstrations to jointly generate candidate robot actions and their associated forces. At test time, we sample candidate actions and the forces they are expected to produce, then execute the action whose predicted force is closest to a target from the demonstrations. We evaluate our approach on berry picking, empty-can grasping, in-hand reorientation, and plug insertion. Our results show that visual force prediction can guide inference-time action selection for contact-rich manipulation without requiring force or tactile sensors at deployment.
发表机构
- Harvard University（哈佛大学）
- Massachusetts Institute of Technology（麻省理工学院）
- University of Pennsylvania（宾夕法尼亚大学）
- Stanford University（斯坦福大学）
机构由 AI 辅助整理，请以论文原文为准。
