点击即抓取：通过视觉扩散描述符实现零样本精确操作
Click to Grasp: Zero-Shot Precise Manipulation via Visual Diffusion Descriptors
AI总结：
本文提出一种零样本精确操作方法，利用文本到图像扩散模型建立细粒度部件语义对应，仅凭用户点击参考图像即可输出目标对象的夹爪抓取姿态，无需训练实例或手动演示，并在真实桌面场景中验证了有效性。
摘要：
在机器人技术中，能够跨场景和跨对象泛化的精确操作仍然是一个持续的挑战。当前针对该任务的方法严重依赖于拥有大量训练实例，以处理具有显著视觉和/或几何部件歧义的对象。我们的工作探索了在零样本设置下，利用基于网络训练的文本到图像扩散生成模型，对细粒度部件描述符进行 grounding，以实现精确操作。我们将该问题构建为一个密集语义部件对应任务。我们的模型返回一个用于操作特定部件的夹爪姿态，使用来自同一对象视觉上不同实例的源图像中用户定义的点击作为参考。我们不需要手动抓取演示，因为我们利用了对象固有的几何结构和特征。在真实世界桌面场景中的实际实验验证了我们方法的有效性，展示了其在推进语义感知机器人操作方面的潜力。网页：https://tsagkas.github.io/click2grasp
英文摘要：
Precise manipulation that is generalizable across scenes and objects remains a persistent challenge in robotics. Current approaches for this task heavily depend on having a significant number of training instances to handle objects with pronounced visual and/or geometric part ambiguities. Our work explores the grounding of fine-grained part descriptors for precise manipulation in a zero-shot setting by utilizing web-trained text-to-image diffusion-based generative models. We tackle the problem by framing it as a dense semantic part correspondence task. Our model returns a gripper pose for manipulating a specific part, using as reference a user-defined click from a source image of a visually different instance of the same object. We require no manual grasping demonstrations as we leverage the intrinsic object geometry and features. Practical experiments in a real-world tabletop scenario validate the efficacy of our approach, demonstrating its potential for advancing semantic-aware robotics manipulation. Web page: https://tsagkas.github.io/click2grasp
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
