Sample Efficient Grasp Learning Using Equivariant Models
Northeastern University(东北大学)
在平面抓取检测中,目标是从场景的图像学习到$\mathrm{SE}(2)$中的一组可行抓取姿势的函数。在本文中,我们认识到,最佳把握功能是$\mathrm{SE}(2)$ -等变的,可以使用等变卷积神经网络建模。因此,我们能够显着提高抓取学习的样本效率,仅在600次抓取尝试后就获得了抓取函数的良好近似。这是足够少的,我们可以在大约1.5小时内学会完全掌握物理机器人。
2022-02-18 cs.RO
Grasp Stability Analysis with Passive Reactions
COLUMBIA UNIVERSITY(哥伦比亚大学)
[...]我们认为,传统的把握建模理论假设的复杂性,大多数机器人的手不具备,因此是有限的适用性,今天常用的机器人手。我们讨论了这些现有的把握建模文献的局限性,并着手开发我们自己的工具,在机器人抓取的被动效应的分析。我们表明,这类问题是很难解决的,由于非凸的最大耗散原理(MDP),这是库仑摩擦定律的一部分。我们表明,对于平面抓取,MDP可以分解为许多分段凸问题,这些问题可以有效地求解。[...]因此,我们提出了第一个多项式的运行时间算法,用于确定被动稳定的平面把握。对于空间的情况,我们[…]描述了一个凸松弛的库仑摩擦定律和一个连续的层次收紧的方法,使我们能够找到解决方案的确切问题,包括最大耗散原理。[...]我们的把握模型的一般性,使我们能够解决各种各样的问题,如最佳执行器命令的计算。这使得我们的框架实际操作应用程序的一个有价值的工具。我们的工作是相关的机器人操作之外,因为它适用于任何装配的刚性体的摩擦接触,单边约束和外部施加扳手的稳定性。最后,我们认为,随着数据驱动的方法的出现,以及出现了新一代的高度传感器化的手有机会应用传统的把握建模理论,如机器人手操作领域,通过无模型强化学习。我们提出了一种方法,适用于传统的把握模型,以保持准静态的稳定性在整个名义上无模型强化学习任务。[...]
2021-03-10 cs.RO
SGDN: Segmentation-Based Grasp Detection Network For Unsymmetrical Three-Finger Gripper
Shandong University(山东大学)
在本文中,我们提出了基于分割的抓取检测网络(SGDN)预测一个可行的机器人抓持的非对称三指机器人手爪使用RGB图像。对目标的可行抓取应该是具有相同抓取角度和宽度的抓取区域的集合。也就是说,一个简化的平面抓取表示应该是像素级的,而不是像五维抓取表示那样的区域级的,因此,我们提出了一个像素级的抓取表示--有向基固定三角形。它也更适用于不对称的三指夹持器,在抓取某些物体时不能对称抓取,抓取角度在[0,2π)而不是平行板夹持器的[0,π)。为了预测RGB图像中合适的抓取区域及其对应的抓取角度和宽度,SGDN使用DeepLabv 3+作为特征提取器,在重新标注的Cornell Grasp数据集上,该模型在图像分割和对象分割上分别达到了96.8%和92.27%的准确率,并获得与现有技术方法一致的准确预测。
2020-05-17 cs.RO
A dataset of 40K naturalistic 6-degree-of-freedom robotic grasp demonstrations
University of Waterloo(滑铁卢大学)
抓取规划的现代方法通常涉及深度学习。然而,在物理机器人上只有几个大的标记抓取例子的数据集,并且可用的数据集涉及相对简单的双指抓取器的平面抓取。在这里,我们介绍:1)一种新的人类抓取演示方法,有助于快速收集自然抓取示例,具有完整的六自由度抓取器定位; 2)使用RightHand Robotics三指ReFlex抓取器在109个不同刚性物体上成功抓取约4万次的数据集。
2018-12-31 cs.LG cs.RO
Steering Flexible Linear Objects in Planar Environments by Two Robot Hands Using Euler's Elastica Solutions
Dept. of ME, Technion, Israel(技术学院机械工程系,以色列);Dept. of ME, Ben-Gurion University, Israel(本· Gurion大学机械工程系,以色列)
本文利用欧拉弹性线解,通过控制两机器人手的抓取端点位置和切线,实现平面环境中柔性线性物体的无自交、稳定和避障操控。
2026-06-18 cs.RO
Manipulation with Shared Grasping
Carnegie Mellon University(卡内基梅隆大学);Southern University of Science and Technology(南方科技大学)
共享抓取是由被操纵物体与机器人手和环境之间的接触形成的抓取。通过将手部接触与环境接触进行交换,共享抓握需要较少的手部接触,并且即使在不可能完全抓握的情况下也能够进行操纵。以前的研究已经使用了非易失性操作,如旋转和翻滚的共同掌握。本文处理的问题更一般,与方法来选择最好的共享把握和机器人的行动所需的对象运动。中心问题是评估可行的接触模式:对于每个接触,该接触是否将保持活跃,以及是否会发生滑动。鲁棒性很重要。当接触模式失败时,例如,当失去接触或发生无意的滑动时,操作将失败,并且在某些情况下可能发生损坏。在这项工作中,我们列举了所有可行的接触模式,计算相应的控制,并选择最强大的候选人。我们还可以优化接触几何形状以实现稳健性。本文采用准静态分析的平面刚体库仑摩擦推导的算法和控制。最后,我们在代表性实验和示例中展示了共享抓取的鲁棒性以及我们的方法的使用。该视频可以在https://youtu.be/tyNhJvRYZNk上找到
2020-06-04 cs.RO
Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning
Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系);Amazon Lab126(亚马逊实验室126);National Tsing Hua University(国立清华大学)
提出OGRG框架,通过双向视觉-语言融合和深度信息实现基于属性的对象定位与抓取检测,在重复对象和开放语言下优于基线,支持弱监督学习。
2025-09-09 cs.RO
6-DOF Grasping for Target-driven Object Manipulation in Clutter
NVIDIA(英伟达);The Robotics Institute, CMU(卡内基梅隆大学机器人研究所);University of Washington(华盛顿大学)
在杂乱的环境中抓取是一项基本但具有挑战性的机器人技能。它既需要推理看不见的物体部分,也需要推理与操纵器的潜在碰撞。大多数现有的数据驱动的方法避免了这个问题,限制自己自上而下的平面把握,这是不够的,许多现实世界的情况下,大大限制了可能的把握。我们提出了一种方法,计划6自由度把握任何所需的对象在一个混乱的场景从部分点云观测。我们的方法实现了80.3%的抓取成功率,比基线方法高出17.6%,并在真实机器人平台上清除了9个杂乱的桌子场景(其中包含23个未知对象和51个拾取)。通过使用我们学习的碰撞检查模块,我们甚至可以推理有效的抓取序列来检索无法立即访问的对象。补充视频可以在https://youtu.be/w0B5S-gCsJk上找到。
2020-05-21 cs.CV cs.RO
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies(达闼科技)
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务:物体定位、物体姿态估计和抓取估计。具体地说,目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿,包括基于对应关系的方法、基于模板的方法和基于投票的方法,其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法,其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位,而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计,而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外,还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
A new robotic hand based on the design of fingers with spatial motions
Armor Méca(阿尔默机械公司);École Centrale de Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
本文提出了一种新的手结构与三个欠驱动的手指。每个手指执行空间运动,以实现比现有的平面运动手指更复杂和更多样的抓取。这只手的目的是在复杂形状的工件离开加工中心时抓住它们。在夹具的分类中,圆柱形夹具和球形夹具通常用于抓取重物。这两种模式的结合使得可以捕获大多数5轴机床加工的工件。然而,抓取模式的改变需要手指重新配置自己来执行空间运动。这种解决方案需要增加两个或三个致动器来改变手指的位置,并需要传感器来识别工件的形状并确定要使用的抓取类型。本文提出将欠驱动手指的概念扩展到空间运动。在介绍了手指的运动学之后,讨论了该机构的稳定性问题以及力的传递。通过对雅可比力传递矩阵的研究,给出了计算稳定性条件的完整方法。CAD表示的手和它的行为在球形和圆柱形夹具。
2021-06-17 cs.RO
RGB-D Grasp Detection via Depth Guided Learning with Cross-modal Attention
Beihang University(北京航空航天大学);Harbin Institute of Technology(哈尔滨工业大学)
平面抓取检测是机器人操作最基本的任务之一,消费级RGB-D传感器的最新进展使其能够从纹理和形状模态中提供更全面的特征。然而,与RGB图像相比,深度图通常具有相对较低的质量和更强的噪声,这使得获取抓取深度和融合多模态线索具有挑战性。为了解决这两个问题,本文提出了一种新的基于学习的RGB-D抓取检测方法,即深度引导跨模态注意网络(DGCAN)。为了更好地利用深度通道中记录的几何信息,采用了完整的6维矩形表示,其中除了常见的5维中定义的那些之外,还专门考虑了抓取深度。额外抓取深度的预测大大加强了特征学习,从而导致更准确的结果。此外,为了减少两种模式的数据质量差异所造成的负面影响,设计了局部跨模态注意力(LCA)模块,其中深度特征根据跨模态关系进行细化,并与RGB特征进行连接,以实现更充分的融合。进行了大量的仿真和物理评估,实验结果突出了所提出的方法的优越性。
2023-02-28 cs.CV cs.RO
Sim-to-Real Grasp Detection with Global-to-Local RGB-D Adaptation
Beihang University(北京航空航天大学);Harbin Institute of Technology(哈尔滨工业大学)
针对RGB-D抓取检测的仿真到现实域适应问题,提出全局到局部对齐方法,含抓取原型适应模块,在GraspNet-Planar和物理环境中取得优异效果。
2024-03-18 cs.CV cs.RO
Generalizable 6D Pose Estimation of Textureless Objects with Planar-based Gaussian Splatting
College of Future Information Technology, Fudan University(复旦大学未来信息技术学院);College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院);University of Turku(图尔库大学);Jihua Laboratory(季华实验室)
提出PG-Pose框架,结合平面高斯溅射重建与几何驱动优化,在无CAD模型条件下实现无纹理物体6D姿态估计,在OnePose-LowTexture数据集上达到94.2%精度,并成功应用于工业机器人抓取。
2026-09-09 cs.RO
A Novel Reconfigurable Dexterous Hand Based on Triple-Symmetric Bricard Parallel Mechanism
Institute of AI and Robotics, Academy for Engineering & Technology, Fudan University(人工智能与机器人研究所,工程与技术学院,复旦大学);Department of Mechanical Engineering, The Hong Kong Polytechnic University(机械工程系,香港理工大学)
本文提出了一种基于三对称布拉克平行机构的新型可重构灵巧手,通过拓扑和尺寸综合优化自由度和连杆配置,提升抓取多样性和操作精度。
2026-03-01 cs.RO
The Teenager's Problem: Efficient Garment Decluttering as Probabilistic Set Cover
University of California, Berkeley(加州大学伯克利分校);University of Leeds(利兹大学);Carnegie Mellon University(卡内基梅隆大学);Toyota Research Institute(丰田研究所)
针对平面散落衣物高效整理的“青少年问题”,提出基于图像分割的概率集合覆盖方法及深度、整合策略,大幅提升每次搬运衣物数量。
2024-10-29 cs.RO
GelSight FlexiRay: Breaking Planar Limits by Harnessing Large Deformations for Flexible,Full-Coverage Multimodal Sensing
Zhejiang University(浙江大学)
针对传统视觉触觉传感器依赖刚性结构、牺牲柔顺性和传感区域的问题,提出GelSight FlexiRay多模态视觉触觉传感器,通过多镜配置优化和类人多模态感知增强,实现软夹爪大幅变形下的稳健传感,性能优于现有技术。
2024-11-28 cs.RO
Singular surfaces and cusps in symmetric planar 3-RPR manipulators
Institut de Recherche Mathématique de Rennes(雷恩数学研究所);Université de Rennes I(雷恩第一大学);Institut de Recherche en Communications et Cybernétique de Nantes(南特通信与控制研究所)
本文研究了一类3-RPR机器人,其运动学正问题(DKP)被分解为三次问题和二次问题。这些操作器的几何特征在于,移动三角形是通过间接等距的基础三角形的图像。我们介绍了一个特定的坐标系,适应这种几何特征,这也是很好地适应分裂的DKP。这使我们能够容易地获得精确的描述的奇点和尖点边缘。这些后二阶奇异性是重要的非奇异装配模式的变化。我们将展示如何对装配模式进行排序,并将此排序用于关节空间中的运动规划。
2011-07-22 cs.RO
Torsion Resistant Strain Limiting Layers Enable High Grip Strength of Electrically-Driven Handed Shearing Auxetic Grippers
University of Washington(华盛顿大学);Northeastern University(东北大学)
针对软夹持器易滑脱、无法抓取大负载的问题,提出抗扭刚性应变限制层TR-SLL,结合HSA致动器实现单指软夹持器,大幅提升抓取力与负载能力,在YCB物体测试中表现优异。
2024-12-10 cs.RO
Designing a Mechanical Tool for Robots with 2-Finger Parallel Grippers
Osaka University(大阪大学);National Inst. of AIST(日本产业技术综合研究所)
本工作设计了一个机械工具的机器人与2手指平行的夹具,它扩展了机器人夹具的功能,而不需要额外的工具交换器或其他致动器。机械工具的基本运动结构是两个对称的平行四边形,其将机器人夹持器的运动传递到机械工具。四个扭转弹簧连接到两个平行四边形的四个内部接头,以在机器人夹具释放时打开工具。详细分析了力和传输,以确保工具在夹持力和弹簧刚度方面反应良好。同时,根据机床的运动结构,设计了多种工具提示,使机床能够完成不同的任务。运动学结构可以是应用各种巧妙的夹持器设计的平台。所设计的工具可作为一个正常的对象,并通过自动规划抓取拾取和使用。机器人可以通过附接到工具主体的AR标记来定位工具,通过选择自动规划的抓取来抓取工具,并且将工具从任意姿势移动到特定姿势以抓取物体。机器人还可以根据给定任务的要求确定最佳抓握和使用。
2019-02-25 cs.RO
TacRefineNet: Goal-Conditioned Tactile Grasp Refinement for Edge-Prominent Objects
Xiaomi Robotics(小米机器人)
研究针对边缘突出物体抓取对齐难的问题,提出TacRefineNet框架,利用连体策略网络预测手腕姿态增量,经交叉组合训练,在模拟样本上训练后部署到实际五指手,实验表明其在可见物体抓取上有一定成功率及误差控制,还有长期扰动校正等特点。
2026-07-22 cs.RO
Introducing the Simulated Flying Shapes and Simulated Planar Manipulator Datasets
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们发布了两个人工数据集,模拟飞行器和模拟平面机械手,可以测试视频处理系统的学习能力。特别地,数据集意味着作为允许容易地评估旨在编码、重构或预测视频帧序列的深度神经网络模型的健全性的工具。每个数据集包含90000个视频。模拟飞行数据集包括显示两个相同形状(矩形,三角形和圆形)和大小的对象的场景,其中一个对象接近其对应对象。模拟平面操纵器显示了一个3自由度平面操纵器,该操纵器执行拾取和放置任务,在该任务中,它必须在方形平台上放置大小可变的圆。与其他广泛使用的数据集(如移动MNIST [1],[2])不同,这两个数据集涉及面向目标的任务(例如,操纵器抓住物体并将其放置在平台上),而不是显示随机移动。这使得我们的数据集更适合测试预测能力和通过机器学习模型学习复杂运动。本技术文件旨在介绍这两个数据集的使用。
2018-07-02 cs.AI cs.CV cs.LG