On Robot Grasp Learning Using Equivariant Models
Northeastern University(东北大学);Khoury College of Computer Science(胡里计算机学院)
针对现实抓取检测难、实体训练数据需求大的问题,提出利用平面抓取函数的$\text{SE}(2)$等变性约束神经网络的SymGrasp方法,大幅提升样本效率,仅需600次抓取、1.5小时内即可在实体机器人上从头完成端到端抓取训练。
2023-06-10 cs.AI cs.RO
Towards a Multi-Embodied Grasping Agent
Bosch Corporate Research(博世企业研究);Autonomous Learning Robots Lab(自主学习机器人实验室);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种高效、基于流的 equivariant grasping 架构,能够处理不同自由度的抓取器,通过抓取器和场景几何信息推导出底层运动学模型,提升学习效率和性能。
2026-04-15 cs.RO
EquiDexFlow: Contact-Grounded SE(3)-Equivariant Dexterous Grasp Generative Flows
Institute for Systems Research, University of Maryland, College Park(马里兰大学帕克分校系统研究所)
提出EquiDexFlow,一种SE(3)-等变流匹配模型,联合预测腕部姿态、关节角度、指尖接触、表面法线和接触力,通过将接触投影到物体表面并将力约束在库仑摩擦锥内,确保物理稳定抓取,在16自由度Allegro手上实现零摩擦违规和最佳综合分数。
2026-06-15 cs.CV cs.LG cs.RO
Multi-Fingered Active Grasp Learning
University of Utah(犹他大学);NVIDIA(英伟达)
基于学习的抓取规划方法优于分析方法,因为它们能够更好地推广到新的、部分观察到的对象。然而,数据汇集仍然是抓取学习方法的最大瓶颈之一,特别是对于多指手。手的相对高维的配置空间加上日常生活中常见的物体的多样性,需要大量的样本来产生鲁棒的和自信的抓取成功分类器。在本文中,我们提出了第一种主动深度学习抓取方法,该方法以统一的方式搜索抓取配置空间和分类器置信度。我们的方法是基于最近成功的规划多指把握概率推理与学习神经网络似然函数。我们将其嵌入到样本选择的多臂强盗公式中。我们表明,我们的主动抓取学习方法使用更少的训练样本,以产生把握成功率与被动监督学习方法培训与抓取数据生成的分析规划。我们还表明,主动学习者产生的把握有更大的定性和定量的形状多样性。
2020-08-01 cs.RO
Arm-Aware Guided Dexterous Grasp Generation with Arm-Agnostic Grasp Models
该研究提出一种感知机械臂的灵巧抓取生成框架,利用预训练的与机械臂无关的抓取模型,在6个场景的1万物体评估中,显著提升了高度约束场景下可行抓取的生成概率。
2026-08-18 cs.RO
Efficient learning of goal-oriented push-grasping synergy in clutter
Zhejiang University(浙江大学)
我们专注于目标导向的抓取任务,其中一个机器人应该抓住一个预先分配的目标对象的混乱,需要一些预抓动作,如推动,使稳定的把握。然而,在这个任务中,机器人只有在成功抓住目标物体时才能从环境中获得积极的奖励。此外,关节推和抓延长了动作序列,加剧了奖励延迟的问题。因此,样本效率低下仍然是这项任务的主要挑战。本文提出了一种具有高样本效率的目标条件分层强化学习方法,用于学习在杂乱环境中抓取特定目标的推抓取策略。在我们的工作中,样本效率提高了两种手段。首先,我们使用一个目标条件的机制,目标重新标记,以丰富重放缓冲区。其次,将推策略和抓取策略分别作为生成器和学习器,在抓取学习器的监督下训练推策略,从而增加推策略的奖励。针对两种策略训练设置不同导致的分布不匹配问题,增加了一个交替训练阶段,依次学习推和抓。仿真和真实环境下的实验表明,该方法能够快速学习有效的推取策略,在任务完成率和目标抓取成功率方面均优于现有方法,且运动次数较少.此外,我们验证了我们的系统也可以适应目标不可知的条件下,更好的性能。请注意,我们的系统可以在不进行任何微调的情况下转移到现实世界。我们的代码可在https://github.com/xukechun/Efficient_goal-oriented_push-grasping_synergy上获得。
2021-06-23 cs.RO
Embodied Perception for Test-time Grasping Detection Adaptation with Knowledge Infusion
School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);Unmanned Systems Technology Research Institute, Northwestern Polytechnical University(西北工业大学无人系统技术研究院)
本文提出一种具身测试时自适应抓取检测框架,通过基于操作能力的评估准则和灵活知识库引导机器人主动探索并持续学习,在真实机器人实验中验证了其有效性和泛化能力。
2025-04-07 cs.RO
Learn to Grasp with Less Supervision: A Data-Efficient Maximum Likelihood Grasp Sampling Loss
UC Berkeley(加州大学伯克利分校);FANUC America Corporation(发那科美国公司)
在许多机器人操作任务中,机器人抓取各种物体是必不可少的。一种有前途的方法是从对象图像和抓取标签的大型训练数据集中学习深度抓取模型。然而,经验抓取数据集通常是稀疏标记的(即,每个图像中的少量成功抓取标签)。数据稀疏性问题可能导致监督不足和假阴性标签,从而导致学习效果不佳。本文提出了一种最大似然抓取采样损失(MLGSL)来解决数据稀疏问题。所提出的方法假设,成功的把握是随机抽样的预测把握分布,并最大限度地提高观察的可能性。MLGSL用于训练一个完全卷积的网络,同时生成数千个抓握。训练结果表明,基于MLGSL的模型可以学习掌握由每个图像2个标签组成的数据集。与以前的作品相比,MLGSL需要每个图像16个标签的训练数据集,数据效率提高了8倍。同时,物理机器人实验表明,在家庭物体上的抓取成功率为90.7%。
2022-04-04 cs.RO
Efficient Fully Convolution Neural Network for Generating Pixel Wise Robotic Grasps With High Resolution Images
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于全卷积神经网络的高效模型,利用400×400高分辨率RGB-D图像逐像素生成机器人抓取,在Cornell Grasp Dataset上达到94.42%图像级和91.02%物体级准确率且预测仅需8ms,无需多物体训练即可泛化输出抓取候选。
2019-09-18 cs.RO
$\mathrm{SO}(2)$-Equivariant Reinforcement Learning
Northeastern University(东北大学)
等变神经网络在其卷积层的结构内强制对称,从而在学习等变或不变函数时大幅提高了样本效率。这样的模型是适用于机器人操作学习,通常可以制定为一个旋转对称的问题。本文在$Q$学习和行动者-评论者强化学习的背景下研究了等变模型结构。我们确定等变和不变的最佳$Q$ -功能和最佳策略的特点,并提出等变DQN和SAC算法,利用这种结构。我们目前的实验表明,我们的等变版本的DQN和SAC可以显着更有效的样本比竞争算法的一类重要的机器人操作问题。
2022-03-08 cs.RO
MetaGrasp: Data Efficient Grasping by Affordance Interpreter Network
Sun Yat-sen University(中山大学);SenseTime Group Limited(商汤集团有限公司)
数据驱动的抓取方法近年来取得了显著的进展。但是这些方法通常需要大量的训练数据。为了提高抓取数据汇集的效率,本文提出了一种新的抓取训练系统,包括从数据汇集到模型推理的整个流水线。该系统可以收集有效的抓取样本与纠正策略的辅助下,对足抓取规则,我们设计了一个启示解释器网络来预测像素级抓取启示图。我们将可抓取性、不可抓取性和背景定义为抓取启示。我们的系统的主要优势是,像素级的启示解释器网络训练,只有少量的把握样本下对跖规则可以实现显着的性能完全看不见的对象和背景。训练样本仅在模拟中收集。大量的定性和定量实验证明了我们所提出的方法的准确性和鲁棒性。在现实世界的抓取实验中,我们在一组家用物品上实现了93%的抓取成功率,在一组只有大约6,300个模拟样本的对抗性物品上实现了91%的抓取成功率。我们还实现了87%的准确性,在杂波的情况下。虽然该模型仅使用RGB图像进行训练,但在改变背景纹理时,它也表现良好,在对抗对象集上甚至可以达到94%的准确率,这优于当前最先进的方法。
2019-02-23 cs.CV cs.RO
On-Policy Pixel-Level Grasping Across the Gap Between Simulation and Reality
对于机器人来说,在复杂场景中进行抓取检测是一项非常具有挑战性的任务。生成合成抓取数据是训练和测试抓取方法的常用方法,Dex-net和GraspNet也是如此;然而,这些方法在3D合成对象模型上生成训练抓取,但在具有不同分布的图像或点云上进行评估,由于稀疏抓取标签和协变量偏移,这降低了真实场景的性能。为了解决现有的问题,我们提出了一种新的策略上的抓取检测方法,它可以训练和测试上的RGB-D图像上生成的密集像素级的抓取标签相同的分布。提出了一种基于平行投影点成像模型的平行深度图像生成方法(PDG-Generation),该方法首先生成平行深度图像,然后对每个像素点生成多个候选抓取点,并通过平坦度检测、力闭合度量和碰撞检测获得鲁棒抓取点。然后,构建并发布了一个大型的综合像素级抓取姿势数据集(PLGP数据集);与先前具有非策略数据和稀疏抓取样本的数据集不同,该数据集是第一个像素级抓取数据集,具有基于深度图像生成抓取的策略分布。最后,我们构建并测试了一系列像素级抓取检测网络,其中包含用于不平衡训练的数据增强过程,该过程以解耦的方式在输入RGB-D图像上学习抓取姿势。大量的实验表明,我们的政策把握方法可以在很大程度上克服模拟和现实之间的差距,并达到了最先进的性能。代码和数据在https://github.com/liuchunsense/PLGP-Dataset上提供。
2023-02-21 cs.RO
Local-Canonicalization Equivariant Graph Neural Networks for Sample-Efficient and Generalizable Swarm Robot Control
Princeton University(普林斯顿大学)
该研究针对群体控制MARL策略效率低、泛化差的问题,提出LEGO架构,结合正则化与角色感知图编码,搭配MAPPO算法,在多基准测试中提升性能,可跨团队规模迁移,Crazyflie实验中失效后仍可运行。
2026-08-04 cs.RO
SEIL: Simulation-augmented Equivariant Imitation Learning
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
在机器人操作中,获取样本非常昂贵,因为它通常需要与现实世界进行交互。传统的图像级数据增强已经显示出在各种机器学习任务中提高样本效率的潜力。然而,图像级的数据增强是不够的模仿学习代理学习良好的操作政策,在一个合理的示范量。我们提出了仿真增强的等变模仿学习(SEIL),一种方法,它结合了一种新的数据增强策略,补充专家轨迹与模拟过渡和等变模型,利用$\mathrm{O}(2)$对称性在机器人操作。实验评估表明,我们的方法可以学习非平凡的操作任务在10个演示,并优于基线有显着的利润。
2022-10-31 cs.RO
Efficient End-to-End Detection of 6-DoF Grasps for Robotic Bin Picking
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tuebingen(蒂宾根大学)
针对料箱拣选可达性受限导致可行6-DoF抓取不足的问题,提出基于Power-Spherical分布的端到端概率抓取模型,从单张深度图生成多样无碰撞抓取,并在仿真与真实机器人上达到约90%清空率。
2024-05-10 cs.RO
GRaCE: Balancing Multiple Criteria to Achieve Stable, Collision-Free, and Functional Grasps
National University of Singapore(新加坡国立大学);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究院)
本文提出GRaCE概率框架及GRaCE-OPT混合优化,平衡稳定性、运动学与功能性等多准则,实现高效、无碰撞且功能性的机器人抓取。
2024-05-29 cs.RO
TacRefineNet: Goal-Conditioned Tactile Grasp Refinement for Edge-Prominent Objects
Xiaomi Robotics(小米机器人)
研究针对边缘突出物体抓取对齐难的问题,提出TacRefineNet框架,利用连体策略网络预测手腕姿态增量,经交叉组合训练,在模拟样本上训练后部署到实际五指手,实验表明其在可见物体抓取上有一定成功率及误差控制,还有长期扰动校正等特点。
2026-07-22 cs.RO
Variable Grasp Pose and Commitment for Trajectory Optimization
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Deakin University(迪肯大学)
提出结合可变抓取位姿采样与轨迹承诺的迭代轨迹优化方法,在模拟和真实环境中生成更低成本轨迹、提升成功率与鲁棒性,为可靠机器人操作提供有效方案。
2023-05-21 cs.RO
Exploiting Radiance Fields for Grasp Generation on Novel Synthetic Views
Centre for Applied Autonomous Sensor Systems (AASS)(应用自主传感器系统中心);Örebro University(奥雷布罗大学)
针对多视角抓取成像耗时且受可达性限制的问题,提出利用高斯溅射等场景表示合成新视图辅助抓取生成,在Graspnet-1billion数据集上验证可增加力闭合抓取、提升覆盖率,为单图辐射场抓取提取优化提供方向。
2025-05-16 cs.CV cs.RO
Towards Scale Balanced 6-DoF Grasp Detection in Cluttered Scenes
Beihang University(北京航空航天大学)
在本文中,我们专注于在规模不平衡的6自由度抓取检测的存在下的特征学习的问题,并提出了一种新的方法,特别是解决在处理小规模样本的困难。提出了一种多尺度圆柱体特征提取模块MsCG,通过结合多尺度圆柱体特征和全局上下文来增强局部几何表示。设计了尺度平衡学习(SBL)损失和对象平衡采样(OBS)策略,SBL通过先验权值扩大尺度低频样本的梯度,而OBS通过辅助分割网络捕获小尺度对象上更多的点.它们分别在训练和推理中缓解了抓握尺度分布不均匀的影响。此外,噪声清洁混合(NcM)数据增强被引入以促进训练,旨在通过生成更多的数据将它们混合成实例级的单个数据,以有效的方式弥合合成场景和原始场景之间的域差距。在GraspNet-1Billion基准上进行了广泛的实验,并在小规模案例中取得了显着的收益。此外,现实世界的抓取性能突出了其泛化能力。我们的代码可在https://github.com/mahaoxiang822/Scale-Balanced-Grasp上获得。
2022-12-10 cs.CV cs.RO
GDN: A Coarse-To-Fine (C2F) Representation for End-To-End 6-DoF Grasp Detection
National Taiwan University(台湾大学)
我们提出了一个端到端的把握检测网络,把握检测网络(GDN),配合一种新的粗到精(C2F)把握表示设计,以检测不同的和准确的6自由度的基础上点云把握。与以前的两阶段方法相比,该方法对多个抓取候选者进行采样和评估,我们的架构至少快20倍。在单目标场景中的成功率和杂波场景中的完整率方面,它也分别提高了8%和40%。我们的方法在具有不同视图和输入点数量的设置之间显示出优越的结果。此外,我们提出了一个新的AP为基础的度量,同时考虑旋转和过渡错误,使其成为一个更全面的评估工具,把握检测模型。
2020-11-11 cs.CV cs.RO
Grounding Generative Policies in Physics: Optimization-Guided Diffusion for Robot Control
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出推理时优化框架,通过将扩散引导建模为约束优化问题,在采样中施加物理可行性约束,无需重训练即可提升机器人任务成功率。
2026-06-24 cs.RO
Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning
Yonsei University(延世大学);Samsung Research(三星研究院)
针对视觉机器人操作端到端学习样本效率低的问题,提出基于李群表示理论的SE(3)-等变能量基模型,仅需5~10次演示即可从零学习,且在新位姿、新实例、有干扰的任务中泛化性良好。
2023-02-27 cs.AI cs.RO
Symmetry-Aware Steering of Equivariant Diffusion Policies: Benefits and Limits
Yonsei University(延世大学);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种具有对称性的扩散策略引导框架,通过利用对称性提升样本效率和策略性能,同时揭示了严格等变的实践边界。
2026-10-30 cs.LG cs.RO
UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy
Peking University(北京大学);Beijing Institute for General AI(北京通用人工智能研究院);Stanford University(斯坦福大学);Tsinghua University(清华大学)
在这项工作中,我们解决的问题,学习通用机器人灵巧把握从点云观察下的桌面设置。我们的目标是以高质量和多样化的方式抓住和举起物体,并概括数百个类别,甚至是看不见的。受并行夹持器抓取中成功使用的管道的启发,我们将任务分为两个阶段:1)抓取建议(姿势)生成和2)目标条件抓取执行。对于第一阶段,我们提出了一种新的概率模型的把握姿势条件的点云观察,因式分解旋转平移和关节。在第二阶段,针对灵巧抓取过程的复杂性,提出了一种基于目标约束的抓取策略,以取代传统的并联机器人抓取中的运动规划.请注意,学习这种高度概括的抓取策略是非常具有挑战性的,它只接受现实的输入,而不接受oracle状态。因此,我们提出了几个重要的创新,包括国家规范化,目标课程,师生蒸馏。集成这两个阶段,我们的最终管道成为第一个实现灵巧抓取通用泛化的管道,在数千个对象实例上的平均成功率超过60%,显著优于所有基线,同时仅显示最小的泛化差距。
2023-03-25 cs.CV cs.RO
PEnGUiN: Partially Equivariant Graph NeUral Networks for Sample Efficient MARL
University of Maryland College Park(马里兰大学学院公园分校);The Johns Hopkins Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室)
针对现实MARL环境存在不对称性、现有等变图神经网络适配性不足的问题,提出PEnGUiN部分等变图神经网络架构,可统一学习等变与非等变表示,在非对称场景下性能优于EGNN和标准GNN,提升算法鲁棒性与现实适用性。
2025-03-19 cs.AI cs.LG cs.RO
I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches
Fudan University(复旦大学)
在本文中,我们感兴趣的问题,产生目标把握理解手绘草图。草图对于那些不能用公式表达语言的人和那些在飞行中无法获得文本描述的情况是有用的。然而,很少有作品意识到这种新颖的人机交互方式的可用性。为此,我们提出了一种方法来生成一个潜在的把握配置相关的草图描绘的对象。由于草图具有抽象的细节,固有的二义性,我们利用图形的优势,通过纳入草图的结构,以提高表示能力。这种图形表示的草图被进一步验证,以提高网络的泛化能力,能够通过使用手绘草图的小集合(约100个样本)来学习草图查询抓取检测。此外,我们的模型以端到端的方式进行训练和测试,易于在实际应用中实现。在多目标VMRD和GraspNet-1Billion数据集上的实验表明,该方法具有良好的泛化能力。物理机器人实验证实了我们的方法在对象杂乱的场景中的效用。
2022-05-09 cs.CV cs.RO
T-REX: Vision-Based System for Autonomous Leaf Detection and Grasp Estimation
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
T-Rex系统结合YOLOv8分割、RAFT-Stereo深度估计与叶片抓取算法,在温室中实现自主叶片检测、抓取点估计与微针采样,抓取成功率达66.6%。
2025-05-03 cs.LG cs.RO
Text-driven object affordance for guiding grasp-type recognition in multimodal robot teaching
Microsoft(微软);Tokyo Institute of Technology(东京工业大学)
该研究利用文本驱动的对象可供性提供抓取先验,结合第一人称手部图像数据集验证其可在真实或混合现实场景中提升抓取类型识别。
2023-05-12 cs.CV cs.HC cs.RO
Equivariant Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机学院)
本文研究部分可观测机器人学习领域,通过将特定群对称性等变性编码到神经网络中,使actor-critic强化学习智能体能够复用相关场景的解决方案,从而在样本效率和最终性能上显著超越非等变方法。
2024-08-26 cs.AI cs.CV cs.RO
Equivariant Transporter Network
Khoury College of Computer Science(胡里计算机学院);Northeastern University(东北大学)
Transporter Net是最近提出的一个用于拾取和放置的框架,它能够从很少的专家演示中学习良好的操作策略。Transporter Net如此高效的一个关键原因是该模型将旋转等方差纳入了拾取模块,即该模型立即将学习到的拾取知识推广到以不同方向呈现的对象。本文提出了一种新的版本的运输网络,是同变的拾取和放置方向。其结果是,我们的模型立即概括的地方知识,以不同的地方方向,除了概括挑选知识。最终,我们的新模型比基线Transporter Net模型更有效,并实现了更好的拾取和放置成功率。
2022-09-20 cs.CV cs.LG cs.RO
Equivariant Diffusion Policy
Boston Dynamics AI Institute(波士顿动力人工智能研究所);Northeastern University(东北大学)
提出 Equivariant Diffusion Policy,利用领域对称性提升去噪函数的样本效率与泛化能力,在 6-DoF 控制任务中显著优于基线 Diffusion Policy。
2024-10-15 cs.LG cs.RO
eCP: Equivariant Conformal Prediction with pre-trained models
GRASP Laboratory, Department of Electrical & Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系GRASP实验室);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Automatic Control Laboratory, ETH Zürich(苏黎世联邦理工学院自动控制实验室)
本文提出eCP方法,通过结合几何信息和预训练模型,改进符合预测的不确定性区域,提升高置信度下的预测精度。
2026-04-17 cs.LG cs.RO cs.SY