Learning Dense Visual Descriptors using Image Augmentations for Robot Manipulation Tasks
Ulm University(乌尔姆大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们提出了一种自监督的训练方法,用于使用图像增强来学习视图不变的稠密视觉描述符。与现有的作品,这往往需要复杂的数据集,如注册的RGBD序列,我们训练上的一组无序的RGB图像。这允许从单个相机视图学习,例如,在一个现有的机器人细胞与固定安装的摄像头。我们使用数据增强创建合成视图和密集像素对应。我们发现我们的描述符是竞争力的现有方法,尽管更简单的数据记录和设置要求。我们表明,对合成对应关系的训练在广泛的相机视图中提供了描述符的一致性。我们比较训练与几何对应从多个视图,并提供消融研究。我们还展示了一个机器人箱采摘实验,使用从固定安装的摄像头学习的描述符来定义抓取偏好。
2022-09-12 cs.RO
Spatial RoboGrasp: Generalized Robotic Grasping Control Policy
Stanford University(斯坦福大学);Peking University(北京大学);ZhiCheng AI(智城AI)
针对机器人抓取在多变环境下泛化难的问题,提出融合多模态感知与扩散策略的统一框架,实现空间感知与动作规划,显著提升抓取和任务成功率。
2025-05-27 cs.CV cs.RO
GPA-RAM: Grasp-Pretraining Augmented Robotic Attention Mamba for Spatial Task Learning
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(国家一般人工智能重点实验室,北京大学深圳研究生院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);State Key Laboratory of Internet of Things for Smart City, University of Macau(智慧城市物联网重点实验室,澳门大学)
该研究提出GPA-RAM框架,通过GPA增强模仿策略并开发RAM实现高效计算,在多机器人平台的空间操纵任务中显著提升成功率,兼顾精度与实时性。
2026-08-03 cs.RO
NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via Novel-View Synthesis
Stanford(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google(谷歌)
专家演示是训练视觉机器人操作策略的丰富监督来源,但模仿学习方法通常需要大量的演示或昂贵的在线专家监督来学习反应性闭环行为。在这项工作中,我们介绍SPARTN(通过NeRF增强机器人轨迹的合成扰动):一个完全离线的数据增强计划,用于改善使用手眼相机的机器人策略。我们的方法利用神经辐射场(NeRFs)合成注入校正噪声到视觉演示,使用NeRFs生成扰动的观点,同时计算校正动作。这不需要额外的专家监督或环境交互,并将NeRF中的几何信息提取到实时反应的仅RGB策略中。在一个模拟的6自由度视觉抓取基准测试中,SPARTN比没有校正增强的模仿学习提高了2.8 $\times$的成功率,甚至优于一些使用在线监督的方法。此外,它还缩小了仅RGB和RGB-D成功率之间的差距,消除了以前对深度传感器的需求。在现实世界的6自由度机器人抓取实验从有限的人类示范,我们的方法提高了绝对成功率平均$22.5\%$,包括对象,传统上是具有挑战性的基于深度的方法。在\url{https://bland.website/spartn}上查看视频结果。
2023-01-18 cs.CV cs.LG cs.RO
Dexterous grasp data augmentation based on grasp synthesis with fingertip workspace cloud and contact-aware sampling
The Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出基于远程操作的框架,通过FSG生成抓取姿态数据,结合AutoWS自动生成指尖工作空间云,提升抓取数据生成效率与鲁棒性。
2026-03-17 cs.RO
Real-time Motion Generation and Data Augmentation for Grasping Moving Objects with Dynamic Speed and Position Changes
Hitachi, Ltd.(株式会社日立制作所);Institute for AI and Robotics, Future Robotics Organization(未来机器人组织人工智能与机器人研究所);Waseda University(早稻田大学)
本文提出一种基于时间序列下采样与填充的低成本数据增强方法,使机器人能够对未学习速度及动态位置变化的移动物体生成鲁棒抓取运动。
2023-09-22 cs.RO
Learning Robust Real-World Dexterous Grasping Policies via Implicit Shape Augmentation
University of Washington(华盛顿大学);NVIDIA(英伟达)
灵巧的机器人手有能力与各种各样的家用物体进行交互,以执行抓取等任务。然而,由于难以生成高质量的训练数据,学习针对任意对象的鲁棒现实世界抓取策略已被证明是具有挑战性的。在这项工作中,我们提出了一个学习系统(ISAGrasp),利用少量的人类示范引导生成一个更大的数据集,包含成功把握各种新的对象。我们的关键见解是使用对应感知隐式生成模型来变形对象网格并展示人类抓握,以便生成新颖对象的多样化数据集和监督学习的成功抓握,同时保持语义现实主义。我们使用这个数据集训练一个强大的抓取策略,可以部署在现实世界中的模拟。我们在模拟和现实世界中展示了四指Allegro手的抓取性能,并表明这种方法可以处理全新的语义类别,并在抓取现实世界中看不见的物体时实现79%的成功率。
2022-10-24 cs.RO
A Convex-Combinatorial Model for Planar Caging
Massachusetts Institute of Technology(麻省理工学院);Toyota Research Institute(丰田研究院)
笼是一个很有前途的工具,它允许机器人操纵的对象,而不直接推理的接触动力学。此外,笼也提供了有用的保证方面的鲁棒性的不确定性,并经常作为一个途径点的把握。不幸的是,以前的工作笼往往是基于计算几何或离散拓扑工具,导致限制夹持器的几何形状,并难以集成到更大的操作框架。在本文中,我们开发了一个凸组合模型,从优化的角度来表征笼。更具体地说,我们研究的配置空间的对象,手指作为障碍物,包围的对象的配置。这种方法的凸组合性质提供了最优性,收敛性和可扩展性的保证,其优化性质使其适用于机器人操作任务的进一步应用。
2019-08-02 cs.RO
Control and implementation of fluid-driven soft gripper with dynamic uncertainty of object
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工学院))
用于稳定抓取物体的具有高顺应性的软夹具可以被认为是替代传统刚性夹具的合适候选者,并且近年来,它们在工业中呈指数增长。这些高度适应性的夹具不仅能够静态抓取物体,而且还可以用于执行物体操作任务。近年来,对柔性夹持器静态抓取能力的研究越来越多。然而,在这篇论文中,平面在手的物体操作在一个软夹持器,其中包括一对软手指进行了研究。
2020-11-21 cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich(苏黎世联邦理工学院)
VQ-ACE通过压缩人类手部运动到量化潜在空间,结合MPC和RL,在灵巧操作任务中实现高效策略搜索,提升成功率并加速学习。
2024-11-05 cs.RO
Robotic Dexterous Manipulation via Anisotropic Friction Modulation using Passive Rollers
Northeastern University(东北大学);RAI Institute(RAI研究所)
本文提出一种通过被动滚轮调节接触摩擦和约束方向的机器人指尖设计,实现了多样化的灵巧操作,包括滑动、旋转和多物体 manipulation,展示了低复杂度机械高效摩擦调节方法的优越性。
2026-03-29 cs.RO
Kitchen Robotic Manipulation utilizing Foundation Models
Kumoh National Institute of Technology(金乌国立技术大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出一种整合多种基础模型的模块化厨房机器人感知流水线,经评估优化后可在杂乱遮挡场景下实现89.12%的ADI,无需环境重训练即可完成餐具处理等家庭操作任务。
2026-08-06 cs.RO
Diffusion Models for Robotic Manipulation: A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本综述全面回顾了Diffusion Models在机器人操作中的应用,涵盖抓取学习、轨迹规划和数据增强,并探讨了其与模仿学习和强化学习的整合及当前挑战。
2025-07-14 cs.RO stat.ML
RoboGrasp: A Universal Grasping Policy for Robust Robotic Control
Peking University(北京大学);Harvard University(哈佛大学)
本文提出RoboGrasp通用抓取策略,将预训练抓取检测模型与机器人学习结合,利用目标检测和分割的视觉引导提升抓取精度与泛化能力,在少样本和抓取框提示任务中成功率最高提升34%。
2025-02-05 cs.CV cs.RO
A multi-modal tactile fingertip design for robotic hands to enhance dexterous manipulation
Carnegie Mellon University(卡内基梅隆大学)
提出一种低成本、紧凑的多模态触觉指尖设计,集成应变式与接触式麦克风传感器,在灵巧操作任务中单独或结合视觉实现高成功率,如100%精确取杯。
2026-09-29 cs.RO
Generalized Anthropomorphic Functional Grasping with Minimal Demonstrations
School of Artificial Intelligence, Chinese Academy of Sciences(中国科学院人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人中心)
本文提出一种基于细粒度接触建模的六步抓取合成算法,在最少人类演示下为高自由度仿人手生成类人功能性抓取,并通过训练DexFG-Net实现泛化,在仿真和真实机器人实验中均取得高成功率。
2023-03-31 cs.RO
On-Policy Pixel-Level Grasping Across the Gap Between Simulation and Reality
对于机器人来说,在复杂场景中进行抓取检测是一项非常具有挑战性的任务。生成合成抓取数据是训练和测试抓取方法的常用方法,Dex-net和GraspNet也是如此;然而,这些方法在3D合成对象模型上生成训练抓取,但在具有不同分布的图像或点云上进行评估,由于稀疏抓取标签和协变量偏移,这降低了真实场景的性能。为了解决现有的问题,我们提出了一种新的策略上的抓取检测方法,它可以训练和测试上的RGB-D图像上生成的密集像素级的抓取标签相同的分布。提出了一种基于平行投影点成像模型的平行深度图像生成方法(PDG-Generation),该方法首先生成平行深度图像,然后对每个像素点生成多个候选抓取点,并通过平坦度检测、力闭合度量和碰撞检测获得鲁棒抓取点。然后,构建并发布了一个大型的综合像素级抓取姿势数据集(PLGP数据集);与先前具有非策略数据和稀疏抓取样本的数据集不同,该数据集是第一个像素级抓取数据集,具有基于深度图像生成抓取的策略分布。最后,我们构建并测试了一系列像素级抓取检测网络,其中包含用于不平衡训练的数据增强过程,该过程以解耦的方式在输入RGB-D图像上学习抓取姿势。大量的实验表明,我们的政策把握方法可以在很大程度上克服模拟和现实之间的差距,并达到了最先进的性能。代码和数据在https://github.com/liuchunsense/PLGP-Dataset上提供。
2023-02-21 cs.RO
Hybrid Gripper Finger Enabling In-Grasp Friction Modulation Using Inflatable Silicone Pockets
提出一种结合刚性外壳与可充气硅胶口袋的混合夹爪指,通过控制内部气压主动调制表面摩擦,在不增加法向力的前提下稳定抓取重型、湿滑及易碎物体,提升操作安全性。
2025-10-31 cs.RO
Learning physics-informed simulation models for soft robotic manipulation: A case study with dielectric elastomer actuators
University of Edinburgh(爱丁堡大学);Ghent University(根特大学);imec(微电子研究中心)
软致动器提供了一种安全,适应性强的方法,如温柔的抓取和灵巧的操纵任务。然而,由于可变形材料的复杂物理特性,创建精确的模型来控制这样的系统是具有挑战性的。精确的有限元法(FEM)模型导致闭环使用的过高的计算复杂性。使用微分模拟器是一个有吸引力的替代方案,但其适用性的软致动器和可变形材料仍然未充分探索。本文提出了一个框架,结合两者的优点。我们学习一个可微的模型组成的材料属性神经网络和分析动力学模型的其余部分的操作任务。该物理模型使用FEM生成的数据进行训练,可用于闭环控制和推理。我们评估我们的框架上的介电弹性体致动器(DEA)硬币拉任务。我们模拟了使用DEA沿着摩擦接触的表面拉硬币的任务,使用FEM,并评估了模拟,控制和推理的物理模型。与FEM相比,我们的模型达到了< 5%的仿真误差,并且我们将其用作MPC控制器的基础,该控制器需要比无模型的演员-评论家,PD和启发式策略更少的迭代来收敛。
2022-07-16 cs.AI cs.RO
Visual-Policy Learning through Multi-Camera View to Single-Camera View Knowledge Distillation for Robot Manipulation Tasks
Institute for Infocomm Research (I2R), A*STAR(新加坡科技研究局资讯通信研究院(I2R));National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本文提出通过多相机视图教师策略向单相机视图学生策略进行知识蒸馏,并结合数据增强与极端视点变化训练,使单视图视觉策略在机器人抓取任务中获得更强的泛化能力和零样本迁移性能。
2023-12-02 cs.AI cs.RO
Towards Precise Model-free Robotic Grasping with Sim-to-Real Transfer Learning
Universität Hamburg(汉堡大学);Agile Robots AG(敏捷机器人公司)
精确的机器人抓取几个新的物体是制造,自动化和物流中的一个巨大挑战。目前大多数无模型抓取方法都受到抓取数据集稀疏、传感器数据和接触模型误差的影响。这项研究结合了数据生成和仿真到现实迁移学习的抓持框架,减少了仿真到现实的差距,使精确和可靠的无模型抓持。为了解决基于深度学习的机器人抓取数据稀疏问题,采用区域随机化方法和一种新的数据增强方法生成了具有密集抓取标签的大规模机器人抓取数据集.我们提出了一个端到端的机器人抓取网络与把握优化。利用仿真到现实迁移学习来训练抓取策略。所呈现的结果表明,我们的抓取框架减少了抓取数据集,传感器数据和接触模型的不确定性。在物理机器人实验中,我们的抓取框架抓取单个已知物体和新颖的复杂形状的家用物体,成功率为90.91%。在复杂的场景中,机器人抓取多物体,成功率为85.71%。所提出的抓取框架优于两个国家的最先进的方法,在已知和未知对象的机器人抓取。
2023-01-28 cs.AI cs.RO
Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
本文提出一种基于手套的触觉-运动学感知-预测框架,通过模仿学习将人类抓取技能迁移至机器人手,利用图结构和时空图网络实现泛化抓取。
2025-09-10 cs.AI cs.RO
Efficient and Robust Training of Dense Object Nets for Multi-Object Robot Manipulation
Bosch Center for Artificial Intelligence(博世人工智能中心);Ulm University(乌尔姆大学)
我们提出了一个强大的和有效的密集对象网(DON)的训练框架,重点是多对象机器人操作场景。DON是一种流行的方法来获得密集的,视图不变的对象描述符,它可以用于机器人操作中的许多下游任务,如姿态估计,状态表示控制等。然而,最初的工作集中在单个对象上的训练,在特定于实例的多对象应用程序上的结果有限。此外,训练需要复杂的数据汇集流水线,包括每个对象的3D重建和掩模注释。在本文中,我们通过简化的数据汇集和训练机制进一步提高了DON的有效性,该机制始终能够产生更高的精度,并能够以更少的数据需求稳健地跟踪关键点。特别是,我们专注于使用多对象数据而不是单个对象进行训练,并结合精心选择的增强方案。我们还提出了一种替代的损失公式,以提供更好的结果,是不太敏感的超参数。最后,我们证明了我们提出的框架在现实世界中的机器人抓取任务的鲁棒性和准确性。
2022-06-24 cs.CV cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol(布里斯托大学);University College London(伦敦大学学院);Imperial College London(帝国理工学院)
提出 GenForce 框架,通过共享标记表征统一触觉信号,实现跨同构与异构触觉传感器的力觉模型迁移,并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
Combining Shape Completion and Grasp Prediction for Fast and Versatile Grasping with a Multi-Fingered Hand
DLR Institute of Robotics and Mechatronics(德国航空航天中心机器人与机电系统研究所);Technical University of Munich(慕尼黑技术大学);Deggendorf Institute of Technology(德格多夫技术学院)
本研究提出了一种结合形状补全与抓取预测的深度学习方法,实现快速且多功能的多指手抓取,通过高效算法在单视角深度图像基础上完成物体抓取任务。
2026-01-19 cs.AI cs.CV cs.LG
Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids
UC Berkeley(伯克利大学);NVIDIA(英伟达);UT Austin(奥斯汀大学)
针对人形机器人视觉灵巧操作策略学习难、现有方法成本高的问题,提出含自动现实-仿真调优、通用奖励等模块的sim-to-real强化学习方案,在三项任务上实现高成功率与鲁棒性,验证了该方案的可行性与可扩展性。
2025-09-01 cs.AI cs.CV cs.LG
AugInsert: Learning Robust Visual-Force Policies via Data Augmentation for Object Assembly Tasks
University of Minnesota, Twin Cities(明尼苏达大学,双城分校);Google DeepMind(谷歌DeepMind)
该研究提出评估多传感机器人策略鲁棒性的因子框架,开发基于Perceiver IO的多传感策略,通过仿真与实验发现多传感变化是泛化主要挑战,力-力矩传感对接触密集装配任务最关键。
2025-08-01 cs.LG cs.RO
RoCoDA: Counterfactual Data Augmentation for Data-Efficient Robot Learning from Demonstrations
Georgia Institute of Technology(佐治亚理工学院);Apptronik, Inc.(Apptronik公司)
针对机器人模仿学习泛化难、数据成本高的问题,提出融合因果不变性与SE(3)等变性的RoCoDA反事实数据增强框架,在五项操作任务上实现了优于现有方法的策略性能、泛化性与样本效率。
2025-05-20 cs.AI cs.CV cs.LG
Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation
提出Robo-Harness K1框架,将感知作为工具暴露给VLM智能体,无需修改架构或训练深度编码器,在LIBERO-PRO和RoboTwin任务上显著提升准确率,并展示了样本高效和可泛化性。
2026-09-25 cs.RO
Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control
Northeastern University(东北大学);Spaulding Rehabilitation Hospital(斯波尔丁康复医院);Worcester Polytechnic Institute(伍斯特理工学院)
提出融合第一视角视频、眼动注视与前臂EMG的贝叶斯框架,利用新型数据处理和增强技术推断假肢手抓取意图,融合准确率达95.3%。
2024-02-27 cs.AI cs.CV cs.HC
WasteGAN: Data Augmentation for Robotic Waste Sorting through Generative Adversarial Networks
University of Padova(帕多瓦大学);Osaka University(大阪大学)
本文提出WasteGAN,一种基于新型GAN架构的数据增强方法,通过改进损失函数、激活函数和生成器模块,仅用约100个标注样本即可提升语义分割性能,并结合语义感知抓取实现机器人垃圾分类,抓取污染物性能提升达5.8%。
2024-09-25 cs.CV cs.RO
SMART-TRACK: A Novel Kalman Filter-Guided Sensor Fusion For Robust UAV Object Tracking in Dynamic Environments
1 College of Computer;Information Sciences. Prince Sultan University. Riyadh, Saudi Arabia
针对动态环境中传统 Kalman Filter 因测量间歇性失效导致跟踪发散的问题,提出 SMART-TRACK 框架,利用 KF 高频状态估计指导测量搜索与增强,并在 ROS2 中实现,显著提升了无人机目标跟踪的鲁棒性与稳定性。
2024-10-14 cs.RO
Scalable Modular Synthetic Data Generation for Advancing Aerial Autonomy
Cornell University(康奈尔大学);Microsoft(微软公司)
本文提出可扩展的空中合成数据增强框架ASDA,通过可脚本化的场景与数据增强流水线和统一提示接口,自动生成多样化空中数据集,以平衡泛化性与可扩展性并提升下游性能。
2023-05-26 cs.AI cs.CV cs.GR
Learning in ImaginationLand: Omnidirectional Policies through 3D Generative Models (OP-Gen)
该研究提出用3D生成模型(OP-Gen)从单个真实演示扩充数据集,学习全向策略,可减少所需演示数,在多任务上性能优于基线方法。
2026-08-12 cs.CV cs.LG cs.RO