A General Peg-in-Hole Assembly Policy Based on Domain Randomized Reinforcement Learning
University of Southern Denmark（南丹麦大学）；The Maersk Mc-Kinney Moller Institute（马士基麦克-金尼·莫勒研究所）
本文提出基于PPO和域随机化的通用轴孔装配策略GenPiH，在八千多个孔位姿上实现近100%插入成功率，并在UR10e机器人上完成免调参的仿真到真实验证。
2025-04-05 cs.RO
Learning to Fill the Seam by Vision: Sub-millimeter Peg-in-hole on Unseen Shapes in Real World
Zhejiang University（浙江大学）；Huawei Incorporated Company（华为技术有限公司）
在钉插入任务中，人类注意到钉和孔之间的接缝，并试图通过视觉反馈不断填充它。通过模仿人类的行为，我们设计的结构与位置和方向估计的基础上的接缝表示的姿态对齐，这被证明是一般的看不见的钉的几何形状。通过将估计器放入具有强化学习的闭环控制中，与基线方法相比，我们进一步实现了更高或相当的成功率，效率和鲁棒性。该策略完全在模拟中训练，没有任何人工干预。为了实现模拟到真实，可以很容易地训练一个具有自动数据收集和标记的可学习分割模块，以解耦感知和策略，这有助于在模拟中训练的模型快速适应现实世界。结果在模拟和物理机器人。代码、视频和补充材料可在https://github.com/xieliang555/SFN.git上获得
2022-04-20 cs.RO
Learning Sequences of Manipulation Primitives for Robotic Assembly
Singapore Centre for 3D Printing (SC3DP)（新加坡3D打印中心）；School of Mechanical and Aerospace Engineering, NTU（南洋理工大学机械与航天工程学院）；Eureka Robotics（尤里卡机器人公司）
本文探讨的想法，熟练的装配是最好的表示为动态序列的操作原语，这样的序列可以自动发现的强化学习。操纵原语，如“向下移动直到接触”，“沿x方向滑动，同时保持与表面接触”，具有足够的复杂性以保持搜索树浅，但足够通用以概括广泛的装配任务。此外，与更基本的动作相比，操纵原语的附加“语义”使它们在sim 2 real中以及对模型/环境变化和不确定性更鲁棒。策略在模拟中学习，然后转移到物理平台上。直接的sim 2 real传输（无需在实际中重新训练）在具有挑战性的装配任务中实现了出色的成功率，例如以0.04 mm间隙插入圆形钉或以大孔位置/方向估计误差插入方形钉。
2021-03-26 cs.RO
PolyFit: A Peg-in-hole Assembly Framework for Unseen Polygon Shapes via Sim-to-real Adaptation
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
PolyFit提出基于力/力矩监督学习的5自由度轴孔装配框架，通过多点接触策略和仿真到现实自适应，实现对未见多边形形状的高成功率装配。
2023-12-05 cs.AI cs.RO
VTLA: Vision-Tactile-Language-Action Model with Preference Learning for Insertion Manipulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；Samsung R&D Institute China–Beijing（三星中国北京研发中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出融合视觉、触觉、语言与动作的 VTLA 模型，并利用 DPO 提供连续动作监督，在指尖插入任务中显著优于基线并实现良好 Sim2Real 迁移。
2025-05-14 cs.RO
Self-supervised deep visual servoing for high precision peg-in-hole insertion
University of Southern Denmark（南丹麦大学）
许多工业装配任务涉及具有亚毫米公差的钉孔式插入，即使在高度校准的机器人单元中也具有挑战性。可以采用视觉伺服来增加对系统中的不确定性的鲁棒性，然而，现有技术的方法要么依赖于用于合成渲染的精确3D模型，要么依赖于人工参与训练数据的获取。我们提出了一种新的自我监督的视觉伺服方法，高精度钉孔插入，这是完全自动化的，不依赖于合成数据。我们证明了它的适用性插入电子元件到印刷电路板与严格的公差。我们表明，钉孔插入可以大大加快之前的强大的，但缓慢的力为基础的插入策略与我们提出的视觉伺服方法，其配置是完全自主的。
2022-06-17 cs.RO
Factorized Tactile Representation and Control for Sim-to-Real Manipulation
Amazon Fulfillment Technologies & Robotics（亚马逊履约技术与机器人）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
提出因子化触觉表征与控制框架，将接触响应分解为几何、力分布和时间变化，通过触觉门控策略实现仿真到现实迁移，在插销插入等任务中显著提升性能。
2026-10-08 cs.RO
Touch2Insert: Zero-Shot Peg Insertion by Touching Intersections of Peg and Hole
Institute of Science Tokyo（东京科学研究所）；Mitsubishi Electric（三菱电机）
Touch2Insert通过触觉传感实现无需特定训练的零样本针插入，适用于多种连接器形状，实验显示其在模拟和真实机器人中均表现出高精度和高成功率。
2026-03-04 cs.RO
Fast robust peg-in-hole insertion with continuous visual servoing
SDU Robotics（南丹麦大学机器人中心）；University of Southern Denmark（南丹麦大学）
本文展示了一种视觉伺服方法，该方法对与系统校准和抓取相关的不确定性具有鲁棒性，同时与经典方法和最近基于深度学习的尝试相比，显着减少了钉入孔时间。所提出的视觉伺服方法基于来自多凸轮设置中的深神经网络的钉和孔点估计，其中该模型在纯合成数据上训练。实证结果表明，学习模型推广到现实世界中，允许更高的成功率和更低的周期时间比现有的方法。
2020-11-12 cs.RO
Active Extrinsic Contact Sensing: Application to General Peg-in-Hole Insertion
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种方法，积极估计一个把握刚性物体和它的环境之间的接触位置，并使用此作为输入的钉孔插入政策。估计模型和主动触觉反馈控制器协同工作，以准确地估计外部接触。该控制器通过调节一致的接触模式，使估计模型得到更好的估计。更好的估计使得控制器更容易调节接触。然后，我们训练一个对象不可知的插入策略，学习使用一系列的接触估计，以指导插入一个看不见的钉到一个洞。与以前直接从触觉信号学习策略的工作相比，由于该策略是在接触配置空间中，因此可以直接在模拟中学习。最后，我们在一个真实的实验中展示和评估了主动外部接触线估计和训练的插入策略。我们表明，所提出的方法插入各种形状的测试对象具有更高的成功率和更少的插入尝试比以前的工作与端到端的方法。请参见https://sites.google.com/view/active-extrinsic-contact上的补充视频和结果。
2022-03-28 cs.RO
Peg-in-Bench: A Modular Benchmark for High-Precision Robotic Insertion
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立 Advanced Industrial Science and Technology 研究所（AIST））
本文提出Peg-in-Bench模块化基准测试集，可生成多样轴孔插入任务以评估机器人高精度插入的泛化能力，配套场景生成工具保障结果可复现。
2026-09-02 cs.RO
Learning A Simulation-based Visual Policy for Real-world Peg In Unseen Holes
College of Control Science and Engineering, Zhejiang University, Zhejiang, China.（控制科学与工程学院，浙江大学，浙江，中国）；The Application Innovate Lab, Huawei Incorporated Company, China.（应用创新实验室，华为公司，中国）
提出一种基于学习的视觉插拔方法，通过解耦感知与策略模块，在仿真中训练多种形状，并仅需少量仿真到现实迁移成本即可适应真实世界中任意未见形状。
2026-05-28 cs.AI cs.RO
Imitation Learning for High Precision Peg-in-Hole Tasks
Yaskawa India Pvt. Ltd.（安川印度私人有限公司）；Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）
工业机器人操纵器无法匹配的精度和速度，人类能够执行接触丰富的任务，即使到今天。因此，作为克服这一差距的一种手段，我们演示了生成方法，用于模仿在6自由度机器人操作器的钉孔插入任务。特别是，生成对抗模仿学习（GAIL）是用来成功地实现这一任务与10微米，和6微米的钉孔间隙的安川GP8工业机器人。实验结果表明，该策略在20集内成功地从机器人上的少数人类专家演示（即，< 10个遥控机器人演示）。插入时间从> 20秒（其还包括失败的插入）改善到< 15秒，从而验证了该方法的有效性。
2020-12-26 cs.LG cs.RO
Learning Contact Dynamics through Touching: Action-conditional Graph Neural Networks for Robotic Peg Insertion
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Osnabrück University（奥斯纳布吕克大学）
本文提出了一种基于动作的图神经网络模型，用于提升机器人圆柱体插入任务中的运动和力矩预测精度。
2026-09-17 cs.LG cs.RO
InsertAnything: Generalizable Contact-Rich Precision Insertion from Simulation to Reality
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；PaXini AI Technology (Beijing) Co., Ltd.（北京他山科技有限公司）
提出一种完全在仿真中训练的强化学习框架，结合目标位姿和指尖力反馈，实现无需真实演示即可直接部署的高精度插入策略，在ManipulationNet基准上首次获得满分，并在跨任务中达到95%成功率。
2026-09-22 cs.RO
Tactile-based Active Inference for Force-Controlled Peg-in-Hole Insertions
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
针对视觉遮挡和抓取位姿不确定下的精密插销问题，本文提出结合RL力控与触觉主动推断的双策略架构，在小于0.1 mm间隙任务中达到90%成功率并可泛化至五种销钉。
2023-09-27 cs.RO
Understanding Multi-Modal Perception Using Behavioral Cloning for Peg-In-a-Hole Insertion Tasks
Cornell University（康奈尔大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
孔中钉（PiH）插入任务中的主要挑战之一是处理目标孔位置的不确定性。为了解决这个问题，可以将来自传感器模态（例如视觉、力/扭矩感测和本体感受）的高维传感器输入组合起来，以学习对目标姿势中的这种不确定性鲁棒的控制策略。尽管深度学习在识别物体和使用高维输入做出决策方面取得了成功，但当在真实系统上直接应用试错算法时，学习过程可能会损坏机器人。与此同时，示教学习（LfD）方法已被证明可以通过利用专家提供的演示数据在真实机器人系统中实现令人信服的性能。在本文中，我们调查的优点，多传感器的形式，如视觉，力/扭矩传感器，本体感觉时，结合学习控制器的现实世界中的装配操作任务，使用LfD技术。这项研究仅限于PiH插入;我们计划在未来将这项研究扩展到更多的实验。此外，我们提出了一个多步前进的损失函数，以提高性能的行为克隆方法。一个真实的机械臂上的实验结果支持我们的研究结果，并显示所提出的损失函数的有效性。
2020-07-22 cs.LG cs.RO
Zero-Shot Peg Insertion: Identifying Mating Holes and Estimating SE(2) Poses with Vision-Language Models
Institute of Science Tokyo（科学东京学院）；Mitsubishi Electric（三菱电机）
本文提出一种基于视觉-语言模型的零样本销钉插入框架，无需任务特定训练即可识别配合孔并估计 SE(2) 位姿，在多种未见物体上达到 90.2% 识别准确率和 88.3% 真实插入成功率。
2025-03-08 cs.AI cs.CV cs.RO
Bridging the Sim-to-Real Gap with Dynamic Compliance Tuning for Industrial Insertion
UC Berkeley（加州大学伯克利分校）；Autodesk Research（欧特克研究中心）
针对工业紧密插入的仿真到现实迁移难题，提出由Force Planner与Gain Tuner组成的动态柔顺控制框架，仅靠仿真训练即可无微调完成多种窄间隙及负间隙真实插入。
2024-03-01 cs.RO
Accurate Pose Estimation Using Contact Manifold Sampling for Safe Peg-in-Hole Insertion of Complex Geometries
Realization of Robotic Systems Lab, University of Southern California（机器人系统实现实验室，南加州大学）
本文提出一种仅依赖接触状态的SE(3)位姿估计框架，通过6秒在线子流形采样映射到离线接触流形，在0.1-1.0 mm间隙的复杂几何形状销孔插入中实现96.7%成功率，比无状态估计方法提高6倍，显著降低插入力并提升装配安全性。
2025-07-05 cs.RO
Vision-Force Admittance Learning for Peg Insertion into a Movable Hole
New York University（纽约大学）；General Motors（通用汽车公司）
针对动态环境下插销入孔精度难题，提出视觉-力导纳学习框架，融合异步视觉与高频力模型，实现毫米级精度在线调整，实验验证高成功率与强适应性。
2026-09-15 cs.RO
Force-Based Offset Estimation for Keyed Peg-in-Hole Assembly Using Local Gaussian Process Regression
Institute of Mechanical Engineering, Cologne University of Applied Sciences（科隆应用技术大学机械工程学院）
本研究针对键-键槽装配的几何约束与位姿偏差问题，提出嵌入感知-验证-插入流程的力偏移估计方法，通过局部KNN-高斯过程混合回归器等提升精度，使协作机械臂销插入成功率从67%升至87%。
2026-08-19 cs.RO
TacZero: Training-Free Peg Insertion Using a General-Purpose Vision-Language Model with Tactile Feedback
OMRON SINIC X Corporation（欧姆龙SINIC X公司）
TacZero利用预训练通用视觉语言模型，结合视觉与触觉观测，无需额外训练或任务规则即可选择动作，实现免训练的插销任务，实验证明触觉输入显著提升成功率。
2026-10-07 cs.RO
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR（A*STAR资讯通信研究院（IR））；Institute for High Performance Computing (IHPC), A*STAR（A*STAR高性能计算研究院（IHPC））
我们提出了KOVIS，一种新的学习为基础的，无标定的视觉伺服方法，精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练，训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练，而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后，我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性，在模拟环境和现实世界的实验与不同的机器人操作任务，包括抓取，钉孔插入与4mm的间隙，和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
Experimental Force-Torque Dataset for Robot Learning of Multi-Shape Insertion
IBM Research - Tokyo（IBM东京研究院）
真实世界系统和物理交互的准确建模是解决机器人任务的共同挑战。机器学习方法已经在复杂系统的建模中展示了显著的结果（例如，关节式机器人结构、线缆拉伸、流体动力学），或者学习机器人任务（例如，抓取、到达），使用强化学习。然而，机器学习技术中的常见瓶颈在于合适数据的可用性。虽然近年来已经发布了许多基于视觉的数据集，但涉及物理交互的数据集，特别是机器人社区感兴趣的数据集，却越来越少。在本文中，我们提出了一个公共数据集的钉孔插入任务，包含力扭矩和姿势信息的多个变化的凸形钉。我们演示了如何使用此数据集训练机器人插入多面体钉孔仅使用6轴力/扭矩传感器测量作为输入，以及其他任务，涉及接触，如形状识别。
2018-07-25 cs.RO
Learning the Contact Manifold for Accurate Pose Estimation During Peg-in-Hole Insertion of Complex Geometries
Realization of Robotic Systems Lab, University of Southern California（机器人系统实现实验室，南加州大学）
本文提出一种混合框架，仅利用接触状态信息恢复复杂销钉插入过程中的SE(3)位姿，通过构建局部接触子流形并与离线流形对齐，实现亚毫米级精度，成功率93.3%，速度提升95倍。
2025-05-25 cs.CG cs.RO
"What, not how": Solving an under-actuated insertion task from scratch
Google（谷歌）
机器人操作需要一系列复杂的技能，需要仔细组合和协调才能完成任务。然而，机器人研究任务中的大多数强化学习（RL）方法实际上只包括单一的操作技能，例如抓取物体或插入预先抓取的物体。因此，指定了技能（“如何”解决任务），而不是完整操作的实际目标（“解决什么”）。相比之下，我们研究了一个复杂的操纵目标，需要一个代理学习和结合不同的操纵技能。我们提出了一个具有挑战性的，高度欠驱动的钉孔任务与自由，旋转不对称钉，需要广泛的操作技能。虽然正确的挂钩（重新）定向是成功插入的必要条件，但没有奖励与之相关。因此，智能体需要理解这个先决条件并学习技能来实现它。最终插入奖励是稀疏的，允许解决方案的自由度，并导致任务设计期间未预见到的复杂新兴行为。我们在多任务RL框架中使用调度辅助控制（SAC-X）结合正则化分层策略优化（RHPO）来解决这个问题，它成功地解决了模拟中的任务，并在数据严重有限的单个机器人上从头开始。
2020-10-30 cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University（厄勒布鲁大学）
在制造业中，装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习（RL）是自动学习这些任务的有前途的框架，然而，即使部署条件仅略有不同，也仍然不容易将学习的策略或技能（即解决任务的能力）应用于类似的环境。在本文中，我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能，并组成家庭的技能先验指导学习的政策，为一个新的任务，通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间，表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法，并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
PHASE: Compliance-Enabled Tactile Phase Retrieval for Few-Shot Insertion Learning
The University of Tokyo（东京大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
针对接触丰富插入任务少样本学习难的问题，提出PHASE框架，利用柔顺腕部触觉信号进行相位感知分割与检索，在真实销孔插入中成功率提升13个百分点，未见位置下提升30个百分点。
2026-09-28 cs.RO
Tactile Memory with Soft Robot: Robust Object Insertion via Masked Encoding and Soft Wrist
OMRON SINIC X Corp.（OMRON SINIC X公司）
本研究提出TaMeSo-bot系统，通过掩码编码和软手腕实现鲁棒的物体插入，展示了MAT$^\text{3}$在复杂任务中的高效适应能力。
2026-09-10 cs.AI cs.LG cs.RO
Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents
University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies（瑞士南方应用科学与艺术大学创新技术系）；Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland（瑞士意大利大学信息学院，卢加诺，瑞士）
提出VLAJS方法，通过稀疏的VLA高层动作建议引导PPO探索，结合方向性动作一致性正则化，提升强化学习在长时域操作任务中的样本效率，并在仿真和真实机器人上验证。
2026-06-11 cs.AI cs.LG cs.RO
Learning of Parameters in Behavior Trees for Movement Skills
Lund University（隆德大学）；Computer Technology Institute & Press “Diophantus”（“丢番图”计算机技术与出版研究所）；University of Patras（帕特雷大学）；Stanford University（斯坦福大学）
强化学习（RL）是一个强大的数学框架，允许机器人通过试错来学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千次试验才能收敛到高性能的策略，在学习时可能会产生危险的行为，并且优化的策略（通常建模为神经网络）在无法执行任务时几乎没有解释。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BT）可以提供策略表示，其a）支持模块化和可组合技能，b）允许容易地解释机器人动作，以及c）提供有利的低维参数空间。在本文中，我们提出了一种新的算法，可以在模拟中学习BT策略的参数，然后推广到物理机器人，而无需任何额外的训练。我们利用物理模拟器与我们的工作站的数字孪生，并优化与黑盒优化器的相关参数。我们展示了我们的方法的有效性与7自由度KUKA-iiwa机械手在一个任务，包括避障和接触丰富的插入（钉孔），其中我们的方法优于基线。
2022-08-02 cs.LG cs.RO
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
HydroShear通过建模粘滞滑动和路径依赖的力与剪切，实现更真实的触觉仿真，提升强化学习策略在四个任务中的成功率。
2026-10-19 cs.AI cs.RO
Quickly Inserting Pegs into Uncertain Holes using Multi-view Images and Deep Network Trained on Synthetic Data
Osaka University（大阪大学）；National Inst. of AIST（国立先进工业科学技术研究所）
本文使用机器人将钉子组装到具有不同颜色和纹理的表面上的孔中。特别针对具有初始位置不确定性的轴孔装配问题。两个手持摄像机和一个力-扭矩传感器被用来考虑位置的不确定性。执行包括基于学习的视觉伺服、螺旋搜索和阻抗控制的程序序列，以利用来自上述传感器的反馈来执行孔内钉任务。贡献主要是在序列的基于学习的视觉伺服中做出的，其中使用域随机化的概念生成的各种合成数据集来训练深度神经网络，以预测孔的位置。在实验和分析部分，网络进行了分析和比较，并实现了一个真实世界的机器人系统，使用所提出的方法插入钉孔。结果表明，实现的钉孔装配系统可以执行成功的钉孔插入不同颜色和纹理的表面。它通常可以加快整个钉孔过程。
2019-02-25 cs.RO
Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion
Robotics Research Center of Yuyao（余姚机器人研究中心）；Robotics Institute of Zhejiang University（浙江大学机器人院）；Yuyao Technology Innovation Center（余姚技术创新中心）；Department of Electrical and Computer Engineering, University of New Brunswick（新 Brunswick大学电气与计算机工程系）
本文提出基于Rainbow深度Q网络的运动学感知深度强化学习框架，用于Delta并联机器人与3-RRS并联机械臂的协作插孔任务。通过几何设计优化阶段提升运动学性能，实现六自由度可控子空间，并结合形状奖励机制和两阶段课程训练，提高插孔任务的稳定性和可靠性。
2026-05-12 cs.RO
Warp: Structured Output-Space Adaptation for Frozen Robot Policies
University of Sydney（悉尼大学）；NVIDIA（英伟达）
针对残差强化学习在动力学偏移下无法调整分布形状的问题，提出Warp RL方法，通过可逆状态条件变换重塑基础策略的动作分布，在ManiSkill3任务和真实机器人插销任务中优于残差校正。
2026-11-05 cs.LG cs.RO
Pre-Surgical Planner for Robot-Assisted Vitreoretinal Surgery: Integrating Eye Posture, Robot Position and Insertion Point
NSK Ltd.（恩斯克有限公司）；Technische Universität München（慕尼黑工业大学）；Klinikum rechts der Isar der Technische Universität München（慕尼黑工业大学右岸医院）；University of Alberta（阿尔伯塔大学）
本文提出一种术前规划优化框架，通过整合眼球姿态、机器人位置和插入点，使机器人辅助玻璃体视网膜手术器械能精准到达不同患者的目标区域，并在仿真眼球模型上验证了其精度。
2025-02-25 cs.RO
Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation
ETH Zürich（苏黎世联邦理工学院）；UC Berkeley（伯克利加州大学）
提出基于物理原理的中心压力（CoP）触觉表示，结合可微动力学传感器标定，实现多指手的零样本仿真到现实迁移，在插销入孔和球平衡任务中优于二元接触和原始触觉基线。
2026-05-27 cs.AI cs.LG cs.RO
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Nvidia（英伟达）；University of Toronto（多伦多大学）；University of Sydney（悉尼大学）；University of Washington（华盛顿大学）
传统的机器人方法依赖于精确的环境模型，如何执行任务的详细描述，以及强大的感知系统来跟踪当前状态。另一方面，强化学习方法可以直接从原始感官输入操作，只有一个奖励信号来描述任务，但样本效率极低且脆弱。在这项工作中，我们将基于模型的方法的优势与基于学习的方法的灵活性相结合，以获得一种通用方法，该方法能够克服机器人感知/驱动管道中的不准确性，同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区，我们表明，本地学习的政策可以直接与原始的感官输入。我们测试我们的算法，引导不确定性感知策略优化（GUAPO），在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Reimagining partial thickness keratoplasty: An eye mountable robot for autonomous big bubble needle insertion
Johns Hopkins University（约翰斯·霍普金斯大学）；White River Junction VA Medical Center（怀特河交界处退伍军人事务医疗中心）；Dartmouth-Hitchcock Medical Center（达特茅斯-希契科克医疗中心）
本文提出AUTO-DALK自主手术机器人系统，利用OCT传感和深度学习实现角膜层识别与针头深度控制，在兔模型上验证其大气泡形成效果优于徒手、手动及遥操作插入方式。
2024-10-18 cs.RO cs.SY eess.SY
Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希-弗莱堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
虽然经典控制理论在许多问题场景中提供了最先进的解决方案，但通常希望改进这些解决方案的结构并超越其局限性。为此，残差策略学习（RPL）提供了一个公式，以改善现有的控制器与强化学习（RL）通过学习一个附加的“残差”的输出一个给定的控制器。然而，这种方法的适用性高度依赖于控制器的结构。通常，控制器的内部反馈信号限制RL算法充分改变策略，从而学习任务。我们提出了一个新的配方，解决这些限制，也修改反馈信号的控制器与RL政策，并显示我们的方法在位置和方向的不确定性下的接触丰富的挂钩插入任务的优越性能。此外，我们使用最近的笛卡尔阻抗控制架构的控制框架，可以提供给我们作为一个黑盒子，而假设没有关于其输入/输出结构的知识，并显示标准RPL的困难。此外，我们引入了一个自适应的课程，为给定的任务，逐步增加任务的位置和方向的不确定性方面的难度。显示结果的视频可以在https://youtu.be/SAZm_Krze7U上找到。
2021-08-06 cs.AI cs.LG cs.RO
Micromanipulation in Surgery: Autonomous Needle Insertion Inside the Eye for Targeted Drug Delivery
Johns Hopkins University（约翰斯·霍普金斯大学）；Wilmer Eye Institute（威尔默眼科研究所）
本文提出了首个基于单目视觉的视网膜静脉插管（RVC）自主策略，通过机器学习感知关键手术事件并结合模型预测控制生成安全轨迹，在猪眼实验中实现了22微米精度且无组织损伤的靶向给药插针操作。
2023-06-30 cs.RO
Prim-LAfD: A Framework to Learn and Adapt Primitive-Based Skills from Demonstrations for Insertion Tasks
Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Stanford University（斯坦福大学）
以数据有效的方式学习可概括的插入技能一直是机器人学习社区的挑战。虽然当前最先进的强化学习（RL）方法在获取操作技能方面表现出良好的性能，但这些算法数据量大，难以推广。为了克服这些问题，在本文中，我们提出了Prim-LAfD，一个简单而有效的框架来学习和适应基于演示的插入技能。Prim-LAfD利用黑盒函数优化来学习和适应利用先前经验的原始参数。人类示范建模为密集的奖励指导参数学习。我们验证了所提出的方法的有效性上八钉孔和连接器插座插入任务。实验结果表明，我们提出的框架需要不到一个小时的时间来获得插入技能和15分钟，以适应一个看不见的插入任务的物理机器人。
2022-12-02 cs.RO
Efficient and Reliable Teleoperation through Real-to-Sim-to-Real Shared Autonomy
本文提出一种实-仿-实共享自主框架，利用k近邻人类代理模拟操作员行为，通过模型无关强化学习训练残差陪练策略，提升新手操作成功率和经验操作者执行效率，同时提高下游模仿学习的演示质量。
2026-03-20 cs.RO
Robust Peg-in-Hole Assembly under Uncertainties via Compliant and Interactive Contact-Rich Manipulation
Department of Computer Science, Rice University（计算机科学系， Rice大学）；U.S. National Institute of Standards and Technology（美国国家标准与技术研究院）
本文提出一种基于柔顺与交互式富接触操作的轴孔装配系统，通过包含碰撞的交互迭代定位目标孔并利用环境接触约束细化插入运动，无需精确感知即可在紧公差下实现鲁棒装配。
2025-06-28 cs.RO
Zero Wrench Control via Wrench Disturbance Observer for Learning-free Peg-in-hole Assembly
Department of Robotics and Mechatronics Engineering, DGIST (Daegu Gyeongbuk Institute of Science and Technology)（机器人与机电工程系，DGIST（大邱庆北科学技术院））
本文提出动态力扰动观测器，通过嵌入任务空间惯量实现高灵敏度零力控制，实验验证其在高精度铆钉孔装配中的有效性。
2026-01-08 cs.RO
Tac2Real: Reliable and GPU Visuotactile Simulation for Online Reinforcement Learning and Zero-Shot Real-World Deployment
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Algorithms of Machine Learning and Autonomous Driving Research Lab, HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（机器学习与自动驾驶算法研究实验室，香港科技大学深圳-香港协同创新研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出Tac2Real框架，结合PNCG-IPC方法和多GPU并行架构，实现高效的在线强化学习训练，并通过TacAlign方法减少领域间隙，验证了在现实场景中高成功率的零样本迁移。
2026-03-30 cs.RO
Cooperative Assembly with Autonomous Mobile Manipulators in an Underwater Scenario
DIBRIS - Department of Computer Science, Bioengineering, Robotics and System Engineering（迪布里斯-计算机科学、生物工程、机器人与系统工程系）；University of Genova（热那亚大学）
针对水下双自主机械臂协同轴孔装配问题，提出基于 TPIK 的低通信量运动学协同控制，并利用力-扭矩传感器补偿孔位姿误差、改善插入过程。
2025-05-12 cs.RO
Mastering Autonomous Assembly in Fusion Application with Learning-by-doing: a Peg-in-hole Study
Lappeenranta University of Technology（拉彭兰塔工业大学）；Institute of Plasma Physics Chinese Academy of Sciences（中国科学院等离子体物理研究所）；University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对聚变应用中的孔轴装配任务，提出一种基于强化学习并融合RGB相机与力/扭矩传感器数据的方法，通过改进深度神经网络架构实现类人手眼协调，在真实环境中超越机械臂0.1毫米的可重复精度。
2023-07-10 cs.RO
TDC: Sim-to-Real Transferable Directional Compliance for Contact-Rich Manipulation
Zhejiang University（浙江大学）；Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心）
本文提出了一种通过学习力方向来提升模拟到现实接触丰富操作性能的方法，利用专家设计的控制器逻辑和有限状态机，在四个真实任务中实现了更高的成功率和鲁棒性。
2026-10-06 cs.RO
Integrating Combined Task and Motion Planning with Compliant Control
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；School of Automation, Guangdong University of Technology（广东工业大学自动化学院）
规划插入钉的运动仍然是一个悬而未决的问题。困难在于机器人手的抓握中不可避免的误差和机器人关节电机的绝对精度问题。本文提出了一种积分方法来解决这个问题。该方法采用任务规划和运动规划相结合的方法来规划双臂机器人的抓取和运动，以实现抓取物体并将其移动到装配位姿。然后，它控制双臂机器人使用顺应策略（线性搜索，螺旋搜索和阻抗控制的组合）完成插入。该方法在双臂Universal Robots 3机器人上实现。机器人对六个物体进行了测试，其中包括一个具有十五个销钉孔对的连接器，用于详细分析，以及其他五个具有不同销钉和孔轮廓的物体，用于额外验证。实验结果表明，合理的力-力矩信号的变化和末端执行器的位置变化。所提出的方法具有高鲁棒性和高保真度，成功地进行计划的钉孔任务。
2020-03-26 cs.RO
Tactile Sim2Real without Tactile Simulation via Bottlenecked Latent Reconstruction
University of Michigan（密歇根大学）；Google DeepMind（谷歌DeepMind）
该研究提出SBLR框架，无需触觉仿真，通过两阶段策略训练和未配对数据对齐，在插销插入等任务上实现高零样本成功率，性能优于物理仿真基线。
2026-10-14 cs.RO
Symbolic State Estimation with Predicates for Contact-Rich Manipulation Tasks
Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Stanford University（斯坦福大学）
操作任务通常需要机器人根据其所处的状态来调整其感觉运动技能。以钉入孔为例：一旦钉与孔对齐，机器人应向下推动钉。虽然高级执行框架，如状态机和行为树通常用于形式化这样的决策问题，这些框架需要一种机制来检测高级符号状态。手工制作识别符号状态的方法可能很脆弱，使用数据驱动的方法可能会产生噪声预测，特别是在使用有限的数据集时，这在现实世界的机器人场景中很常见。提出了一种基于谓词分类器的贝叶斯状态估计方法。这种方法只需要很少的训练数据，并允许融合来自多个传感器模态的噪声观测。我们评估我们的框架上的一组现实世界的钉孔和连接器插座插入任务，展示其分类符号状态和概括看不见的任务，优于基线方法的能力。我们还证明了我们的方法，以提高一个真正的机器人上的操作策略的鲁棒性的能力。
2022-03-04 cs.RO
SymmGrid: Super-Scaling On-Robot Learning with Parallelized Symmetries and Egocentric-Exocentric Visual Perception
Lipscomb University（利普斯科姆大学）
SymmGrid是一种并行对称性轨迹级增强框架，通过自我-外部视觉感知加速机器人上学习，在真实机器人操作任务上实现训练速度、成功率及nAUC比率提升，最快收敛时间低至10.9分钟。
2026-07-30 cs.AI cs.LG cs.RO
