Learning-Based Strategy for Composite Robot Assembly Skill Adaptation
Chair of Machine Tools and Control System, RPTU University Kaiserslautern-Landau(机床与控制系统系,凯撒斯劳滕-兰道大学);Innovative Factory Systems, German Institute of Artificial Intelligence(创新工厂系统,德国人工智能研究中心)
本文提出一种基于残差强化学习的复合机器人装配技能适应方法,通过显式预置、后置和不变条件实现模块化和可重用性,提升工业机器人在接触密集任务中的安全性和样本效率。
2026-04-08 cs.RO
ATG-MoE: Autoregressive trajectory generation with mixture-of-experts for assembly skill learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Faculty of Engineering, Imperial College London(伦敦帝国理工学院工程学院)
本文提出ATG-MoE,通过混合专家架构实现多技能整合,解决传统方法在多阶段设计和多技能整合能力上的不足,实验显示其在模拟和实际应用中均表现优异。
2026-03-19 cs.RO
SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
提出SAKI框架,从人类视频学习可复用物体中心技能,通过跨示范组装与全身运动学模仿,实现长时程移动操作,真实机器人实验验证技能复用与组合能力。
2026-09-30 cs.RO
Robotic Imitation of Human Assembly Skills Using Hybrid Trajectory and Force Learning
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
机器人装配任务涉及复杂和低间隙的插入轨迹,在不同阶段具有不同的接触力。虽然名义上的运动轨迹可以很容易地从人的演示,通过动觉教学,遥操作,仿真,以及其他方法,力的轮廓是很难获得,特别是当一个真正的机器人是不可用的。即使使用物理引擎,在仿真中也很难获得真实的力分布。由于装配过程中的现实差距和不确定性,这种模拟的力分布往往不适合实际的机器人装配。为了解决这个问题,我们提出了一个基于学习的组合框架,通过混合轨迹学习和力学习来模仿人类的装配技能。这项工作的主要贡献是开发了一个框架,结合分层模仿学习,学习标称运动轨迹,与基于强化学习的力控制计划学习最佳的力控制政策,可以满足标称轨迹,同时适应装配任务的力要求。为了进一步改进模仿学习部分,我们开发了一个分层的架构,遵循目标条件模仿学习的思想,离线生成\textit{skill}级别的轨迹学习策略。通过实验验证,我们证实,所提出的基于学习的框架是强大的装配任务中的不确定性,可以生成高质量的轨迹,并可以找到合适的力控制政策,适应任务的力要求更有效。
2021-03-10 cs.RO
Contact Skill Imitation Learning for Robot-Independent Assembly Programming
FZI Research Center for Information Technology(FZI信息科技研究中心);IAR Institute for Anthropomatics and Robotics, HIS Humanoids and Intelligence Systems Lab, KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院(KIT)IAR人形机器人与机器人学研究所、HIS人形与智能系统实验室)
机器人自动化是技术进步的关键驱动力。然而,人类工人的技能很难编程,目前似乎无法与技术系统相匹配。在这项工作中,我们提出了一种数据驱动的方法,使用长短期记忆(LSTM)网络,从模拟环境中的人类演示中提取和学习机器人独立的接触技能。我们的模型学习从物体相对运动中生成任务空间中的力和扭矩的纠错序列,工业机器人通过笛卡尔力控制方案在实际设置中进行。该方案采用正动力学计算的虚拟条件孪生的机械手来解决逆运动学问题。我们评估我们的方法与装配实验,其中我们的算法处理部分倾斜和干扰,以取得成功。结果表明,该技能是强大的定位不确定性在任务空间和跨不同的关节配置的机器人。通过我们的方法,非专家可以轻松地以独立于机器人的方式编程力敏感装配任务。
2020-02-05 cs.RO
SRSA: Skill Retrieval and Adaptation for Robotic Assembly Tasks
NVIDIA Corporation(英伟达公司);University of Southern California(南加州大学);University of Washington(华盛顿大学)
针对机器人富接触装配任务的数据高效学习问题,提出 SRSA 框架,通过预测技能库中各技能在新任务上的零样本迁移成功率来指导技能检索与微调,显著提升了成功率、稳定性和样本效率,并在真实世界部署中达到 90% 平均成功率。
2025-03-06 cs.RO
Behavioral Cloning for Robotic Connector Assembly: An Empirical Study
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所);University of Stuttgart(斯图加特大学)
本文通过实证研究探讨了基于行为克隆的连接器装配方法,结合力矩传感与摄像头,实现高成功率的连接器插入任务。
2026-02-25 cs.RO
Generalize by Touching: Tactile Ensemble Skill Transfer for Robotic Furniture Assembly
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
本文提出TEST框架,通过引入触觉反馈的离线强化学习方法学习技能转移模型与自适应策略,解决机器人家具组装的长周期任务泛化问题,实现90%成功率且效率提升4倍以上。
2024-04-26 cs.LG cs.RO
Fast Skill Learning for Variable Compliance Robotic Assembly
Tsinghua University(清华大学)
机器人装配代表了一组强化学习和可变顺应性控制的基准问题,其特征在于复杂的接触操作。将强化学习应用于物理机器人的关键挑战之一是样本的复杂性,即学习需要大量的经验。我们通过将迭代改装的模型纳入学习过程中,通过模型引导的探索来缓解这个样本复杂性问题。然而,拟合物理环境的局部模型是主要困难。在这项工作中,一个卡尔曼滤波器被用来结合自适应线性动态与一个粗略的先验模型从解析描述,并证明了给更准确的预测比现有的方法。实验结果表明,所提出的模型拟合策略可以应用于模型预测控制器中,在保持无模型强化学习优点的同时,为学习加速提供良好的探索行为.除了样本的复杂性之外,机器人在操作过程中不可避免的过载也往往会限制学习效率。为了解决这个问题,我们提出了一种方法,以限制最大可能的势能在顺应性控制系统,从而保持接触力在合理的范围内。
2019-05-11 cs.RO
The e-Bike Motor Assembly: Towards Advanced Robotic Manipulation for Flexible Manufacturing
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文面向柔性制造提出现场示教与编程自适应机器人的四层框架,整合自监督感知、示教学习技能、任务排序与在线优化,并在电动自行车电机装配和密集箱体装箱中验证。
2023-04-20 cs.RO
Motion Planning through Demonstration to Deal with Complex Motions in Assembly Process
Graduate School of Engineering Science, Osaka University(大阪大学基础工学研究科);National Inst. of AIST(日本产业技术综合研究所)
在实际装配过程中,由于人工装配过程中的某些关键位姿过于熟练,机器人无法自动实现,因此现有的运动规划方法难以实现复杂的、熟练的装配动作。为了解决这一问题,本文提出了一种利用演示中的熟练动作进行运动规划的方法,该方法可用于完成包含复杂熟练动作的机器人装配过程。为了在没有多余的第三方设备的情况下方便地演示,我们将增强现实(AR)标记附加到被操纵的对象上,以跟踪和捕获人体装配过程中对象的姿态,这些姿态被规划器用作执行运动规划的关键姿态。每个关键位姿的导数作为判断关键位姿使用优先级的依据,以加速运动规划。通过数值算例和机器人实验验证了该方法的有效性。
2019-10-04 cs.CV cs.RO
ARCH: Hierarchical Hybrid Learning for Long-Horizon Contact-Rich Robotic Assembly
Stanford University(斯坦福大学);MIT(麻省理工学院);University of Michigan(密歇根大学);Autodesk Research(Autodesk研究)
提出ARCH分层混合学习框架,结合低层技能库与高层策略,实现长时程高精度装配,提升泛化与数据效率。
2025-09-08 cs.RO
Cognitive Manipulation: Semi-supervised Visual Representation and Classroom-to-real Reinforcement Learning for Assembly in Semi-structured Environments
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
本文提出一种基于技能图的认知操纵方法,整合半监督目标检测与课堂到真实强化学习的精细操纵模型,有效解决了无夹具半结构化环境中小批量精确装配的挑战,并在仿真和真实实验中显著提升了成功率与效率。
2024-06-01 cs.RO
Learning Forceful Manipulation Skills from Multi-modal Human Demonstrations
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Bosch Corporate Research(博世企业研究)
示教学习(LfD)提供了一种直观、快速的机器人操作器编程方法。任务参数化表示允许轻松适应新场景和在线观察。然而,这种方法仅限于姿势演示,因此仅限于具有空间和时间特征的技能。在这项工作中,我们扩展了LfD框架,以解决有力的操作技能,这是非常重要的工业过程,如装配。对于这些技能,包括机器人末端执行器姿势,力和扭矩读数以及操作场景在内的多模态演示是必不可少的。我们的目标是根据不同场景中所展示的姿势和力量分布可靠地再现这些技能。该方法结合了我们以前的工作任务参数化优化和吸引子为基础的阻抗控制。所学习的技能模型包括(i)统一姿势和力特征的吸引子模型,以及(ii)针对技能的不同阶段优化刚度的刚度模型。此外,提出了一种在线执行算法,以适应技能执行的机器人姿态,测量力,和变化的场景的实时观察。我们在电动自行车电机装配过程的几个步骤中对7自由度机器人手臂进行了严格的验证,这些步骤需要不同类型的有力交互,例如插入,滑动和扭转。
2021-09-09 cs.RO
Skill Sequence Planning for Collaborative Multi-Robot Construction
Texas A&M University(德克萨斯A&M大学);Amazon Robotics(亚马逊机器人);University of Michigan(密歇根大学);University of Tennessee(田纳西大学)
本文提出一种技能序列规划方法,利用可复用技能和建造关系图,使异构多机器人团队协作完成建造装配,减少单独编程需求,提升部署灵活性。
2026-09-23 cs.RO
Query-Centric Diffusion Policy for Generalizable Robotic Assembly
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
针对机器人装配中高层规划与低层控制不匹配的问题,提出以查询为中心的扩散策略QDP,利用物体、接触点和技能查询引导低层策略,在FurnitureBench上显著提升技能精度与长时程成功率。
2025-09-23 cs.LG cs.RO
Reinforcement Learning on Variable Impedance Controller for High-Precision Robotic Assembly
University of California, Berkeley(加州大学伯克利分校);Siemens Corporate Technology(西门子公司技术部);Technion(以色列理工学院)
精确的机器人操作技能在许多工业环境中是期望的,强化学习(RL)方法有望自主地获得这些技能。在本文中,我们明确考虑将操作空间力/扭矩信息纳入强化学习;这是由人类将感知力映射到控制动作,从而以相当容易的方式完成高精度任务。我们的方法结合RL与力/扭矩信息,通过将一个适当的操作空间力控制器,我们还利用不同的消融处理这些信息。此外,我们提出了一个神经网络架构,推广到合理的变化的环境。我们在开源的西门子机器人学习挑战赛上评估了我们的方法,该挑战赛需要精确和微妙的力控制行为来组装紧密配合的齿轮组。
2019-03-20 cs.RO
MatchMaker: Automated Asset Generation for Robotic Assembly
针对机器人装配中资产手动策划限制多任务学习的问题,提出MatchMaker流程,自动生成模拟兼容、多样化的装配资产对,提升下游装配技能学习的多样性和有效性。
2025-03-28 cs.RO
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NVIDIA(英伟达);University of Washington(华盛顿大学)
AlphaNIST探究稀疏二元任务奖励与任务多样性能否让机器人自主发现装配方法,在仿真中训练的单策略覆盖20项装配任务,达98.2%训练成功率,涌现出灵巧规划类装配行为。
2026-10-12 cs.AI cs.RO
Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models
National University of Singapore(新加坡国立大学);University of Toronto(多伦多大学);Peking University(北京大学);Sichuan University(四川大学);Zhejiang University(浙江大学)
本文提出 Manual2Skill 框架,利用 VLM 解析手册图像、构建分层组装图,并结合 6D 位姿估计与运动规划,实现真实 IKEA 家具的高效精确组装。
2025-10-18 cs.AI cs.RO
6D Assembly Pose Estimation by Point Cloud Registration for Robot Manipulation
Tampere University(坦佩雷大学)
本文提出一种基于RGB-D与CAD模型的6D装配位姿估计方法,通过语义分割和点云配准实现精确装配,并通过实验验证其有效性。
2023-12-05 cs.RO
Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks
Stanford University(斯坦福大学)
在本文中,我们研究的问题,从原始图像,可以排序完成长期的视觉任务的低层次技能的剧目学习。强化学习(RL)是自主获取短期技能的一种很有前途的方法。然而,强化学习算法的重点在很大程度上是这些个人技能的成功,而不是学习和建立大量技能库,这些技能可以被排序以完成扩展的多阶段任务。后者需要鲁棒性和持久性,因为技能的错误会随着时间的推移而加剧,并且可能需要机器人在其曲目中具有许多原始技能,而不仅仅是一个。为此,我们引入了EMBER,一种基于模型的RL方法,用于学习适合完成长时间视觉任务的原始技能。EMBER使用学习的模型、评论家和成功分类器进行学习和规划,其中成功分类器既作为RL的奖励函数,又作为一种基础机制,以持续检测机器人是否应该在不成功或受到干扰时重试技能。此外,学习模型是任务不可知的,并使用来自所有技能的数据进行训练,使机器人能够有效地学习许多不同的原语。这些视觉原始技能及其相关的前置和后置条件可以直接与现成的符号规划器相结合,以完成长期任务。在一个Franka Replika机器人手臂上,我们发现EMBER使机器人能够以85%的成功率完成三个长视野视觉任务,例如组织办公桌,文件柜和抽屉,这需要排序多达12个技能,涉及14个独特的学习原语,并要求泛化到新的对象。
2022-09-19 cs.AI cs.LG cs.RO
State-of-the-Art in Learning-by-Demonstration with Passive Observation for Industrial Assembly Automation
RWTH Aachen University(亚琛工业大学)
本文系统综述了工业装配中基于被动观察的示范学习技术,聚焦一次性方法,探讨感知架构与泛化,发现向对象中心感知的转变,以支持新产品的快速适应。
2026-09-09 cs.RO
Learning Robotic Assembly from CAD
UC Berkeley(加州大学伯克利分校);Siemens Corporation(西门子公司)
在这项工作中,最近的制造趋势的动机,我们研究自主机器人装配。工业装配任务需要接触丰富的操作技能,这是具有挑战性的获得使用经典的控制和运动规划方法。因此,用于装配领域的机器人控制器目前被设计为解决特定任务,并且不能容易地处理产品或环境中的变化。强化学习(RL)是一种很有前途的方法,自主获取机器人技能,涉及接触丰富的动态。然而,RL依赖于随机探索来学习控制策略,这需要许多机器人执行,并且经常陷入局部次优解。相反,我们认为先验知识,当可用时,可以提高RL性能。我们利用的事实,在现代装配领域,有关任务的几何信息是很容易通过CAD设计文件。我们建议利用这种先验知识,引导RL沿几何运动计划,使用CAD数据计算。我们表明,我们的方法有效地改善了传统的控制方法跟踪运动计划,可以解决装配任务,需要高精度,即使没有准确的状态估计。此外,我们提出了一个神经网络架构,可以学习跟踪的运动计划,并概括的装配控制器的对象位置的变化。
2018-07-24 cs.LG cs.RO
Towards Robot Task Planning From Probabilistic Models of Human Skills
Johns Hopkins University(约翰斯·霍普金斯大学)
我们描述了一种基于技能专家演示的运动规划算法。为了教机器人执行复杂的物体操作任务,可以鲁棒地推广到新的环境中,我们必须(1)学习任务效果的表示,(2)找到一个最佳轨迹,在新的环境中重现这些效果。我们代表机器人技能的概率分布的功能,从多个专家演示。当在新环境中使用技能时,我们计算轨迹样本的特征期望,以便随机优化新环境中轨迹的可能性。该方法的目的是基于概率技能模型库来实现复杂任务的执行。运动可以组合起来完成混合领域中的复杂任务。我们的方法在各种案例研究中得到了验证,包括Android游戏,模拟装配任务和使用UR5的真实机器人实验。
2016-02-15 cs.RO
A Framework for Robot Manipulation: Skill Formalism, Meta Learning and Adaptive Control
Technische Universität München(慕尼黑工业大学)
在本文中,我们介绍了一种新的框架表示和学习力敏感的机器人操作技能。它是基于一种形式主义,扩展了我们以前的工作,自适应阻抗控制与Meta参数学习和兼容的技能规范。通过这种方式,系统还能够通过结合过程描述和质量评估指标来利用抽象的专家知识。我们评估各种国家的最先进的方案的Meta参数学习和实验比较选定的。我们的研究结果清楚地表明,我们的自适应阻抗控制器与精心定义的技能形式主义的结合显着降低了操作任务的复杂性,即使是学习钉孔亚毫米级工业公差。总的来说,所考虑的系统能够在20分钟内学习这种技能的变化。事实上,在实验中,该系统能够比人类更快地执行学习任务,从而实现了第一个基于学习的复杂装配解决方案。
2018-05-22 cs.RO
SharedAssembly: A Data Collection Approach via Shared Tele-Assembly
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
SharedAssembly是一种新型共享自主双边远程操作框架,可高效采集高精度小间隙装配数据,消除技能差距,新手操作员使用该框架即可达到甚至超过传统系统中专家的表现。
2026-07-31 cs.RO
Efficient Sim-to-real Transfer of Contact-Rich Manipulation Skills with Online Admittance Residual Learning
University of California at Berkeley(加州大学伯克利分校)
提出混合离线-在线框架,通过无模型强化学习获取运动与柔顺参数,在线学习残差以提升性能,在装配、旋转和拧螺丝任务上验证了有效性。
2023-10-16 cs.RO
Autonomous Robotic Assembly: From Part Singulation to Precise Assembly
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
本文提出一种低结构化要求的齿轮箱自主机器人装配系统,融合滑动抓取、手内操作与插入技能,并利用视觉、触觉和F/T传感器闭环执行,硬件实验验证了其鲁棒性。
2024-06-11 cs.RO
Human Robot Collaborative Assembly Planning: An Answer Set Programming Approach
Faculty of Engineering and Natural Sciences, Sabancı University, Istanbul, Turkey(工程与自然科学学院,萨班奇大学,伊斯坦布尔,土耳其)
本文提出一种基于答案集编程的协作装配规划方法,结合常识推理和丰富的沟通动作,用于处理不确定性和确保安全协作。
2020-08-08 cs.AI cs.LO cs.RO
Towards Natural Language-Driven Assembly Using Foundation Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Tel Aviv University(特拉维夫大学)
针对工业机器人高精度装配任务难以用通用策略实现的问题,提出基于大语言模型的全局控制策略,通过动态上下文切换调用专用高精度技能集,丰富了复杂机器人操作的控制机制。
2024-06-23 cs.AI cs.CV cs.LG
WRAP: Fixtureless Wrench-aware Multi-Robot Assembly Planning
ETH Zurich(苏黎世联邦理工学院)
本文提出WRAP,一种无夹具的力矩感知多机器人装配规划器,通过线性规划推理抓取支撑力,结合启发式搜索与运动规划,实现灵活装配,并在仿真和现实中验证。
2026-09-25 cs.RO
Do What I Want, Not What I Did: Imitation of Skills by Planning Sequences of Actions
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种从演示中学习的方法,用于从专家数据中进行接地操作,并使用这些操作在新环境中执行任务的算法。我们的方法是基于应用程序的采样为基础的运动规划搜索通过树的离散,高层次的行动从一个任务的象征性表示。递归采样为基础的规划是用来探索这些行动的可能的连续空间实例化的空间。我们证明了我们的方法的实用性与磁结构装配任务,表明机器人可以智能地选择在工作空间的不同部分,并在存在障碍物的一系列行动。这种方法可以更好地适应新的环境,为特定的环境选择正确的高层次的行动,同时考虑到人类的喜好。
2016-12-05 cs.RO
Learning Movement Assessment Primitives for Force Interaction Skills
Universität Innsbruck(因斯布鲁克大学)
我们提出了一种新颖的,可重复使用的和任务不可知的原语,用于评估力交互机器人技能的结果,例如,用于工业制造中的质量控制等应用。所提出的方法易于编程的动觉教学,并通过机器学习模型实现所需的适应性和可重用性。原始记录在演示和再现运动期间的感觉数据。记录包括末端执行器的笛卡尔姿势和在每个时间步施加的扳手。收集的数据,然后使用训练高斯过程,创建模型的扳手作为一个功能的机器人的姿态。通过测量扳手模型的Hellinger距离,可以得出演示和机芯复制之间的相似性。这种比较创建的特征作为输入馈送到朴素贝叶斯分类器,该分类器估计运动的成功概率。该评估针对两种不同的机器人装配任务进行-卡扣装配和拧紧-共有5个用例,11个演示和200多个运动执行。性能指标证明了所提出的方法的能力,推广到不同的演示和运动。
2018-05-11 cs.RO
LanPose: Language-Instructed 6D Object Pose Estimation for Robotic Assembly
Tsinghua University(清华大学);Technical University of Munich(慕尼黑工业大学)
本文提出LanPose框架,通过融合几何与语言特征并利用交叉注意力机制,实现基于自然语言指令的的6D物体位姿估计,在真实机器人装配场景中验证了其有效性。
2023-10-20 cs.RO
Learning and Sequencing of Object-Centric Manipulation Skills for Industrial Tasks
Bosch Center for Artificial Intelligence(博世人工智能中心)
使机器人能够快速学习操作技能是一个重要但具有挑战性的问题。这种操作技能应该是灵活的,例如,能够适应当前的工作空间配置。此外,为了完成复杂的操作任务,机器人应该能够对几种技能进行排序,并使它们适应不断变化的情况。在这项工作中,我们提出了一个快速的机器人技能排序算法,其中的技能编码的对象为中心的隐半马尔可夫模型。学习的技能模型可以编码多模态(时间和空间)轨迹分布。这种方法大大减少了手动建模工作,同时确保了所学习技能的高度灵活性和可重用性。给定一个任务目标和一组通用技能,我们的框架计算技能实例之间的平滑过渡。为了计算任务空间中相应的最优末端执行器轨迹,我们依赖于黎曼最优控制器。我们证明了这种方法在7自由度的机器人手臂工业装配任务。
2020-08-24 cs.LG cs.RO
SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks
CITEC, Faculty of Technology, Bielefeld University, Germany(CITEC,技术学院,比勒菲尔德大学,德国);Fraunhofer IOSB-INA, Lemgo, Germany(弗劳恩霍夫 IOSB-INA,莱姆戈,德国)
SHaRe-RL通过整合先验知识,解决了工业装配中高混合低体积生产对精度、安全性和可靠性的需求,实现了高效安全的在线学习。
2026-03-17 cs.RO
TacDiffusion: Force-domain Diffusion Policy for Precise Tactile Manipulation
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich(慕尼黑工业大学慕尼黑机器人与机器智能研究所(MIRMI));Centre for Tactile Internet with Human-in-the-Loop (CeTI)(以人为中心的触觉互联网中心(CeTI));Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出TacDiffusion框架,利用扩散模型生成6D力旋以解决高精度触觉机器人插入任务,通过基于动态系统的滤波器解决频率失配问题,在单一任务演示下实现了95.7%的零样本迁移成功率。
2025-03-06 cs.RO
Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization
University of Southern California(南加州大学);NVIDIA(英伟达);California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
技能链是一种很有前途的方法,通过顺序组合先前学习的技能来合成复杂的行为。然而,当一个策略遇到一个在其训练过程中从未见过的初始状态时,一个幼稚的技能组合就会失败。为了成功的技能链接,先前的方法试图扩大策略的起始状态分布。然而,这些方法需要更大的状态分布,以覆盖更多的政策被排序,并因此限于短的技能序列。在本文中,我们提出在对抗学习框架中通过正则化终端状态分布来链接多个策略,而无需过大的初始状态分布。我们评估我们的方法对两个复杂的长期操作任务的家具装配。我们的研究结果表明,我们的方法建立了第一个无模型强化学习算法来解决这些任务;而以前的技能链方法失败了。代码和视频可在https://clvrai.com/skill-chaining上获得
2021-11-15 cs.AI cs.LG cs.RO
Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation
University of Freiburg(弗莱堡大学)
针对非结构化环境中机器人需结合操作与导航完成多目标搜索的问题,提出分层强化学习方法HIMOS,通过语义地图和高层动作空间组合多类技能,实现零样本环境迁移且鲁棒性优异。
2023-10-19 cs.AI cs.LG cs.RO
Building a Library of Tactile Skills Based on FingerVision
TU Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Technische Universität Darmstadt(达姆施塔特工业大学);MIT(麻省理工学院)
基于摄像头的触觉传感器正在成为一种有前途的廉价解决方案,用于增强的操纵任务。最近推出的FingerVision传感器能够产生可靠的信号,用于力估计,物体姿态估计和滑动检测。在本文中,我们建立在FingerVision设计的基础上,改进了现有的控制算法,更重要的是,通过利用原始皮肤变形数据进行控制,将其适用范围扩展到更具挑战性的任务。与依赖于整个传感器表面的平均变形的先前方法相比,我们直接采用浸入传感器的硅树脂主体中的每个球形标记的局部偏差用于反馈控制并作为学习任务的输入。我们表明,与这样的输入,不同的质地和粘度的物质可以区分的基础上引起的触觉,同时搅拌它们。作为另一个应用,我们学习皮肤变形和施加到对象的力之间的映射。为了展示所提出的控制器的全部功能,我们将它们部署在一个具有挑战性的建筑装配任务中,该任务涉及在最大负载点处的可弯曲板下方插入承重元件。
2019-09-20 cs.RO
GEAR: Gaze-Enabled Human-Robot Collaborative Assembly
SUPSI, IDSIA(SUPSI研究院,IDSIA)
提出注视驱动的人机协作装配系统 GEAR,让机器人依据工人注视取放零件;30人实验表明其较触摸屏降低身体负担并提升体验。
2025-07-25 cs.HC cs.RO
Different Applications of Mobile Robots in Education
University of Mostar(莫斯塔尔大学)
本文介绍了在教育中使用移动机器人的不同可能性。通过移动机电机器人系统“Robotino”的应用,本文展示了开发交互式讲座和练习的可能性,以提高教育质量,为学生提供新的能力。机器人作为一个真正的系统的应用支持加强知识和技能,学生通过设计,创造,组装和操作机器人开发的特定领域。这种学习方式包含一个很重要的元素,那就是“游戏学习”或通过游戏学习。除了技术能力,将这种方法与团队合作相结合还可以提高社交技能和学习动机。本文将介绍机器人在教学中的应用,机电一体化系统的建模和设计,机电一体化系统的仿真和参数监测,机电一体化系统中传感器数据的采集,处理和应用的例子。
2017-10-09 cs.RO
Episodic Memory Model for Learning Robotic Manipulation Tasks
ABB Discrete Automation and Robotics(ABB离散自动化与机器人)
机器学习、人工智能以及特别是基于深度学习的方法通常用于简化或消除对工业机器人进行编程的负担。使用这些方法,机器人天生就可以学习技能,而不是使用严格和繁琐的编程指令进行编程。虽然深度学习在使机器人学习技能方面是有效的,但它并没有提供用于教授完整任务的实用路线,例如装配或机器维护,其中必须理解复杂的逻辑并且需要执行相关的子任务。我们提出了一个类似于情景记忆的模型,它允许机器人使用单个演示来理解动作序列,并正确准确地执行它们。该算法识别和识别系统状态的变化,并记住如何执行必要的任务以进行这些变化。这允许机器人将任务分解为更小的子任务,保留基本步骤,并记住它们是如何执行的。
2021-04-20 cs.RO
Deep Reinforcement Learning for Contact-Rich Skills Using Compliant Movement Primitives
Faculty of Mechanical Engineering(机械工程学院)
近年来,工业机器人已被安装在各个行业,以处理先进制造和高精度任务。然而,与人类操作员相比,工业机器人的进一步集成受到其有限的灵活性,适应性和决策技能的阻碍。装配任务对机器人来说尤其具有挑战性,因为它们具有丰富的接触性,对即使很小的不确定性也很敏感。虽然强化学习(RL)提供了一个很有前途的框架,从头开始学习接触丰富的控制策略,其适用性高维连续状态动作空间仍然相当有限,由于高脆性和样本的复杂性。为了解决这些问题,我们提出了不同的修剪方法,促进收敛和推广。特别是,我们将任务分为自由和接触丰富的子任务,在笛卡尔空间而不是关节空间中执行控制,并参数化控制策略。这些修剪方法自然地在动态运动基元(dynamic movement primitives,简称HMM)的框架内实现。为了处理接触丰富的任务,我们通过引入一个耦合项来扩展RISK框架,该耦合项的作用类似于人类手腕,并在与环境接触时提供主动顺应性。我们证明了所提出的方法可以学习对空间,大小,形状和密切相关的场景不变的插入技能,同时处理大的不确定性。最后,我们证明了学习的政策可以很容易地从模拟转移到现实世界中,并实现类似的性能UR5e机器人。
2020-10-25 cs.LG cs.RO
Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments
University of Oxford(牛津大学)
机器人技能获取的数据效率对于在各种小批量装配环境中操作机器人至关重要。为了在这样的环境中工作,机器人必须具有强大的避障能力和多功能的目标调节能力,这些能力只需要几个简单的演示就可以获得。然而,现有的方法达不到这些要求。深度强化学习(RL)使机器人能够学习复杂的操作任务,但由于样本效率低下和安全问题,通常限于现实世界中的小任务空间。运动规划(MP)可以在有障碍的环境中生成无碰撞路径,但不能解决复杂的操纵任务,并且需要通常由用户或对象特定的姿态估计器指定的目标状态。在这项工作中,我们提出了一个系统,有效的技能获取,利用对象为中心的生成模型(OCGM)的通用目标识别,以指定一个目标MP结合RL解决复杂的操作任务在障碍环境。具体来说,OCGM实现了一次性目标物体识别和新场景中的重新识别,允许MP引导机器人到达目标物体,同时避开障碍物。这与技能转换网络相结合,该网络弥合了MP的终端状态与样本高效RL策略的可行起始状态之间的差距。实验表明,我们的基于OCGM的一次性目标识别提供了竞争力的准确性,其他基线方法,我们的模块化框架优于竞争力的基线,包括国家的最先进的RL算法,由一个显着的利润率复杂的操作任务在障碍环境。
2023-03-06 cs.LG cs.RO
Imitation and Supervised Learning of Compliance for Robotic Assembly
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
我们提出了一个基于学习的工业机器人装配操作的顺应性控制器的设计。我们提出了一个解决方案,在一般设置的示教学习(LfD),其中一个名义上的轨迹是通过演示由专家教师。这可以用于学习技能的适当表示,其可以推广到组装中涉及的部件之一的新位置,例如孔中的孔(PiH)插入任务。在该新位置可能不能由视觉或其他感测系统完全准确地估计的预期下,机器人将需要响应于借助于安装在机器人的腕部或另一合适位置处的力-扭矩(F/T)传感器测量的力读数来进一步修改所生成的轨迹。在装配过程中遍历参考轨迹的速度恒定的假设下,我们提出了一种新的适应力控制器,允许机器人安全地探索不同的接触配置。使用该控制器收集的数据用于训练高斯过程模型以预测钉相对于目标孔的位置的未对准。我们表明,所提出的基于学习的方法可以纠正各种接触配置所造成的组装零件之间的错位在一个PiH任务,在插入过程中实现高成功率。我们使用工业机械臂的结果,并证明该方法可以执行自适应插入使用力反馈训练的机器学习模型。
2021-11-20 cs.AI cs.RO
Foresight Residual RL for Long-Horizon Robot Manipulation with Vision-Language-Action Models
Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
研究针对长时机器人操作中VLA策略的不足,提出前瞻性残差强化学习,通过离线估计前瞻性值优化交接质量,在螺母拧紧装配任务中,该方法全任务成功率高,优于标准方法和基线,强调塑造子任务成功状态对提升长时性能的重要性。
2026-07-21 cs.LG cs.RO
Simulation-aided Learning from Demonstration for Robotic LEGO Construction
Carnegie Mellon University(卡内基梅隆大学);Westlake Highschool(韦斯特莱克高中)
本文提出仿真辅助示教学习框架 SaLfD,通过观察人类乐高搭建演示自动生成并仿真验证搭建计划,成功部署于 FANUC 机器人实现装配与拆卸原型制作。
2023-09-24 cs.RO
Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
Tufts University, United States(美国塔夫茨大学);Austrian Institute of Technology, Austria(奥地利技术研究所);Human-Robot Interaction Lab(人机交互实验室)
针对模仿学习长时程任务数据需求高、泛化弱的问题,提出联合学习符号抽象与连续控制的少样本神经符号框架,仅需五次演示即可实现强泛化和可解释决策。
2025-08-29 cs.RO
OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer
Meta FAIR;University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
OSMO通过触觉手套实现人到机器人技能转移,利用触觉数据提升机器人操作性能。
2025-12-09 cs.LG cs.RO
Scene Editing as Teleoperation: A Case Study in 6DoF Kit Assembly
Samsung AI Center NY(三星纽约人工智能中心);Columbia University(哥伦比亚大学)
机器人遥操作的研究一直围绕着动作规范-从连续的关节控制到离散的末端执行器位姿控制。然而,这些以机器人为中心的界面通常需要具有广泛机器人专业知识的熟练操作员。为了使遥操作访问非专家用户,我们提出了框架“场景编辑遥操作”(SEaT),其中的关键思想是将传统的“以机器人为中心”的界面转换为“以场景为中心”的界面-而不是控制机器人,用户专注于指定任务的目标,通过操纵现实世界的对象的数字孪生。因此,用户可以在没有机器人硬件的任何专业知识的情况下执行遥操作。为了实现这一目标,我们利用一个类别不可知的场景完成算法,将现实世界的工作空间(未知对象)转化为可操作的虚拟场景表示和动作捕捉算法,在生成机器人的行动计划之前细化用户输入。为了训练算法,我们程序化地生成了一个大规模的、多样化的套件组装数据集,该数据集包含模仿真实世界的对象套件任务的对象套件对。我们在模拟和真实世界的系统上的实验表明,我们的框架提高了6DoF套件装配任务的效率和成功率。一项用户研究表明,SEaT框架参与者实现了更高的任务成功率,并报告了较低的主观工作量相比,替代机器人为中心的界面。视频可以在https://www.youtube.com/watch?上找到v=-NdR3mkPbQQ。
2022-12-02 cs.AI cs.CV cs.HC
Intelligent humanoids in manufacturing to address worker shortage and skill gaps: Case of Tesla Optimus
Oakland University(奥克兰大学);Strathclyde University(思克莱德大学);Stuttgart University(斯图加特大学)
本文以特斯拉Optimus为例,提出将智能人形机器人集成到制造自动化的框架,并通过精益装配单元仿真验证其可提升制造自动化水平,同时强调人机协作安全标准与投资回报评估的重要性。
2023-04-11 cs.RO cs.SY eess.SY
Habitat 2.0: Training Home Assistants to Rearrange their Habitat
Georgia Tech(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院);Simon Fraser University(西蒙弗雷泽大学);Intel Research(英特尔研究院);UC Berkeley(加州大学伯克利分校)
我们介绍人居2.0(H2.0),一个模拟平台,用于训练虚拟机器人在交互式3D环境和复杂的物理启用的情况。我们为嵌入式AI堆栈的各个层面做出全面贡献-数据,模拟和基准测试任务。具体而言,我们提出:(i)复制CAD:一个艺术家创作的,注释的,可重新配置的公寓3D数据集(匹配真实空间)与铰接对象(ii)H2.0:一个高性能的物理3D模拟器,速度超过每秒25,000个模拟步骤(850倍实时)在8 GPU节点上,代表100倍的速度比以前的工作;和,(iii)家庭助理基准(HAB):一套辅助机器人的常见任务(整理房子,准备杂货,摆桌子),测试一系列移动操作能力。这些大规模的工程贡献使我们能够系统地比较大规模的深度强化学习(RL)和长期结构化任务中的经典感知-计划-行动(SPA)管道,重点是对新对象,容器和布局的泛化。我们发现,(1)平面RL政策的斗争HAB相比,分层的;(2)具有独立技能的层次结构遭受“交接问题”,(3)SPA管道比RL政策更脆弱。
2022-07-01 cs.LG cs.RO