Impedance Primitive-augmented Hierarchical Reinforcement Learning for Sequential Tasks
TU Delft(代尔夫特理工大学);IISc Bangalore(班加罗尔印度理工学院)
本文提出阻抗基元增强的分层强化学习框架,通过可变刚度动作空间、自适应刚度控制器和可供性耦合,提升顺序接触任务中的学习效率、基元组合性与成功率,并验证了 sim2real 能力。
2025-08-27 cs.RO
DA-VIL: Adaptive Dual-Arm Manipulation with Reinforcement Learning and Variable Impedance Control
Robotics Research Center, IIIT Hyderabad(IIIT海得拉巴机器人研究中心);Brown University(布朗大学);University of Tartu(塔尔图大学)
本文提出DA-VIL流程,融合强化学习策略与基于梯度的增益优化,实现双臂机器人的动态可变阻抗控制,并在大型复杂物体轨迹跟踪任务中优于三种现有方法。
2024-10-25 cs.RO
Constraint-Grounded Reinforcement Learning for Variable Impedance Control in Contact-Rich Robotic Insertion
The University of Tennessee(田纳西大学)
针对机器人插入中固定增益需手动调整的问题,提出约束锚定强化学习框架,在力限制下在线调整阻抗增益,实验显示成功率显著优于固定增益基线。
2026-09-15 cs.RO
Impedance Control of Ship-Borne Manipulators via Optimization-based Task-Space Inverse Dynamics
针对舰载机械手受波浪基座运动影响问题,提出基于扭矩水平优化控制框架,结合任务空间逆动力学和误差状态卡尔曼滤波器,经仿真与实验验证,有效降低跟踪误差,实现动态销孔插入,提升操作成功率并减少接触力。
2026-07-27 cs.RO
Reinforcement Learning Enabled Automatic Impedance Control of a Robotic Knee Prosthesis to Mimic the Intact Knee Motion in a Co-Adapting Environment
Arizona State University(亚利桑那州立大学);North Carolina State University(北卡罗来纳州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
自动配置机器人假肢以适应其用户的需求和身体状况是一项巨大的技术挑战,也是采用该技术的障碍。在此之前,我们已经成功地开发了强化学习(RL)解决方案来解决这个问题。然而,我们的设计是基于使用主观规定的目标运动轮廓的机器人膝盖在平地行走。这对于不同的用户和不同的运动任务是不现实的。在这项研究中的第一次,我们研究了RL启用自动配置的阻抗参数设置的机器人膝关节模仿完整的膝关节运动在一个共同适应的环境中的可行性。我们通过在线策略迭代成功地实现了这种跟踪控制。我们在OpenSim模拟和两个健全的(AB)科目中展示了我们的结果。
2021-01-10 cs.RO cs.SY eess.SY
Replication of Impedance Identification Experiments on a Reinforcement-Learning-Controlled Digital Twin of Human Elbows
Edinburgh Centre for Robotics(爱丁堡机器人中心);University of Edinburgh(爱丁堡大学);University of Hong Kong(香港大学);School of Engineering and Physical Sciences(工程与物理科学学院);Heriot-Watt University(赫瑞瓦特大学)
本研究利用MyoSuite平台在数字孪生体上复现肘部阻抗识别实验,发现RL智能体比人类表现出更高阻抗,为神经力学研究提供了虚拟仿真替代方案。
2024-02-05 cs.AI cs.LG cs.RO
Exploiting Variable Impedance for Energy Efficient Sequential Movements
Technical University of Munich(慕尼黑工业大学);King's College London(伦敦国王学院)
柔顺机器人已经在节能运动和循环操作中得到了成功的应用。然而,利用可变的物理阻抗进行能量有效的顺序运动还没有得到广泛的解决。该工作采用分层方法将子运动生成的低级最优控制封装到迭代策略改进的外循环中,从而利用最优控制和强化学习的优点。该框架能够以无模型的方式优化效率权衡,以最小的能源费用,考虑到成本函数加权,可变阻抗开发,和过渡时间-这是与合规的技能。所提出的方法的有效性进行评估,使用两个连续的到达任务上的可变阻抗致动器。结果表明,显着的节能,通过提高技能的遵守,在物理机器人实验中测量的约30%的电力消耗减少。
2020-10-19 cs.RO
Variable Impedance Control in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks
Stanford University(斯坦福大学);Nvidia(英伟达)
近年来,接触丰富的操作任务的强化学习(RL)取得了令人印象深刻的结果。虽然RL中的许多研究都集中在改变观察空间或奖励模型上,但很少有人关注动作空间的选择(例如关节或末端执行器空间,位置,速度等)。然而,在机器人运动控制的研究表明,选择一个动作空间,符合任务的特点,可以简化探索和提高鲁棒性的干扰。本文研究了深度强化学习中不同动作空间的影响,并倡导末端执行器空间(VICES)中的可变阻抗控制作为约束和接触丰富任务的有利动作空间。我们评估三个原型操作任务的多个动作空间:路径跟踪(无接触任务),开门(运动约束任务),和表面擦拭(连续接触任务)。我们表明,VICES提高了样本效率,保持低能耗,并确保所有三个实验设置的安全性。此外,使用VICES学习的RL策略可以在仿真中跨不同的机器人模型传输,并且对于同一机器人可以从仿真传输到真实。更多信息请访问https://stanfordvl.github.io/vices。
2019-08-02 cs.AI cs.LG cs.RO
Deep Model Predictive Variable Impedance Control
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Aalto University(阿尔托大学)
本文提出融合变阻抗控制与MPC的深度模型预测变阻抗控制器,通过信息增益最大化探索学习广义笛卡尔阻抗模型,并在Franka Panda上验证其跨任务免微调的柔顺控制性能。
2022-09-20 cs.RO
End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and Compliant Impedance Control
Bosch Corporate Research(博世企业研究中心);University Of Lincoln(林肯大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
众所周知,逆动力学模型可以提高机器人控制的跟踪性能。这些模型需要精确地捕捉机器人动力学,其中包括很好理解的组件,例如,刚体动力学,以及仍然难以捕捉的效果,例如,粘滑摩擦和机械柔性。这种影响表现出滞后和部分可观测性,使他们,特别是具有挑战性的模型。因此,将物理先验与数据驱动方法相结合的混合模型特别适合这种情况。我们提出了一种新的混合模型配方,使我们能够识别完全物理一致的惯性参数的刚体动力学模型,这是配对的递归神经网络架构,使我们能够捕捉未建模的部分可观察的影响,使用网络记忆。我们比较我们的方法对国家的最先进的逆动力学模型的7自由度机械手。使用通过最优实验设计方法获得的数据集,我们研究了离线扭矩预测的准确性和联合学习方法的泛化能力。在实际系统的控制实验中,我们评估的模型作为一个前馈项阻抗控制,并显示反馈增益可以大大减少,以达到给定的跟踪精度。
2022-05-27 cs.LG cs.RO
Stability-Guaranteed Reinforcement Learning for Contact-rich Manipulation
Royal Institute of Technology(瑞典皇家理工学院);ASEA Brown Boveri (ABB) Corporate Research(ABB集团企业研究院)
强化学习(RL)在接触丰富的操作任务中取得了相当大的成功,但它仍然落后于机器人控制理论的进步,如阻抗控制和稳定性保证。最近,可变阻抗控制(VIC)的概念被采用到RL中,并取得了令人鼓舞的结果。然而,更重要的稳定问题仍未得到解决。为了澄清稳定强化学习中的挑战,我们引入了术语“全时稳定性”,这明确意味着每一个可能的部署都将获得稳定性认证。我们的贡献是一个无模型RL方法,不仅采用VIC,但也实现了所有的时间稳定性。基于最近提出的稳定VIC控制器作为策略参数化,我们引入了一种新的策略搜索算法,该算法受到交叉熵方法的启发,本质上保证了稳定性。我们的实验研究证实了稳定性保证的可行性和实用性,并具有,据我们所知,第一次成功应用RL与所有的时间稳定的基准问题的钉孔。
2020-09-27 cs.RO
Exploiting Spherical Projections To Generate Human-Like Wrist Pointing Movements
University of Edinburgh(爱丁堡大学)
人类运动产生背后的机制在许多领域(例如机器人和神经科学)都有很大的兴趣,以改善治疗和技术。最优反馈控制(OFC)和被动运动范式(PMP)是目前能够有效地产生类人运动的两种主要理论,但是它们需要求解非线性逆问题来找到解。使用PMP的主要益处是产生与在人类中观察到的刻板行为一致的路径无关运动的可能性,而等效的OFC制剂是路径依赖的。我们的研究结果表明,如何观察到的手腕指向任务的路径独立的行为可以解释由球面投影的平面任务。与分形阻抗控制器的投影相结合,消除了非线性逆问题,这降低了计算成本相比,以前的方法。该运动利用了最近提出的PMP架构,该架构用分形阻抗控制器生成的非线性各向异性刚度阻抗曲线代替了非线性逆优化,降低了计算成本,并且不需要依赖于任务的优化。
2021-07-28 cs.RO
SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot
Skolkovo Institute of Science and Technology(斯克洛尔沃科学与技术研究所)
SafeHumanoid通过VLM-RAG结合自身视觉,实现人形机器人上半身阻抗控制,提升人机交互的安全性与任务成功率。
2025-11-28 cs.RO
Robotic Arm Manipulation with Inverse Reinforcement Learning & TD-MPC
North South University(北南大学)
本文提出一种基于梯度的逆强化学习框架,仅从视觉人类演示中学习代价函数,并结合TD-MPC优化轨迹,在真实机械臂上验证了基本物体操作任务。
2024-08-07 cs.RO
Quadrotor Manipulation System: Development of a Robust Contact Force Estimation and Impedance Control Scheme Based on DOb and FTRLS
Cardiff Metropolitan University(卡迪夫城市大学);Menoufia University(米努菲亚大学);Egypt-Japan University of Science and Technology(埃及日本科学技术大学)
本文针对四旋翼机械臂操作系统的不稳定性与力估计难题,提出基于扰动观测器DOb和快速跟踪递归最小二乘FTRLS的鲁棒接触力估计与阻抗控制方案,并通过数值仿真验证其有效性。
2024-09-05 cs.RO
A Deep Reinforcement Learning Approach for Dynamically Stable Inverse Kinematics of Humanoid Robots
Robotics Research Center IIIT Hyderabad(国际信息技术研究所海得拉巴机器人研究中心)
人形机器人极易失去平衡,因此实时的计算动态稳定位形的逆运动学是非常必要的。提出了一种利用深度强化学习(RL)生成稳定构型的关节空间轨迹以求解逆运动学的方法。我们的方法是基于探索整个配置空间的机器人和学习的最佳可能的解决方案,使用深度确定性策略梯度(DDPG)的想法。所提出的策略进行了评估的高度铰接的上半身的人形模型与27度的自由度(DoF)。训练后的模型能够以90%的精度求解末端执行器的逆运动学,同时保持双支撑阶段的平衡。
2018-01-31 cs.RO
Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space
Technical University of Munich (TUM)(慕尼黑工业大学)
智能代理必须能够快速和缓慢地思考,以执行复杂的操作任务。强化学习(RL)在一系列具有挑战性的决策任务上取得了许多有希望的结果。然而,在现实世界的机器人技术中,这些方法仍然很困难,因为它们需要大量昂贵的交互,并且反馈循环缓慢。另一方面,快速的类人自适应控制方法可以优化复杂的机器人交互,但无法集成非结构化任务所需的多模态反馈。在这项工作中,我们建议在分层学习和自适应架构中考虑学习问题,以两全其美。该框架由两个部分组成,一个缓慢的强化学习政策优化的任务策略给定的多模态观测,和一个快速,实时的自适应控制策略不断优化的运动,稳定性和努力的机械手。我们通过一个生物灵感的行动空间将这些组件结合起来,我们称之为AFORCE。我们展示了新的动作空间上的接触丰富的操作任务在真实的硬件和评估其性能上的三个模拟操作任务。我们的实验表明,AFORCE大大提高了样本效率,同时降低了能耗并提高了安全性。
2021-10-20 cs.LG cs.RO
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
Learning Variable Impedance Control for Contact Sensitive Tasks
Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
强化学习算法在解决从玩视频游戏到机器人等不同问题方面取得了巨大成功。然而,他们很难解决微妙的机器人问题,特别是那些涉及接触互动的问题。虽然原则上直接输出关节力矩的策略应该能够学习执行这些任务,但在实践中,我们看到,在动作空间中没有任何给定结构的情况下,很难鲁棒地解决问题。在本文中,我们研究了如何选择的行动空间可以给鲁棒性能存在接触的不确定性。我们提出了一种学习策略,给出输出阻抗和期望的位置在关节空间,并比较不同的接触不确定性下的转矩和位置控制的方法的性能。此外,我们提出了一个额外的奖励条款,旨在规范这些可变阻抗控制政策,使他们的可解释性,并促进其转移到真实的系统。我们提出了广泛的实验模拟浮动和固定基地系统的任务,涉及接触的不确定性,以及在一个真实的系统上运行的学习政策的结果。
2020-07-14 cs.AI cs.LG cs.RO
Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
我们提出了一种逆强化学习(IRL)方法,使用深度Q网络来提取具有大状态空间的问题中的奖励。我们评估这种方法在基于模拟的自动驾驶场景中的性能。我们的研究结果类似于奖励函数和安装在汽车上不同姿势的距离传感器读数之间的直观关系。我们还表明,经过几轮学习,我们的模拟代理生成无碰撞运动,并执行类似人类的换道行为。
2017-09-21 cs.AI cs.RO
Variable-Impedance Muscle Coordination under Slow-Rate Control Frequencies and Limited Observation Conditions Evaluated through Legged Locomotion
Department of Brain Robot Interface, ATR Computational Neuroscience Laboratories(脑机器人接口系,ATR计算神经科学实验室);Kyoto University Graduate school of informatics(京都大学信息学研究生院)
本研究通过单腿运动任务,评估了可变阻抗肌肉协调在低控制频率和有限观测条件下的运动稳定性,展示了其对高层神经网络学习过程的促进作用。
2025-12-03 cs.RO cs.SY eess.SY
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
A Reinforcement Learning Framework for Safety-Aware Haptic Shared Control in Surgical Robotics
Institute of Control Systems, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院控制研究所)
本研究针对手术机器人触觉共享控制的几何安全影响问题,构建两智能体合作马尔可夫博弈模型,采用无模型多智能体强化学习框架,对比MADDPG、rMAPPO与上方约束方法,为相关研究提供基准。
2026-10-14 cs.RO cs.SY eess.SY
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley(加州大学伯克利分校);University of Sheffield(谢菲尔德大学)
提出了一种基于深度高斯过程(deep GP)模型的逆强化学习(IRL)新方法,该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示,这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题,我们开发了一个非标准的变分逼近框架,扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理,并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法,正如我们在标准基准(“对象世界”,“高速公路驾驶”)和新基准(“二进制世界”)上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Adaptive Variable Impedance Control for a Modular Soft Robot Manipulator in Configuration Space
Shahid Beheshti University(沙希德·贝赫什提大学);Technical University of Denmark(丹麦技术大学)
合规性是人机交互的强烈要求。软机器人提供了一个机会,以弥补传统的致动机构缺乏遵守,然而,他们的控制是非常具有挑战性的,因为他们的内在复杂的运动。因此,软机器人需要新的方法,例如,建模、控制、动力学和规划。确保顺应性的控制策略之一是阻抗控制。在存在耦合力和位置约束的任务执行期间,动态行为增加了阻抗控制的灵活性。这对控制系统的稳定性施加了一些额外的约束。为了解决这些问题,我们提出了一个可变的阻抗控制在配置空间中的模块化软体机器人操作器(MSRM)的模型不确定性和外力的存在。为了降低计算复杂度,采用基于动量的方法在位形空间估计外载荷,并设计自适应反推滑模控制器以防止不确定性。利用李雅普诺夫理论进行稳定性分析,不仅保证了所设计控制律下各状态的指数稳定性,而且保证了闭环系统的全局稳定性。系统性能的基准对其他传统的控制方法,如滑模(SM)和逆动态PD控制器。仿真结果表明,与SM和PD控制器相比,所提出的变阻抗控制在稳定位置误差和减小外部负载的影响方面是有效的。
2021-10-09 cs.RO cs.SY eess.SY