Policy-contingent abstraction for robust robot control
Carnegie Mellon University(卡内基梅隆大学)
提出一种可扩展的控制算法,使移动机器人系统在充分考虑概率信念的情况下做出高层决策,并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
A Hierarchical fuzzy controller for a biped robot
National Engineering School of Sfax, University of Sfax(斯法克斯大学斯法克斯国家工程学院)
本文研究了递阶神经模糊系统作为PID控制的一种可能的解决方案。提出了一种分层递阶控制器,它包括多个子控制器,整个控制结构采用自适应神经模糊方法生成。所提出的分层系统的重点是关键作用,质心的位置在机器人中发挥,系统的子控制器产生他们的输出考虑到该关键点的位置。
2014-02-06 cs.RO
Implementation of a Hierarchical fuzzy controller for a biped robot
National Engineering School of Sfax, University of Sfax(斯法克斯大学斯法克斯国家工程学院);Institute of Applied Sciences and technology of Sousse, University of Sousse(苏塞大学苏塞应用科学与技术研究所)
本文介绍了一种仿人机器人控制系统的设计。为机器人的行走周期指定控制。控制系统的实现是在Matlab Simulink上完成的。本文提出了一种递阶模糊逻辑控制器(HFLC)来控制平面行走。HFLC的设计灵感来自于人体运动系统。将该方法应用于五杆平面机器人进入自由区的无障碍控制。
2014-12-29 cs.RO
Learning a Distributed Hierarchical Locomotion Controller for Embodied Cooperation
Tsinghua University(清华大学)
本文提出分布式分层运动控制策略,通过任务分解与时空连续性特征增强多智能体全身协作,并构建具身协作基准验证其性能优势。
2024-10-26 cs.RO
Multi-Abstractive Neural Controller: An Efficient Hierarchical Control Architecture for Interactive Driving
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Toyota Research Institute(丰田研究院)
本文提出一种可微的分层控制架构多抽象神经控制器,利用输入图像控制视觉自动机生成网络的状态转换以驱动动态运动基元,通过行为克隆训练,提升了可解释性、样本效率及与人类驾驶的相似度。
2023-05-24 cs.RO
Learning multiple gaits of quadruped robot using hierarchical reinforcement learning
Seoul National University(首尔大学)
基于强化学习的四足机器人速度指令跟踪控制器具有鲁棒性和可扩展性,受到越来越多的关注。然而,经过端到端训练的单个策略通常显示单个步态,而不管命令速度如何。这可能是一个次优的解决方案,考虑到最佳步态的存在,根据四足动物的速度。在这项工作中,我们提出了一个分层控制器的四足机器人,可以产生多个步态(即步伐,小跑,绑定),同时跟踪速度命令。我们的控制器由两个策略组成,每个策略作为中央模式生成器和局部反馈控制器,并使用分层强化学习进行训练。实验结果表明:1)最佳步态的存在,为特定的速度范围2)的效率,我们的分层控制器相比,由一个单一的政策,通常显示一个单一的步态控制器。代码是公开的。
2021-12-09 cs.AI cs.RO
Design and Experimental Evaluation of a Hierarchical Controller for an Autonomous Ground Vehicle with Large Uncertainties
Nanyang Technological University(南洋理工大学)
自主地面车辆(Autonomous Ground Vehicles,AGV)正受到越来越多的关注,其运动规划与控制问题已成为研究的热点。在实际应用中,如物料搬运,自动导引车受到很大的不确定性,其运动规划和控制变得具有挑战性。在本文中,我们研究这个问题,提出了一个分层控制方案,这是集成的模型预测控制(MPC)为基础的路径规划和轨迹跟踪控制在高层次,和降阶扩展状态观测器(RESO)为基础的动态控制在低层次。在高层的控制包括一个基于MPC的改进的路径规划,速度规划,和基于MPC的跟踪控制器。路径规划和轨迹跟踪控制问题都是在MPC框架下制定的。低层控制采用自抗扰控制的思想。通过RESO估计不确定性,然后在控制中实时补偿。对于一阶不确定AGV动力学模型,基于RESO的控制只需要知道控制方向。最后,对不同载荷的AGV进行了仿真和实验。结果表明,在不确定性较大的情况下,所提出的分层控制方案仍能获得满意的运动规划和控制性能。
2021-08-09 cs.RO
Online Self-Training for Co-Adaptation in Hierarchical Diffusion Policies
ISIR, Sorbonne Université, CNRS(ISIR,索邦大学,国家科学研究中心)
提出ORCHID自训练框架,通过环境反馈过滤轨迹并蒸馏回规划器和控制器,实现层次扩散策略的在线稳定改进,在CALVIN基准上轻量模型超越纯离线方法。
2026-06-09 cs.RO
Hierarchical Adaptive Control for Collaborative Manipulation of a Rigid Object by Quadrupedal Robots
University of Southern California(南加州大学)
本文提出一种用于四足机器人协作操作刚性物体的分层控制系统,包含自适应力计算、基于QP的力分配与接触点优化、以及分散式移动操作控制器,成功在仿真中实现不同地形下操作18kg未知物体并保持稳定。
2023-07-28 cs.RO
MPC-Based Hierarchical Task Space Control of Underactuated and Constrained Robots for Execution of Multiple Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种基于MPC的控制器,以有效地执行欠驱动和约束机器人系统的多层次任务。现有的任务空间控制器或全身控制器解决给定任务轨迹和机器人工厂动态的瞬时优化问题。然而,我们在这里提出的任务空间控制方法依赖于预测未来的状态轨迹和相应的成本去计算控制命令在有限的时间范围内的条款。我们采用加速能量误差作为优化问题的性能指标,并将其扩展到我们的MPC的有限时间范围内。我们的方法采用二次约束二次规划,其中包括二次约束来处理多个层次的任务,是计算效率比非线性MPC为基础的方法,依赖于非线性规划。我们验证了我们的方法,使用数值模拟的一种新型的机器人机械手系统,其中包含欠驱动和约束的机械结构。
2020-09-13 cs.RO
Balancing experiments on a torque-controlled humanoid with hierarchical inverse dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加州大学)
最近几个层次的逆动力学控制器的基础上级联的二次规划已被提出应用于力矩控制机器人。他们有重要的理论上的好处,但从来没有被实施的扭矩控制的机器人模型不准确和实时计算的要求可能是有问题的。在这方面的贡献,我们提出了一个实验评估这些算法的背景下,平衡控制的人形机器人。所提出的实验证明了该方法在真实机器人条件下(即模型不确定性,估计误差等)的适用性。我们提出了一个简化的优化问题,使我们能够减少计算时间,足以实现它在一个快速的转矩控制回路。我们实现了一个基于动量的平衡控制器,它在面对未知的干扰,即使当机器人是站在只有一只脚表现出强大的性能。在第二个实验中,跟踪任务进行评估,以证明更复杂的层次结构的控制器的性能。我们的研究结果表明,分层逆动力学控制器可以用于人形机器人的反馈控制和基于动量的平衡控制可以有效地实现对一个真正的机器人。
2014-11-07 cs.RO
Exploiting Hierarchical Controller Structure in Contextual Parameter Learning for Humanoid Loco-Manipulation
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Hessian Centre for Artificial Intelligence(黑森州人工智能中心)
本文提出一种情境贝叶斯优化框架,利用层级控制器结构联合学习参数,在人形推箱任务中实现最低平均遗憾。
2026-10-06 cs.LG cs.RO
SHAIL: Safety-Aware Hierarchical Adversarial Imitation Learning for Autonomous Driving in Urban Environments
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Stanford University(斯坦福大学)
针对复杂城市场景自动驾驶决策难题,提出SHAIL分层对抗模仿学习方法,通过高层策略选择底层控制器实现同策略模仿,在基于真实数据的环岛模拟器上验证了优于传统方法的效果。
2023-06-10 cs.RO
Learning to Compose Hierarchical Object-Centric Controllers for Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
操作任务通常可以分解为并行执行的多个子任务,例如,在保持与桌子接触的同时将物体滑动到目标姿势。各个子任务可以通过相对于被操纵的对象定义的任务轴控制器来实现,并且一组以对象为中心的控制器可以在层次结构中组合。在以前的作品中,这样的组合是手动定义的或从演示中学习的。相比之下,我们建议使用强化学习来动态地组成分层的以对象为中心的控制器的操作任务。仿真和真实世界中的实验表明,所提出的方法如何导致提高采样效率,zero-shot推广到新的测试环境,和仿真到现实的传输没有微调。
2020-11-13 cs.AI cs.LG cs.RO
A Hierarchical Framework to Generate Robust Biped Locomotion Based on Divergent Component of Motion
IEETA(电子与信息工程研究院);University of Aveiro(阿威罗大学)
保持稳定性是人形机器人走出实验室进入现实环境的基本能力。由于人形机器人具有与人类相似的运动学,因此人类期望这些机器人即使在具有挑战性的情况下也能够鲁棒地稳定,例如当施加严重的推动时。本文提出了一种鲁棒的步行框架,它不仅考虑了传统的推送恢复方法(例如,踝关节、髋关节和步伐策略),而且还使用运动发散分量(DCM)的概念来调整下一步的时间和位置。所提出的框架的控制核心是由一个线性二次高斯(LQG)控制器和两个比例控制器。在这个框架中,LQG控制器试图跟踪参考轨迹,比例控制器被设计为调整下一步的时间和位置,使机器人从严重的推动中恢复。所提出的框架的鲁棒性和性能进行了验证,通过执行一组模拟,包括步行和推恢复使用MATLAB。仿真结果验证了所提出的框架是能够提供一个强大的行走,即使在非常具有挑战性的情况下。
2019-11-18 cs.RO
Hierarchical Relaxation of Safety-critical Controllers: Mitigating Contradictory Safety Conditions with Application to Quadruped Robots
California Institute of Technology(加州理工学院)
本文提出层次化松弛方法(Relaxed-CBF-QP与Hierarchical-CBF-QP)解决安全关键控制中矛盾安全条件导致的QP不可行问题,并通过采样确定权重,在四足机器人上验证了有效性。
2023-05-06 cs.RO
Hierarchical Control for Head-to-Head Autonomous Racing
Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);School for Engineering of Matter, Transport, and Energy(物质、运输与能源工程学院);Arizona State University(亚利桑那州立大学)
针对头对头自动驾驶赛车,提出分层控制器,高层规划路径点,低层用MARL或LQNG生成控制,在复杂规则下显著提升胜率并遵守规则。
2024-02-05 cs.MA cs.RO math.OC
Dynamic Grasping with a Learned Meta-Controller
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
提出一种基于强化学习的元控制器动态调整动态抓取流水线的前瞻时间和运动规划时间预算,显著提升了抓取成功率与效率,并展现出对未见障碍物场景的强泛化能力。
2024-03-26 cs.RO
MTAC: Hierarchical Reinforcement Learning-based Multi-gait Terrain-adaptive Quadruped Controller
Purdue University(普渡大学)
针对四足机器人在崎岖地形控制中的自由度挑战,提出基于分层强化学习的多步态地形自适应控制器MTAC,该方法具备时间与内存效率,在多数任务中成功率超75%,优于现有方法。
2023-11-01 cs.AI cs.RO
Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller
MIT(麻省理工学院);Facebook AI Research(脸书人工智能研究院);CMU(卡内基梅隆大学)
我们研究了一个广义的设置,从演示示教学习建立一个代理,可以操纵新的对象在看不见的情况下,只看一个视频的人类演示从第三人称的角度。为了实现这一目标,我们的智能体不仅要学会理解所演示的第三人称视频在其上下文中的意图,还要在其环境配置中执行预期的任务。我们的核心观点是在学习过程中通过将实现什么(预期任务)与如何执行它(控制器)解耦来明确地执行这种结构。我们提出了一个层次化的设置,其中一个高级模块学习生成一系列第一人称子目标的条件下的第三人称视频演示,和一个低级别的控制器预测的行动,以实现这些子目标。我们的代理根据原始图像观察进行操作,而无需访问完整的状态信息。我们展示了在一个真正的机器人平台上使用Baxter的倾倒和放置物体在一个盒子里的操作任务的结果。项目视频和代码在https://pathak22.github.io/hierarchical-imitation/
2019-11-21 cs.CV cs.LG cs.RO
Optimization-Based Hierarchical Motion Planning for Autonomous Racing
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一个分层控制器的自主赛车中使用相同的车辆模型在两个层次的优化框架运动规划。高级控制器计算使单圈时间最小化的轨迹,并且低级非线性模型预测路径跟随控制器在线跟踪所计算的轨迹。遵循计算出的最佳轨迹避免了在线规划,并实现了快速计算时间。通过在高级控制器中计算的终端约束,通过两个级别的耦合进一步提高了效率。在实时优化级别中包括该约束确保了预测范围可以缩短,同时保证了安全性。这对于在全尺寸无人驾驶赛车上进行实验验证至关重要。有问题的车辆赢得了两个国际学生赛车比赛,使用所提出的框架,此外,我们的分层控制器实现了20%的改进,在圈速相比,使用非常相似的汽车和轨道实现的最先进的结果。
2020-03-11 cs.RO cs.SY eess.SY
Hierarchical control strategy for planar bipedal walking robots based on reduced order model
Korea Institute of Science and Technology(韩国科学技术研究院);UNIVERSITY OF SCIENCE AND TECHNOLOGY(科学技术大学)
在这项工作中,基于模板控制的双足机器人的分层控制策略进行了描述。柔性腿的轴向力被重定向到一个点,称为虚拟枢轴点(VPP),一个2D的机器人,这是位于CoM的模型,以产生一个恢复力矩的躯干运动。由此产生的模型行为将类似于围绕该VPP旋转的虚拟钟摆,从而在行走期间瞄准直立的躯干。受此分析的启发,我们提出了一种新的力重定向方法作为机器人行走的控制器。然后,这些关键功能的BTSLIP模型与一个简单的力方向控制器被映射到关节体机器人通过任务空间控制器的整体输入转矩。我们考虑了一个完整的动态仿真的2D关节体机器人随机初始条件下,存在的力干扰和适度粗糙的表面,以验证所提出的方法的性能。此外,与我们的控制策略,机器人实现了稳定的步行运动,同时保持其上身直立,而不使用优化方法。我们假设通过利用机械模板的属性,也称为降阶模型,这可以使稳定的步态的完整模型机器人,而不需要精确的路径规划。
2023-02-12 cs.RO
DynoPlan: Combining Motion Planning and Deep Neural Network based Controllers for Safe HRL
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
许多现实的机器人任务最好通过控制架构来解决,这些控制架构顺序地调用原语,并通过使用循环和条件将系统带回到替代的早期状态来实现纠错。最近的任务学习的端到端方法试图直接学习解决整个任务的单个控制器,但这对于复杂的控制任务来说是困难的,否则需要多种局部基元移动,并且所得到的解决方案也不容易出于计划监控目的进行检查。在这项工作中,我们的目标是弥合手工设计和学习控制器之间的差距,通过将每个控制器表示为混合分层强化学习框架- DynoPlan中的一个选项。我们通过添加一个动态模型和使用一个接近目标的启发式,来自示威的选项框架。这将分层策略控制器的优化转化为模型预测控制器的规划问题。通过展开每个选项的动态和评估每个未来状态的期望值,我们可以创建一个简单的切换控制器,用于在受限的时间范围内选择最优策略,类似于爬山启发式搜索。单独的动力学模型允许每个选项独立于特定的底层实例化而被建模和激活,从而允许混合基于运动规划和深度神经网络的基元。我们可以通过调查不同选项的初始集,以及通过推理基础运动规划器的完整性和性能保证来评估所得到的混合控制器的安全区域。
2019-06-24 cs.RO
Hierarchical World Models as Visual Whole-Body Humanoid Controllers
UC San Diego(UC圣地亚哥大学);New York University(纽约大学);Meta AI
针对视觉人形机器人全身控制难题,本文提出分层世界模型,由高层视觉智能体向低层执行智能体发令并联合奖励训练,在56自由度仿真机器人的8项任务中获得高性能且更受人类偏好的策略。
2025-05-14 cs.CV cs.LG cs.RO
Hierarchical Optimization for Whole-Body Control of Wheeled Inverted Pendulum Humanoids
Institute of Robotics and Intelligent Machines(机器人与智能机构研究所)
本文提出了一种用于轮式倒立摆人形机器人的全身控制框架,通过分层优化方法实现多任务的同时执行,同时考虑关节角度和扭矩限制,以提高整体性能。
2018-10-07 cs.RO cs.SY eess.SY
Hierarchical Control for Bipedal Locomotion using Central Pattern Generators and Neural Networks
University of Innsbruck(因斯布鲁克大学);University of Hamburg(汉堡大学)
双足运动的复杂性可能归因于难以同步关节运动,同时实现高水平的目标,如在特定方向上行走。人工中央模式发生器(CPG)可以产生同步的关节运动,并已在过去用于双足运动。然而,大多数现有的基于CPG的方法没有明确地解决高层控制的问题。我们提出了一种新的双足运动的分层控制机制,其中优化的CPG网络用于关节控制和神经网络作为一个高层次的控制器调制的CPG网络。通过将运动生成与运动调制分离,高级控制器不需要直接控制各个关节,而是可以使用低维控制信号开发以实现更高的目标。通过神经启发伴侣(NICO)机器人的仿真实验证明了分层控制器的可行性。实验结果表明,控制器的功能,即使没有一个确切的机器人模型的可用性的能力。
2019-09-02 cs.LG cs.NE cs.RO
FC$^3$: Feasibility-Based Control Chain Coordination
TU Berlin(柏林工业大学)
控制器的层次协调通常使用符号状态表示,完全抽象其底层的低级别控制器,将它们视为符号动作抽象的“黑盒子”。本文提出了一种实现鲁棒行为的框架,我们称之为基于脆弱性的控制链协调(FC $^3$)。我们的控制器暴露了它们所操作的几何特征和约束,基于此,FC $^3$可以推理控制器的可行性和它们的序列可行性。对于给定的任务,FC $^3$首先使用符号动作树自动构建潜在控制器链库,然后用于协调链中的控制器,评估任务可行性,以及在必要时在控制器链之间切换。在几个真实世界的实验中,我们证明了FC $^3$的鲁棒性和意识的任务的可行性,通过自己的行动和逐步响应不同的干扰。
2022-05-09 cs.RO
Model Predictive Fuzzy Control: A Hierarchical Multi-Agent Control Architecture for Outdoor Search-and-Rescue Robots
Department of Control and Operations, Delft University of Technology(控制与运营系,代尔夫特理工大学)
本文提出模型预测模糊控制(MPFC)架构,将集中式MPC与局部FLC相结合,用于多机器人搜救任务规划,在保持与集中式MPC相当性能的同时显著降低计算资源需求。
2025-05-06 cs.RO cs.SY eess.SY
High-Precision Formation Control for Heterogeneous Multi-Robot Systems via Hierarchical Hybrid Physics-Informed Deep Reinforcement Learning
Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, Great Bay University(东莞智能装备与智能产业重点实验室,大湾区大学先进工程学院);Technische Universität Dresden(德累斯顿工业大学);School of Mechanical and Electrical Engineering, Guangzhou University(广州大学机电工程学院);University of Science and Technology of China(中国科学技术大学);College of Computer Science, Dongguan University of Technology(东莞理工学院计算机科学与技术学院)
针对异构多机器人系统编队控制问题,提出分层混合物理信息深度强化学习框架。上层用深度强化学习设计领导者导航策略网络,下层整合多种控制器构建编队控制策略网络,设计分层奖励函数训练跟随者,实验验证方法有效性。
2026-07-07 cs.RO
Safe Hierarchical Model Predictive Control and Planning for Autonomous Systems
Otto von Guericke University(奥托·冯·格里克大学);German Aerospace Center (DLR)(德国航空航天中心(DLR));Technical University of Darmstadt(达姆施塔特工业大学)
自动驾驶车辆的规划和控制通常是分层分离的。然而,不断提高的性能要求和在高度动态的环境中运行需要频繁地重新评估规划,并将控制和规划紧密集成,以确保安全。我们提出了一个集成的分层预测控制和规划方法来应对这一挑战。规划器和控制器是基于滚动时域最优控制问题的重复求解。该规划器可以选择不同的低层控制器模式,以增加灵活性和性能,而不是使用一个单一的控制器与大的安全裕度下的不确定性避免碰撞。规划是基于简化的系统动力学和安全性,但灵活的操作是通过基于混合整数线性规划公式的约束收紧来确保的。基于循环时域管的模型预测控制器保证了对不同控制模式和干扰的约束满足。这种模式的例子是具有高精度的低速运动和具有大的不确定性界限的高速运动。允许不同的控制模式减少了保守性,而问题的分层分解降低了计算成本,并使实时实现。我们推导出递归可行性的条件,以确保约束满足和避障,以保证安全,并确保层和模式之间的兼容性。仿真结果验证了所提出的分层策略的有效性和适用性。
2022-03-27 cs.RO cs.SY eess.SY
Task Hierarchical Control via Null-Space Projection and Path Integral Approach
University of Texas at Austin(德克萨斯大学奥斯汀分校);Institute of Science Tokyo(东京科学大学)
针对层级任务控制中传统方法依赖低级控制器导致次优解的问题,提出将零空间投影与路径积分控制结合的新框架,利用蒙特卡洛模拟实时计算最优控制输入,仿真验证了其有效性。
2025-03-28 cs.RO cs.SY eess.SY
Learning Hierarchical Control for Robust In-Hand Manipulation
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
由于手和物体接触的建模以及复杂操作序列中手指运动的协调的复杂性,机器人手内操作一直是一个长期存在的挑战。为了应对这些挑战,大多数先前的工作要么集中在基于模型的低级控制器上,要么集中在无模型的深度强化学习上,每一种都有自己的局限性。我们提出了一种分层的方法,依赖于传统的,基于模型的控制器的低级别和学习的策略的中间层。低层控制器可以鲁棒地执行不同的操纵原语(静止,滑动,翻转)。中级策略协调这些原语。我们广泛评估我们的方法在模拟与3指手,控制三个自由度的细长物体。我们表明,我们的方法可以在工作空间中几乎所有可能的姿势之间移动对象,同时保持它们牢牢抓住。我们还表明,我们的方法是强大的对象模型和观测噪声的不准确性。最后,我们展示了我们的方法如何推广到其他形状的对象。
2019-10-24 cs.AI cs.RO
From proprioception to long-horizon planning in novel environments: A hierarchical RL model
Vicarious AI(Vicarious人工智能公司)
对于一个智能代理灵活,有效地在复杂的环境中运行,他们必须能够在多个层次的时间,空间和概念抽象的原因。在较低的层次上,智能体必须解释他们的本体感受输入并控制他们的肌肉,而在较高的层次上,智能体必须选择目标并计划如何实现这些目标。很明显,这些类型的推理中的每一种都适用于不同类型的表示、算法和输入。在这项工作中,我们介绍了一个简单的,三个层次的架构,反映了这些区别。低层控制器对连续的本体感受输入进行操作,使用无模型学习来获得有用的行为。这些又引起一组中级动态,其由中级控制器学习并用于模型预测控制,以选择在每个时间步激活的行为。高级控制器利用用于目标选择和路径规划的离散图形表示来指定中级控制器的目标。我们将我们的方法应用于Mujoco Ant环境中的一系列导航任务,与先前的无模型,基于模型和分层RL方法相比,始终证明了样本效率的显着提高。最后,作为一个说明性的例子,我们的架构的优势,我们将我们的方法应用到一个复杂的迷宫环境,需要有效的探索和长期规划。
2020-06-11 cs.AI cs.LG cs.RO
Hierarchical Control Strategy for Moving A Robot Manipulator Between Small Containers
University of Washington(华盛顿大学)
在本文中,我们研究了在高度不确定的环境中(例如,从密集包装的箱的半柔性阵列中拾取物体)。作为一种实时的感知驱动反馈控制器,MPC对这种环境中的不确定性具有鲁棒性。然而,我们的实验表明,MPC不能控制机器人完成一系列的运动在严重闭塞的环境中,由于其近视的性质。它将受益于添加自适应地调整MPC的优化问题的高级策略。
2022-11-28 cs.RO cs.SY eess.SY
Hierarchical Adaptive Motion Planning with Nonlinear Model Predictive Control for Safety-Critical Collaborative Loco-Manipulation
提出一种基于非线性模型预测控制和控制障碍函数的四足机器人团队分层协同移动操作控制系统,实现复杂动态环境下的安全自适应规划与操作,并通过仿真和硬件实验验证。
2024-11-16 cs.RO
Cross-Platform Learnable Fuzzy Gain-Scheduled Proportional-Integral-Derivative Controller Tuning via Physics-Constrained Meta-Learning and Reinforcement Learning Adaptation
The University of Hong Kong(香港大学);Guangzhou College of Commerce(广州商学院)
本文提出一种分层框架,用于跨平台调优可学习模糊增益调度PID控制器。通过物理约束虚拟机器人合成,结合元学习和轻量强化学习,实现跨平台初始化和部署特定优化,提升跟踪性能和鲁棒性。
2026-01-10 cs.RO
The hierarchical Newton's method for numerically stable prioritized dynamic control
CNRS-AIST Joint Robotics Laboratory(法国国家科学研究中心-产业技术综合研究所联合机器人实验室);Nanyang Technological University(南洋理工大学);University of Montpellier(蒙彼利埃大学)
这项工作链接的优化方法,从分层最小二乘编程瞬时优先全身机器人控制。具体地说,我们制定的层次牛顿的方法,解决优先的非线性最小二乘问题,在数值上稳定的方式,即使在存在的运动学和算法奇异的近似运动学约束。这些结果,然后转移到控制问题,表现出额外的可变性的时间。这是必要的,以制定基于加速度的控制器,并纳入二阶动态。然而,我们表明,牛顿的方法没有复杂的适应是不合适的加速度域。因此,我们制定了一个基于速度的控制器,具有二阶比例导数收敛特性。我们的发展验证了玩具机器人控制方案,以及在复杂的机器人实验,强调优先控制和奇异性分辨率的重要性。
2023-03-08 cs.RO math.OC
A Hierarchical Approach for Strategic Motion Planning in Autonomous Racing
University Freiburg(弗莱堡大学)
我们提出了一种安全的轨迹规划方法,其中与自主赛车相关的战略任务在模拟环境中学习样本效率。高级策略,表示为神经网络,输出在参数非线性模型预测控制器(NMPC)的成本函数内使用的奖励规范。通过在NLP中包含约束和车辆运动学,我们能够保证与所使用的模型相关的安全可行的轨迹。与经典的强化学习(RL)相比,我们的方法将探索限制在安全的轨迹上,以良好的先验性能开始,并产生可以传递给跟踪最低级别控制器的完整轨迹。我们不解决最低级别的控制器在这项工作中,并假设完美的跟踪可行的轨迹。我们展示了我们的算法在模拟赛车任务,包括高层次的决策优越的性能。车辆学习有效地超越较慢的车辆,并通过阻挡较快的车辆来避免被超越。
2022-12-03 cs.RO cs.SY eess.SY
HMC: Learning Heterogeneous Meta-Control for Contact-Rich Loco-Manipulation
UC San Diego(加州大学圣地亚哥分校)
针对纯位置控制器在接触或变负载下的不足,提出异构元控制(HMC)框架,通过HMC-Controller融合多控制模态、HMC-Policy构建异构架构,在真实人形机器人实验中任务性能相对提升超50%。
2025-11-18 cs.RO
Fast and Efficient Locomotion via Learned Gait Transitions
University of Washington(华盛顿大学);Robotics at Google(Google机器人部门)
我们专注于开发四足机器人的节能控制器的问题。动物可以以不同的速度主动切换步态,以降低能量消耗。在本文中,我们设计了一个分层的学习框架,其中独特的运动步态和自然的步态过渡自动出现一个简单的奖励能量最小化。我们使用进化策略(ES)训练一个高层次的步态政策,指定步态模式的每只脚,而低层次的凸MPC控制器优化电机命令,使机器人可以走在一个所需的速度使用该步态模式。我们在四足机器人上测试了我们的学习框架,并展示了自动步态转换,从步行到小跑和小跑,随着机器人速度的增加。我们表明,学习的分层控制器消耗更少的能量在很宽的运动速度范围内比基线控制器。
2021-11-22 cs.LG cs.RO
Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion
NVIDIA(英伟达);Univ. of British Columbia(不列颠哥伦比亚大学);Univ. of Washington(华盛顿大学);Caltech(加州理工学院);UT Austin(德克萨斯大学奥斯汀分校);Univ. of Toronto(多伦多大学);Vector Institute(向量学院)
我们提出了一个分层的框架,结合基于模型的控制和强化学习(RL)合成鲁棒控制器的四足动物(Unitree莱卡戈)。该系统包括一个高级控制器,学习选择一组原语响应环境的变化和一个低级控制器,利用建立的控制方法来鲁棒地执行原语。我们的框架学习一个控制器,可以动态适应具有挑战性的环境变化,包括训练期间未见过的新场景。与基线方法相比,学习控制器的能量效率提高了85%,并且更加鲁棒。我们还部署在物理机器人上的控制器没有任何随机化或适应方案。
2020-11-23 cs.LG cs.RO
Transfering Hierarchical Structure with Dual Meta Imitation Learning
Tsinghua University(清华大学)
分层模仿学习(HIL)是一种有效的方法,机器人学习的子技能,从长期的地平线不分割的演示。然而,学习到的层次结构缺乏跨多任务或向新任务转移的机制,这使得他们在面对新情况时不得不从头开始学习。模块化子技能的迁移和重组需要整个层次结构的快速适应能力。在这项工作中,我们提出了双重Meta模仿学习(DMIL),一个分层的元模仿学习方法,其中的高级网络和子技能迭代元学习与模型无关的元学习。DMIL使用来自每个子技能的状态-动作对的可能性作为高级网络适配的监督,并且使用适配的高级网络来确定用于每个子技能适配的不同数据集。从理论上证明了DMIL迭代训练过程的收敛性,建立了DMIL与期望最大化算法之间的联系。从经验上讲,我们实现了最先进的Few-Shot模仿学习性能的元世界\cite{metaworld}基准和厨房环境的长期任务的竞争结果。
2022-02-19 cs.AI cs.RO
Staged Multi-Agent Training for Human-Exoskeleton Co-Adaptation: Simulation-Based Learning and Real-World Metabolic and Biomechanical Validation
New Jersey Institute of Technology(新泽西理工学院);Kessler Foundation(凯斯勒基金会)
本研究提出分阶段多智能体训练(SMAT)策略,将其部署于髋部外骨骼并经8名健康成人测试,证实该策略可显著降低代谢率,且在不同步行速度和地形上具备泛化性。
2026-10-27 cs.LG cs.RO
Meta-Controller: Few-Shot Imitation of Unseen Embodiments and Tasks in Continuous Control
School of Computing KAIST(韩国科学技术院计算机学院)
提出元控制器框架,利用关节级表示和结构-运动编码器,通过少量无奖励演示实现跨未见具身和任务的少样本模仿学习,优于现有方法。
2024-12-10 cs.AI cs.LG cs.RO
Adaptive-Control-Oriented Meta-Learning for Nonlinear Systems
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
实时自适应对于在复杂动态环境中操作的机器人的控制是必不可少的。自适应控制律可以赋予即使是非线性系统良好的轨迹跟踪性能,只要任何不确定的动态项是线性参数化与已知的非线性特征。然而,通常很难先验地指定这些特征,例如旋翼机上的空气动力学扰动或操纵器臂与各种物体之间的相互作用力。在本文中,我们转向数据驱动的建模与神经网络学习,离线从过去的数据,这些非线性特征的内部参数模型的自适应控制器。我们的关键见解是,我们可以更好地准备控制器的部署与控制为导向的元学习功能在闭环仿真,而不是回归为导向的元学习功能,以适应输入-输出数据。具体地说,我们元学习的自适应控制器与闭环跟踪仿真作为基础学习者和平均跟踪误差作为元目标。与非线性平面旋翼机受风,我们证明了我们的自适应控制器优于其他控制器训练回归导向的元学习时,部署在闭环轨迹跟踪控制。
2021-06-19 cs.LG cs.RO cs.SY
Curious Meta-Controller: Adaptive Alternation between Model-Based and Model-Free Control in Deep Reinforcement Learning
University of Hamburg(汉堡大学)
最近在连续控制的深度强化学习中取得的成功主要是无模型方法,与基于模型的方法不同,无模型方法在对复杂域中不可避免的世界动态和模型错误进行假设时不会受到代表性限制。然而,与基于模型的方法相比,它们需要大量的经验,而基于模型的方法通常更具样本效率。我们建议结合这两种方法的好处,提出一个综合的方法,称为好奇的元控制器。我们的方法交替自适应基于模型的和无模型的控制使用好奇心反馈的基础上学习的神经模型的学习进度的动态学习的潜在空间。我们证明,我们的方法可以显着提高样本效率,并实现近最佳性能的学习机器人达到和抓取任务,从原始像素输入在密集和稀疏的奖励设置。
2019-05-05 cs.AI cs.LG cs.RO
Multi-Stage Cable Routing through Hierarchical Imitation Learning
Intrinsic Innovation LLC(Intrinsic Innovation 有限责任公司)
本文提出基于分层模仿学习的多阶段线缆布线方法,通过低层运动控制与高层顺序规划相结合,使机器人能够从失败中恢复并泛化到复杂线夹布局。
2024-01-13 cs.AI cs.RO
Control-oriented meta-learning
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
实时自适应对于在复杂动态环境中操作的机器人的控制是必不可少的。自适应控制律可以赋予即使是非线性系统良好的轨迹跟踪性能,只要任何不确定的动态项是线性参数化与已知的非线性特征。然而,通常很难先验地指定这些特征,例如旋翼机上的空气动力学扰动或操纵器臂与各种物体之间的相互作用力。在本文中,我们转向数据驱动的建模与神经网络学习,离线从过去的数据,这些非线性特征的内部参数模型的自适应控制器。我们的关键见解是,我们可以更好地准备控制器的部署与控制为导向的元学习功能在闭环仿真,而不是回归为导向的元学习功能,以适应输入-输出数据。具体地说,我们元学习的自适应控制器与闭环跟踪仿真作为基础学习者和平均跟踪误差作为元目标。与全驱动和欠驱动的非线性平面旋翼机受风,我们证明了我们的自适应控制器优于其他控制器训练回归导向的元学习时,部署在闭环轨迹跟踪控制。
2022-04-14 cs.LG cs.RO cs.SY
Optimizing an Adaptive Fuzzy Logic Controller of a 3-DOF Helicopter with a Modified PSO Algorithm
Université de Sherbrooke(舍布鲁克大学);Babol Noshirvani University of Technology(巴博勒诺希尔瓦尼理工大学)
研究了三自由度直升机系统的控制器优化问题。将模糊逻辑与自适应控制理论相结合,对系统进行控制。该系统是广泛的非线性和高度敏感的控制器的参数,使它成为一个真正的挑战,研究这些参数对控制器的性能。使用元启发式算法来确定这些参数是一个很有前途的解决方案。本文提出了一种改进的粒子群优化算法(MPSO)来优化控制器。该算法具有很强的全局搜索能力,能够找到合理的搜索空间。该算法根据粒子适应度函数的大小来调整粒子的搜索空间,并用弱粒子替换新粒子。这些修改导致更好的精度和收敛速度。我们证明了MPSO算法的效率,通过比较它与标准的PSO和其他六个著名的元启发式算法优化时,自适应模糊逻辑控制器的3自由度直升机。通过计算机模拟,证明了该方法在系统存在不确定性和干扰时的有效性。通过比较MPSO和标准PSO优化控制器的结果,证明了该方法的优越性。
2022-05-01 cs.RO cs.SY eess.SY
Mind the Gap: Promises and Pitfalls of Hierarchical Planning in LeWorldModel
University of Amsterdam(阿姆斯特丹大学)
研究长期目标条件控制下时间层次结构对LeWorldModel的影响,提出Hi-LeWM扩展,通过冻结低级模型并添加高级规划。实验发现层次结构需合理设计,无约束搜索有问题,约束搜索可改善性能,表明时间抽象有益,但高级搜索要与低级控制器兼容。
2026-07-16 cs.AI cs.LG cs.RO