Cross-Platform Learnable Fuzzy Gain-Scheduled Proportional-Integral-Derivative Controller Tuning via Physics-Constrained Meta-Learning and Reinforcement Learning Adaptation
The University of Hong Kong(香港大学);Guangzhou College of Commerce(广州商学院)
本文提出一种分层框架,用于跨平台调优可学习模糊增益调度PID控制器。通过物理约束虚拟机器人合成,结合元学习和轻量强化学习,实现跨平台初始化和部署特定优化,提升跟踪性能和鲁棒性。
2026-01-10 cs.RO
HMC: Learning Heterogeneous Meta-Control for Contact-Rich Loco-Manipulation
UC San Diego(加州大学圣地亚哥分校)
针对纯位置控制器在接触或变负载下的不足,提出异构元控制(HMC)框架,通过HMC-Controller融合多控制模态、HMC-Policy构建异构架构,在真实人形机器人实验中任务性能相对提升超50%。
2025-11-18 cs.RO
MetaMorph: Learning Universal Controllers with Transformers
Stanford University(斯坦福大学);NVIDIA Corporation(英伟达公司);Stanford Institute for Human-Centered Artificial Intelligence(斯坦福以人为本人工智能研究院)
通过利用Transformers进行大规模预训练,然后进行特定任务的微调,视觉、自然语言和音频等多个领域正在取得巨大进展。相比之下,在机器人技术中,我们主要是为单一任务训练单个机器人。然而,模块化机器人系统现在允许通用构建块到任务优化形态的灵活组合。然而,考虑到可能的机器人形态的数量呈指数级增长,为每个新设计训练控制器是不切实际的。在这项工作中,我们提出了MetaMorph,一个基于Transformer的方法来学习一个通用的控制器在一个模块化的机器人设计空间。MetaMorph基于这样一种见解,即机器人形态只是我们可以调节Transformer输出的另一种形态。通过大量的实验,我们证明了各种机器人形态的大规模预训练的结果与组合泛化能力的政策,包括zero shot泛化到看不见的机器人形态。我们进一步证明,我们的预训练策略可以用于样本高效转移到全新的机器人形态和任务。
2022-03-22 cs.LG cs.NE cs.RO
Meta Reinforcement Learning for Optimal Design of Legged Robots
ETH Zürich(苏黎世联邦理工学院)
机器人设计过程是一项复杂的任务,大多数设计决策仍然基于人类直觉或繁琐的手动调整。一个更明智的方式来面对这个任务是计算设计方法,设计参数同时优化相应的控制器。然而,现有的方法受到预定义的控制规则或运动模板的强烈影响,并且不能提供端到端的解决方案。在本文中,我们提出了一个设计优化框架,使用无模型的Meta强化学习,并将其应用于优化四足机器人的运动学和执行器参数。我们使用Meta强化学习来训练能够快速适应不同设计的运动策略。该策略用于在设计优化期间评估每个设计实例。我们证明,该政策可以控制不同设计的机器人跟踪随机速度命令在各种粗糙的地形。通过控制实验,我们表明,Meta策略适应后,每个设计实例达到接近最优的性能。最后,我们将我们的结果与基于模型的基线进行比较,并表明我们的方法可以实现更高的性能,同时不受预定义运动或步态模式的约束。
2022-10-06 cs.AI cs.RO cs.SY
Meta-Learning-Based Robust Adaptive Flight Control Under Uncertain Wind Conditions
California Institute of Technology(加州理工学院)
实时模型学习对于复杂的动态系统来说是一个挑战,例如在可变风力条件下飞行的无人机。诸如深度神经网络之类的机器学习技术具有高表示能力,但通常太慢而无法在板上更新。另一方面,自适应控制依赖于简单的线性参数模型,可以像反馈控制回路一样快速地更新。我们提出了一种在线复合自适应方法,将深度神经网络的输出作为一组能够代表不同风况的基函数。为了帮助训练,元学习技术用于优化对适应有用的网络输出。我们通过在不同的风力条件下和沿着具有挑战性的轨迹在露天风洞中飞行无人机来验证我们的方法。我们比较结果与其他自适应控制器与不同的基函数集,并显示改善跟踪和预测误差。
2022-05-25 cs.LG cs.RO cs.SY
Adaptive-Control-Oriented Meta-Learning for Nonlinear Systems
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
实时自适应对于在复杂动态环境中操作的机器人的控制是必不可少的。自适应控制律可以赋予即使是非线性系统良好的轨迹跟踪性能,只要任何不确定的动态项是线性参数化与已知的非线性特征。然而,通常很难先验地指定这些特征,例如旋翼机上的空气动力学扰动或操纵器臂与各种物体之间的相互作用力。在本文中,我们转向数据驱动的建模与神经网络学习,离线从过去的数据,这些非线性特征的内部参数模型的自适应控制器。我们的关键见解是,我们可以更好地准备控制器的部署与控制为导向的元学习功能在闭环仿真,而不是回归为导向的元学习功能,以适应输入-输出数据。具体地说,我们元学习的自适应控制器与闭环跟踪仿真作为基础学习者和平均跟踪误差作为元目标。与非线性平面旋翼机受风,我们证明了我们的自适应控制器优于其他控制器训练回归导向的元学习时,部署在闭环轨迹跟踪控制。
2021-06-19 cs.LG cs.RO cs.SY
Meta-Controller: Few-Shot Imitation of Unseen Embodiments and Tasks in Continuous Control
School of Computing KAIST(韩国科学技术院计算机学院)
提出元控制器框架,利用关节级表示和结构-运动编码器,通过少量无奖励演示实现跨未见具身和任务的少样本模仿学习,优于现有方法。
2024-12-10 cs.AI cs.LG cs.RO
Curious Meta-Controller: Adaptive Alternation between Model-Based and Model-Free Control in Deep Reinforcement Learning
University of Hamburg(汉堡大学)
最近在连续控制的深度强化学习中取得的成功主要是无模型方法,与基于模型的方法不同,无模型方法在对复杂域中不可避免的世界动态和模型错误进行假设时不会受到代表性限制。然而,与基于模型的方法相比,它们需要大量的经验,而基于模型的方法通常更具样本效率。我们建议结合这两种方法的好处,提出一个综合的方法,称为好奇的元控制器。我们的方法交替自适应基于模型的和无模型的控制使用好奇心反馈的基础上学习的神经模型的学习进度的动态学习的潜在空间。我们证明,我们的方法可以显着提高样本效率,并实现近最佳性能的学习机器人达到和抓取任务,从原始像素输入在密集和稀疏的奖励设置。
2019-05-05 cs.AI cs.LG cs.RO
Control-oriented meta-learning
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
实时自适应对于在复杂动态环境中操作的机器人的控制是必不可少的。自适应控制律可以赋予即使是非线性系统良好的轨迹跟踪性能,只要任何不确定的动态项是线性参数化与已知的非线性特征。然而,通常很难先验地指定这些特征,例如旋翼机上的空气动力学扰动或操纵器臂与各种物体之间的相互作用力。在本文中,我们转向数据驱动的建模与神经网络学习,离线从过去的数据,这些非线性特征的内部参数模型的自适应控制器。我们的关键见解是,我们可以更好地准备控制器的部署与控制为导向的元学习功能在闭环仿真,而不是回归为导向的元学习功能,以适应输入-输出数据。具体地说,我们元学习的自适应控制器与闭环跟踪仿真作为基础学习者和平均跟踪误差作为元目标。与全驱动和欠驱动的非线性平面旋翼机受风,我们证明了我们的自适应控制器优于其他控制器训练回归导向的元学习时,部署在闭环轨迹跟踪控制。
2022-04-14 cs.LG cs.RO cs.SY
CONFIDANT: A Privacy Controller for Social Robots
University of Michigan(密歇根大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
随着社交机器人在日常环境中变得越来越普遍,它们将参与对话并适当地管理与它们共享的信息。然而,人们对机器人如何正确识别信息的敏感性知之甚少,这对人类-机器人信任有重大影响。作为解决这个问题的第一步,我们为会话社交机器人设计了一个隐私控制器CONFIDANT,它能够使用上下文元数据(例如,情感、关系、话题),以建立隐私边界模型。之后,我们进行了两项众包用户研究。第一项研究(n=174)的重点是各种人与人之间的互动场景是否被认为是私人/敏感或非私人/非敏感。我们第一项研究的结果被用来生成关联规则。我们的第二项研究(n=95)通过将使用我们的隐私控制器的机器人与没有隐私控制的基线机器人进行比较,评估了隐私控制器在人机交互场景中的有效性和准确性。我们的研究结果表明,与隐私控制器的机器人优于没有隐私控制器的机器人在隐私意识,可信度和社会意识。我们的结论是,在真实的人机对话中集成隐私控制器可以允许更值得信赖的机器人。这个最初的隐私控制器将作为更复杂解决方案的基础。
2022-01-08 cs.RO
Optimizing an Adaptive Fuzzy Logic Controller of a 3-DOF Helicopter with a Modified PSO Algorithm
Université de Sherbrooke(舍布鲁克大学);Babol Noshirvani University of Technology(巴博勒诺希尔瓦尼理工大学)
研究了三自由度直升机系统的控制器优化问题。将模糊逻辑与自适应控制理论相结合,对系统进行控制。该系统是广泛的非线性和高度敏感的控制器的参数,使它成为一个真正的挑战,研究这些参数对控制器的性能。使用元启发式算法来确定这些参数是一个很有前途的解决方案。本文提出了一种改进的粒子群优化算法(MPSO)来优化控制器。该算法具有很强的全局搜索能力,能够找到合理的搜索空间。该算法根据粒子适应度函数的大小来调整粒子的搜索空间,并用弱粒子替换新粒子。这些修改导致更好的精度和收敛速度。我们证明了MPSO算法的效率,通过比较它与标准的PSO和其他六个著名的元启发式算法优化时,自适应模糊逻辑控制器的3自由度直升机。通过计算机模拟,证明了该方法在系统存在不确定性和干扰时的有效性。通过比较MPSO和标准PSO优化控制器的结果,证明了该方法的优越性。
2022-05-01 cs.RO cs.SY eess.SY
Provably Safe Model-Based Meta Reinforcement Learning: An Abstraction-Based Approach
University of California, Irvine(加利福尼亚大学尔湾分校)
虽然传统的强化学习专注于设计可以执行一项任务的代理,但元学习的目标是解决设计可以概括为不同任务的代理的问题(例如,环境、障碍和目标),这些因素在设计或训练这些智能体时没有考虑到。本着这种精神,在本文中,我们考虑训练一个可证明安全的神经网络(NN)控制器的不确定非线性动力系统,可以推广到新的任务,不存在的训练数据,同时保持强大的安全保证的问题。我们的方法是在训练阶段学习一组NN控制器。当任务在运行时可用时,我们的框架将仔细选择这些NN控制器的子集,并将它们组合成最终的NN控制器。我们的方法的关键是计算非线性动力系统的有限状态抽象的能力。这个抽象模型捕获闭环系统在所有可能的NN权重下的行为,并用于训练NN,并在任务可用时组合它们。我们提供了理论保证,管理所产生的NN的正确性。我们评估了我们的方法控制轮式机器人在杂乱的环境中,不存在的训练数据的问题。
2021-09-03 cs.LG cs.RO cs.SY
MAGIC-VFM: Meta-learning Adaptation for Ground Interaction Control with Visual Foundation Models
针对越野车辆复杂地形交互建模难题,提出结合视觉基础模型(VFM)与离线元学习的残差动力学建模方法,并通过复合自适应控制实时优化,在仿真与硬件实验中显著提升了控制性能。
2024-09-20 cs.RO
LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对机器人遥操作的控制器依赖问题,本研究提出LLM驱动的无控制器语音指令AR木偶操纵系统,通过操控虚拟对应物实现实体机器人遥操作,经初步演示验证其功能,可提升易用性并降低安全风险。
2025-02-13 cs.HC cs.RO
Falsification of Autonomous Systems in Rich Environments
Rice University(莱斯大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对复杂环境中自主CPS的神经网络控制器验证难题,提出将其证伪问题重构为元系统轨迹规划的元规划方法,利用RRT等采样技术并融合领域知识,在避障自动驾驶证伪实验中表现优于现有方法。
2024-12-23 cs.RO cs.SY eess.SY
Meta-Learning Augmented MPC for Disturbance-Aware Motion Planning and Control of Quadrotors
KTH Royal Institute of Technology(瑞典皇家理工学院);Caltech(加州理工学院);Uppsala University(乌普萨拉大学)
针对自主飞行中的未知扰动问题,提出一种由扰动感知运动规划器和收缩控制跟踪控制器组成的框架,结合预测控制与在线学习的扰动模型,在强风等仿真中验证了安全性。
2024-12-17 cs.RO cs.SY eess.SY
A Framework for Robot Manipulation: Skill Formalism, Meta Learning and Adaptive Control
Technische Universität München(慕尼黑工业大学)
在本文中,我们介绍了一种新的框架表示和学习力敏感的机器人操作技能。它是基于一种形式主义,扩展了我们以前的工作,自适应阻抗控制与Meta参数学习和兼容的技能规范。通过这种方式,系统还能够通过结合过程描述和质量评估指标来利用抽象的专家知识。我们评估各种国家的最先进的方案的Meta参数学习和实验比较选定的。我们的研究结果清楚地表明,我们的自适应阻抗控制器与精心定义的技能形式主义的结合显着降低了操作任务的复杂性,即使是学习钉孔亚毫米级工业公差。总的来说,所考虑的系统能够在20分钟内学习这种技能的变化。事实上,在实验中,该系统能够比人类更快地执行学习任务,从而实现了第一个基于学习的复杂装配解决方案。
2018-05-22 cs.RO
Motion Adaptation Across Users and Tasks for Exoskeletons via Meta-Learning
针对可穿戴外骨骼个性化和任务泛化辅助的挑战,提出基于MAML框架的元模仿学习方法,利用仿真数据训练任务特定神经网络以快速适应新用户和任务,显著降低了肌肉激活和代谢成本。
2025-09-17 cs.RO
Robotic Control Using Model Based Meta Adaption
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在机器学习中,元学习方法旨在利用先验知识快速适应未知任务。基于模型的元强化学习将通过世界模型的强化学习与Meta强化学习(MRL)相结合,以提高样本效率。然而,适应未知的任务并不总是导致更好的代理行为。本文介绍了一种新的Meta自适应控制器(MAC),采用MRL的机器人的行为,从一个任务适用于许多类似的任务。为此,MAC的目标是找到代理在新任务中必须采取的行动,以达到与学习任务相似的结果。因此,智能体将快速适应动态的变化,并适当地采取行动,而不需要构建一个奖励函数来强制执行首选行为。
2022-10-07 cs.RO cs.SY eess.SY
Meta-Learning Priors for Safe Bayesian Optimization
ETH Zurich(苏黎世联邦理工学院);inspire AG(Inspire股份公司)
针对机器人领域安全约束下控制器参数优化的挑战,提出基于F-PACOH的元学习先验框架,通过数据驱动方式选安全先验,在保障安全的同时加快安全贝叶斯优化收敛。
2023-06-12 cs.AI cs.LG cs.RO
Infusing model predictive control into meta-reinforcement learning for mobile robots in dynamic environments
Seoul National University(首尔国立大学);Automation and Systems Research Institute(自动化与系统研究所)
移动机器人的成功运行要求它们能够快速适应环境变化。为了开发移动机器人的自适应决策工具,我们提出了一种新的算法,结合Meta强化学习(meta-RL)和模型预测控制(MPC)。我们的方法采用了一个关闭的政策元RL算法作为基线训练的政策,使用MPC产生的过渡样本时,机器人检测到某些事件,可以有效地处理MPC,其明确使用机器人动力学。我们的方法的关键思想是以随机和事件触发的方式在元学习策略和MPC控制器之间切换,以弥补由有限的预测范围引起的次优MPC动作。在元测试期间,MPC模块被停用以显著减少运动控制中的计算时间。我们进一步提出了一个在线适应方案,使机器人推断和适应一个新的任务在一个单一的轨迹。我们的方法的性能已经通过使用非线性汽车模型与(i)障碍物的合成运动,和(ii)真实世界的行人运动数据的模拟得到了证明。仿真结果表明,该方法在学习效率和导航质量方面优于其他算法。
2022-07-07 cs.RO cs.SY eess.SY
Adaptive Gravity Compensation Control of a Cable-Driven Upper-Arm Soft Exosuit
Birla Institute of Technology and Science Pilani(皮拉尼贝拉理工学院);PricewaterhouseCoopers(普华永道);Indian Institute of Technology Delhi(印度理工学院德里分校);All India Institute of Medical Sciences(全印医学科学学院)
针对缆绳驱动上肢外骨骼服,提出无需预知人体参数和负载的自适应重力补偿控制策略,通过在线估计参数补偿肘重力矩,联合仿真验证其可显著降低人体负荷,性能收敛至理想重力补偿控制效果。
2023-04-28 cs.RO cs.SY eess.SY
Meta-Control: Automatic Model-based Control Synthesis for Heterogeneous Robot Skills
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
针对现实机器人操纵任务需求多样难用固定策略满足的问题,提出Meta-Control方法,借助LLM模仿人类专家分层建模思维自动合成定制化控制方案,具备可分析、泛化性强等优势。
2024-12-11 cs.AI cs.RO cs.SY
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination
University of Hamburg(汉堡大学);Knowledge Technology(知识技术学院)
结合基于模型和无模型的学习系统已被证明可以提高学习的样本效率,以执行复杂的机器人任务。然而,双系统方法未能考虑学习模型的可靠性,当它被应用于进行多步预测,导致预测误差和性能下降的复合。在本文中,我们提出了一种新的双系统电机学习方法,其中元控制器基于学习模型的局部可靠性估计在线仲裁基于模型和无模型的决策。可靠性估计用于计算内在反馈信号,鼓励产生改进模型的数据的行动。我们的方法还集成了仲裁与想象力的学习潜在空间模型产生想象的经验,根据其本地的可靠性,作为额外的训练数据。我们评估我们的方法对基线和国家的最先进的方法在模拟和现实世界中学习基于视觉的机器人抓取。结果表明,我们的方法优于比较的方法,并学习接近最优的抓取策略在密集和稀疏奖励环境。
2020-11-01 cs.AI cs.LG cs.RO