CPG-ACTOR: Reinforcement Learning for Central Pattern Generators
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
中央模式发生器（CPG）有几个理想的运动属性：它们产生平滑的轨迹，是强大的扰动，是简单的实现。虽然在概念上有希望，我们认为，CPG的全部潜力迄今为止受到限制的感觉反馈信息不足。本文提出了一种新的方法，允许调整CPG控制器，通过基于梯度的优化在强化学习（RL）设置。据我们所知，这是第一次在深度RL环境中结合多层感知器（MLP）网络训练CPG。特别是，我们展示了如何CPG可以直接集成为演员在演员批评制定。此外，我们还展示了这种变化如何使我们能够直接从感官知觉中整合高度非线性反馈，以重塑振荡器的动态。我们的研究结果表明，明确使用CPG作为演员，而不是作为环境的一部分，随着时间的推移获得的奖励显着增加（6倍以上）相比，以前的方法。此外，我们表明，我们的方法没有反馈再现结果类似于以前的工作与反馈。最后，我们展示了我们的闭环CPG如何逐步提高跳跃行为，仅依赖于基本的奖励功能，更长的训练时期。
2021-02-25 cs.RO
Agile and Versatile Robot Locomotion via Kernel-based Residual Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
这项工作开发了一个基于内核的残余学习框架的四足机器人运动。最初，用从MPC控制器收集的数据训练内核神经网络。除了冻结核网络之外，通过强化学习训练剩余控制器网络，以获得广义运动技能和对外部扰动的弹性。在此框架下，一个强大的四足运动控制器的学习与高样本效率和可控性，提供全方位的运动在连续的速度。它的通用性和鲁棒性的专家MPC控制器无法穿越看不见的地形进行验证。此外，学习的内核可以产生一系列功能性运动行为，并可以推广到看不见的步态。
2023-02-14 cs.RO
Online Optimization of Central Pattern Generators for Quadruped Locomotion
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出基于贝叶斯优化的CPG参数在线优化框架，使四足机器人能在3分钟内快速适应速度指令、摩擦系数、坡度及负载变化，并通过力反馈与虚拟模型控制提升稳定性和能效。
2024-10-21 cs.RO
Learning Agile Locomotion Skills with a Mentor
Robotics at Google（谷歌机器人）；Georgia Institute of Technology（佐治亚理工学院）
开发足式机器人的敏捷行为仍然是一个具有挑战性的问题。虽然深度强化学习是一种很有前途的方法，但学习真正的敏捷行为通常需要繁琐的奖励塑造和仔细的课程设计。我们制定敏捷运动作为一个多阶段的学习问题，其中导师指导整个训练的代理。导师被优化为放置检查点以引导机器人的质心的移动，而学生（即机器人）学习到达这些检查点。一旦学生能够解决任务，我们就会教学生在没有导师的情况下执行任务。我们评估我们提出的学习系统与一个模拟的四足机器人的课程，包括随机生成的差距和障碍。我们的方法显著优于没有导师的单级RL基线，并且四足机器人可以敏捷地跑和跳过间隙和障碍物。最后，我们对学习行为的可行性和有效性进行了详细的分析。
2020-11-11 cs.RO
Multiple chaotic central pattern generators with learning for legged locomotion and malfunction compensation
Beijing University of Aeronautics and Astronautics（北京航空航天大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Georg-August-Universität Göttingen（哥廷根大学）；University of Southern Denmark（南丹麦大学）
一个原本混沌的系统可以被控制成各种周期动力学。当它被实现到腿式机器人的运动控制作为中央模式发生器（CPG），复杂的步态模式出现，使机器人可以执行各种步行行为。然而，这样一个单一的混沌CPG控制器有困难处理腿故障。具体而言，在这里呈现的场景中，其运动永久地偏离期望的轨迹。为了解决这个问题，我们扩展了单一的混沌CPG多CPG的学习。学习机制是基于模拟退火算法。在正常情况下，CPG同步并且它们的动态是相同的。在腿部功能障碍或残疾的情况下，CPG失去同步，导致独立动力学。在这种情况下，学习机制被应用于自动调整其余腿的振荡频率，使得机器人适应其运动来处理故障。因此，由多个混沌CPG产生的轨迹比仅由单个CPG产生的轨迹更接近原始轨迹。该系统的性能进行评估，首先在物理模拟的四足以及六足机器人，最后在一个真正的六条腿的步行机称为AMOSII。这里提出的实验结果表明，使用多个CPG与学习是自适应运动生成的有效方法，例如，不同的身体部位必须执行独立的运动故障补偿。
2014-07-11 cs.AI cs.LG cs.NE
DecARt Leg: Design and Evaluation of a Novel Humanoid Robot Leg with Decoupled Actuation for Agile Locomotion
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文提出具备解耦驱动等特性的新型电驱动仿人机器人腿DecARt Leg，设计FAST指标开展定量对比，并通过仿真与初步硬件实验验证其敏捷运动性能。
2025-11-13 cs.RO
SG-CPG: Severity-Gated Central Pattern Generators for Adaptive Quadruped Locomotion under Continuous Actuator Degradation
Purdue University（普渡大学）
受动物分级适应启发，提出SG-CPG，通过严重度门控（残余门和幅度门）扩展健康CPG策略，在连续执行器退化下保持四足运动，仿真和实物验证了其鲁棒性。
2026-09-23 cs.RO cs.SY eess.SY
An Astrocyte-Modulated Neuromorphic Central Pattern Generator for Hexapod Robot Locomotion on Intel's Loihi
Rutgers University（罗格斯大学）
运动是足式机器人面临的一个关键挑战，自然界中丰富的生物网络称为中央模式发生器（CPG）可以“毫不费力”地解决这一问题。到目前为止，已经成为仿生机器人控制器的众多CPG网络模型不适用于新兴的神经形态硬件，剥夺了移动机器人强大的行走机制，这将导致固有的节能系统。在这里，我们提出了一个脑形态CPG控制器的基础上，一个全面的尖峰神经星形胶质细胞网络，产生两个步态模式的六足机器人。基于最近确定的星形胶质细胞神经调节机制，我们提出的CPG架构无缝集成到英特尔的Loihi神经形态芯片，利用芯片和机器人操作系统（ROS）环境之间的实时交互框架，我们也建议。在这里，我们证明了一个Loihi运行CPG可以用来控制步行机器人的鲁棒性感官噪声和不同的速度配置文件。我们的研究结果铺平了道路，扩展这种和其他方法对Loihi控制的运动在自主移动机器人。
2020-06-08 cs.NE cs.RO q-bio.NC
Puppeteer and Marionette: Learning Anticipatory Quadrupedal Locomotion Based on Interactions of a Central Pattern Generator and Supraspinal Drive
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
四足动物的运动来自脊髓中央模式发生器（CPG），感觉反馈和来自大脑的脊髓上驱动信号之间的相互作用。CPG的计算模型已被广泛用于研究脊髓对计算神经科学和仿生机器人中动物运动控制的贡献。然而，脊髓上驱动对预期行为的贡献，即涉及提前计划（例如脚步放置）的运动行为，尚未得到正确理解。特别是，目前尚不清楚大脑是否调节CPG活动和/或直接调节肌肉活动（因此绕过CPG）以实现准确的足部放置。在本文中，我们研究的相互作用，脊髓上的驱动器和CPG在预期的运动方案，涉及跨越差距。通过采用深度强化学习（DRL），我们训练了一个复制脊髓上驱动行为的神经网络策略。该策略可以调节CPG动态，或者直接改变致动信号以绕过CPG动态。我们的研究结果表明，致动信号的直接脊髓上的贡献是一个高的间隙穿越成功率的关键组成部分。然而，脊髓中的CPG动力学对于步态平稳性和能量效率是有益的。此外，我们的研究表明，感觉前足距离的差距是最重要的和足够的感觉信息，学习间隙跨越。我们的研究结果支持了猫和马主要控制前腿避障的生物学假设，后肢遵循基于前肢信息的内部记忆。我们的方法使四足机器人跨越的差距高达20厘米（50%的身体长度），没有任何明确的动力学建模或模型预测控制（MPC）。
2023-02-26 cs.AI cs.LG cs.RO
Evaluation of an Actuated Spine in Agile Quadruped Locomotion
Department of Computer Science, Technical University of Darmstadt（德意志技术大学达姆施塔特分校计算机科学系）；IDEAS Research Institute（IDEAS研究所）；Institute of Robotics and Machine Intelligence, Poznan University of Technology（波兹南技术大学机器人与机器智能研究所）
本文通过MuJoCo仿真研究了主动脊柱对四足机器人敏捷运动的提升效果，证明其在高速奔跑、爬楼梯、陡坡和障碍跨越等任务中增强了机器人的敏捷性和通过能力。
2026-05-08 cs.RO
Hierarchical Control for Bipedal Locomotion using Central Pattern Generators and Neural Networks
University of Innsbruck（因斯布鲁克大学）；University of Hamburg（汉堡大学）
双足运动的复杂性可能归因于难以同步关节运动，同时实现高水平的目标，如在特定方向上行走。人工中央模式发生器（CPG）可以产生同步的关节运动，并已在过去用于双足运动。然而，大多数现有的基于CPG的方法没有明确地解决高层控制的问题。我们提出了一种新的双足运动的分层控制机制，其中优化的CPG网络用于关节控制和神经网络作为一个高层次的控制器调制的CPG网络。通过将运动生成与运动调制分离，高级控制器不需要直接控制各个关节，而是可以使用低维控制信号开发以实现更高的目标。通过神经启发伴侣（NICO）机器人的仿真实验证明了分层控制器的可行性。实验结果表明，控制器的功能，即使没有一个确切的机器人模型的可用性的能力。
2019-09-02 cs.LG cs.NE cs.RO
TAGA: Terrain-aware Active Gaze Learning for Generalizable Agile Humanoid Locomotion
MarmotLab, National University of Singapore（马尔莫实验室，新加坡国立大学）；Center of X-Mechanics, Zhejiang University（浙大X力学中心）；South China University of Technology（华南理工大学）
提出TAGA框架，通过融合视觉、本体感觉和运动命令，让模型学习主动注视地形关键区域，在有限计算资源下提高感知密度，实现鲁棒且可泛化的敏捷人形运动。
2026-09-28 cs.RO
A Novel Lockable Spring-loaded Prismatic Spine to Support Agile Quadrupedal Locomotion
University of California, Riverside（加州大学河滨分校）
本文提出一种新型弹簧加载可锁定脊柱模块及SCIQ四足机器人平台，通过测试验证了该柔性脊柱在保持跳跃性能的同时，能有效吸收冲击并以猫伸展方式耗散能量以缓解着陆冲击。
2023-08-02 cs.RO
Parkour in the Wild: Learning a General and Extensible Agile Locomotion Policy Using Multi-expert Distillation and RL Fine-tuning
Robotic Systems Lab, ETH Zurich（机器人系统实验室，苏黎世联邦理工学院）；NVIDIA Switzerland（英伟达瑞士）
针对足式机器人现有控制方法在非结构化环境泛化性差的问题，提出多专家蒸馏结合RL微调的敏捷运动框架，经多阶段训练与真实机器人部署验证，显著提升多地形技能整合性能，设定足式机器人运动新基准。
2025-05-16 cs.RO
CPG-RL: Learning Central Pattern Generators for Quadruped Locomotion
Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
在这封信中，我们提出了一种方法，用于集成中央模式发生器（CPG），即耦合振荡器系统，到深度强化学习（DRL）框架，以产生强大的和全方位的四足动物运动。智能体学习直接调节内在振荡器设定点（振幅和频率），并协调不同振荡器之间的节奏行为。这种方法还允许使用DRL来探索与神经科学相关的问题，即下行通路，interoscillator耦合和步态生成中的感觉反馈的作用。我们在模拟中训练我们的策略，并对Unitree A1四足动物进行仿真到现实迁移，在那里我们观察到对训练期间看不见的干扰的鲁棒行为，最明显的是动态增加的13.75 kg负载，占标称四足动物质量的115%。我们基于本体感受传感测试了几个不同的观察空间，并表明我们的框架是可部署的，没有域随机化，反馈很少，其中与振荡器状态一起，可以在观察空间中仅提供接触布尔值。视频结果可在https://youtu.be/xqXHLzLsEV4上找到。
2022-11-01 cs.AI cs.LG cs.RO
Learning Terrain-Adaptive Locomotion with Agile Behaviors by Imitating Animals
Tencent Robotics X Laboratory（腾讯Robotics X实验室）
本文提出一种结合动物运动模仿学习与地形自适应训练的四足机器人控制框架，并在真实机器人Max上实现零样本迁移，爬楼梯速度达1.1 m/s。
2023-08-07 cs.RO
Learning to Locomote with Deep Neural-Network and CPG-based Control in a Soft Snake Robot
Worcester Polytechnic Institute（伍斯特理工学院）；NVIDIA（英伟达）；Xidian University（西安电子科技大学）
本文提出了一种新的软体机器人蛇的运动控制方法。受生物蛇的启发，我们的控制架构由两个关键模块组成：一个深度强化学习（RL）模块，用于实现目标不断变化的自适应目标跟踪行为，以及一个中央模式生成器（CPG）系统，用于生成稳定和多样化的运动模式。这两个模块被互连成一个闭环系统：RL模块，模拟位于脊椎动物中脑的运动区域，调节来自机器人的状态反馈到CPG系统的输入。然后，CPG系统的输出被转换为软蛇机器人的气动致动器的压力输入。基于Matsuoka振荡器的振荡频率和波幅可以在不同时间尺度下独立控制的事实，我们进一步调整了option-critic框架，以提高由最优性和数据效率衡量的学习性能。所提出的控制器的性能进行了实验验证与模拟和真实的软蛇机器人。
2020-03-02 cs.NE cs.RO math.DS
Motion Planning for Agile Legged Locomotion using Failure Margin Constraints
Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
灵活的机器人腿运动的复杂动力学需要运动规划来智能地调整脚步位置。通常，双足脚步和运动规划使用数学上简单的模型，如线性倒立摆，而不是没有封闭形式解决方案的动态丰富的模型。我们提出了一种实时优化方法来规划动态模型，没有封闭的形式的解决方案和经验不可恢复的失败。我们的方法使用数据驱动近似的一步一步的动态和故障裕度函数。该故障裕度函数是状态-动作空间中的有向距离函数，其中它描述到成功或失败的带符号距离。运动规划问题形成为一个非线性规划的约束，强制执行近似的前向动力学和状态-动作对的有效性。为了说明，这种方法被应用到创建一个驱动弹簧加载倒立摆模型的规划器。在一项烧蚀研究中，在不同的目标和视野长度上，失效裕度约束使无效解的数量减少了24到47个百分点。虽然我们在运动的规范模型上演示了该方法，但我们还讨论了如何将其应用于数据驱动模型和全阶机器人模型。
2022-03-28 cs.RO
Diffusion-based learning of contact plans for agile locomotion
Munich Institute of Robotics and Machine Intelligence, Technical University of Munich, Germany（慕尼黑机器人与机器智能研究所，慕尼黑技术大学）；Tandon School of Engineering, New York University, USA（纽约大学土曼工学院）；Max-Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所，图宾根）
本文提出结合NMPC、MCTS和扩散模型的方法，为四足机器人在踏脚石等受限环境中学习敏捷运动控制策略，并成功实现跳跃目标。
2025-06-23 cs.RO
Playful DoggyBot: Learning Agile and Precise Quadrupedal Locomotion
Shanghai Qi Zhi Institute（上海期智研究院）；ShanghaiTech University（上海科技大学）；Tsinghua University（清华大学）
本文提出基于强化学习的感知—控制解耦系统，使配备被动夹爪的四足机器人在高动态运动中完成追踪和接球，验证了敏捷性与精确交互能力。
2025-03-18 cs.RO
Agile and Generalized Legged Locomotion via Attention-Based Neural Map Encoding
Robotic Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院，瑞士）；Secure, Reliable, and Intelligent Systems Lab, ETH Zurich, Switzerland（安全、可靠和智能系统实验室，苏黎世联邦理工学院，瑞士）；ETH AI Center, Switzerland（苏黎世联邦理工学院人工智能中心，瑞士）
本文提出AME-2框架，结合基于注意力的神经地图编码，实现敏捷且通用的腿式运动，通过学习的映射管道提升地形表示的鲁棒性，验证了在四足和双足机器人上的有效性。
2026-09-09 cs.RO
Momentum-Aware Trajectory Optimization and Control for Agile Quadrupedal Locomotion
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；MIT Biomimetic Robotics Lab（麻省理工学院仿生机器人实验室）；NAVER LABS（NAVER实验室）
在这封信中，我们提出了一个多功能的分层离线规划算法，以及敏捷四足运动的在线控制管道。我们的离线规划器在优化降阶模型的质心动力学和全身轨迹优化之间交替，目的是实现动力学共识。我们的新的动量惯性感知质心优化，它使用了一个等动量椭球参数化，能够通过“惯性整形”产生高度杂技运动。我们的全身优化方法通过迭代利用质心水平的反馈，显着提高了标准DDP为基础的方法的质量。对于在线控制，我们已经开发了一种新的凸模型预测控制计划，通过线性变换的完整的质心动态。我们的控制器可以在单一优化中有效地优化接触力和关节加速度，与现有的四足MPC控制器相比，能够更直接地跟踪动量丰富的运动。我们证明了我们的轨迹规划的能力和通用性，对四种不同的动态机动。然后，我们提出了一个硬件实验上的麻省理工学院迷你猎豹平台上演示的性能，整个规划和控制管道上的扭转跳跃机动。
2022-06-19 cs.RO
Dribble Master: Learning Agile Humanoid Dribbling through Legged Locomotion
本文提出一种两阶段课程学习框架，使人形机器人无需显式动力学或预设轨迹即可掌握控球技能，通过模拟虚拟相机和启发式奖励提升球感知能力，实验证明其在多种环境中实现灵活美观的控球行为。
2026-03-14 cs.RO
Stance Control Inspired by Cerebellum Stabilizes Reflex-Based Locomotion on HyQ Robot
Ghent University（根特大学）；imec；Istituto Italiano di Tecnologia（意大利理工学院）
腿式机器人的进步深深植根于动物观察。这一主张的一个清楚的例证是中央模式发生器（CPG）的推广，首先在猫的脊髓中发现，以产生机器人运动中的周期运动。尽管这种模型得到了全球的认可，但哺乳动物的生理和功能实验也表明存在来自小脑的下行信号，以及来自下肢感觉细胞的反射反馈，它们与CPG密切相互作用。直到今天，这些相互作用还没有被完全理解。在一些研究中，已经证明，在没有振荡信号的情况下，可以在真实的肌肉骨骼仿真模型或小型顺应性四足机器人中实现纯反射运动。与此同时，生物学证据已经证明了小脑在哺乳动物中预测控制平衡和姿态的功能作用。在本文中，我们促进这两种方法，并成功地应用反射为基础的动态运动，再加上平衡和重力补偿机制，对国家的最先进的HyQ机器人。我们讨论了这个稳定模块的重要性，以确保正确的脚抬离和保持可靠的步态。机器人平台进一步用于测试两个不同的架构假设的灵感来自小脑。实验结果的分析表明，最生物合理的替代方案也导致更好的结果，强大的运动。
2020-03-20 cs.RO
Agile legged locomotion in reconfigurable modular robots
本文提出了一种可重构模块化机器人系统，通过自主模块化腿部实现快速修复和重组，以适应动态环境并提高机器人灵活性。
2026-02-27 cs.RO
Walk the PLANC: Physics-Guided RL for Agile Humanoid Locomotion on Constrained Footholds
Department of Mechanical and Civil Engineering, California Institute of Technology（机械与土木工程系，加州理工学院）；Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学系，加州理工学院）
本文提出基于物理的强化学习方法，结合结构化步态规划与数据驱动适应，实现人形机器人在受限足部支撑上的敏捷运动，显著提升可靠性。
2026-01-09 cs.RO
ATRos: Learning Energy-Efficient Agile Locomotion for Wheeled-legged Robots
Shanghai Huawei Technologies Co., Ltd.（上海华为技术有限公司）；College of Future Information Technology, Fudan University（复旦大学未来信息科技学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Aeronautic and Astronautics, Zhejiang University（浙江大学航空宇航学院）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）
本文提出ATRos，一种基于强化学习的轮腿机器人混合运动框架，通过预测策略网络与演员-评论家网络协调轮腿同步运动，在无需预定义步态的情况下提升了地形适应性与能效，并在仿真和真实多地形实验中验证了其稳健的泛化能力。
2025-10-11 cs.RO
Discovery of skill switching criteria for learning agile quadruped locomotion
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；Amigaga Technology Co. Ltd（Amigaga科技有限公司）
针对四足机器人敏捷运动问题，提出分层学习与优化框架，通过深度强化学习与优化过程学习多技能策略，实现技能自动切换、故障恢复及平滑过渡，在模拟与现实中验证了效果。
2025-02-10 cs.RO
RL-augmented MPC Framework for Agile and Robust Bipedal Footstep Locomotion Planning and Control
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出结合MPC与RL的双足落脚点规划控制框架，利用学习策略弥合简化模型与全阶系统差距，在DRACO 3机器人上验证了动态运动性能的显著提升。
2024-07-25 cs.RO
Learning Agile Locomotion on Risky Terrains
ETH Zurich（苏黎世联邦理工学院）
提出端到端强化学习框架，先训练踏石通才策略再微调专家策略，并以导航任务替代速度跟踪，使 ANYmal-D 在稀疏踏石和平衡木上实现 ≥2.5 m/s 的敏捷穿越。
2024-08-08 cs.RO
State Estimation Transformers for Agile Legged Locomotion
Xiaomi Robotics Lab（小米机器人实验室）；Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）
本文提出State Estimation Transformers（SET），将状态估计建模为条件序列建模，利用因果掩码Transformer预测四足机器人身体高度和速度等特权状态，在Cyberdog2上验证了其在跳跃、后空翻和侧滑任务中的估计精度、可迁移性及真实环境成功率优势。
2024-10-17 cs.RO
S-Cheetah: A Novel Quadrupedal Robot with a 3-DOF Active Spine Learning Agile Locomotion
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）
本文提出一种具有3自由度仿生主动脊柱的四足机器人S-Cheetah，并设计强化学习框架使其实现高速奔跑、原地转向及空中自翻等敏捷运动。
2026-05-27 cs.RO
A Compact Variable Stiffness Actuator for Agile Legged Locomotion
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种专为腿式机器人设计的紧凑轻量型变长度板簧执行器（VLLSA），通过改进板簧机制结构实现宽范围、高速度、低能耗的刚度调节与精确建模，硬件跳跃实验验证了其优势。
2024-07-16 cs.RO
GLAMDRING: Gait Learning And Morphology co-Design via Reinforcement LearnING of CPGs
Purdue University（普渡大学）
GLAMDRING通过强化学习协同设计四足机器人形态与CPG步态，满足运动约束并优化速度或能效，实验表明协同设计必要且动物步态自然涌现。
2026-09-18 cs.LG cs.RO
FastMimic: Model-based Motion Imitation for Agile, Diverse and Generalizable Quadrupedal Locomotion
Georgia Institute of Technology（佐治亚理工学院）；Meta AI
在人类环境中运行的机器人需要各种技能，如慢速和快速行走，转弯，侧步等等。然而，构建可以表现出如此大范围行为的机器人控制器是一个具有挑战性的问题，需要对每个任务进行繁琐的调查。我们提出了一个统一的基于模型的控制算法，用于模仿不同的动物步态，而无需昂贵的模拟训练或现实世界的微调。我们的方法包括立场和摆动腿控制器使用质心动力学模型与在线自适应技术增强。我们也发展了一个全身轨迹优化程序来修正参考动物运动的运动学不可行性。我们证明了我们的通用数据驱动的基于模型的控制器可以无缝地模仿各种运动技能，包括小跑，起搏，转弯和侧步。它还显示了更好的跟踪能力，在模拟和现实世界对几个基线，包括另一个基于模型的模仿控制器和基于学习的运动模仿技术。
2022-02-25 cs.RO
Learning Agile Locomotion via Adversarial Training
The University of Tokyo（东京大学）；Google Brain（谷歌大脑）
开发灵活运动的控制器是足式机器人长期面临的挑战。强化学习（RL）和演化策略（ES）有望使此类控制器的设计过程自动化。然而，设计培训环境以提高敏捷性需要专门和仔细的人力努力。在本文中，我们提出了一个多智能体学习系统，其中一个四足机器人（主角）学会追逐另一个机器人（对手），而后者学会逃跑。我们发现，这种对抗性的训练过程不仅鼓励敏捷行为，而且有效地减少了费力的环境设计工作。与之前只使用一个对手的作品相比，我们发现训练一个对手的集合，每个对手都擅长不同的逃跑策略，这对主角掌握敏捷性至关重要。通过大量的实验，我们证明了通过对抗训练学习的运动控制器的性能明显优于精心设计的基线。
2020-08-03 cs.AI cs.RO
Learning Agile Robotic Locomotion Skills by Imitating Animals
Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
复制动物多样而敏捷的运动技能一直是机器人技术的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为，但构建这样的控制器涉及耗时且困难的开发过程，通常需要对每个技能的细微差别进行大量的专业知识。强化学习为自动化控制器开发中涉及的手动工作提供了一种有吸引力的替代方案。然而，设计从代理中引出所需行为的学习目标也需要大量的技能特定的专业知识。在这项工作中，我们提出了一个模仿学习系统，使足式机器人学习敏捷的运动技能，模仿现实世界的动物。我们表明，通过利用参考运动数据，一个单一的学习为基础的方法是能够自动合成控制器的足式机器人的各种剧目的行为。通过将样本有效的领域自适应技术纳入到训练过程中，我们的系统能够在模拟中学习自适应策略，然后可以快速适应现实世界的部署。为了证明我们的系统的有效性，我们训练一个18自由度的四足机器人执行各种敏捷的行为，从不同的运动步态动态跳跃和转弯。
2020-07-21 cs.LG cs.RO
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
为四足机器人设计敏捷的运动通常需要大量的专业知识和繁琐的手动调整。在本文中，我们提出了一个系统，利用深度强化学习技术来自动化这个过程。我们的系统可以使用简单的奖励信号从头开始学习四足动物的运动。此外，当需要对学习步态进行更多控制时，用户可以提供开环参考以指导学习过程。控制策略在物理模拟器中学习，然后部署在真实机器人上。在机器人技术中，在模拟中训练的策略通常不会转移到现实世界中。我们通过改进物理模拟器和学习强大的策略来缩小这一现实差距。我们使用系统辨识改进模拟，开发精确的致动器模型并模拟延迟。我们通过随机化物理环境，添加扰动和设计一个紧凑的观测空间来学习鲁棒控制器。我们评估我们的系统上两个敏捷的运动步态：小跑和疾驰。在仿真中学习之后，四足机器人可以在现实世界中成功地执行这两种步态。
2018-05-16 cs.AI cs.RO
Dynamics-Informed Reinforcement Learning for Agile and Energy-Efficient Locomotion of a Monopedal Hopping Quadcopter
Guangdong Technion - Israel Institute of Technology（广东以色列理工学院）；Technion-Israel Institute of Technology（以色列理工学院）
提出动力学信息强化学习框架，通过嵌入比能和相位奖励，实现单足跳跃四旋翼的稳定高效跳跃，能耗较悬停和低效基线分别降低82%和73%。
2026-09-15 cs.RO
Neuromorphic adaptive spiking CPG towards bio-inspired locomotion of legged robots
Universidad de Cádiz（加的斯大学）；University of Guanajuato（瓜纳华托大学）；Universidad de Sevilla（塞维利亚大学）
近年来，脊椎动物所表现出的运动机制一直是机器人系统性能改进的灵感来源。这些机制包括它们的运动对通过它们的生物传感器记录在环境中的任何变化的适应性。在这方面，我们的目标是复制这种适应性的足式机器人通过尖峰中央模式发生器。这种尖峰中央模式发生器生成不同的运动（节奏）模式，这些模式由外部刺激驱动，即连接到机器人以提供反馈的力敏电阻器的输出。尖峰中央模式发生器由五个群体的泄漏整合和发射神经元网络组成，这些神经元设计有特定的拓扑结构，从而可以通过上述外部刺激生成和驱动节奏模式。因此，末端机器人平台（任何足式机器人）的运动可以通过使用任何传感器作为输入来适应地形。具有自适应学习的尖峰中央模式发生器已在软件和硬件层面进行了数值验证，使用Brian 2模拟器和SpiNNaker神经形态平台进行最新验证。特别是，我们的实验清楚地表明，当输入刺激变化时，尖峰中央模式发生器的种群中产生的尖峰之间的振荡频率存在适应性。为了验证尖峰中枢模式发生器的鲁棒性和适应性，我们通过改变传感器的输出进行了几次测试。这些实验在Brian 2和SpiNNaker中进行;两种实现都显示出类似的行为，Pearson相关系数为0.905。
2021-01-24 cs.AI cs.NE cs.RO
SYNLOCO: Synthesizing Central Pattern Generator and Reinforcement Learning for Quadruped Locomotion
Sun Yat-sen University（中山大学）；The University of Manchester（曼彻斯特大学）；Delft University of Technology（代尔夫特理工大学）
提出SYNLOCO框架，融合中枢模式发生器与强化学习，实现稳定自然的四足运动控制，并通过两阶段训练和性能奖励指标，在Unitree GO1上验证了其鲁棒性。
2023-10-10 cs.RO
Visual CPG-RL: Learning Central Pattern Generators for Visually-Guided Quadruped Locomotion
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究提出Visual CPG-RL框架，将CPG与深度强化学习结合用于四足视觉导航，探究耦合、记忆策略等的作用，经仿真训练和Unitree Go1实机验证，提升了能效、抗延迟鲁棒性与迁移性能。
2024-03-11 cs.AI cs.LG cs.RO
Learning Robust, Agile, Natural Legged Locomotion Skills in the Wild
Weiyang College, Tsinghua University（清华大学未央书院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
针对强化学习习得的机器人腿式步态保守不自然的问题，提出融合动物运动数据对抗训练的师生训练框架，实现了鲁棒、敏捷、自然且高能效的四足机器人复杂地形运动。
2023-10-06 cs.AI cs.RO
Learning Agile Locomotion and Adaptive Behaviors via RL-augmented MPC
University of Southern California（南加州大学）
本文提出结合RL与MPC的统一框架，通过将支撑足控制与摆动足反射相结合，实现四足机器人敏捷且鲁棒的无感知运动，并在多平台零样本迁移与重载下表现优异。
2024-03-19 cs.RO
KYON: Semi-Modular Wheel-Legged Quadruped With Agile Bimanual Capability
Humanoids and Human Centered Mechatronics, Fondazione Istituto Italiano di Tecnologia（人机一体化机械系统，意大利理工研究院）；Advanced Robotics Facility, Fondazione Istituto Italiano di Tecnologia（先进机器人设施，意大利理工研究院）
提出KYON半模块化轮腿四足机器人，通过基座致动器与传动机构降低远端惯量，结合全身控制与强化学习策略实现动态运动与双臂操作。
2026-07-08 cs.RO
Expanding Versatility of Agile Locomotion through Policy Transitions Using Latent State Representation
Inventec Corporation（英业达股份有限公司）
针对真实场景机器人运动通用性拓展问题，提出基于潜状态表征的transition-net鲁棒切换策略，可统一多运动策略实现任意策略对鲁棒切换，新增技能不影响旧技能，训练高效且切换成功率优于现有方法。
2023-06-14 cs.LG cs.RO
Learning Agility and Adaptive Legged Locomotion via Curricular Hindsight Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
本文提出课程式事后强化学习（CHRL），通过任务难度自动课程策略和适应有腿运动的事后经验回放策略学习端到端跟踪控制器，使四足机器人实现跌倒恢复、高速转向和冲刺等敏捷自适应运动。
2023-10-24 cs.RO
Perceptive Locomotion with Controllable Pace and Natural Gait Transitions Over Uneven Terrains
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；University College London（伦敦大学学院）
这项工作开发了一个学习框架的感知腿运动，结合视觉反馈，本体感受信息，和主动步态调节的脚-地面接触。感知只需要一个面向前的摄像头来获得高度图，并通过我们制定的基于CPG的高层次的脚-地面接触模仿步态步伐和行驶速度的主动调节。通过该框架，最终用户能够命令任务级输入，以根据不同地形的穿越来控制不同的行走速度和步态频率，这使得能够更可靠地与遇到的障碍物进行协商。结果表明，学习的感知运动策略遵循任务级控制输入与预期的行为，并且在存在看不见的地形和外力扰动的情况下是鲁棒的。视频演示可以在https：//youtu.be/OTzlWzDfAe8上找到，代码库可以在https://github.com/jennyzzt/perceptual-locomotion上找到。
2023-01-30 cs.RO
DeepCPG Policies for Robot Locomotion
University of Cincinnati（辛辛那提大学）
中枢模式发生器（CPG）形成了在有腿动物中观察到的运动节律行为的神经基础。组织成网络的CPG动力学允许复杂运动行为的出现。在这项工作中，我们采取这种启发多足式机器人的步行行为的发展。我们提出了新的DeepCPG策略，将CPG作为一个层嵌入到更大的神经网络中，并促进深度强化学习（DRL）设置中运动行为的端到端学习。我们证明了这种方法对基于物理引擎的昆虫机器人的有效性。我们表明，与传统方法相比，即使在高维传感器空间（视觉）的情况下，DeepCPG策略也允许有效运动策略的样本高效端到端学习。我们使用模块化机器人配置和多代理DRL扩展DeepCPG策略。我们的研究结果表明，逐步复杂化与嵌入式先验的这些政策在一个模块化的方式可以实现非平凡的传感器和电机集成的机器人平台上。这些结果也表明了从基于生物学原理的简单智能系统中引导更复杂的智能系统的有效性。最后，我们给出了一个概念验证的昆虫类机器人系统的实验结果，DeepCPG最初使用模拟引擎学习策略，然后将这些策略转移到现实世界的机器人中，而无需进行任何额外的微调。
2023-02-25 cs.AI cs.LG cs.NE
Generalized Animal Imitator: Agile Locomotion with Versatile Motion Prior
UC San Diego（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；USC（南加州大学）
本文提出VIM强化学习框架，通过模仿动物与人工设计动作并结合功能性与风格化双重奖励，使腿足式机器人能用单一控制器同时学习多种敏捷运动技能并实现平滑过渡。
2025-05-04 cs.AI cs.LG cs.RO
Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion
Georgia Institute of Technology（佐治亚理工学院）
本文提出新型学习框架SDAX，利用无监督技能发现自主获取多样化技能以克服障碍，并通过双层优化动态调节探索程度，使四足机器人学会爬行、攀爬、跳跃等敏捷行为并成功迁移至真实硬件。
2025-08-12 cs.AI cs.LG cs.RO
Bridging Adaptivity and Safety: Learning Agile Collision-Free Locomotion Across Varied Physics
Carnegie Mellon University（卡内基梅隆大学）；ETH Zurich（苏黎世联邦理工学院）
针对现实腿式 locomotion 系统需协调敏捷性与安全性且动力学未知时变的问题，本文提出BAS方法，通过并发训练的物理参数估计器、策略切换网络等实现自适应安全，在仿真和真实实验中提升安全性、速度并降低碰撞率。
2025-02-19 cs.LG cs.RO
Learning-based Hierarchical Control: Emulating the Central Nervous System for Bio-Inspired Legged Robot Locomotion
National University of Singapore（新加坡国立大学）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究提出一种基于学习的分层控制框架，包含脊髓策略和下行调制策略，模拟动物中枢神经系统以增强足式机器人在挑战性地形上的运动能力，并验证了多层控制对时间延迟的鲁棒性。
2024-04-27 cs.RO
BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出强化学习框架BeamDojo，通过基于采样的立足点奖励、双重评论家和两阶段训练策略，解决了人形机器人在稀疏立足点危险地形上敏捷移动的难题，并在仿真和现实实验中实现了高效学习与高抗干扰的精确足部放置。
2025-04-27 cs.AI cs.LG cs.RO
