CPG-RL: Learning Central Pattern Generators for Quadruped Locomotion
Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
在这封信中,我们提出了一种方法,用于集成中央模式发生器(CPG),即耦合振荡器系统,到深度强化学习(DRL)框架,以产生强大的和全方位的四足动物运动。智能体学习直接调节内在振荡器设定点(振幅和频率),并协调不同振荡器之间的节奏行为。这种方法还允许使用DRL来探索与神经科学相关的问题,即下行通路,interoscillator耦合和步态生成中的感觉反馈的作用。我们在模拟中训练我们的策略,并对Unitree A1四足动物进行仿真到现实迁移,在那里我们观察到对训练期间看不见的干扰的鲁棒行为,最明显的是动态增加的13.75 kg负载,占标称四足动物质量的115%。我们基于本体感受传感测试了几个不同的观察空间,并表明我们的框架是可部署的,没有域随机化,反馈很少,其中与振荡器状态一起,可以在观察空间中仅提供接触布尔值。视频结果可在https://youtu.be/xqXHLzLsEV4上找到。
2022-11-01 cs.AI cs.LG cs.RO
Learning Smooth Humanoid Locomotion through Lipschitz-Constrained Policies
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Simon Fraser University(西蒙菲莎大学);NVIDIA(英伟达公司)
针对人形机器人运动控制中平滑技术难以调优的问题,提出以梯度惩罚实现 Lipschitz 约束的 LCP,可替代平滑奖励和低通滤波器,并在仿真与真实机器人上获得平滑鲁棒的控制器。
2024-10-28 cs.AI cs.RO
Real2Sim2Real Transfer for Control of Cable-driven Robots via a Differentiable Physics Engine
Rutgers University(罗格斯大学);Yale University(耶鲁大学)
本文提出 Real2Sim2Real 策略,利用可微分物理引擎和少量真实机器人数据迭代优化仿真模型,从而发现可直接迁移到真实张拉整体机器人的运动控制策略。
2023-09-17 cs.AI cs.GR cs.LG
Planar Modeling and Sim-to-Real of a Tethered Multimaterial Soft Swimmer Driven by Peano-HASELs
ETH Zurich(苏黎世联邦理工学院)
提出一种基于静电驱动软体游泳机器人的高效设计与制造流水线,利用可微仿真匹配简化模型与真实变形,并通过实验验证了电压和频率对运动速度的影响及最优解,为控制与形状优化提供了下游应用。
2022-08-02 cs.RO
Open-DiffLoco: Open-Source Differentiable Learning for Deployable Blind Quadruped Locomotion
University of Groningen(格罗宁根大学)
本文提出首个使用可微仿真训练可部署盲四足机器人运动策略的开源框架Open-DiffLoco,该框架实现SHAC算法并提出JAVE扩展,训练的策略在Unitree Go2机器人上表现优异且资源消耗低。
2026-08-04 cs.LG cs.RO cs.SY
Achieving Precise and Reliable Locomotion with Differentiable Simulation-Based System Identification
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出一种基于可微仿真MuJoCo-XLA的系统辨识框架,将其集成到强化学习训练中,仅用轨迹数据估计参数,显著改善双足运动轨迹跟踪。
2025-08-06 cs.RO
DynaFlow: Dynamics-embedded Flow Matching for Physically Consistent Motion Generation from State-only Demonstrations
本文提出DynaFlow,一种嵌入可微模拟器的流匹配框架,通过生成动作空间轨迹并映射到动态可行的状态轨迹,确保输出物理一致。该框架通过端到端可微架构,利用仅状态演示训练,同时生成物理一致的状态轨迹并推断所需动作序列。
2026-03-16 cs.RO
Bundled Contact Gradients: Stabilizing Differentiable Simulation for Deployable Dynamic Tasks
University of Southern California(南加州大学);ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达);Zurich University of Applied Sciences(苏黎世应用科技大学)
针对刚性接触导致的可微仿真梯度高方差问题,提出捆绑接触梯度(BCG)框架,通过局部随机平滑降低梯度方差,成功训练并零样本迁移动态动作至真实Unitree G1人形机器人。
2026-09-28 cs.RO
Learning Quadruped Locomotion Using Differentiable Simulation
University of Zurich(苏黎世大学);MIT(麻省理工学院)
本工作提出一种结合高保真不可微仿真器与简化代理模型的可微仿真框架,解决了四足机器人运动学习中的不连续动力学优化挑战,在样本效率上超越PPO,实现了真实世界四足运动的高效学习。
2024-10-15 cs.AI cs.RO
Light-Loco-Parkour: Versatile Perceptive Whole-Body Locomotion via Multi-Skill Distillation
Light Origins
该研究提出 Light-Loco-Parkour 系统,通过多技能蒸馏构建端到端感知全身运动策略,实现人形机器人在复杂地形的自主运动,且可零样本迁移至真实硬件。
2026-08-05 cs.RO
MuGen: Multi-Skill Generative Locomotion Controller for Humanoid Robots
Peking University(北京大学)
提出MuGen框架,利用VQ-VAE和教师-学生策略蒸馏,从异构人类运动数据中学习生成式运动表示,使人形机器人能够执行多技能运动并模仿未见过的动作。
2026-05-23 cs.RO
Residual Policy Learning for Perceptive Quadruped Control Using Differentiable Simulation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);National University of Singapore(新加坡国立大学)
本文提出在简单基线策略上学习残差以引导一阶策略梯度训练,改善接触丰富任务中的学习动态,并实现四足机器人运动与感知导航的快速端到端训练。
2024-10-04 cs.RO
SafeMind: A Risk-Aware Differentiable Control Framework for Adaptive and Safe Quadruped Locomotion
The University of Hong Kong(香港大学);Alibaba(阿里巴巴);University of Chinese Academy of Sciences(中国科学院大学)
SafeMind通过整合概率控制障碍函数与语义上下文理解及元适应性风险校准,实现了在不确定环境下自适应且安全的四足运动控制,实验显示其在安全性与能耗上均优于现有方法。
2026-04-10 cs.AI cs.RO
An Efficient Model-Based Approach on Learning Agile Motor Skills without Reinforcement
Tencent Robotics X(腾讯Robotics X实验室);Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
提出一种结合世界模型与VAE策略网络的高效基于模型框架,无需强化学习即可学习敏捷运动技能,实现十倍样本效率提升和快速真实世界部署。
2024-03-18 cs.RO
TactileStep: Sole Tactile Learning for Regulating Foot-Terrain Interaction in Humanoid Locomotion
Tsinghua University(清华大学)
针对人形机器人足地交互缺乏触觉感知的问题,提出TactileStep框架,通过足底压力感知与阶段感知奖励,实现更柔和着陆和稳定支撑,显著降低冲击力与噪声。
2026-09-25 cs.RO
Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
该研究提出结合后退时域安全评判器与可微动作护盾的安全强化学习方法,在四足运动模拟中提升了鲁棒性,减少了灾难性故障并保持了竞争力回报。
2026-10-15 cs.RO
Adversarial Locomotion and Motion Imitation for Humanoid Policy Learning
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);ShanghaiTech University(上海科技大学);University of Science and Technology of China(中国科学技术大学);Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学)
针对人形机器人全身协调难题,提出ALMI框架,通过上下半身对抗性策略学习实现鲁棒运动与精确动作模仿,并在仿真和Unitree H1机器人上验证,同时发布大规模全身运动数据集。
2025-10-26 cs.RO
SCDP: Learning Humanoid Locomotion from Partial Observations via Mixed-Observation Distillation
SCDP通过混合观测蒸馏从部分观测中学习人形机器人运动,利用机载传感器实现高效可靠的真实机器人运动控制。
2026-03-10 cs.LG cs.RO
Flow Policy Gradients for Robot Control
Amazon FAR(亚马逊Far);UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);HKU(香港大学);CMU(卡内基梅隆大学)
本文提出了一种基于流匹配的策略梯度方法,用于训练更复杂的机器人控制策略,实现了在四肢运动、人形运动跟踪和操作任务中的成功,并展示了在仿真到现实迁移中的鲁棒性。
2026-10-14 cs.AI cs.RO
An Real-Sim-Real (RSR) Loop Framework for Generalizable Robotic Policy Transfer
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Beijing Jiaotong University(北京交通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出基于可微仿真的 Real-Sim-Real 闭环框架,通过信息丰富的代价函数采集真实数据并迭代校准仿真参数,从而显著缩小 sim-to-real 差距并提升机器人策略的泛化性。
2026-10-01 cs.LG cs.RO
Efficient Differentiable Contact Model with Long-range Influence
本文提出一种满足良好梯度性质的高效可微接触模型,能产生长程影响,从简单初始化即可发现复杂接触丰富的控制信号,成功执行下游移动与操作任务。
2025-09-25 cs.RO
Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers
Harvard University(哈佛大学)
本文提出用决策变换器结合专家演示与自定义奖励进行模仿学习,并通过量化和剪枝压缩模型,使四足机器人Bittle在资源受限平台上实现自然步态且模型体积减少约30%。
2024-02-20 cs.AI cs.LG cs.RO
First Steps: Latent-Space Control with Semantic Constraints for Quadruped Locomotion
Applied AI Lab (A2I)(应用人工智能实验室(A2I));Dynamic Robot Systems (DRS)(动态机器人系统(DRS));Oxford Robotics Institute (ORI), University of Oxford(牛津大学牛津机器人研究所(ORI))
传统的四足动物控制方法通常采用简化的手衍生模型。这显著降低了机器人的能力,因为其有效的运动范围被缩减。此外,Kinodynamic约束通常是不可微的,并且难以在优化方法中实现。在这项工作中,这些挑战是解决框架四足动物控制优化结构化的潜在空间。深度生成模型捕获可行的关节配置的统计表示,而复杂的动态和终端约束通过高级语义指标表示,并由在潜在空间上操作的学习分类器表示。因此,复杂的约束呈现微分和评估的数量级快于分析方法。我们验证的可行性运动轨迹优化使用我们的方法在模拟和现实世界中的ANYmal四足动物。我们的研究结果表明,这种方法是能够产生平滑和可实现的轨迹。据我们所知,这是第一次潜在的空间控制已成功地应用于一个复杂的,真正的机器人平台。
2020-11-20 cs.LG cs.RO
Vector Field Augmented Differentiable Policy Learning for Vision-Based Drone Racing
Shanghai Jiao Tong University(上海交通大学)
本文提出DiffRacing框架,通过整合向量场和可微损失提升无人机赛车的样本效率与飞行性能。
2026-03-09 cs.RO
Accelerated Policy Learning with Parallel Differentiable Simulation
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);University of Sydney(悉尼大学);University of Toronto(多伦多大学)
深度强化学习可以生成复杂的控制策略,但需要大量的训练数据才能有效工作。最近的工作试图解决这个问题,利用微分模拟器。然而,固有的问题,如局部最小值和爆炸/消失的数值梯度,防止这些方法被普遍应用于控制任务与复杂的接触丰富的动态,如人形运动在经典的RL基准。在这项工作中,我们提出了一个高性能的微分模拟器和一个新的策略学习算法(SHAC),可以有效地利用模拟梯度,即使在存在非平滑。我们的学习算法通过平滑的评价函数来解决局部极小值问题,通过截断的学习窗口来避免梯度消失/爆炸,并允许许多物理环境并行运行。我们评估我们的方法对经典的RL控制任务,并表现出显着的改善,在样本效率和挂钟时间超过国家的最先进的RL和可微的基于模拟的算法。此外,我们通过将其应用于具有较大动作空间的肌肉驱动运动的具有挑战性的高维问题,证明了我们方法的可扩展性,与性能最佳的已建立RL算法相比,训练时间减少了17倍以上。
2022-04-14 cs.AI cs.GR cs.LG
GRoQ-LoCO: Generalist and Robot-agnostic Quadruped Locomotion Control using Offline Datasets
Indian Institute of Science(印度科学研究院)
提出GRoQ-LoCO,一个基于注意力且与机器人无关的框架,利用离线数据集在多个四足机器人上训练通用运动策略,实现零样本跨机器人迁移,并已在Unitree Go1和Stoch 5上验证。
2025-05-24 cs.AI cs.LG cs.RO
Motion Tracking with Muscles: Predictive Control of a Parametric Musculoskeletal Canine Model
DeepMind(深Mind);Royal Veterinary College(皇家兽医学院)
提出一种由精确3D肌肉网格程序化生成的犬类肌肉骨骼模型,结合改进的肌肉动力学模型和运动捕捉任务,通过比较模拟肌肉激活模式与实验EMG数据验证,旨在弥合生物力学、机器人和计算神经科学之间的差距。
2026-05-29 cs.RO
Accelerating Visual-Policy Learning through Parallel Differentiable Simulation
Department of Mechanical Engineering(机械工程系);Yale University(耶鲁大学);Department of Computer Science(计算机科学系)
本研究提出一种结合可微分仿真与一阶解析策略梯度的视觉策略学习算法,通过解耦渲染与计算图提升效率,在GPU仿真基准上缩短训练时间且最终回报优于基线,人形跑步任务回报提升4倍。
2025-11-10 cs.LG cs.RO
Learning Differentiable Tensegrity Dynamics using Graph Neural Networks
Rutgers University(罗格斯大学);Amazon Robotics(亚马逊机器人公司);Yale University(耶鲁大学)
针对张拉整体机器人难以精确建模的问题,提出利用图神经网络对其图表示上的接触动力学进行建模,该方法在仿真与真实机器人实验中均比现有方法具有更高的准确率和计算效率。
2024-10-16 cs.RO
Trajectory-based actuator identification via differentiable simulation
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
本文提出一种基于轨迹的执行器识别方法,利用可微模拟从编码器运动数据中拟合系统级执行器模型,无需扭矩传感器等设备,提升了机器人仿真与真实行为的衔接精度。
2026-04-16 cs.RO
Ground and Flight Locomotion for Two-Wheeled Drones via Model Predictive Path Integral Control
Nagoya Institute of Technology(名古屋工业大学);Nagoya University(名古屋大学)
针对传统两轮无人机运动规划依赖梯度优化、难以处理任意形状障碍物的问题,提出基于MPPI控制的多模式运动规划方法,通过切换控制空间与引入辅助控制器解决模式切换不稳定问题,实现非结构化环境下的有效避障导航。
2025-03-20 cs.RO cs.SY eess.SY
Nonsmooth optimal value and policy functions in mechanical systems subject to unilateral constraints
University of Washington(华盛顿大学)
最优控制的最新方法使用值和策略函数的平滑近似以及用于改进近似器参数的基于梯度的算法。不幸的是,我们表明,价值和政策的功能,出现在最优控制的机械系统受到单边约束-即接触丰富的动态机器人运动和操作-一般是不光滑的,由于表现出不连续或分段可微轨迹的结果的基本动态。简单的机械系统被用来说明这一结果和最优控制的接触丰富的机器人动力学的影响。
2019-08-27 cs.RO
ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers
California Institute of Technology(加州理工学院);Brown University(布朗大学)
ContractionPPO通过在PPO中引入依赖状态的收缩度量层,实现四足机器人鲁棒且可认证的稳定控制,解决了高维接触丰富系统中参考轨迹设计的挑战。
2026-03-20 cs.RO cs.SY eess.SY
Improving generalization of robot locomotion policies via Sharpness-Aware Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire公司);University of Zurich(苏黎世大学)
针对强化学习在机器人运动策略泛化性差的问题,本文提出将锐度感知优化集成到基于梯度的强化学习算法中,在接触密集环境中提升策略对环境变化和动作扰动的鲁棒性,同时保留一阶方法的样本效率。
2024-11-29 cs.AI cs.LG cs.RO
PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots
The University of Manchester(曼彻斯特大学);BAE Systems(BAE系统公司);University of Warwick(华威大学)
提出PROMO,一种偏好条件多目标强化学习方法,将偏好作为运行时输入,使单一策略实现多目标权衡,在仿真和真实机器人上展现广泛帕累托覆盖和显著性能提升。
2026-10-02 cs.AI cs.HC cs.LG
Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation
Carnegie Mellon University(卡内基梅隆大学)
本文提出SAPO算法与Rewarped仿真平台,利用可微仿真的一阶解析梯度稳定强化学习,有效处理刚体和可变形体交互任务,超越现有基线。
2025-02-27 cs.AI cs.CV cs.LG
Fast Aquatic Swimmer Optimization with Differentiable Projective Dynamics and Neural Network Hydrodynamic Models
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Institute of Neuroinformatics, ETH Zurich(苏黎世联邦理工学院神经信息学研究所)
水中运动是生物学家和工程师感兴趣的经典流固耦合问题。求解不可压Navier-Stokes方程和有限弹性力学的完全耦合流固耦合方程的计算量很大。在这样的系统中优化机器人游泳者设计通常涉及在已经昂贵的模拟之上的繁琐的、无梯度的程序。为了解决这一挑战,我们提出了一种新的,完全可微的混合方法FSI相结合的2D直接数值模拟的可变形的固体结构的游泳者和物理约束的神经网络代理捕捉流体的流体动力学效应。对于游泳运动员身体的变形实体模拟,我们采用计算机图形学领域的最新技术来加速有限元法(FEM)。对于流体模拟,我们使用基于物理的损失函数训练的U-Net架构来预测每个时间步的流场。从神经网络的压力和速度场输出采样周围的边界,我们的游泳运动员使用浸入边界方法(IBM)计算其游泳运动准确和有效。我们证明了我们的混合模拟器的计算效率和微分的2D carangiform游泳。由于可微性,该模拟器可用于通过直接基于梯度的优化对浸入流体中的软体进行控制的计算设计。
2022-06-22 cs.LG cs.RO physics.flu-dyn
Sim2Sim Evaluation of a Novel Data-Efficient Differentiable Physics Engine for Tensegrity Robots
Rutgers University(罗格斯大学)
在训练机器人控制器时,仿真中的学习策略有望减少人类的努力。这对于软体机器人来说尤其如此,因为它们更具有适应性和安全性,但也更难以精确建模和控制。sim2real差距是成功地将策略从仿真转移到真实机器人的主要障碍。系统辨识可以用来缩小这个差距,但是传统的辨识方法需要大量的手动调整。数据驱动的替代方案可以直接从数据中调整动态模型,但通常需要大量数据,这也需要人工收集数据。这项工作提出了一个数据驱动的,端到端的微分模拟器,专注于令人兴奋的,但具有挑战性的域张拉整体机器人。据作者所知,这是第一个支持电缆,接触和驱动建模的张拉整体机器人可微分物理引擎。目的是开发一个合理简化的数据驱动的模拟,它可以用有限的地面真实数据学习近似动态。动态必须足够准确,以产生可以转移回地面实况系统的政策。作为朝着这个方向迈出的第一步,目前的工作演示了sim2sim传输,其中MuJoCo的未知物理模型充当地面实况系统。两种不同的张拉整体机器人用于评估和学习的运动策略,6杆和3杆张拉整体。结果表明,当微分引擎用于训练时,仅需要0.25%的地面实况数据来训练在地面实况系统上工作的策略,而不是直接在地面实况系统上训练策略。
2021-07-23 cs.AI cs.GR cs.LG
PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control
University of Trento(特伦托大学)
提出PPO-EAL框架,将精确增广拉格朗日优化与近端策略优化结合,通过裁剪策略更新和精确二次惩罚项实现安全约束,在多种机器人任务中优于现有方法。
2026-06-29 cs.RO
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University(耶鲁大学);University of Sydney(悉尼大学)
提出采样引导策略搜索(SGPS),结合基于采样的模型预测控制与一阶策略优化,加速视觉策略学习,并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Real-time Perceptive Motion Control using Control Barrier Functions with Analytical Smoothing for Six-Wheeled-Telescopic-Legged Robot Tachyon 3
Sony Group Corporation(索尼集团公司)
本文为六轮伸缩腿机器人 Tachyon 3 提出融合 Smooth SAT 与 CBF 的轻量级实时感知运动控制系统,实现 1 ms 周期安全在线运动生成,并经仿真和真机爬楼梯验证。
2024-09-13 cs.RO
FlashNeRD: Performance-First Contact-Rich Neural Robot Dynamics
NVIDIA(英伟达)
FlashNeRD通过并行流式架构、任意接触编码器和双向耦合,解决了NeRD的三大局限,实现高达55倍动力学加速、34秒训练ANYmal策略,并显著提升接触丰富任务性能。
2026-10-08 cs.RO
First Order Model-Based RL through Decoupled Backpropagation
Machines in Motion Laboratory, New York University, USA(纽约大学运动机器实验室);LAAS-CNRS, Université de Toulouse, CNRS, Toulouse, France(图卢兹大学LAAS-CNRS);Artificial and Natural Intelligence Toulouse Institute, Toulouse, France(图卢兹人工智能与自然智能研究所)
针对一阶MBRL预测误差累积、梯度获取难的问题,提出轨迹生成与梯度计算解耦的混合方法,兼具效率与通用性,在基准任务和Go2机器人运动任务中验证有效。
2025-09-04 cs.AI cs.LG cs.RO