Combining model-predictive control and predictive reinforcement learning for stable quadrupedal robot locomotion
针对四足机器人稳定步态生成问题，提出MPC与预测RL结合的混合控制器，以神经网络Q函数作为末端代价降低短时域计算负担，并实现无需预训练的实时稳定运动。
2023-07-15 cs.AI cs.RO cs.SY
Benchmarking Model Predictive Control and Reinforcement Learning Based Control for Legged Robot Locomotion in MuJoCo Simulation
本研究在MuJoCo仿真中对Unitree Go1四足机器人的MPC与RL控制器进行基准测试，发现RL抗干扰与能效优异但地形泛化弱，MPC则在大扰动恢复与关节控制分配上更优，为足式机器人控制策略选择提供了明确见解。
2025-01-28 cs.RO cs.SY eess.SY
Infusing model predictive control into meta-reinforcement learning for mobile robots in dynamic environments
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）
移动机器人的成功运行要求它们能够快速适应环境变化。为了开发移动机器人的自适应决策工具，我们提出了一种新的算法，结合Meta强化学习（meta-RL）和模型预测控制（MPC）。我们的方法采用了一个关闭的政策元RL算法作为基线训练的政策，使用MPC产生的过渡样本时，机器人检测到某些事件，可以有效地处理MPC，其明确使用机器人动力学。我们的方法的关键思想是以随机和事件触发的方式在元学习策略和MPC控制器之间切换，以弥补由有限的预测范围引起的次优MPC动作。在元测试期间，MPC模块被停用以显著减少运动控制中的计算时间。我们进一步提出了一个在线适应方案，使机器人推断和适应一个新的任务在一个单一的轨迹。我们的方法的性能已经通过使用非线性汽车模型与（i）障碍物的合成运动，和（ii）真实世界的行人运动数据的模拟得到了证明。仿真结果表明，该方法在学习效率和导航质量方面优于其他算法。
2022-07-07 cs.RO cs.SY eess.SY
Digital Twin of Autonomous Surface Vessels for Safe Maritime Navigation Enabled through Predictive Modeling and Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究院）
本文在现有ASV数字孪生框架上，结合AIS与合成Lidar目标跟踪、NMPC预测安全滤波器和Unity实现，赋予自主水面船预测、情景推演与最优控制决策能力，以提升海上导航安全。
2024-03-30 cs.RO cs.SY eess.SY
Learning When to Drive in Intersections by Combining Reinforcement Learning and Model Predictive Control
Zenuity AB（泽纽蒂公司）；Chalmers University of Technology（查尔姆斯理工大学）；AI Innovation of Sweden（瑞典人工智能创新中心）
在本文中，我们提出了一个决策算法，旨在自动车辆谈判与其他可能的非自动车辆在十字路口。决策算法分为两个部分：基于强化学习的高层决策模块和基于模型预测控制的底层规划模块。交通模拟与许多预定义的驾驶员的行为和意图，和所提出的决策算法的性能进行了评估对另一个控制器。结果表明，所提出的决策算法产生更短的训练集和提高性能的成功率相比，其他控制器。
2019-08-01 cs.AI cs.LG cs.RO
Event-Triggered Model Predictive Control with Deep Reinforcement Learning for Autonomous Driving
Michigan State University（密歇根州立大学）；Oakland University（奥克兰大学）
事件触发模型预测控制（eMPC）是一种流行的最优控制方法，其目的是减轻MPC的计算和/或通信负担。然而，它通常需要先验知识的闭环系统行为以及通信特性的设计事件触发策略。本文试图通过提出一个有效的eMPC框架来解决这一挑战，并展示了该框架在自动驾驶车辆路径跟踪上的成功实施。首先，一个无模型强化学习（RL）代理被用来学习最优的事件触发策略，而不需要一个完整的动力学系统和通信知识在这个框架。此外，包括优先经验重放（PER）缓冲区和长短期记忆（LSTM）的技术被用来促进探索和提高训练效率。在本文中，我们将所提出的框架与三种深度RL算法一起使用，即，双Q学习（DDQN）、近端策略优化（PPO）和软行为者-批评者（SAC）来解决这个问题。实验结果表明，与传统的基于阈值和线性Q的方法相比，这三种基于深度RL的eMPC（deep-RL-eMPC）在自主路径跟踪中均能获得更好的评价性能。特别是，具有LSTM的PPO-eMPC和具有PER和LSTM的DDQN-eMPC在闭环控制性能和事件触发频率之间获得了更好的平衡。相关代码是开源的，可在https://github.com/DangFengying/RL-based-event-triggered-MPC上获得。
2022-08-22 cs.RO cs.SY eess.SY
Adaptive Stochastic Nonlinear Model Predictive Control with Look-ahead Deep Reinforcement Learning for Autonomous Vehicle Motion Control
Technical University Munich（慕尼黑工业大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）
针对自主车辆运动控制中的不确定性与约束问题，提出前瞻深度强化学习驱动的自适应随机非线性模型预测控制，动态调整关键参数，在扰动下的轨迹跟踪性能优于静态方法。
2023-11-07 cs.RO cs.SY eess.SY
A Conflicts-free, Speed-lossless KAN-based Reinforcement Learning Decision System for Interactive Driving in Roundabouts
James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）；Faculty of Science, University of Amsterdam（阿姆斯特丹大学科学学院）；School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）；University of Michigan-Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University（密歇根大学-上海交通大学联合研究所，上海交通大学）；School of Electrical and Electronic Engineering, University College Dublin（都柏林大学学院电子与电气工程学院）
针对混合交通下环形交叉路口自动驾驶的安全与效率问题，提出一种基于深度Q学习与KAN的强化学习决策系统，结合动作检查器、路线规划器和模型预测控制，实现了更少碰撞和更短行驶时间，显著优于现有方法。
2025-09-12 cs.AI cs.LG cs.RO
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
An experimental study of two predictive reinforcement learning methods and comparison with model-predictive control
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
强化学习（RL）已经成功地应用于各种仿真和计算机游戏中。工业相关的应用，如自主移动机器人运动控制，对RL来说有些挑战。本文提出了一种最佳的移动机器人运动控制的预测RL控制器的实验评估。作为比较的基准，使用模型预测控制（MPC）。测试了两种RL方法：推出Q学习，其可以被认为是终端成本为Q函数近似的MPC，以及所谓的堆叠Q学习，其又类似于运行成本代替Q函数近似的MPC。实验的基础是一个移动机器人与差动驱动器（Robotis Turtlebot 3）。实验结果表明，两种RL方法在累积成本方面都优于基线，而堆叠变体表现最好。提供了一系列以前的工作堆叠Q学习，这个特殊的研究支持的想法，MPC与运行成本自适应的启发Q学习具有潜在的性能提升，同时保持良好的性能MPC。
2021-08-23 cs.RO math.DS
Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning
Yale University（耶鲁大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
基于模型的强化学习算法的实质性进展受到收集数据引起的模型偏差的阻碍，这通常会损害性能。同时，它们固有的样本效率保证了大多数机器人应用的实用性，限制了训练期间对机器人及其环境的潜在损害。受信息理论模型预测控制和深度强化学习进展的启发，我们引入了模型预测演员-评论家（MoPAC），这是一种基于模型/无模型的混合方法，将模型预测推出与策略优化相结合，以减轻模型偏差。MoPAC利用最优轨迹来指导策略学习，但通过其无模型方法进行探索，使算法能够学习更具表现力的动态模型。这种组合保证了最佳的技能学习，直到近似误差，并减少了与环境的必要物理交互，使其适用于真实的机器人训练。我们提供了大量的结果，展示了我们提出的方法通常如何优于当前最先进的技术，并通过评估MoPAC在执行阀门旋转和手指步态的物理机器人手上学习得出结论-这是一项需要抓取，操纵然后重新抓取物体的任务。
2021-03-25 cs.LG cs.RO
ARMCHAIR: integrated inverse reinforcement learning and model predictive control for human-robot collaboration
Instituto Tecnológico de Aeronáutica（航空技术研究院）；Delft University of Technology（代尔夫特理工大学）
提出ARMCHAIR架构，融合对抗逆强化学习与模型预测控制，使多机器人在探索任务中自主识别人类支持需求、保障安全与网络连接并提升整体任务性能。
2024-02-29 cs.HC cs.MA cs.RO
Deep Reinforcement-Learning-Guided Model Predictive Control for Preventing Overtakes in Autonomous Racing
University of Michigan（密歇根大学）；National University of Singapore（新加坡国立大学）
研究自主赛车防御性阻挡问题，通过分层强化学习引导的模型预测控制框架，将防御转化为空间占用调节问题。在仿真中提升平均超车时间，减少对手前进距离，使车辆有效利用轮胎力，且求解时间短，支持实时高速对抗。
2026-07-24 cs.RO
A Systematic Review and Taxonomy of Reinforcement Learning-Model Predictive Control Integration for Linear Systems
Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano（电子信息生物工程系（DEIB），米兰理工大学）；Department of Applied Mathematics, Ferdowsi University of Mashhad（应用数学系，法尔德大学）；Department of Mechanical Engineering, Politecnico di Milano（机械工程系，米兰理工大学）；Department of Applied Mathematics, Faculty of Mathematical Sciences, University of Guilan（应用数学系，加林大学）；Department of Robotics and Control Engineering, Shahrood University of Technology（机器人与控制工程系，沙霍德技术大学）
本文系统综述了线性系统中强化学习与模型预测控制整合的研究，通过多维分类揭示了整合策略、挑战及方法学趋势，为相关研究提供结构化参考。
2026-08-06 cs.AI cs.RO cs.SY
Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds
本文提出一种结合预测控制与强化学习的四足机器人动力学方法，通过引入拉格朗日神经网络提升物理一致性，实现高效计算和更优任务性能。
2026-03-15 cs.LG cs.RO
Safety Reinforced Model Predictive Control (SRMPC): Improving MPC with Reinforcement Learning for Motion Planning in Autonomous Driving
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本研究提出安全增强型MPC，利用强化学习改进自动驾驶中的运动规划，通过约束强化学习确保安全性和性能
2025-12-03 cs.RO
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Real-Time Gait Adaptation for Quadrupeds using Model Predictive Control and Reinforcement Learning
Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science, Bengaluru（罗伯特·博世跨物理系统中心，印度科学研究院，班加罗尔）
提出结合MPPI与Dreamer的优化框架，在连续步态空间实现四足机器人实时步态自适应，仿真显示能耗平均降低36.48%。
2025-10-24 cs.AI cs.RO
Chance-Aware Lane Change with High-Level Model Predictive Control Through Curriculum Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
针对密集交通下自动驾驶变道时机识别难题，提出一种基于课程强化学习的高层模型预测控制机会感知变道框架，通过神经网络策略生成状态参考与调节因子，在微小机会下实现96%汇入成功率，并验证了其实用性与泛化能力。
2024-02-16 cs.RO
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑的问题，设计一个算法，让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题：模型预测控制（MPC）和强化学习（RL）。在本文中，我们首先建立了国家的最先进的MPC和RL为基础的技术，通过模拟的优点和缺点。我们表明，从安全性和对分布外流量模式的鲁棒性的角度来看，RL代理的性能比MPC解决方案差，即，RL代理在训练期间没有看到的流量模式。另一方面，在效率和乘客舒适度方面，RL代理的性能优于MPC解决方案。随后，我们提出了一种算法，该算法将无模型RL代理与MPC解决方案相结合，并表明它在所有指标-乘客舒适度，效率，碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Predictive Traffic Rule Compliance using Reinforcement Learning
本文提出将运动规划器与深度强化学习结合，用运动规划模块替代actor-critic中的actor网络，并以交通规则鲁棒性为奖励训练critic指导轨迹选择，有效预测并防止交通违规，提升自动驾驶安全与合规性。
2025-04-04 cs.AI cs.RO
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
强化学习（RL）最近在各个领域取得了巨大的成功。然而，奖励函数的设计需要详细的领域专业知识和繁琐的微调，以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而，稀疏奖励本身就代表了一个挑战，通常会导致智能体的训练失败。因此，在本文中，我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造，而不使用昂贵的人类示范，这也将适用于广泛的领域。因此，我们建议使用模型预测控制~（MPC）作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造，我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外，我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明，MPC作为一个经验源，提高了代理的学习过程中，对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight
Robotics and Perception Group, University of Zurich（机器人与感知组，苏黎世大学）
本文提出行为者-评论者模型预测控制框架，结合可微优化与强化学习，提升四旋翼无人机在动态不确定环境中的敏捷飞行性能。
2025-12-05 cs.RO
Safe Reinforcement Learning with a Predictive Safety Filter for Motion Planning and Control: A Drifting Vehicle Example
State Key Laboratory of Industrial Control Technology, Zhejiang University（浙江大学工业控制技术国家重点实验室）；Professorship of Autonomous Vehicle Systems, Technical University of Munich（慕尼黑工业大学自主车辆系统教授职位）
提出一种结合预测安全滤波器的安全强化学习运动规划器，通过在线调整智能体动作确保自动驾驶漂移的安全与稳定，仿真显示其在跟踪误差和计算效率上优于传统方法。
2025-06-28 cs.RO
Residual MPC: Blending Reinforcement Learning with GPU-Parallelized Model Predictive Control
Department of Mechanical Engineering, Massachusetts Institute of Technology（麻省理工学院机械工程系）；Department of Mechanical Engineering, School of Smart Mobility, Korea University（韩国大学智能移动学院机械工程系）
本工作提出一种GPU并行化的残差架构，在力矩控制层面融合MPC与RL，利用模型控制先验引导策略，实现更高样本效率、更大奖励及对未见步态和地形的零样本适应。
2025-10-14 cs.RO
Safety Guaranteed Manipulation Based on Reinforcement Learning Planner and Model Predictive Control Actor
Technical University of Munich（慕尼黑工业大学）；Sun Yat-sen University（中山大学）
提出融合稀疏奖励强化学习规划器与MPC执行器的框架，以中间目标引导机器人在动态环境中避障操作，四项任务实现100%安全成功率。
2023-04-26 cs.RO
Dynamic Non-Prehensile Object Transport via Model-Predictive Reinforcement Learning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
针对有限真实演示下的机器人动态非抓取式物体运输任务，提出结合批量强化学习与模型预测控制的方法，预训练价值函数集成并在线用于不确定性感知MPC，实现鲁棒性与新物体泛化，减少演示负担。
2024-11-27 cs.LG cs.RO
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
SRL-MPC: Shape-Aware Reinforcement Learned Model Predictive Control
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；University of Michigan（密歇根大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
针对异构人群与机器人集群的形状感知导航难题，提出SRL-MPC方法，结合MPC的安全泛化性与RL的适应性，实验显示其在安全性、适应性上优于基准方法。
2026-08-24 cs.AI cs.RO
Multi-UAV Conflict Resolution with Graph Convolutional Reinforcement Learning
Autonomous University of Barcelona（巴塞罗那自治大学）
安全是空中交通的首要问题。无人机（UAV）之间的飞行安全是通过成对的分离最小值，利用冲突检测和解决方法来确保的。现有的方法主要处理成对冲突，然而由于交通密度的预期增加，可能会发生与两个以上的UAV的遭遇。在本文中，我们模型的多无人机冲突解决多智能体强化学习问题。我们实现了一个基于图神经网络的算法，合作代理可以进行通信，共同产生决议演习。该模型进行评估的情况下，3和4本代理。结果表明，智能体能够成功地解决多无人机冲突，通过合作的策略。
2021-11-29 cs.LG cs.MA cs.RO
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München（慕尼黑工业大学）
在这项工作中，我们研究应用强化学习两个著名的决策困境，即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外，我们认为，一个纽科姆式的配方是更充分的人机交互的情况下，经验表明，未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
Resolving Conflicting Constraints in Multi-Agent Reinforcement Learning with Layered Safety
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
针对多智能体强化学习中的约束冲突问题，提出结合安全过滤器的分层安全框架，通过可达性分析设计各层，在硬件实验和高密度空中交通场景中验证了减少冲突且保持效率的效果。
2025-05-04 cs.MA cs.RO cs.SY
PCVPC: Perception Constrained Visual Predictive Control For Agile Quadrotors
我们提出了一种感知约束视觉预测控制（PCVPC）算法的四旋翼，使侵略性的飞行，而不使用任何位置信息。我们的框架利用非线性模型预测控制（NMPC）制定一个约束的基于图像的视觉伺服（IBVS）问题。四旋翼动力学，图像动力学，致动约束，并考虑到能见度约束，以处理高敏捷性的四旋翼机动。将IBVS应用于敏捷无人机的两个主要挑战被认为是：（i）深度对强烈方向变化的高度敏感性，以及（ii）由于欠驱动性质，视觉伺服目标和动作目标之间的冲突。为了应对第一个挑战，我们通过方位向量和距离来参数化视觉特征，通过该距离，深度将不再参与图像动态。同时，我们解决了冲突的问题，通过补偿旋转在未来的视觉伺服成本使用预测的方向的四旋翼。我们的方法在模拟中表明，（i）它可以在没有任何位置信息的情况下工作，（ii）它可以在轨迹跟踪中实现9 m/s的最大参考速度而不会丢失目标，以及（iii）它可以到达地标，例如，无人机比赛中的一个门，从不同的初始配置。
2021-09-22 cs.RO cs.SY eess.SY
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
ROSA-RL: Uncertainty-Aware Roundabout Optimized Speed Advisory with Reinforcement Learning
Universität der Bundeswehr München（慕尼黑联邦国防军大学）；Hochschule für angewandte Wissenschaften Landshut（兰茨胡特应用科学大学）
针对混合交通中环岛场景的不确定性，提出ROSA-RL框架，结合Transformer预测冲突区域占用概率与强化学习，实现安全高效的环岛入口速度协调。
2026-06-16 cs.AI cs.RO cs.SY
Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm
Mississippi State University（密西西比州立大学）；Michigan State University（密歇根州立大学）
提出一种强化学习自适应事件触发DeePC框架，通过训练RL策略决定何时调用优化器，在保持跟踪精度的同时减少计算开销，实验显示优化频率降低66%。
2026-06-29 cs.RO cs.SY eess.SY
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Micro-Swarm Locomotion Optimization in Dynamic Flow using Multi-Objective Multi-Agent Reinforcement Learning
Hatter Department of Marine Technologies, Leon H. Charney School of Marine Sciences, University of Haifa（哈特尔海洋技术系，列昂·H·夏恩海洋科学学院，海法大学）
提出混合CFD与多目标多智能体强化学习框架，通过PCGrad解决梯度冲突，在振荡流中优化微机器人集群的上游推进、能量效率和运动平滑性。
2026-06-15 cs.RO cs.SY eess.SY
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Non-conflicting Energy Minimization in Reinforcement Learning based Robot Control
Oregon State University（俄勒冈州立大学）
针对强化学习机器人控制中能量惩罚易损害任务性能的问题，提出无超参数的策略梯度投影方法，在DM-Control等基准上实现64%能耗降低且性能相当，可Sim2Real迁移，易集成且适用于各类策略梯度方法。
2025-09-01 cs.RO
Scalable Multi-Objective Robot Reinforcement Learning through Gradient Conflict Resolution
School of Electrical Engineering and Computer Science, University of Queensland（电气工程与计算机科学学院，昆士兰大学）；Data61
本文提出 GCR-PPO，通过多头评论家将演员更新分解为按目标划分的梯度并按目标优先级解决冲突，在 IsaacLab 基准上以平均 9.5% 的改进实现了优于并行 PPO 的可扩展多目标机器人强化学习。
2025-09-18 cs.LG cs.RO
Safe Reinforcement Learning using Data-Driven Predictive Control
Ain Shams University（艾因夏姆斯大学）；Jacobs University（雅各布大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强化学习（RL）算法可以在决策和连续控制任务中实现最先进的性能。然而，由于许多RL算法的探索性质，特别是当机器人模型和环境未知时，在安全关键系统上应用RL算法仍然需要很好地证明。为了应对这一挑战，我们提出了一个数据驱动的安全层，充当不安全操作的过滤器。安全层使用数据驱动的预测控制器来在训练期间和部署之后强制执行RL策略的安全保证。RL代理提出一个动作，通过计算数据驱动的可达性分析进行验证。如果使用建议动作的机器人的可达集之间存在交集，则调用数据驱动的预测控制器来找到与建议的不安全动作最接近的安全动作。如果建议的动作是不安全的，则安全层惩罚RL代理，并将其替换为最安全的动作。在模拟中，我们表明，我们的方法优于国家的最先进的安全RL方法的机器人导航问题的海龟机器人3在凉亭和四旋翼机在虚幻引擎4（UE4）。
2022-11-20 cs.LG cs.RO cs.SY
Learning predictive representations in autonomous driving to improve deep reinforcement learning
Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Canada, Ltd（华为技术有限公司加拿大分公司）
强化学习使用一种新的预测表示应用于自动驾驶，以完成车道标记之间的驾驶任务，其中在仿真和真实的Jackal机器人上，在看不见的测试道路上观察到性能和泛化方面的实质性好处。通过通用价值函数（GVF）来学习新颖的预测表示，以提供对未来车道居中和道路角度的策略外或反事实的预测，其形成代理的状态的紧凑表示，从而改进在线和离线强化学习中的学习，以学习使用良好地推广到不在训练数据中的道路的方法来驾驶自主车辆。仿真和现实世界的实验都表明，强化学习中的预测表示提高了学习效率，控制的平滑性和对智能体在训练期间从未显示过的道路的泛化，包括损坏的车道标记。研究发现，学习由不同时间尺度或折扣因子上的几个预测组成的预测表示大大提高了控制的性能和平滑度。Jackal机器人在两步过程中进行了训练，其中首先学习预测表示，然后是批量强化学习算法（BCQ），这些算法来自通过自动化和人工引导的环境探索收集的数据。我们的结论是，政策外的预测表示与GVF提供强化学习在现实世界的问题有很多好处。
2020-06-26 cs.LG cs.RO
Decentralized Safe Multi-Agent Reinforcement Learning via Predictive Shielding
ENSTA（国立高等先进技术学院）；IP Paris（巴黎理工学院）；UC Berkeley（加州大学伯克利分校）
提出一种去中心化框架，结合预测屏蔽与基于模型的有限时域Q学习，使多智能体在部署中安全调整策略，并引入无通信协议解决对称场景中的活锁问题。
2026-09-09 cs.AI cs.MA cs.RO
Deep Predictive Policy Training using Reinforcement Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
熟练的机器人任务学习是最好的实现预测行动政策，由于固有的延迟的感觉运动过程。然而，训练这种预测策略是具有挑战性的，因为它涉及到在整个动作持续时间内找到运动激活的轨迹。我们提出了一个数据高效的深度预测策略训练（DPPT）框架，该框架具有深度神经网络策略架构，该架构将图像观察映射到运动激活序列。该架构由三个子网络组成，称为感知，策略和行为超层。感知和行为超层分别对用合成和模拟训练样本训练的视觉和运动数据进行抽象。策略超层是一个具有较少参数的小型子网络，用于映射抽象流形之间的数据。它使用策略搜索强化学习的方法为每个任务进行训练。我们证明了所提出的架构和学习框架的适用性，通过训练预测政策，熟练的物体抓取和球扔在PR2机器人。该方法的有效性说明了这样一个事实，即这些任务的训练使用只有大约180个真正的机器人尝试与定性终端奖励。
2017-03-02 cs.RO
PI-QT-Opt: Predictive Information Improves Multi-Task Robotic Reinforcement Learning at Scale
Google Research（谷歌研究院）
预测信息，即过去和未来之间的互信息，已被证明是训练强化学习代理的有用的表示学习辅助损失，因为建模接下来会发生什么的能力对于许多控制任务的成功至关重要。虽然现有的研究在很大程度上局限于在模拟中的单任务设置上训练专业代理，但在这项工作中，我们研究了机器人代理的预测信息建模及其对通用代理的重要性，这些代理经过训练，可以从大量数据中掌握大量不同技能。具体来说，我们引入了预测信息QT-Opt（PI-QT-Opt），这是一个增强了辅助损失的QT-Opt代理，它学习预测信息的表示，以解决模拟和现实世界中多达297个基于视觉的机器人操作任务。我们证明，建模的预测信息显着提高了成功率的训练任务，并导致更好的zero-shot转移到看不见的新任务。最后，我们在真实机器人上评估了PI-QT-Opt，在不同环境，技能和多任务配置的多个实验设置中，QT-Opt实现了实质性和一致的改进。
2022-11-25 cs.AI cs.IT cs.LG
Autonomous Highway Merging in Mixed Traffic Using Reinforcement Learning and Motion Predictive Safety Controller
Shanghai University（上海大学）；Michigan State University（密歇根州立大学）
深度强化学习（DRL）在解决自动驾驶中的复杂决策问题方面具有巨大潜力，特别是在自动驾驶汽车和人类驾驶汽车（HDV）一起驾驶的混合交通场景中。安全性是学习和部署强化学习（RL）算法过程中的关键。在本文中，我们将入口匝道合并表示为马尔可夫决策过程（MDP）问题，并使用非策略RL算法解决它，即，用于离散动作设置的软Actor-Critic（SAC-离散）。此外，提出了一种运动预测安全控制器，包括运动预测器和动作替代模块，以确保在训练和测试期间的驾驶安全。运动预测器从运动学模型估计自我车辆和周围车辆的轨迹，并预测潜在的碰撞。动作替换模块基于安全距离更新动作，并替换危险动作，然后将它们发送到低级控制器。我们训练，评估和测试我们的方法在一个健身房般的高速公路模拟三个不同级别的交通模式。仿真结果表明，即使在较硬的交通密度，我们提出的方法仍然显着降低碰撞率，同时保持高效率，优于几个国家的最先进的基线在考虑入口匝道合并的情况下。有关评估过程的视频演示，请访问：https://www.youtube.com/watch? v=7FvjbAM4oFw
2022-04-03 cs.RO
Decentralized End-to-End Multi-AAV Pursuit Using Predictive Spatio-Temporal Observation via Deep Reinforcement Learning
School of Intelligence Science and Engineering（智能科学与工程学院）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics（广东省智能变形机制与自适应机器人重点实验室）；Shenzhen Key Lab for Advanced Motion Control and Modern Automation Equipments（深圳先进运动控制与现代自动化设备重点实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种去中心化端到端多智能体强化学习框架，通过预测时空观测实现自主空中群体在复杂环境中的追捕，提升捕获效率和协同成功率。
2026-06-07 cs.RO
Conditional Predictive Behavior Planning with Inverse Reinforcement Learning for Human-like Autonomous Driving
Nanyang Technological University（南洋理工大学）
做出安全和人性化的决策是自动驾驶系统的基本能力，基于学习的行为规划为实现这一目标提供了一条有希望的途径。与现有的直接输出决策的基于学习的方法不同，这项工作引入了一个预测行为规划框架，该框架可以学习从人类驾驶数据中预测和评估。该框架由三个部分组成：一个行为生成模块，产生一组不同的候选行为的轨迹建议的形式，一个条件运动预测网络，预测未来的轨迹的其他代理的基础上，每个建议，和一个评分模块，评估候选计划使用最大熵逆强化学习（IRL）。我们通过全面的实验验证了所提出的框架在大规模的现实世界的城市驾驶数据集。结果表明，条件预测模型能够对不同的轨迹方案进行清晰合理的预测，基于IRL的评分模块能够选择接近人类驾驶的方案。所提出的框架优于其他基线方法在人类驾驶轨迹的相似性。此外，我们发现，条件预测模型提高了预测和规划性能相比，非条件模型。最后，我们注意到，学习评分模块对于将评估与人类驱动程序保持一致至关重要。
2023-03-07 cs.RO
Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control
针对视觉连续控制的样本高效策略学习难题，本文提出OG-SPR算法，结合多步隐自预测与下一观测预测，通过轻量适配器优化表示，在DeepMind Control Suite的28项任务中优于现有最优方法。
2026-08-07 cs.LG cs.RO
Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters
Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（辛特夫数字研究院）
本文提出将强化学习与预测安全滤波器相结合的模块化控制架构，用于自主船舶安全导航，在Cybership II仿真中验证其能在不降低学习性能的前提下有效保证安全约束。
2024-04-02 cs.AI cs.RO
Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
