Learning for MPC with Stability & Safety Guarantees
NTNU（挪威科技大学）；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
学习方法与模型预测控制（MPC）的结合在最近的文献中引起了大量的关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速发展的机器学习和强化学习工具来利用许多系统不断增长的可用数据量。特别是，强化学习和MPC的结合已经被提出作为一种可行的和理论上合理的方法，在强化学习中引入可解释的，安全的和稳定的政策。然而，一个正式的理论，详细说明了如何通过学习工具提供的参数更新，可以保持基于MPC的政策的安全性和稳定性仍然缺乏。本文将讨论这一差距。该理论是为通用的鲁棒MPC的情况下，并应用于仿真的鲁棒管为基础的线性MPC的情况下，该理论是相当容易部署在实践中。本文重点介绍了强化学习作为一种学习工具，但它适用于任何在线更新MPC参数的学习方法。
2022-07-22 cs.LG cs.SY eess.SY
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.（松下公司）；Ritsumeikan Univ.（立命馆大学）
在最近关于基于模型的强化学习（MBRL）的研究中，在前向动力学中引入不确定性是提高学习性能的最新策略，使MBRL与尖端的无模型方法竞争，特别是在模拟机器人任务中。轨迹采样概率集成（Probablenessbles with trajectory sampling，PETS）是MBRL的一种主要类型，它将贝叶斯推理应用于动力学建模和模型预测控制（Model Predictive Control，MPC），并通过交叉熵方法（Cross Entropy Method，CEM）进行随机优化。在本文中，我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的：首先，我们引入了变分推理MPC，它重新制定了各种随机方法，包括CEM，在贝叶斯时尚。其次，我们提出了一个新的框架，称为概率动作合奏与轨迹采样（PaETS）的实例。因此，我们的贝叶斯MBRL可以涉及多模态的不确定性，无论是在动态和最佳轨迹。与PETS相比，我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Sharing the Control Authority Between Deep Reinforcement Learning and Model Predictive Control: Application to Multi-Class Transportation Networks
Delft University of Technology（代尔夫特理工大学）；Delft Center for Systems and Control（代尔夫特系统与控制中心）
本文针对多类交通网络控制难题，提出DRL-MPC分层框架划分控制权，经多类高速公路网络实验，其性能优于混合状态反馈-MPC控制器，计算时间少于分层MPC控制器，模型失配时约束执行更有效。
2026-08-24 cs.LG cs.SY eess.SY
Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC
该研究提出SG-RL算法，将MPC求解器梯度作为辅助引导，在PPO中实现MPC代价权重自适应，在自主赛车平台上样本效率提升70.6%，性能优于GB-PL且可零样本泛化。
2026-09-02 cs.LG cs.RO cs.SY
MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control
本文提出一种形似线性MPC的QP求解器、参数由DRL训练的控制器，在保持持续可行性与渐近稳定性等可验证保证的同时，提升鲁棒性、计算效率和参数效率，并经车辆漂移实验验证。
2024-04-09 cs.LG cs.RO cs.SY
Autonomous Vehicle Lateral Control Using Deep Reinforcement Learning with MPC-PID Demonstration
Technical University of Munich（慕尼黑技术大学）
本文提出一种结合MPC-PID示教与深度强化学习的自动驾驶横向控制方法，在CARLA中验证了其在车辆信息不完整时的有效性与训练稳定性，有望降低自动驾驶流程的开发集成成本。
2025-06-04 cs.LG cs.RO cs.SY
Intersection of Reinforcement Learning and Bayesian Optimization for Intelligent Control of Industrial Processes: A Safe MPC-based DPG using Multi-Objective BO
Department of Mechanical Engineering, Clemson University（机械工程系，克莱姆森大学）
针对MPC-RL收敛慢、策略次优及安全性差的问题，提出结合多目标贝叶斯优化的MPC-RL-MOBO框架，利用CDPG估计阶段成本与梯度并通过EHVI采集函数高效安全地调整MPC参数，提升了闭环性能。
2025-07-14 cs.AI cs.LG cs.SY
Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning
SINTEF Digital（SINTEF数字研究院）；NTNU（挪威科技大学）；Sopra Steria Applications（索拉斯特里亚应用公司）
本文提出基于强化学习联合整定MPC元参数的框架，通过事件触发与双模式控制同时优化性能和功耗，在倒立摆任务上较最佳MPC基线减少36%计算时间并提升18.4%性能。
2021-11-07 cs.LG cs.RO cs.SY
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital（SINTEF数字研究院）；Department of Engineering Cybernetics, NTNU（挪威科技大学工程控制论系）；Centre for Autonomous Marine Operations and Systems（自主海洋作业与系统中心）
模型预测控制（MPC）是一种功能强大的轨迹优化控制技术，能够控制复杂的非线性系统，同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度，控制MPC预测系统响应的未来距离，从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能，但需要越来越强大的计算平台，不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化，这激发了自适应时域模型预测控制（AHMPC），它根据某些标准来调整预测时域。在本文中，我们建议使用强化学习（RL）来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题，并在两个控制任务上测试我们的方法，显示出比固定时域MPC方案明显的改进，同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Driving Reinforcement Learning with Models
imperial.ac.uk（帝国理工学院（注：原文本中此处可能为邮箱域名，非明确机构，根据提取规则应忽略））
在本文中，我们提出了一种新的方法来补充强化学习（RL）与基于模型的控制（特别是，模型预测控制- MPC）。我们介绍了一种算法，MPC增强RL（MPRL），结合RL和MPC在一个新的方式，使他们可以增强对方的优势。我们证明了MPRL的有效性，让它发挥对雅达利游戏乒乓。对于这项任务，结果强调了MPRL如何能够在单独使用时优于RL和MPC。
2020-02-26 cs.AI cs.LG
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
MPC-based Deep Reinforcement Learning Method for Space Robotic Control with Fuel Sloshing Mitigation
本文提出融合PPO/SAC强化学习与模型预测控制的框架，用于抑制燃料晃动并提升卫星自主对接精度与成功率，实验验证了SAC-MPC的优越性。
2025-09-25 cs.LG cs.RO
Value Summation: A Novel Scoring Function for MPC-based Model-based Reinforcement Learning
University of Surrey（萨里大学）；Sharif University of Technology（谢里夫理工大学）
针对基于MPC的强化学习规划模块用奖励函数评分轨迹存在固有偏差的问题，提出基于值折扣和的新型评分函数，结合最优轨迹引导与多源数据更新值函数，在多个基准测试中实现了优于现有SOTA算法的学习效率与奖励表现。
2023-07-19 cs.LG cs.RO
Blending MPC & Value Function Approximation for Efficient Reinforcement Learning
University of Washington（华盛顿大学）；Aurora Innovation Inc.（Aurora Innovation公司）
模型预测控制（MPC）是一种用于控制复杂的真实世界系统的强大工具，它使用模型对未来行为进行预测。对于遇到的每个状态，MPC解决一个在线优化问题，以选择一个控制动作，将最小化未来的成本。这是一个令人惊讶的有效策略，但实时性能要求保证使用简单的模型。如果模型不够精确，那么得到的控制器可能会有偏差，从而限制性能。我们提出了一个框架，用于改善MPC与无模型强化学习（RL）。关键的见解是将MPC视为构造一系列局部Q函数近似。我们表明，通过使用一个参数$λ$，类似于TD（$λ$）中的跟踪衰减参数，我们可以系统地权衡学习值估计对局部Q函数近似。我们提出了一个理论分析，显示如何从不准确的模型在MPC和RL的价值函数估计的误差可以平衡。我们进一步提出了一种算法，随着时间的推移，改变$λ$，以减少对MPC的依赖，因为我们的估计的价值函数的改善，并测试我们的方法在具有挑战性的高维操纵任务与模拟偏置模型的功效。我们证明了我们的方法可以获得与MPC相当的性能，即使在严重的模型偏差下也可以获得真实的动态，并且与无模型RL相比，样本效率更高。
2021-04-13 cs.LG cs.RO
Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC
College of Engineering, Carnegie Mellon University, 5000 Forbes Ave, Pittsburgh, PA 15213, USA；Wilton E. Scott Institute for Energy Innovation, Carnegie Mellon University, 5000 Forbes Ave, Pittsburgh, PA 15213, USA；Center for High Performance Buildings, Purdue University, 177 S Russell St, West Lafayette, IN 47907, USA；Trane Technologies, Residential R\&D Group, 6200 Troup Hwy, Tyler, TX 75707, USA；Bosch Center for Artificial Intelligence
研究对比强化学习与模型预测控制应用于住宅暖通空调的情况，通过在寒冷气候住宅中各部署一个月，对比两者节能效果、居住者舒适度及数据需求等，发现RL节能略优、部署工作量少但面临初始化等困难。
2026-07-20 cs.LG cs.SY eess.SY
Computationally efficient Gauss-Newton reinforcement learning for model predictive control
Chair of Process Automation Systems, TU Dortmund University（多特蒙德工业大学过程自动化系统教席）；Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（挪威科技大学工程控制论系）
本文提出一种计算高效的Gauss-Newton强化学习方法，用于模型预测控制，通过消除对二阶策略导数的需求，实现超线性收敛，并通过动量基Hessian平均和自适应信任区域提升鲁棒性。
2026-04-02 cs.LG cs.SY eess.SY
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta（阿尔伯塔大学）
针对单克隆抗体连续生产中捕获柱切换的离散优化难题，本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法，并与传统1%穿透规则切换策略进行比较，以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids
Delft University of Technology（代尔夫特理工大学）
本研究提出集成强化学习与模型预测控制的方法，通过解耦离散与连续变量决策，用RL确定离散变量并简化MPC的在线优化问题，定义解耦Q函数提升组合动作空间学习可处理性，在微电网中实现计算时间减少且保持性能。
2025-04-14 cs.AI cs.LG cs.SY
Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification
University of Freiburg（弗莱堡大学）
本文综述了模型预测控制与强化学习的异同及互补优势，并以 actor-critic 方法为基础对现有组合算法进行分类，探讨如何利用 MPC 在线优化提升策略闭环性能。
2025-02-04 cs.AI cs.LG cs.SY
TD-MPC-Opt: Distilling Model-Based Multi-Task Reinforcement Learning Agents
Department of Multimedia Systems, NaUKMA（多媒体系统系，NaUKMA）；Department of Mathematics, NaUKMA（数学系，NaUKMA）
本文提出TD-MPC-Opt，在MT30上将317M参数多任务智能体蒸馏为1M参数模型，取得28.45的最新分数，并通过FP16量化进一步压缩约50%，为资源受限环境下的多任务强化学习部署提供高效方案。
2025-07-02 cs.LG cs.RO
Re4MPC: Reactive Nonlinear MPC for Multi-model Motion Planning via Deep Reinforcement Learning
Northeastern University（东北大学）；Institute for Experiential Robotics（体验机器人研究所）；Toyota Research Institute (TRI)（丰田研究院）；Amazon Scholar（亚马逊学者）
本文提出 Re4MPC，用深度强化学习根据任务和状态反应式选择 NMPC 的模型、代价与约束，在移动操作机器人仿真中提升了计算效率和末端执行器目标到达成功率。
2025-06-10 cs.AI cs.LG cs.RO
Towards an Adaptable and Generalizable Optimization Engine in Decision and Control: A Meta Reinforcement Learning Approach
Mississippi State University（密西西比州立大学）；Purdue University（普渡大学）
针对非平稳环境中 MPC 控制器更新对适应性和泛化能力的需求，提出基于元强化学习学习优化器，无需专家示范即可在未见任务中实现快速适应。
2024-01-04 cs.LG
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑的问题，设计一个算法，让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题：模型预测控制（MPC）和强化学习（RL）。在本文中，我们首先建立了国家的最先进的MPC和RL为基础的技术，通过模拟的优点和缺点。我们表明，从安全性和对分布外流量模式的鲁棒性的角度来看，RL代理的性能比MPC解决方案差，即，RL代理在训练期间没有看到的流量模式。另一方面，在效率和乘客舒适度方面，RL代理的性能优于MPC解决方案。随后，我们提出了一种算法，该算法将无模型RL代理与MPC解决方案相结合，并表明它在所有指标-乘客舒适度，效率，碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Model-based Lookahead Reinforcement Learning
National Tsing Hua University（国立清华大学）；TU Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
基于模型的强化学习（MBRL）允许数据高效学习，这是机器人等现实世界应用所需的。然而，尽管MBRL具有令人印象深刻的数据效率，但它并没有达到最先进的无模型强化学习（MFRL）方法的最终性能。我们利用这两个领域的优势，并提出了一种方法，获得高性能与少量的数据。特别是，我们结合MFRL和模型预测控制（MPC）。虽然MFRL的实力，在探索，使我们能够训练一个更好的前向动力学模型MPC，MPC提高性能的MFRL政策的抽样为基础的规划。在标准连续控制基准测试中的实验结果表明，我们的方法可以达到MFRL的性能水平，同时作为MBRL的数据效率。
2019-08-15 cs.AI cs.LG stat.ML
Hierarchical RL-MPC Control for Dynamic Wake Steering in Wind Farms
Technical University of Denmark, Department of Wind and Energy Systems（丹麦技术大学，风能与能源系统系）
本文提出分层框架结合强化学习与模型预测控制，通过RL学习补偿状态估计供MPC控制器使用，实现23%的功率增益并优于理想MPC，相比直接RL控制在安全性和稳定性上更优。
2026-04-13 cs.LG cs.SY eess.SY
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University（斯德哥尔摩大学）；Washington State University（华盛顿州立大学）
本文提出PriPG-RL方法，通过在训练期间独有的特权规划器代理，解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法，提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
SINTEF Digital；NTNU（挪威科技大学）
在控制应用中，通常需要对控制器的复杂性和性能以及可用的计算资源进行折衷。例如，嵌入式控制应用中的典型硬件平台是具有有限存储器和处理能力的微控制器，并且对于电池供电的应用，控制系统可以占能量消耗的显著部分。我们提出了一个控制器的架构，其中的计算成本是明确优化的控制目标。这是通过一个三部分架构来实现的，在该架构中，高级的、计算上昂贵的控制器生成计划，计算上更简单的控制器通过补偿预测误差来执行该计划，而重新计算策略决定何时应该重新计算该计划。在本文中，我们采用模型预测控制（MPC）作为高级计划生成控制器，线性状态反馈控制器作为简单的补偿控制器，强化学习（RL）学习重新计算的政策。两个例子的仿真结果展示了该架构的能力，以改善MPC的方法，并找到合理的妥协权衡性能的控制目标和计算资源的消耗。
2020-11-26 cs.LG cs.SY eess.SY
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion
RWTH Aachen University（亚琛工业大学）；University of Alberta（阿尔伯塔大学）
本文提出混合强化学习与机器学习集成模型预测控制方法，用RL动态调整ML-MPC负载跟踪参考以适应环境变化，同时由ML-MPC保证动作安全，实验表明该方法在氢-柴油双燃料发动机控制中将负载跟踪RMSE从0.57 bar降至0.44 bar。
2025-05-06 cs.LG
A Safe Reinforcement Learning driven Weights-varying Model Predictive Control for Autonomous Vehicle Motion Control
Technical University Munich（慕尼黑工业大学）；TUM School of Engineering and Design（慕尼黑工业大学工程与设计学院）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）
针对MPC权重难以实时优化且RL学习可能不安全的问题，提出将RL动作限制在BO帕累托最优权重集的安全空间内，实现安全且性能超越帕累托前沿的变权重MPC控制。
2024-02-04 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Heat Pump Control
University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）；Fraunhofer Institute for Solar Energy Systems（弗劳恩霍夫太阳能系统研究所）
私人家庭的供暖是当今排放的主要来源。热泵是一种很有前途的替代热能，是实现德国能源转型目标和减少对化石燃料依赖的关键技术。今天，该领域的大多数热泵都是由简单的加热曲线控制的，这是当前室外温度到控制动作的简单映射。更先进的控制方法是模型预测控制（MPC），其在多个研究工作中被应用于热泵控制。然而，MPC严重依赖于建筑物模型，这有几个缺点。受此以及该领域最近取得的突破的启发，这项工作将深度强化学习（DRL）应用于模拟环境中的热泵控制。通过与MPC的比较，可以表明，可以以无模型的方式应用DRL以实现类似MPC的性能。这项工作扩展了其他作品已经应用DRL建筑供暖操作进行深入分析的学习控制策略，并给出了两个国家的最先进的控制方法的详细比较。
2022-12-24 cs.AI cs.LG
Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds
本文提出一种结合预测控制与强化学习的四足机器人动力学方法，通过引入拉格朗日神经网络提升物理一致性，实现高效计算和更优任务性能。
2026-03-15 cs.LG cs.RO
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania（宾夕法尼亚大学）
本文提出一个自我对弈强化学习框架，在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法，发现PPO优于其他方法，并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
RL-MPCA: A Reinforcement Learning Based Multi-Phase Computation Allocation Approach for Recommender Systems
Meituan（美团）
本文提出基于强化学习的多阶段计算分配方法RL-MPCA，通过建模弱耦合MDP并设计带自适应拉格朗日乘子的深度Q网络，在计算资源限制下最大化推荐系统业务收益。
2023-12-27 cs.AI cs.IR cs.LG
Bridging the gap between QP-based and MPC-based RL
Norwegian University of Science and Technology（挪威科技大学）
强化学习方法通常使用深度神经网络来近似马尔可夫决策过程的值函数和策略。不幸的是，基于DNN的强化学习缺乏对所产生的策略的可解释性。在本文中，我们使用最优化问题近似策略和值函数，采用二次规划（QP）的形式。我们提出了简单的工具，以促进结构的QP，推动它类似于一个线性MPC计划。一个通用的非结构化的QP提供了很高的灵活性学习，而一个QP的MPC计划的结构，促进了解释的结果政策，另外提供了方法，其分析。我们提出的工具允许在学习过程中不断调整前者和后者之间的权衡。我们说明了我们所提出的方法的工作原理与使用点质量任务的结构。
2022-05-18 cs.AI cs.LG cs.SY
DeepSafeMPC: Deep Learning-Based Model Predictive Control for Safe Multi-Agent Reinforcement Learning
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
针对多智能体强化学习中安全保障难、MPC因环境动力学复杂应用有限的问题，提出DeepSafeMPC方法，用集中式深度学习模型预测环境动力学，结合MARL寻优与MPC约束动作安全，在Safe Multi-agent MuJoCo上验证了有效性。
2024-03-12 cs.AI cs.LG cs.SY
Learning Deep Control Policies for Autonomous Aerial Vehicles with MPC-Guided Policy Search
University of California, Berkeley（加州大学伯克利分校）
模型预测控制（MPC）是用于控制机器人系统、特别是诸如四轴飞行器的自主飞行器的有效方法。然而，MPC的应用可能在计算上要求很高，并且通常需要估计系统的状态，这在复杂的非结构化环境中可能具有挑战性。强化学习原则上可以放弃对显式状态估计的需要，并获得直接将传感器读数映射到动作的策略，但难以应用于不稳定的系统，这些系统在找到有效的策略之前容易在训练期间发生灾难性故障。我们建议在引导策略搜索的框架中将MPC与强化学习相结合，其中MPC用于在训练时生成数据，在仪表化训练环境提供的全状态观察下。该数据用于训练深度神经网络策略，该策略仅允许访问来自车辆的车载传感器的原始观察结果。经过训练后，神经网络策略可以成功地控制机器人，而不需要知道机器人的全部状态，并且计算成本只有MPC的一小部分。我们评估我们的方法学习避障政策的模拟四旋翼，使用模拟机载传感器和测试时没有明确的状态估计。
2016-02-16 cs.LG cs.RO
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University（莱顿大学）
GEM-MPC提出一种基于MPPI的强化学习方法，通过结合克隆规划器的策略与KL正则化探索策略，并引入门控先验蒸馏，在较低计算预算下平衡探索与利用，显著提升连续控制基准性能。
2026-09-21 cs.LG
Model-predictive control and reinforcement learning in multi-energy system case studies
ABB（ABB集团）；Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；KU Leuven（鲁汶大学）；EnergyVille（能源城研究所）
模型预测控制（MPC）提供了一种最优控制技术，以建立和确保多能源系统的总运行成本保持在最小值，同时满足所有系统约束。然而，这种方法假定了一个适当的模型的基础系统动态，这是容易建模错误，不一定是自适应的。这就产生了相关的初始和持续的项目特定工程费用。在本文中，我们提出了一种基于策略和非策略的多目标强化学习（RL）方法，该方法不假设先验模型，将其与线性MPC（LMPC -反映当前实践，尽管非线性MPC表现更好）进行基准测试-两者都来自一般的最优控制问题，突出了它们的差异和相似之处。在一个简单的多能源系统（MES）配置案例研究中，我们表明，一个双延迟深度确定性政策梯度（TD 3）RL代理提供了匹配和超越完美的前瞻LMPC基准（101.5%）的潜力。而现实的LMPC，即不完美的预测，仅达到98%。而在更复杂的MES系统配置中，RL代理的性能通常较低（94.6%），但仍优于现实的LMPC（88.9%）。在这两个案例研究中，RL代理在使用季度与环境交互的2年训练期后表现优于现实LMPC。我们的结论是，强化学习是一种可行的多能源系统的最优控制技术，给予足够的约束处理和预训练，以避免不安全的相互作用和长时间的训练，在未来的基本工作中提出。
2021-09-09 cs.AI cs.LG cs.SY
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Dynamic Non-Prehensile Object Transport via Model-Predictive Reinforcement Learning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
针对有限真实演示下的机器人动态非抓取式物体运输任务，提出结合批量强化学习与模型预测控制的方法，预训练价值函数集成并在线用于不确定性感知MPC，实现鲁棒性与新物体泛化，减少演示负担。
2024-11-27 cs.LG cs.RO
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Adventurer: Exploration with BiGAN for Deep Reinforcement Learning
University of California, Davis（加利福尼亚大学戴维斯分校）
针对深度强化学习样本效率低、易陷局部最优及高维复杂观测任务探索难的问题，提出基于BiGAN的新颖性驱动探索算法Adventurer，通过BiGAN估计状态新颖性并结合内在奖励探索，在多类基准任务上取得有竞争力的结果。
2025-03-24 cs.AI cs.LG
Offline Reinforcement Learning via Inverse Optimization
Delft Center for Systems and Control（代尔夫特系统与控制中心）；Delft University of Technology（代尔夫特理工大学）；Industrial & Mechanical Engineering University of Toronto（多伦多大学工业与机械工程学院）
本文提出一种基于逆优化的离线强化学习算法，通过子最优损失函数解决分布偏移问题，并在MuJoCo基准中可靠恢复教师行为。
2026-03-18 cs.LG cs.SY eess.SY
Merging model-based control with multi-agent reinforcement learning for multi-agent cooperative teaming strategies
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑地亚国家实验室）
提出一种结合多智能体强化学习与模型预测控制的框架（MA-AC-MPC），通过扩展演员-评论家模型预测控制实现安全、动态可行的协作策略，并在追逃场景和异构环境中验证其优于多层感知机模型。
2026-06-04 cs.LG cs.MA cs.RO
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Approximate Inverse Reinforcement Learning from Vision-based Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种方法，用于获得基于视觉的导航的隐式目标函数。所提出的方法依赖于模仿学习、模型预测控制（MPC）和深度神经网络中使用的解释技术。我们使用模仿学习作为进行逆强化学习的手段，以便为视觉导航挑战创建近似的成本函数生成器。由此产生的成本函数，costmap，用于与MPC的实时控制，并优于其他国家的最先进的costmap发电机在新的环境。所提出的过程允许简单的训练和对样本外数据的鲁棒性。我们将我们的方法应用于多个真实和模拟环境中基于视觉的自动驾驶任务，并展示了其通用性。
2021-04-08 cs.AI cs.CV cs.LG
Solving Markov Decision Processes with Future Information via MPC
Norwegian University of Science and Technology（挪威科学技术大学）
本文提出一种参数化模型预测控制（MPC）方法，可精确表示具有未来信息的MDP的最优价值函数和策略，并通过强化学习学习参数，在点质量赛车任务中验证有效性。
2026-06-25 cs.LG cs.SY eess.SY
Coordinated Lane-Level Variable Speed Limits and Ramp Metering for Successive Weaving Segments Considering Merging/Diverging Risks: A Hybrid Model Predictive Control and Multi-Agent Reinforcement Learning Approach
Jilin University（吉林大学）；Southwest Jiaotong University（西南交通大学）
针对城市快速路连续交织路段，提出融合车道级宏观模型与MPC-MARL分层控制的混合框架，协调可变限速与匝道控制，降低合流/分流风险，实测验证其精度与泛化性优于现有方法。
2026-09-29 cs.LG math.OC
Performance Variation in Deep Reinforcement Learning
Department of Computing Science University of Alberta（计算科学系阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所（Amii））；CIFAR AI Chair（CIFAR人工智能主席）
针对深度强化学习算法运行间鲁棒性低的问题，提出基于百分位的统计量（min-max IPR）和可视化方法（逐运行百分位高亮），用于评估性能变化，并通过三个案例验证其有效性。
2026-06-04 cs.LG
Big-Math: A Large-Scale, High-Quality Math Dataset for Reinforcement Learning in Language Models
SynthLabs；Stanford University（斯坦福大学）
Big-Math是一个包含超25万高质量数学问题的大规模数据集，通过严格过滤和重构算法，兼顾质量与数量，为语言模型强化学习推理提供坚实基础。
2025-02-24 cs.AI cs.CL cs.LG
Towards Theoretical Understanding of Inverse Reinforcement Learning
Politecnico di Milano（米兰理工大学）
本文研究具备生成模型的有限视野IRL中可行奖励集的PAC估计，给出极小极大样本复杂度下界，并证明US-IRL达到至多相差对数因子的匹配上界。
2023-04-25 cs.LG
