MPC-based Reinforcement Learning for a Simplified Freight Mission of Autonomous Surface Vehicles
在这项工作中，我们提出了一个模型预测控制（MPC）为基础的强化学习（RL）方法的自主地面车辆（ASVs）。我们的目标是找到一个最佳的政策，最大限度地减少了一个简化的货运任务，包括无碰撞路径跟踪，自主对接，以及它们之间的巧妙过渡的闭环性能。我们使用一个参数化的MPC方案来近似最优策略，该方案考虑了路径跟踪/对接成本和状态（位置，速度）/输入（推力，角度）约束。基于最小二乘时间差（LSTD）的确定性策略梯度（DPG）方法，然后应用更新的政策参数。仿真结果表明，所提出的基于MPC-LSTD的DPG方法可以提高ASV货运任务问题学习过程中的闭环性能。
2021-08-05 cs.SY eess.SY
Safe Reinforcement Learning Using Robust MPC
本文提出结合强化学习与鲁棒模型预测控制，以兼顾最优性与安全性，并通过仿真数值示例验证了所提方法的有效性。
2020-08-17 cs.SY eess.SY
Reinforcement Learning based on MPC/MHE for Unmodeled and Partially Observable Dynamics
本文提出了一个基于马尔可夫链的框架，用于解决部分可观测马尔可夫决策过程（POMDPs）时，一个准确的模型是不可用的。我们首先建议使用移动时域估计-模型预测控制（MHE-MPC）方案，以便为POMDP问题提供策略，其中真实过程的完整状态不被测量并且不一定是已知的。我们建议参数化MPC和MHE配方，其中某些可调参数被认为是调整政策。在本文中，为了解决未建模和部分可观察的动态，我们利用强化学习（RL）来调整MPC和MHE方案的参数，以策略的闭环性能为目标，而不是模型拟合或MHE性能。算例表明，该方法可以有效地提高系统的闭环控制性能的POMDPs制定。
2021-03-22 cs.SY eess.SY
Reinforcement Learning based on Scenario-tree MPC for ASVs
在本文中，我们提出了使用基于鲁棒模型预测控制（RMPC）的强化学习（RL）的自主水面车辆（ASV）的控制。RL-MPC策略用于避障和目标（设定点）跟踪。针对船舶推进器可能出现的故障，提出了一种基于神经树的鲁棒预测控制算法。此外，风和海流被认为是未知的随机干扰在实际系统中，这是通过收紧约束处理。通过RL使用Q学习技术来调整紧固和其他成本参数。考虑了经济成本，最大限度地减少了实现船舶任务所需的时间和能量。该方法是在模拟上的一个非线性3自由度模型的比例版本的赛博飞船2。
2021-10-23 cs.SY eess.SY
Learning safety in model-based Reinforcement Learning using MPC and Gaussian Processes
本研究提出结合高斯过程回归的MPC基强化学习安全框架，通过GP估计参数约束保障概率安全，无需额外假设即可保持计算可行性，并在四旋翼控制场景中验证了效果。
2023-03-17 cs.SY eess.SY
Learning-based MPC from Big Data Using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种利用强化学习方法直接从数据中学习模型预测控制（MPC）方案的方法。最先进的学习方法使用RL来提高参数化MPC方案的性能。然而，这些学习算法通常是基于梯度的方法，需要频繁评估计算昂贵的MPC方案，从而限制了它们在大数据集上的使用。我们建议通过使用RL的工具来解决这个问题，以离线方式直接从数据中学习参数化MPC方案。我们的方法推导出MPC方案，而不必在收集的数据集上求解它，从而消除了现有大数据技术的计算复杂性。我们评估所提出的方法不同的复杂性的三个模拟实验。
2023-01-04 cs.LG cs.SY eess.SY
MPCritic: A plug-and-play MPC architecture for reinforcement learning
针对强化学习与模型预测控制融合存在计算成本高、工具集成难的问题，本文提出即插即用架构MPCritic，通过批量软优化更新MPC参数，保留结构可直接部署，在经典控制基准上验证了其适配多种架构与算法的通用性。
2025-09-03 cs.LG cs.SY eess.SY
Accelerating and Scaling MPC-Guided Reinforcement Learning for Humanoid Locomotion and Manipulation
California Institute of Technology（加州理工学院）；Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种基于质心动力学MPC奖励的MPC-RL框架，并开发了并行批处理GPU求解器π^nMPC，以高效实现类人机器人的行走与操作技能。
2026-06-04 cs.RO cs.SY eess.SY
Optimal Management of the Peak Power Penalty for Smart Grids Using MPC-based Reinforcement Learning
配电基础设施的成本由系统中遇到的峰值功率驱动。因此，配电网络运营商考虑在公共Transformer后面的消费者在其峰值需求的功能中计费，并且将其留给消费者来管理其集体成本。然而，这个管理问题并不是微不足道的。在本文中，我们考虑了一个多代理的住宅智能电网系统，其中每个代理有本地的可再生能源生产和能量存储，所有的代理连接到一个本地的Transformer。我们的目标是制定一个最佳的政策，最大限度地减少经济成本，包括现货市场成本为每个消费者和他们的集体峰值电力成本。我们建议使用一个参数模型预测控制（MPC）计划，以近似的最优策略。该策略的最优性受限于其有限的时域和对当地电力生产-消费的不准确预测。采用确定性策略梯度（DPG）方法调整MPC参数，改进策略。仿真结果表明，提出的基于MPC的强化学习（RL）方法可以有效地降低该智能电网问题的长期经济成本。
2021-08-05 cs.SY eess.SY
On Architectures for Combining Reinforcement Learning and Model Predictive Control with Runtime Improvements
本文提出Warm Start RL与RLMPC两种融合NNMPC和强化学习的架构，并配合下采样降维，在旋转倒立摆上实现超过99%的运行时缩减及不确定性下更好的跟踪性能。
2025-10-02 cs.SY eess.SY
Reinforcement Learning for Mixed-Integer Problems Based on MPC
Norwegian University of Technology, NTNU（挪威科技大学（NTNU））；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
模型预测控制最近被提出作为强化学习的策略近似，为安全和可解释的强化学习提供了一条道路。在名义经济MPC和鲁棒（N）MPC的背景下，这种方法已经被研究用于Q学习和行动者-批评者方法，显示出非常有前途的结果。在这种情况下，行动者-批评者方法似乎是最可靠的方法。许多应用程序包括连续和整数输入的混合，经典的演员-评论家的方法需要适应。在本文中，我们提出了一种基于混合整数MPC方案的政策近似，并提出了一种计算成本低廉的技术，以产生探索的混合整数输入空间，确保满足的约束。然后，我们提出了一个简单的兼容的优势函数近似所提出的政策，允许一个建立梯度的混合整数MPC为基础的政策。
2020-04-03 cs.AI cs.LG cs.SY
Optimal Control of District Cooling Energy Plant with Reinforcement Learning and MPC
针对区域供冷能源厂最优控制中MPC求解复杂、RL设计难度大的问题，提出基于最小二乘策略迭代的RL控制器与仅需NLP求解器的MPC控制器，二者相较基线控制器均实现约17%的用电成本节约。
2023-10-05 cs.SY eess.SY
Soft MPCritic: Value-Based Reinforcement Learning for Non-Differentiable Predictive Control
软MPCritic结合了强化学习与模型预测控制，通过价值空间学习和基于样本的规划实现高效控制，保留了规划 horizon 的有效性。
2026-10-14 cs.LG cs.SY eess.SY
Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions
Delft Center for Systems and Control, Delft University of Technology（代尔夫特系统与控制中心，代尔夫特理工大学）
本文提出基于强化学习的分布式MPC方法，用于高效燃油车队控制，通过简化连续优化问题和多智能体分解提升计算效率。
2026-01-26 cs.SY eess.SY
Comparative Evaluation of MILP, MPC, and Reinforcement Learning for Commercial Battery Dispatch Under Time-of-Use Tariffs
Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）；University of Vaasa（瓦萨大学）；Cleanwatts Digital S.A（Cleanwatts Digital 股份公司）
本研究基于2023年商业光伏数据，比较MILP、MPC和SAC强化学习在分时电价下的电池调度性能，发现MPC能恢复MILP基准99.2%的经济效益，而SAC表现不佳。
2026-09-15 cs.SY eess.SY
Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
Delft University of Technology（代尔夫特理工大学）
本文提出复合梯度学习（CGL）方法，将MPC整合进DRL训练过程，通过联合动作表示和交互考虑，在强交互场景下提升控制策略性能，但平均增益有限。
2026-09-17 cs.LG cs.SY eess.SY
Safe model-based Reinforcement Learning via Model Predictive Control and Control Barrier Functions
Delft University of Technology（代尔夫特理工大学）
本文提出一种安全的模型基于强化学习框架，结合模型预测控制与控制屏障函数，通过参数化方法改进安全控制策略。
2025-12-04 cs.SY eess.SY
Learning for MPC with Stability & Safety Guarantees
NTNU（挪威科技大学）；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
学习方法与模型预测控制（MPC）的结合在最近的文献中引起了大量的关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速发展的机器学习和强化学习工具来利用许多系统不断增长的可用数据量。特别是，强化学习和MPC的结合已经被提出作为一种可行的和理论上合理的方法，在强化学习中引入可解释的，安全的和稳定的政策。然而，一个正式的理论，详细说明了如何通过学习工具提供的参数更新，可以保持基于MPC的政策的安全性和稳定性仍然缺乏。本文将讨论这一差距。该理论是为通用的鲁棒MPC的情况下，并应用于仿真的鲁棒管为基础的线性MPC的情况下，该理论是相当容易部署在实践中。本文重点介绍了强化学习作为一种学习工具，但它适用于任何在线更新MPC参数的学习方法。
2022-07-22 cs.LG cs.SY eess.SY
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
在本文中，我们感兴趣的最优控制问题的纯经济成本，这往往会产生最优的政策具有（近）bang-bang结构。我们专注于基于模型预测控制（MPC）的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能，在存在未建模的随机性或模型误差。当策略具有（接近）bang-bang结构时，我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题，我们提出了一个同伦策略的基础上的邻域点的方法，提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题，并表明，所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Reinforcement Learning-based Model Predictive Control for Greenhouse Climate Control
本文提出一种基于MPC的强化学习框架，通过在线学习约束、预测模型和优化成本的参数化，在预测不确定性下减少约束违反并提升温室气候控制性能，仿真结果优于现有方法。
2025-01-02 cs.SY eess.SY
Comparison of Deep Reinforcement Learning and Model Predictive Control for Adaptive Cruise Control
本研究比较了深度强化学习（DRL）和模型预测控制（MPC）在车辆跟驰场景中的自适应巡航控制（ACC）设计。一阶系统被用作面向控制的模型（COM）来近似车辆的加速指令动态。基于控制系统方程和多目标代价函数，采用深度确定性策略梯度（DDPG）训练DRL策略，并采用内点优化（IPO）求解MPC问题。对事件成本的仿真结果表明，当没有建模误差且测试输入在训练数据范围内时，DRL解决方案等效于具有足够长预测范围的MPC。特别是，DRL事件成本仅比通过IPO优化整个事件提供的基准解决方案高5.8%。当测试输入超出训练数据范围时，DRL控制性能下降，表明泛化不足。当由于控制延迟、干扰和/或使用车辆的高保真模型（HFM）的测试而存在建模误差时，DRL训练的策略在大的建模误差下表现更好，而在建模误差小时具有与MPC类似的性能。
2020-05-20 cs.SY eess.SY
On Building Myopic MPC Policies using Supervised Learning
本文提出利用监督学习学习最优价值函数，用于短视MPC中，减少在线计算负担而不影响性能。
2026-03-26 cs.LG cs.SY eess.SY
Lessons Learned from Data-Driven Building Control Experiments: Contrasting Gaussian Process-based MPC, Bilevel DeePC, and Deep Reinforcement Learning
Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术实验室）
这份手稿提供了实验者对一些现代数据驱动技术的看法：依赖于高斯过程的模型预测控制，基于行为理论的自适应数据驱动控制，以及深度强化学习。这些技术进行比较的数据要求，易用性，计算负担，并在现实世界的应用程序的背景下的鲁棒性。我们的评论和观察源于在不同环境中进行的建筑控制领域的一些实验调查，从演讲厅和公寓空间到医院手术中心。最终目标是帮助其他人确定什么技术最适合解决他们自己的问题。
2022-05-31 cs.LG cs.SY eess.SY
Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion
New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）；Georgia Institute of Technology（佐治亚理工学院）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种基于模型预测控制的强化学习框架中的成本匹配方法，通过参数化MPC和中心动力学来近似高保真闭环数据获得的动作价值函数，提升人形机器人运动性能和鲁棒性。
2026-03-30 cs.RO cs.SY eess.SY
Local-Global Learning of Interpretable Control Policies: The Interface between MPC and Reinforcement Learning
本文提出融合MPC局部最优控制与强化学习全局Bellman学习的局部-全局范式，以学习可解释决策策略，并分析两类统一方案的挑战与权衡。
2025-03-17 cs.SY eess.SY
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.（松下公司）；Ritsumeikan Univ.（立命馆大学）
在最近关于基于模型的强化学习（MBRL）的研究中，在前向动力学中引入不确定性是提高学习性能的最新策略，使MBRL与尖端的无模型方法竞争，特别是在模拟机器人任务中。轨迹采样概率集成（Probablenessbles with trajectory sampling，PETS）是MBRL的一种主要类型，它将贝叶斯推理应用于动力学建模和模型预测控制（Model Predictive Control，MPC），并通过交叉熵方法（Cross Entropy Method，CEM）进行随机优化。在本文中，我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的：首先，我们引入了变分推理MPC，它重新制定了各种随机方法，包括CEM，在贝叶斯时尚。其次，我们提出了一个新的框架，称为概率动作合奏与轨迹采样（PaETS）的实例。因此，我们的贝叶斯MBRL可以涉及多模态的不确定性，无论是在动态和最佳轨迹。与PETS相比，我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC
该研究提出SG-RL算法，将MPC求解器梯度作为辅助引导，在PPO中实现MPC代价权重自适应，在自主赛车平台上样本效率提升70.6%，性能优于GB-PL且可零样本泛化。
2026-09-02 cs.LG cs.RO cs.SY
Symbolic Regression Methods for Reinforcement Learning
Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague（布拉格捷克理工大学信息学、机器人与控制论研究所）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）；Cognitive Robotics, Delft University of Technology（代尔夫特理工大学认知机器人系）
强化学习算法可以解决动态决策和最优控制问题。对于连续值的状态和输入变量，强化学习算法必须依赖于函数逼近器来表示价值函数和策略映射。常用的数值逼近器，如神经网络或基函数展开，有两个主要缺点：它们是黑箱模型，对所学习的映射几乎没有洞察力，并且它们需要对其超参数进行大量的试错调整。本文提出了一种利用符号回归构造解析表达式形式的光滑价值函数的新方法。我们介绍了三个离线的方法来寻找价值函数的基础上的状态转换模型：符号值迭代，符号政策迭代，和直接的Bellman方程的解决方案。四个非线性控制问题：摩擦下的速度控制，一个链接和两个链接摆摆动，和磁操纵的方法进行说明。结果表明，价值函数产生性能良好的政策，是紧凑的，数学上易于处理，并容易插入到其他算法。这使得它们潜在地适合于闭环系统的进一步分析。与另一种方法使用神经网络的比较表明，我们的方法优于神经网络为基础的。
2021-11-13 cs.LG cs.NE cs.SY
A Control Barrier Function-Constrained Model Predictive Control Framework for Safe Reinforcement Learning
New York University（纽约大学）
本文提出了一种基于模型预测控制的安全强化学习框架PECTS，通过联合学习随机系统动力学和控制屏障函数来确保安全，采用采样优化方法提升安全性。
2026-04-07 cs.SY eess.SY
Generalized Reinforcement Learning for Building Control using Behavioral Cloning
诸如模型预测控制（MPC）的先进建筑物控制方法为消费者和电网运营商提供了显著的潜在益处，但是高计算要求已经成为更广泛采用的障碍。本地控制计算需要安装昂贵的计算硬件，而云计算引入了数据安全和隐私问题。在本文中，我们通过一种基于强化学习（RL）的方法（称为行为克隆）大大降低了高级建筑控制的本地计算要求，该方法将MPC策略表示为一个神经网络，可以在本地实现并在低成本可编程逻辑控制器上快速计算。虽然以前的RL和近似MPC方法必须针对每个建筑物进行专门的训练，但我们的关键改进是我们的控制器可以推广到许多建筑物，电费和恒温器设定点时间表，而无需额外的，密集型的再训练。为了提供这种多功能性，我们通过以下方式调整了传统的行为克隆方法：（1）约束通知参数分组（CIPG）方法，该方法提供了更有效的训练数据表示;（2）MPC引导的训练数据生成方法，该方法使用Dagger算法，提高了稳定性和约束满足度;以及（3）一种新的深度学习模型结构，称为逆时递归神经网络（RT-RNN），允许未来信息及时向后流动，以更有效地解释干扰预测中的时间信息。其结果是一个易于部署的，广义的MPC行为克隆，可以在可编程逻辑控制器上实现，并需要很少的建筑特定的控制器调整，减少了与实现智能住宅热泵控制相关的工作和成本。
2021-03-31 cs.SY eess.SY
MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control
本文提出一种形似线性MPC的QP求解器、参数由DRL训练的控制器，在保持持续可行性与渐近稳定性等可验证保证的同时，提升鲁棒性、计算效率和参数效率，并经车辆漂移实验验证。
2024-04-09 cs.LG cs.RO cs.SY
MPC-Guided Safe Reinforcement Learning and Lipschitz-Based Filtering for Structured Nonlinear Systems
Delft University of Technology（代尔夫特理工大学）
本文提出结合MPC与RL的框架，通过安全控制边界和Lipschitz过滤器实现结构非线性系统的安全可控性。
2025-12-14 cs.RO cs.SY eess.SY
Sharing the Control Authority Between Deep Reinforcement Learning and Model Predictive Control: Application to Multi-Class Transportation Networks
Delft University of Technology（代尔夫特理工大学）；Delft Center for Systems and Control（代尔夫特系统与控制中心）
本文针对多类交通网络控制难题，提出DRL-MPC分层框架划分控制权，经多类高速公路网络实验，其性能优于混合状态反馈-MPC控制器，计算时间少于分层MPC控制器，模型失配时约束执行更有效。
2026-08-24 cs.LG cs.SY eess.SY
Intersection of Reinforcement Learning and Bayesian Optimization for Intelligent Control of Industrial Processes: A Safe MPC-based DPG using Multi-Objective BO
Department of Mechanical Engineering, Clemson University（机械工程系，克莱姆森大学）
针对MPC-RL收敛慢、策略次优及安全性差的问题，提出结合多目标贝叶斯优化的MPC-RL-MOBO框架，利用CDPG估计阶段成本与梯度并通过EHVI采集函数高效安全地调整MPC参数，提升了闭环性能。
2025-07-14 cs.AI cs.LG cs.SY
Autonomous Vehicle Lateral Control Using Deep Reinforcement Learning with MPC-PID Demonstration
Technical University of Munich（慕尼黑技术大学）
本文提出一种结合MPC-PID示教与深度强化学习的自动驾驶横向控制方法，在CARLA中验证了其在车辆信息不完整时的有效性与训练稳定性，有望降低自动驾驶流程的开发集成成本。
2025-06-04 cs.LG cs.RO cs.SY
Model Predictive Control-Guided Reinforcement Learning for Implicit Balancing
IDLab, Ghent University–imec（IDLab、根特大学–imec）；Delft University of Technology, Faculty of Technology, Policy, and Management（代尔夫特理工大学、技术政策与管理学院）
针对欧洲隐性平衡场景中MPC成本高、无模型RL训练数据需求大的问题，提出MPC引导的RL方法，兼具预测融合能力与快速推理优势，在比利时电池控制场景下套利收益显著优于单一方法。
2025-10-06 cs.AI cs.SY eess.SY
Probabilistically safe and efficient model-based reinforcement learning
该研究提出一种基于采样的模型驱动强化学习方法，融合概率控制屏障函数与可学习终端代价的模型预测控制，在保障安全和性能的同时降低了安全关键随机强化学习任务的计算开销。
2025-07-29 cs.SY eess.SY
Hierarchical Reinforcement Learning with Low-Level MPC for Multi-Agent Control
Max Studt 1；Georg Schildbach 1
提出分层强化学习框架，高层RL选择目标，低层MPC确保安全，在捕食者-猎物任务中优于端到端和屏蔽基线。
2025-10-09 cs.AI cs.RO cs.SY
Infusing model predictive control into meta-reinforcement learning for mobile robots in dynamic environments
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）
移动机器人的成功运行要求它们能够快速适应环境变化。为了开发移动机器人的自适应决策工具，我们提出了一种新的算法，结合Meta强化学习（meta-RL）和模型预测控制（MPC）。我们的方法采用了一个关闭的政策元RL算法作为基线训练的政策，使用MPC产生的过渡样本时，机器人检测到某些事件，可以有效地处理MPC，其明确使用机器人动力学。我们的方法的关键思想是以随机和事件触发的方式在元学习策略和MPC控制器之间切换，以弥补由有限的预测范围引起的次优MPC动作。在元测试期间，MPC模块被停用以显著减少运动控制中的计算时间。我们进一步提出了一个在线适应方案，使机器人推断和适应一个新的任务在一个单一的轨迹。我们的方法的性能已经通过使用非线性汽车模型与（i）障碍物的合成运动，和（ii）真实世界的行人运动数据的模拟得到了证明。仿真结果表明，该方法在学习效率和导航质量方面优于其他算法。
2022-07-07 cs.RO cs.SY eess.SY
Adaptive Guidance and Integrated Navigation with Reinforcement Meta-Learning
University of Arizona（亚利桑那大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种基于强化元学习的自适应引导系统，采用递归策略和价值函数近似器，通过递归网络层使部署策略能实时适应作用在智能体上的环境力，在四个具有未知但高度动态变化的挑战性环境中比较了DR/DV引导律、非递归策略的RL代理和递归策略的RL代理的性能，并展示了RL元学习优化的策略在火星着陆环境中仅使用多普勒雷达高度计读数，在小行星着陆环境中仅使用LIDAR高度计读数时实现引导和导航的整合能力。
2019-04-18 cs.SY eess.SY
Adaptive Guidance with Reinforcement Meta-Learning
DeepAnalytX LLC（DeepAnalytX有限责任公司）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于强化元学习和循环策略的自适应制导系统，能实时适应环境力，在火星着陆等复杂任务中表现优异，并实现了制导与导航的集成。
2019-01-12 cs.RO cs.SY eess.SY
Reinforcement Learning for Optimal Control of a District Cooling Energy Plant
区域冷却能源工厂（DCEP）由冷水机组，冷却塔和热能储存（TES）系统组成，消耗大量的电力。利用时变电价优化TES和冷水机组的调度是一个具有挑战性的最优控制问题。传统的模型预测控制（MPC）方法需要求解高维混合整数非线性规划（MINLP），因为制冷机的开/关驱动和TES的充/放电在计算上具有挑战性。RL是一个有吸引力的替代MPC：实时控制计算是一个低维的优化问题，可以很容易地解决。然而，RL控制器的性能取决于许多设计选择。在本文中，我们提出了一个基于Q学习的强化学习（RL）控制器的这个问题。数值模拟结果表明，建议的RL控制器是能够减少能源成本超过基于规则的基线控制器约8%，与文献中报道的节省与MPC类似的DCEP。我们描述了RL控制器的设计选择，包括基函数，奖励函数成形和学习算法参数。与现有的DCEP强化学习的工作相比，所提出的控制器是针对连续的状态和动作空间设计的。
2022-03-14 cs.SY eess.SY
Benchmarking Model Predictive Control and Reinforcement Learning Based Control for Legged Robot Locomotion in MuJoCo Simulation
本研究在MuJoCo仿真中对Unitree Go1四足机器人的MPC与RL控制器进行基准测试，发现RL抗干扰与能效优异但地形泛化弱，MPC则在大扰动恢复与关节控制分配上更优，为足式机器人控制策略选择提供了明确见解。
2025-01-28 cs.RO cs.SY eess.SY
Designing high-fidelity multi-qubit gates for semiconductor quantum dots through deep reinforcement learning
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
在本文中，我们提出了一个机器学习框架，以设计基于硅中量子点的量子处理器的高保真多量子比特门，量子比特编码在单电子的自旋中。在这种硬件架构中，控制景观是巨大而复杂的，因此我们使用深度强化学习方法来设计最佳控制脉冲，以实现高保真多量子比特门。在我们的学习模型中，模拟器模拟量子点的物理系统并执行系统的时间演化，深度神经网络作为函数逼近器来学习控制策略。我们在系统的全状态空间中演化哈密顿量，并实施现实的约束，以确保实验的可行性。
2020-06-15 cs.LG cs.SY eess.SY
Beyond Conservative Automated Driving in Multi-Agent Scenarios via Coupled Model Predictive Control and Deep Reinforcement Learning
TU Delft, Faculty of Civil Engineering and Geosciences, Department of Transport and Planning（代尔夫特理工大学，土木工程与地质科学学院，交通与规划系）；NVIDIA
本文提出结合MPC与RL的框架，提升多智能体场景下的导航性能，实验表明MPC-RL在碰撞率和成功率上优于传统方法，且在零样本迁移中表现更优，展示了MPC对跨场景鲁棒性的贡献。
2026-04-15 cs.AI cs.RO cs.SY
Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning
SINTEF Digital（SINTEF数字研究院）；NTNU（挪威科技大学）；Sopra Steria Applications（索拉斯特里亚应用公司）
本文提出基于强化学习联合整定MPC元参数的框架，通过事件触发与双模式控制同时优化性能和功耗，在倒立摆任务上较最佳MPC基线减少36%计算时间并提升18.4%性能。
2021-11-07 cs.LG cs.RO cs.SY
Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control
Wageningen University & Research（瓦赫宁根大学与研究）；Delft Center for Systems and Control (DCSC), Delft University of Technology（代尔夫特理工大学系统与控制中心）；Wageningen Research（瓦赫宁根研究）
研究温室水果生产控制问题，提出轨迹选择RL-MPC框架，将水果产量长期经济信息融入短期MPC优化，通过定义终端约束和成本求解优化问题，应用于大型温室番茄模型，提升了控制性能。
2026-07-09 cs.SY eess.SY math.OC
Effects of sampling and horizon in predictive reinforcement learning
普通强化学习（RL）可能容易失去收敛，违反约束，意外的性能等，通常，RL代理经历广泛的学习阶段，以实现可接受的功能。这与典型地基于模型的经典控制算法形成对比。研究的一个方向是RL与这些算法的融合，特别是模型预测控制（MPC）。然而，这引入了与预测范围相关的新的超参数。此外，RL通常与马尔可夫决策过程有关。但大多数真实环境都不是时间离散的。强化学习的实际物理环境由一个数字主体和一个时间连续的动力系统组成。因此，事实上，还有另一个超参数-代理采样时间。在本文中，我们调查的预测范围和采样的两个混合RL-MPC-代理的移动机器人停车，这又是一个典型的控制问题的案例研究的影响。我们用MPC的一个简单变体对代理进行基准测试。抽样显示出一种“甜蜜点”的行为，而RL代理人在较短的视野表现出的优点。
2021-08-23 cs.SY eess.SY math.DS
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital（SINTEF数字研究院）；Department of Engineering Cybernetics, NTNU（挪威科技大学工程控制论系）；Centre for Autonomous Marine Operations and Systems（自主海洋作业与系统中心）
模型预测控制（MPC）是一种功能强大的轨迹优化控制技术，能够控制复杂的非线性系统，同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度，控制MPC预测系统响应的未来距离，从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能，但需要越来越强大的计算平台，不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化，这激发了自适应时域模型预测控制（AHMPC），它根据某些标准来调整预测时域。在本文中，我们建议使用强化学习（RL）来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题，并在两个控制任务上测试我们的方法，显示出比固定时域MPC方案明显的改进，同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Cooperative Multi-Agent Constrained POMDPs: Strong Duality and Primal-Dual Reinforcement Learning with Approximate Information States
本文研究非对称信息下去中心化约束POMDP问题，建立无限时域期望总折扣成本的强对偶性，并开发基于CTDE和三时间尺度随机逼近的原始-对偶MARL框架，利用近似信息状态和神经网络函数逼近器解决多智能体约束优化学习。
2023-07-31 cs.SY eess.SY math.OC
AC4MPC: Actor-Critic Reinforcement Learning for Nonlinear Model Predictive Control
University of Freiburg（弗莱堡大学）；Delft University of Technology（代尔夫特理工大学）
本文提出AC4MPC方法，将演员-评论家强化学习与模型预测控制并行结合，利用评论家近似最优价值函数、演员展开提供初始猜测，并证明其性能优于原始强化学习策略且无需全局最优解。
2024-06-06 cs.AI cs.SY eess.SY
Reinforcement Learning and Distributed Model Predictive Control for Conflict Resolution in Highly Constrained Spaces
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种分布式算法，用于解决高度受限空间中的多车辆协同冲突问题。通过将冲突解决问题制定为多智能体强化学习（RL）问题，我们可以离线训练策略，以在简化的离散环境中安全有效地驾驶车辆驶向目的地。在在线执行过程中，每个车辆首先用训练好的策略模拟车辆之间的交互，以获得其策略，该策略用于指导参考轨迹的计算。然后，提出了一种分布式模型预测控制器（MPC）跟踪的参考，同时避免冲突。初步结果表明，RL和分布式MPC的组合有可能引导车辆安全顺利地解决冲突，同时比集中式方法的计算要求更低。
2023-02-03 cs.RO cs.SY eess.SY
Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC
College of Engineering, Carnegie Mellon University, 5000 Forbes Ave, Pittsburgh, PA 15213, USA；Wilton E. Scott Institute for Energy Innovation, Carnegie Mellon University, 5000 Forbes Ave, Pittsburgh, PA 15213, USA；Center for High Performance Buildings, Purdue University, 177 S Russell St, West Lafayette, IN 47907, USA；Trane Technologies, Residential R\&D Group, 6200 Troup Hwy, Tyler, TX 75707, USA；Bosch Center for Artificial Intelligence
研究对比强化学习与模型预测控制应用于住宅暖通空调的情况，通过在寒冷气候住宅中各部署一个月，对比两者节能效果、居住者舒适度及数据需求等，发现RL节能略优、部署工作量少但面临初始化等困难。
2026-07-20 cs.LG cs.SY eess.SY
