Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids
Delft University of Technology（代尔夫特理工大学）
本研究提出集成强化学习与模型预测控制的方法，通过解耦离散与连续变量决策，用RL确定离散变量并简化MPC的在线优化问题，定义解耦Q函数提升组合动作空间学习可处理性，在微电网中实现计算时间减少且保持性能。
2025-04-14 cs.AI cs.LG cs.SY
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Learning predictive representations in autonomous driving to improve deep reinforcement learning
Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Canada, Ltd（华为技术有限公司加拿大分公司）
强化学习使用一种新的预测表示应用于自动驾驶，以完成车道标记之间的驾驶任务，其中在仿真和真实的Jackal机器人上，在看不见的测试道路上观察到性能和泛化方面的实质性好处。通过通用价值函数（GVF）来学习新颖的预测表示，以提供对未来车道居中和道路角度的策略外或反事实的预测，其形成代理的状态的紧凑表示，从而改进在线和离线强化学习中的学习，以学习使用良好地推广到不在训练数据中的道路的方法来驾驶自主车辆。仿真和现实世界的实验都表明，强化学习中的预测表示提高了学习效率，控制的平滑性和对智能体在训练期间从未显示过的道路的泛化，包括损坏的车道标记。研究发现，学习由不同时间尺度或折扣因子上的几个预测组成的预测表示大大提高了控制的性能和平滑度。Jackal机器人在两步过程中进行了训练，其中首先学习预测表示，然后是批量强化学习算法（BCQ），这些算法来自通过自动化和人工引导的环境探索收集的数据。我们的结论是，政策外的预测表示与GVF提供强化学习在现实世界的问题有很多好处。
2020-06-26 cs.LG cs.RO
Combining model-predictive control and predictive reinforcement learning for stable quadrupedal robot locomotion
针对四足机器人稳定步态生成问题，提出MPC与预测RL结合的混合控制器，以神经网络Q函数作为末端代价降低短时域计算负担，并实现无需预训练的实时稳定运动。
2023-07-15 cs.AI cs.RO cs.SY
Feature Engineering for Predictive Modeling using Reinforcement Learning
IBM TJ Watson Research Center（IBM 托马斯·J·沃森研究中心）
特征工程是预测建模过程中至关重要的一步。它涉及给定特征空间的变换，通常使用数学函数，目的是减少给定目标的建模误差。然而，没有明确的基础来执行有效的特征工程。它涉及领域知识，直觉，最重要的是，一个漫长的试错过程。监督这一过程所涉及的人类注意力极大地影响了模型生成的成本。我们提出了一个新的框架，自动化功能工程。它基于对转换图的性能驱动探索，该转换图系统且紧凑地列举了给定选项的空间。通过对过去的例子进行强化学习，得到了一种高效的探索策略。
2017-09-21 cs.AI cs.LG stat.ML
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
Vrije Universiteit Brussel（布鲁塞尔自由大学）；ABB N.V.（ABB公司）
本文在真实住宅电气装置上验证了带安全层的强化学习、决策树控制策略与模型预测控制等家庭能源管理方法，发现TreeC成本与基准相当且运行最安全，而强化学习成本较高但安全层支持在线训练。
2024-11-25 cs.AI cs.LG cs.NE
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
Predictive Maintenance for Edge-Based Sensor Networks: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
关键任务设备的故障会中断生产并造成金钱损失。通过对创收资产进行预测性维护，可以最大限度地降低计划外设备停机的风险，以确保设备的最佳性能和安全运行。然而，设备的增加的传感器化产生了大量的数据，并且现有的基于机器学习的预测模型本身对于及时的设备状况预测变得不足够。本文提出了一种无模型的深度强化学习算法，用于基于设备的传感器网络上下文的预测性设备维护。在每个设备内，传感器设备聚集原始传感器数据，并且针对异常事件分析设备健康状态。与传统的黑盒回归模型不同，该算法可以自学习最优维护策略，并为每个设备提供可操作的建议。我们的实验结果表明，更广泛的设备维护应用的自动学习框架的潜力。
2020-07-07 cs.AI cs.LG stat.ML
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University（北京师范大学）
针对视觉深度强化学习中高维图像输入问题，受自然语言处理等启发，提出基于掩码预测的自监督任务作辅助，结合transformer提升强化学习样本效率，在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；JARA-ENERGY（JARA能源研究中心）
本文提出端到端强化学习Koopman替代模型用于经济非线性模型预测控制，在连续搅拌釜反应器应用中优于系统辨识模型，且无需重训即可适应控制变化。
2024-08-01 cs.LG cs.SY eess.SY
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI（IBM研究人工智能部门（注：IBM Research AI是IBM Research的一部分，通常译为IBM研究人工智能部门或IBM人工智能研究院，但根据机构粒度要求，提取到公司/研究院级别，这里IBM本身是公司，Research AI可视为其研究部门））
建立一个好的预测模型需要一系列的活动，如数据填补，特征转换，估计选择，超参数搜索和集成建设。由于选项的空间大、复杂和异质，现成的优化方法对于现实的响应时间是不可行的。在实践中，大部分预测建模过程是由经验丰富的数据科学家进行的，他们有选择地使用可用的工具。随着时间的推移，他们对操作员的行为有了理解，并在不确定的情况下进行系列决策，通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求，需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统，称为APRL（自主预测建模通过强化学习），它使用过去的经验，通过强化学习优化这种顺序决策，从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反，其他系统首先最大化单个模型的准确性，并创建集成作为断开的后处理步骤。因此，APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
A Critical Review of Traffic Signal Control and A Novel Unified View of Reinforcement Learning and Model Predictive Control Approaches for Adaptive Traffic Signal Control
University of Toronto（多伦多大学）
近年来，已经见证了提高交通网络效率的自适应交通信号控制（ATSC）方法的实质性增长，特别是在利用基于人工智能的优化和控制算法（诸如强化学习以及常规模型预测控制）的分支中。然而，缺乏跨领域的分析和比较的有效性的应用方法在ATSC的研究限制了我们对现有的挑战和研究方向的理解。本章提出了一个新的统一的观点，现代ATSCs的共同点，以及现有的方法的差异和缺点，最终的目标，以促进交叉施肥和先进的国家的最先进的。统一的视图应用的数学语言的马尔可夫决策过程，描述了控制器设计的过程中，从世界（问题）和解决方案建模的角度。统一的观点还分析了现有研究中通常忽略的系统性问题，并提出了解决这些问题的未来潜在方向。
2022-11-26 cs.AI cs.SY eess.SY
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital（SINTEF数字研究院）；Department of Engineering Cybernetics, NTNU（挪威科技大学工程控制论系）；Centre for Autonomous Marine Operations and Systems（自主海洋作业与系统中心）
模型预测控制（MPC）是一种功能强大的轨迹优化控制技术，能够控制复杂的非线性系统，同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度，控制MPC预测系统响应的未来距离，从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能，但需要越来越强大的计算平台，不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化，这激发了自适应时域模型预测控制（AHMPC），它根据某些标准来调整预测时域。在本文中，我们建议使用强化学习（RL）来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题，并在两个控制任务上测试我们的方法，显示出比固定时域MPC方案明显的改进，同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Safe Reinforcement Learning with Nonlinear Dynamics via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）；Deapartment of Computer and Information Science（计算机与信息科学系）
强化学习是一种很有前途的方法来合成具有挑战性的机器人任务的政策。一个关键问题是如何确保学习策略的安全性-例如，步行机器人不会摔倒，或者自动驾驶汽车不会遇到障碍物。我们专注于动态已知的设置，目标是确保在模拟中训练的策略满足给定的安全约束。我们提出了一种称为模型预测屏蔽（MPS）的方法，该方法可以在学习策略和备份策略之间动态切换以确保安全性。我们证明，我们的方法保证安全性，并经验评估它的推车杆。
2020-10-21 cs.LG stat.ML
Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
SINTEF Digital；NTNU（挪威科技大学）
在控制应用中，通常需要对控制器的复杂性和性能以及可用的计算资源进行折衷。例如，嵌入式控制应用中的典型硬件平台是具有有限存储器和处理能力的微控制器，并且对于电池供电的应用，控制系统可以占能量消耗的显著部分。我们提出了一个控制器的架构，其中的计算成本是明确优化的控制目标。这是通过一个三部分架构来实现的，在该架构中，高级的、计算上昂贵的控制器生成计划，计算上更简单的控制器通过补偿预测误差来执行该计划，而重新计算策略决定何时应该重新计算该计划。在本文中，我们采用模型预测控制（MPC）作为高级计划生成控制器，线性状态反馈控制器作为简单的补偿控制器，强化学习（RL）学习重新计算的政策。两个例子的仿真结果展示了该架构的能力，以改善MPC的方法，并找到合理的妥协权衡性能的控制目标和计算资源的消耗。
2020-11-26 cs.LG cs.SY eess.SY
Safe Reinforcement Learning using Data-Driven Predictive Control
Ain Shams University（艾因夏姆斯大学）；Jacobs University（雅各布大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强化学习（RL）算法可以在决策和连续控制任务中实现最先进的性能。然而，由于许多RL算法的探索性质，特别是当机器人模型和环境未知时，在安全关键系统上应用RL算法仍然需要很好地证明。为了应对这一挑战，我们提出了一个数据驱动的安全层，充当不安全操作的过滤器。安全层使用数据驱动的预测控制器来在训练期间和部署之后强制执行RL策略的安全保证。RL代理提出一个动作，通过计算数据驱动的可达性分析进行验证。如果使用建议动作的机器人的可达集之间存在交集，则调用数据驱动的预测控制器来找到与建议的不安全动作最接近的安全动作。如果建议的动作是不安全的，则安全层惩罚RL代理，并将其替换为最安全的动作。在模拟中，我们表明，我们的方法优于国家的最先进的安全RL方法的机器人导航问题的海龟机器人3在凉亭和四旋翼机在虚幻引擎4（UE4）。
2022-11-20 cs.LG cs.RO cs.SY
Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning
Sungkyunkwan University（顺天乡大学）
本文提出自预测动力学（SPD）方法，通过并行弱增强与强增强并预测双向转移来学习任务相关表征，从而提升视觉强化学习在未见观测下的泛化能力，并在 MuJoCo 和 CARLA 任务中验证其优越性。
2025-06-05 cs.AI cs.CV cs.LG
PI-QT-Opt: Predictive Information Improves Multi-Task Robotic Reinforcement Learning at Scale
Google Research（谷歌研究院）
预测信息，即过去和未来之间的互信息，已被证明是训练强化学习代理的有用的表示学习辅助损失，因为建模接下来会发生什么的能力对于许多控制任务的成功至关重要。虽然现有的研究在很大程度上局限于在模拟中的单任务设置上训练专业代理，但在这项工作中，我们研究了机器人代理的预测信息建模及其对通用代理的重要性，这些代理经过训练，可以从大量数据中掌握大量不同技能。具体来说，我们引入了预测信息QT-Opt（PI-QT-Opt），这是一个增强了辅助损失的QT-Opt代理，它学习预测信息的表示，以解决模拟和现实世界中多达297个基于视觉的机器人操作任务。我们证明，建模的预测信息显着提高了成功率的训练任务，并导致更好的zero-shot转移到看不见的新任务。最后，我们在真实机器人上评估了PI-QT-Opt，在不同环境，技能和多任务配置的多个实验设置中，QT-Opt实现了实质性和一致的改进。
2022-11-25 cs.AI cs.IT cs.LG
A Systematic Review and Taxonomy of Reinforcement Learning-Model Predictive Control Integration for Linear Systems
Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano（电子信息生物工程系（DEIB），米兰理工大学）；Department of Applied Mathematics, Ferdowsi University of Mashhad（应用数学系，法尔德大学）；Department of Mechanical Engineering, Politecnico di Milano（机械工程系，米兰理工大学）；Department of Applied Mathematics, Faculty of Mathematical Sciences, University of Guilan（应用数学系，加林大学）；Department of Robotics and Control Engineering, Shahrood University of Technology（机器人与控制工程系，沙霍德技术大学）
本文系统综述了线性系统中强化学习与模型预测控制整合的研究，通过多维分类揭示了整合策略、挑战及方法学趋势，为相关研究提供结构化参考。
2026-08-06 cs.AI cs.RO cs.SY
Soft MPCritic: Value-Based Reinforcement Learning for Non-Differentiable Predictive Control
软MPCritic结合了强化学习与模型预测控制，通过价值空间学习和基于样本的规划实现高效控制，保留了规划 horizon 的有效性。
2026-10-14 cs.LG cs.SY eess.SY
Understanding Self-Predictive Learning for Reinforcement Learning
DeepMind（深度思维）；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
本研究揭示自预测学习中优化动态设计对防止表示坍缩的关键作用，提出双向自预测学习算法，通过理论分析与实验验证其有效性。
2026-10-06 cs.AI cs.LG stat.ML
Efficient Deep Reinforcement Learning with Predictive Processing Proximal Policy Optimization
Radboud University（拉德堡德大学）；Fraunhofer Institute for Solar Energy Systems（弗劳恩霍夫太阳能系统研究所）
受神经科学预测处理理论启发，提出集成世界模型的P4O强化学习智能体，在单GPU的多款Atari游戏中性能优于基线循环PPO及同期前沿方法，部分游戏超人类水平，提升了强化学习的样本与计算效率。
2024-01-29 cs.AI cs.LG
Reinforcement Learning over Predictive Distributions for LLM Regression
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（人工智能研究院）
本文提出Distribution-Aware Reward，一种基于预测分布的强化学习方法，旨在提升语言模型在回归任务中的预测分布质量，而非仅优化单个解码输出。通过连续排名概率分数评估多个解码样本的分布，并基于每个rollout对分布质量的边际贡献分配信用，从而提升预测的准确性和分散性。实验表明，该方法在多个任务中优于监督微调和点wise强化学习基线，尤其在KBSS数据集上Spearman相关性提升6点。
2026-10-07 cs.AI cs.CL cs.LG
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Model predictive control-based value estimation for efficient reinforcement learning
Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）
针对强化学习环境交互需求大、样本效率低的问题，提出基于模型预测控制的数据驱动环境建模与多步价值估计方法，提升学习与收敛效率并减少回放缓冲区容量。
2024-04-11 cs.LG
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning
Yale University（耶鲁大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
基于模型的强化学习算法的实质性进展受到收集数据引起的模型偏差的阻碍，这通常会损害性能。同时，它们固有的样本效率保证了大多数机器人应用的实用性，限制了训练期间对机器人及其环境的潜在损害。受信息理论模型预测控制和深度强化学习进展的启发，我们引入了模型预测演员-评论家（MoPAC），这是一种基于模型/无模型的混合方法，将模型预测推出与策略优化相结合，以减轻模型偏差。MoPAC利用最优轨迹来指导策略学习，但通过其无模型方法进行探索，使算法能够学习更具表现力的动态模型。这种组合保证了最佳的技能学习，直到近似误差，并减少了与环境的必要物理交互，使其适用于真实的机器人训练。我们提供了大量的结果，展示了我们提出的方法通常如何优于当前最先进的技术，并通过评估MoPAC在执行阀门旋转和手指步态的物理机器人手上学习得出结论-这是一项需要抓取，操纵然后重新抓取物体的任务。
2021-03-25 cs.LG cs.RO
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Predictive Synthesis of Quantum Materials by Probabilistic Reinforcement Learning
Argonne National Laboratory（阿贡国家实验室）；University of Southern California（南加州大学）
预测材料合成是实现新型功能材料和量子材料的主要瓶颈。有前途的材料的合成策略目前是通过耗时的试错法来确定的，并且没有已知的预测方案来设计新材料的合成参数。我们使用强化学习来预测最佳合成时间表，即温度和反应物浓度等反应条件的时间序列，用于使用化学气相沉积合成原型量子材料，半导体单层MoS $_{2}$。将预测性增强贫化剂与深度生成模型耦合，以捕获CVD合成期间合成的MoS $_{2}$的结晶度和相组成作为时间依赖性合成条件的函数。该模型，训练10000计算合成模拟，成功地学习了阈值温度和化学势的化学反应的开始，并预测新的合成时间表，生产良好的硫化结晶和相位纯的二硫化钼$_{2}$，这是通过计算合成模拟验证。该模型可以扩展到预测包括多相异质结构的复杂结构的合成轮廓，并且还可以预测反应系统的长时间行为，远远超出用于训练模型的MD模拟的范围，使得这些预测与实验合成直接相关。
2020-09-14 cond-mat.mtrl-sci cs.LG physics.chem-ph
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出动态模型预测屏蔽（DMPS），通过局部规划器与神经策略协同优化恢复动作，在保证可证明安全的同时减少保守性，收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification
University of Freiburg（弗莱堡大学）
本文综述了模型预测控制与强化学习的异同及互补优势，并以 actor-critic 方法为基础对现有组合算法进行分类，探讨如何利用 MPC 在线优化提升策略闭环性能。
2025-02-04 cs.AI cs.LG cs.SY
Model Predictive Control-Guided Reinforcement Learning for Implicit Balancing
IDLab, Ghent University–imec（IDLab、根特大学–imec）；Delft University of Technology, Faculty of Technology, Policy, and Management（代尔夫特理工大学、技术政策与管理学院）
针对欧洲隐性平衡场景中MPC成本高、无模型RL训练数据需求大的问题，提出MPC引导的RL方法，兼具预测融合能力与快速推理优势，在比利时电池控制场景下套利收益显著优于单一方法。
2025-10-06 cs.AI cs.SY eess.SY
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
Mila, McGill University（蒙特利尔大学Mila实验室）；ServiceNow Research（ServiceNow研究）；Qualcomm Research（高通研究）
本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。
2026-10-07 cs.LG
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑的问题，设计一个算法，让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题：模型预测控制（MPC）和强化学习（RL）。在本文中，我们首先建立了国家的最先进的MPC和RL为基础的技术，通过模拟的优点和缺点。我们表明，从安全性和对分布外流量模式的鲁棒性的角度来看，RL代理的性能比MPC解决方案差，即，RL代理在训练期间没有看到的流量模式。另一方面，在效率和乘客舒适度方面，RL代理的性能优于MPC解决方案。随后，我们提出了一种算法，该算法将无模型RL代理与MPC解决方案相结合，并表明它在所有指标-乘客舒适度，效率，碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors
KAUST（阿卜杜拉国王科技大学）
本研究针对经济模型预测控制依赖模型精度、纯强化学习控制存安全稳定性问题，提出二者结合的非线性系统在线参数估计框架，在保障闭环稳定的同时优化过程，推动反应器自主运行落地。
2021-05-06 cs.LG cs.SY eess.SY
Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
Delft University of Technology（代尔夫特理工大学）
本文提出复合梯度学习（CGL）方法，将MPC整合进DRL训练过程，通过联合动作表示和交互考虑，在强交互场景下提升控制策略性能，但平均增益有限。
2026-09-17 cs.LG cs.SY eess.SY
Reinforcement Learning with Model Predictive Control for Highway Ramp Metering
Delft Center for Systems and Control, Delft University of Technology（代尔夫特理工大学代尔夫特系统与控制中心）
本研究提出将强化学习嵌入模型预测控制框架，用于高速公路匝道控制，通过构建阶段成本函数和函数近似，在模型不确定下学习优化控制策略，减少拥堵并满足约束，性能优于其他先进控制器。
2025-02-03 cs.AI cs.SY eess.SY
A Safe Reinforcement Learning driven Weights-varying Model Predictive Control for Autonomous Vehicle Motion Control
Technical University Munich（慕尼黑工业大学）；TUM School of Engineering and Design（慕尼黑工业大学工程与设计学院）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）
针对MPC权重难以实时优化且RL学习可能不安全的问题，提出将RL动作限制在BO帕累托最优权重集的安全空间内，实现安全且性能超越帕累托前沿的变权重MPC控制。
2024-02-04 cs.AI cs.LG cs.RO
Model Predictive Control and Reinforcement Learning: A Unified Framework Based on Dynamic Programming
Arizona State University（亚利桑那州立大学）
本文提出一个基于动态规划的统一框架，通过牛顿法协同离线训练与在线对弈两个算法，连接近似动态规划、模型预测控制与强化学习，并借此阐明MPC中的稳定性、不确定性处理及自适应控制等基本问题。
2024-06-30 cs.AI cs.SY eess.SY
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds
本文提出一种结合预测控制与强化学习的四足机器人动力学方法，通过引入拉格朗日神经网络提升物理一致性，实现高效计算和更优任务性能。
2026-03-15 cs.LG cs.RO
Differentiable Model Predictive Control on the GPU
Toyota Research Institute（丰田研究院）
本文提出GPU加速的可微分MPC求解器，利用序列二次规划与三对角预条件PCG实现并行化，显著加速训练，并成功应用于极限驾驶中的稳健漂移任务。
2025-10-07 cs.LG cs.SY eess.SY
Computationally efficient Gauss-Newton reinforcement learning for model predictive control
Chair of Process Automation Systems, TU Dortmund University（多特蒙德工业大学过程自动化系统教席）；Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（挪威科技大学工程控制论系）
本文提出一种计算高效的Gauss-Newton强化学习方法，用于模型预测控制，通过消除对二阶策略导数的需求，实现超线性收敛，并通过动量基Hessian平均和自适应信任区域提升鲁棒性。
2026-04-02 cs.LG cs.SY eess.SY
A Meta Reinforcement Learning Approach for Predictive Autoscaling in the Cloud
Ant Group（蚂蚁集团）
预测性自动缩放（具有工作负载预测的自动缩放）是一种重要的机制，它支持根据云中波动的工作负载需求自主调整计算资源。在最近的工作中，强化学习（RL）已被引入作为一种有前途的方法来学习资源管理策略，以指导在动态和不确定的云环境下的缩放动作。然而，RL方法在引导预测自动缩放方面面临以下挑战，例如决策缺乏准确性，采样效率低下以及工作负载模式的显著变化可能导致策略在测试时失败。为此，我们提出了一种基于端到端预测Meta模型的强化学习算法，旨在优化资源分配以保持稳定的CPU利用率水平，该算法采用了专门设计的深度周期性工作负载预测模型作为输入，并嵌入了神经过程来指导云中众多应用服务的最佳扩展操作的学习。我们的算法不仅保证了缩放策略的可预测性和准确性，而且使缩放决策能够以高样本效率适应不断变化的工作负载。与现有算法相比，我们的方法实现了显着的性能改进，并已在支付宝上在线部署，支持世界领先的支付平台的应用程序的自动缩放。
2022-05-31 cs.LG
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Reinforcement Learning from Demonstrations by Novel Interactive Expert and Application to Automatic Berthing Control Systems for Unmanned Surface Vessel
Beijing Jiaotong Univeristy（北京交通大学）；Beijing Institude of Petrochemical Technology（北京石油化工学院）
本文提出了两种实用的演示强化学习（RLfD）方法，并将其应用于无人水面船舶自动靠泊控制系统。提出了一种新的专家数据生成方法--基于模型预测的专家（MPBE）方法，该方法将模型预测控制和深度确定性策略梯度相结合，为RLfD算法提供高质量的监督数据。首先介绍了一种简单的RLfD方法，模型预测深度确定性策略梯度（MP-DDPG），通过用MPBE代替RL代理直接与环境交互。然后分析了MP-DDPG的分布失配问题，提出了两种缓解分布失配的技术。此外，另一种新的RLfD算法的MP-DDPG的基础上，称为自引导演员-评论家（SGAC），它可以有效地利用MPBE不断查询它，以产生高质量的专家数据在线。空间新一代咨询理事会以Dagger方式解决了导致学习过程不稳定的分布不匹配问题。此外，理论分析证明了SGAC算法可以保证单调改进的收敛性。仿真结果验证了MP-DDPG算法和SGAC算法在船舶靠泊控制任务中的有效性，并与其他典型的强化学习算法和MP-DDPG算法进行了比较，显示了SGAC算法的优越性。
2022-02-23 cs.LG cs.SY eess.SY
