Developing parsimonious ensembles using ensemble diversity within a reinforcement learning framework
University of West Georgia（西佐治亚大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
从各种各样和大量不同的基础预测因子的预测中构建的异质系综代表了一种有效的方法，用于为理想的基础/个体预测因子可能不明显的问题构建预测模型。包围选择在这里是一种特别有前途的方法，不仅用于提高预测性能，而且还因为它能够选择一个共同的预测子集，通常是一个相对较小的基本预测因子。在本文中，我们提出了一套算法，明确地将集成多样性，一个已知的因素影响预测性能的合奏，到一个强化学习框架集成选择。我们在几个具有挑战性的问题和相关的数据集上严格测试了这些方法，结果表明，其中几个方法产生的总体结果比那些没有明确考虑多样性的方法更准确。更重要的是，这些融合多样性的合奏团的规模要小得多，即，比后一种合奏更吝啬。这最终可以帮助解释或逆向工程的预测模型同化到所得到的合奏。
2021-02-25 cs.LG stat.ML
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Understanding Self-Predictive Learning for Reinforcement Learning
DeepMind（深度思维）；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
本研究揭示自预测学习中优化动态设计对防止表示坍缩的关键作用，提出双向自预测学习算法，通过理论分析与实验验证其有效性。
2026-10-06 cs.AI cs.LG stat.ML
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Calibrated Model-Based Deep Reinforcement Learning
Stanford University（斯坦福大学）；Afresh Technologies（Afresh科技公司）
预测不确定性的估计对于精确的基于模型的规划和强化学习是重要的。然而，预测的不确定性-特别是来自现代深度学习系统的不确定性-可能是不准确的，并对性能造成瓶颈。本文探讨了基于模型的强化学习需要哪些不确定性，并认为必须校准好的不确定性，即它们的概率应该与预测事件的经验频率相匹配。我们描述了一种简单的方法来增强任何基于基于模型的强化学习代理与校准模型，并表明这样做一贯提高规划，样本的复杂性和探索。在\textsc{HalfCheetah} MuJoCo任务上，我们的系统使用比当前领先方法少50%的样本实现了最先进的性能。我们的研究结果表明，校准可以提高性能的基于模型的强化学习与最小的计算和实现开销。
2019-06-19 cs.LG stat.ML
Model predictive control-based value estimation for efficient reinforcement learning
Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）
针对强化学习环境交互需求大、样本效率低的问题，提出基于模型预测控制的数据驱动环境建模与多步价值估计方法，提升学习与收敛效率并减少回放缓冲区容量。
2024-04-11 cs.LG
Comparison of Model Predictive and Reinforcement Learning Methods for Fault Tolerant Control
Vanderbilt University（范德堡大学）；Institute of Software Integrated Systems, Vanderbilt University（范德堡大学软件集成系统研究所）
容错控制器的一个理想的属性是适应系统的变化，因为它们在系统运行过程中演变。自适应控制器不需要枚举可能的故障的最优控制策略。相反，它可以实时近似一个。针对离散时间系统，提出了两种基于递阶强化学习的自适应容错控制方案。我们比较它们的性能对模型预测控制器存在传感器噪声和持续故障。在C-130飞机的油箱模型上对控制器进行了测试。我们的实验表明，基于强化学习的控制器比模型预测控制器在故障，部分可观测系统模型和不同的传感器噪声水平下表现得更鲁棒。
2020-08-10 cs.AI cs.LG cs.SY
Learning When to Drive in Intersections by Combining Reinforcement Learning and Model Predictive Control
Zenuity AB（泽纽蒂公司）；Chalmers University of Technology（查尔姆斯理工大学）；AI Innovation of Sweden（瑞典人工智能创新中心）
在本文中，我们提出了一个决策算法，旨在自动车辆谈判与其他可能的非自动车辆在十字路口。决策算法分为两个部分：基于强化学习的高层决策模块和基于模型预测控制的底层规划模块。交通模拟与许多预定义的驾驶员的行为和意图，和所提出的决策算法的性能进行了评估对另一个控制器。结果表明，所提出的决策算法产生更短的训练集和提高性能的成功率相比，其他控制器。
2019-08-01 cs.AI cs.LG cs.RO
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
Mila, McGill University（蒙特利尔大学Mila实验室）；ServiceNow Research（ServiceNow研究）；Qualcomm Research（高通研究）
本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。
2026-10-07 cs.LG
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University（北京师范大学）
针对视觉深度强化学习中高维图像输入问题，受自然语言处理等启发，提出基于掩码预测的自监督任务作辅助，结合transformer提升强化学习样本效率，在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning
Yale University（耶鲁大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
基于模型的强化学习算法的实质性进展受到收集数据引起的模型偏差的阻碍，这通常会损害性能。同时，它们固有的样本效率保证了大多数机器人应用的实用性，限制了训练期间对机器人及其环境的潜在损害。受信息理论模型预测控制和深度强化学习进展的启发，我们引入了模型预测演员-评论家（MoPAC），这是一种基于模型/无模型的混合方法，将模型预测推出与策略优化相结合，以减轻模型偏差。MoPAC利用最优轨迹来指导策略学习，但通过其无模型方法进行探索，使算法能够学习更具表现力的动态模型。这种组合保证了最佳的技能学习，直到近似误差，并减少了与环境的必要物理交互，使其适用于真实的机器人训练。我们提供了大量的结果，展示了我们提出的方法通常如何优于当前最先进的技术，并通过评估MoPAC在执行阀门旋转和手指步态的物理机器人手上学习得出结论-这是一项需要抓取，操纵然后重新抓取物体的任务。
2021-03-25 cs.LG cs.RO
A Meta Reinforcement Learning Approach for Predictive Autoscaling in the Cloud
Ant Group（蚂蚁集团）
预测性自动缩放（具有工作负载预测的自动缩放）是一种重要的机制，它支持根据云中波动的工作负载需求自主调整计算资源。在最近的工作中，强化学习（RL）已被引入作为一种有前途的方法来学习资源管理策略，以指导在动态和不确定的云环境下的缩放动作。然而，RL方法在引导预测自动缩放方面面临以下挑战，例如决策缺乏准确性，采样效率低下以及工作负载模式的显著变化可能导致策略在测试时失败。为此，我们提出了一种基于端到端预测Meta模型的强化学习算法，旨在优化资源分配以保持稳定的CPU利用率水平，该算法采用了专门设计的深度周期性工作负载预测模型作为输入，并嵌入了神经过程来指导云中众多应用服务的最佳扩展操作的学习。我们的算法不仅保证了缩放策略的可预测性和准确性，而且使缩放决策能够以高样本效率适应不断变化的工作负载。与现有算法相比，我们的方法实现了显着的性能改进，并已在支付宝上在线部署，支持世界领先的支付平台的应用程序的自动缩放。
2022-05-31 cs.LG
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley（加州大学伯克利分校）
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证，他们往往是不切实际的，在更高的维度，由于它们依赖于枚举的状态动作空间。因此，复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中，我们考虑了具有挑战性的Atari游戏领域，它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略，包括汤普森采样和玻尔兹曼勘探，并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型，我们能够开发一种可扩展且有效的探索奖金方法，该方法可应用于具有复杂高维状态空间的任务。在雅达利领域，我们的方法提供了最一致的改进，在一系列的游戏，构成了一个重大的挑战，以前的方法。除了原始游戏分数，我们还为Atari学习领域开发了AUC-100指标，以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Predictive Synthesis of Quantum Materials by Probabilistic Reinforcement Learning
Argonne National Laboratory（阿贡国家实验室）；University of Southern California（南加州大学）
预测材料合成是实现新型功能材料和量子材料的主要瓶颈。有前途的材料的合成策略目前是通过耗时的试错法来确定的，并且没有已知的预测方案来设计新材料的合成参数。我们使用强化学习来预测最佳合成时间表，即温度和反应物浓度等反应条件的时间序列，用于使用化学气相沉积合成原型量子材料，半导体单层MoS $_{2}$。将预测性增强贫化剂与深度生成模型耦合，以捕获CVD合成期间合成的MoS $_{2}$的结晶度和相组成作为时间依赖性合成条件的函数。该模型，训练10000计算合成模拟，成功地学习了阈值温度和化学势的化学反应的开始，并预测新的合成时间表，生产良好的硫化结晶和相位纯的二硫化钼$_{2}$，这是通过计算合成模拟验证。该模型可以扩展到预测包括多相异质结构的复杂结构的合成轮廓，并且还可以预测反应系统的长时间行为，远远超出用于训练模型的MD模拟的范围，使得这些预测与实验合成直接相关。
2020-09-14 cond-mat.mtrl-sci cs.LG physics.chem-ph
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds
本文提出一种结合预测控制与强化学习的四足机器人动力学方法，通过引入拉格朗日神经网络提升物理一致性，实现高效计算和更优任务性能。
2026-03-15 cs.LG cs.RO
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Accelerating Deep Reinforcement Learning With the Aid of Partial Model: Energy-Efficient Predictive Video Streaming
University of Southampton（南安普顿大学）；Beihang University（北京航空航天大学）
预测功率分配被设想用于使用深度强化学习的移动网络上的节能视频流。目标是在避免视频回放中断的约束下，最小化每个基站在完整视频流会话上的累积能量消耗。为了处理连续的状态空间和动作空间，我们采用深度确定性策略梯度（DDPG）算法来解决问题。与先前的预测性功率分配策略（首先利用历史数据预测未来信息，然后基于预测的信息优化功率分配）相比，所提出的策略以在线和端到端的方式操作。通过明智地设计仅依赖于缓慢变化的平均信道增益的动作和状态，我们减少了边缘服务器和基站之间的信令开销，并且使得更容易学习好的策略。为了进一步避免整个学习过程中的播放中断，提高收敛速度，我们利用部分已知的系统动力学模型，通过将安全层，决策后状态和虚拟体验的概念集成到基本的DDPG算法。我们的仿真结果表明，所提出的政策收敛到最优的政策，这是基于完美的大规模信道预测和预测误差的存在下优于第一预测，然后优化的政策。通过利用部分已知的模型，可以显着提高收敛速度。
2020-11-05 cs.LG cs.NI eess.SP
Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning
Sungkyunkwan University（顺天乡大学）
本文提出自预测动力学（SPD）方法，通过并行弱增强与强增强并预测双向转移来学习任务相关表征，从而提升视觉强化学习在未见观测下的泛化能力，并在 MuJoCo 和 CARLA 任务中验证其优越性。
2025-06-05 cs.AI cs.CV cs.LG
Predictive Representations for Skill Transfer in Reinforcement Learning
Imperial College（帝国理工学院）；UCL（伦敦大学学院）
本文提出基于状态抽象的预测状态表示，用于提升强化学习中的技能转移能力，通过引入基于选项的抽象动作实现跨任务的知识迁移。
2026-04-08 cs.LG
PAC Reinforcement Learning for Predictive State Representations
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示（PSRs）模型，这是一个表达模型，捕获其他知名的模型，如部分可观察马尔可夫决策过程（POMDP）。PSR使用未来观测的一组预测来表示状态，并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR，可以学习一个接近最优的政策，在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作，以扩展到具有潜在的大状态和观测空间的系统。我们表明，给定一个可实现的模型类，学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系，而不依赖于状态空间和观测空间的大小。值得注意的是，我们的工作是第一个工作，显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后，我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型，包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs，POMDPs与低秩潜在的过渡，和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
PI-QT-Opt: Predictive Information Improves Multi-Task Robotic Reinforcement Learning at Scale
Google Research（谷歌研究院）
预测信息，即过去和未来之间的互信息，已被证明是训练强化学习代理的有用的表示学习辅助损失，因为建模接下来会发生什么的能力对于许多控制任务的成功至关重要。虽然现有的研究在很大程度上局限于在模拟中的单任务设置上训练专业代理，但在这项工作中，我们研究了机器人代理的预测信息建模及其对通用代理的重要性，这些代理经过训练，可以从大量数据中掌握大量不同技能。具体来说，我们引入了预测信息QT-Opt（PI-QT-Opt），这是一个增强了辅助损失的QT-Opt代理，它学习预测信息的表示，以解决模拟和现实世界中多达297个基于视觉的机器人操作任务。我们证明，建模的预测信息显着提高了成功率的训练任务，并导致更好的zero-shot转移到看不见的新任务。最后，我们在真实机器人上评估了PI-QT-Opt，在不同环境，技能和多任务配置的多个实验设置中，QT-Opt实现了实质性和一致的改进。
2022-11-25 cs.AI cs.IT cs.LG
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Efficient Deep Reinforcement Learning with Predictive Processing Proximal Policy Optimization
Radboud University（拉德堡德大学）；Fraunhofer Institute for Solar Energy Systems（弗劳恩霍夫太阳能系统研究所）
受神经科学预测处理理论启发，提出集成世界模型的P4O强化学习智能体，在单GPU的多款Atari游戏中性能优于基线循环PPO及同期前沿方法，部分游戏超人类水平，提升了强化学习的样本与计算效率。
2024-01-29 cs.AI cs.LG
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
DeepSafeMPC: Deep Learning-Based Model Predictive Control for Safe Multi-Agent Reinforcement Learning
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
针对多智能体强化学习中安全保障难、MPC因环境动力学复杂应用有限的问题，提出DeepSafeMPC方法，用集中式深度学习模型预测环境动力学，结合MARL寻优与MPC约束动作安全，在Safe Multi-agent MuJoCo上验证了有效性。
2024-03-12 cs.AI cs.LG cs.SY
Reinforcement Learning over Predictive Distributions for LLM Regression
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（人工智能研究院）
本文提出Distribution-Aware Reward，一种基于预测分布的强化学习方法，旨在提升语言模型在回归任务中的预测分布质量，而非仅优化单个解码输出。通过连续排名概率分数评估多个解码样本的分布，并基于每个rollout对分布质量的边际贡献分配信用，从而提升预测的准确性和分散性。实验表明，该方法在多个任务中优于监督微调和点wise强化学习基线，尤其在KBSS数据集上Spearman相关性提升6点。
2026-10-07 cs.AI cs.CL cs.LG
Predictive-State Decoders: Encoding the Future into Recurrent Networks
The Robotics Institute, Carnegie-Mellon University（卡内基梅隆大学机器人研究所）；School of Interactive Computing, Georgia Institute of Technology（佐治亚理工学院交互计算学院）
递归神经网络（RNN）是一种重要的建模技术，它依赖于通过优化监督、无监督或强化训练损失间接学习的内部状态。RNN用于对动态过程进行建模，这些动态过程的特征在于潜在的潜在状态，其形式通常是未知的，从而排除了RNN内部的分析表示。在预测状态表示（PSR）的文献中，潜在的状态过程建模的内部状态表示，直接模拟未来的观察结果的分布，在这方面的最新工作依赖于明确表示和针对充分统计量，这个概率分布。我们试图通过使用预测状态解码器（PSD）来增强现有的最先进的递归神经网络，从而结合RNN和PSR的优势，PSD为网络的内部状态表示添加监督，以预测未来的观察结果。预测状态解码器易于实现，并且可以通过额外的损失正则化轻松集成到现有的训练管道中。我们证明了PSD的有效性与实验结果在三个不同的领域：概率过滤，模仿学习和强化学习。在每一种情况下，我们的方法都提高了最先进的经常性基线的统计性能，并且使用更少的迭代和更少的数据。
2017-09-25 cs.LG stat.ML
Information Theoretic Model Predictive Q-Learning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
无模型强化学习（RL）在经验可以廉价收集时效果很好，而基于模型的RL在系统动态可以精确建模时是有效的。然而，这两个假设都可能在现实世界的问题中被违反，例如机器人技术，其中查询系统可能是昂贵的，并且现实世界的动态可能难以建模。与RL相比，模型预测控制（MPC）算法使用模拟器在线优化简单的策略类，构建一个可以有效应对真实世界动态的闭环控制器。MPC性能通常受到模型偏差和优化范围有限等因素的限制。在这项工作中，我们提出了一种新的理论联系信息理论MPC和熵正则化RL和开发一个Q-学习算法，可以利用偏置模型。我们验证了所提出的算法在模拟到模拟控制任务，展示了最优控制和强化学习从头开始的改进。我们的方法为系统地在真实系统上部署强化学习算法铺平了道路。
2020-05-05 cs.LG cs.RO stat.ML
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control
针对视觉连续控制的样本高效策略学习难题，本文提出OG-SPR算法，结合多步隐自预测与下一观测预测，通过轻量适配器优化表示，在DeepMind Control Suite的28项任务中优于现有最优方法。
2026-08-07 cs.LG cs.RO
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出动态模型预测屏蔽（DMPS），通过局部规划器与神经策略协同优化恢复动作，在保证可证明安全的同时减少保守性，收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning
FAIR at Meta（Meta 的 FAIR）；ETH Zurich（苏黎世联邦理工学院）
该研究提出TD-JEPA框架，通过时序差分学习从离线无奖励数据中学习跨多策略的长期潜变量预测表示，实现测试时任意奖励函数的零样本优化，在13个数据集的多类任务上达到或超越SOTA，尤其在像素级零样本RL中表现优异。
2025-10-01 cs.LG
End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；JARA-ENERGY（JARA能源研究中心）
本文提出端到端强化学习Koopman替代模型用于经济非线性模型预测控制，在连续搅拌釜反应器应用中优于系统辨识模型，且无需重训即可适应控制变化。
2024-08-01 cs.LG cs.SY eess.SY
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑的问题，设计一个算法，让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题：模型预测控制（MPC）和强化学习（RL）。在本文中，我们首先建立了国家的最先进的MPC和RL为基础的技术，通过模拟的优点和缺点。我们表明，从安全性和对分布外流量模式的鲁棒性的角度来看，RL代理的性能比MPC解决方案差，即，RL代理在训练期间没有看到的流量模式。另一方面，在效率和乘客舒适度方面，RL代理的性能优于MPC解决方案。随后，我们提出了一种算法，该算法将无模型RL代理与MPC解决方案相结合，并表明它在所有指标-乘客舒适度，效率，碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
强化学习（RL）最近在各个领域取得了巨大的成功。然而，奖励函数的设计需要详细的领域专业知识和繁琐的微调，以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而，稀疏奖励本身就代表了一个挑战，通常会导致智能体的训练失败。因此，在本文中，我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造，而不使用昂贵的人类示范，这也将适用于广泛的领域。因此，我们建议使用模型预测控制~（MPC）作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造，我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外，我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明，MPC作为一个经验源，提高了代理的学习过程中，对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
Safe Reinforcement Learning using Data-Driven Predictive Control
Ain Shams University（艾因夏姆斯大学）；Jacobs University（雅各布大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强化学习（RL）算法可以在决策和连续控制任务中实现最先进的性能。然而，由于许多RL算法的探索性质，特别是当机器人模型和环境未知时，在安全关键系统上应用RL算法仍然需要很好地证明。为了应对这一挑战，我们提出了一个数据驱动的安全层，充当不安全操作的过滤器。安全层使用数据驱动的预测控制器来在训练期间和部署之后强制执行RL策略的安全保证。RL代理提出一个动作，通过计算数据驱动的可达性分析进行验证。如果使用建议动作的机器人的可达集之间存在交集，则调用数据驱动的预测控制器来找到与建议的不安全动作最接近的安全动作。如果建议的动作是不安全的，则安全层惩罚RL代理，并将其替换为最安全的动作。在模拟中，我们表明，我们的方法优于国家的最先进的安全RL方法的机器人导航问题的海龟机器人3在凉亭和四旋翼机在虚幻引擎4（UE4）。
2022-11-20 cs.LG cs.RO cs.SY
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital（SINTEF数字研究院）；Department of Engineering Cybernetics, NTNU（挪威科技大学工程控制论系）；Centre for Autonomous Marine Operations and Systems（自主海洋作业与系统中心）
模型预测控制（MPC）是一种功能强大的轨迹优化控制技术，能够控制复杂的非线性系统，同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度，控制MPC预测系统响应的未来距离，从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能，但需要越来越强大的计算平台，不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化，这激发了自适应时域模型预测控制（AHMPC），它根据某些标准来调整预测时域。在本文中，我们建议使用强化学习（RL）来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题，并在两个控制任务上测试我们的方法，显示出比固定时域MPC方案明显的改进，同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids
Delft University of Technology（代尔夫特理工大学）
本研究提出集成强化学习与模型预测控制的方法，通过解耦离散与连续变量决策，用RL确定离散变量并简化MPC的在线优化问题，定义解耦Q函数提升组合动作空间学习可处理性，在微电网中实现计算时间减少且保持性能。
2025-04-14 cs.AI cs.LG cs.SY
Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for De-Novo Drug Design
University of North Carolina（北卡罗来纳大学）；UNC Eshelman School of Pharmacy（北卡罗来纳大学埃谢尔曼药学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一种新的计算策略从头设计的分子所需的属性称为ReLeaSE（强化学习结构进化）。基于深度和强化学习方法，ReLeaSE集成了两个深度神经网络-生成和预测-分别训练，但联合使用以生成新的目标化学库。ReLeaSE只使用分子的SMILES字符串来简单表示分子。生成模型与堆栈增强记忆网络进行训练，以产生化学上可行的SMILES字符串，并推导出预测模型来预测从头生成的化合物的所需性质。在该方法的第一阶段，生成和预测模型分别训练与监督学习算法。在第二阶段，两个模型都与强化学习方法联合训练，以使新化学结构的生成偏向于具有所需物理和/或生物特性的化学结构。在概念验证研究中，我们采用了ReLeaSE方法来设计偏向结构复杂性或偏向具有最大、最小或特定范围物理特性（如熔点或疏水性）的化合物的化学文库，并开发新型JAK 2推定抑制剂。本文提出的方法可用于生成针对单一所需性质或多种性质优化的新型化合物的靶向化学文库。
2018-05-31 cs.AI cs.LG stat.ML
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
SINTEF Digital；NTNU（挪威科技大学）
在控制应用中，通常需要对控制器的复杂性和性能以及可用的计算资源进行折衷。例如，嵌入式控制应用中的典型硬件平台是具有有限存储器和处理能力的微控制器，并且对于电池供电的应用，控制系统可以占能量消耗的显著部分。我们提出了一个控制器的架构，其中的计算成本是明确优化的控制目标。这是通过一个三部分架构来实现的，在该架构中，高级的、计算上昂贵的控制器生成计划，计算上更简单的控制器通过补偿预测误差来执行该计划，而重新计算策略决定何时应该重新计算该计划。在本文中，我们采用模型预测控制（MPC）作为高级计划生成控制器，线性状态反馈控制器作为简单的补偿控制器，强化学习（RL）学习重新计算的政策。两个例子的仿真结果展示了该架构的能力，以改善MPC的方法，并找到合理的妥协权衡性能的控制目标和计算资源的消耗。
2020-11-26 cs.LG cs.SY eess.SY
Wavelet Predictive Representations for Non-Stationary Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Microsoft Research AI Frontiers（微软研究院人工智能前沿）；University of the Sunshine Coast（阳光海岸大学）
针对非平稳强化学习中现有方法对高度动态场景适应性有限的问题，提出基于小波域预测表示的WISDOM方法，结合小波多尺度特征捕捉与小波TD更新算子，在样本效率和渐近性能上均优于现有基线。
2025-10-06 cs.LG
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
Vrije Universiteit Brussel（布鲁塞尔自由大学）；ABB N.V.（ABB公司）
本文在真实住宅电气装置上验证了带安全层的强化学习、决策树控制策略与模型预测控制等家庭能源管理方法，发现TreeC成本与基准相当且运行最安全，而强化学习成本较高但安全层支持在线训练。
2024-11-25 cs.AI cs.LG cs.NE
Safety Aware Autonomous Path Planning Using Model Predictive Reinforcement Learning for Inland Waterways
University of Antwerp（安特卫普大学）；imec
本文提出模型预测强化学习（MPRL）方法，用于内河航道自主路径规划，通过占用栅格地图处理任意水道和障碍物，在测试中优于Frenet框架和PPO方法，实现安全无碰撞导航。
2023-11-16 cs.LG
Dynamic Non-Prehensile Object Transport via Model-Predictive Reinforcement Learning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
针对有限真实演示下的机器人动态非抓取式物体运输任务，提出结合批量强化学习与模型预测控制的方法，预训练价值函数集成并在线用于不确定性感知MPC，实现鲁棒性与新物体泛化，减少演示负担。
2024-11-27 cs.LG cs.RO
