Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
Mila, McGill University（蒙特利尔大学Mila实验室）；ServiceNow Research（ServiceNow研究）；Qualcomm Research（高通研究）
本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。
2026-10-07 cs.LG
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Feature Engineering for Predictive Modeling using Reinforcement Learning
IBM TJ Watson Research Center（IBM 托马斯·J·沃森研究中心）
特征工程是预测建模过程中至关重要的一步。它涉及给定特征空间的变换，通常使用数学函数，目的是减少给定目标的建模误差。然而，没有明确的基础来执行有效的特征工程。它涉及领域知识，直觉，最重要的是，一个漫长的试错过程。监督这一过程所涉及的人类注意力极大地影响了模型生成的成本。我们提出了一个新的框架，自动化功能工程。它基于对转换图的性能驱动探索，该转换图系统且紧凑地列举了给定选项的空间。通过对过去的例子进行强化学习，得到了一种高效的探索策略。
2017-09-21 cs.AI cs.LG stat.ML
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University（北京师范大学）
针对视觉深度强化学习中高维图像输入问题，受自然语言处理等启发，提出基于掩码预测的自监督任务作辅助，结合transformer提升强化学习样本效率，在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Predictive Maintenance for Edge-Based Sensor Networks: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
关键任务设备的故障会中断生产并造成金钱损失。通过对创收资产进行预测性维护，可以最大限度地降低计划外设备停机的风险，以确保设备的最佳性能和安全运行。然而，设备的增加的传感器化产生了大量的数据，并且现有的基于机器学习的预测模型本身对于及时的设备状况预测变得不足够。本文提出了一种无模型的深度强化学习算法，用于基于设备的传感器网络上下文的预测性设备维护。在每个设备内，传感器设备聚集原始传感器数据，并且针对异常事件分析设备健康状态。与传统的黑盒回归模型不同，该算法可以自学习最优维护策略，并为每个设备提供可操作的建议。我们的实验结果表明，更广泛的设备维护应用的自动学习框架的潜力。
2020-07-07 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning
Yale University（耶鲁大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
基于模型的强化学习算法的实质性进展受到收集数据引起的模型偏差的阻碍，这通常会损害性能。同时，它们固有的样本效率保证了大多数机器人应用的实用性，限制了训练期间对机器人及其环境的潜在损害。受信息理论模型预测控制和深度强化学习进展的启发，我们引入了模型预测演员-评论家（MoPAC），这是一种基于模型/无模型的混合方法，将模型预测推出与策略优化相结合，以减轻模型偏差。MoPAC利用最优轨迹来指导策略学习，但通过其无模型方法进行探索，使算法能够学习更具表现力的动态模型。这种组合保证了最佳的技能学习，直到近似误差，并减少了与环境的必要物理交互，使其适用于真实的机器人训练。我们提供了大量的结果，展示了我们提出的方法通常如何优于当前最先进的技术，并通过评估MoPAC在执行阀门旋转和手指步态的物理机器人手上学习得出结论-这是一项需要抓取，操纵然后重新抓取物体的任务。
2021-03-25 cs.LG cs.RO
A Meta Reinforcement Learning Approach for Predictive Autoscaling in the Cloud
Ant Group（蚂蚁集团）
预测性自动缩放（具有工作负载预测的自动缩放）是一种重要的机制，它支持根据云中波动的工作负载需求自主调整计算资源。在最近的工作中，强化学习（RL）已被引入作为一种有前途的方法来学习资源管理策略，以指导在动态和不确定的云环境下的缩放动作。然而，RL方法在引导预测自动缩放方面面临以下挑战，例如决策缺乏准确性，采样效率低下以及工作负载模式的显著变化可能导致策略在测试时失败。为此，我们提出了一种基于端到端预测Meta模型的强化学习算法，旨在优化资源分配以保持稳定的CPU利用率水平，该算法采用了专门设计的深度周期性工作负载预测模型作为输入，并嵌入了神经过程来指导云中众多应用服务的最佳扩展操作的学习。我们的算法不仅保证了缩放策略的可预测性和准确性，而且使缩放决策能够以高样本效率适应不断变化的工作负载。与现有算法相比，我们的方法实现了显着的性能改进，并已在支付宝上在线部署，支持世界领先的支付平台的应用程序的自动缩放。
2022-05-31 cs.LG
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI（IBM研究人工智能部门（注：IBM Research AI是IBM Research的一部分，通常译为IBM研究人工智能部门或IBM人工智能研究院，但根据机构粒度要求，提取到公司/研究院级别，这里IBM本身是公司，Research AI可视为其研究部门））
建立一个好的预测模型需要一系列的活动，如数据填补，特征转换，估计选择，超参数搜索和集成建设。由于选项的空间大、复杂和异质，现成的优化方法对于现实的响应时间是不可行的。在实践中，大部分预测建模过程是由经验丰富的数据科学家进行的，他们有选择地使用可用的工具。随着时间的推移，他们对操作员的行为有了理解，并在不确定的情况下进行系列决策，通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求，需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统，称为APRL（自主预测建模通过强化学习），它使用过去的经验，通过强化学习优化这种顺序决策，从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反，其他系统首先最大化单个模型的准确性，并创建集成作为断开的后处理步骤。因此，APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Predictive Synthesis of Quantum Materials by Probabilistic Reinforcement Learning
Argonne National Laboratory（阿贡国家实验室）；University of Southern California（南加州大学）
预测材料合成是实现新型功能材料和量子材料的主要瓶颈。有前途的材料的合成策略目前是通过耗时的试错法来确定的，并且没有已知的预测方案来设计新材料的合成参数。我们使用强化学习来预测最佳合成时间表，即温度和反应物浓度等反应条件的时间序列，用于使用化学气相沉积合成原型量子材料，半导体单层MoS $_{2}$。将预测性增强贫化剂与深度生成模型耦合，以捕获CVD合成期间合成的MoS $_{2}$的结晶度和相组成作为时间依赖性合成条件的函数。该模型，训练10000计算合成模拟，成功地学习了阈值温度和化学势的化学反应的开始，并预测新的合成时间表，生产良好的硫化结晶和相位纯的二硫化钼$_{2}$，这是通过计算合成模拟验证。该模型可以扩展到预测包括多相异质结构的复杂结构的合成轮廓，并且还可以预测反应系统的长时间行为，远远超出用于训练模型的MD模拟的范围，使得这些预测与实验合成直接相关。
2020-09-14 cond-mat.mtrl-sci cs.LG physics.chem-ph
Learning When to Drive in Intersections by Combining Reinforcement Learning and Model Predictive Control
Zenuity AB（泽纽蒂公司）；Chalmers University of Technology（查尔姆斯理工大学）；AI Innovation of Sweden（瑞典人工智能创新中心）
在本文中，我们提出了一个决策算法，旨在自动车辆谈判与其他可能的非自动车辆在十字路口。决策算法分为两个部分：基于强化学习的高层决策模块和基于模型预测控制的底层规划模块。交通模拟与许多预定义的驾驶员的行为和意图，和所提出的决策算法的性能进行了评估对另一个控制器。结果表明，所提出的决策算法产生更短的训练集和提高性能的成功率相比，其他控制器。
2019-08-01 cs.AI cs.LG cs.RO
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds
本文提出一种结合预测控制与强化学习的四足机器人动力学方法，通过引入拉格朗日神经网络提升物理一致性，实现高效计算和更优任务性能。
2026-03-15 cs.LG cs.RO
Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning
Sungkyunkwan University（顺天乡大学）
本文提出自预测动力学（SPD）方法，通过并行弱增强与强增强并预测双向转移来学习任务相关表征，从而提升视觉强化学习在未见观测下的泛化能力，并在 MuJoCo 和 CARLA 任务中验证其优越性。
2025-06-05 cs.AI cs.CV cs.LG
Predictive Representations for Skill Transfer in Reinforcement Learning
Imperial College（帝国理工学院）；UCL（伦敦大学学院）
本文提出基于状态抽象的预测状态表示，用于提升强化学习中的技能转移能力，通过引入基于选项的抽象动作实现跨任务的知识迁移。
2026-04-08 cs.LG
PAC Reinforcement Learning for Predictive State Representations
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示（PSRs）模型，这是一个表达模型，捕获其他知名的模型，如部分可观察马尔可夫决策过程（POMDP）。PSR使用未来观测的一组预测来表示状态，并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR，可以学习一个接近最优的政策，在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作，以扩展到具有潜在的大状态和观测空间的系统。我们表明，给定一个可实现的模型类，学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系，而不依赖于状态空间和观测空间的大小。值得注意的是，我们的工作是第一个工作，显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后，我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型，包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs，POMDPs与低秩潜在的过渡，和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
PI-QT-Opt: Predictive Information Improves Multi-Task Robotic Reinforcement Learning at Scale
Google Research（谷歌研究院）
预测信息，即过去和未来之间的互信息，已被证明是训练强化学习代理的有用的表示学习辅助损失，因为建模接下来会发生什么的能力对于许多控制任务的成功至关重要。虽然现有的研究在很大程度上局限于在模拟中的单任务设置上训练专业代理，但在这项工作中，我们研究了机器人代理的预测信息建模及其对通用代理的重要性，这些代理经过训练，可以从大量数据中掌握大量不同技能。具体来说，我们引入了预测信息QT-Opt（PI-QT-Opt），这是一个增强了辅助损失的QT-Opt代理，它学习预测信息的表示，以解决模拟和现实世界中多达297个基于视觉的机器人操作任务。我们证明，建模的预测信息显着提高了成功率的训练任务，并导致更好的zero-shot转移到看不见的新任务。最后，我们在真实机器人上评估了PI-QT-Opt，在不同环境，技能和多任务配置的多个实验设置中，QT-Opt实现了实质性和一致的改进。
2022-11-25 cs.AI cs.IT cs.LG
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学）
针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Efficient Deep Reinforcement Learning with Predictive Processing Proximal Policy Optimization
Radboud University（拉德堡德大学）；Fraunhofer Institute for Solar Energy Systems（弗劳恩霍夫太阳能系统研究所）
受神经科学预测处理理论启发，提出集成世界模型的P4O强化学习智能体，在单GPU的多款Atari游戏中性能优于基线循环PPO及同期前沿方法，部分游戏超人类水平，提升了强化学习的样本与计算效率。
2024-01-29 cs.AI cs.LG
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
DeepSafeMPC: Deep Learning-Based Model Predictive Control for Safe Multi-Agent Reinforcement Learning
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
针对多智能体强化学习中安全保障难、MPC因环境动力学复杂应用有限的问题，提出DeepSafeMPC方法，用集中式深度学习模型预测环境动力学，结合MARL寻优与MPC约束动作安全，在Safe Multi-agent MuJoCo上验证了有效性。
2024-03-12 cs.AI cs.LG cs.SY
Understanding Self-Predictive Learning for Reinforcement Learning
DeepMind（深度思维）；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
本研究揭示自预测学习中优化动态设计对防止表示坍缩的关键作用，提出双向自预测学习算法，通过理论分析与实验验证其有效性。
2026-10-06 cs.AI cs.LG stat.ML
Reinforcement Learning over Predictive Distributions for LLM Regression
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（人工智能研究院）
本文提出Distribution-Aware Reward，一种基于预测分布的强化学习方法，旨在提升语言模型在回归任务中的预测分布质量，而非仅优化单个解码输出。通过连续排名概率分数评估多个解码样本的分布，并基于每个rollout对分布质量的边际贡献分配信用，从而提升预测的准确性和分散性。实验表明，该方法在多个任务中优于监督微调和点wise强化学习基线，尤其在KBSS数据集上Spearman相关性提升6点。
2026-10-07 cs.AI cs.CL cs.LG
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg（弗赖堡大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题，本文提出MPC-RRL，将控制建模为POMDP并用循环强化学习持续自适应模型参数，在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control
针对视觉连续控制的样本高效策略学习难题，本文提出OG-SPR算法，结合多步隐自预测与下一观测预测，通过轻量适配器优化表示，在DeepMind Control Suite的28项任务中优于现有最优方法。
2026-08-07 cs.LG cs.RO
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出动态模型预测屏蔽（DMPS），通过局部规划器与神经策略协同优化恢复动作，在保证可证明安全的同时减少保守性，收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning
FAIR at Meta（Meta 的 FAIR）；ETH Zurich（苏黎世联邦理工学院）
该研究提出TD-JEPA框架，通过时序差分学习从离线无奖励数据中学习跨多策略的长期潜变量预测表示，实现测试时任意奖励函数的零样本优化，在13个数据集的多类任务上达到或超越SOTA，尤其在像素级零样本RL中表现优异。
2025-10-01 cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；JARA-ENERGY（JARA能源研究中心）
本文提出端到端强化学习Koopman替代模型用于经济非线性模型预测控制，在连续搅拌釜反应器应用中优于系统辨识模型，且无需重训即可适应控制变化。
2024-08-01 cs.LG cs.SY eess.SY
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑的问题，设计一个算法，让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题：模型预测控制（MPC）和强化学习（RL）。在本文中，我们首先建立了国家的最先进的MPC和RL为基础的技术，通过模拟的优点和缺点。我们表明，从安全性和对分布外流量模式的鲁棒性的角度来看，RL代理的性能比MPC解决方案差，即，RL代理在训练期间没有看到的流量模式。另一方面，在效率和乘客舒适度方面，RL代理的性能优于MPC解决方案。随后，我们提出了一种算法，该算法将无模型RL代理与MPC解决方案相结合，并表明它在所有指标-乘客舒适度，效率，碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
强化学习（RL）最近在各个领域取得了巨大的成功。然而，奖励函数的设计需要详细的领域专业知识和繁琐的微调，以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而，稀疏奖励本身就代表了一个挑战，通常会导致智能体的训练失败。因此，在本文中，我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造，而不使用昂贵的人类示范，这也将适用于广泛的领域。因此，我们建议使用模型预测控制~（MPC）作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造，我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外，我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明，MPC作为一个经验源，提高了代理的学习过程中，对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
Safe Reinforcement Learning using Data-Driven Predictive Control
Ain Shams University（艾因夏姆斯大学）；Jacobs University（雅各布大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强化学习（RL）算法可以在决策和连续控制任务中实现最先进的性能。然而，由于许多RL算法的探索性质，特别是当机器人模型和环境未知时，在安全关键系统上应用RL算法仍然需要很好地证明。为了应对这一挑战，我们提出了一个数据驱动的安全层，充当不安全操作的过滤器。安全层使用数据驱动的预测控制器来在训练期间和部署之后强制执行RL策略的安全保证。RL代理提出一个动作，通过计算数据驱动的可达性分析进行验证。如果使用建议动作的机器人的可达集之间存在交集，则调用数据驱动的预测控制器来找到与建议的不安全动作最接近的安全动作。如果建议的动作是不安全的，则安全层惩罚RL代理，并将其替换为最安全的动作。在模拟中，我们表明，我们的方法优于国家的最先进的安全RL方法的机器人导航问题的海龟机器人3在凉亭和四旋翼机在虚幻引擎4（UE4）。
2022-11-20 cs.LG cs.RO cs.SY
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital（SINTEF数字研究院）；Department of Engineering Cybernetics, NTNU（挪威科技大学工程控制论系）；Centre for Autonomous Marine Operations and Systems（自主海洋作业与系统中心）
模型预测控制（MPC）是一种功能强大的轨迹优化控制技术，能够控制复杂的非线性系统，同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度，控制MPC预测系统响应的未来距离，从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能，但需要越来越强大的计算平台，不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化，这激发了自适应时域模型预测控制（AHMPC），它根据某些标准来调整预测时域。在本文中，我们建议使用强化学习（RL）来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题，并在两个控制任务上测试我们的方法，显示出比固定时域MPC方案明显的改进，同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Incorporating Cognitive Biases into Reinforcement Learning for Financial Decision-Making
BITC.edu.cn（北京工业大学计算机学院）
本研究将认知偏差融入强化学习框架，旨在实现更接近人类的交易行为并提升风险调整后的收益。
2026-01-13 cs.LG econ.EM
Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids
Delft University of Technology（代尔夫特理工大学）
本研究提出集成强化学习与模型预测控制的方法，通过解耦离散与连续变量决策，用RL确定离散变量并简化MPC的在线优化问题，定义解耦Q函数提升组合动作空间学习可处理性，在微电网中实现计算时间减少且保持性能。
2025-04-14 cs.AI cs.LG cs.SY
Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世信息物理系统中心）；Indian Institute of Science（印度科学学院）；PES university（PES大学）
针对传统规则式机动规划应对真实场景多变性不足的问题，提出结合预测模型与深度强化学习的PMP-DRL模型，在NGSIM数据集模拟环境中验证其在安全舒适决策上优于规则及模仿学习模型。
2023-06-15 cs.AI cs.LG cs.RO
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning
University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
在具有未知或难以处理的动态的随机设置中，用于优化目标的基于导数的方法需要导数的估计。我们推导出一个目标，在自动微分，产生低方差无偏估计的衍生工具在任何顺序。我们的目标是兼容的任意优势估计，它允许控制的偏差和方差的任何阶导数时，使用函数逼近。此外，我们提出了一种方法来权衡偏差和方差的高阶导数贴现的影响，更遥远的因果关系。我们证明了我们的目标的正确性和实用性，在分析听话的MDP和元强化学习连续控制。
2019-09-23 cs.LG stat.ML
Biases for Emergent Communication in Multi-agent Reinforcement Learning
DeepMind（深度思维）
我们研究的问题，紧急沟通，语言出现，因为扬声器和听众必须沟通信息，以解决任务。在时间上扩展的强化学习领域中，已经证明在没有集中训练代理的情况下难以学习这种通信，部分原因是难以联合探索问题。我们为积极的信号和积极的倾听引入了归纳偏见，这缓解了这个问题。在一个简单的一步环境中，我们展示了这些偏见如何缓解学习问题。我们还将我们的方法应用到一个更广泛的环境中，表明具有这些归纳偏见的代理可以实现更好的性能，并分析由此产生的通信协议。
2019-12-11 cs.CL cs.LG cs.MA
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
本文提出一种结合因果推断与多模态表示学习的反事实奖励模型，通过反事实信任分数缓解RLHF中的多模态偏差，在假新闻检测中达到89.12%准确率并减少虚假相关性和不公平强化信号。
2025-08-27 cs.LG
Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
SINTEF Digital；NTNU（挪威科技大学）
在控制应用中，通常需要对控制器的复杂性和性能以及可用的计算资源进行折衷。例如，嵌入式控制应用中的典型硬件平台是具有有限存储器和处理能力的微控制器，并且对于电池供电的应用，控制系统可以占能量消耗的显著部分。我们提出了一个控制器的架构，其中的计算成本是明确优化的控制目标。这是通过一个三部分架构来实现的，在该架构中，高级的、计算上昂贵的控制器生成计划，计算上更简单的控制器通过补偿预测误差来执行该计划，而重新计算策略决定何时应该重新计算该计划。在本文中，我们采用模型预测控制（MPC）作为高级计划生成控制器，线性状态反馈控制器作为简单的补偿控制器，强化学习（RL）学习重新计算的政策。两个例子的仿真结果展示了该架构的能力，以改善MPC的方法，并找到合理的妥协权衡性能的控制目标和计算资源的消耗。
2020-11-26 cs.LG cs.SY eess.SY
CM-DQN: A Value-Based Deep Reinforcement Learning Model to Simulate Confirmation Bias
New York University Shanghai（上海纽约大学）
本文提出深度强化学习算法 CM-DQN，通过对正负预测误差采用不同更新策略模拟确认偏差，并在连续状态和离散状态环境中验证了确认性偏差能带来更好的学习效果。
2024-08-08 cs.LG
Developing parsimonious ensembles using ensemble diversity within a reinforcement learning framework
University of West Georgia（西佐治亚大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
从各种各样和大量不同的基础预测因子的预测中构建的异质系综代表了一种有效的方法，用于为理想的基础/个体预测因子可能不明显的问题构建预测模型。包围选择在这里是一种特别有前途的方法，不仅用于提高预测性能，而且还因为它能够选择一个共同的预测子集，通常是一个相对较小的基本预测因子。在本文中，我们提出了一套算法，明确地将集成多样性，一个已知的因素影响预测性能的合奏，到一个强化学习框架集成选择。我们在几个具有挑战性的问题和相关的数据集上严格测试了这些方法，结果表明，其中几个方法产生的总体结果比那些没有明确考虑多样性的方法更准确。更重要的是，这些融合多样性的合奏团的规模要小得多，即，比后一种合奏更吝啬。这最终可以帮助解释或逆向工程的预测模型同化到所得到的合奏。
2021-02-25 cs.LG stat.ML
Wavelet Predictive Representations for Non-Stationary Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Microsoft Research AI Frontiers（微软研究院人工智能前沿）；University of the Sunshine Coast（阳光海岸大学）
针对非平稳强化学习中现有方法对高度动态场景适应性有限的问题，提出基于小波域预测表示的WISDOM方法，结合小波多尺度特征捕捉与小波TD更新算子，在样本效率和渐近性能上均优于现有基线。
2025-10-06 cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
Vrije Universiteit Brussel（布鲁塞尔自由大学）；ABB N.V.（ABB公司）
本文在真实住宅电气装置上验证了带安全层的强化学习、决策树控制策略与模型预测控制等家庭能源管理方法，发现TreeC成本与基准相当且运行最安全，而强化学习成本较高但安全层支持在线训练。
2024-11-25 cs.AI cs.LG cs.NE
