GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning
Morrow Company（莫尔公司）
GB-DQN通过梯度提升方法解决非平稳强化学习中的模型漂移问题，通过增量残差学习提高恢复速度和稳定性。
2025-12-18 cs.LG
CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）；BRAC University（BRAC大学）
本文针对离线强化学习中冗余数据成本高、简单子采样易丢失关键转移的问题，提出可复用的CODS数据选择方法，在D4RL、ALFWorld、GSM8K等任务上取得优异性能。
2026-08-11 cs.LG
MoRe-ERL: Learning Motion Residuals using Episodic Reinforcement Learning
提出 MoRe-ERL 框架，通过 ERL 与基于 B 样条运动基元的残差学习优化参考轨迹，在样本效率、任务性能和 sim-to-real 部署上表现优异。
2025-10-19 cs.LG cs.RO
Adaptive control of a mechatronic system using constrained residual reinforcement learning
Ghent University（根特大学）；Flanders Make（法兰德斯制造）
我们提出了一种简单，实用和直观的方法，使用深度强化学习来提高传统控制器在不确定环境中的性能，同时保持安全操作。我们的方法是出于观察，传统的控制器在工业运动控制值的鲁棒性超过自适应处理不同的操作条件，因此是次优的。另一方面，强化学习可以直接从输入输出数据中优化控制信号，从而适应操作条件，但缺乏安全保证，阻碍了其在工业环境中的使用。为了实现自适应控制，在这种情况下，使用强化学习，我们遵循的残余学习方法，其中强化学习算法学习校正适应基本控制器的输出，以增加最优性。我们研究如何约束剩余代理的行动，使利用基地控制器的鲁棒性，以保证安全运行。我们详细的算法设计，并建议限制相对于基本控制器的残留行动，以增加该方法的鲁棒性。建立在李雅普诺夫稳定性理论，我们证明了稳定性的机电一体化闭环系统的一个广泛的类别。我们验证了我们的方法实验上的曲柄滑块设置，并研究如何约束影响学习过程中的安全性和收敛后的最优性。
2021-10-06 cs.LG cs.SY eess.SY
Residual Policy Learning
MIT（麻省理工学院）
我们提出了残差策略学习（RPL）：一种使用无模型深度强化学习改进不可微策略的简单方法。RPL在复杂的机器人操作任务中蓬勃发展，其中良好但不完美的控制器可用。在这些任务中，从头开始的强化学习仍然是数据效率低下或难以处理的，但在初始控制器之上学习残差可以产生实质性的改进。我们研究RPL在六个具有挑战性的MuJoCo任务，涉及部分可观测性，传感器噪声，模型误设定，控制器误校准。对于初始控制器，我们考虑手工设计的政策和模型预测控制器与已知或学习的过渡模型。通过将学习与控制算法相结合，RPL可以执行长期的、稀疏奖励的任务，而强化学习单独无法完成这些任务。此外，我们发现，RPL一致，并大大提高了初始控制器。我们认为，RPL是一种很有前途的方法，可以结合深度强化学习和机器人控制的互补优势，推动两者独立实现的界限。视频和代码在https://k-r-allen.github.io/residual-policy-learning/。
2019-01-03 cs.LG cs.RO
Accelerating Residual Reinforcement Learning with Uncertainty Estimation
本文提出改进残差强化学习方法，通过不确定性估计提升样本效率，并使其适用于随机基策略。在Robosuite和D4RL任务中，该方法在多种模拟环境和现实部署中均表现优异。
2026-03-13 cs.AI cs.LG cs.RO
Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control
Department of Civil and Environmental Engineering, University of Wisconsin-Madison, Madison, WI, 53706, USA（土木与环境工程系，威斯尼大学麦迪逊分校）
本文提出基于知识的模型驱动残差强化学习框架，用于智能交通车辆轨迹控制，结合交通专家知识与传统控制方法，提升学习效率与交通流平滑度。
2025-02-03 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了使用函数逼近的强化学习问题，其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是：近似平方误差，贝尔曼残差，投影贝尔曼残差。提出了行动者-批评者框架下的算法，并证明其收敛。这种自适应的基础上的优势，在模拟中证明。
2010-05-02 cs.AI cs.LG
Spectral Prioritized Sweeping in Nonstationary Reinforcement Learning
Hanoi University of Science and Technology（河内科技大学）
针对非平稳奖励下优先扫描的短视问题，提出基于图拓扑增强的谱优先扫描（GTA-PS/SPS），利用拉普拉斯逆扩散残差并自适应退火，实验证明其提升重规划效率。
2026-10-27 cs.LG
Reinforcement Learning Experience Reuse with Policy Residual Representation
Nanjing University（南京大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
经验重用是样本高效强化学习的关键。其中一个关键问题是如何表现和存储体验。以前，经验可以以特征、个体模型和平均模型的形式存储，每种形式都位于不同的粒度。但是，新任务可能需要跨多个粒度的经验。在本文中，我们提出了策略剩余表示（PRR）网络，它可以提取和存储多个层次的经验。PRR网络是在一组具有多级架构的任务上训练的，其中每个级别中的模块对应于任务的子集。因此，PRR网络以类似频谱的方式表示体验。当训练一个新的任务时，PRR可以提供不同层次的经验来加速学习。我们实验PRR网络上的一组网格世界导航任务，运动任务，并在视频游戏中的战斗任务。结果表明，PRR网络导致更好地重用的经验，从而优于一些国家的最先进的方法。
2019-05-31 cs.LG stat.ML
Residual Reinforcement Learning for Robot Control
Siemens Corporation（西门子公司）；University of California, Berkeley（加州大学伯克利分校）；Hamburg University of Technology（汉堡工业大学）
传统的反馈控制方法可以非常有效地解决各种类型的机器人控制问题，通过捕获的结构与明确的模型，如刚体运动方程。然而，现代制造中的许多控制问题涉及接触和摩擦，这很难用一阶物理模型来描述。因此，将控制设计方法应用于这类问题通常会导致脆弱和不准确的控制器，必须手动调整部署。强化学习（RL）方法已被证明能够从与环境的交互中学习连续的机器人控制器，即使是包括摩擦和接触在内的问题。在本文中，我们研究如何解决困难的控制问题，在现实世界中，通过分解成一个部分，是有效地解决了传统的反馈控制方法，和剩余的解决与RL。最终的控制策略是两种控制信号的叠加。我们证明了我们的方法，通过训练代理成功地执行一个现实世界的块组装任务，涉及接触和不稳定的对象。
2018-12-18 cs.LG cs.RO
Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning
Meta Superintelligence Labs（Meta超级智能实验室）；University of Southern California（南加州大学）；Meta Recommendation System（Meta推荐系统）；Meta
针对多模态强化学习中结果奖励无法分配至各决策的问题，提出残差视觉信用优化（RVCO），通过守恒证据路由将信用按感知依赖分配，在四个模型家族和七个基准上提升准确率并保持训练稳定性。
2026-10-06 cs.CL cs.LG
Production-Ready Automated ECU Calibration using Residual Reinforcement Learning
Chair of Mechatronics in Mobile Propulsion, RWTH Aachen University（亚琛工业大学移动推进机电一体化教席）
本文提出一种基于残差强化学习的可解释方法，用于自动化ECU校准，通过硬件在环平台验证，快速生成接近参考值的校准，减少时间和人工干预。
2026-04-08 cs.LG
A priori Estimates for Deep Residual Network in Continuous-time Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有深度强化学习性能分析不适用于连续时间控制问题、无法直接估计Bellman最优损失泛化误差且需有界性假设的问题，提出基于损失函数两次变换与最大算子分解的方法，得到无维数灾难的先验泛化误差。
2024-03-07 cs.AI cs.LG
ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning
MAIS\&NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China（MAIS与NLPR，自动化研究所，中国科学院，北京，中国）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（先进交叉学科学院，中国科学院大学，北京，中国）
本文提出ResRL，通过解耦正负响应的语义分布，提升LLM推理能力同时保持生成多样性，在十二个基准测试中超越强基线，尤其在数学推理上表现更优。
2026-05-08 cs.CL cs.LG
ARBoids: Adaptive Residual Reinforcement Learning With Boids Model for Cooperative Multi-USV Target Defense
Robotics and Control Laboratory, School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University（机器人与控制实验室，先进制造与机器人学院，湍流与复杂系统国家重点实验室，北京大学）；National Innovation Institute of Defense Technology（国防技术创新研究院）
ARBoids通过结合Boids模型和深度强化学习，提出了一种自适应残差强化学习框架，用于提升多无人水下航行器在对抗性机动下的目标拦截性能。
2025-11-25 cs.CR cs.LG cs.RO
Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning
多智能体强化学习（MARL）在许多需要多个智能体合作和协调的问题中非常有用。随着代理数量的增加，在多代理环境中使用强化学习学习最优策略可能非常困难。最近的解决方案，如价值分解网络（VDN），QMIX，QTRAN和QPLEX坚持集中式训练和分散式执行方案，并执行联合行动-价值函数的因式分解。然而，这些方法仍然受到增加的环境复杂性的影响，并且有时不能以稳定的方式收敛。我们提出了一个新的概念，剩余Q网络（RQNs）的MARL，学习转换的方式，保留个别的整体最大标准（IGM）的个人Q值轨迹，但更强大的因式分解行动价值函数。RQN充当加速收敛的辅助网络，并且随着代理达到训练目标而变得过时。所提出的方法的性能进行比较，对几个国家的最先进的技术，如QPLEX，QMIX，QTRAN和VDN，在一系列的多智能体协作任务。结果表明，所提出的方法，在一般情况下，收敛速度更快，具有更高的稳定性，并在更广泛的环境中表现出强大的性能。在对不合作行为进行严厉惩罚的环境中，特别是在训练期间缺乏完整状态信息的情况下，结果的改善更为突出。
2022-05-30 cs.LG cs.MA
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）
提出一种4段8关节四元数关节缆驱动冗余机械臂配置，并利用残差强化学习实现比FABRIK算法高三个数量级的位置和方向精度控制。
2026-06-03 cs.LG cs.RO
Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们致力于基于微观数据模型的强化学习（MBRL），通过使用固定（随机射击）控制代理严格比较流行的生成模型。我们发现，在需要多模态后验预测的环境中，混合密度网络的性能远远优于所有其他模型。当不需要多模态时，我们令人惊讶的发现是，我们不需要概率后验预测：确定性模型是平等的，事实上，它们始终（尽管不显着）优于概率模型。我们还发现，训练时的异方差性，也许作为一个正则化，提高了预测在更长的视野。在方法方面，我们设计的指标和实验协议，可用于评估各种模型，预测其渐近性能时，使用它们的控制问题。使用这个框架，我们使用通常考虑的超参数区间之外的积极训练时间表，将Acrobot上MBRL的最先进样本复杂度提高了2到4倍
2021-07-24 cs.LG
Specialized Deep Residual Policy Safe Reinforcement Learning-Based Controller for Complex and Continuous State-Action Spaces
Software Competence Center Hagenberg, Data Science, Austria（哈根伯格软件中心数据科学部（奥地利））；Technological University Dublin, Computer Science, Dublin, Ireland（都柏林理工大学计算机科学系（爱尔兰都柏林））；ADAPT Research Centre, Dublin, Ireland（ADAPT研究中心（爱尔兰都柏林））
针对复杂连续状态-动作空间的安全控制挑战，提出一种专用深度残差策略安全强化学习方法，结合学习循环与输入-输出隐马尔可夫模型优化策略，实现强化学习智能体与传统控制器的同步协作，并在Tennessee Eastman过程控制中验证了有效性。
2023-10-15 cs.AI cs.LG cs.SY
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海国家应用数学中心）
梯度下降或其变体在训练神经网络中很受欢迎。然而，在具有神经网络近似的深度Q学习中，一种类型的强化学习，梯度下降（也称为残差梯度（RG））几乎没有用于解决贝尔曼残差最小化问题。相反，时间差分（TD），不完全梯度下降方法占主导地位。在这项工作中，我们进行了大量的实验，以表明TD优于RG，即当训练导致一个小的贝尔曼残差时，TD找到的解决方案具有更好的政策，对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别，即在强化学习中，小的Bellman残差对应于一个坏的策略，而在监督学习中，测试损失函数是一个衡量性能的标准指标。我们还实证研究，TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明，深度Q学习解决方案的性能与训练动态密切相关，不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Metric Residual Networks for Sample Efficient Goal-Conditioned Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能研究院）
目标条件强化学习（GCRL）具有广泛的潜在现实应用，包括机器人中的操纵和导航问题。特别是在这样的机器人任务中，样本效率对于GCRL来说是至关重要的，因为默认情况下，代理只有在达到目标时才会得到奖励。虽然已经提出了几种方法来提高GCRL的样本效率，但一种相对研究不足的方法是设计神经架构来支持样本效率。在这项工作中，我们介绍了一种新的神经架构GCRL，实现显着更好的样本效率比常用的单片网络架构。关键的见解是，最佳行动-价值函数Q^*（s，a，g）必须满足三角不等式在特定意义下。此外，我们引入了度量残差网络（MRN），故意分解的动作价值函数Q（s，a，g）到一个度量加上残差非对称分量的否定总和。MRN可证明地逼近任何最优动作-价值函数Q^*（s，a，g），因此使其成为GCRL的合适神经架构。我们在GCRL的12个标准基准环境中进行了全面的实验。实证结果表明，MRN一致优于其他国家的最先进的GCRL神经架构的样本效率。
2023-01-20 cs.AI cs.LG cs.RO
Multi-task learning with deep model based reinforcement learning
ETH Zürich（苏黎世联邦理工学院）
近年来，使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上，而多任务强化学习仍然是一个悬而未决的问题。在本文中，我们提出了一种基于模型的深度强化学习方法，用于同时解决不同的任务。我们表明，我们的方法不仅不会降低，而且实际上受益于学习多个任务。对于我们的模型，我们还提出了一种新的递归神经网络，其灵感来自于残差网络，该网络将内存从计算中分离出来，从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
Residual Learning and Context Encoding for Adaptive Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）
针对离线到在线强化学习中转移动态变化问题，提出残差学习与上下文编码方法，在 D4RL MuJoCo 实验中实现样本高效的自适应与泛化。
2024-06-12 cs.LG cs.RO
Learning Residual Kinematic Corrections for Continuous Neural Decoding via Reinforcement Learning
University of Bath（巴斯大学）；University of Ulster（阿尔斯特大学）；Bath Institute for the Augmented Human（巴斯增强人类研究所）
研究针对基于EEG的BCI连续3D运动想象解码难题，提出CNN-LSTM-RL两阶段框架，用强化学习对解码器输出校正残余运动学误差，实验表明该框架有效提升解码性能，推动相关领域发展。
2026-07-14 cs.AI cs.LG
Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics
Queensland University of Technology（昆士兰科技大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
基于技能的强化学习（RL）已经成为一种很有前途的策略，利用先验知识加速机器人学习。技能通常从专家演示中提取，并嵌入到一个潜在空间中，从中可以作为高级RL代理的动作进行采样。然而，这个技能空间是广阔的，并且并非所有技能都与给定的机器人状态相关，这使得探索变得困难。此外，下游RL代理仅限于学习与用于构建技能空间的任务结构相似的任务。我们首先提出了加速探索的技能空间，使用状态条件生成模型直接偏向于高层次的代理只采样技能相关的一个给定的状态的基础上先前的经验。接下来，我们提出了一个低级别的剩余策略，用于细粒度的技能适应，使下游RL代理能够适应看不见的任务变化。最后，我们在四个具有挑战性的操作任务中验证了我们的方法，这些任务与用于构建技能空间的任务不同，展示了我们在任务变化中学习的能力，同时显着加速探索，优于先前的工作。代码和视频可以在我们的项目网站上找到：https://krishanrana.github.io/reskill。
2022-11-04 cs.AI cs.LG cs.RO
Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）；USTC（中国科学技术大学）；The Australian National University（澳大利亚国立大学）；Peking University（北京大学）；University of Macau（澳门大学）
该研究提出梯度对齐奖励（GAR）方法，在策略梯度空间中生成密集推理感知奖励，提升大语言模型在数学等基准上的推理性能，且无需领域特定数据即可迁移。
2026-09-04 cs.LG
Climate-Dyna Deep Hedging for XVAs: Model-Based Reinforcement Learning, Residual Climate HVA, and Hedge-Instrument Discovery
Université Paris Dauphine–PSL（巴黎多芬纳-PSL大学）；Barclays（巴克莱银行）
该研究提出Climate-Dyna深度对冲方法，通过基于模型的强化学习解决剩余气候HVA问题，在EU ETS半合成研究中有效降低了气候费用，显著减少了遗憾值并保留了大部分精确辅助增益。
2026-08-04 cs.LG q-fin.MF q-fin.RM
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Adaptive Rational Activations to Boost Deep Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Center for Artificial Intelligence（德国人工智能研究中心）；Hessian Center for Artifical Intelligence（黑森人工智能中心）；Centre for Cognitive Science（认知科学中心）
受生物学启发，本文提出循环有理激活函数替代静态激活，在Atari游戏中显著提升DQN性能，使其媲美DDQN和Rainbow。
2024-03-16 cs.LG
Dissipative residual layers for unsupervised implicit parameterization of data manifolds
Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个无监督的技术隐式参数化的数据流形。在我们的方法中，数据被假定为属于一个低维流形在一个高维空间，和数据点被视为端点的轨迹起源以外的流形。在此假设下，数据流形是待估计的动力系统的吸引流形。我们参数化这样一个动力系统与残留的神经网络，并提出了一个频谱定位技术，以确保它是本地吸引力的数据附近。我们还提出了初始化和额外的正则化建议的残留层。我们称之为耗散瓶颈。我们提到了所考虑的问题对于强化学习任务的重要性，并通过示例来支持我们的讨论，这些示例展示了所提出的层在去噪和生成任务中的性能。
2022-10-13 cs.LG
What Matters in Reinforcement Learning for Tractography
Université de Sherbrooke（舍布鲁克大学）；École de technologie supérieure（高等技术学院）
本文系统探究了深度强化学习纤维束追踪框架中各组件（如RL算法、播种策略、输入信号和奖励函数）的影响，基于约7,400个模型的训练实验，总结了一系列实践建议，并开源了代码库、模型与数据集。
2023-05-17 cs.CV cs.LG
Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking
EPFL（洛桑联邦理工学院）；Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
针对仅能获取部分梯度的优化问题，提出PISO方法，结合可用梯度与残差跟踪，在非凸优化中获领先复杂度，在多任务中优于多数基线方法。
2026-10-12 cs.LG
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Google research（谷歌研究）；Deepmind（深度思维）；The Technion - Israel Institute of Technology（以色列理工学院）
当每个状态下有许多可用动作时，学习如何行动对于强化学习（RL）代理来说是一项具有挑战性的任务，特别是当许多动作是冗余或不相关的时候。在这种情况下，有时更容易了解哪些行动不采取。在这项工作中，我们提出了一种消除干扰的深度Q网络（AE-DQN）架构，该架构将深度RL算法与消除次优动作的动作消除网络（AEN）相结合。AEN被训练来预测无效的动作，由环境提供的外部消除信号监督。仿真结果表明，在基于文本的游戏超过一千个离散的动作香草DQN相当大的加速和增加的鲁棒性。
2019-02-24 cs.LG stat.ML
What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出固定SAE追踪框架，发现RL主要增强现有特征而非创造新特征，且引导这些特征可恢复约80%的性能提升。
2026-09-15 cs.LG
Is the Bellman residual a bad proxy?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；Google DeepMind（谷歌DeepMind）
本文旨在从理论和实证上比较强化学习的两个标准优化准则：i）均值最大化和ii）贝尔曼残差最小化。为了这个目的，我们把自己的政策搜索算法的框架中，通常是为了最大限度地提高平均值，并得出一个方法，最大限度地减少剩余$\|T_* v_π- v_π\|_{1,ν}$的政策。理论分析表明，这种代理是如何好的政策优化，特别是它比它的价值为基础的同行。我们还提出了随机生成的通用马尔可夫决策过程的实验，专门设计用于研究所涉及的集中系数的影响。他们表明，贝尔曼残差通常是一个坏的代理政策优化和直接最大化的平均值要好得多，尽管目前缺乏深入的理论分析。这似乎是显而易见的，因为直接解决感兴趣的问题通常更好，但考虑到基于值的强化学习中（投影）贝尔曼残差最小化的普遍性，我们认为这个问题值得考虑。
2017-12-12 cs.LG stat.ML
Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?
University of Bremen（不来梅大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
深度强化学习（Deep Reinforcement Learning，DRL）将经典的强化学习算法与深度神经网络相结合。DRL的一个问题是CNN是黑箱，很难理解代理的决策过程。为了能够在人类和机器高度危险的环境中使用RL代理，开发人员需要一个调试工具来确保代理做预期的事情。目前，奖励主要用于解释代理的学习情况。然而，如果智能体通过记住策略而不是学习对环境做出反应来获得更多奖励，则可能导致欺骗性结论。在这项工作中，它表明，这个问题可以识别的梯度可视化技术的帮助下。这项工作将图像分类领域的一些最著名的可视化方法引入了深度强化学习领域。此外，还开发了两种新的可视化技术，其中一种效果特别好。这些算法在强化学习领域的应用程度正在被证明。此外，还出现了一个问题：使用不同的可视化技术，DRL算法在不同环境中的可视化效果如何。
2020-12-02 cs.LG
What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
Wuhan University（武汉大学）
本文提出深度加权贝尔曼残差最小化框架，通过密度比加权整合专家演示与行为数据，解决离线强化学习中的分布偏移和Q值高估问题，并显著提升数值性能与策略泛化。
2026-09-29 cs.LG stat.ML
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（Deep Reinforcement Learning，DRL）在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而，安全性和稳定性仍然是主要的问题，阻碍了日间行车灯的应用，安全关键的自治系统。为了解决这些问题，我们提出了Phy-DRL：一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的：i）类似于Lyapunov的奖励，以及ii）剩余控制（即，基于物理模型控制和数据驱动控制的集成）。并发的物理奖励和剩余控制赋予Phy-DRL（数学上）可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验，验证了Phy-DRL在保证安全性和稳定性的同时，具有较强的鲁棒性，并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't
本研究通过强化学习提升小型LLM的推理能力，展示了在有限资源下实现显著性能提升的可行性。
2026-01-20 cs.CL cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
本文提出SCRL框架，通过选择性正伪标签和熵门控负伪标签减少标签噪声影响，提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond
University of Cambridge（剑桥大学）
本文从强化学习视角阐明RLHF的原理，指出其本质为在线逆强化学习，并探讨了RLHF优于SFT的原因、奖励模型作为反馈代理的泛化性及PPO的稳定性优势。
2023-10-09 cs.AI cs.LG
Boundary-Seeking Policy Gradient for Safe Reinforcement Learning
School of EECS, Washington State University（华盛顿州立大学电子工程与计算机科学学院）
本文提出BSPG算法，针对安全强化学习中标准梯度法易收敛到可行域内部的问题，结合切向与法向分量，在Safety-Gymnasium导航任务中实现更高奖励与更紧密的边界跟踪。
2026-08-12 cs.LG
Learning Where, What and How to Transfer: A Multi-Role Reinforcement Learning Approach for Evolutionary Multitasking
针对进化多任务算法知识迁移需定制设计的问题，本文提出多角色强化学习框架，从迁移配对、知识占比、迁移强度三方面实现可泛化的知识迁移策略，实验验证其性能达到当前最优。
2025-11-19 cs.LG cs.NE
What is Going on Inside Recurrent Meta Reinforcement Learning Agents?
Mila - McGill University（Mila - 麦吉尔大学）；DeepMind
循环Meta强化学习（meta-RL）代理是为了“学习学习算法“的目的而采用循环神经网络（RNN）的代理。在预先指定的任务分布上进行训练后，代理的RNN的学习权重可以通过其活动动态实现有效的学习算法，这允许代理快速解决从相同分布中采样的新任务。然而，由于这些代理人的黑箱性质，他们的工作方式尚未完全理解。在这项研究中，我们揭示了这些代理的内部工作机制，通过重新制定的元RL问题使用部分可观察马尔可夫决策过程（POMDP）框架。我们假设，学习的活动动力学是作为这样的代理的信念状态。几个说明性的实验表明，这一假设是正确的，经常性的元RL代理可以被视为代理，学习在部分可观察的环境中，由多个相关的任务，以最佳方式行事。这种观点有助于理解他们的失败案例和一些有趣的基于模型的结果在文献中报道。
2021-04-29 cs.AI cs.LG
Reinforcement Learning, Bit by Bit
DeepMind（深度思维公司）
本文探讨强化学习在真实环境中数据效率低下的问题，通过概念与遗憾分析提供信息获取与保留的原则性指导，并设计简单智能体验证其数据效率。
2023-05-04 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
