On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
Theory Laboratory Central Research Institute, 2012 Laboratories（理论实验室中央研究院，2012实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
研究证明在训练后阶段，监督微调与强化学习无法解耦，且在交替训练顺序下会导致性能下降。
2026-01-12 cs.AI cs.IT cs.LG
Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来预测性能的强化学习政策给定的历史数据，可能已经产生了不同的政策。从历史数据中评估策略的能力对于部署错误策略可能会带来危险或代价高昂的应用程序非常重要。我们的经验表明，我们的算法产生的估计，往往有数量级较低的均方误差比现有的方法-它使更有效地利用现有的数据。我们的新估计器基于两个进步：双重稳健估计器的扩展（Jiang和Li，2015），以及一种混合基于模型的估计和基于重要性采样的估计的新方法。
2016-04-04 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Decoupling Communication from Policy: Robust MARL under Bandwidth Constraints
École polytechnique (LIX)（巴黎高等理工学院（LIX））；CNRS（国家科学研究中心）；Institut Polytechnique de Paris（巴黎高等理工学院）；Palaiseau, France（法国Palaiseau）
本文提出了一种新的方法，通过引入β指标和SLIM架构，将通信路径与策略的潜在表示分离，从而在带宽受限的情况下提高多智能体强化学习的鲁棒性和性能。
2026-05-20 cs.AI cs.LG cs.MA
GEP-PG: Decoupling Exploration and Exploitation in Deep Reinforcement Learning Algorithms
INRIA（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
在连续动作域中，标准的深度强化学习算法（如DDPG）在面对稀疏或欺骗性奖励问题时会遇到效率低下的探索。相反，专注于探索的进化和发展方法，如新奇搜索，质量多样性或目标探索过程，探索更稳健，但在使用梯度下降微调政策时效率较低。在本文中，我们提出了GEP-PG的方法，采取最好的两个世界依次结合的目标探索过程和DDPG的两个变种。我们研究了这些组件及其组合的学习性能低维欺骗性奖励问题和较大的半猎豹基准。我们表明，DDPG失败的前，GEP-PG提高了最好的DDPG的变体在这两种环境中。补充视频和讨论可以在http：//frama.link/gep_pg上找到，代码可以在http://github.com/flowersteam/geppg上找到。
2018-09-20 cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing（北京大学人工智能研究所）
DeFlow通过解耦流形建模与价值最大化，利用流匹配技术实现高效离线策略提取，提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University（斯坦福大学）
Meta强化学习（meta-RL）的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息，并利用这些信息来解决任务。原则上，最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而，由于鸡和蛋的问题，这种元RL方法与局部最优值作斗争：学习探索需要良好的利用来衡量探索的效用，但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题，但是先前的元RL探索目标会产生次优策略，收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优，而不会牺牲最优探索。从经验上讲，DREAM在复杂的元RL问题上的表现远远优于现有的方法，例如稀疏奖励3D视觉导航。视频的梦想：https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林圣三一学院）
强化学习（RL）策略的可解释性仍然是一个具有挑战性的研究问题，特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法，使用DQN代理培训的熔岩gridworld的实现，并表明，鉴于手工制作的功能表示这个gridworld，简单的通用规则，可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径，引入安全到RL代理的政策，通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束，以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms
Guanghua School of Management, Peking University（北京大学光华管理学院）；State University of New York at Stony Brook（纽约州立大学石溪分校）
本研究提出基于分位数的策略优化算法及其离策略变体，通过双时间尺度更新优化累积奖励的分位数，在深度RL中优于基线算法。
2023-05-12 cs.AI cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno（内华达大学里诺分校）
众所周知，深度学习分类器天生容易受到有意扰动输入的操纵，称为对抗性示例。在这项工作中，我们建立了基于深度Q网络（DQN）的强化学习技术也容易受到对抗性输入扰动的影响，并验证了对抗性示例在不同DQN模型之间的可移植性。此外，我们提出了一种新的攻击类的基础上，这个漏洞，使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制，利用对抗性示例的可转移性来实现对DQN的策略诱导攻击，并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta（阿尔伯塔大学）
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题，提出价值感知重要性权重，在保证无偏估计的同时降低方差，并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究中心）
离线强化学习（RL）的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络，这可能会带来额外的推理成本，并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧，这可能与支持集的固有的基于密度的定义不匹配，从而无法有效地避免分布外的动作。本文提出了支持策略优化（SPOT），这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集，并提出了一个简单但有效的基于密度的正则化项，该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计，SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Offline Reinforcement Learning with On-Policy Q-Function Regularization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；CMU（卡内基梅隆大学）；Google（谷歌）
本文提出通过SARSA式估计行为策略的Q函数并以其作为正则化目标，替代难以估计的行为策略本身，以解决离线强化学习中的外推误差问题，并在D4RL基准上验证了两种算法的强性能。
2023-07-25 cs.AI cs.LG
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science (LIACS)（莱顿高级计算机科学研究所（LIACS））
本研究对比了进化策略与基于梯度的深度强化学习方法，发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性，甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）；National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing, China（中国国家计算机网络应急技术配合中心）
针对RLVR中模型校准退化问题，提出DCPO框架通过解耦推理与校准目标，在保持准确率的同时显著改善校准性能并缓解过度自信。
2026-05-27 cs.AI cs.CL cs.LG
On Gap-dependent Bounds for Offline Reinforcement Learning
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文对离线强化学习中间隙依赖的样本复杂度进行了系统的研究。以前的工作表明，当最优策略和行为策略之间的密度比是上界（最优策略覆盖假设），那么代理可以实现$O\left(\frac{1}{ε^2}\right)$率，这也是最小最大最优的。在最优策略覆盖假设下，当最优$Q$ -函数中存在一个正的次优间隙时，可以将速率提高到$O\left(\frac{1}ε\right)$.此外，我们表明，当访问概率的行为政策是一致的最优策略的访问概率是积极的状态（统一的最优策略覆盖假设）的下界，确定最优策略的样本复杂性是独立的$\frac{1}ε$。最后，我们提出了接近匹配的下限，以补充我们的间隙依赖的上限。
2022-08-03 cs.AI cs.LG
Objective Decoupling in Social Reinforcement Learning: Recovering Ground Truth from Sycophantic Majorities
本文提出Epistemic Source Alignment（ESA）方法，解决社会强化学习中因多数评估者偏见导致的目标解耦问题，通过判断反馈来源而非信号本身，确保收敛到真实目标。
2026-02-08 cs.AI cs.ET
Group-Theoretic Reinforcement Learning of Dynamical Decoupling Sequences
JILA, Department of Physics, University of Colorado Boulder, Boulder, Colorado 80309, USA（JILA物理系，科罗拉多大学博尔德分校，博尔德，科罗拉多州80309，美国）
基于群论的强化学习方法用于设计量子比特上的动态解耦序列，无需显式了解噪声谱即可学习最优脉冲序列。
2025-12-15 cs.LG cs.SY eess.SY
Efficient Reinforcement Learning via Decoupling Exploration and Utilization
Northeastern University（东北大学）；University of Technology Sydney（悉尼科技大学）；Olimei Company（奥丽美公司）
本文提出 OPARL 算法，通过独立的乐观 Actor 强化探索、悲观 Actor 负责评估与利用，缓解单智能体 RL 的探索—利用失衡，并在 DMControl 与 Mujoco 多数任务上超过现有方法。
2024-05-10 cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Decoupling Time and Risk: Risk-Sensitive Reinforcement Learning with General Discounting
Dept. of Mathematics and Statistics（数学与统计学系）；York University（约克大学）；Dept. of Mathematics（数学系）；Imperial College（帝国理工学院）
本文提出了一种支持灵活折扣和风险度量优化的新型分布式强化学习框架，通过技术分析和实验验证，展示了折扣在捕捉时空和风险偏好中的重要性。
2026-11-10 cs.LG
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中，我们弥合了强化学习和知识表示之间的差距，通过提供一个丰富的知识表示框架，基于正常的逻辑程序与答案集语义，这是能够解决无模型强化学习问题，更复杂的领域，并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外，我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University（乔治华盛顿大学）；Purdue University（普渡大学）
提出DPE算法，将序列建模与双策略估计结合，在统一框架中实现方差缩减，并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
R$^2$PO: Decoupling Rollout and Inference Policies for LLM Reasoning
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国家大学）
研究指出强化学习方法中训练轨迹与推理响应策略耦合的问题，提出R$^2$PO解耦二者，在训练时多样化展开，保持推理生成不变，实验表明其性能优于基线。
2026-07-07 cs.AI cs.CL cs.LG
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；College of Science, Shantou University（汕头大学理学院）
本文提出IADD-TR框架，通过干预感知动力学解耦与定向正则化解决MBRL中策略诱导的数据偏差问题，经MuJoCo任务实验验证可提升样本效率并取得有竞争力回报。
2026-08-12 cs.LG
Decoupling Policy Extraction for Offline Reinforcement Learning
Simplexity Robotics（森普莱西蒂机器人公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Northeastern University（东北大学）
该研究针对离线强化学习中演员与评论员耦合训练的问题，提出将策略改进与演员训练解耦的范式，通过演员生成动作候选、评论员选择，实验显示其性能优于行为克隆及联合训练的离线RL方法。
2026-08-24 cs.LG cs.RO
Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills
University of Electronic Science and Technology of China（电子科技大学）；Sichuan Artificial Intelligence Research Institute（四川人工智能研究院）
针对离线元强化学习先验经验泛化不足的问题，本文提出DCMRL，通过对比任务上下文学习与GQ-VAE分别聚类并解耦上下文和技能潜空间，提升未知任务适应性能。
2023-12-11 cs.LG
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）
本文提出了一种两阶段奖励课程方法，通过分离任务目标与行为术语，提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
