On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法，通过自适应离线采样减少在线策略梯度强化学习中的采样误差，提高数据效率。
2026-02-09 cs.LG
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
我们获得了全局，非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理（即，零和随机博弈）。我们考虑一个情节设置，在每一集中，每个玩家独立地选择一个策略，只观察自己的行为和奖励，以及状态。我们表明，如果两个球员运行策略梯度方法串联，他们的政策将收敛到最小-最大均衡的游戏，只要他们的学习率遵循两个时标规则（这是必要的）。据我们所知，这构成了第一个有限样本收敛的结果，独立的策略梯度方法在竞争性强化学习，以前的工作主要集中在集中，协调程序的平衡计算。
2021-01-11 cs.LG
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
在离线强化学习中，需要从单个预先收集的数据集中学习策略。通常，策略因此在训练期间被正则化，以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法，它直接约束的政策，而不是在其权重空间，并在实验中证明了其有效性。
2021-07-12 cs.LG
Safe Policy Search for Lifelong Reinforcement Learning with Sublinear Regret
University of Pennsylvania（宾夕法尼亚大学）
终身强化学习为开发多功能代理提供了一个有前途的框架，这些代理可以在一生的经验中积累知识，并通过建立在先前知识基础上快速学习新任务。然而，目前的终身学习方法表现出非消失的遗憾，随着经验的增加，包括限制，可能导致次优或不安全的控制策略。为了解决这些问题，我们开发了一个终身的策略梯度学习器，该学习器在对抗环境中运行，以在线学习多个任务，同时对学习到的策略实施安全约束。我们证明，第一次，次线性遗憾终身政策搜索，并验证我们的算法在几个基准动力系统和应用程序的四旋翼控制。
2015-05-21 cs.LG
Recurrent Off-Policy Deep Reinforcement Learning Doesn't Have to be Slow
University Of Southampton, School Of Electronics and Computer Science（索姆塞特大学电子与计算机科学学院）
RISE通过简化编码实现递归网络在非策略强化学习中的高效应用，提升了Atari基准性能35.6%。
2025-12-23 cs.LG
Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer
Washington State University（华盛顿州立大学）；Princeton University（普林斯顿大学）
策略建议是一种迁移学习方法，其中学生代理能够通过教师的建议更快地学习。然而，这两种方法和其他强化学习迁移方法几乎没有理论分析。本文正式定义了一个设置，多个教师代理可以提供建议给学生，并介绍了一种算法，利用自主探索和教师的意见。我们的后悔界限证明了好老师帮助而坏老师伤害的直觉。使用我们的形式化，我们也能够量化，第一次，当负迁移可以发生在这样的强化学习设置。
2016-04-13 cs.LG
Intelligent Traffic Light via Policy-based Deep Reinforcement Learning
The University of Iowa（爱荷华大学）；National Advanced Driving Simulator, The University of Iowa（爱荷华大学国家高级驾驶模拟器）；Iowa Technology Institute, The University of Iowa（爱荷华大学爱荷华技术研究所）
智慧城市中的智能交通灯可以最佳地减少交通拥堵。在这项研究中，我们采用强化学习训练控制代理的交通灯上的模拟器的城市流动性。作为与现有工作的不同之处，除了诸如深度Q网络（DQN）和双DQN（DDQN）之类的基于值的方法之外，利用基于策略的深度强化学习方法，即近端策略优化（PPO）。首先，从PPO获得的最优策略进行比较，从DQN和DDQN。结果表明，PPO策略的性能优于其他策略。其次，我们采用可变时间间隔的信号灯相位代替固定时间间隔的信号灯相位，从而得到更好的交通流通行策略。然后，环境和行动干扰的影响进行了研究，以证明基于学习的控制器是鲁棒的。最后，我们考虑不平衡的交通流，并发现智能交通灯可以表现得相当不错的不平衡的交通情况下，虽然它学习的最佳策略，从平衡的交通情况。
2021-12-27 cs.LG
Consistency Models as a Rich and Efficient Policy Class for Reinforcement Learning
Princeton University（普林斯顿大学）
本文提出将一致性模型作为强化学习中的高效策略类，通过演员-评论家算法应用于离线、离线到在线及在线三种设置，实现计算加速且性能优于扩散策略。
2024-03-14 cs.LG
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出预测性在线强化学习框架，证明策略性暂停决策更新优于持续更新，通过计算最优更新-保持比率并实验验证，可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据，以便有效地加速复杂任务的强化学习。然而，如果手头的任务过度偏离演示的任务，这种方法的有效性是有限的。在我们的工作中，我们建议从更多样化的任务共享的离线数据中学习特征，例如动作和方向性之间的相关性。因此，我们引入了无状态先验，它直接对演示轨迹中的时间一致性进行建模，并且能够在复杂任务中驱动探索，即使在对简单任务收集的数据进行训练时也是如此。此外，我们引入了一种新的集成方案，在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较，并提供了经验证据，证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University（汉阳大学）
针对离线强化学习中策略正则化角色耦合问题，提出角色自适应策略优化（RAPO），按价值学习与执行角色独立调整更新系数，在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Reward-Free Policy Space Compression for Reinforcement Learning
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
在强化学习中，我们将智能体与环境交互的潜在行为编码为一组无限的策略，即策略空间，通常由一组参数函数表示。处理这样的策略空间是一个巨大的挑战，这通常会导致样本和计算效率低下。然而，我们认为，当我们也考虑到环境结构和政策参数化时，有限数量的政策实际上是相关的，因为其中许多政策会引起非常相似的相互作用，即，状态-动作分布在本文中，我们寻求一个无报酬的压缩的政策空间到一个有限的代表性政策，使任何政策$π$，最小Rényi分歧之间的代表性政策的状态-动作分布和状态-动作分布的$π$是有界的。我们表明，这种压缩的政策空间可以制定为一个集合覆盖问题，它本质上是NP-难的。尽管如此，我们还是提出了一种博弈论的重新表述，通过迭代地拉伸压缩空间以覆盖对抗策略，可以有效地找到局部最优解。最后，我们提供了一个实证评估来说明简单域中的压缩过程，以及它在强化学习中的涟漪效应。
2022-02-22 cs.LG
An Explainable Deep Reinforcement Learning Model for Warfarin Maintenance Dosing Using Policy Distillation and Action Forging
Duke Energy Company（杜克能源公司）；The University of Iowa Tippie College of Business（爱荷华大学蒂皮商学院）
本文针对华法林维持剂量提出了一种可解释的深度强化学习模型，结合近端策略优化与策略蒸馏，并引入动作锻造技术实现可解释性，其表现优于基线算法且易于部署。
2024-04-26 cs.LG
Understanding the Effects of Second-Order Approximations in Natural Policy Gradient Reinforcement Learning
University of Waterloo（滑铁卢大学）
自然策略梯度方法是流行的强化学习方法，其通过利用二阶近似来用Fisher信息矩阵的逆来预处理梯度来提高策略梯度方法的稳定性。然而，据作者所知，还没有一项研究以全面和系统的方式调查了不同二阶近似的影响。为了解决这个问题，研究了五种不同的二阶近似，并在多个关键指标上进行了比较，包括性能、稳定性、样本效率和计算时间。此外，研究了文献中未被典型承认的超参数，包括不同批量的影响和自然梯度优化的评论网络。实验结果表明，平均而言，改进的二阶近似实现了最佳性能，并且使用适当调整的超参数可以导致性能和样本效率的大幅改善，范围高达+181%。我们还在https://github.com/gebob19/natural-policy-gradient-reinforcement-learning上提供了本研究中的代码。
2022-10-10 cs.LG
Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
在这篇文章中，我们研究的问题，训练智能代理使用强化学习的游戏开发的目的。与旨在取代人类玩家并实现超人性能的系统不同，我们的代理旨在与玩家产生有意义的互动，同时展示游戏设计师所期望的行为特征。我们将展示如何结合不同的行为政策，以获得一个有意义的“融合”政策，其中包括所有这些行为。为此，我们提出了四种不同的策略融合方法来组合预训练的策略。我们进一步展示了如何将这些方法与逆强化学习结合使用，以创建具有游戏设计者选择的特定行为风格的智能代理，而无需定义许多可能设计不良的奖励函数。两个不同环境下的实验表明，熵加权策略融合显着优于所有其他。我们提供了几个实际的例子和用例，说明这些方法对视频游戏制作和设计师确实有用。
2021-04-21 cs.LG
Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning
University of Michigan（密歇根大学）
在分层强化学习（HRL）系统中使用非策略时间差（TD）方法的实验中，我们在可重复的条件下观察到了不必要的同策略学习。在这里，我们提出了几个TD的方法，防止无意的同策略学习发生的修改。这些修改在探索和学习之间造成了紧张。传统的TD方法需要致力于完成子任务，而无需探索，以便以高概率更新早期动作的Q值。一步期权内学习和时间二阶差分跟踪（TSDT）不受此限制。我们证明，我们的HRL系统是有效的，没有承诺完成子任务的悬崖行走域，相反，在文献中的广泛主张，它是学习效率的关键。此外，随着探索的进展，减少承诺，以提高在线性能和由此产生的政策在出租车领域，开辟了一个新的途径，研究时，它是更有益的继续与当前的子任务或重新计划。
2011-04-27 cs.LG
Efficient Multi-Policy Evaluation for Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种定制化行为策略，通过共享样本降低多目标策略评估的方差，在理论上证明其样本效率优于同策略评估，并在多种环境中取得最优性能。
2024-12-25 cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Temperature as a Meta-Policy: Adaptive Temperature in LLM Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
TAMPO通过将温度控制转化为可学习的元策略，实现了LLM强化学习中的自适应探索，优于固定或启发式温度方法。
2026-02-12 cs.LG
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
通过引入模型的复杂性测度，保证了基于乐观或后验采样（PSRL）的基于模型的强化学习（MBRL）能够渐近地达到全局最优.然而，对于最简单的非线性模型，复杂性可能呈指数增长，其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时，不确定性可能很大，所述泛化误差由模型复杂性定量地测量。因此，当前策略所基于的采样模型将是不稳定的，从而导致积极的策略更新和过度探索。在这项工作中，我们提出了保守的双重政策优化（CDPO），涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化，该模型模仿PSRL的机制，同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序，CDPO仍然可以实现与PSRL相同的遗憾。更重要的是，CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发，本文建立了两种强化学习算法：深度策略梯度和基于价值函数的代理，可以预测最好的交通信号交叉口。在每个时间步，这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号，然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果，而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来预测性能的强化学习政策给定的历史数据，可能已经产生了不同的政策。从历史数据中评估策略的能力对于部署错误策略可能会带来危险或代价高昂的应用程序非常重要。我们的经验表明，我们的算法产生的估计，往往有数量级较低的均方误差比现有的方法-它使更有效地利用现有的数据。我们的新估计器基于两个进步：双重稳健估计器的扩展（Jiang和Li，2015），以及一种混合基于模型的估计和基于重要性采样的估计的新方法。
2016-04-04 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中，我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的，我们的经验表明，组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Partial Policy-based Reinforcement Learning for Anatomical Landmark Localization in 3D Medical Images
Hankuk University of Foreign Studies
强化学习部署长期累积回报的思想，在各个领域都表现出了显著的表现。我们提出了一个制定的地标定位在三维医学图像作为一个强化学习问题。而基于值的方法已被广泛用于解决类似的问题，我们采用了一个基于行动者-评论家的直接策略搜索方法的时间差异学习方法的框架。成功的行为学习在大的状态和/或动作空间中具有挑战性，需要多次尝试。我们引入了基于部分策略的强化学习，通过在较小的部分域上学习最优策略来解决大型本地化问题。独立的参与者有效地学习相应的部分策略，每个参与者都利用自己的独立评论家。建议的政策重建部分政策，确保了一个强大的和有效的本地化利用子代理解决简单的二元决策问题，在其相应的部分行动空间。提出的强化学习与原始的行为学习方案相比，需要少量的试验来学习最优行为。
2018-12-31 cs.CV cs.LG
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Quantum Reinforcement Learning via Policy Iteration
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；IRIF（法国信息与自动化研究所）；QC Ware（QC Ware公司）
本文提出了一个通过策略迭代执行量子强化学习的通用框架，通过构建量子态编码价值函数实现量子策略评估与改进，并在OpenAI Gym环境中验证了其理论与实验性能。
2022-03-03 cs.LG quant-ph
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
