Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习（RL）代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而，在实践中，算法往往需要大量的训练经验来学习和推广。此外，经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面，基于模型的强化学习试图从经验中学习环境模型，并且具有更高的样本效率，但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中，我们提出了一种梯度匹配算法，以提高样本效率，利用目标斜率信息的动态预测器，以帮助无模型学习。我们证明了这一点，提出了一种技术，用于匹配的梯度信息，从基于模型的学习与无模型的组件在一个抽象的低维空间，并验证所提出的技术，通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Graph Signal Sampling via Reinforcement Learning
Aalto University（阿尔托大学）
我们制定的问题，采样和恢复聚类图信号作为一个多臂强盗（MAB）问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是，采样策略表示为MAB各个臂上的概率分布，并使用梯度上升进行优化。数值实验表明，基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University（布朗大学）；Microsoft Research（微软研究院）
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战：首先，我们开发了一种梯度提升风格的非参数函数逼近器，用于学习$Q$函数残差。其次，我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性，首先，作为一个初步的检查，在两个标准的任务（二十一点和$n$链），然后在两个更大，更现实的任务与高维观察空间。具体来说，我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力，同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器，探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
Meta-Gradient Reinforcement Learning
DeepMind（DeepMind（深度思维））
强化学习算法的目标是估计和/或优化价值函数。然而，与监督学习不同的是，没有教师或预言机可以提供真正的价值函数。相反，大多数强化学习算法估计和/或优化价值函数的代理。此代理通常基于对真实价值函数的采样和自举近似，称为返回。对回报的特定选择是决定算法性质的主要因素之一：未来回报的贴现率;价值应该在何时以及如何自举;甚至是回报本身的性质。众所周知，这些决策对于RL算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法，该算法能够适应返回的性质，在线，同时从环境中进行交互和学习。当应用于Atari 2600环境中的57个游戏超过2亿帧时，我们的算法实现了新的最先进的性能。
2018-05-24 cs.AI cs.LG stat.ML
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade实验室）
强化学习（RL）是关于顺序决策的，传统上与监督学习（SL）和无监督学习（USL）相反。在RL中，给定当前状态，代理做出可能影响下一状态的决策，而不是SL（和USL），其中下一状态保持不变，无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的，但也有一些联系被忽视了。特别地，我们证明了在本文中，梯度策略方法可以被转换为一个监督学习的问题，真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法（PGM），强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验，我们交换标签和伪奖励。我们的结论是，如果我们明智地修改奖励函数，可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
Trajectory-Based Off-Policy Deep Reinforcement Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
策略梯度方法是一种功能强大的强化学习算法，已被证明可以解决许多复杂的任务。然而，这些方法也是数据效率低下的，受到高方差梯度估计的困扰，并且经常陷入局部最优。这项工作解决了这些弱点，结合最近的改进，在重复使用的政策数据和探索参数空间与确定性的行为政策。所得到的目标是服从标准的神经网络优化策略，如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性采样将先前的推出合并，极大地提高了数据效率，而随机优化方案有助于摆脱局部最优。我们评估了一系列的连续控制基准任务所提出的方法。结果表明，该算法能够成功地和可靠地学习解决方案，使用更少的系统交互比标准的策略梯度方法。
2019-05-14 cs.AI cs.LG stat.ML
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Stanford University（斯坦福大学）
本文提出了一种定义的多个代理优化联合奖励函数的背景下，系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配，然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境，具有系统健康，冒险，半消耗性代理，连续动作空间，和部分可观察性的特点，证明。与不执行多代理信用分配的策略梯度方法相比，我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto（多伦多大学）
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中，我们应用克罗内克因子曲率估计技术（KFAC）最近提出的梯度估计控制变量优化，RELAX，以提高样本效率，使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara（加州大学圣巴巴拉分校）
近年来，完全可微刚体物理模拟器已经被开发出来，它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下，这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而，到目前为止，这些梯度被证明是非常具有挑战性的，并且被完全不使用梯度信息的算法所超越。在这项工作中，我们提出了一种新的算法，交叉熵分析策略梯度，能够利用这些梯度，以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale（南方高等学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
本文提出一种基于策略梯度的分散式强化学习框架，通过Proximal Policy Optimization整合目标选择与驱动，克服了传统DQN的离散动作限制，在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题，并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Evolution-Guided Policy Gradient in Reinforcement Learning
Collaborative Robotics and Intelligent Systems Institute（协作机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
深度强化学习（DRL）算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常遭受三个核心困难：时间信用分配与稀疏的奖励，缺乏有效的探索，和脆性收敛特性，是非常敏感的超参数。总的来说，这些挑战严重限制了这些方法对现实世界问题的适用性。进化算法（EAs）是一类受自然进化启发的黑盒优化技术，非常适合解决这三个挑战中的每一个。然而，EA通常遭受高样本复杂性，并且难以解决需要优化大量参数的问题。在本文中，我们介绍了进化强化学习（ERL），一种混合算法，利用人口的EA提供多样化的数据训练RL代理，并重新插入RL代理到EA人口定期注入梯度信息到EA。ERL继承了EA的时间信用分配的能力与适应度度量，有效的探索与不同的政策，和稳定的人口为基础的方法，并补充它与离政策DRL的能力，利用梯度更高的样本效率和更快的学习。在一系列具有挑战性的连续控制基准的实验表明，ERL显着优于以前的DRL和EA方法。
2018-10-27 cs.LG cs.NE stat.ML
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）；University of Ontario Institute of Technology（安大略理工大学）；University of Victoria（维多利亚大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）
使用模型热机，我们表明，基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群，服从一个指令，以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺，斯特林或奥托循环。当给定一个额外的不可逆过程时，这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环，而进化方法实现最佳卡诺循环。我们的研究结果表明，如何强化学习策略开发的游戏可以应用于解决物理问题的条件下，路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research（计算机工程系，Zeal工程与研究学院）
本文提出分数阶策略梯度（FPG）框架，利用Caputo分数阶导数建模状态转移间的幂律长程相关性，通过高效递归计算实现恒定时间与内存开销，在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Gradient Eligibility Traces
本文扩展广义投影贝尔曼误差目标以支持基于λ-回报的多步信用分配，提出三种梯度方法，在MuJoCo和MinAtar环境中分别超越PPO和StreamQ。
2025-09-18 cs.AI cs.LG stat.ML
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University（康奈尔大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文考虑连续状态-动作强化学习问题中的策略搜索。通常，使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向，该定理将价值函数的梯度分解为两个因子：得分函数和Q函数。本文给出了四个结果：（i）一个可供选择的策略梯度定理（ii）证明了由此导出的随机梯度估计是无偏的，并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;（iii）推导了该算法的样本复杂度，并证明了其为$O(1/\sqrt(k))$ ;（iv）最后，证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明，该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
A Decentralized Policy Gradient Approach to Multi-task Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
提出了一种基于策略梯度方法的多任务强化学习（MTRL）问题求解的数学框架。MTRL的目标是学习在不同环境中有效运行的公共策略;这些环境具有相似（或重叠）的状态空间，但具有不同的奖励和动态。我们强调了MTRL中的两个基本挑战，这两个挑战在其单一任务中是不存在的，并用简单的例子来说明它们。在此基础上，我们提出了一种求解MTRL问题的分散熵正则化策略梯度方法，并研究了其有限时间收敛速度。我们使用一系列的数值实验证明了所提出的方法的有效性。这些实验的范围从小规模的“网格世界”的问题，很容易证明涉及多任务学习的权衡，以大规模的问题，其中共同的政策是学习在多个（模拟）环境中导航的空中无人机。
2021-05-28 cs.LG stat.ML
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
Expected Policy Gradients for Reinforcement Learning
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Oxford（牛津大学）
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期Sarsa的启发，EPG在估计梯度时对动作进行积分（或求和），而不是仅依赖于采样轨迹中的动作。对于连续的行动空间，我们首先得到一个实际的结果，高斯政策和二次批评，然后将其扩展到一个普遍的分析方法，涵盖了广泛的一类演员和批评，包括高斯，指数家庭，并与有界支持的政策。对于高斯策略，我们引入了一种探索方法，该方法使用与评论家的缩放Hessian矩阵指数成比例的协方差。对于离散的动作空间，我们推导出一个基于softmax策略的EPG变体。我们还建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。此外，我们证明了EPG降低了梯度估计的方差，而不需要确定性的政策，并具有很小的计算开销。最后，我们提供了一个广泛的EPG实验评估，并表明它优于现有的方法在多个具有挑战性的控制域。
2020-05-02 cs.AI stat.ML
On the model-based stochastic value gradient for continuous reinforcement learning
Facebook AI Research（脸书人工智能研究院）；NYU（纽约大学）
十多年来，基于模型的强化学习一直被视为一种利用基于控制的领域知识来提高强化学习代理的样本效率的方法。虽然基于模型的代理在概念上很有吸引力，但它们的策略在最终奖励方面往往落后于无模型代理，特别是在非平凡的环境中。作为回应，研究人员提出了基于模型的代理越来越复杂的组件，从概率动力学模型的集合，以减少模型错误的算法。在这种趋势的逆转，我们表明，简单的基于模型的代理可以从现有的想法，不仅匹配，但优于最先进的无模型代理的样本效率和最终奖励。我们发现，一个无模型的软值估计的政策评估和基于模型的随机值梯度的政策改进是一个有效的组合，实现国家的最先进的结果，在高维人形控制任务，大多数基于模型的代理是无法解决的。我们的研究结果表明，基于模型的政策评估值得密切关注。
2021-05-27 cs.AI cs.LG cs.RO
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中，元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性，以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新，但这在实践中很少使用。在这项工作中，我们证明了虽然多步元梯度确实提供了预期中更好的学习信号，但这是以方差显著增加为代价的，从而阻碍了性能。根据这种分析，我们引入了一种新的方法，混合多个内部步骤，享有更准确和鲁棒的元梯度信号，本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时，混合元梯度算法可以将方差削减3倍，同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology（埃因霍温理工大学）
为了增强多智能体协作，我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现，在多代理合作纸牌游戏的简化环境中，Vanilla策略梯度在多个随机种子上优于近端策略优化（PPO）。在我们对这种行为的分析中，我们研究了Hanabi特定的指标，并假设了PPO平台的原因。此外，我们还证明了完美游戏（71回合）和任何游戏（89回合）的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu（作者）
本文提出了一种整合模仿学习与强化学习的LLM微调框架，通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Understanding the Effects of Second-Order Approximations in Natural Policy Gradient Reinforcement Learning
University of Waterloo（滑铁卢大学）
自然策略梯度方法是流行的强化学习方法，其通过利用二阶近似来用Fisher信息矩阵的逆来预处理梯度来提高策略梯度方法的稳定性。然而，据作者所知，还没有一项研究以全面和系统的方式调查了不同二阶近似的影响。为了解决这个问题，研究了五种不同的二阶近似，并在多个关键指标上进行了比较，包括性能、稳定性、样本效率和计算时间。此外，研究了文献中未被典型承认的超参数，包括不同批量的影响和自然梯度优化的评论网络。实验结果表明，平均而言，改进的二阶近似实现了最佳性能，并且使用适当调整的超参数可以导致性能和样本效率的大幅改善，范围高达+181%。我们还在https://github.com/gebob19/natural-policy-gradient-reinforcement-learning上提供了本研究中的代码。
2022-10-10 cs.LG
Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning
Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出倾斜分位数梯度更新方法，用于分位数约束强化学习，通过直接估计分位数梯度并补偿非对称密度，在满足安全约束的同时提升回报性能。
2024-12-17 cs.AI cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Minnesota（明尼苏达大学）
本文研究了强化学习中的分布式策略优化问题，该问题涉及一个中央控制器和一组学习器。特别是，在几个应用程序中遇到的两个典型的设置被认为是：多智能体强化学习（RL）和并行RL，学习者和控制器之间的频繁的信息交换是必需的。然而，对于许多实际的分布式系统，这些频繁的通信交换所造成的开销是相当可观的，并成为整体性能的瓶颈。为了解决这一问题，提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信，在不降低学习性能的前提下减少了通信开销。它是建立解析：i）新的算法具有相同的收敛速度的平原香草策略梯度;而ii）如果分布式学习器是异构的，在他们的奖励功能，需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比，替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
