The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
An Optimal Discriminator Weighted Imitation Perspective for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）；Meta AI
针对现有对偶强化学习（Dual-RL）无法正确估计最优访问分布比率的问题，提出迭代对偶强化学习（IDRL），通过迭代校正逼近最优比率并优化数据集，在D4RL等数据集上性能和稳定性均优于主流基线。
2025-04-17 cs.AI cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Loss- and Reward-Weighting for Efficient Distributed Reinforcement Learning
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德尔大学）；Top Research Centre Mechatronics（顶级机电一体化研究中心）
针对分布式强化学习多智能体梯度合并的标准方法效率问题，提出基于奖励/损失相对高低缩放各智能体梯度的加权合并方案，实验验证奖励加权方法在多类RL环境中性能优于现有最优水平。
2024-08-18 cs.AI cs.DC cs.LG
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中，元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性，以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新，但这在实践中很少使用。在这项工作中，我们证明了虽然多步元梯度确实提供了预期中更好的学习信号，但这是以方差显著增加为代价的，从而阻碍了性能。根据这种分析，我们引入了一种新的方法，混合多个内部步骤，享有更准确和鲁棒的元梯度信号，本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时，混合元梯度算法可以将方差削减3倍，同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
Q-Value Weighted Regression: Reinforcement Learning with Limited Data
University of Warsaw（华沙大学）；Google（谷歌）；Google Brain（谷歌大脑）
离线环境下的样本效率和性能已经成为深度强化学习的重大挑战。我们介绍了Q值加权回归（QWR），这是一种简单的RL算法，在这些方面表现出色。QWR是优势加权回归（AWR）的扩展，AWR是一种非策略的行动者-评论家算法，在连续控制任务上表现非常好，也是在离线设置中，但样本效率低，并且难以处理高维观测空间。我们对AWR进行了分析，解释了它的缺点，并使用这些见解来激励QWR。我们的实验表明，QWR匹配的国家的最先进的算法，无论是在任务上的连续和离散的行动。特别是，QWR在MuJoCo套件上产生的结果与SAC相当，并且-使用相同的超参数集-在一组Atari游戏上产生的结果与高度调整的Rainbow实现相当。我们还验证了QWR在离线RL设置中表现良好。
2021-02-12 cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning
Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出倾斜分位数梯度更新方法，用于分位数约束强化学习，通过直接估计分位数梯度并补偿非对称密度，在满足安全约束的同时提升回报性能。
2024-12-17 cs.AI cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”（GREP）的学习方法。与传统的DP方法不同，GREP是一种基于梯度的方法，它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度，最大化预期的未来回报的公式，并确认我们的想法与数值实验。
2001-11-28 cs.AI
Off-Policy Reinforcement Learning with Loss Function Weighted by Temporal Difference Error
KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
通过离线深度强化学习（RL）训练智能体需要一个大的存储器，称为重放存储器，存储用于学习的过去经验。这些经验被均匀或非均匀地采样，以创建用于训练的批次。当计算损失函数时，非策略算法假设所有样本具有相同的重要性。在本文中，我们假设，培训可以通过分配不同的重要性，每个经验的基础上，他们的时间差（TD）的错误直接在培训目标。我们提出了一种新的方法，在学习阶段计算损失函数时，为每个经验引入一个加权因子。除了在与均匀采样一起使用时提高收敛速度之外，该方法还可以与用于非均匀采样的优先化方法相结合。将所提出的方法与优先级方法相结合，提高了采样效率，同时提高了基于TD的离线RL算法的性能。在OpenAI Gym套件的六个环境中进行的实验证明了所提出方法的有效性。实验结果表明，该方法在三种环境下收敛速度降低了33%~76%，在其他三种环境下返回率提高了11%，成功率提高了3%~10%.
2022-12-26 cs.AI cs.LG
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出了GProp，一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先，我们提出了一种基于时间差的学习值函数梯度的方法。其次，我们提出了偏离者-行动者-批评者（DAC）模型，它包括三个神经网络，估计的价值函数，其梯度，并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp：一个由非参数回归数据集构建的上下文强盗问题，该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂，一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争，并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习承诺从以前收集的静态数据集中学习有效的策略，而无需探索。然而，现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外（OOD）动作或状态引导时失败。我们假设，从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家（UWAC），一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面，我们采用了一种实用有效的基于丢弃的不确定性估计方法，该方法比现有RL算法引入的开销非常小。根据经验，我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外，UWAC在各种竞争性任务上的表现优于现有的离线RL方法，并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
近年来，神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里，深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先，我们提出了两个激活函数的神经网络函数逼近强化学习：S形加权线性单元（SiLU）和它的导数函数（dSiLU）。SiLU的激活通过sigmoid函数乘以其输入来计算。其次，我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法，以及具有简单退火的softmax动作选择可以与DQN竞争，而不需要单独的目标网络。我们验证我们提出的方法，首先，实现新的国家的最先进的结果，在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板，使用TD（$λ$）学习和浅dSiLU网络代理，然后，通过在Atari 2600域中使用深Sarsa（$λ$）代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
WFA-IRL: Inverse Reinforcement Learning of Autonomous Behaviors Encoded as Weighted Finite Automata
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种从演示中学习逻辑任务规范和代价函数的方法。在自治系统中，手工构造规范对于复杂的目标和约束是具有挑战性的。相反，我们考虑演示任务执行，其逻辑结构和过渡成本需要推断的自主智能体。我们采用谱学习方法来提取加权有限自动机（WFA），近似未知的任务逻辑。此后，我们定义了一个产品之间的WFA高层次的任务指导和标记的马尔可夫决策过程的低层次的控制。逆强化学习（IRL）问题被认为是学习的成本函数通过反向传播代理和专家之间的行为通过规划算法的损失。我们提出的模型，称为WFA-IRL，是能够概括的执行推断任务规范在一套MiniGrid环境。
2022-09-19 cs.LG cs.LO
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology（埃因霍温理工大学）
为了增强多智能体协作，我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现，在多代理合作纸牌游戏的简化环境中，Vanilla策略梯度在多个随机种子上优于近端策略优化（PPO）。在我们对这种行为的分析中，我们研究了Hanabi特定的指标，并假设了PPO平台的原因。此外，我们还证明了完美游戏（71回合）和任何游戏（89回合）的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
QSIM: Mitigating Overestimation in Multi-Agent Reinforcement Learning via Action Similarity Weighted Q-Learning
QSIM通过动作相似性加权Q学习缓解多智能体强化学习中的过估计问题，提升学习稳定性与性能。
2026-02-26 cs.AI cs.LG cs.MA
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu（作者）
本文提出了一种整合模仿学习与强化学习的LLM微调框架，通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Total stochastic gradient algorithms and applications in reinforcement learning
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
反向传播和导数的链式法则已经很突出;然而，全导数法则并没有得到同样的关注。在这项工作中，我们将展示如何总导数规则导致一个直观的视觉框架，用于创建图形模型上的梯度估计。特别是，以前的“策略梯度定理”很容易推导。我们基于密度估计以及似然比梯度推导出新的梯度估计量，该梯度“跳”到中间结点，而不是直接跳到目标函数。我们评估我们的方法基于模型的策略梯度算法，取得了良好的性能，并提出了证据对大众PILCO算法的成功。
2019-02-05 cs.AI cs.LG cs.NE
Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP)
Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）；Reinforcement Learning and Artificial Intelligence Laboratory, University of Alberta（阿尔伯塔大学强化学习与人工智能实验室）；Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系）
强化学习问题的最优策略往往是不连续和非光滑的。也就是说，对于具有类似表示的两个国家，它们的最佳政策可能大不相同。在这种情况下，表示整个政策与函数逼近器（FA）共享参数的所有状态可能是不可取的，因为参数共享的泛化能力，使表示不连续的，非平滑的政策困难。解决这个问题的一种常见方法，称为混合专家，是将策略表示为多个组件的加权和，其中不同的组件在状态空间的不同部分上表现良好。根据这个想法，并受到最近的工作称为加权信息最大化的启发，我们建议学习这些组件的每个状态权重，以便它们包含状态本身的信息以及迄今为止为状态学习的首选动作。动作偏好通过优势函数来表征。在这种情况下，每个分量的权重将仅对于其表示相似并且优选动作表示也相似的某些状态组较大。因此，每个组件都易于表示。我们把这种参数化的策略称为优势加权混合策略（AWMP），并把这种思想应用于改进最有竞争力的连续控制算法之一软演员评论（SAC）。实验结果表明，与AWMP SAC明显优于SAC在四个常用的连续控制任务，并实现不同的随机种子稳定的性能。
2020-02-07 cs.AI cs.LG stat.ML
Understanding the Effects of Second-Order Approximations in Natural Policy Gradient Reinforcement Learning
University of Waterloo（滑铁卢大学）
自然策略梯度方法是流行的强化学习方法，其通过利用二阶近似来用Fisher信息矩阵的逆来预处理梯度来提高策略梯度方法的稳定性。然而，据作者所知，还没有一项研究以全面和系统的方式调查了不同二阶近似的影响。为了解决这个问题，研究了五种不同的二阶近似，并在多个关键指标上进行了比较，包括性能、稳定性、样本效率和计算时间。此外，研究了文献中未被典型承认的超参数，包括不同批量的影响和自然梯度优化的评论网络。实验结果表明，平均而言，改进的二阶近似实现了最佳性能，并且使用适当调整的超参数可以导致性能和样本效率的大幅改善，范围高达+181%。我们还在https://github.com/gebob19/natural-policy-gradient-reinforcement-learning上提供了本研究中的代码。
2022-10-10 cs.LG
Deep Reinforcement Learning with Weighted Q-Learning
IDSIA（IDSIA研究所）；Università della Svizzera italiana（瑞士意大利语区大学）；TU Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Politecnico di Milano（米兰理工大学）
基于Q学习的强化学习算法正在推动深度强化学习（DRL）研究解决复杂问题，并在其中许多问题上实现超人的性能。然而，Q-Learning被认为是正偏置的，因为它通过使用期望值的最大噪声估计来学习。动作值的系统性过高估计加上DRL方法固有的高方差可能导致误差逐渐累积，导致学习算法发散。理想情况下，我们希望DRL代理考虑到他们自己对每个动作的最优性的不确定性，并能够利用它来对预期回报做出更明智的估计。在这方面，加权Q学习（WQL）有效地减少了偏差，并在随机环境中显示出显着的效果。WQL使用估计动作值的加权和，其中权重对应于每个动作值为最大值的概率;然而，这些概率的计算仅在表格设置中是实用的。在这项工作中，我们提供了方法上的进步，以受益于DRL中的WQL属性，通过使用用Dropout训练的神经网络作为深度高斯过程的有效近似。特别是，我们采用具体辍学变量，以获得校准估计的认知不确定性DRL。然后，通过在动作值网络中进行几次随机向前传递并以蒙特卡洛方式计算权重来获得估计量。这样的权重是对应于最大w.r. t的每个动作值的概率的贝叶斯估计。由Dropout估计的后验概率分布。我们展示了我们的新的深度加权Q-学习算法如何减少偏差w.r.t.并提供经验证据，证明其在代表性基准方面的优势。
2022-06-13 cs.AI cs.LG stat.ML
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
针对离线强化学习中安全与性能难以平衡的问题，提出FAWAC方法，通过可行性条件约束策略更新并改进AWR算法，还提出诱惑性数据集处理策略，在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
演化策略（ES），作为一个家庭的黑盒优化算法，最近出现作为一个可扩展的替代强化学习（RL）的方法，如Q学习或策略梯度，和更快的速度时，许多中央处理器（CPU）是由于更好的并行化。在本文中，我们提出了一个系统的增量学习方法的专家系统在动态环境中。其目标是在环境发生变化时将以前学习的策略逐步调整为新策略。我们将实例加权机制与ES，以促进其学习适应，同时保持ES的可扩展性。在参数更新期间，较高的权重被分配给包含更多新知识的实例，从而鼓励搜索分布向参数空间的新的有希望的区域移动。我们提出了两个易于实现的指标来计算权重：实例新颖性和实例质量。实例新颖性衡量实例与原始环境中先前最佳值的差异，而实例质量则对应于实例在新环境中的表现。由此产生的算法，实例加权增量演化策略（IW-IES），被验证，以实现显着提高性能的挑战RL任务，从机器人导航运动。因此，本文介绍了一个家庭的可扩展的ES算法RL域，使快速学习适应动态环境。
2022-03-31 cs.AI cs.LG cs.NE
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习（RL）代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而，在实践中，算法往往需要大量的训练经验来学习和推广。此外，经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面，基于模型的强化学习试图从经验中学习环境模型，并且具有更高的样本效率，但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中，我们提出了一种梯度匹配算法，以提高样本效率，利用目标斜率信息的动态预测器，以帮助无模型学习。我们证明了这一点，提出了一种技术，用于匹配的梯度信息，从基于模型的学习与无模型的组件在一个抽象的低维空间，并验证所提出的技术，通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Graph Signal Sampling via Reinforcement Learning
Aalto University（阿尔托大学）
我们制定的问题，采样和恢复聚类图信号作为一个多臂强盗（MAB）问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是，采样策略表示为MAB各个臂上的概率分布，并使用梯度上升进行优化。数值实验表明，基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
强化学习是机器人控制学习的一种很有前途的范例，它允许在不需要动力学模型的情况下学习复杂的控制策略。然而，即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成，每个代理具有不同的超参数集，以及在线选择最佳性能集的机制。在文献中，合奏技术通常用于提高性能，但目前的工作专门解决减少超参数调整工作。此外，我们的方法的目标在线学习一个机器人系统，并不需要并行运行多个模拟器。虽然这个想法是通用的，但选择的模型是深度确定性策略梯度，它是一种代表性的深度学习行动者-批评者方法，在连续动作设置中具有良好的性能，但已知具有高方差。我们比较了我们的在线加权q-集成的方法，q-平均集成策略在文献中使用替代政策的培训，以及在线培训，证明了新方法的优势，在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性：双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比，在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara（加州大学圣巴巴拉分校）
近年来，完全可微刚体物理模拟器已经被开发出来，它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下，这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而，到目前为止，这些梯度被证明是非常具有挑战性的，并且被完全不使用梯度信息的算法所超越。在这项工作中，我们提出了一种新的算法，交叉熵分析策略梯度，能够利用这些梯度，以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains
Brown University（布朗大学）；Microsoft Research（微软研究院）
高维观测和复杂的真实世界动力学对函数逼近和探索的强化学习提出了重大挑战。我们用两种互补的技术来解决这两个挑战：首先，我们开发了一种梯度提升风格的非参数函数逼近器，用于学习$Q$函数残差。其次，我们提出了一个探索策略的启发下的状态抽象和信息获取的不确定性原则。我们证明了这些技术的经验有效性，首先，作为一个初步的检查，在两个标准的任务（二十一点和$n$链），然后在两个更大，更现实的任务与高维观察空间。具体来说，我们介绍了两个基准内置游戏Minecraft中的观察是代理的视野的像素阵列。我们的两种算法技术的组合在标准的重复学习任务上表现出竞争力，同时在高维观测空间的两个任务上持续且大幅优于基线。新的函数逼近器，探索策略和评估基准都是追求扩展到现实世界领域的学习方法的独立兴趣。
2016-03-14 cs.AI cs.LG stat.ML
Meta-Gradient Reinforcement Learning
DeepMind（DeepMind（深度思维））
强化学习算法的目标是估计和/或优化价值函数。然而，与监督学习不同的是，没有教师或预言机可以提供真正的价值函数。相反，大多数强化学习算法估计和/或优化价值函数的代理。此代理通常基于对真实价值函数的采样和自举近似，称为返回。对回报的特定选择是决定算法性质的主要因素之一：未来回报的贴现率;价值应该在何时以及如何自举;甚至是回报本身的性质。众所周知，这些决策对于RL算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法，该算法能够适应返回的性质，在线，同时从环境中进行交互和学习。当应用于Atari 2600环境中的57个游戏超过2亿帧时，我们的算法实现了新的最先进的性能。
2018-05-24 cs.AI cs.LG stat.ML
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
我们获得了全局，非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理（即，零和随机博弈）。我们考虑一个情节设置，在每一集中，每个玩家独立地选择一个策略，只观察自己的行为和奖励，以及状态。我们表明，如果两个球员运行策略梯度方法串联，他们的政策将收敛到最小-最大均衡的游戏，只要他们的学习率遵循两个时标规则（这是必要的）。据我们所知，这构成了第一个有限样本收敛的结果，独立的策略梯度方法在竞争性强化学习，以前的工作主要集中在集中，协调程序的平衡计算。
2021-01-11 cs.LG
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade实验室）
强化学习（RL）是关于顺序决策的，传统上与监督学习（SL）和无监督学习（USL）相反。在RL中，给定当前状态，代理做出可能影响下一状态的决策，而不是SL（和USL），其中下一状态保持不变，无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的，但也有一些联系被忽视了。特别地，我们证明了在本文中，梯度策略方法可以被转换为一个监督学习的问题，真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法（PGM），强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验，我们交换标签和伪奖励。我们的结论是，如果我们明智地修改奖励函数，可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Reinforcement Learning by Value Gradients
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）
值梯度的概念是在强化学习的背景下引入和发展的。它表明，通过学习的值梯度探索或随机行为不再需要找到局部最优轨迹。这是使用值梯度的主要动机，并且有人认为学习值梯度是用于控制问题的任何值函数学习算法的实际目标。也有人认为，学习值梯度是显着更有效的学习值，这一论点是支持在实验中的效率增益的几个数量级，在几个问题领域。一旦将值梯度引入学习，几种分析就成为可能。例如，证明了值梯度学习算法和策略梯度学习算法之间令人惊讶的等价性，并且这为使用具有一般函数逼近器的价值函数的控制问题提供了鲁棒的收敛性证明。
2008-03-25 cs.AI cs.NE
