Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley（加州大学伯克利分校）
本文提出残差策略梯度（RPG），将残差Q学习扩展到策略梯度方法，实现策略定制，并从奖励视角重新审视KL正则化目标，实验验证其有效性。
2025-05-23 cs.LG
Policy Gradient Methods for Distortion Risk Measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出策略梯度算法，在强化学习框架下最大化扭曲风险度量，分别适用于在线和离线策略设置，并推导了收敛性保证。
2024-02-05 cs.LG
ISOPO: Proximal policy gradients without pi-old
Nilin Abrahamsen
ISOPO提出了一种无需pi-old的近端策略梯度方法，通过单次梯度步骤近似自然策略梯度，具有较低的计算开销。
2025-12-30 cs.LG
On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法，通过自适应离线采样减少在线策略梯度强化学习中的采样误差，提高数据效率。
2026-02-09 cs.LG
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI；UC Berkeley（加州大学伯克利分校）
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的，然而，还没有很好地理解它们为什么工作，因为根据经验，它们估计的$Q$ -值非常不准确。一个部分的解释可能是，$Q$ -学习方法正在秘密地实现策略梯度更新：我们表明，在熵正则化强化学习的设置中，$Q$ -学习和策略梯度方法之间存在精确的等价性，“软”（熵正则化）$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中，我们探索了$Q$的熵正则化版本-学习和策略梯度，我们发现它们在Atari基准测试中的表现与标准变体一样好（或略好于）。我们还表明，在实际环境中的等价性，通过构建一个$Q$的学习方法，密切匹配的A3 C的学习动态，而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Equivalence of stochastic and deterministic policy gradients
Roboti LLC；University of Washington（华盛顿大学）
本文证明在含高斯噪声与二次成本的 MDP 中随机和确定性策略梯度、自然梯度及状态价值函数等价，并给出确定性等价 MDP 构造方法，指出可围绕状态价值函数统一策略梯度方法。
2025-06-10 cs.LG
SoftTreeMax: Policy Gradient with Tree Search
NVIDIA Research Israel（英伟达以色列研究院）
策略梯度方法被广泛用于学习控制策略。它们可以很容易地分发给多个工作人员，并在许多领域达到最先进的结果。不幸的是，它们表现出很大的方差，并且随后遭受高样本复杂性，因为它们在整个轨迹上聚合梯度。在另一个极端，规划方法，如树搜索，使用考虑未来前瞻的单步转换来优化策略。这些方法主要被认为是基于值的算法。基于规划的算法需要一个前向模型，并且在每一步都是计算密集型的，但是更有效。在这项工作中，我们介绍SoftTreeMax，第一种方法，将树搜索到策略梯度。传统上，梯度是针对单个状态-动作对计算的。相反，我们的基于树的策略结构在每个环境步骤中利用树叶上的所有梯度。这使我们能够将梯度的方差降低三个数量级，并受益于与标准策略梯度相比更好的样本复杂性。在Atari上，与分布式PPO相比，SoftTreeMax在更快的运行时间内表现出高达5倍的性能。
2022-09-28 cs.LG
An Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）
由于更好的策略梯度技术的不断发展，机器人的强化学习方法越来越成功。精确（低方差）和准确（低偏差）的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧，这是众所周知的无偏，但高方差估计。更现代的方法利用重新参数化技巧，它提供了较低的方差梯度估计，但需要可微的价值函数逼近。在这项工作中，我们研究了一种不同类型的随机梯度估计-测度值导数。该估计是无偏的，具有低方差，并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置，并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧，无论是在低维和高维的动作空间。通过这项工作，我们希望表明，测度值导数估计可以是一个有用的替代其他策略梯度估计。
2022-03-08 cs.LG
Meta-Gradients in Non-Stationary Environments
University of Oxford（牛津大学）；DeepMind（深度思维）
元梯度方法（Xu等人，2018; Zahavy等人，2020）为非平稳强化学习问题中的超参数选择和自适应问题提供了一个有前途的解决方案。然而，在这样的环境中的元梯度的性质还没有得到系统的研究。在这项工作中，我们带来了新的清晰度元梯度在非平稳环境。具体而言，我们要问：（i）应该向学习的优化器提供多少信息，以便在生命周期内实现更快的自适应和泛化，（ii）在此过程中学习什么元优化器函数，以及（iii）元梯度方法是否在高度非平稳环境中提供更大的优势。为了研究提供给元优化器的信息的效果，如在最近的作品中（Flennerhag等人，2021; Almeida等人，2021），我们用所选上下文特征的学习元参数函数替换固定更新规则的调整元参数。上下文特征携带关于代理性能和环境变化的信息，因此可以通知学习的元参数调度。我们发现，添加更多的上下文信息通常是有益的，从而更快地适应元参数值和提高性能的生命周期。我们支持这些结果的定性分析所产生的元参数时间表和学习功能的上下文功能。最后，我们发现，没有上下文，元梯度不提供一个一致的优势，在高度非平稳的环境中的基线。我们的研究结果表明，上下文元梯度可以发挥关键作用，在非平稳设置中提取高性能的元梯度。
2022-09-13 cs.LG
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO，揭示其输出奖励下所有token获得相同优势导致信用分配失败，证明梯度稀疏性并经验证梯度矩阵有效秩约为2，形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Policy Gradient in Robust MDPs with Global Convergence Guarantee
School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；Department of Computer Science, University of New Hampshire（新罕布什尔大学计算机科学系）
针对鲁棒马尔可夫决策过程（RMDPs）适配策略梯度方法难、实际应用受限的问题，提出首个通用双环鲁棒策略梯度算法DRPG，通过参数化转移核与梯度法求解内环策略，可单调降误差保证表格RMDP全局收敛，实验验证了其效用与收敛性。
2023-06-07 cs.LG
On the Linear convergence of Natural Policy Gradient Algorithm
Georgia Institute of Technology（佐治亚理工学院）
马尔可夫决策过程通常使用值迭代和策略迭代算法来解决。最近对强化学习的兴趣激发了对受优化启发的方法的研究，例如梯度上升。其中，一个流行的算法是自然策略梯度，它是MDP的镜像下降变体。该算法形成了几种流行的强化学习算法的基础，如自然演员-评论家，TRPO，PPO等，因此正在受到越来越多的关注。它已被证明，具有恒定步长的自然策略梯度以O（1/k）的次线性速度收敛到全局最优。本文给出了改进的有限时间收敛界，并证明了该算法具有几何（也称为线性）渐近收敛速度。我们进一步改善这种收敛结果，通过引入一个变种的自然策略梯度自适应步长。最后，我们通过实验比较了不同的策略梯度方法。
2021-05-04 cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
本文提出裁剪目标策略梯度（COPG），通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标，实现更悲观的目标，促进探索，在连续动作空间的多任务等场景中提升学习性能，且不增加计算成本。
2023-11-10 cs.LG
vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement
Zhejiang University（浙江大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）；Skywork AI（天工AI）
针对强化学习中集成评论家梯度分歧影响策略改进效率的问题，提出基于梯度方向不确定性的vMFER经验重采样方法，为低不确定性样本赋高置信度，显著优于基准且适配集成结构。
2024-05-14 cs.LG
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University（东北大学）
基于绿色仿真辅助策略梯度（GS-PG）的可重用性研究，本文考虑了无限时域马尔可夫决策过程，提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习，这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制，所提出的方法可以选择性地重用最相关的部分轨迹，即，重用单元基于每步骤或每决策的历史观察。具体而言，我们创建了一个混合似然比（MLR）的策略梯度优化，可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放（VRER）方法可以智能地选择和重用最相关的过渡观测值，提高策略梯度估计，加速最优策略的学习。我们的实证研究表明，它可以改善优化收敛，提高最先进的政策优化方法，如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们重新审视和改进的收敛性策略梯度（PG），自然PG（NPG）的方法，以及他们的方差减少变种，一般光滑的政策参数化。更具体地说，与政策的Fisher信息矩阵是正定的：i）我们表明，一个国家的最先进的方差减少PG方法，这已经被证明是收敛到平稳点，收敛到全局最优值的一些固有的函数逼近误差，由于政策参数化; ii）我们表明，NPG享有较低的样本复杂性; iii）我们提出了SRVR-NPG，它将方差缩减纳入NPG更新。我们的改进来自于一个观察，即（方差缩减）PG和NPG方法的收敛性可以相互改善：PG的平稳收敛性分析可以应用于NPG，以及和NPG的全局收敛性分析可以帮助建立（方差缩减）PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进，我们也使得NPG的方差减少成为可能，具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
A policy gradient approach for optimization of smooth risk measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
针对回合式马尔可夫决策过程中的风险敏感强化学习问题，提出分别适用于同策略和异策略场景的光滑风险度量优化策略梯度算法，推导其非渐近收敛界，且算法可应用于均值-方差和失真风险度量优化。
2024-06-23 cs.LG
Deep Metric Tensor Regularized Policy Gradient
School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（惠灵顿维多利亚大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）
本文提出一种深度度量张量正则化策略梯度算法，通过引入度量张量场将参数空间推广至黎曼流形，并利用度量张量深度神经网络最小化绝对散度以平滑策略梯度向量场，实验证明其显著优于未正则化的对应算法。
2023-05-18 cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Efficient Policy Learning for Non-Stationary MDPs under Adversarial Manipulation
马尔可夫决策过程（MDP）是强化学习的流行模型。然而，其常用的静态动力学和奖励的假设是过于严格，并未能举行对抗，非平稳，或多智能体问题。我们研究了一个情节设置的参数MDP可以不同的情节。我们通过开发对抗强化学习（ARL）算法，将我们的MDP减少到一系列\emph{adversarial}强盗问题，来学习这种潜在对抗MDP的可靠策略。ARL实现了$O(\sqrt{SATH^3})$遗憾，这是最优的$S$，$A$，和$T$，其依赖于$H$是最好的（即使对于通常的平稳MDP）在现有的无模型的方法。
2019-08-21 cs.LG stat.ML
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Non-Stationary Off-Policy Optimization
Google Research（谷歌研究院）
离策略学习是一个框架，用于根据另一个策略收集的数据，在不部署策略的情况下评估和优化策略。现实世界的环境通常是不稳定的，离线学习的策略应该适应这些变化。为了应对这一挑战，我们研究了分段固定上下文强盗的离线策略优化的新问题。我们提出的解决方案有两个阶段。在离线学习阶段，我们将记录的数据划分为分类的潜在状态，并为每个状态学习一个接近最优的子策略。在在线部署阶段，我们根据学习到的子策略的性能自适应地在它们之间切换。该方法具有实用性和可分析性，并在离线优化质量和在线部署过程中的遗憾方面提供了保证。为了证明我们方法的有效性，我们将其与合成和真实世界数据集上的最先进基线进行了比较。我们的方法优于仅对观察到的上下文起作用的方法。
2021-04-04 cs.AI cs.LG stat.ML
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs
Peking University（北京大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）；DeepMind；University of Alberta（阿尔伯塔大学）
研究非平稳线性核MDPs中的情景式强化学习，提出带有滑动窗口评估和周期性重启改进的乐观策略优化算法PROPO及值迭代算法，并证明其动态上界和近最优性。
2024-12-23 cs.LG stat.ML
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Gauss Labs Inc.（高斯实验室公司）；Facebook AI Research（脸书人工智能研究院）
我们考虑了离线强化学习（RL）设置，其中代理的目标是仅从数据中优化策略，而无需进一步的环境交互。在离线RL中，分布偏移成为困难的主要来源，这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估，这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题，以前的离线RL算法经常使用复杂的技术，鼓励低估动作值，这引入了一组额外的超参数，需要适当调整。在本文中，我们提出了一种离线RL算法，以更有原则的方式防止高估。与之前的离线RL算法不同，我们的算法OptiDICE直接估计最优策略的平稳分布校正，并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集，我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts（马萨诸塞大学）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器智能研究所））
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法，是安全的部署，他们假设的根本问题是固定的。然而，许多现实世界的问题表现出非平稳性，当风险很高时，与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步，以确保安全性，高信心，平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法，称为Seldonian算法，通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能，并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
On Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）
策略梯度方法的目标是在给定的一类策略中找到最大化期望收益的策略。给定策略的可微模型，我们希望应用梯度上升技术来达到局部最优。我们主要使用梯度上升，因为它在理论上已经研究得很好了。主要的问题是，相对于预期收益的策略梯度是不可用的，因此我们需要估计它。由于策略梯度算法也倾向于需要在政策上的数据来估计梯度，它们最大的弱点是样本效率。由于这个原因，大多数研究集中在寻找具有改进的样本效率的算法。本文提供了一个正式的介绍策略梯度，显示了策略梯度方法的发展，并应使读者遵循当前的研究主题。
2019-11-12 cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出k步策略梯度方法，通过结合k步时间窗口内的随机性，解决受限策略类中因策略梯度短视导致的局部极值问题，并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Faster Policy Learning with Continuous-Time Gradients
University of Washington（华盛顿大学）
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习，我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器（BPTT）计算连续时间系统的粗略离散化的精确梯度。相比之下，我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标，我们能够自适应地离散化，并构造一个更有效的策略梯度估计，我们称之为连续时间策略梯度（CTPG）。我们表明，更有效的CTPG估计结果更快，更强大的学习，在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
Multi-objective Neural Architecture Search via Non-stationary Policy Gradient
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多目标神经架构搜索（NAS）旨在发现存在多个冲突目标的新架构。尽管最近取得了进展，但准确有效地近似完整帕累托前沿的问题仍然具有挑战性。在这项工作中，我们探讨了新的强化学习（RL）的非平稳策略梯度（NPG）的基础上的范例。NPG利用一个非平稳的奖励函数，并鼓励不断适应的政策，以有效地捕捉整个帕累托前沿。我们引入了两个新的奖励函数的元素从标量化和进化的主导范式。为了处理非平稳性，我们提出了一个新的探索计划，使用余弦温度衰减与热重启。为了快速准确的架构评估，我们引入了一个新的预训练共享模型，我们在整个训练过程中不断进行微调。我们对各种数据集的广泛实验研究表明，我们的框架可以快速近似完整的Pareto前沿。此外，与其他多目标NAS方法和类似网络规模的其他单目标NAS方法相比，我们发现的细胞可以实现最高的预测性能。我们的工作证明了NPG作为一个简单，高效，有效的多目标NAS范例的潜力。
2020-01-31 cs.LG stat.ML
Natural Policy Gradient for Average Reward Non-Stationary RL
Carnegie Mellon University（卡内基梅隆大学）
本文提出首个无模型策略梯度算法NS-NAC及其无参数变体BORL-NS-NAC，用于非平稳平均奖励强化学习，实现动态遗憾界 $\tilde{\mathscr O}(|S|^{1/2}|A|^{1/2}Δ_T^{1/6}T^{5/6})$。
2025-04-23 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients
University of Oxford（牛津大学）
策略梯度方法是解决多智能体强化学习问题的一种有吸引力的方法，因为它具有收敛性和在部分可观测场景下的鲁棒性。然而，在流行的星际争霸多智能体挑战赛（SMAC）基准测试中，最先进的策略梯度和基于值的方法之间存在显著的性能差距。在本文中，我们引入了半策略（SOP）训练作为一种有效的和计算效率高的方法来解决策略策略梯度方法的样本效率低下。我们增强了两个国家的最先进的策略梯度算法与SOP训练，表现出显着的性能改进。此外，我们表明，我们的方法在各种SMAC任务上的表现与最先进的基于值的方法一样好或更好。
2021-05-06 cs.LG cs.MA
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）
在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University（复旦大学数据科学学院）
该研究针对折扣MDP场景，采用新的基础分析技术，系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性，完善了相关理论认知。
2024-04-11 cs.LG math.OC
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
On the Convergence of Discounted Policy Gradient Methods
Autonomous Learning Laboratory（自主学习实验室）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
许多流行的强化学习策略梯度方法遵循对策略梯度的有偏近似，称为折扣近似。虽然已经证明了策略梯度的贴现近似不是任何目标函数的梯度，但对其收敛行为或性质知之甚少。在本文中，我们表明，如果贴现近似如下，折扣因子缓慢增加的速度相关的下降学习率，由此产生的方法恢复的标准保证梯度上升的未贴现的目标。
2023-01-09 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（教育部系统控制与信息处理重点实验室）
本文分析了分布不匹配对策略梯度方法的影响，证明了在表格参数化下，不匹配引起的偏导数仍能有效描述全局最优性，并推导了更一般参数化下的显式界限，展示了在折扣因子接近1时的收敛性。
2026-10-23 cs.LG math.OC
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Expected Policy Gradients
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Wolfson Building, Parks Road, Oxford OX1 3QD（牛津大学沃尔夫森大楼（Parks Road, Oxford OX1 3QD））
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期的Sarsa的启发，EPG在估计梯度时集成了整个动作，而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明，EPG降低了梯度估计的方差，而不需要确定性的政策，高斯的情况下，没有计算开销。最后，我们表明，在一定意义上，它是最优的探索与高斯政策，使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实，这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Fourier Policy Gradients
University of Oxford（牛津大学）
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术，基于傅立叶分析，重铸积分出现预期的策略梯度卷积，并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者，我们对待三角和径向基函数，两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的，包括混合或混合连续-离散概率分布。此外，我们推导出一个一般家庭的基于样本的估计随机策略梯度，统一现有的结果基于样本的近似。我们相信，这种技术有潜力塑造下一代的策略梯度方法，由分析结果提供动力。
2018-05-30 cs.AI cs.LG
