Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Policy Gradient Methods for Distortion Risk Measures
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文提出策略梯度算法,在强化学习框架下最大化扭曲风险度量,分别适用于在线和离线策略设置,并推导了收敛性保证。
2024-02-05 cs.LG
ISOPO: Proximal policy gradients without pi-old
Nilin Abrahamsen
ISOPO提出了一种无需pi-old的近端策略梯度方法,通过单次梯度步骤近似自然策略梯度,具有较低的计算开销。
2025-12-30 cs.LG
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出k步策略梯度方法,通过结合k步时间窗口内的随机性,解决受限策略类中因策略梯度短视导致的局部极值问题,并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法,通过自适应离线采样减少在线策略梯度强化学习中的采样误差,提高数据效率。
2026-02-09 cs.LG
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的,然而,还没有很好地理解它们为什么工作,因为根据经验,它们估计的$Q$ -值非常不准确。一个部分的解释可能是,$Q$ -学习方法正在秘密地实现策略梯度更新:我们表明,在熵正则化强化学习的设置中,$Q$ -学习和策略梯度方法之间存在精确的等价性,“软”(熵正则化)$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中,我们探索了$Q$的熵正则化版本-学习和策略梯度,我们发现它们在Atari基准测试中的表现与标准变体一样好(或略好于)。我们还表明,在实际环境中的等价性,通过构建一个$Q$的学习方法,密切匹配的A3 C的学习动态,而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Equivalence of stochastic and deterministic policy gradients
Roboti LLC;University of Washington(华盛顿大学)
本文证明在含高斯噪声与二次成本的 MDP 中随机和确定性策略梯度、自然梯度及状态价值函数等价,并给出确定性等价 MDP 构造方法,指出可围绕状态价值函数统一策略梯度方法。
2025-06-10 cs.LG
Policy Gradient Methods for Off-policy Control
McGill University(麦吉尔大学)
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法,如GTD和TDC/GQ,即使在使用函数近似和增量更新时也会收敛。然而,它们是针对固定行为策略的情况而开发的。在控制问题中,人们希望随着时间的推移调整行为策略,使其相对于现有的价值函数变得更加贪婪。在本文中,我们提出了第一个基于梯度的学习算法,该算法依赖于策略梯度的框架,以修改行为策略。我们提出的算法,收敛定理,推导和经验证据表明,他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
SoftTreeMax: Policy Gradient with Tree Search
NVIDIA Research Israel(英伟达以色列研究院)
策略梯度方法被广泛用于学习控制策略。它们可以很容易地分发给多个工作人员,并在许多领域达到最先进的结果。不幸的是,它们表现出很大的方差,并且随后遭受高样本复杂性,因为它们在整个轨迹上聚合梯度。在另一个极端,规划方法,如树搜索,使用考虑未来前瞻的单步转换来优化策略。这些方法主要被认为是基于值的算法。基于规划的算法需要一个前向模型,并且在每一步都是计算密集型的,但是更有效。在这项工作中,我们介绍SoftTreeMax,第一种方法,将树搜索到策略梯度。传统上,梯度是针对单个状态-动作对计算的。相反,我们的基于树的策略结构在每个环境步骤中利用树叶上的所有梯度。这使我们能够将梯度的方差降低三个数量级,并受益于与标准策略梯度相比更好的样本复杂性。在Atari上,与分布式PPO相比,SoftTreeMax在更快的运行时间内表现出高达5倍的性能。
2022-09-28 cs.LG
Faster Policy Learning with Continuous-Time Gradients
University of Washington(华盛顿大学)
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习,我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器(BPTT)计算连续时间系统的粗略离散化的精确梯度。相比之下,我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标,我们能够自适应地离散化,并构造一个更有效的策略梯度估计,我们称之为连续时间策略梯度(CTPG)。我们表明,更有效的CTPG估计结果更快,更强大的学习,在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
An Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学)
由于更好的策略梯度技术的不断发展,机器人的强化学习方法越来越成功。精确(低方差)和准确(低偏差)的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧,这是众所周知的无偏,但高方差估计。更现代的方法利用重新参数化技巧,它提供了较低的方差梯度估计,但需要可微的价值函数逼近。在这项工作中,我们研究了一种不同类型的随机梯度估计-测度值导数。该估计是无偏的,具有低方差,并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置,并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧,无论是在低维和高维的动作空间。通过这项工作,我们希望表明,测度值导数估计可以是一个有用的替代其他策略梯度估计。
2022-03-08 cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients
University of Oxford(牛津大学)
策略梯度方法是解决多智能体强化学习问题的一种有吸引力的方法,因为它具有收敛性和在部分可观测场景下的鲁棒性。然而,在流行的星际争霸多智能体挑战赛(SMAC)基准测试中,最先进的策略梯度和基于值的方法之间存在显著的性能差距。在本文中,我们引入了半策略(SOP)训练作为一种有效的和计算效率高的方法来解决策略策略梯度方法的样本效率低下。我们增强了两个国家的最先进的策略梯度算法与SOP训练,表现出显着的性能改进。此外,我们表明,我们的方法在各种SMAC任务上的表现与最先进的基于值的方法一样好或更好。
2021-05-06 cs.LG cs.MA
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司);Duke University(杜克大学)
在本文中,我们提出了一种新的算法命名为STORM-PG(STORM-PG),它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界,与策略梯度算法的最佳收敛速度相匹配。同时,STORM-PG避免了大批量和小批量之间的交替,这在可比的方差减少的策略梯度方法中持续存在,允许相当简单的参数调整。数值实验表明,我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO,揭示其输出奖励下所有token获得相同优势导致信用分配失败,证明梯度稀疏性并经验证梯度矩阵有效秩约为2,形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta(阿尔伯塔大学)
本文提出带强调权重的演员-评论家算法ACE,通过统一离策略目标并推导策略梯度定理,解决了OffPAC和DPG等半梯度方法收敛到错误解的问题,并在多个环境中验证了其优越性。
2023-04-13 cs.LG
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University(复旦大学数据科学学院)
该研究针对折扣MDP场景,采用新的基础分析技术,系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性,完善了相关理论认知。
2024-04-11 cs.LG math.OC
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Brain(谷歌大脑);DeepMind;UC Berkeley(加州大学伯克利分校);Uber AI Labs(优步人工智能实验室)
无模型深度强化学习(RL)方法在各种模拟领域都取得了成功。然而,深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习,但代价是高方差,这通常需要大批量。TD风格的方法,如非策略行动者-批评者和Q学习,样本效率更高,但存在偏差,并且通常需要昂贵的超参数扫描来稳定。在这项工作中,我们的目标是开发的方法,结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop,一个策略梯度方法,使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的,并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系,并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明,保守的Q-Prop在样本效率方面比具有广义优势估计(GAE)的信赖域策略优化(TRPO)有很大的提高,并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度(DDPG)的稳定性,DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Policy Gradient in Robust MDPs with Global Convergence Guarantee
School of Data Science, City University of Hong Kong(香港城市大学数据科学学院);Department of Computer Science, University of New Hampshire(新罕布什尔大学计算机科学系)
针对鲁棒马尔可夫决策过程(RMDPs)适配策略梯度方法难、实际应用受限的问题,提出首个通用双环鲁棒策略梯度算法DRPG,通过参数化转移核与梯度法求解内环策略,可单调降误差保证表格RMDP全局收敛,实验验证了其效用与收敛性。
2023-06-07 cs.LG
On the Linear convergence of Natural Policy Gradient Algorithm
Georgia Institute of Technology(佐治亚理工学院)
马尔可夫决策过程通常使用值迭代和策略迭代算法来解决。最近对强化学习的兴趣激发了对受优化启发的方法的研究,例如梯度上升。其中,一个流行的算法是自然策略梯度,它是MDP的镜像下降变体。该算法形成了几种流行的强化学习算法的基础,如自然演员-评论家,TRPO,PPO等,因此正在受到越来越多的关注。它已被证明,具有恒定步长的自然策略梯度以O(1/k)的次线性速度收敛到全局最优。本文给出了改进的有限时间收敛界,并证明了该算法具有几何(也称为线性)渐近收敛速度。我们进一步改善这种收敛结果,通过引入一个变种的自然策略梯度自适应步长。最后,我们通过实验比较了不同的策略梯度方法。
2021-05-04 cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室)
本文提出裁剪目标策略梯度(COPG),通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标,实现更悲观的目标,促进探索,在连续动作空间的多任务等场景中提升学习性能,且不增加计算成本。
2023-11-10 cs.LG
vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Skywork AI(天工AI)
针对强化学习中集成评论家梯度分歧影响策略改进效率的问题,提出基于梯度方向不确定性的vMFER经验重采样方法,为低不确定性样本赋高置信度,显著优于基准且适配集成结构。
2024-05-14 cs.LG
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University(东北大学)
基于绿色仿真辅助策略梯度(GS-PG)的可重用性研究,本文考虑了无限时域马尔可夫决策过程,提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习,这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制,所提出的方法可以选择性地重用最相关的部分轨迹,即,重用单元基于每步骤或每决策的历史观察。具体而言,我们创建了一个混合似然比(MLR)的策略梯度优化,可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放(VRER)方法可以智能地选择和重用最相关的过渡观测值,提高策略梯度估计,加速最优策略的学习。我们的实证研究表明,它可以改善优化收敛,提高最先进的政策优化方法,如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
On the Convergence of Discounted Policy Gradient Methods
Autonomous Learning Laboratory(自主学习实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多流行的强化学习策略梯度方法遵循对策略梯度的有偏近似,称为折扣近似。虽然已经证明了策略梯度的贴现近似不是任何目标函数的梯度,但对其收敛行为或性质知之甚少。在本文中,我们表明,如果贴现近似如下,折扣因子缓慢增加的速度相关的下降学习率,由此产生的方法恢复的标准保证梯度上升的未贴现的目标。
2023-01-09 cs.AI cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras(马德拉斯印度理工学院)
针对离策略强化学习控制问题,提出两种基于平滑泛函梯度估计的策略梯度算法,推导其非渐近收敛界,证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Key Laboratory of System Control and Information Processing, Ministry of Education of China(教育部系统控制与信息处理重点实验室)
本文分析了分布不匹配对策略梯度方法的影响,证明了在表格参数化下,不匹配引起的偏导数仍能有效描述全局最优性,并推导了更一般参数化下的显式界限,展示了在折扣因子接近1时的收敛性。
2026-10-23 cs.LG math.OC
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
A policy gradient approach for optimization of smooth risk measures
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
针对回合式马尔可夫决策过程中的风险敏感强化学习问题,提出分别适用于同策略和异策略场景的光滑风险度量优化策略梯度算法,推导其非渐近收敛界,且算法可应用于均值-方差和失真风险度量优化。
2024-06-23 cs.LG
Deep Metric Tensor Regularized Policy Gradient
School of Engineering and Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学);National Institute of Water and Atmospheric Research(国家水与大气研究所)
本文提出一种深度度量张量正则化策略梯度算法,通过引入度量张量场将参数空间推广至黎曼流形,并利用度量张量深度神经网络最小化绝对散度以平滑策略梯度向量场,实验证明其显著优于未正则化的对应算法。
2023-05-18 cs.LG
Statistically Efficient Off-Policy Policy Gradients
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的策略梯度方法通过在策略值的估计梯度的方向上采取步骤来更新策略参数。在本文中,我们考虑统计有效的估计政策梯度从政策外的数据,估计是特别不平凡的。我们推导出可行的均方误差在马尔可夫和非马尔可夫决策过程的渐近下界,并表明现有的估计无法实现它在一般设置。我们提出了一个元算法,实现了下界没有任何参数假设,并表现出独特的3路双鲁棒性。我们讨论了如何估计算法所依赖的干扰。最后,我们建立保证的速度,我们接近一个稳定的点,当我们采取步骤,我们的新估计的政策梯度的方向。
2020-02-20 cs.LG math.OC stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.(谷歌公司)
强化学习的策略梯度方法有两个常见的和不希望的开销过程,即热启动训练和样本方差减少。在本文中,我们描述了一种基于softmax价值函数的强化学习方法,该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Expected Policy Gradients
Department of Computer Science, University of Oxford(牛津大学计算机科学系);University of Oxford(牛津大学);Wolfson Building, Parks Road, Oxford OX1 3QD(牛津大学沃尔夫森大楼(Parks Road, Oxford OX1 3QD))
我们提出了预期策略梯度(EPG),它统一了强化学习的随机策略梯度(SPG)和确定性策略梯度(DPG)。受预期的Sarsa的启发,EPG在估计梯度时集成了整个动作,而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理,其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明,EPG降低了梯度估计的方差,而不需要确定性的政策,高斯的情况下,没有计算开销。最后,我们表明,在一定意义上,它是最优的探索与高斯政策,使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实,这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Fourier Policy Gradients
University of Oxford(牛津大学)
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术,基于傅立叶分析,重铸积分出现预期的策略梯度卷积,并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者,我们对待三角和径向基函数,两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的,包括混合或混合连续-离散概率分布。此外,我们推导出一个一般家庭的基于样本的估计随机策略梯度,统一现有的结果基于样本的近似。我们相信,这种技术有潜力塑造下一代的策略梯度方法,由分析结果提供动力。
2018-05-30 cs.AI cs.LG
Bayesian Policy Gradients via Alpha Divergence Dropout Inference
McGill University(麦吉尔大学)
策略梯度方法在解决连续控制任务方面取得了巨大的成功,但此类问题的随机性使得确定性值估计变得困难。我们提出了一种方法,而不是估计分布拟合的价值函数与贝叶斯神经网络。我们优化了一个$α$发散目标与贝叶斯辍学近似学习和估计这个分布。我们表明,使用蒙特卡洛后验均值的贝叶斯价值函数分布,而不是一个确定性的网络,提高了稳定性和性能的策略梯度方法在连续控制MuJoCo模拟。
2017-12-06 cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Off-Policy Policy Gradient with State Distribution Correction
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
研究了马尔可夫决策过程中的离政策策略优化问题,提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里,我们建立在最近的进展,估计行为和评估政策下的状态分布的比率进行政策评估,并提出了一个政策外的策略梯度优化技术,可以解释这种不匹配的分布。我们提出了一个说明性的例子,为什么这是重要的,我们的方法的理论收敛保证。从经验上讲,我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较,从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
策略梯度定理(Sutton等人,2000)规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设,引入了可能导致收敛到差解的分布偏移。在本文中,我们提出了一种新的方法,重建的策略梯度从开始状态,而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化,由于新的梯度Bellman方程,可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流,我们开发的第一个估计,回避了分布偏移的问题,在一个无模型的方式。我们证明,在一定的可实现性条件下,我们的估计是无偏的,无论抽样策略。我们的经验表明,我们的技术实现了优越的偏差方差权衡和性能的存在下,关闭政策的样本。
2022-07-07 cs.AI cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom(曼彻斯特大学,英国)
本文提出RAT方法,通过直接反向传播估计正则化自然策略梯度,解决了传统方法中估计和求逆Fisher矩阵成本高的问题,实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy Gradient Methods with Entropy Regularization
University of California, Berkeley(加州大学伯克利分校);Citadel Securities(城堡证券)
本文针对带熵正则化的soft-max策略梯度方法此前仅在精确梯度假设下有收敛证明的问题,提出两类近乎无偏的随机梯度估计器和两阶段算法,首次证明了该类随机方法的全局收敛性并给出样本复杂度。
2024-07-13 cs.LG
Sample Complexity of Estimating the Policy Gradient for Nearly Deterministic Dynamical Systems
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的机器人控制器学习方法。最近已经表明,基于策略梯度的有限差分估计的算法与基于策略梯度定理的算法具有竞争力。我们提出了一个理论框架来理解这种现象。我们的关键见解是,许多动力系统(特别是那些感兴趣的机器人控制任务)几乎是确定性的-即,它们可以被建模为具有小的随机扰动的确定性系统。我们表明,对于这样的系统,有限差分估计的策略梯度可以有大大低于估计的基础上的策略梯度定理的方差。最后,我们实证评估我们的见解在倒立摆实验。
2021-10-11 cs.LG stat.ML
Policy Gradient for Reinforcement Learning with General Utilities
Technion(以色列理工学院);NUS(新加坡国立大学)
本文推导了面向一般效用强化学习的策略梯度定理,并基于此提出简单样本算法,以处理非线性目标函数,扩展了线性强化学习框架。
2023-08-29 cs.LG
Is the Policy Gradient a Gradient?
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对策略梯度方法省略折扣因子后产生的更新是否为梯度这一开放问题,证明该更新不一定等于任何函数的梯度,构造反例说明其会导致策略收敛到全局最差,指出领域内存在广泛误解。
2026-10-19 cs.LG stat.ML
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
How are policy gradient methods affected by the limits of control?
KTH Royal Institute of Technology(KTH皇家理工学院);ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们从控制理论局限性的角度研究随机策略梯度法。我们的主要结果是病态的线性系在Doyle意义下不可避免地导致噪声梯度估计。我们还给出了一类稳定系统的例子,其中的政策梯度法遭受灾难的维数。我们的结果适用于状态反馈和部分观测系统。
2022-06-14 cs.LG math.OC
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne(科隆大学)
本文系统综述深度强化学习中的同策略策略梯度算法,整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
本文提出基于Transformer策略的广义策略梯度定理,揭示了标准策略梯度定理和GRPO的特殊案例,并探讨了其在训练大型语言模型中的应用。
2025-12-11 cs.AI cs.CL cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta(阿尔伯塔大学);Technische Universität Darmstadt(达姆施塔特工业大学)
非策略强化学习(RL)有望提高数据效率,因为它允许样本重用,并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差,要么遭受高方差,从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显,其中RL的成功相当有限,并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程,它可以用封闭形式求解.该解对于策略参数是可微的,并且可以获得对策略梯度的估计。通过这种方式,我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量,并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
A Nonparametric Off-Policy Policy Gradient
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
强化学习(RL)算法尽管最近取得了显著的成功,但仍然遭受高样本复杂度。在许多广泛流行的使用策略样本执行更新的策略梯度算法中,尤其需要与环境进行密集交互。这种低效率的代价在现实世界的场景中变得明显,例如交互驱动的机器人学习,其中RL的成功相当有限。我们解决这个问题,通过建立在一般的样本效率的政策外的算法。非参数回归和密度估计方法,我们构造了一个非参数贝尔曼方程的原则性的方式,这使我们能够获得封闭形式的价值函数的估计,并解析地表达完整的策略梯度。我们提供了一个理论分析,我们的估计表明,它是一致的温和的平滑假设和经验表明,我们的方法具有更好的样本效率比国家的最先进的策略梯度方法。
2020-08-03 cs.LG stat.ML
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University(宾厄姆顿大学);Yantai University(烟台大学)
我们解决的挑战,有效的勘探,同时保持良好的性能,在策略梯度方法。作为一种解决方案,我们提出了通过共轭政策的多样性探索(DE)。DE学习和部署一组共轭策略,这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明,DE在实现探索,提高政策绩效的有效性,DE的优势,探索随机政策扰动。
2019-02-10 cs.LG stat.ML