The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Robust Deterministic Policy Gradient for Disturbance Attenuation and Its Application to Quadrotor Control
School of Electrical Engineering, Korea Advanced Institute of Science（电气工程学院，韩国先进科学研究院）
本文提出鲁棒确定性策略梯度算法，通过将H∞控制问题转化为动态博弈，结合深度强化学习提升四旋翼在扰动下的鲁棒性和跟踪精度。
2025-12-03 cs.AI cs.RO
Learning to Explore with Meta-Policy Gradient
Baidu Research（百度研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
包括深度Q学习和深度确定性策略梯度（DDPG）在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声，并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中，我们开发了一个简单的Meta策略梯度算法，使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为，是独立的演员的政策，产生一个\emph{global exploration}，显着加快学习过程。通过广泛的研究，我们表明，我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
An Empirical Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe（欧洲本田研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
由于更好的策略梯度技术的不断发展，机器人的强化学习方法越来越成功。精确（低方差）和准确（低偏差）的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧，这是众所周知的无偏，但高方差估计。更现代的方法利用重新参数化技巧，它提供了较低的方差梯度估计，但需要可微的价值函数逼近。在这项工作中，我们研究了一种不同类型的随机梯度估计：测度值导数。该估计是无偏的，具有低方差，并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置，并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧，无论是在低维和高维的动作空间。
2021-07-20 cs.AI cs.LG
Soft Deterministic Policy Gradient with Gaussian Smoothing
School of Electrical Engineering, KAIST（韩国延世大学电气工程学院）
本文提出基于高斯平滑的贝尔曼方程的软确定性策略梯度方法，解决传统DPG在稀疏或离散奖励下的梯度不明确问题，通过新定义的动作价值函数提升算法稳定性与性能。
2026-05-07 cs.AI cs.LG
Evolved Policy Gradients
OpenAI；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
提出了一种基于梯度的强化学习（RL）算法的元学习方法。这个想法是发展一个可微的损失函数，这样一个代理，优化其政策，以尽量减少这种损失，将获得高回报。损失是通过代理的经验时间卷积参数化。由于这种损失在考虑代理历史的能力方面具有高度灵活性，因此它可以实现快速任务学习。实验结果表明，我们的进化策略梯度算法（EPG）实现了更快的学习在几个随机环境相比，现成的策略梯度方法。我们还证明了EPG的学习损失可以推广到分布测试时间任务，并表现出与其他流行的元学习算法有质的不同的行为。
2018-04-29 cs.AI cs.LG
Expected Policy Gradients for Reinforcement Learning
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Oxford（牛津大学）
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期Sarsa的启发，EPG在估计梯度时对动作进行积分（或求和），而不是仅依赖于采样轨迹中的动作。对于连续的行动空间，我们首先得到一个实际的结果，高斯政策和二次批评，然后将其扩展到一个普遍的分析方法，涵盖了广泛的一类演员和批评，包括高斯，指数家庭，并与有界支持的政策。对于高斯策略，我们引入了一种探索方法，该方法使用与评论家的缩放Hessian矩阵指数成比例的协方差。对于离散的动作空间，我们推导出一个基于softmax策略的EPG变体。我们还建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。此外，我们证明了EPG降低了梯度估计的方差，而不需要确定性的政策，并具有很小的计算开销。最后，我们提供了一个广泛的EPG实验评估，并表明它优于现有的方法在多个具有挑战性的控制域。
2020-05-02 cs.AI stat.ML
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
策略梯度方法已被频繁地应用于控制和强化学习中的问题，并取得了巨大的成功，然而现有的收敛分析仍然依赖于非直观的，不切实际的，往往是不透明的条件。特别是，现有的比率是在有限的环境中，在严格的规律性条件下实现的。在这项工作中，我们建立了明确的策略梯度方法的收敛速度，扩展的收敛制度，弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是，我们的分析还表明，在这些假设下，标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后，我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
Combining policy gradient and Q-learning
Deepmind
策略梯度是用于在强化学习设置中改进策略的有效技术。然而，vanilla在线变体仅适用于政策，无法利用政策外数据。在本文中，我们描述了一种新的技术，结合了策略梯度与非策略Q学习，从重放缓冲区的经验。这是通过在正则化策略梯度算法的不动点和Q值之间建立联系来激发的。这种连接使我们能够从策略的动作偏好中估计Q值，并对其应用Q学习更新。我们将新技术称为“PGQL”，用于策略梯度和Q学习。我们还建立了行动值拟合技术和演员评论家算法之间的等价性，表明正则化的策略梯度技术可以被解释为优势函数学习算法。我们得出结论，一些数值例子表明，提高数据效率和稳定性的PGQL。特别是，我们在全套Atari游戏上测试了PGQL，并实现了超过异步优势演员-评论家（A3 C）和Q学习的性能。
2017-04-07 cs.AI cs.LG math.OC
Ranking Policy Gradient
Michigan State University（密歇根州立大学）
样本低效是强化学习（RL）中一个长期存在的问题。最先进的估计最优动作值，而它通常涉及到广泛的搜索状态动作空间和不稳定的优化。对于样本有效的强化学习，我们提出了排名策略梯度（RPG），一个策略梯度方法，学习一组离散动作的最佳排名。为了加速策略梯度方法的学习，我们建立了收益下限最大化和在不访问任何预言机的情况下模仿接近最优策略之间的等价性。这些结果导致一个通用的离策略学习框架，保持最优性，减少方差，提高样本效率。此外，RPG的样本复杂度不依赖于状态空间的维数，这使得RPG的大规模问题。我们进行了大量的实验表明，当巩固与离策略学习框架，RPG大大降低了样本的复杂性，与国家的最先进的。
2019-11-26 cs.AI cs.LG stat.ML
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对策略梯度估计中的残差误差，提出利用状态-动作折扣分布的对数密度梯度，并给出TD近似与仅需同策略样本的min-max优化，证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Gradient-Aware Model-based Policy Search
Politecnico di Milano（米兰理工大学）
传统的基于基于模型的强化学习方法学习环境动态的模型，而没有明确考虑代理将如何使用它。在存在错误指定的模型类的情况下，这可能导致较差的估计，因为一些相关的可用信息被忽略。在本文中，我们介绍了一种新的基于模型的政策搜索方法，利用知识的当前代理政策学习一个近似的过渡模型，专注于部分的环境，最相关的政策改进。我们利用加权方案，来自基于模型的策略梯度估计的误差最小化，以定义一个合适的目标函数，优化学习的近似过渡模型。然后，我们将此过程集成到一个批处理策略改进算法中，称为基于模型的策略搜索（GAMPS），它迭代地学习过渡模型，并使用它与收集的轨迹一起计算新的策略参数。最后，我们在基准域上对GAMPS进行了实证验证，分析和讨论了它的性质。
2019-11-20 cs.AI cs.LG stat.ML
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon（亚马逊）
学习面向目标的对话策略通常利用监督学习算法离线执行，或者利用强化学习（RL）在线执行。此外，随着公司积累了大量客户和训练有素的人类代理之间的对话记录，编码器-解码器方法已经流行起来，因为代理话语可以直接被视为监督，而不需要话语级注释。然而，这样的方法的一个潜在的缺点是，他们近视生成下一个代理话语，而不考虑对话级的考虑。为了解决这个问题，本文描述了一种离线RL方法，用于从未注释的语料库中学习，该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数，并使用上政策和关闭政策策略梯度离线学习策略，而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
非策略深度强化学习（RL）算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习，这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为，大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题，然后提出了一种约束状态分布偏移的离线策略优化方法。为此，我们首先使用密度估计器基于状态的特征来估计状态分布，然后开发一种新的约束非策略梯度目标，其最小化状态分布偏移。我们的连续控制任务的实验结果表明，最大限度地减少这种分布不匹配，可以显着提高性能，在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Mollification Effects of Policy Gradient Methods
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文建立策略梯度方法与反向热方程的等价性，揭示其磨光非光滑优化景观的利弊，并借助不确定性原理解释随机探索的局限，附实验验证。
2024-05-28 cs.AI cs.LG cs.RO
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University（波士顿大学）
为了使强化学习技术在现实世界的决策过程中发挥作用，它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果，但它们在现实世界中的应用仍然有限，因为它们通常需要大量数据才能成功。当与小样本量相结合时，这些方法可能会导致不稳定的学习，因为它们依赖于基于高维样本的估计。在这项工作中，我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法，旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法，不确定性感知的信任域策略优化，生成强大的策略更新，以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（蒙特利尔人工智能研究所）；Université Laval（拉瓦尔大学）；IID - Institut Intelligence et Données（智能与数据研究所）；LawZero；CIFAR AI Chair（CIFAR人工智能主席）
提出SHAPO算法，通过锐度感知策略更新隐式重加权梯度，放大罕见不安全动作的影响，抑制安全动作的贡献，从而在欠探索区域实现保守行为，提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Does "Do Differentiable Simulators Give Better Policy Gradients?" Give Better Policy Gradients?
The University of Tokyo（东京大学）
本文探讨可微模拟器在策略梯度方法中的有效性，提出DDCG和IVW-H两种方法，通过切换估计器和控制方差提升鲁棒性与样本效率。
2026-10-27 cs.AI cs.LG cs.RO
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Improving Generalization in Mountain Car Through the Partitioned Parameterized Policy Approach via Quasi-Stochastic Gradient Descent
University of Florida（佛罗里达大学）
强化学习的问题，找到一个控制策略，最大限度地减少了最小的时间目标的山地车环境。特别地，对一类参数化非线性反馈策略进行了优化，使其在最短时间内到达最高峰的顶点。采用准随机梯度下降（qSGD）方法进行优化。在试图找到最佳的最小时间的政策，一个新的参数化的政策方法被认为是寻求学习的状态空间的不同区域的最佳政策参数，而不是依赖于一个单一的宏观政策参数的整个状态空间。这种分区的参数化政策的方法被证明优于统一的参数化政策的方法，并导致更大的推广比以前的方法，其中山地车成为被困在状态空间中的圆形轨迹。
2021-05-28 cs.AI cs.LG cs.SY
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Stabilizing Policy Gradient Methods via Reward Profiling
本文提出了一种通用的奖励分析框架，通过高置信度性能估计稳定策略梯度方法，提高收敛速度并降低回报方差。
2026-01-24 cs.AI cs.LG cs.SY
Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods
Imperial College London（帝国理工学院）
本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。
2025-12-18 cs.AI cs.CL cs.LG
Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient
Yale University（耶鲁大学）；Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）
提出随机解耦策略梯度（SDPG）方法，通过轨迹滚动的随机扰动估计策略梯度，在单GPU上数小时内端到端训练多样化的视觉运动控制策略，显著降低计算和内存开销，并在视觉MuJoCo基准测试中优于基线方法。
2026-05-26 cs.AI cs.CV cs.LG
A K-fold Method for Baseline Estimation in Policy Gradient Algorithms
Samsung SDS Research America（三星 SDS 美国研究院）；OpenAI；UC Berkeley（加州大学伯克利分校）
无偏策略梯度方法（如VPG和REINFORCE）中的高方差问题通常通过添加基线来缓解。然而，基线拟合本身遭受欠拟合或过拟合问题。在本文中，我们开发了一个K倍的基线估计方法在策略梯度算法。参数K是基线估计超参数，可以调整基线估计中的偏差-方差权衡。我们证明了我们的方法的有用性，通过两个国家的最先进的策略梯度算法的三个MuJoCo机车控制任务。
2017-01-03 cs.AI
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom（曼彻斯特大学，英国）
本文提出RAT方法，通过直接反向传播估计正则化自然策略梯度，解决了传统方法中估计和求逆Fisher矩阵成本高的问题，实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park（马里兰大学帕克分校）
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法，通过α-策略自适应管控解析梯度影响，用梯度方差偏差指标动态调整依赖度，在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
Correcting discount-factor mismatch in on-policy policy gradient methods
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
本文提出一种新的分布校正方法，修正同策略策略梯度中忽略折扣平稳分布的问题，以低方差避免性能下降，并在多个基准上匹配或超越原始性能。
2023-06-23 cs.AI cs.LG
GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
本文提出基于Transformer策略的广义策略梯度定理，揭示了标准策略梯度定理和GRPO的特殊案例，并探讨了其在训练大型语言模型中的应用。
2025-12-11 cs.AI cs.CL cs.LG
Partial Policy Gradients for RL in LLMs
Adobe Research（Adobe研究）
本文提出了一种在大语言模型中使用部分策略梯度的方法，通过优化未来奖励的子集来建模和比较不同策略类别，展示了不同策略在不同任务中的表现差异。
2026-03-06 cs.AI cs.LG
Clipped Action Policy Gradient
Preferred Networks, Inc.（Preferred Networks公司）
许多连续控制任务具有有界的动作空间。当将策略梯度方法应用于此类任务时，需要在执行前裁剪越界操作，而策略通常会被优化，就像操作未被裁剪一样。我们提出了一个策略梯度估计，利用知识的行动被裁剪，以减少估计的方差。我们证明了我们的估计，命名为剪切动作策略梯度（CAPG），是无偏的，并实现较低的方差比传统的估计，忽略行动的界限。实验结果表明，CAPG一般优于传统的估计，这表明它是一个更好的连续控制任务的策略梯度估计。源代码可在https://github.com/pfnet-research/capg上获得。
2018-06-22 cs.AI cs.LG stat.ML
MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.（江森自控有限公司）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
我们提出了一种新的策略梯度方法用于多智能体强化学习，该方法利用两种不同的方差减少技术，并且不需要大批量迭代。具体来说，我们提出了一个基于动量的分散策略梯度跟踪（MDPGT），其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样，和一个中间参数被用来跟踪两个连续的策略梯度代理。此外，MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数（可能是非凹的）。这优于分散式无模型强化学习中最先进的样本复杂度，并且当用单个轨迹初始化时，样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时，MDPGT导致线性加速，这在分散随机优化中已经建立，但对于强化学习则不是。最后，我们提供了一个多智能体强化学习基准环境的实证结果，以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Investigation on the generalization of the Sampled Policy Gradient algorithm
采样策略梯度（SPG）算法是一种新的离线执行者-评论者变体，它在动作空间中采样以近似策略梯度。它通过使用评论家来评估采样的动作来实现这一点。SPG提供了理论上的承诺，类似的算法，如DPG，因为它搜索的动作Q值空间独立于局部梯度，使其能够避免局部极小值。本文的目的是比较SPG两个类似的演员评论家算法，CACLA和DPG。该比较是在两种不同的环境、两种不同的网络架构以及与使用经验缓冲区相比的关于策略转换的训练中进行的。结果似乎表明，虽然SPG通常不执行最差的，它并不总是匹配的性能最好的算法在特定的任务。进一步的实验需要得到一个更好的估计SPG的质量。
2019-10-09 cs.AI cs.LG
Uncertainty-Aware Instance Reweighting for Off-Policy Learning
Bytedance Research（字节跳动研究院）；ChongQing University（重庆大学）；University of Virginia（弗吉尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
针对离策略学习中记录策略未知导致的高偏差与高方差问题，本文提出带收敛保证的不确定性感知逆倾向得分估计器UIPS，并在合成及真实推荐数据集上验证其样本效率优势。
2023-09-27 cs.AI cs.LG
How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；NNAISENSE（恩奈瑟思）
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者，该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而，批评者通常只接受训练以准确预测预期回报，而不是梯度，这本身对政策优化毫无用处。在本文中，我们提出了MAGE，一个基于模型的actor-critic算法，接地理论的策略梯度，明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习，导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上，我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
Improving Value Estimation Critically Enhances Vanilla Policy Gradient
University of California, San Diego（加州大学圣迭戈分校）
本文发现，朴素策略梯度通过增加每次迭代的价值更新步数即可媲美或超越PPO，挑战了信任区域机制的关键作用，强调价值估计准确性是性能提升的核心因素。
2025-05-25 cs.AI cs.LG cs.RO
Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow
KAIST（韩国科学技术院）
本文提出漂移场策略（DFP），一种基于漂移模型范式的非ODE一步生成策略，通过Wasserstein-2梯度流逆KL更新软目标策略，实现概率空间中的梯度步进，提升漂移骨干的性能，在多个操控任务中取得最佳表现。
2026-05-08 cs.AI cs.LG cs.RO
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
