Exploiting Estimation Bias in Clipped Double Q-Learning for Continous Control Reinforcement Learning Tasks
University of Padova（帕多瓦大学）；Human-Inspired Technology Research Center（仿人技术研究中心）
本文提出一种偏差利用（BE）机制，在Actor-Critic方法的深度双Q学习中动态选择最有利的估计偏差，以解决连续控制强化学习中的次优策略问题，且不增加计算复杂度。
2024-10-11 cs.AI cs.LG
KLip-PPO: A per-sample KL perspective on PPO-Clip
University of California, Berkeley（加州大学伯克利分校）
本文通过逐样本KL散度惩罚重新表述PPO-Clip，证明其梯度与KL惩罚等价，并揭示了裁剪替代目标中隐含的逐样本惩罚系数结构，为算法泛化提供了新设计方向。
2026-06-24 cs.LG
Learning values across many orders of magnitude
Google DeepMind（谷歌DeepMind）
大多数学习算法对于被近似的函数的尺度不是不变的。我们建议自适应地规范化学习中使用的目标。这在基于值的强化学习中很有用，当我们更新行为策略时，适当的值近似值的大小会随着时间的推移而变化。我们的主要动机是之前学习玩Atari游戏的工作，其中奖励都被限制在预定的范围内。这种裁剪有助于使用单个学习算法在许多不同的游戏中学习，但是裁剪的奖励函数可能导致性质上不同的行为。使用自适应归一化，我们可以在不降低整体性能的情况下删除这种特定于域的启发式算法。
2016-08-16 cs.AI cs.LG cs.NE
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
Parallel Momentum Methods Under Biased Gradient Estimations
National Institute of Standards and Technology（美国国家标准与技术研究院）；Rice University（莱斯大学）；Colorado State University（科罗拉多州立大学）；University of Colorado（科罗拉多大学）；National Research Institute for Metals（国立金属材料研究所）
该研究针对分布式机器学习中梯度估计易有偏的问题，建立了一般非凸和μ-PL问题下并行动量方法的最坏情况界，实验验证其收敛性能优于传统有偏梯度下降。
2025-01-12 cs.LG
Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Regularly Updated Deterministic Policy Gradient Algorithm
Jilin University（吉林大学）
深度确定性策略梯度（DDPG）算法是最著名的强化学习方法之一。然而，这种方法在实际应用中效率低且不稳定。另一方面，目标函数中Q估计的偏差和方差有时难以控制。针对这些问题，提出了一种规则更新确定性（RUD）策略梯度算法.本文从理论上证明了RUD学习过程比传统学习过程能更好地利用重放缓冲区中的新数据。此外，RUD中Q值的低方差更适合当前的Clipped Double Q学习策略。本文设计了一个对比实验，对以前的方法，烧蚀实验与原来的DDPG，和其他分析实验在Mujoco环境。实验结果证明了RUD的有效性和优越性。
2020-07-01 cs.LG stat.ML
Group Policy Gradient
University of Cambridge（剑桥大学）
该研究提出无评论家的组策略梯度GPG方法，用基于组的蒙特卡洛优势估计替代价值函数，保留PPO裁剪目标结构，经理论证明与实验验证，其性能相当或优于PPO且计算资源利用效率更高。
2025-10-04 cs.LG stat.ML
Reparameterization Proximal Policy Optimization
重参数化近端策略优化通过统一框架和稳定性机制，在保持高样本效率的同时，提升了训练稳定性并超越了现有方法。
2026-02-06 cs.AI cs.LG
CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
Kuaishou Technology（快手科技）；Independent（独立）
本文提出CE-GPPO算法，通过恢复剪裁令牌的梯度信号，协调探索与利用，缓解熵不稳定问题，并在数学推理任务中优于现有方法。
2026-04-23 cs.CL cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）；DeepMetrics（深度度量）
离线强化学习（offline RL）的目标是从先前收集的静态数据集中找到最优策略，由于来自分布外（out-of-distribution，OOD）数据点的函数近似误差，离线RL具有算法困难。为此，离线RL算法采用约束或惩罚项，显式地引导策略保持接近给定数据集。然而，现有方法通常需要准确估计行为策略或从OOD数据点采样，这本身可能是一个不平凡的问题。此外，这些方法没有充分利用深度神经网络的泛化能力，并且经常陷入太接近给定数据集的次优解。在这项工作中，我们提出了一种基于不确定性的离线RL方法，该方法考虑了Q值预测的置信度，并且不需要对数据分布进行任何估计或采样。我们证明了裁剪Q学习，一种广泛用于在线RL的技术，可以成功地惩罚具有高预测不确定性的OOD数据点。令人惊讶的是，我们发现，通过简单地增加Q网络的数量以及裁剪的Q学习，有可能在各种任务上大大优于现有的离线RL方法。基于这一观察结果，我们提出了一种集成多样化的演员-评论家算法，与朴素集成相比，该算法将所需集成网络的数量减少到十分之一，同时在大多数D4 RL基准测试中实现了最先进的性能。
2021-10-05 cs.AI cs.LG
Off-Policy Policy Gradient with State Distribution Correction
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
研究了马尔可夫决策过程中的离政策策略优化问题，提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里，我们建立在最近的进展，估计行为和评估政策下的状态分布的比率进行政策评估，并提出了一个政策外的策略梯度优化技术，可以解释这种不匹配的分布。我们提出了一个说明性的例子，为什么这是重要的，我们的方法的理论收敛保证。从经验上讲，我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较，从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning
Cornell University（康奈尔大学）；Cornell TRIPODS Center for Data Science（康奈尔大学TRIPODS数据科学中心）
使用记录的上下文强盗反馈执行离线A/B测试和离策略学习的能力在包括推荐系统、搜索引擎、广告投放和个性化医疗保健的广泛应用中是高度期望的。离线A/B测试和离策略学习都需要一个反事实估计器，用于评估如果使用某个新策略而不是日志策略，该策略将如何执行。在本文中，我们确定了一个家庭的反事实估计，其中包括大多数这样的估计提出的日期。我们的分析，这个家庭确定了一个新的估计-连续自适应混合（CAB）-享有许多有利的理论和实践性质。特别地，它可以比修剪的逆倾向分数（IPS）加权和直接方法基本上更少地偏置，并且它可以具有比双重稳健和IPS估计更少的方差。此外，它是次可微的，因此它可以用于学习，不像最小估计量。实验结果表明，CAB提供了良好的评估精度和学习性能优于其他反事实估计。
2019-08-28 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）；Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
RPG通过统一KL正则化方法和改进的梯度估计，提升LLM推理准确率，实现稳定且可扩展的强化学习算法。
2026-02-19 cs.AI cs.CL cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对离线策略学习中裁剪导致的梯度饥饿问题，提出ReSPO方法，用平滑双分支核替代裁剪，在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题，提出首个快速遗憾率算法，通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation
Tianjin University（天津大学）；Shanxi University（山西大学）；Imperial College London（伦敦帝国学院）
该研究针对大规模并行模拟下离线RL的数据 regime 变化问题，提出具 regime 感知的WarpSAC算法家族，适配不同数据规模场景，在多基准任务及现实部署上较FlashSAC实现显著性能提升。
2026-08-26 cs.LG
ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs
Shanghai Jiao Tong University Ant Group（上海交通大学-蚂蚁集团）
本文提出ConfClip方法，将可验证结果与模型置信度估计相结合，为LLM强化学习提供更细粒度的奖励信号，在多个数据集上提升RL性能并降低推理token消耗，且可作为即插即用模块增强现有先进RL方法。
2025-09-22 cs.CL cs.LG
How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；NNAISENSE（恩奈瑟思）
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者，该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而，批评者通常只接受训练以准确预测预期回报，而不是梯度，这本身对政策优化毫无用处。在本文中，我们提出了MAGE，一个基于模型的actor-critic算法，接地理论的策略梯度，明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习，导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上，我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Ranking Policy Gradient
Michigan State University（密歇根州立大学）
样本低效是强化学习（RL）中一个长期存在的问题。最先进的估计最优动作值，而它通常涉及到广泛的搜索状态动作空间和不稳定的优化。对于样本有效的强化学习，我们提出了排名策略梯度（RPG），一个策略梯度方法，学习一组离散动作的最佳排名。为了加速策略梯度方法的学习，我们建立了收益下限最大化和在不访问任何预言机的情况下模仿接近最优策略之间的等价性。这些结果导致一个通用的离策略学习框架，保持最优性，减少方差，提高样本效率。此外，RPG的样本复杂度不依赖于状态空间的维数，这使得RPG的大规模问题。我们进行了大量的实验表明，当巩固与离策略学习框架，RPG大大降低了样本的复杂性，与国家的最先进的。
2019-11-26 cs.AI cs.LG stat.ML
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对策略梯度估计中的残差误差，提出利用状态-动作折扣分布的对数密度梯度，并给出TD近似与仅需同策略样本的min-max优化，证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Penalized Proximal Policy Optimization for Safe Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）
安全强化学习旨在学习满足安全约束的最优策略，这在实际应用中至关重要。然而，目前的算法仍然难以有效的策略更新与硬约束满足。在本文中，我们提出了惩罚性近端策略优化（P3 O），它通过对等效无约束问题的单个最小化来解决繁琐的约束策略迭代。具体地说，P3O利用一个简单而有效的惩罚函数来消除成本约束，并通过裁剪代理目标来消除信任域约束。我们从理论上证明了所提出的方法的精确性与有限的惩罚因子，并提供了一个最坏情况下的近似误差分析时，评估样本轨迹。此外，我们将P3O扩展到更具挑战性的多约束和多代理场景，这些场景在以前的工作中研究较少。大量的实验表明，P3O优于国家的最先进的算法方面的奖励改善和约束满足的一组受约束的机车任务。
2022-06-17 cs.AI cs.LG math.OC
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks
Karlstad University（卡尔斯塔德大学）；Indian Institute of Science（印度科学学院）
提出一种结合标准梯度下降与梯度裁剪的训练算法及新颖截断激活函数tGELU，证明其能保证深度前馈网络数值稳定且性能一致，并在强化学习与分类任务中加速学习并降低方差。
2023-05-20 cs.AI cs.LG
A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization
Berkeley（伯克利）；Layer 6 AI
通过令牌级梯度动力学分析GRPO的不稳定性，提出仅更新正优势完成的WAPO算法，在数学推理和多跳QA任务中提升训练稳定性并匹配或超越基线。
2026-06-16 cs.LG
Marginal Policy Gradients: A Unified Family of Estimators for Bounded Action Spaces with Applications
Princeton University（普林斯顿大学）；University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）；Kwai AI Lab（快手人工智能实验室）；Northwestern University（西北大学）
许多复杂的领域，如机器人控制和实时策略（RTS）游戏，需要一个智能体学习一个连续的控制。在前者中，一个代理学习的政策，在$\mathbb{R}^d$和在后者中，在一个离散的一组动作，其中每个是参数化的连续参数。使用基于策略的强化学习（RL）方法自然地解决了这些问题，但不幸的是，这些方法通常具有高方差，导致不稳定和收敛缓慢。不必要的方差被引入时，有界动作空间的政策建模使用的分布与无界的支持，通过应用一个转换$T$的采样动作之前，在环境中执行。最近，针对有界区间内的动作引入了方差减少的修剪动作策略梯度（CAPG），但迄今为止，当动作是方向时，还没有方差减少方法，这在RTS游戏中常见。为此，我们介绍了角策略梯度（APG），一个随机的策略梯度方法的方向控制。与边际策略梯度家庭的估计，我们提出了一个统一的分析APG和CAPG的方差减少属性，我们的结果提供了更强的保证比现有的分析CAPG。一个流行的RTS游戏和导航任务的实验结果表明，APG估计提供了一个实质性的改进标准的策略梯度。
2019-02-16 cs.LG stat.ML
On Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）
策略梯度方法的目标是在给定的一类策略中找到最大化期望收益的策略。给定策略的可微模型，我们希望应用梯度上升技术来达到局部最优。我们主要使用梯度上升，因为它在理论上已经研究得很好了。主要的问题是，相对于预期收益的策略梯度是不可用的，因此我们需要估计它。由于策略梯度算法也倾向于需要在政策上的数据来估计梯度，它们最大的弱点是样本效率。由于这个原因，大多数研究集中在寻找具有改进的样本效率的算法。本文提供了一个正式的介绍策略梯度，显示了策略梯度方法的发展，并应使读者遵循当前的研究主题。
2019-11-12 cs.LG stat.ML
Prosperity before Collapse: How Far Can Off-Policy RL Reach with Stale Data on LLMs?
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
针对大语言模型同策略强化学习效率低、异步离策略训练因数据陈旧易性能下降或崩溃的问题，提出二阶矩信任策略优化M2PO，通过约束重要性权重二阶矩抑制极端离群值，在高陈旧度下仍能稳定训练且性能匹配同策略方法。
2025-10-28 cs.AI cs.LG
Combining policy gradient and Q-learning
Deepmind
策略梯度是用于在强化学习设置中改进策略的有效技术。然而，vanilla在线变体仅适用于政策，无法利用政策外数据。在本文中，我们描述了一种新的技术，结合了策略梯度与非策略Q学习，从重放缓冲区的经验。这是通过在正则化策略梯度算法的不动点和Q值之间建立联系来激发的。这种连接使我们能够从策略的动作偏好中估计Q值，并对其应用Q学习更新。我们将新技术称为“PGQL”，用于策略梯度和Q学习。我们还建立了行动值拟合技术和演员评论家算法之间的等价性，表明正则化的策略梯度技术可以被解释为优势函数学习算法。我们得出结论，一些数值例子表明，提高数据效率和稳定性的PGQL。特别是，我们在全套Atari游戏上测试了PGQL，并实现了超过异步优势演员-评论家（A3 C）和Q学习的性能。
2017-04-07 cs.AI cs.LG math.OC
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出k步策略梯度方法，通过结合k步时间窗口内的随机性，解决受限策略类中因策略梯度短视导致的局部极值问题，并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University（麦吉尔大学）
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法，如GTD和TDC/GQ，即使在使用函数近似和增量更新时也会收敛。然而，它们是针对固定行为策略的情况而开发的。在控制问题中，人们希望随着时间的推移调整行为策略，使其相对于现有的价值函数变得更加贪婪。在本文中，我们提出了第一个基于梯度的学习算法，该算法依赖于策略梯度的框架，以修改行为策略。我们提出的算法，收敛定理，推导和经验证据表明，他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Faster Policy Learning with Continuous-Time Gradients
University of Washington（华盛顿大学）
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习，我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器（BPTT）计算连续时间系统的粗略离散化的精确梯度。相比之下，我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标，我们能够自适应地离散化，并构造一个更有效的策略梯度估计，我们称之为连续时间策略梯度（CTPG）。我们表明，更有效的CTPG估计结果更快，更强大的学习，在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models
Sun Yat-Sen University（中山大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
针对现有基于规则的强化学习方法训练不稳定易崩溃的问题，提出带KL散度策略漂移约束和比值对数裁剪机制的CPGD算法，经理论与实验验证可稳定训练并提升性能，为语言模型后训练强化学习提供可靠方案。
2025-05-18 cs.AI cs.LG
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）
在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
On the Convergence of Discounted Policy Gradient Methods
Autonomous Learning Laboratory（自主学习实验室）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
许多流行的强化学习策略梯度方法遵循对策略梯度的有偏近似，称为折扣近似。虽然已经证明了策略梯度的贴现近似不是任何目标函数的梯度，但对其收敛行为或性质知之甚少。在本文中，我们表明，如果贴现近似如下，折扣因子缓慢增加的速度相关的下降学习率，由此产生的方法恢复的标准保证梯度上升的未贴现的目标。
2023-01-09 cs.AI cs.LG
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Expected Policy Gradients
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Wolfson Building, Parks Road, Oxford OX1 3QD（牛津大学沃尔夫森大楼（Parks Road, Oxford OX1 3QD））
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期的Sarsa的启发，EPG在估计梯度时集成了整个动作，而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明，EPG降低了梯度估计的方差，而不需要确定性的政策，高斯的情况下，没有计算开销。最后，我们表明，在一定意义上，它是最优的探索与高斯政策，使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实，这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Fourier Policy Gradients
University of Oxford（牛津大学）
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术，基于傅立叶分析，重铸积分出现预期的策略梯度卷积，并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者，我们对待三角和径向基函数，两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的，包括混合或混合连续-离散概率分布。此外，我们推导出一个一般家庭的基于样本的估计随机策略梯度，统一现有的结果基于样本的近似。我们相信，这种技术有潜力塑造下一代的策略梯度方法，由分析结果提供动力。
2018-05-30 cs.AI cs.LG
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom（曼彻斯特大学，英国）
本文提出RAT方法，通过直接反向传播估计正则化自然策略梯度，解决了传统方法中估计和求逆Fisher矩阵成本高的问题，实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
Sample Complexity of Estimating the Policy Gradient for Nearly Deterministic Dynamical Systems
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的机器人控制器学习方法。最近已经表明，基于策略梯度的有限差分估计的算法与基于策略梯度定理的算法具有竞争力。我们提出了一个理论框架来理解这种现象。我们的关键见解是，许多动力系统（特别是那些感兴趣的机器人控制任务）几乎是确定性的-即，它们可以被建模为具有小的随机扰动的确定性系统。我们表明，对于这样的系统，有限差分估计的策略梯度可以有大大低于估计的基础上的策略梯度定理的方差。最后，我们实证评估我们的见解在倒立摆实验。
2021-10-11 cs.LG stat.ML
Is the Policy Gradient a Gradient?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对策略梯度方法省略折扣因子后产生的更新是否为梯度这一开放问题，证明该更新不一定等于任何函数的梯度，构造反例说明其会导致策略收敛到全局最差，指出领域内存在广泛误解。
2026-10-19 cs.LG stat.ML
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；DeepMind；Max Planck Institute（马克斯·普朗克研究所）；Uber AI Labs（Uber人工智能实验室）；UC Berkeley（加州大学伯克利分校）
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面，策略算法通常更稳定，更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明，具有价值函数估计器的非策略更新可以用策略策略梯度更新插值，同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法，最近提出的几个算法是这个家庭的特殊情况。然后，我们提供了一个实证比较这些技术与其余的算法细节固定，并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一，对偏离策略更新引入的偏差具有理论保证，并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
