PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
尽管策略梯度方法取得了成功，但它们的梯度估计方差很高，这可能导致样本复杂度不令人满意。最近，许多方差减少扩展的策略梯度方法已被提出，证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查，一些主要的方差减少REINFORCE型方法，我们提出了概率梯度估计策略梯度（PAGE-PG），一种新的无环方差减少策略梯度方法的基础上，两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发，并利用重要性采样来获得无偏梯度估计。我们发现，PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案，它匹配的样本复杂度，其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Stochastic Dimension-reduced Second-order Methods for Policy Optimization
Shanghai University of Finance and Economics（上海财经大学）；Fudan University（复旦大学）；Stanford University（斯坦福大学）
在本文中，我们提出了几个新的随机二阶算法的政策优化，只需要梯度和海森向量积在每次迭代，使他们的计算效率和政策梯度法。具体地说，我们提出了一个降维二阶方法（DR-SOPO），反复解决投影二维置信域子问题。我们证明了DR-SOPO在达到近似一阶平稳条件和一定的子空间二阶平稳条件时具有$\mathcal{O}(ε^{-3.5})$复杂度。此外，我们提出了一个增强的算法（DVR-SOPO），进一步提高了复杂性的$\mathcal{O}(ε^{-3})$的基础上减少方差技术。初步的实验表明，我们提出的算法表现良好的随机和方差减少的政策梯度法相比。
2023-01-28 cs.LG math.OC
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University（普林斯顿大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Deepmind（深度思维）
策略梯度（PG）产生了丰富的一类强化学习（RL）方法。最近，已经出现了通过\emph{variance reduction}技术来加速现有PG方法（诸如REINFORCE）的趋势。然而，所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外，我们设计了一个截断随机增量方差减少的策略梯度（TSIVR-PG）方法，它不仅能够最大化的累积奖励和，但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性，我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano（米兰理工大学）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习算法，包括在随机方差减少版本的策略梯度解决马尔可夫决策过程（MDP）。随机方差缩减梯度（SVRG）方法在监督学习中已被证明是非常成功的。然而，它们对策略梯度的适应并不简单，需要考虑I）非凹目标函数; II）全梯度计算中的近似值;以及III）非平稳采样过程。其结果是SVRPG，一种随机方差减少的策略梯度算法，利用重要性权重来保持梯度估计的无偏性。根据标准假设，sumptions上的MDP，我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后，我们建议SVRPG的实际变体，我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York（纽约市哥伦比亚大学）
本文针对无模型LQR问题，提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法，将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Bad-Policy Density: A Measure of Reinforcement Learning Hardness
DeepMind；Department of Computer Science, Brown University（布朗大学计算机科学系）；Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系）；Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
强化学习通常很难。然而，在许多特定的环境中，学习是容易的。是什么让学习在一个环境中容易，而在另一个环境中却很困难？我们解决这个问题，提出了一个简单的措施，称为坏政策密度的学习难度。该量测量确定性静态策略空间中低于期望阈值的值的部分。我们证明，这个简单的数量有许多属性，人们会期望的学习难度的措施。此外，我们证明了它是NP-困难的计算措施一般，但有路径多项式时间近似。最后，我们总结了这种措施的潜在方向和用途。
2021-10-07 cs.AI cs.LG
Variance-Reduced Policy Gradient is Nearly Minimax-Optimal
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
针对策略梯度算法估计方差高的问题，提出含递归更新与防御重要性采样的无循环降方差策略梯度框架，证明其在弱梯度控制下的全局收敛性，且样本复杂度近极小极大最优。
2026-10-12 cs.AI cs.LG
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）
在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
The Easy, the Hard, and the Learnable: Confidence and Difficulty-Adaptive Policy Optimization for LLM Reasoning
TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组）；Stanford University（斯坦福大学）；Sydney AI Centre, The University of Sydney（悉尼大学人工智能中心）
针对GRPO训练中均匀采样导致计算效率低的问题，提出CoDaPO方法，通过置信度和难度自适应重加权与重采样，在固定预算下提升可学习问题的发现，在12个基准上优于现有RL方法。
2026-06-06 cs.LG
A Variance-Reduced Cubic-Regularized Newton for Policy Optimization
School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）
本文提出VR-CR-PN算法，首次将Hessian辅助的方差缩减与二阶策略优化结合，无需重要性采样即解决分布偏移问题，将样本复杂度降至 $\tilde{\mathcal{O}}(ε^{-3})$，并实现与步长无关的样本复杂度。
2025-07-14 cs.AI cs.LG
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC（谷歌研究，纽约市）
本文提出一种解耦探索与策略优化的方法，通过树搜索策略和不确定性测量提升探索效率，在困难探索任务中取得显著成果。
2026-05-13 cs.LG
Alpha-RTL: Test-Time Training for RTL Hardware Optimization
SKLP, Institute of Computing Technology, Chinese Academy of Sciences（SKLP，计算技术研究所，中国科学院）；University of the Chinese Academy of Sciences（中国科学院大学）；School of Advanced Interdisciplinary Sciences（先进交叉学科学院）
提出TTT-RTL框架，通过测试时强化学习结合EDA反馈（语法检查、仿真和PPA奖励）优化LLM生成的RTL设计，在RTLLM v2.0和工业级C910 FPU单元上分别降低PPA乘积65.1%和ADP 59.4%。
2026-06-03 cs.LG
Stein Variational Policy Gradient
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Dartmouth（达特茅斯学院）
策略梯度方法已成功应用于许多复杂的强化学习问题。然而，策略梯度方法具有高方差、慢收敛和低效探索的缺点。在这项工作中，我们引入了一个最大熵的政策优化框架，明确鼓励参数探索，并表明这个框架可以减少到贝叶斯推理问题。然后，我们提出了一种新的Stein变分策略梯度方法（SVPG），它结合了现有的策略梯度方法和排斥功能，以产生一组不同的，但表现良好的政策。SVPG对初始化是鲁棒的，并且可以很容易地以并行方式实现。在连续控制问题上，我们发现，在REINFORCE和advantage actor-critic算法上实现SVPG可以提高平均收益和数据效率。
2017-04-07 cs.LG
Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes
Meta；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
通过条件化离策略前缀提升RL在困难问题上的学习效率，实现更快的训练奖励和更高的最终奖励。
2026-02-03 cs.AI cs.CL cs.LG
Policy Learning and Evaluation with Randomized Quasi-Monte Carlo
U. of Southern California（南加州大学）；U. de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
强化学习不断处理硬积分，例如在策略评估和策略迭代中计算期望时。这些积分很少是解析可解的，并且通常用蒙特卡罗方法估计，这会导致策略值和梯度的高方差。在这项工作中，我们建议用低差异点集代替Monte Carlo样本。我们结合策略梯度方法与随机拟蒙特卡罗，产生方差减少配方的策略梯度和演员评论家算法。这些公式是有效的政策评估和政策改进，因为它们优于国家的最先进的算法标准化的连续控制基准。我们的实证分析验证了用准蒙特卡罗代替蒙特卡罗的直觉，产生了更准确的梯度估计。
2022-02-21 cs.LG
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles（加州大学洛杉矶分校）
我们重新审视了Papini等人（2018）提出的用于强化学习的随机方差降低策略梯度（SVRPG）方法。我们提供了一个改进的SVRPG的收敛性分析，并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是（i）重要性采样权重的方差的更严格的上限，其中我们证明方差可以通过不同策略之间的参数距离来控制;以及（ii）对历元长度和批量大小参数进行细粒度分析，以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
Bregman Gradient Policy Optimization
University of Pittsburgh（匹兹堡大学）
基于Bregman发散和动量技术，设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说，我们提出了一个布雷格曼梯度策略优化（BPENS）算法的基础上的基本动量技术和镜像下降迭代。同时，我们进一步提出了一个加速的Bregman梯度策略优化算法（VR-BPENN）的基础上减少的方差技术。此外，我们提供了一个收敛性分析框架下，我们的Bregman梯度策略优化的非凸设置。我们证明，我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略，并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$，这也只需要一个轨迹每次迭代。特别地，通过使用不同的Bregman分歧，我们的Battlefield框架统一了许多现有的策略优化算法，如现有的（方差减少的）策略梯度算法，如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Variance Reduced Policy Gradient Method for Multi-Objective Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
针对多目标强化学习中策略梯度方法样本效率低的问题，提出在一般假设下应用方差缩减技术降低样本复杂度，同时保持可扩展性。
2025-08-14 cs.LG cs.SY eess.SY
Differentially Private Policy Gradient
Noah’s Ark Lab Paris（巴黎诺亚方舟实验室）；Huawei Technologies France（华为法国技术公司）
针对强化学习部署中的个人数据隐私问题，提出一种差分隐私策略梯度算法，通过将其简化为计算信任区域来保持理论性质，并在隐私噪声与信任区域大小间取得平衡，在多个基准上表现优于现有在线RL的DP算法。
2025-01-31 cs.LG
POPE: Learning to Reason on Hard Problems via Privileged On-Policy Exploration
Carnegie Mellon University（卡内基梅隆大学）
POPE 通过利用优先级信息指导在线探索，解决难题推理中的探索问题，提升模型在复杂任务上的表现。
2026-01-26 cs.AI cs.CL cs.LG
Computational Hardness of Reinforcement Learning with Partial $q^π$-Realizability
University of Alberta（阿尔伯塔大学）
本文研究部分$q^π$-可实现性下强化学习的计算复杂度，通过归约证明该设定下学习$ε$-最优策略具有NP难度和指数下界，表明该框架下通常无法获得正面计算结果。
2025-10-24 cs.AI cs.CC cs.LG
Marginal Policy Gradients: A Unified Family of Estimators for Bounded Action Spaces with Applications
Princeton University（普林斯顿大学）；University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）；Kwai AI Lab（快手人工智能实验室）；Northwestern University（西北大学）
许多复杂的领域，如机器人控制和实时策略（RTS）游戏，需要一个智能体学习一个连续的控制。在前者中，一个代理学习的政策，在$\mathbb{R}^d$和在后者中，在一个离散的一组动作，其中每个是参数化的连续参数。使用基于策略的强化学习（RL）方法自然地解决了这些问题，但不幸的是，这些方法通常具有高方差，导致不稳定和收敛缓慢。不必要的方差被引入时，有界动作空间的政策建模使用的分布与无界的支持，通过应用一个转换$T$的采样动作之前，在环境中执行。最近，针对有界区间内的动作引入了方差减少的修剪动作策略梯度（CAPG），但迄今为止，当动作是方向时，还没有方差减少方法，这在RTS游戏中常见。为此，我们介绍了角策略梯度（APG），一个随机的策略梯度方法的方向控制。与边际策略梯度家庭的估计，我们提出了一个统一的分析APG和CAPG的方差减少属性，我们的结果提供了更强的保证比现有的分析CAPG。一个流行的RTS游戏和导航任务的实验结果表明，APG估计提供了一个实质性的改进标准的策略梯度。
2019-02-16 cs.LG stat.ML
Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Glasgow（格拉斯哥大学）
针对LLM反学习中在线策略优化对困难样本利用不足的问题，提出ReRULE方法，通过离策略重放缓冲区存储并复用低奖励困难样本，在保持通用性的同时提升反学习效率。
2026-06-16 cs.CL cs.LG
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland（马里兰大学）；National Institute for Standards and Technology（美国国家标准与技术研究院）
我们提出了多场景可验证的强化学习通过政策提取（MSVIPER），一种新的方法，政策蒸馏决策树，以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习（RL）技术来学习“专家”策略，然后使用模仿学习来学习决策树policy. We证明，MSVIPER导致高效的决策树，并且可以准确地模仿专家策略的行为。此外，我们提出了有效的政策蒸馏和树修改技术，利用决策树结构，允许改进的政策，而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为（减少高达95%）的移动机器人导航动态障碍物和减少振动和振荡（高达17%）的室外机器人导航复杂，不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Push Smarter, Not Harder: Hierarchical RL-Diffusion Policy for Efficient Nonprehensile Manipulation
Department of Electrical and Computer Engineering, University of Waterloo（电子与计算机工程系，滑铁卢大学）
本文提出HeRD，一种分层RL-扩散策略，用于高效非抓取操作，通过分层目标选择与轨迹生成提升成功率和泛化能力。
2025-12-10 cs.LG cs.RO
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning
Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
R²VPO通过正则化策略比率的方差，提升LLM微调的稳定性和数据效率。
2026-01-06 cs.AI cs.LG
Policy Optimization with Stochastic Mirror Descent
Zhejiang University（浙江大学）；Netease Games AI Lab（网易游戏人工智能实验室）；Nanyang Technological University（南洋理工大学）；Harvard Medical School（哈佛医学院）
提高样本效率一直是强化学习的长期目标。提出了一种基于随机镜像下降的样本有效策略梯度方法--$\mathtt{VRMPO}$算法。在$\mathtt{VRMPO}$中，提出了一种新的方差缩减策略梯度估计器，以提高样本效率。我们证明了所提出的$\mathtt{VRMPO}$只需要$\mathcal{O}(ε^{-3})$样本轨迹，以实现一个$ε$近似的一阶平稳点，匹配的最佳样本复杂度的政策优化。大量的实验结果表明，$\mathtt{VRMPO}$优于国家的最先进的策略梯度方法在各种设置。
2022-02-09 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Learning Hip Exoskeleton Control Policy via Predictive Neuromusculoskeletal Simulation
Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学）
本文提出基于物理的神经肌肉骨骼模拟方法，通过仿真训练髋部外骨骼控制策略并部署到硬件，有效减少实验负担，提升控制器的适应性和实用性。
2026-03-04 cs.LG cs.RO
Momentum-Based Policy Gradient with Second-Order Information
EPFL（洛桑联邦理工学院）；ETH Zurich（苏黎世联邦理工学院）
提出一种无需调参的方差缩减策略梯度算法 SHARP，通过动量将二阶信息融入 SGD，在不使用重要性采样的情况下实现了更快的误差衰减和优异的实验表现。
2023-11-26 cs.AI cs.LG
Selective Uncertainty Propagation in Offline RL
Meta；Amazon（亚马逊公司）；Adobe（奥多比公司）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对离线强化学习中动态规划各步骤策略学习的分布偏移难题，提出选择性不确定性传播方法构建置信区间，自适应问题难度，并在玩具环境验证其对离线策略学习的益处。
2025-01-19 cs.AI cs.LG
HEPPO-GAE: Hardware-Efficient Proximal Policy Optimization with Generalized Advantage Estimation
McMaster University（麦斯特大学）
本文提出HEPPO-GAE，一种在单SoC上通过并行流水线架构加速PPO中GAE阶段的FPGA加速器，结合动态奖励与值函数分块标准化及8位量化，实现内存减少4倍、累积奖励提升1.5倍和PPO速度提高30%。
2025-07-21 cs.AI cs.AR cs.LG
Control Regularization for Reduced Variance Reinforcement Learning
California Institute of Technology, Pasadena, CA（加州理工学院）；University of Michigan, Ann Arbor, MI（密歇根大学）；Rice University, Houston, TX（Rice大学）
本文提出了一种功能正则化方法，用于减少连续控制中强化学习的方差，通过正则化深度策略的行为与先验策略相似，从而在偏倚-方差权衡中实现更稳定的动态稳定性和更高效的训练。
2019-05-14 cs.LG cs.SY eess.SY
GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning
MIT（麻省理工学院）
本文研究了不完全信息博弈中自博弈强化学习中GAE估计器的方差问题，提出Q-boosting和VRPO算法以减少方差并提升性能。
2026-11-10 cs.GT cs.LG
CASA: Bridging the Gap between Policy Improvement and Policy Evaluation with Conflict Averse Policy Iteration
Bytedance（字节跳动）
研究了无模型强化学习问题，该问题通常采用广义策略迭代（GPI）原则来解决。虽然GPI通常是政策评估和政策改进之间的相互作用，但大多数传统的无模型方法假设GPI步骤的粒度和其他细节是独立的，尽管它们之间存在固有的联系。在本文中，我们提出了一种方法，规则化的政策评估和政策改进之间的不一致，导致冲突厌恶的GPI解决方案，减少功能近似误差。为此，我们制定了一个新的学习范式，其中采取的政策评估步骤相当于执行政策改进的一些补偿，从而有效地消除了两个GPI步骤之间的梯度冲突。我们还表明，我们提出的解决方案的形式相当于执行熵正则化的政策改进，因此防止政策被困在次优的解决方案。我们进行了广泛的实验，以评估我们的方法在街机学习环境（ALE）。实证结果表明，我们的方法优于几个强大的基线在主要的评估领域。
2023-02-25 cs.AI cs.LG
School of hard knocks: Curriculum analysis for Pommerman with a fixed computational budget
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
Pommerman是一个混合合作/对抗多智能体环境，具有部分可观察性，有限或无通信，稀疏和延迟奖励以及限制性计算时间限制方面的挑战性特征。这使得强化学习（RL）方法的环境具有挑战性。在本文中，我们专注于开发一个课程，学习一个强大的和有前途的政策，在一个有限的计算预算的10万场比赛，从一个固定的基础政策（这本身是训练模仿嘈杂的专家政策）。从基本策略开始的所有RL算法都使用具有相同奖励函数的普通近端策略优化（PPO），它们之间的唯一区别是对手策略的混合和顺序。人们预计，从更简单的对手开始训练，然后逐渐增加对手的难度将有助于更快的学习，从而与从一开始就引入所有可用对手策略的基线相比，产生更强大的策略。我们测试了这一假设，并表明在有限的计算预算内，实际上更好的是“在艰难的学校学习”，即，几乎从一开始就反对所有可用的对手政策。我们还包括烧蚀研究，在那里我们研究修改弹药和炸弹爆炸强度的代理性能的基本环境属性的影响。
2021-02-24 cs.AI cs.LG cs.MA
Momentum-Based Policy Gradient Methods
University of Pittsburgh（匹兹堡大学）；Simon Fraser University（西蒙弗雷泽大学）；JD Finance America Corporation（京东金融美国公司）
针对无模型强化学习，提出了一类基于动量的策略梯度方法，该方法采用自适应学习率，不需要大批量学习.具体来说，我们提出了一种快速的重要性抽样动量为基础的策略梯度（IS-MBPG）方法的基础上，一个新的动量为基础的方差减少技术和重要性采样技术。同时，基于动量方差缩减技术和Hessian辅助技术，提出了一种快速的Hessian辅助动量策略梯度（HA-MBPG）方法。此外，我们证明了IS-MBPG和HA-MBPG方法达到了$O(ε^{-3})$的最佳已知的样本复杂度，用于找到非凹性能函数的$ε$ -稳定点，这只需要一个轨迹在每次迭代。特别地，我们提出了IS-MBPG方法的非自适应版本，即，IS-MBPG*，它也达到了$O(ε^{-3})$的最佳已知样品复杂性，没有任何大批次。在实验中，我们应用四个基准任务来证明我们的算法的有效性。
2020-08-06 cs.LG cs.RO cs.SY
Enabling Efficient, Reliable Real-World Reinforcement Learning with Approximate Physics-Based Models
Oden Institute（奥登研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出一种结合近似物理第一性原理模型的策略梯度优化框架，通过模型导数提升梯度估计效率并嵌入底层跟踪控制器，仅需少量真实数据即可在机器人上可靠学习精确控制策略。
2023-11-06 cs.LG cs.RO
Optimal variance-reduced stochastic approximation in Banach spaces
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
研究了可分巴拿赫空间上压缩算子的不动点估计问题。专注于一个随机查询模型，提供嘈杂的评价的运营商，我们分析了方差减少随机逼近计划，并建立非渐近界的运营商缺陷和估计误差，在任意半范数测量。相对于最坏情况的保证，我们的边界是依赖于实例的，并实现局部渐近极大极小风险非渐近。对于线性算子，可以将收缩性放宽为多步收缩性，从而将该理论应用于强化学习中的平均奖励策略评价问题。我们说明了理论通过应用程序随机最短路问题，两个球员零和马尔可夫游戏，以及政策评估和$Q$学习表马尔可夫决策过程。
2022-11-29 cs.LG math.OC math.ST
How to Train Your Latent Control Barrier Function: Smooth Safety Filtering Under Hard-to-Model Constraints
Carnegie Mellon University（卡内基梅隆大学）
本文提出LatentCBF方法，通过梯度惩罚和价值训练解决潜在空间中不兼容价值函数的问题，实现平滑安全过滤并提升任务完成率。
2026-10-14 cs.LG cs.RO
Enhancing Hardware Fault Tolerance in Machines with Reinforcement Learning Policy Gradient Algorithms
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Advanced Technology R&D Center, Mitsubishi Electric Corporation（三菱电机株式会社先进技术研发中心）；Information Technology R&D Center, Mitsubishi Electric Corporation（三菱电机株式会社信息技术研发中心）
本文首次系统比较PPO和SAC两种强化学习算法在硬件故障容错中的表现，并研究四种知识迁移策略，实验表明算法能快速恢复故障并存在性能权衡。
2026-07-02 cs.AI cs.LG cs.RO
Policy Gradient with Kernel Quadrature
Mathematical Institute, University of Oxford（牛津大学数学研究所）；CyberAgent, Inc.（CyberAgent公司）
本文提出一种基于核二次积分的策略梯度方法，通过选择代表性样本加速奖励评估，提升策略梯度迭代效率。
2023-12-05 cs.AI cs.LG
On the Hardness of Decentralized Multi-Agent Policy Evaluation under Byzantine Attacks
University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）；University of Louisville（路易斯维尔大学）；North Carolina State University（北卡罗来纳州立大学）；The Ohio State University（俄亥俄州立大学）
本文研究了拜占庭攻击下去中心化多智能体策略评估问题，证明了理想共识目标不可实现且正权重存在理论上界，并提出一种拜占庭容错的去中心化时序差分算法以保证渐近共识。
2024-09-22 cs.CR cs.DC cs.LG
N2N Learning: Network to Network Compression via Policy Gradient Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；Volvo Construction Equipment（沃尔沃建筑设备）；Volvo Group（沃尔沃集团）
虽然更大、更深的神经网络架构继续推动许多计算机视觉任务的最新发展，但这些网络的实际应用受到硬件和速度限制的阻碍。传统的模型压缩方法试图通过手动修改架构或使用预定义的语法来解决这个问题。由于所有简化架构的空间非常大，因此以这种方式修改深度神经网络的架构是一项困难的任务。在本文中，我们通过引入一种使用强化学习以数据驱动的方式学习简化网络架构的原则方法来解决这个问题。我们的方法需要一个更大的“教师”网络作为输入，并输出一个压缩的“学生”网络来自“教师”网络。在我们的方法的第一阶段，一个经常性的政策网络积极删除层从大型的“教师”模型。在第二阶段，另一个循环策略网络仔细地减少了剩余每一层的大小。然后对生成的网络进行评估以获得奖励-基于网络的准确性和压缩的分数。我们的方法使用这个奖励信号与策略梯度训练的政策，以找到一个局部最优的学生网络。我们的实验表明，对于ResNet-34等模型，我们可以实现超过10倍的压缩率，同时保持与输入“教师”网络相似的性能。我们还提出了一个有价值的迁移学习结果表明，在较小的“教师”网络上预先训练的政策可以用来快速加快在较大的“教师”网络上的训练。
2017-12-17 cs.LG stat.ML
Adaptive Sampling for Best Policy Identification in Markov Decision Processes
UMPA, ENS Lyon（里昂高等师范学校 UMPA）；KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们研究了折扣马尔可夫决策过程（MDP）的最佳策略识别问题时，学习者有机会获得一个生成模型。我们的目标是设计一个学习算法返回的最佳政策，尽可能早。我们首先推导出一个特定于问题的样本复杂度的下界满足任何学习算法。这个下限对应于一个最佳的样本分配，解决了一个非凸的程序，因此，很难利用在设计有效的算法。然后，我们提供了一个简单的和严格的样本复杂度下限的上限，其相应的接近最优的样本分配变得明确。上界取决于MDP的特定泛函，例如次优间隙和下一状态值函数的方差，从而真正捕获MDP的硬度。最后，我们设计KLB-TS（KL球跟踪和停止），跟踪这个接近最优的分配算法，并提供渐近保证其样本复杂性（几乎肯定和预期）。KLB-TS对国家的最先进的算法的优势进行了讨论和数值说明。
2021-05-10 cs.LG stat.ML
Conservative Optimistic Policy Optimization via Multiple Importance Sampling
Ecole Polytechnique（巴黎综合理工学院）
强化学习（RL）已经能够用一种统一的方法解决诸如玩雅达利游戏或解决围棋游戏等难题。然而，现代深度强化学习方法在现实世界的应用中仍然没有得到广泛的应用。一个原因可能是，与现有的（已经工作的）基线策略相比，中间执行策略的性能缺乏保证。在本文中，我们提出了一个在线无模型算法，解决了保守的探索策略优化问题。我们表明，所提出的方法的遗憾是有界的$\tilde{\mathcal{O}}(\sqrt{T})$离散和连续的参数空间。
2021-03-04 cs.LG stat.ML
Knowledge Infused Policy Gradients for Adaptive Pandemic Control
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
COVID-19对各国的影响因其政策实施而异。有效的政策需要考虑到公共信息和对新知识的适应性。为了解COVID-19而建立的流行病学模型很少能为政策制定者提供适应性流行病控制（APC）的能力。需要克服的核心挑战包括：（a）无法处理大流行时间轴上不同促成特征的高度非同质性;（b）缺乏能够适应性地纳入公共卫生专家知识的方法;（c）能够在提出政策时理解决策过程的透明模型。在这项工作中，我们采取的早期步骤，以解决这些挑战，使用知识注入策略梯度（KIPG）的方法。关于知识灌输的先前工作不处理在疾病信息和指南中必须遵守的不同形式的知识的软和硬强加。此外，该模型不参加非同质性的特征计数，表现为部分可观察性通知的政策。此外，可解释结构是在学习后提取的，而不是学习APC所需的可解释模型。为此，我们介绍了一个数学框架KIPG方法，可以（a）诱导相关的特征计数在世界的多关系特征，（b）处理潜在的非齐次计数作为隐藏变量，是线性组合的核聚合的功能，（b）注入知识作为功能约束的原则性方式。本研究建立了硬、软约束的理论，并通过实验进行了模拟。与知识密集型基线相比，我们展示了快速样本对新知识的有效适应性和学到的政策的可解释性，特别是在大流行的背景下。
2021-02-11 cs.AI cs.LG
Learning Online Alignments with Continuous Rewards Policy Gradient
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Google Brain（谷歌大脑）；Open AI（OpenAI）
具有软注意力的序列到序列模型在机器翻译、语音识别和问答中取得了显著的成功。尽管它们有能力且易于使用，但它们要求在推理开始时整个输入序列可用，这一假设对于即时翻译和语音识别是无效的。为了解决这个问题，我们提出了一种新的方法来解决序列到序列的问题，使用硬在线比对，而不是软离线比对。在线比对模型能够开始产生输出，而不需要首先处理整个输入序列。高度精确的在线序列到序列模型是有用的，因为它可以用于构建精确的基于语音的瞬时翻译器。我们的模型使用硬二进制随机决策来选择将产生输出的时间步长。该模型使用标准的策略梯度方法进行训练以产生这些随机决策。在我们的实验中，我们表明，该模型取得了令人鼓舞的性能TIMIT和华尔街日报（WSJ）语音识别数据集。
2016-08-03 cs.CL cs.LG
Statistical Tractability of Off-policy Evaluation of History-dependent Policies in POMDPs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了POMDPs中依赖历史策略的离策略评估问题，证明了无模型方法在多种设定下的信息论困难性，并提出一种简单的基于模型的算法来规避部分困难，证明了无模型与基于模型方法间的可证明分离。
2025-03-03 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
我们研究多个回报价值函数的马尔可夫决策过程（MDP）的策略优化，这些回报函数根据给定的标准，如比例公平性（光滑凹标量化），硬约束（约束MDP），和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度（ARNPG）框架，它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上，基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲，ARNPG引导的算法也表现出优越的性能相比，一些现有的策略梯度为基础的方法，在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection
TUM School of Management, Technical University of Munich（慕尼黑工业大学TUM管理学院）；Esade, Ramon Llull University（拉蒙·柳利大学ESADE商学院）；Munich Data Science Institute (MDSI), Technical University of Munich（慕尼黑工业大学慕尼黑数据科学研究所）
该研究提出嵌入可微凸优化模块的DRL策略，以处理序列决策中的硬约束，在库存规划等场景中实现了优于基准方法的成本降低与最优性表现。
2026-10-28 cs.AI cs.LG
