A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization
Berkeley（伯克利）；Layer 6 AI
通过令牌级梯度动力学分析GRPO的不稳定性，提出仅更新正优势完成的WAPO算法，在数学推理和多跳QA任务中提升训练稳定性并匹配或超越基线。
2026-06-16 cs.LG
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization
Amirkabir University of Technology（阿米尔卡比尔理工大学）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的策略搜索算法。它迭代地解决了限制连续策略相互接近的代理问题。TRPO是一种策略算法。基于策略的方法带来了许多好处，比如能够衡量每个结果策略。然而，他们通常会抛弃以前存在的关于政策的所有知识。在这项工作中，我们使用重放缓冲区借用的离策略学习设置TRPO。在强化学习中，熵正则化通常被用来改善策略优化。它被认为是通过鼓励更随机的政策选择来帮助探索和推广。我们在TRPO中添加了一个熵正则化项，以优于随时间步长累积的π。我们将此更新称为EnTRPO。我们的实验表明，与原始TRPO相比，EnTRPO在控制Cart-Pole系统方面实现了更好的性能
2021-10-26 cs.LG
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University（东北大学）
基于绿色仿真辅助策略梯度（GS-PG）的可重用性研究，本文考虑了无限时域马尔可夫决策过程，提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习，这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制，所提出的方法可以选择性地重用最相关的部分轨迹，即，重用单元基于每步骤或每决策的历史观察。具体而言，我们创建了一个混合似然比（MLR）的策略梯度优化，可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放（VRER）方法可以智能地选择和重用最相关的过渡观测值，提高策略梯度估计，加速最优策略的学习。我们的实证研究表明，它可以改善优化收敛，提高最先进的政策优化方法，如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
Iterative Amortized Policy Optimization
DeepMind；California Institute of Technology（加州理工学院）；Mila；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）
策略网络是深度强化学习（RL）算法的核心特征，用于连续控制，从而实现对高价值动作的估计和采样。从RL的变分推理的角度来看，策略网络，当与熵或KL正则化一起使用时，是\textit{amortized optimization}的一种形式，优化网络参数而不是直接优化策略分布。然而，\textit{direct}摊销映射可能产生次优策略估计和受限分布，从而限制性能和探索。鉴于这一观点，我们考虑更灵活的类\textit{iterative}摊销优化。我们证明，由此产生的技术，迭代摊销的政策优化，产生的性能改进，直接摊销基准连续控制任务。
2021-10-22 cs.LG
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
Constrained Policy Optimization via Bayesian World Models
ETH Zurich（苏黎世联邦理工学院）
在高风险的现实世界应用中部署强化学习时，提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA，一种新的基于模型的方法，通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型，并利用由此产生的不确定性，以最大限度地提高乐观的任务目标的上限，以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO
Central Path Proximal Policy Optimization
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能中心）；Institut für Mathematik, Technische Universität Berlin（柏林技术大学数学研究所）
提出C3PO方法，通过修改PPO损失使策略迭代贴近约束优化中心路径，在更严格约束下提升性能。
2025-08-15 cs.LG
Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
Optimistic Distributionally Robust Policy Optimization
University of Washington（华盛顿大学）
信任域策略优化（TRPO）和近端策略优化（PPO）作为广泛使用的基于策略的强化学习（RL）方法，由于将策略表示限制在特定的参数分布类，容易收敛到次优解。为了解决这个问题，我们开发了一个创新的乐观分布鲁棒策略优化（ODRPO）算法，它有效地利用乐观分布鲁棒优化（DRO）方法来解决信任域约束优化问题，而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策，同时获得学习稳定性。此外，它实现了一个全局最优的策略更新，这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
Policy Optimization by Genetic Distillation
Computer Science（计算机科学）
遗传算法在许多实际优化问题中得到了广泛的应用。受自然选择的启发，包括变异、交叉和选择在内的算子为搜索和黑盒优化提供了有效的算法。然而，它们尚未被证明对深度强化学习有用，可能是由于神经网络的参数交叉的灾难性后果。在这里，我们提出了遗传策略优化（Genetic Policy Optimization，简称PSO），这是一种用于样本有效深度策略优化的新遗传算法。该算法在状态空间中采用模仿学习进行策略交叉，采用策略梯度法进行策略变异。我们的实验MuJoCo任务表明，作为遗传算法的ESTA是能够提供优越的性能超过国家的最先进的政策梯度方法，并实现可比或更高的采样效率。
2018-03-12 cs.LG stat.ML
Taylor Expansion Policy Optimization
Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
在这项工作中，我们研究了泰勒展开在强化学习中的应用。特别是，我们提出了泰勒扩展策略优化，一种策略优化形式主义，概括了先前的工作（例如，TRPO）作为一阶特例。我们还表明，泰勒展开密切相关的政策评估。最后，我们表明，这种新的配方需要修改，提高性能的几个国家的最先进的分布式算法。
2020-03-13 cs.LG stat.ML
Riemannian Proximal Policy Optimization
Ant Financial Services Group（蚂蚁金融服务集团）
本文提出了一个求解马尔可夫决策过程（MDP）问题的保收敛的一般黎曼近似优化算法。为了对MDP中的策略函数进行建模，我们采用高斯混合模型（GMM），并将其表示为半正定矩阵黎曼空间中的非凸优化问题。对于两个给定的政策功能，我们还提供了它的下界的政策改善使用的界限来自Wasserstein距离的Gyndham。初步的实验表明，我们提出的黎曼近端策略优化算法的有效性。
2020-05-19 cs.LG stat.ML
Quasi-Newton Trust Region Policy Optimization
MERL（三菱电机研究实验室）
我们提出了一个信赖域策略优化方法，采用拟牛顿近似的海森，称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而，该算法有一些缺点，包括：缺乏步长选择标准，收敛速度慢。我们调查使用的信赖域方法，使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明，在广泛的具有挑战性的连续控制任务，我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
Understanding the impact of entropy on policy optimization
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
在强化学习中，熵正则化通常用于改善策略优化。它被认为有助于\emph{exploration}通过鼓励更多的随机策略的选择。在这项工作中，我们分析这种说法使用新的可视化的优化景观的基础上随机扰动的损失函数。我们首先表明，即使获得精确的梯度，由于目标函数的几何形状，策略优化是困难的。然后，我们定性地表明，在某些环境中，具有较高熵的策略可以使优化景观更平滑，从而连接局部最优值，并能够使用更大的学习率。本文提出了新的工具来理解优化景观，表明政策熵作为一个正则化，并强调了设计通用的政策优化算法的挑战。
2019-06-07 cs.LG stat.ML
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi（小米人工智能实验室）
作为信任域策略优化（TRPO）最成功的变体和改进，近端策略优化（PPO）已广泛应用于各个领域，具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中，一个一阶梯度强化学习算法，称为政策优化与惩罚点概率距离（POP3D），这是一个下界的平方总方差散度提出作为另一个强大的变种。首先，我们讨论了几种常用算法的缺点，我们的方法是由部分动机。其次，我们提出通过应用POP3D来克服这些缺点。第三，从解流形的角度深入探讨了其作用机理。最后，我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明，POP3D与PPO相比具有很强的竞争力。此外，我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Policy Optimization with Sparse Global Contrastive Explanations
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）
我们开发了一个强化学习（RL）框架，通过稀疏的，用户可解释的变化来改善现有的行为策略。我们的目标是尽可能少的改变，同时获得尽可能多的利益。我们定义一个最小的变化，有一个稀疏的，全球性的对比解释之间的原始和建议的政策。我们改进了现行政策的约束，保持全球对比解释短。我们展示了我们的框架与离散的MDP和连续的2D导航域。
2022-07-13 cs.LG
A policy gradient approach for optimization of smooth risk measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
针对回合式马尔可夫决策过程中的风险敏感强化学习问题，提出分别适用于同策略和异策略场景的光滑风险度量优化策略梯度算法，推导其非渐近收敛界，且算法可应用于均值-方差和失真风险度量优化。
2024-06-23 cs.LG
Decentralized Policy Optimization
Peking University（北京大学）
合作多智能体强化学习中的分散学习或独立学习的研究已经有几十年的历史。最近的实证研究表明，独立的PPO（IPPO）可以获得良好的性能，接近甚至优于集中训练与分散执行的方法，在几个基准。然而，具有收敛保证的去中心化行动者-批评者仍然是开放的。在本文中，我们提出了\textit{decentralized policy optimization}（DPO），一个分散的行动者-评论家算法的单调改进和收敛保证。我们得到了一个新的分散代理的政策优化，使联合政策的单调改善，可以保证每个代理\textit{independently}优化代理。在实践中，这种分散代理可以实现两个自适应系数的政策优化在每个代理。经验上，我们比较DPO与IPPO在各种合作的多智能体任务，包括离散和连续的动作空间，完全和部分可观察的环境。实验结果表明，DPO在大多数任务中的表现优于IPPO，这为我们的理论结果提供了证据。
2022-11-06 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University（复旦大学智能医学信息研究所）
针对离线强化学习中数据腐败导致策略过度保守的问题，提出抗腐败优势加权回归（CAWR），通过鲁棒损失函数和优势优先经验回放过滤不良探索，在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Competitive Policy Optimization
ETH Zürich（苏黎世联邦理工学院）；California Institute of Technology（加州理工学院）
在竞争马尔可夫决策过程中，策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题，我们提出了竞争政策优化（CoPO），一种新的策略梯度的方法，利用竞争游戏的博弈论性质，以获得政策更新。受竞争梯度优化方法的启发，我们得到了一个双线性近似的游戏目标。相比之下，现成的策略梯度方法仅利用线性近似，因此不捕获参与者之间的交互。我们以两种方式实例化CoPO：（i）竞争性策略梯度，以及（ii）信任区域竞争性策略优化。我们从理论上研究了这些方法，并在一组全面的，但具有挑战性的，竞争性的游戏上实证研究了它们的行为。我们观察到，他们提供了稳定的优化，收敛到复杂的战略，以及更高的分数时，发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Think Outside the Policy: In-Context Steered Policy Optimization
National Key Laboratory for Multimedia Information Processing（国家多媒体信息处理重点实验室）；School of Computer Science（计算机学院）；LLM Department（大模型部门）；Tencent（腾讯）
本文提出ICPO框架，利用大推理模型的上下文学习能力，通过混合策略GRPO和隐式专家强制扩展探索范围，提升RLVR在数学推理任务中的性能和稳定性。
2026-04-15 cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Reflective Policy Optimization
QiYuan Lab.（启元实验室）
针对同策略强化学习方法样本效率低的问题，本文提出反思策略优化（RPO），通过融合过去与未来的状态-动作信息实现内省式策略调整，理论保证性能单调提升并加速收敛，实验验证了其优越的样本效率。
2026-09-22 cs.AI cs.LG stat.ML
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
信任域策略优化（TRPO）和近端策略优化（PPO）是深度强化学习（RL）中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能，但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中，我们重新审视这些算法的理论基础，并提出了一个新的算法，通过一个邻近项，约束连续政策的折扣状态-动作的访问分布，以接近彼此稳定的政策改善。这个接近项，表示在访问分布之间的分歧，是在一个关闭政策和对抗的方式学习。我们的经验表明，我们提出的方法可以有一个有益的影响，稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University（首尔国立大学）；Ewha Woman University（成均馆大学）；Geogia Institute of Technology（佐治亚理工学院）
QUATRO通过原则性优化直接施加信任区域约束，实现稳定且可控的LLM微调，提升训练稳定性与熵控制。
2026-09-18 cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information；Electrical Engineering, \ Agricultural University, Beijing 100083, China；Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架，将分组相对策略优化与Transformer结合用于超参数优化，并引入策略扰动正则化提升训练稳定性，在OpenML上一致优于基线方法。
2025-09-21 cs.LG
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
First-order Policy Optimization for Robust Policy Evaluation
Georgia Institute of Technology（佐治亚理工学院）
针对鲁棒马尔可夫决策过程的策略评估问题，提出首个统一框架一阶策略评估（FRPE），支持离线与在线环境及通用函数逼近，并证明了其线性收敛性与样本复杂度。
2023-07-29 cs.LG math.OC
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Trust Region Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
我们描述了一个迭代过程优化政策，保证单调改善。通过对理论上合理的过程进行几次近似，我们开发了一种实用的算法，称为信任域策略优化（TRPO）。该算法类似于自然策略梯度方法，对优化神经网络等大型非线性策略是有效的。我们的实验证明了它在各种任务上的强大性能：学习模拟机器人游泳，跳跃和行走步态;以及使用屏幕图像作为输入玩Atari游戏。尽管它的近似偏离理论，TRPO倾向于给出单调的改进，几乎没有调整超参数。
2017-04-20 cs.LG
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出结合课程学习和奖励工程的PPO智能体，解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题，实现近零安全违规并提升效率。
2024-07-23 cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
本文提出裁剪目标策略梯度（COPG），通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标，实现更悲观的目标，促进探索，在连续动作空间的多任务等场景中提升学习性能，且不增加计算成本。
2023-11-10 cs.LG
Proactive Constrained Policy Optimization with Preemptive Penalty
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research AI4Science（微软研究院AI4Science）；University College London（伦敦大学学院）
提出主动约束策略优化（PCPO），通过预防性惩罚机制和约束感知内在奖励，在策略接近边界时施加代价并引导探索，建立理论界并采用策略迭代，实验表明其稳定且稳健地解决安全强化学习中的约束违反问题。
2025-08-06 cs.LG
Generalized Proximal Policy Optimization with Sample Reuse
Boston University（波士顿大学）
在现实世界的决策任务中，数据驱动的强化学习方法的稳定性和样本效率至关重要。策略方法通常在整个训练过程中产生可靠的策略改进，而非策略方法通过样本重用更有效地利用数据。在这项工作中，我们结合了理论上支持的政策上的算法的稳定性的好处与政策外的算法的样本效率。我们开发的政策改进保证，适合于关闭的政策设置，并连接这些界限的裁剪机制中使用的近端策略优化。这激发了一个流行的算法，我们称之为广义近端策略优化与样本重用的非策略版本。我们从理论上和经验上证明，我们的算法提供了改进的性能，有效地平衡竞争的目标的稳定性和样本效率。
2021-10-29 cs.AI cs.LG stat.ML
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Local Policy Optimization for Trajectory-Centric Reinforcement Learning
UTA Research Institute, University of Texas at Arlington（德克萨斯大学阿灵顿分校UTA研究所）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文的目标是提出一种同时进行轨迹和局部稳定化策略优化的方法，以生成以概率为中心的基于基于模型的强化学习（MBRL）的局部策略。这是因为非线性系统的全局策略优化在算法和数值上都是一个非常具有挑战性的问题。然而，许多机器人操作任务是以机器人为中心的，因此不需要全局模型或策略。由于学习模型估计的不准确性，当用于实际系统时，开环轨迹优化过程主要导致非常差的性能。受这些问题的启发，我们试图将轨迹优化和局部策略综合问题表述为一个单一的优化问题。然后将其作为非线性规划的一个实例同时求解。我们提供了一些分析结果，以及所提出的技术在一些简化的假设下实现的性能。
2020-01-22 cs.LG cs.RO cs.SY
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace（柯林斯航空航天公司）
本文提出Hybrid GRPO框架，通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO，在提升样本效率与学习稳定性的同时缓解方差放大问题，并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
Simple Policy Optimization
The Hong Kong University of Science（香港科学与技术大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出无约束一阶算法 SPO，通过改进 PPO 的比率裁剪策略损失，在保持简单高效实现的同时增强信赖域约束与理论保证，并在大型复杂网络端到端训练中优于 PPO。
2025-07-26 cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对离线策略学习中裁剪导致的梯度饥饿问题，提出ReSPO方法，用平滑双分支核替代裁剪，在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出乐观自然策略梯度（Optimistic NPG），将经典 NPG 与乐观策略评估结合以鼓励探索，首次在计算高效的同时在线性 MDP 中实现最优维度依赖的样本复杂度，并成为一般函数逼近下首个达到多项式样本复杂度的策略优化算法。
2023-12-04 cs.LG stat.ML
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化（PPO）是现有技术，它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化（MDPPO），并证明了该算法能够加速和稳定训练过程。在我们的算法中，多个不同的策略同时训练，每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样，但训练过程的轨迹是从所有代理收集的，而不是只有一个策略。我们发现，如果我们精心选择一些辅助轨迹来训练策略，算法将更稳定，更快地收敛，特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Soft Sequence Policy Optimization
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Institute for Artificial Intelligence（人工智能研究所）
本文提出软序列策略优化方法，通过引入软门控函数改进序列级重要性权重，提升大语言模型对齐任务的训练稳定性与性能。
2026-06-04 cs.AI cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国）；Columbia University, NY, United States（哥伦比亚大学，纽约，美国）
GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；NEC Central Research Laboratories（NEC中央研究所）；The University of Tokyo（东京大学）
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架，在各个领域都表现出了出色的效果。然而，众所周知，在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法，乐观的近端策略优化（OPPO），以减轻这一困难。OPPO考虑了估计总回报的不确定性，并根据该金额对政策进行了乐观评估。我们表明，OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Proximal Policy Optimization Smoothed Algorithm
近端策略优化（PPO）在策略搜索（强化学习的一个子领域）中产生了最先进的结果，其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的，该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题，我们提出了一个PPO的变种，命名为近端策略优化平滑算法（PPOS），其关键的改进是使用功能裁剪方法，而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较，证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外，我们表明，它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
