Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
本文提出裁剪目标策略梯度（COPG），通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标，实现更悲观的目标，促进探索，在连续动作空间的多任务等场景中提升学习性能，且不增加计算成本。
2023-11-10 cs.LG
Supervised Policy Update for Deep Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；New York University（纽约大学）
本文提出了一种新的样本效率高的方法，称为监督策略更新（SPU），用于深度强化学习。该方法通过当前策略生成的数据，在非参数化的近端策略空间中构建并求解一个约束优化问题，然后利用监督回归将最优的非参数化策略转换为参数化策略，从而生成新的样本。该方法适用于离散和连续动作空间，并能处理多种接近约束。本文展示了如何通过该方法解决自然策略梯度和信任区域策略优化（NPG/TRPO）以及近端策略优化（PPO）问题。SPU的实现比TRPO更简单，在样本效率方面，实验表明SPU在Mujoco模拟机器人任务中优于TRPO，在Atari视频游戏任务中优于PPO。
2018-12-24 cs.AI cs.LG cs.RO
Faded-Experience Trust Region Policy Optimization for Model-Free Power Allocation in Interference Channel
Carleton University（卡尔顿大学）
策略梯度强化学习技术使智能体能够通过与环境的交互直接学习最优的行动策略。然而，尽管它的优点，它有时会受到缓慢的收敛速度。受人类决策方法的启发，我们通过增强智能体来记忆和使用最近学习的策略来提高其收敛速度。我们将我们的方法应用于信任区域策略优化（TRPO），主要是为运动任务开发的，并提出了衰落经验（FE）TRPO。为了证实其有效性，我们采用它来学习连续功率控制在干扰信道时，只有嘈杂的位置信息的设备是可用的。结果表明，与TRPO相比，FE-TRPO可以使学习速度几乎翻一番。重要的是，我们的方法既不会增加学习的复杂性，也不会造成性能损失。
2020-08-04 cs.IT cs.LG math.IT
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
Safe, Efficient, Comfort, and Energy-saving Automated Driving through Roundabout Based on Deep Reinforcement Learning
School of Traffic and Transportation, Beijing Jiaotong University（北京交通大学交通运输学院）
本研究利用深度强化学习（DDPG、PPO、TRPO）训练自动驾驶车辆通过环岛，设计多目标奖励函数，并通过层次分析法评估，发现TRPO在安全与效率上最优，且具备跨场景泛化能力。
2023-06-20 cs.AI cs.LG cs.RO
Mirror Descent Policy Optimization
University of Alberta（阿尔伯塔大学）；Technion（以色列理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
镜像下降法（Mirror Descent，MD）是约束凸优化中的一阶算法，近年来被证明是分析强化学习（Reinforcement Learning，RL）中信赖域算法的重要工具。然而，这些理论分析的算法和实际使用的算法之间仍然存在相当大的差距。受此启发，我们提出了一种高效的RL算法，称为{ \em镜像下降策略优化}（MDPO）。MDPO通过{ \em approximately}求解信赖域问题来迭代更新策略，该信赖域问题的目标函数由两个项组成：标准RL目标的线性化和限制两个连续策略彼此接近的邻近项.每次更新通过在该目标函数上采取多个梯度步骤来执行这种近似。我们推导出{ \em的政策}和{ \em的政策} MDPO的变体，同时强调重要的设计选择，激励现有理论的MD在RL。我们强调的政策MDPO和两个流行的信任区域RL算法：TRPO和PPO之间的连接，并表明，明确执行的信任区域约束实际上是{ \em不} TRPO的高性能增益的必要性。然后，我们展示了如何流行的软演员-评论家（SAC）算法可以通过轻微的修改，关闭政策MDPO。总体而言，MDPO源自MD原则，提供了一种统一的方法来查看许多流行的RL算法，并且在许多连续控制任务中表现优于或等同于TRPO，PPO和SAC。代码可在\url{https://github.com/manantomar/Mirror-Descent-Policy-…
2021-06-07 cs.AI cs.LG stat.ML
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Simple Policy Optimization
The Hong Kong University of Science（香港科学与技术大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出无约束一阶算法 SPO，通过改进 PPO 的比率裁剪策略损失，在保持简单高效实现的同时增强信赖域约束与理论保证，并在大型复杂网络端到端训练中优于 PPO。
2025-07-26 cs.LG
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
Finite-Sample Convergence Bounds for Trust Region Policy Optimization in Mean-Field Games
NYU Shanghai（上海纽约大学）
本文提出 MF-TRPO 算法，将 TRPO 扩展至平均场博弈框架以计算近似纳什均衡，并提供了其精确与基于样本形式的收敛性理论保证及有限样本复杂度。
2025-05-28 cs.LG math.ST stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
Trust Region Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
我们描述了一个迭代过程优化政策，保证单调改善。通过对理论上合理的过程进行几次近似，我们开发了一种实用的算法，称为信任域策略优化（TRPO）。该算法类似于自然策略梯度方法，对优化神经网络等大型非线性策略是有效的。我们的实验证明了它在各种任务上的强大性能：学习模拟机器人游泳，跳跃和行走步态;以及使用屏幕图像作为输入玩Atari游戏。尽管它的近似偏离理论，TRPO倾向于给出单调的改进，几乎没有调整超参数。
2017-04-20 cs.LG
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Proximal Policy Optimization Smoothed Algorithm
近端策略优化（PPO）在策略搜索（强化学习的一个子领域）中产生了最先进的结果，其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的，该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题，我们提出了一个PPO的变种，命名为近端策略优化平滑算法（PPOS），其关键的改进是使用功能裁剪方法，而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较，证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外，我们表明，它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Modified Actor-Critics
Austrian Institute of Technology（奥地利技术研究所）；FH Joanneum（约翰内姆应用科技大学）；Google Research, Brain Team（谷歌研究院大脑团队）
最近成功的深度强化学习算法，如信任域策略优化（TRPO）或近端策略优化（PPO），是保守策略迭代（CPI）的基本变体。这些算法首先进行策略评估，然后进行软化策略改进。因此，他们自然是政策。在本文中，我们建议将（任何类型的）软贪婪与修改策略迭代（MPI）相结合。所提出的抽象框架反复应用：（i）允许离策略学习的部分策略评估步骤和（ii）任何软化的贪婪步骤。我们的贡献可以被视为深度强化学习工具箱的新通用工具。作为概念的证明，我们用PPO greediness实例化这个框架。与原始PPO算法相比，该算法具有更高的采样效率。我们还表明，它是具有竞争力的国家的最先进的政策外的算法软演员批评（SAC）。
2020-01-24 cs.AI cs.LG stat.ML
On Proximal Policy Optimization's Heavy-tailed Gradients
Carnegie Mellon University（卡内基梅隆大学）
诸如近端策略优化（PPO）的现代策略梯度算法依赖于包括损失裁剪和梯度裁剪的一系列算法来确保成功的学习。这些统计学让人想起稳健统计学的技术，通常用于异常值丰富（“重尾”）制度的估计。在本文中，我们提出了一个详细的实证研究，以表征PPO代理奖励函数的梯度的重尾性质。我们证明了梯度，特别是演员网络，表现出明显的重尾性，并且随着代理的策略偏离行为策略（即，随着代理进一步偏离策略）。进一步的研究表明，似然比和替代奖励的优势是观察到的重尾的主要来源。然后，我们强调由于梯度的重尾性质而产生的问题。在这种情况下，我们研究了标准PPO裁剪算法的效果，证明这些技巧主要用于抵消梯度中的重尾。因此，出于动机，我们建议将Gestival，一个高维的鲁棒估计，PPO作为替代三个裁剪技巧。尽管需要更少的超参数调整，我们的方法匹配的性能PPO（与所有的动力学启用）电池的MuJoCo连续控制任务。
2021-07-13 cs.LG cs.RO stat.ML
Proximal Policy Optimization and its Dynamic Version for Sequence Generation
National Taiwan University（台湾大学）；HuaZhong University of science and technology（华中科技大学）
在序列生成任务中，许多工作使用策略梯度进行模型优化，以解决在对抗学习中最大化不可微评价指标或欺骗学习者时难以解决的反向传播问题。在本文中，我们用近端策略优化（PPO）代替策略梯度，这是一种被证明更有效的强化学习算法，并提出了一种用于PPO的动态方法（PPO-dynamic）。我们证明了PPO和PPO-dynamic对条件序列生成任务的有效性，包括合成实验和聊天机器人。结果表明，PPO和PPO-dynamic在稳定性和性能上都能战胜策略梯度。
2018-08-24 cs.CL cs.LG stat.ML
Refined Policy Improvement Bounds for MDPs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Cornell University（康奈尔大学）
基于贴现收益差的策略改进约束是信赖域策略优化算法的理论基础。当折扣因子接近1时，现有的界导致退化界，使得TRPO和相关算法的适用性受到质疑。我们完善的结果在\cite{Schulman2015, Achiam2017}，并提出了一个新的界是“连续”的折扣因子。特别是，我们的界限也适用于具有长期平均奖励的MDP。
2021-07-16 cs.AI cs.LG math.OC
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institude of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近端策略优化（PPO）已被提出作为用于强化学习的一阶优化方法。需要注意的是，该方法采用了外部罚函数法，但通常情况下，当罚参数增大时，外部罚函数的极小值仅在极限内逼近可行。因此，这可能导致采样效率的低水平。该方法保留了PPO的优点，即易于实现和推广性好，我们称之为带障碍的近端策略优化（PPO-B）。具体地说，提出了一种新的代理目标与内部惩罚方法，以避免所带来的缺陷，外部惩罚方法。可以得出结论，PPO-B能够在采样效率方面优于PPO，因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
Embedding Safety into RL: A New Take on Trust Region Methods
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence（可扩展数据分析与人工智能中心）
针对强化学习智能体的不安全行为，提出C-TRPO方法，通过重塑策略空间几何确保信任域仅含安全策略，在保证训练全程满足安全约束的同时维持具竞争力的回报。
2025-08-15 cs.LG cs.SY eess.SY
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
Taylor Expansion Policy Optimization
Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
在这项工作中，我们研究了泰勒展开在强化学习中的应用。特别是，我们提出了泰勒扩展策略优化，一种策略优化形式主义，概括了先前的工作（例如，TRPO）作为一阶特例。我们还表明，泰勒展开密切相关的政策评估。最后，我们表明，这种新的配方需要修改，提高性能的几个国家的最先进的分布式算法。
2020-03-13 cs.LG stat.ML
Generalising Battery Control in Net-Zero Buildings via Personalised Federated RL
Department of Machine Learning, Mohamed Bin Zayed University of Artificial Intelligence（机器学习系，穆罕默德·本·扎耶德人工智能大学）
本研究提出一个协作且隐私保护的框架，利用个性化联邦强化学习（如Federated TRPO）优化基于建筑的微电网能源管理，在降低成本与碳排放的同时实现最优控制策略。
2025-07-15 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University（吉林大学）；University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）；Ministry of Education, China（中国教育部）；Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所）
流行的近端策略优化（PPO）算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策？通过使用一个新的代理目标，采用sigmoid函数（这提供了一种有趣的探索方式），我们发现答案是“是”，更好的策略实际上位于离裁剪空间很远的地方。我们表明，PPO是不够的“关闭policyness”，根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索，并且在训练期间比PPO更好地最大化保守策略迭代（CPI）目标。据我们所知，目前所有的PPO方法都有裁剪操作，并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个，它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
Proximal Policy Optimization with Relative Pearson Divergence
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文指出了PPO在最小化目标和非对称域上的缺陷，提出基于相对Pearson散度正则化的PPO-RPE变体，推导出直观的阈值设计，并在四个基准任务中表现优于常规方法。
2021-03-15 cs.LG cs.RO
A general class of surrogate functions for stable and efficient reinforcement learning
Simon Fraser University（西蒙弗雷泽大学）；Google Brain（谷歌大脑）；Mila, Université de Montréal（米拉-蒙特利尔大学）；TU Munich（慕尼黑工业大学）；Amii, University of Alberta（阿尔伯塔大学人工智能机器智能研究所）；DeepMind（深度思维）；Microsoft Research（微软研究院）；Mila, McGill（米拉-麦吉尔大学）
本文提出基于函数镜像上升的通用框架FMA-PG，可生成具有策略改进保证的一族替代函数，并据此改进TRPO和PPO，在赌博机及MuJoCo实验中验证了其鲁棒性与效率。
2023-10-31 cs.AI cs.LG stat.ML
Improving Value Estimation Critically Enhances Vanilla Policy Gradient
University of California, San Diego（加州大学圣迭戈分校）
本文发现，朴素策略梯度通过增加每次迭代的价值更新步数即可媲美或超越PPO，挑战了信任区域机制的关键作用，强调价值估计准确性是性能提升的核心因素。
2025-05-25 cs.AI cs.LG cs.RO
Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文提出PPO-DAP方法，通过整合扩散模型和近端策略优化，提升强化学习的样本效率和探索能力，有效改进了连续控制任务中的学习效率和性能。
2025-12-14 cs.LG cs.RO
Hindsight Trust Region Policy Optimization
Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
具有稀疏奖励的强化学习（RL）是一个主要挑战。我们提出了\emph{Hindsight Trust Region Policy Optimization}（HTRPO），一个新的RL算法，扩展了非常成功的TRPO算法与\emph{hindsight}，以解决稀疏奖励的挑战。后见之明指的是算法从跨目标的信息中学习的能力，包括那些不适用于当前任务的信息。HTRPO利用了两个主要思想。它引入了QKL，一个二次近似的KL散度约束的信赖域，导致减少KL散度估计的方差和改善的稳定性，在政策更新。它还提出了后见之明目标过滤（HGF）选择导电后见之明目标。在实验中，我们在各种稀疏奖励任务中评估HTRPO，包括简单的基准测试，基于图像的Atari游戏和模拟机器人控制。消融研究表明，QKL和HGF对学习稳定性和高绩效有很大贡献。比较结果表明，在所有的任务，HTRPO始终优于TRPO和HPG，一个国家的最先进的RL算法与稀疏奖励。
2021-05-17 cs.AI cs.LG stat.ML
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing
UC Irvine（加州大学尔湾分校）；George Washington University（乔治·华盛顿大学）；UC Santa Barbara（加州大学圣芭芭拉分校）；UT Dallas（德克萨斯大学达拉斯分校）
本文提出TOPPO，通过批评者平衡模块优化PPO，解决多任务强化学习中批评者梯度退化问题，实现比SAC和ARS基线更好的性能，且参数更少。
2026-11-10 cs.AI cs.LG cs.RO
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
近端策略优化（PPO）是一种非常流行的基于策略的深度强化学习（DRL）方法。然而，我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题，我们提出了PPO-UE，一个PPO的变种配备了自适应的不确定性感知探索（UE）的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析，通过改变比例的不确定性水平，我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算学院和数据科学学院，新加坡）；Sony Corporation（索尼公司）
SB-TRPO通过动态平衡成本降低与奖励提升，提供硬约束强化学习的原理性算法，确保安全性和奖励的改进，实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi（小米人工智能实验室）
作为信任域策略优化（TRPO）最成功的变体和改进，近端策略优化（PPO）已广泛应用于各个领域，具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中，一个一阶梯度强化学习算法，称为政策优化与惩罚点概率距离（POP3D），这是一个下界的平方总方差散度提出作为另一个强大的变种。首先，我们讨论了几种常用算法的缺点，我们的方法是由部分动机。其次，我们提出通过应用POP3D来克服这些缺点。第三，从解流形的角度深入探讨了其作用机理。最后，我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明，POP3D与PPO相比具有很强的竞争力。此外，我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低，并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法（PTR-PPO），该算法结合了on-policy和off-policy方法，通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点：前两个是最大和平均轨迹优先级的一步经验广义优势估计（GAE）值的基础上，最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后，将优先轨迹重放引入到PPO算法中，提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题，并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能，实现了最先进的性能。此外，通过分析训练过程中优先级内存中各个位置的优先级变化热图，我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响，从而影响算法的性能。
2021-12-08 cs.LG
Neural PPO-Clip Attains Global Optimality: A Hinge Loss Perspective
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
策略优化是设计强化学习算法的基本原则，一个示例是具有剪切代理目标的近端策略优化算法（PPO-Clip），由于其简单性和有效性，其已被广泛用于深度强化学习。尽管其优越的经验性能，PPO剪辑尚未通过理论证明，直到今天。在神经函数逼近下，我们建立了PPO-Clip的第一全局收敛速度。我们确定了分析PPO-Clip的基本挑战，并以两个核心思想解决这些挑战：（i）我们从铰链损失的角度重新解释PPO-Clip，将政策改进与解决铰链损失的大利润分类问题联系起来，并提供了PPO-Clip目标的广义版本。(ii)基于上述观点，我们提出了一个两步的政策改进计划，这有利于通过解耦政策搜索的复杂的神经政策参数化的帮助下，熵镜像下降和基于回归的政策更新计划的收敛性分析。此外，我们的理论结果提供了第一个表征的剪裁机制的PPO-Clip的收敛效果。通过实验，我们经验验证的重新解释的PPO剪辑和广义目标与各种分类器上的各种RL基准任务。
2022-09-01 cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
CIM-PPO:Proximal Policy Optimization with Liu-Correntropy Induced Metric
College of Science, National University of Defense Technology（国防科技大学理学院）；School of System Science and Engineering, Sun-Yat-Sen University（中山大学系统科学与工程学院）；College of System Engineering, National University of Defense Technology（国防科技大学系统工程学院）
针对KL散度不对称性误导PPO-KL策略优化的问题，提出基于刘-correntropy诱导度量的PPO-CIM算法，在RKHS中重定义内积，兼具低计算成本与信任域保障，在多数Mujoco任务上表现优于两类经典PPO。
2024-10-29 cs.AI cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法，通过引入可微的接受门替代重要性采样比，统一了TRPO、PPO和REINFORCE的策略梯度，并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology（南方科技大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所）；LimX Dynamics
PolicyFlow是一种基于连续归一化流的在线强化学习算法，通过减少似然计算开销实现稳定训练，并通过布朗正则化器促进多样化行为。
2026-02-01 cs.LG cs.RO
Colored Noise in PPO: Improved Exploration and Performance through Correlated Action Sampling
Department of Computer Science, University of Innsbruck（因斯布鲁克大学计算机科学系）；Digital Science Center, University of Innsbruck（因斯布鲁克大学数字科学中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Computer Science, University of Tübingen（蒂宾根大学计算机科学系）
本文提出基于有色噪声的PPO随机策略，证明介于白噪声与粉红噪声之间的相关动作采样可改善在策略探索和性能，并建议将其设为默认噪声源。
2024-06-17 cs.LG
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最成功的深度学习方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，其优化行为还远未被完全理解。在本文中，我们表明，PPO既不能严格限制似然比，因为它试图这样做，也没有强制执行一个定义良好的信任域约束，这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题，我们提出了一个增强的PPO方法，命名为真正的PPO。该方法主要做了两个改进：1）采用新的裁剪函数支持回滚行为，以限制新旧策略之间的差异; 2）将裁剪的触发条件替换为基于信任域的触发条件，从而优化生成的代理目标函数，保证最终策略性能的单调改善。看来，通过更真实地坚持使算法接近-将策略限制在信任区域内，新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Convex-Concave Reinforcement Learning
本文提出凸-凹强化学习（CCRL），将策略优化转化为DC约束DC规划，统一CPI、NPG、TRPO、AWR，并通过多步轴提升信用传播，在诊断MDP和医疗保健任务中优于PPO。
2026-10-08 cs.AI cs.LG
A dynamical clipping approach with task feedback for Proximal Policy Optimization
WestLake University（西湖大学）；Massachusetts Institute of Technology（麻省理工学院）；New Jersey Institute of Technology（新泽西理工学院）
针对PPO固定裁剪界限限制性能的问题，提出双层目标动态调整裁剪界限的Pb-PPO算法，利用多臂老虎机推荐最优界限以最大化回报，在多个基准上表现更优。
2024-11-06 cs.AI cs.LG
Eval-PPO: Building an Efficient Threat Evaluator Using Proximal Policy Optimization
针对游戏场景中威胁评估缺乏显式标签的难题，提出基于近端策略优化的Eval-PPO算法，通过整合多维特征实现精确威胁评估，平均成功率较规则方法提升17.84%。
2025-04-25 cs.LG
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University（吉林大学）
近端策略优化（PPO）算法是一种深度强化学习算法，在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习，虽然有一些方案可以使探索更加充分，与数据开发更加平衡，但由于算法的复杂性，它们不能应用于复杂环境。基于具有密集奖励的连续控制任务，分析了PPO算法中原始高斯行为探索机制的假设，阐明了探索能力对性能的影响。然后，针对探测问题，设计了一种基于不确定性估计的探测增强机制。然后，将探索增强理论应用于PPO算法，提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法（IEM-PPO）。在实验部分，我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估，并将IEM-PPO算法与好奇心驱动的探索算法（ICM-PPO）和原始算法（PPO）进行了比较。实验结果表明，IEM-PPO算法需要较长的训练时间，但在样本效率和累积回报方面表现较好，具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
OID-PPO: Optimal Interior Design using Proximal Policy Optimization by Transforming Design Guidelines into Reward Functions
针对住宅室内设计现有方法计算成本高、数据稀缺或摆放受限等问题，提出融合专家设计准则为奖励函数的强化学习框架OID-PPO，采用对角高斯策略实现连续家具摆放，在布局质量和效率上均优于现有最优方法。
2025-08-01 cs.LG
Group Policy Gradient
University of Cambridge（剑桥大学）
该研究提出无评论家的组策略梯度GPG方法，用基于组的蒙特卡洛优势估计替代价值函数，保留PPO裁剪目标结构，经理论证明与实验验证，其性能相当或优于PPO且计算资源利用效率更高。
2025-10-04 cs.LG stat.ML
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
