Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Proximal Policy Optimization and its Dynamic Version for Sequence Generation
National Taiwan University（台湾大学）；HuaZhong University of science and technology（华中科技大学）
在序列生成任务中，许多工作使用策略梯度进行模型优化，以解决在对抗学习中最大化不可微评价指标或欺骗学习者时难以解决的反向传播问题。在本文中，我们用近端策略优化（PPO）代替策略梯度，这是一种被证明更有效的强化学习算法，并提出了一种用于PPO的动态方法（PPO-dynamic）。我们证明了PPO和PPO-dynamic对条件序列生成任务的有效性，包括合成实验和聊天机器人。结果表明，PPO和PPO-dynamic在稳定性和性能上都能战胜策略梯度。
2018-08-24 cs.CL cs.LG stat.ML
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institude of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近端策略优化（PPO）已被提出作为用于强化学习的一阶优化方法。需要注意的是，该方法采用了外部罚函数法，但通常情况下，当罚参数增大时，外部罚函数的极小值仅在极限内逼近可行。因此，这可能导致采样效率的低水平。该方法保留了PPO的优点，即易于实现和推广性好，我们称之为带障碍的近端策略优化（PPO-B）。具体地说，提出了一种新的代理目标与内部惩罚方法，以避免所带来的缺陷，外部惩罚方法。可以得出结论，PPO-B能够在采样效率方面优于PPO，因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi（小米人工智能实验室）
作为信任域策略优化（TRPO）最成功的变体和改进，近端策略优化（PPO）已广泛应用于各个领域，具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中，一个一阶梯度强化学习算法，称为政策优化与惩罚点概率距离（POP3D），这是一个下界的平方总方差散度提出作为另一个强大的变种。首先，我们讨论了几种常用算法的缺点，我们的方法是由部分动机。其次，我们提出通过应用POP3D来克服这些缺点。第三，从解流形的角度深入探讨了其作用机理。最后，我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明，POP3D与PPO相比具有很强的竞争力。此外，我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University（高等经济学院）；Constructor University（康斯特大学）；CMAP, CNRS, École polytechnique, IPP（CMAP，CNRS，巴黎综合理工学院，IPP）
本文在生成流网络框架下，推导了策略梯度算法并首次应用近端策略优化，提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最成功的深度学习方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，其优化行为还远未被完全理解。在本文中，我们表明，PPO既不能严格限制似然比，因为它试图这样做，也没有强制执行一个定义良好的信任域约束，这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题，我们提出了一个增强的PPO方法，命名为真正的PPO。该方法主要做了两个改进：1）采用新的裁剪函数支持回滚行为，以限制新旧策略之间的差异; 2）将裁剪的触发条件替换为基于信任域的触发条件，从而优化生成的代理目标函数，保证最终策略性能的单调改善。看来，通过更真实地坚持使算法接近-将策略限制在信任区域内，新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Proximal Policy Optimization with Relative Pearson Divergence
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文指出了PPO在最小化目标和非对称域上的缺陷，提出基于相对Pearson散度正则化的PPO-RPE变体，推导出直观的阈值设计，并在四个基准任务中表现优于常规方法。
2021-03-15 cs.LG cs.RO
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化（PPO）是现有技术，它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化（MDPPO），并证明了该算法能够加速和稳定训练过程。在我们的算法中，多个不同的策略同时训练，每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样，但训练过程的轨迹是从所有代理收集的，而不是只有一个策略。我们发现，如果我们精心选择一些辅助轨迹来训练策略，算法将更稳定，更快地收敛，特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
ProMP: Proximal Meta-Policy Search
UC Berkeley（加州大学伯克利分校）；KIT（卡尔斯鲁厄理工学院）；Karlsruhe Inst. of Technology (KIT)（卡尔斯鲁厄理工学院）
Meta-强化学习（Meta-RL）中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上，我们开发了一种新的元学习算法，克服了不良信用分配和以前的困难，估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离，该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为，并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；NEC Central Research Laboratories（NEC中央研究所）；The University of Tokyo（东京大学）
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架，在各个领域都表现出了出色的效果。然而，众所周知，在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法，乐观的近端策略优化（OPPO），以减轻这一困难。OPPO考虑了估计总回报的不确定性，并根据该金额对政策进行了乐观评估。我们表明，OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG
ISOPO: Proximal policy gradients without pi-old
Nilin Abrahamsen
ISOPO提出了一种无需pi-old的近端策略梯度方法，通过单次梯度步骤近似自然策略梯度，具有较低的计算开销。
2025-12-30 cs.LG
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Decaying Clipping Range in Proximal Policy Optimization
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
近端策略优化（PPO）是强化学习中使用最广泛的算法之一，在许多具有挑战性的问题中取得了最先进的性能。其成功的关键是通过裁剪机制和多个时期的小批量更新的可靠的策略更新。本研究的目的是为前者提供新的简单而有效的替代方案。为此，我们提出了在整个训练过程中线性和指数衰减的裁剪范围方法。有了这些，我们希望在开始时提供更高的探索，并在学习阶段结束时提供更强的限制。我们调查他们的表现在几个经典的控制和机车机器人环境。在分析过程中，我们发现它们影响了获得的奖励，并且在许多强化学习任务中是常数裁剪方法的有效替代方案。
2021-07-01 cs.AI cs.LG cs.RO
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Wasserstein Proximal Policy Gradient
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, China（上海交通大学紫阳学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, Guangdong, China（香港中文大学（深圳）数据科学学院）；McCombs School of Business, The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校麦克拉姆商学院）
WPPG通过Wasserstein几何视角提出一种无需计算策略对数密度或梯度的策略梯度方法，实现连续动作空间下的高效强化学习
2026-03-03 cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Taking gradients through experiments: LSTMs and memory proximal policy optimization for black-box quantum control
Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）
在这项工作中，我们介绍了黑盒量子控制的应用程序作为一个有趣的再学习问题的机器学习社区。我们分析了量子物理中出现的强化学习问题的结构，并认为通过随机策略梯度训练的长短期记忆（LSTM）网络参数化的代理产生了解决这些问题的通用方法。在这种情况下，我们介绍了一个变种的邻近策略优化（PPO）算法称为内存邻近策略优化（MPPO），这是基于这种分析。然后，我们将展示如何将其应用于特定的学习任务，并给出数值实验的结果，表明我们的方法在具有离散和连续控制参数的量子控制中的几个学习任务中实现了最先进的结果。
2018-04-13 cs.LG quant-ph
Central Path Proximal Policy Optimization
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能中心）；Institut für Mathematik, Technische Universität Berlin（柏林技术大学数学研究所）
提出C3PO方法，通过修改PPO损失使策略迭代贴近约束优化中心路径，在更严格约束下提升性能。
2025-08-15 cs.LG
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线策略强化学习（RLVR），提出Proximal KL方法，通过分离近端参考与采样策略、用有界未来KL信用替代PPO裁剪，在数学基准上较GRPO有更高准确率，且训练更稳定高效。
2026-10-14 cs.LG
Proximal Policy Optimization with Continuous Bounded Action Space via the Beta Distribution
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
近年来，用于连续控制任务的强化学习方法已经发展，产生了一系列策略梯度方法，这些方法主要依赖于高斯分布来对随机策略进行建模。然而，高斯分布具有无限支持，而现实世界的应用程序通常具有有界的动作空间。这种不协调会导致估计偏差，如果将Beta分布用于策略，则可以消除这种偏差，因为它提供了有限的支持。在这项工作中，我们研究了当该Beta策略在OpenAI gym的两个连续控制任务上接受近端策略优化（PPO）算法训练时的性能如何。对于这两个任务，Beta策略在智能体的最终期望奖励方面优于高斯策略，也显示出更稳定和更快的训练过程收敛。对于具有高维图像输入的CarRacing环境，代理的成功率比高斯策略提高了63%。
2021-11-03 cs.AI cs.LG
Proximal Policy Optimization for Tracking Control Exploiting Future Reference Information
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；IAV GmbH（IAV有限公司）
近年来，强化学习（RL）在控制工程中得到了越来越多的关注。特别是策略梯度方法被广泛应用。在这项工作中，我们提高了跟踪性能的近端策略优化（PPO）的任意参考信号，将未来的参考值的信息。扩展的演员和评论家考虑到未来的参考价值的参数的两个变种。在第一个变体中，全局未来引用值被添加到参数中。对于第二种变体，引入了一种新的适用于无模型强化学习的具有未来参考值的残差空间。我们的方法进行评估对一个简单的驱动训练模型的PI控制器。我们希望我们的方法比以前的方法更好地推广到任意参考，指向RL控制真实系统的适用性。
2021-07-20 cs.LG cs.RO cs.SY
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
Huawei Canada（华为加拿大）
A-3PO通过近似近端策略优化方法，减少大语言模型异步训练中的计算开销，实现1.8倍的加速同时保持性能
2026-08-13 cs.AI cs.DC cs.LG
Imbalanced Classification In Faulty Turbine Data: New Proximal Policy Optimization
K. N. Toosi University of Technology（KN图西理工大学）
在工业和现实世界的系统中检测故障并实施最佳方法越来越重要。我们正在寻找人工智能应用程序提出的最值得信赖和实用的基于数据的故障检测方法。在本文中，我们提出了一个基于强化学习的故障检测框架和一个称为邻近策略优化的策略。由于缺乏故障数据，传统策略的一个显著问题是其在检测故障类别方面的弱点，这通过改变代价函数来解决。使用修改的邻近策略优化，我们可以提高性能，克服数据不平衡，并更好地预测未来的故障。当我们修改后的政策实施，所有的评估指标将增加$3\%$到$4\%$相比，传统的政策在第一个基准测试，之间的$20\%$和$55\%$在第二个基准测试，和之间的$6\%$和$14\%$在第三个基准测试，以及性能和预测速度的改进相比，以前的方法。
2023-01-10 cs.LG cs.SY eess.SY
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
PROMA: Projected Microbatch Accumulation for Reference-Free Proximal Policy Updates
Nilin Abrahamsen（独立研究者）
PROMA是一种无参考近端策略优化方法，通过投影策略梯度的高方差成分来控制KL散度，两种变体在不同训练场景下表现出色。
2026-02-17 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文提出PPO-DAP方法，通过整合扩散模型和近端策略优化，提升强化学习的样本效率和探索能力，有效改进了连续控制任务中的学习效率和性能。
2025-12-14 cs.LG cs.RO
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park（马里兰大学帕克分校）
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法，通过α-策略自适应管控解析梯度影响，用梯度方差偏差指标动态调整依赖度，在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
Diffusion Policy through Conditional Proximal Policy Optimization
Southern University of Science and Technology, Shenzhen, China（南方科技大学）；Hong Kong University of Science and Technology, Hongkong, China（香港科技大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute, Haining, China（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所）
本文提出了一种基于条件近端策略优化的高效方法，用于在在线强化学习中训练多模态扩散策略，解决了计算动作对数似然的难题，并在多个基准任务中取得优异性能。
2026-03-05 cs.LG cs.RO
Proximal Policy Distillation
AI for Robotics Lab (AIR-Lab)（人工智能机器人实验室）；Department of Cognitive Science and Artificial Intelligence（认知科学与人工智能系）；Tilburg University（蒂尔堡大学）
本文提出PPD方法，结合学生驱动蒸馏和近端策略优化，提升样本效率并利用学生策略在蒸馏过程中收集的额外奖励。在多种强化学习环境中验证了其有效性。
2025-06-06 cs.AI cs.LG
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
近端策略优化（PPO）是一种非常流行的基于策略的深度强化学习（DRL）方法。然而，我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题，我们提出了PPO-UE，一个PPO的变种配备了自适应的不确定性感知探索（UE）的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析，通过改变比例的不确定性水平，我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Reparameterization Proximal Policy Optimization
重参数化近端策略优化通过统一框架和稳定性机制，在保持高样本效率的同时，提升了训练稳定性并超越了现有方法。
2026-02-06 cs.AI cs.LG
DNA: Proximal Policy Optimization with a Dual Network Architecture
The Australian National University（澳大利亚国立大学）
本文探讨了在深度行动者-批评者强化学习模型中同时学习价值函数和策略的问题。我们发现，共同学习这些功能的常见做法是次优的，由于这两个任务之间的噪声水平的数量级差异。相反，我们表明，独立学习这些任务，但有一个受约束的蒸馏阶段，显着提高性能。此外，我们发现，策略梯度噪声水平可以通过使用较低的\textit{variance}回报估计。然而，值学习噪声水平随着较低的\textit{bias}估计而降低。这些见解共同为近端策略优化的扩展提供了信息，我们称之为\textit{Dual Network Architecture}（DNA），它的性能明显优于其前身。DNA在五个测试环境中的四个环境中的性能也超过了流行的Rainbow DQN算法，即使在更困难的随机控制设置下也是如此。
2022-11-13 cs.AI cs.LG
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低，并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法（PTR-PPO），该算法结合了on-policy和off-policy方法，通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点：前两个是最大和平均轨迹优先级的一步经验广义优势估计（GAE）值的基础上，最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后，将优先轨迹重放引入到PPO算法中，提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题，并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能，实现了最先进的性能。此外，通过分析训练过程中优先级内存中各个位置的优先级变化热图，我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响，从而影响算法的性能。
2021-12-08 cs.LG
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University（吉林大学）
近端策略优化（PPO）算法是一种深度强化学习算法，在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习，虽然有一些方案可以使探索更加充分，与数据开发更加平衡，但由于算法的复杂性，它们不能应用于复杂环境。基于具有密集奖励的连续控制任务，分析了PPO算法中原始高斯行为探索机制的假设，阐明了探索能力对性能的影响。然后，针对探测问题，设计了一种基于不确定性估计的探测增强机制。然后，将探索增强理论应用于PPO算法，提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法（IEM-PPO）。在实验部分，我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估，并将IEM-PPO算法与好奇心驱动的探索算法（ICM-PPO）和原始算法（PPO）进行了比较。实验结果表明，IEM-PPO算法需要较长的训练时间，但在样本效率和累积回报方面表现较好，具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization
Seoul National University（首尔大学）
提出邻近熵策略优化（PEPO），通过局部上下文度量token重要性，改进RLVR中的信用分配，在数学推理任务上超越GRPO和熵基线。
2026-10-06 cs.AI cs.LG
Beyond the Boundaries of Proximal Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Meta；University of Cambridge（剑桥大学）
本研究将PPO拆解为内环更新向量估计与外环单位学习率梯度上升更新，提出outer-PPO框架以任意梯度优化器应用更新，通过实验验证了外环非单位学习率、动量及内环动量偏差的效果，在Brax等环境上取得显著提升。
2024-11-01 cs.AI cs.LG
Weighted Quantum Channel Compiling through Proximal Policy Optimization
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
我们提出了一种通用和系统的策略来编译任意量子信道，而不使用辅助量子比特，基于邻近策略优化-一种强大的深度强化学习算法。我们严格证明，在鲜明对比的情况下，编译酉门，这是不可能的编译任意通道任意精度与任何给定的有限基本通道集，无论分解序列的长度。然而，对于固定精度的$ε$，可以构建具有恒定数量的$ε$相关基本通道的通用集合，使得任意量子信道可以被分解成这些基本通道的序列，随后是幺正门，其中序列长度由$O(\frac{1}ε\log\frac{1}ε)$限定。通过一个关于Majorana费米子拓扑编译的具体例子，我们证明了我们提出的算法通过在最近策略优化的奖励函数中加入加权代价，可以方便有效地减少昂贵的基本门的使用.
2021-11-03 cond-mat.dis-nn cs.LG quant-ph
A Simple and Optimal Policy Design with Safety against Heavy-Tailed Risk for Stochastic Bandits
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
本研究提出一种随机多臂老虎机策略，在期望遗憾上达到最坏情况最优，同时保证遗憾分布的轻尾风险，并扩展到线性老虎机设置。
2024-07-22 cs.LG math.ST stat.ML
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
Penalized Proximal Policy Optimization for Safe Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）
安全强化学习旨在学习满足安全约束的最优策略，这在实际应用中至关重要。然而，目前的算法仍然难以有效的策略更新与硬约束满足。在本文中，我们提出了惩罚性近端策略优化（P3 O），它通过对等效无约束问题的单个最小化来解决繁琐的约束策略迭代。具体地说，P3O利用一个简单而有效的惩罚函数来消除成本约束，并通过裁剪代理目标来消除信任域约束。我们从理论上证明了所提出的方法的精确性与有限的惩罚因子，并提供了一个最坏情况下的近似误差分析时，评估样本轨迹。此外，我们将P3O扩展到更具挑战性的多约束和多代理场景，这些场景在以前的工作中研究较少。大量的实验表明，P3O优于国家的最先进的算法方面的奖励改善和约束满足的一组受约束的机车任务。
2022-06-17 cs.AI cs.LG math.OC
Generalization, Mayhems and Limits in Recurrent Proximal Policy Optimization
TU Dortmund University（多特蒙德工业大学）；Hochschule Rhein-Waal（莱茵-瓦尔应用科学大学）；Universiteit Leiden（莱顿大学）
乍一看，在深度强化学习算法中使用递归层似乎很简单，可以使代理在部分可观察环境的设置中利用内存。从广泛使用的近端策略优化（PPO）开始，我们强调了重要的细节，一个人必须得到正确的添加递归时，以实现正确和有效的实施，即：正确塑造神经网络的前向传递，安排训练数据，相应地选择隐藏状态的序列开始和掩蔽填充损失计算。我们进一步探讨了经常性PPO的局限性，通过基准测试贡献的新环境迫击炮混乱和灼热的聚光灯，挑战代理人的记忆超越了单纯的能力和分心的任务。值得注意的是，当扩展训练种子的数量时，我们可以在Mortar Mayhem中证明向强泛化的过渡，而代理在灼热聚光灯上没有成功，这似乎是基于记忆的代理的一个严峻挑战。
2022-05-23 cs.LG
Distributed Proximal Policy Optimization for Contention-Based Spectrum Access
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在未授权频谱中操作的无线设备的数量的增加激励了超越传统载波侦听的智能自适应频谱接入方法的发展。我们开发了一种新的分布式实现的策略梯度的方法称为近端策略优化建模的两阶段马尔可夫决策过程，使这样一个智能的方法，并仍然实现了分散的竞争为基础的媒体访问。在每个时隙中，基站（BS）使用来自频谱感测和接收质量的信息来自主地决定是否在给定资源上进行发送，目标是最大化网络范围的比例公平性。从经验上讲，我们发现的比例公平性奖励积累的策略梯度的方法是显着高于甚至基因辅助自适应能量检测阈值。这进一步验证了我们的方法所实现的改进的总和和最大用户吞吐量。
2021-10-07 cs.LG cs.NI eess.SP
Partial advantage estimator for proximal policy optimization
JumpW AI Group（JumpW人工智能集团）；Queen Mary University of London（伦敦玛丽女王大学）
在策略梯度方法中，价值的估计是一个基本问题。广义优势估计（GAE）是一个类似于$λ$ -return的优势函数的指数加权估计。它大大减少了策略梯度估计的方差，但代价是偏差。在实际应用中，由于轨迹的不完整性，使用截断的GAE，这导致在估计过程中有很大的偏差。为了解决这一挑战，而不是使用整个截断的GAE，我们建议在计算更新时采取一部分，这大大减少了不完整的轨迹造成的偏差。我们在MuJoCo和$μ$ RTS中进行实验，以研究不同的偏系数和采样长度的影响。我们表明，我们的部分GAE方法在这两种环境中产生更好的实证结果。
2023-01-26 cs.AI cs.LG
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出结合课程学习和奖励工程的PPO智能体，解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题，实现近零安全违规并提升效率。
2024-07-23 cs.LG
Complexity-Regularized Proximal Policy Optimization
本文提出复杂度正则化的近端策略优化（CR-PPO），通过引入自调节复杂度项替代标准熵项，提升策略优化的鲁棒性和稳定性。
2026-03-05 cs.AI cs.LG
