Proximal Deterministic Policy Gradient
University of Padova（帕多瓦大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了两种简单的技术，以改善离政策强化学习（RL）算法。首先，我们制定了一个随机的近点迭代的政策外RL。目标网络充当优化变量的角色，价值网络计算邻近算子。其次，我们利用两个价值函数通常采用的国家的最先进的政策外的算法，以提供一个改进的行动价值估计，通过引导有限的增加计算资源。此外，我们证明了显着的性能改善，在标准的连续控制RL基准的最先进的算法。
2020-08-03 cs.LG stat.ML
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
ISOPO: Proximal policy gradients without pi-old
Nilin Abrahamsen
ISOPO提出了一种无需pi-old的近端策略梯度方法，通过单次梯度步骤近似自然策略梯度，具有较低的计算开销。
2025-12-30 cs.LG
Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文提出PPO-DAP方法，通过整合扩散模型和近端策略优化，提升强化学习的样本效率和探索能力，有效改进了连续控制任务中的学习效率和性能。
2025-12-14 cs.LG cs.RO
Decaying Clipping Range in Proximal Policy Optimization
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
近端策略优化（PPO）是强化学习中使用最广泛的算法之一，在许多具有挑战性的问题中取得了最先进的性能。其成功的关键是通过裁剪机制和多个时期的小批量更新的可靠的策略更新。本研究的目的是为前者提供新的简单而有效的替代方案。为此，我们提出了在整个训练过程中线性和指数衰减的裁剪范围方法。有了这些，我们希望在开始时提供更高的探索，并在学习阶段结束时提供更强的限制。我们调查他们的表现在几个经典的控制和机车机器人环境。在分析过程中，我们发现它们影响了获得的奖励，并且在许多强化学习任务中是常数裁剪方法的有效替代方案。
2021-07-01 cs.AI cs.LG cs.RO
Wasserstein Proximal Policy Gradient
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, China（上海交通大学紫阳学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, Guangdong, China（香港中文大学（深圳）数据科学学院）；McCombs School of Business, The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校麦克拉姆商学院）
WPPG通过Wasserstein几何视角提出一种无需计算策略对数密度或梯度的策略梯度方法，实现连续动作空间下的高效强化学习
2026-03-03 cs.LG
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化（PPO）是现有技术，它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化（MDPPO），并证明了该算法能够加速和稳定训练过程。在我们的算法中，多个不同的策略同时训练，每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样，但训练过程的轨迹是从所有代理收集的，而不是只有一个策略。我们发现，如果我们精心选择一些辅助轨迹来训练策略，算法将更稳定，更快地收敛，特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；NEC Central Research Laboratories（NEC中央研究所）；The University of Tokyo（东京大学）
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架，在各个领域都表现出了出色的效果。然而，众所周知，在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法，乐观的近端策略优化（OPPO），以减轻这一困难。OPPO考虑了估计总回报的不确定性，并根据该金额对政策进行了乐观评估。我们表明，OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG
Generalized Proximal Policy Optimization with Sample Reuse
Boston University（波士顿大学）
在现实世界的决策任务中，数据驱动的强化学习方法的稳定性和样本效率至关重要。策略方法通常在整个训练过程中产生可靠的策略改进，而非策略方法通过样本重用更有效地利用数据。在这项工作中，我们结合了理论上支持的政策上的算法的稳定性的好处与政策外的算法的样本效率。我们开发的政策改进保证，适合于关闭的政策设置，并连接这些界限的裁剪机制中使用的近端策略优化。这激发了一个流行的算法，我们称之为广义近端策略优化与样本重用的非策略版本。我们从理论上和经验上证明，我们的算法提供了改进的性能，有效地平衡竞争的目标的稳定性和样本效率。
2021-10-29 cs.AI cs.LG stat.ML
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Central Path Proximal Policy Optimization
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能中心）；Institut für Mathematik, Technische Universität Berlin（柏林技术大学数学研究所）
提出C3PO方法，通过修改PPO损失使策略迭代贴近约束优化中心路径，在更严格约束下提升性能。
2025-08-15 cs.LG
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线策略强化学习（RLVR），提出Proximal KL方法，通过分离近端参考与采样策略、用有界未来KL信用替代PPO裁剪，在数学基准上较GRPO有更高准确率，且训练更稳定高效。
2026-10-14 cs.LG
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Proximal Policy Optimization Smoothed Algorithm
近端策略优化（PPO）在策略搜索（强化学习的一个子领域）中产生了最先进的结果，其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的，该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题，我们提出了一个PPO的变种，命名为近端策略优化平滑算法（PPOS），其关键的改进是使用功能裁剪方法，而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较，证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外，我们表明，它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Proximal Policy Optimization and its Dynamic Version for Sequence Generation
National Taiwan University（台湾大学）；HuaZhong University of science and technology（华中科技大学）
在序列生成任务中，许多工作使用策略梯度进行模型优化，以解决在对抗学习中最大化不可微评价指标或欺骗学习者时难以解决的反向传播问题。在本文中，我们用近端策略优化（PPO）代替策略梯度，这是一种被证明更有效的强化学习算法，并提出了一种用于PPO的动态方法（PPO-dynamic）。我们证明了PPO和PPO-dynamic对条件序列生成任务的有效性，包括合成实验和聊天机器人。结果表明，PPO和PPO-dynamic在稳定性和性能上都能战胜策略梯度。
2018-08-24 cs.CL cs.LG stat.ML
On Proximal Policy Optimization's Heavy-tailed Gradients
Carnegie Mellon University（卡内基梅隆大学）
诸如近端策略优化（PPO）的现代策略梯度算法依赖于包括损失裁剪和梯度裁剪的一系列算法来确保成功的学习。这些统计学让人想起稳健统计学的技术，通常用于异常值丰富（“重尾”）制度的估计。在本文中，我们提出了一个详细的实证研究，以表征PPO代理奖励函数的梯度的重尾性质。我们证明了梯度，特别是演员网络，表现出明显的重尾性，并且随着代理的策略偏离行为策略（即，随着代理进一步偏离策略）。进一步的研究表明，似然比和替代奖励的优势是观察到的重尾的主要来源。然后，我们强调由于梯度的重尾性质而产生的问题。在这种情况下，我们研究了标准PPO裁剪算法的效果，证明这些技巧主要用于抵消梯度中的重尾。因此，出于动机，我们建议将Gestival，一个高维的鲁棒估计，PPO作为替代三个裁剪技巧。尽管需要更少的超参数调整，我们的方法匹配的性能PPO（与所有的动力学启用）电池的MuJoCo连续控制任务。
2021-07-13 cs.LG cs.RO stat.ML
Proximal Policy Optimization for Tracking Control Exploiting Future Reference Information
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；IAV GmbH（IAV有限公司）
近年来，强化学习（RL）在控制工程中得到了越来越多的关注。特别是策略梯度方法被广泛应用。在这项工作中，我们提高了跟踪性能的近端策略优化（PPO）的任意参考信号，将未来的参考值的信息。扩展的演员和评论家考虑到未来的参考价值的参数的两个变种。在第一个变体中，全局未来引用值被添加到参数中。对于第二种变体，引入了一种新的适用于无模型强化学习的具有未来参考值的残差空间。我们的方法进行评估对一个简单的驱动训练模型的PI控制器。我们希望我们的方法比以前的方法更好地推广到任意参考，指向RL控制真实系统的适用性。
2021-07-20 cs.LG cs.RO cs.SY
Taking gradients through experiments: LSTMs and memory proximal policy optimization for black-box quantum control
Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）
在这项工作中，我们介绍了黑盒量子控制的应用程序作为一个有趣的再学习问题的机器学习社区。我们分析了量子物理中出现的强化学习问题的结构，并认为通过随机策略梯度训练的长短期记忆（LSTM）网络参数化的代理产生了解决这些问题的通用方法。在这种情况下，我们介绍了一个变种的邻近策略优化（PPO）算法称为内存邻近策略优化（MPPO），这是基于这种分析。然后，我们将展示如何将其应用于特定的学习任务，并给出数值实验的结果，表明我们的方法在具有离散和连续控制参数的量子控制中的几个学习任务中实现了最先进的结果。
2018-04-13 cs.LG quant-ph
Proximal Policy Optimization with Continuous Bounded Action Space via the Beta Distribution
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
近年来，用于连续控制任务的强化学习方法已经发展，产生了一系列策略梯度方法，这些方法主要依赖于高斯分布来对随机策略进行建模。然而，高斯分布具有无限支持，而现实世界的应用程序通常具有有界的动作空间。这种不协调会导致估计偏差，如果将Beta分布用于策略，则可以消除这种偏差，因为它提供了有限的支持。在这项工作中，我们研究了当该Beta策略在OpenAI gym的两个连续控制任务上接受近端策略优化（PPO）算法训练时的性能如何。对于这两个任务，Beta策略在智能体的最终期望奖励方面优于高斯策略，也显示出更稳定和更快的训练过程收敛。对于具有高维图像输入的CarRacing环境，代理的成功率比高斯策略提高了63%。
2021-11-03 cs.AI cs.LG
Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低，并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法（PTR-PPO），该算法结合了on-policy和off-policy方法，通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点：前两个是最大和平均轨迹优先级的一步经验广义优势估计（GAE）值的基础上，最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后，将优先轨迹重放引入到PPO算法中，提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题，并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能，实现了最先进的性能。此外，通过分析训练过程中优先级内存中各个位置的优先级变化热图，我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响，从而影响算法的性能。
2021-12-08 cs.LG
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
Huawei Canada（华为加拿大）
A-3PO通过近似近端策略优化方法，减少大语言模型异步训练中的计算开销，实现1.8倍的加速同时保持性能
2026-08-13 cs.AI cs.DC cs.LG
Imbalanced Classification In Faulty Turbine Data: New Proximal Policy Optimization
K. N. Toosi University of Technology（KN图西理工大学）
在工业和现实世界的系统中检测故障并实施最佳方法越来越重要。我们正在寻找人工智能应用程序提出的最值得信赖和实用的基于数据的故障检测方法。在本文中，我们提出了一个基于强化学习的故障检测框架和一个称为邻近策略优化的策略。由于缺乏故障数据，传统策略的一个显著问题是其在检测故障类别方面的弱点，这通过改变代价函数来解决。使用修改的邻近策略优化，我们可以提高性能，克服数据不平衡，并更好地预测未来的故障。当我们修改后的政策实施，所有的评估指标将增加$3\%$到$4\%$相比，传统的政策在第一个基准测试，之间的$20\%$和$55\%$在第二个基准测试，和之间的$6\%$和$14\%$在第三个基准测试，以及性能和预测速度的改进相比，以前的方法。
2023-01-10 cs.LG cs.SY eess.SY
PROMA: Projected Microbatch Accumulation for Reference-Free Proximal Policy Updates
Nilin Abrahamsen（独立研究者）
PROMA是一种无参考近端策略优化方法，通过投影策略梯度的高方差成分来控制KL散度，两种变体在不同训练场景下表现出色。
2026-02-17 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi（小米人工智能实验室）
作为信任域策略优化（TRPO）最成功的变体和改进，近端策略优化（PPO）已广泛应用于各个领域，具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中，一个一阶梯度强化学习算法，称为政策优化与惩罚点概率距离（POP3D），这是一个下界的平方总方差散度提出作为另一个强大的变种。首先，我们讨论了几种常用算法的缺点，我们的方法是由部分动机。其次，我们提出通过应用POP3D来克服这些缺点。第三，从解流形的角度深入探讨了其作用机理。最后，我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明，POP3D与PPO相比具有很强的竞争力。此外，我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park（马里兰大学帕克分校）
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法，通过α-策略自适应管控解析梯度影响，用梯度方差偏差指标动态调整依赖度，在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
Proximal Policy Distillation
AI for Robotics Lab (AIR-Lab)（人工智能机器人实验室）；Department of Cognitive Science and Artificial Intelligence（认知科学与人工智能系）；Tilburg University（蒂尔堡大学）
本文提出PPD方法，结合学生驱动蒸馏和近端策略优化，提升样本效率并利用学生策略在蒸馏过程中收集的额外奖励。在多种强化学习环境中验证了其有效性。
2025-06-06 cs.AI cs.LG
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institude of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近端策略优化（PPO）已被提出作为用于强化学习的一阶优化方法。需要注意的是，该方法采用了外部罚函数法，但通常情况下，当罚参数增大时，外部罚函数的极小值仅在极限内逼近可行。因此，这可能导致采样效率的低水平。该方法保留了PPO的优点，即易于实现和推广性好，我们称之为带障碍的近端策略优化（PPO-B）。具体地说，提出了一种新的代理目标与内部惩罚方法，以避免所带来的缺陷，外部惩罚方法。可以得出结论，PPO-B能够在采样效率方面优于PPO，因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
近端策略优化（PPO）是一种非常流行的基于策略的深度强化学习（DRL）方法。然而，我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题，我们提出了PPO-UE，一个PPO的变种配备了自适应的不确定性感知探索（UE）的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析，通过改变比例的不确定性水平，我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Reparameterization Proximal Policy Optimization
重参数化近端策略优化通过统一框架和稳定性机制，在保持高样本效率的同时，提升了训练稳定性并超越了现有方法。
2026-02-06 cs.AI cs.LG
DNA: Proximal Policy Optimization with a Dual Network Architecture
The Australian National University（澳大利亚国立大学）
本文探讨了在深度行动者-批评者强化学习模型中同时学习价值函数和策略的问题。我们发现，共同学习这些功能的常见做法是次优的，由于这两个任务之间的噪声水平的数量级差异。相反，我们表明，独立学习这些任务，但有一个受约束的蒸馏阶段，显着提高性能。此外，我们发现，策略梯度噪声水平可以通过使用较低的\textit{variance}回报估计。然而，值学习噪声水平随着较低的\textit{bias}估计而降低。这些见解共同为近端策略优化的扩展提供了信息，我们称之为\textit{Dual Network Architecture}（DNA），它的性能明显优于其前身。DNA在五个测试环境中的四个环境中的性能也超过了流行的Rainbow DQN算法，即使在更困难的随机控制设置下也是如此。
2022-11-13 cs.AI cs.LG
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University（高等经济学院）；Constructor University（康斯特大学）；CMAP, CNRS, École polytechnique, IPP（CMAP，CNRS，巴黎综合理工学院，IPP）
本文在生成流网络框架下，推导了策略梯度算法并首次应用近端策略优化，提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University（吉林大学）
近端策略优化（PPO）算法是一种深度强化学习算法，在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习，虽然有一些方案可以使探索更加充分，与数据开发更加平衡，但由于算法的复杂性，它们不能应用于复杂环境。基于具有密集奖励的连续控制任务，分析了PPO算法中原始高斯行为探索机制的假设，阐明了探索能力对性能的影响。然后，针对探测问题，设计了一种基于不确定性估计的探测增强机制。然后，将探索增强理论应用于PPO算法，提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法（IEM-PPO）。在实验部分，我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估，并将IEM-PPO算法与好奇心驱动的探索算法（ICM-PPO）和原始算法（PPO）进行了比较。实验结果表明，IEM-PPO算法需要较长的训练时间，但在样本效率和累积回报方面表现较好，具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最成功的深度学习方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，其优化行为还远未被完全理解。在本文中，我们表明，PPO既不能严格限制似然比，因为它试图这样做，也没有强制执行一个定义良好的信任域约束，这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题，我们提出了一个增强的PPO方法，命名为真正的PPO。该方法主要做了两个改进：1）采用新的裁剪函数支持回滚行为，以限制新旧策略之间的差异; 2）将裁剪的触发条件替换为基于信任域的触发条件，从而优化生成的代理目标函数，保证最终策略性能的单调改善。看来，通过更真实地坚持使算法接近-将策略限制在信任区域内，新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Generalization, Mayhems and Limits in Recurrent Proximal Policy Optimization
TU Dortmund University（多特蒙德工业大学）；Hochschule Rhein-Waal（莱茵-瓦尔应用科学大学）；Universiteit Leiden（莱顿大学）
乍一看，在深度强化学习算法中使用递归层似乎很简单，可以使代理在部分可观察环境的设置中利用内存。从广泛使用的近端策略优化（PPO）开始，我们强调了重要的细节，一个人必须得到正确的添加递归时，以实现正确和有效的实施，即：正确塑造神经网络的前向传递，安排训练数据，相应地选择隐藏状态的序列开始和掩蔽填充损失计算。我们进一步探讨了经常性PPO的局限性，通过基准测试贡献的新环境迫击炮混乱和灼热的聚光灯，挑战代理人的记忆超越了单纯的能力和分心的任务。值得注意的是，当扩展训练种子的数量时，我们可以在Mortar Mayhem中证明向强泛化的过渡，而代理在灼热聚光灯上没有成功，这似乎是基于记忆的代理的一个严峻挑战。
2022-05-23 cs.LG
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出结合课程学习和奖励工程的PPO智能体，解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题，实现近零安全违规并提升效率。
2024-07-23 cs.LG
OID-PPO: Optimal Interior Design using Proximal Policy Optimization by Transforming Design Guidelines into Reward Functions
针对住宅室内设计现有方法计算成本高、数据稀缺或摆放受限等问题，提出融合专家设计准则为奖励函数的强化学习框架OID-PPO，采用对角高斯策略实现连续家具摆放，在布局质量和效率上均优于现有最优方法。
2025-08-01 cs.LG
Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization
Seoul National University（首尔大学）
提出邻近熵策略优化（PEPO），通过局部上下文度量token重要性，改进RLVR中的信用分配，在数学推理任务上超越GRPO和熵基线。
2026-10-06 cs.AI cs.LG
Beyond the Boundaries of Proximal Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Meta；University of Cambridge（剑桥大学）
本研究将PPO拆解为内环更新向量估计与外环单位学习率梯度上升更新，提出outer-PPO框架以任意梯度优化器应用更新，通过实验验证了外环非单位学习率、动量及内环动量偏差的效果，在Brax等环境上取得显著提升。
2024-11-01 cs.AI cs.LG
Overcoming Non-stationary Dynamics with Evidential Proximal Policy Optimization
University of Southern Denmark（丹麦南部大学）
针对非平稳环境中无模型深度Actor-Critic架构的稳定性问题，提出EPPO算法，利用证据critic保持网络可塑性并实现定向探索，在连续控制任务中显著优于现有方法。
2025-11-04 cs.LG
Token-level Proximal Policy Optimization for Query Generation
Zhejiang University（浙江大学）；Microsoft（微软）；Fudan University（复旦大学）
针对大语言模型查询生成中用户意图推断难、传统RLAIF存在稀疏奖励的问题，提出Token级近端策略优化TPPO，经开源与工业数据集验证，其性能优于现有方法。
2024-11-01 cs.LG
Actor-Critic Pretraining for Proximal Policy Optimization
Institute for Control Engineering of Machine Tools and Manufacturing Units ISW, University of Stuttgart（斯图加特大学机床与制造装置控制工程研究所ISW）；Materials Testing Institute MPA, University of Stuttgart（斯图加特大学材料测试研究所MPA）
本文提出了一种基于行为克隆的actor-critic预训练方法，用于近端策略优化，通过初始化actor和critic网络提升样本效率。
2026-02-27 cs.LG
Eval-PPO: Building an Efficient Threat Evaluator Using Proximal Policy Optimization
针对游戏场景中威胁评估缺乏显式标签的难题，提出基于近端策略优化的Eval-PPO算法，通过整合多维特征实现精确威胁评估，平均成功率较规则方法提升17.84%。
2025-04-25 cs.LG
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
Weighted Quantum Channel Compiling through Proximal Policy Optimization
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
我们提出了一种通用和系统的策略来编译任意量子信道，而不使用辅助量子比特，基于邻近策略优化-一种强大的深度强化学习算法。我们严格证明，在鲜明对比的情况下，编译酉门，这是不可能的编译任意通道任意精度与任何给定的有限基本通道集，无论分解序列的长度。然而，对于固定精度的$ε$，可以构建具有恒定数量的$ε$相关基本通道的通用集合，使得任意量子信道可以被分解成这些基本通道的序列，随后是幺正门，其中序列长度由$O(\frac{1}ε\log\frac{1}ε)$限定。通过一个关于Majorana费米子拓扑编译的具体例子，我们证明了我们提出的算法通过在最近策略优化的奖励函数中加入加权代价，可以方便有效地减少昂贵的基本门的使用.
2021-11-03 cond-mat.dis-nn cs.LG quant-ph
Partial advantage estimator for proximal policy optimization
JumpW AI Group（JumpW人工智能集团）；Queen Mary University of London（伦敦玛丽女王大学）
在策略梯度方法中，价值的估计是一个基本问题。广义优势估计（GAE）是一个类似于$λ$ -return的优势函数的指数加权估计。它大大减少了策略梯度估计的方差，但代价是偏差。在实际应用中，由于轨迹的不完整性，使用截断的GAE，这导致在估计过程中有很大的偏差。为了解决这一挑战，而不是使用整个截断的GAE，我们建议在计算更新时采取一部分，这大大减少了不完整的轨迹造成的偏差。我们在MuJoCo和$μ$ RTS中进行实验，以研究不同的偏系数和采样长度的影响。我们表明，我们的部分GAE方法在这两种环境中产生更好的实证结果。
2023-01-26 cs.AI cs.LG
Reusing Past Samples in Proximal Policy Optimization: When and How Does It Help?
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
本研究在多重重要性加权框架下提出wPPO-U和wPPO-BH两种PPO变体，通过重用近期窗口样本并推导策略改进下界，系统探究数据重用对提升样本效率与最终性能的时机与方式。
2026-10-02 cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
