Appraisal-Guided Proximal Policy Optimization: Modeling Psychological Disorders in Dynamic Grid World
TKM College of Engineering（TKM工程学院）
本研究提出基于评价理论的AG-PPO算法，在动态网格世界中通过奖励塑造策略模拟焦虑症和强迫症等心理障碍，验证了该方法在泛化能力和症状评估上优于标准PPO。
2024-07-29 cs.AI
MSPM: A Modularized and Scalable Multi-Agent Reinforcement Learning-based System for Financial Portfolio Management
University of Tsukuba（筑波大学）
金融投资组合管理（PM）是强化学习（RL）中最适用的问题之一，因为它具有序列决策的性质。然而，现有的基于RL的方法很少关注可扩展性或可重用性，以适应不断变化的市场。这些方法是刚性的和不可扩展的，以适应不同数量的资产组合和日益增长的异构数据的需求。此外，现有系统中的RL代理是专门训练的，很难重用于不同的投资组合。为了面对上述问题，模块化的设计是期望的系统与可重用的资产专用代理兼容。在本文中，我们提出了一个多代理RL为PM（MSPM）为基础的系统。MSPM包括两类不断更新的模块：演化代理模块（EAM）和战略代理模块（SAM）。EAM是一个带有DQN代理的信息生成模块，它接收异构数据并为特定资产生成包含信号的信息。SAM是一个带有PPO代理的决策模块，用于投资组合优化，它连接到EAM以重新分配投资组合中的资产。经过培训的EAM可以随意连接到任何SAM。MSPM以其模块化的体系结构、对易变市场信息的多步压缩和EAM的可重用设计，同时解决了基于RL的PM的两个挑战：可扩展性和可重用性。在美国8年的股票市场数据上进行的实验证明了MSPM在累积收益率（ARR）、日收益率和索提诺比率方面优于5个基线的有效性。与CRP（一种广泛使用的PM策略）相比，MSPM可使ARR至少提高186.5%。为了验证EAM的不可或缺性，我们回测和比较四个投资组合的MSPM。与EAM禁用的MSPM相比，EAM启用的MSP…
2022-02-19 cs.AI cs.LG q-fin.CP
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Efficient RLHF: Reducing the Memory Usage of PPO
Microsoft（微软）
本文提出Hydra-PPO，通过整合SFT与奖励模型并动态开关LoRA，将PPO内存降至低于SFT且延迟降低65%，促进RLHF普及。
2023-09-01 cs.AI cs.CL cs.LG
Safe Greenhouse Climate Control Using Lagrangian-Constrained PPO with Kolmogorov-Arnold Networks
Huazhong Agricultural University（华中农业大学）；Yunnan Modern Agricultural Industry Research Institute Co., Ltd.（云南现代农业产业研究院有限公司）；Jilin University（吉林大学）
提出基于拉格朗日约束的RCPO-PPO与KAN网络，将温室气候控制建模为CMDP，分离经济与安全约束，减少18.65%违规并提升2.91%利润。
2026-09-29 cs.AI
An Approximate Ascent Approach To Prove Convergence of PPO
Institute of Mathematics, University of Mannheim（数学研究所，曼海姆大学）；Department of Mathematics & Informatics（数学与信息学系）
本文通过近似上升法证明PPO的收敛性，并指出截断广义优势估计中存在未被注意到的问题，通过权重修正提升性能。
2026-02-03 cs.AI cs.LG math.OC
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
University College London（伦敦大学学院）；UZH Blockchain Center（苏黎世大学区块链中心）
本研究在解析求解的经纪商-交易商博弈中诊断PPO，发现其critic排序能力不足，并利用解析策略作为基准和初始策略，通过微调实现成本变化后的有效适应。
2026-10-05 cs.AI q-fin.TR
Realizing Stabilized Landing for Computation-Limited Reusable Rockets: A Quantum Reinforcement Learning Approach
Korea University（高丽大学）
针对可重复使用火箭着陆阶段控制精度与适应性挑战，提出将量子强化学习集成到控制系统，利用量子比特叠加态减少参数和内存需求，实现计算受限条件下的稳定着陆。
2023-10-10 cs.AI
From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
研究基于语言的定量预测中模型易出错问题，提出CARE-PPO强化学习框架，通过建立损失预测与近端策略优化微调的联系，联合学习数值估计与置信度信号，在多任务和模型规模上提升预测性能与置信度估计，减少过拟合。
2026-07-15 cs.AI cs.CL
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
Mode-Dependent Rectification for Stable PPO Training
I3S, Inria, Université Côte d'Azur, Nice, France（I3S、Inria、法国蔚蓝海岸大学）；Department of Control and Computer Engineering, Politecnico di Torino, Turin, Italy（控制与计算机工程系、托里尼理工学院）
本文提出 MDR 方法，通过双阶段训练稳定 PPO 在模式依赖层下的训练，提升稳定性和性能。
2026-08-25 cs.AI cs.LG
AM-PPO: (Advantage) Alpha-Modulation with Proximal Policy Optimization
Collins Aerospace (RTX)（科林斯航空航天（RTX））
针对PPO算法中原始优势信号方差大、噪声多、尺度问题影响训练的问题，提出带alpha控制器和tanh门控的AM-PPO方法，自适应调制优势信号，在连续控制基准上取得更优奖励、持续学习进展并减少裁剪，为强化学习优化提供通用增强技术。
2025-05-21 cs.AI cs.LG cs.NE
A Robust PPO-optimized Tabular Transformer Framework for Intrusion Detection in Industrial IoT Systems
Weixi Technology（韦西科技）
提出一种结合TabTransformer和PPO的强化学习增强NIDS，在TON_IoT基准上实现97.73%宏F1和98.85%准确率，尤其对稀有攻击类别具有强鲁棒性。
2025-05-23 cs.AI cs.LG
Reward Scale Robustness for Proximal Policy Optimization via DreamerV3 Tricks
University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）；Drexel University（德雷塞尔大学）
本文首次将DreamerV3的技巧应用于PPO，通过超一万A100小时的消融实验发现这些技巧并非通用改进，但在无奖励裁剪场景下可显著提升PPO的奖励尺度鲁棒性。
2023-10-26 cs.AI cs.LG
PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization
Department of Computer Science, Universitas Nasional（国立大学计算机科学系）
PPO-BR通过融合熵驱动的探索扩张与奖励引导的收敛收缩，形成有界信任区域，以极小开销实现29.1%更快收敛和更低方差，适用于安全关键系统。
2025-05-23 cs.AI cs.CL cs.LG
Integrating LTL Constraints into PPO for Safe Reinforcement Learning
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）；School of Computer Science, Faculty of Engineering, University of Sydney（计算机科学学院，工程学院，悉尼大学）；School of Engineering and Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫瑞-瓦德大学）
本文提出PPO-LTL框架，通过整合LTL约束提升强化学习的安全性，实验表明其在安全性和性能上均优于现有方法。
2026-03-01 cs.AI cs.LG cs.LO
Beyond the Boundaries of Proximal Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Meta；University of Cambridge（剑桥大学）
本研究将PPO拆解为内环更新向量估计与外环单位学习率梯度上升更新，提出outer-PPO框架以任意梯度优化器应用更新，通过实验验证了外环非单位学习率、动量及内环动量偏差的效果，在Brax等环境上取得显著提升。
2024-11-01 cs.AI cs.LG
Continuous-action Reinforcement Learning for Playing Racing Games: Comparing SPG to PPO
University of Groningen（格罗宁根大学）
本文介绍了一种用于OpenAI Gym的新型赛车环境。这种环境以连续的动作和状态空间运行，并要求代理在导航随机生成的赛道时学习控制汽车的加速和转向。在此环境下测试了两种不同版本的行动者-评论者学习算法：采样策略梯度（SPG）和近端策略优化（PPO）。SPG的扩展，旨在提高学习性能的加权动作样本在政策更新步骤。使用经验重放（ER）的效果也进行了研究。为此，引入了对PPO的修改，允许通过在日志空间中优化演员来使用旧动作样本进行训练。最后，测试了一种用于执行ER的新技术，该技术旨在通过将训练分为两个部分来提高学习速度而不牺牲性能，即首先使用来自重放缓冲区的状态转换来训练网络，然后仅使用最近的经验。结果表明，在连续的动作空间中，经验重放不利于PPO。当动作被加权时，SPG的训练似乎更稳定。当使用ER时，所有版本的SPG都优于PPO。ER技巧在提高SPG计算强度较低版本的训练速度方面是有效的。
2020-01-15 cs.AI cs.LG stat.ML
PPO-based Dynamic Control of Uncertain Floating Platforms in the Zero-G Environment
University of Luxembourg（卢森堡大学）
本文提出将PPO强化学习与MPC相结合的方法，用于零重力环境下浮动平台的动态控制，通过从MPC预测中学习来适应未建模动态和扰动，并在卢森堡大学Zero-G Lab的仿真与实验中验证了该方法的适应性和有效性。
2024-07-03 cs.AI cs.RO cs.SY
When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift
MIT Lincoln Laboratory（MIT林肯实验室）；Harvard（哈佛大学）；MIT（麻省理工学院）
本文研究了在传感器漂移下PPO的鲁棒性，通过引入时序序列模型提升政策在部分可观测性和表示偏移下的性能。
2026-03-23 cs.AI cs.LG
Hybrid LSTM and PPO Networks for Dynamic Portfolio Optimization
Universitas Pelita Harapan（Pelita Harapan大学）
本文提出一种结合LSTM预测与PPO强化学习的混合网络，用于动态投资组合优化，通过提升收益和市场适应性展现其在非平稳市场中的优势。
2025-11-22 cs.AI cs.CE cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
PPO-Based Dynamic Positioning of HAPS-BS in Wind-Disturbed Stratospheric Maritime Networks
Beihang Valencia Polytechnic Institute (BVPI)（北京航空航天谷雨理工大学）；Beihang University（北京航空航天大学）
本文提出基于深度强化学习的框架，用于风扰环境下海洋网络中气球基站的动态定位，通过PPO算法提升覆盖稳定性与系统吞吐量。
2026-05-03 cs.AI eess.SP
PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）
提出PPO-HRAP，结合近端策略优化与制度先验的混合策略，在SPY测试中显著降低回撤并提升风险调整收益，优于买入并持有。
2026-10-02 cs.AI q-fin.TR
DPO Meets PPO: Reinforced Token Optimization for RLHF
Peking University（北京大学）；University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）；Microsoft Research Asia（微软亚洲研究院）
提出RTO框架，将RLHF建模为MDP以学习令牌级奖励，创新整合DPO与PPO，在AlpacaEval 2和Arena-Hard上分别超越PPO 7.5和4.1个百分点。
2025-05-21 cs.AI cs.CL cs.LG
Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
University of Washington（华盛顿大学）；FAIR, Meta（Meta FAIR研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出PPO-MCTS算法，将PPO训练得到的价值网络与策略网络在推理时通过蒙特卡洛树搜索协同解码，解决训练与测试评分机制不匹配问题，在四个文本生成任务上显著提升生成文本的偏好度。
2024-04-02 cs.AI cs.CL cs.LG
TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing
UC Irvine（加州大学尔湾分校）；George Washington University（乔治·华盛顿大学）；UC Santa Barbara（加州大学圣芭芭拉分校）；UT Dallas（德克萨斯大学达拉斯分校）
本文提出TOPPO，通过批评者平衡模块优化PPO，解决多任务强化学习中批评者梯度退化问题，实现比SAC和ARS基线更好的性能，且参数更少。
2026-11-10 cs.AI cs.LG cs.RO
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Can language agents be alternatives to PPO? A Preliminary Empirical Study On OpenAI Gym
East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tongji University（同济大学）
该研究构建 TextGym 与统一评测框架，通过 5 级场景和 EXE 智能体实验，初步考察语言智能体在序列决策任务中替代 PPO 的可行性。
2023-12-06 cs.AI cs.CL
Convergence Proof for Actor-Critic Methods Applied to PPO and RUDDER
Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
在常用的假设下，我们证明了演员-评论家强化学习算法的收敛性，该算法同时学习策略函数（演员）和价值函数（评论家）。这两个函数都可以是任意复杂度的深度神经网络。我们的框架允许显示收敛的著名的近端策略优化（PPO）和最近推出的RUDDER。对于收敛性证明，我们采用最近推出的技术，从两个时间尺度随机逼近理论。我们的研究结果是有效的演员批评的方法，使用情节样本，并有一个政策，在学习过程中变得更加贪婪。以前的收敛性证明假设线性函数近似，不能处理情节的例子，或者不考虑政策变得贪婪。后者是相关的，因为最优策略通常是确定性的。
2020-12-02 cs.AI cs.LG math.OC
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited（中宏桥梁集团有限公司）
本文提出了一种渐进泛化增强方法，通过深度耦合RND-PPO和领域优先噪声注入，解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题，从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
Navigation in a Three-Dimensional Urban Flow using Deep Reinforcement Learning
Department of Aerospace Engineering, University of Michigan（航空航天工程系，密歇根大学）；FLOW, Engineering Mechanics, KTH Royal Institute of Technology（FLOW，工程力学，皇家理工学院）
针对城市环境中无人机导航需求，提出结合GTrXL架构的流场感知PPO算法，在三维湍流城市流场模拟中相比多种基线方法显著提升导航成功率、降低坠毁率。
2025-10-29 cs.AI physics.flu-dyn
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最成功的深度学习方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，其优化行为还远未被完全理解。在本文中，我们表明，PPO既不能严格限制似然比，因为它试图这样做，也没有强制执行一个定义良好的信任域约束，这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题，我们提出了一个增强的PPO方法，命名为真正的PPO。该方法主要做了两个改进：1）采用新的裁剪函数支持回滚行为，以限制新旧策略之间的差异; 2）将裁剪的触发条件替换为基于信任域的触发条件，从而优化生成的代理目标函数，保证最终策略性能的单调改善。看来，通过更真实地坚持使算法接近-将策略限制在信任区域内，新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Safe Navigation for Robotic Digestive Endoscopy via Human Intervention-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Chinese University of Hong Kong（香港中文大学）；Shenzhen University General Hospital（深圳大学总医院）
针对机器人消化内镜自动导航缺乏人类干预易致碰撞的问题，提出基于人类干预的近端策略优化框架HI-PPO，结合EEM、RPA和BCS机制提升复杂环境下的安全导航效率，实验证明其轨迹误差和安全得分达到人类专家水平。
2025-03-30 cs.AI cs.RO
Not All Transitions Matter: Evidence from PPO
Department of Artificial Intelligence and Data Science（人工智能与数据科学系）；KPR Institute of Engineering and Technology（KPR工程科技研究院）
本文提出在PPO训练中随机丢弃一定比例的轨迹转移，以打破重复梯度结构，稳定训练，并在多个环境中验证了效果。
2026-05-26 cs.AI cs.LG
Policy Filtration for RLHF to Mitigate Noise in Reward Models
Microsoft Research（微软研究院）；Macquarie University（麦考瑞大学）；Nanjing University（南京大学）
本文提出PF-PPO，通过过滤奖励可能不可靠的RLHF训练样本提升信噪比，并以R2选择过滤策略，在代码生成和数学推理任务上验证其性能提升。
2025-06-07 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Adapting Interleaved Encoders with PPO for Language-Guided Reinforcement Learning in BabyAI
Electrical Engineering（电气工程）；Indian Institute of Technology Palakkad（印度理工学院帕拉卡德分校）；Engineering（工程）
针对深度强化学习智能体在视觉-语言任务中的感知与决策分离问题，本文采用交错Transformer编码器（PDiT）结合CLIP对比损失，在BabyAI环境中实现了比标准PPO更稳定的奖励和更强的特征对齐。
2025-10-27 cs.AI cs.LG eess.IV
ReGal: A First Look at PPO-based Legal AI for Judgment Prediction and Summarization in India
ReGal通过PPO结合多任务指令微调与强化学习，探索法律AI在印度判决预测和摘要中的应用，揭示了强化学习在法律文本中的挑战与潜力。
2025-12-19 cs.AI cs.CL cs.LG
Inside the Skill Market: From Software Engineering Activities to Reusable Agent Skills
The Hong Kong University of Science（香港科技大学）；University of Chinese Academy of Sciences Beijing, China（中国科学院大学）；Institute of Software, Chinese Academy of Sciences Beijing, China（中国科学院软件研究所）；Zhejiang University Hangzhou, China（浙江大学）
研究探讨软件工程活动如何转化为可复用智能体技能。通过对公共库和市场中SE技能大规模实证研究，分析其封装活动、生命周期覆盖等，发现SE活动正通过技能成为可复用工件，为技能推荐等提供研究机会及相关机制需求。
2026-07-13 cs.AI cs.SE
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of British Columbia（不列颠哥伦比亚大学）
提出MFPG-PPO，用低保真数据构建控制变量，稳定数据稀缺场景下的策略梯度强化学习，在模拟和真实机器人上均优于仅用高保真数据的PPO。
2026-10-05 cs.AI cs.LG cs.RO
Beyond PID Controllers: PPO with Neuralized PID Policy for Proton Beam Intensity Control in Mu2e
Northwestern University（西北大学）；Fermi National Accelerator Laboratory（费米国家加速器实验室）
本文提出一种集成神经化PID控制器的PPO算法，用于Mu2e实验的质子束强度控制，在可微模拟器上使SDF提升13.6%，比基线PID额外提高1.6%，为实时自动化控制奠定基础。
2023-12-28 cs.AI cs.LG physics.acc-ph
Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO
Lane Department of Computer Science and Electrical Engineering, West Virginia University（计算机科学与电气工程系，西弗吉尼亚大学）
本文提出基于PPO的强化学习方法，联合优化纯追求算法的前瞻距离和转向增益，提升自主赛车的路径跟踪性能。
2026-02-20 cs.AI cs.LG cs.RO
Mastering Da Vinci Code: A Comparative Study of Transformer, LLM, and PPO-based Agents
Westlake College, Westlake University（西lake学院，西lake大学）
针对《达芬奇密码》不完全信息逻辑推理博弈的挑战，该研究对比了Transformer基线、结构化提示引导的LLM及带Transformer编码器的PPO三类智能体，发现PPO智能体胜率达58.5%±1.0%最优，揭示了深度强化学习在复杂推理任务中的优势及现有LLM的局限。
2025-06-15 cs.AI
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
SKILL-DISCO: Distilling and Compiling Agent Traces into Reusable Procedural Skills
Microsoft Research（微软研究院）；Beijing Foreign Studies University（北京外国语大学）
提出SkillDisCo框架，从成功轨迹中蒸馏可重用参数化控制流子图并编译为可调用、可执行、可验证的程序性技能，在ALFWorld和WebArena上提升成功率并减少智能体步数。
2026-06-26 cs.AI
Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse
本文证明在历史单射动力学下可精确恢复PPO丢弃的状态访问比率，提出单参数修正族以平衡偏差与方差，并在调度任务上显示激进复用下修正预热提升样本效率。
2026-10-06 cs.AI cs.LG
SENTINEL-RL: Offloading Topological Reasoning from LLM Agents in the Security Operations Center
Luddy School of Informatics, Computing and Engineering（勒迪信息学、计算与工程学院）；Indiana University（印第安纳大学）
Sentinel-RL将SOC中LLM智能体的拓扑推理解耦，通过PPO策略等技术实现高效的认证图处理与安全操作，在数据集和HPC集群上取得多项性能成果并贡献了相关工程与部署模式。
2026-09-04 cs.AI cs.CR
Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training
LLM Department, Tencent（腾讯大语言模型部门）；University of Chinese Academy of Sciences（中国科学院大学）；Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心）；State Key Lab of Processors, Institute of Computing Technology, CAS（计算技术研究所处理器国家重点实验室）
段落优势估计通过减少稀疏奖励环境中的偏差，提升PPO在长上下文LLM训练中的稳定性和效率
2026-01-12 cs.AI cs.LG
Imitate then Transcend: Multi-Agent Optimal Execution with Dual-Window Denoise PPO
University of California Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Columbia University（哥伦比亚大学）
提出了一种基于模仿的强化学习（RL）求解最优执行和布局问题的新框架。从建议的框架中训练的RL代理在执行成本方面始终优于行业基准时间加权平均价格（TWAP）策略，并且在样本外的交易日期和报价机上表现出很大的泛化能力。令人印象深刻的表现来自三个方面。首先，我们的RL网络架构称为双窗口去噪PPO，能够在嘈杂的市场环境中实现有效的学习。其次，设计了一个具有模仿学习的奖励方案，并研究了一组全面的市场特征。第三，我们灵活的动作公式允许RL代理共同解决最佳执行和放置，从而比单独解决单个问题带来更好的性能。RL代理的性能进行了评估，在我们的多代理现实的历史限价委托书模拟器中，价格的影响进行了准确的评估。此外，还进行了消融研究，证实了我们框架的优越性。
2022-06-21 cs.AI cs.LG q-fin.CP
Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for LLM Alignment
University of California, Berkeley（加州大学伯克利分校）
本文提出成对近端策略优化（P3O），一种基于相对反馈的轨迹级策略梯度算法，用于大语言模型对齐，理论上对等价奖励不变，实证优于PPO，实现更简单有效的对齐。
2023-10-10 cs.AI cs.CL cs.LG
