Learning Intractable Multimodal Policies with Reparameterization and Diversity Regularization
Hong Kong University of Science and Technology（香港理工大学）
本文提出通过重参数化和基于距离的多样性正则化优化难解多模态策略，在多目标达成和生成式RL等场景中提升了少样本鲁棒性与决策多样性，并在MuJoCo基准中保持竞争力。
2025-11-03 cs.LG
Soft Actor-Critic With Integer Actions
Princeton University（普林斯顿大学）；Siemens Technology（西门子技术研究院）
强化学习在离散行为下得到了很好的研究。动作设置在行业中很受欢迎，但由于其高维性，仍然具有挑战性。为此，我们研究了整数动作下的强化学习，将软演员-评论家（SAC）算法与整数重新参数化。我们对整数动作的关键观察是，它们的离散结构可以使用它们的可比性来简化。因此，所提出的整数重新参数化不需要独热编码并且具有低维度。实验结果表明，在整数行为下，SAC算法在机器人控制任务上的性能与连续行为下的SAC算法相当，在配电系统控制任务上的性能优于近端策略优化.
2022-03-14 cs.AI cs.LG
PIPPS: Flexible Model-Based Policy Search Robust to the Curse of Chaos
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）；University of Cambridge（剑桥大学）；TU Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
以前，爆炸梯度问题被解释为深度学习和基于模型的强化学习的核心，因为它会导致数值问题和优化的不稳定性。我们在基于模型的强化学习中的实验表明，这个问题不仅仅是一个数值问题，它可能是由长链非线性计算的基本混沌性质引起的。不仅梯度的幅度变大，梯度的方向也变得基本上随机。我们表明，重新参数化梯度遭受的问题，而似然比梯度是强大的。利用我们的见解，我们开发了一个基于模型的策略搜索框架，概率推理基于粒子的策略搜索（PIPPS），这是很容易扩展的，并允许几乎任意的模型和政策，同时匹配以前的数据高效的学习算法的性能。最后，我们发明了总传播算法，它有效地计算在一个单一的向后传递过程中的所有路径导数深度的联合，自动给予更大的权重，以较低的方差估计，有时改善了重新参数化梯度的$10^6$倍。
2019-02-04 cs.AI cs.LG cs.RO
Wasserstein Policy Optimization
Google DeepMind（谷歌DeepMind）
本文提出了一种用于连续动作空间的actor-critic强化学习算法WPO，通过近似Wasserstein梯度流得到闭式更新，结合了确定性与经典策略梯度方法的优势，在多个任务上表现优异。
2025-05-01 cs.AI cs.LG
Performative Prediction with Bandit Feedback: Learning through Reparameterization
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Columbia University（哥伦比亚大学）；the Chinese University of Hong Kong（香港中文大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有执行式预测研究依赖的三个不切实际假设，提出重参数化框架与双层零阶优化方法，将非凸目标转为凸目标，给出次线性于样本数、多项式于参数维度的可证明遗憾界。
2024-08-12 cs.LG stat.ML
Design Considerations in Offline Preference-based RL
Google Research（谷歌研究院）
本文从理论视角研究DPO等离线偏好强化学习方法的设计选择对策略质量的影响，揭示损失函数、归一化策略及数据采样策略的作用，通过统一分析与小型实证验证理论发现。
2025-02-08 cs.AI cs.LG
Explicit Preference Optimization: No Need for an Implicit Reward Model
The Chinese University of Hong Kong（香港中文大学）；Amazon Web Services（亚马逊网络服务）
针对DPO因隐式奖励重参数化导致的次优正则化与异常插值问题，本文提出EXPO显式偏好优化框架，通过直观正则化因子避免缺陷并经实验验证有效。
2025-06-09 cs.LG stat.ML
GRADE: Replacing Policy Gradients with Backpropagation for LLM Alignment
Lotus Health AI（Lotus健康AI）
GRADE通过可微松弛的离散令牌采样过程替代策略梯度，实现大语言模型对齐的更稳定和高效方法。
2025-12-30 cs.AI cs.LG
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science（工程与应用科学学院）
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器，在CartPole-v1上以零方差稳定达到满分500，优于ANFIS-DQN基线，验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Sample-based Distributional Policy Gradient
Georgia Tech（佐治亚理工学院）
分布式强化学习（DRL）是一个新的强化学习框架，其成功已得到各种实证研究的支持。它依赖于用回报分布代替预期回报的关键思想，这抓住了长期回报的内在随机性。现有的文献大多集中在DRL问题的离散行动空间和价值为基础的方法。在这项工作中，在机器人连续动作空间控制设置的应用程序的动机，我们提出了基于样本的分布式策略梯度（SDPG）算法。它通过广泛用于生成式建模和推理的重新参数化技术，使用样本对收益分布进行建模。我们比较SDPG与DRL中最先进的策略梯度方法，分布式确定性策略梯度（D4PG），它已经证明了最先进的性能。我们将SDPG和D4PG应用于多个OpenAI Gym环境，并观察到我们的算法显示出更好的样本效率以及大多数任务的更高奖励。
2020-01-08 cs.LG stat.ML
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Bayesian Reparameterization of Reward-Conditioned Reinforcement Learning with Energy-based Models
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
针对奖励条件强化学习在高回报输入泛化及避免分布外查询上的局限，提出基于贝叶斯定理的 BR-RCRL 方法，消除 RTG 独立性障碍并设计自适应推理，在离线 RL 基准上取得最优性能。
2023-05-18 cs.LG cs.RO
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace（柯林斯航空航天公司）
本文提出Hybrid GRPO框架，通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO，在提升样本效率与学习稳定性的同时缓解方差放大问题，并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对离线策略学习中裁剪导致的梯度饥饿问题，提出ReSPO方法，用平滑双分支核替代裁剪，在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化（PPO）是现有技术，它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化（MDPPO），并证明了该算法能够加速和稳定训练过程。在我们的算法中，多个不同的策略同时训练，每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样，但训练过程的轨迹是从所有代理收集的，而不是只有一个策略。我们发现，如果我们精心选择一些辅助轨迹来训练策略，算法将更稳定，更快地收敛，特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Soft Sequence Policy Optimization
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Institute for Artificial Intelligence（人工智能研究所）
本文提出软序列策略优化方法，通过引入软门控函数改进序列级重要性权重，提升大语言模型对齐任务的训练稳定性与性能。
2026-06-04 cs.AI cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国）；Columbia University, NY, United States（哥伦比亚大学，纽约，美国）
GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；NEC Central Research Laboratories（NEC中央研究所）；The University of Tokyo（东京大学）
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架，在各个领域都表现出了出色的效果。然而，众所周知，在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法，乐观的近端策略优化（OPPO），以减轻这一困难。OPPO考虑了估计总回报的不确定性，并根据该金额对政策进行了乐观评估。我们表明，OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG
Information-Time Proximal Policy Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University College London AI Lab（伦敦大学学院人工智能实验室）；Microsoft Research AI4Science（微软研究院AI4Science）；Li Auto（理想汽车）；The University of Edinburgh（爱丁堡大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
针对大语言模型推理中时间推进与信息流不均的问题，提出基于信息密度重参数化时间并自适应裁剪的 InfoPPO，在多个数学推理基准上优于基线。
2026-09-22 cs.AI cs.LG
IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能与光学电子学院（iOPEN））；McKelvey School of Engineering, Washington University in St. Louis（圣路易斯华盛顿大学麦凯维工程学院）
本文提出 IOB，利用 actor-critic 的 Q 函数选择最大一步改进的源策略，并整合优化迁移与行为迁移，在无需额外训练组件的情况下提升迁移效果与持续学习性能。
2023-08-14 cs.AI cs.LG
Fractal Landscapes in Policy Optimization
UC San Diego（加州大学圣迭戈分校）
本文揭示策略梯度在特定MDP中面临分形、非光滑优化景观这一固有局限，并提出基于Lyapunov与Hölder指数分析及样本局部光滑度估计的检测方法。
2023-10-24 cs.AI cs.LG
Proximal Policy Optimization with Continuous Bounded Action Space via the Beta Distribution
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
近年来，用于连续控制任务的强化学习方法已经发展，产生了一系列策略梯度方法，这些方法主要依赖于高斯分布来对随机策略进行建模。然而，高斯分布具有无限支持，而现实世界的应用程序通常具有有界的动作空间。这种不协调会导致估计偏差，如果将Beta分布用于策略，则可以消除这种偏差，因为它提供了有限的支持。在这项工作中，我们研究了当该Beta策略在OpenAI gym的两个连续控制任务上接受近端策略优化（PPO）算法训练时的性能如何。对于这两个任务，Beta策略在智能体的最终期望奖励方面优于高斯策略，也显示出更稳定和更快的训练过程收敛。对于具有高维图像输入的CarRacing环境，代理的成功率比高斯策略提高了63%。
2021-11-03 cs.AI cs.LG
Relative Policy-Transition Optimization for Fast Policy Transfer
Tencent Robotics X（腾讯机器人X实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对两个 MDP 间的快速策略迁移问题，提出 RPTO 框架，通过 RPO 优化跨环境策略、RTO 缩小动力学差距，并在 MuJoCo 任务上验证有效性。
2024-01-24 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用，改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park（马里兰大学帕克分校）
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法，通过α-策略自适应管控解析梯度影响，用梯度方差偏差指标动态调整依赖度，在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院）；Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系）；School of Intelligence Science（智能科学学院）；Technology, Nanjing University, China（技术学院，南京大学，中国）
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧，在软思考模式下提升LLM推理性能，使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation
The University of Tokyo（东京大学）
提出OrderGrad，一种用于顺序统计量目标的似然比和重参数化梯度估计器族，通过奖励变换实现风险厌恶、鲁棒和探索性学习的统一即插即用方法。
2026-06-04 cs.AI cs.CL cs.LG
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi（小米人工智能实验室）
作为信任域策略优化（TRPO）最成功的变体和改进，近端策略优化（PPO）已广泛应用于各个领域，具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中，一个一阶梯度强化学习算法，称为政策优化与惩罚点概率距离（POP3D），这是一个下界的平方总方差散度提出作为另一个强大的变种。首先，我们讨论了几种常用算法的缺点，我们的方法是由部分动机。其次，我们提出通过应用POP3D来克服这些缺点。第三，从解流形的角度深入探讨了其作用机理。最后，我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明，POP3D与PPO相比具有很强的竞争力。此外，我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Woulda, Coulda, Shoulda: Counterfactually-Guided Policy Search
DeepMind（深度思维）
对模型合成的数据的学习策略原则上可以满足强化学习算法对大量真实经验的需求，而这些经验的获取通常是昂贵的。然而，模拟合理的经验从头是一个困难的问题，许多复杂的环境，往往导致基于模型的政策评估和搜索的偏见。而不是从头合成的数据，在这里，我们假设记录，真实的经验和模型的替代结果，这种经验下的反事实的行动，行动，实际上没有采取。在此基础上，我们提出了反事实指导的政策搜索（CF-GPS）算法POMDPs的学习政策从离政策的经验。它利用结构因果模型对个别政策外事件的任意政策进行反事实评估。CF-GPS可以通过利用可用的日志数据来消除模型预测的偏差，从而改进基于香草模型的RL算法。与基于重新加权数据的重要性采样的非策略算法相比，CF-GPS利用模型来明确考虑替代结果，从而允许算法更好地利用经验数据。我们发现经验，这些优势转化为改善政策评估和搜索结果的一个非平凡的网格世界的任务。最后，我们表明，CF-GPS概括了以前提出的引导策略搜索和基于重新参数化的算法，如随机值梯度可以被解释为反事实的方法。
2018-11-15 cs.LG stat.ML
Reflective Policy Optimization
QiYuan Lab.（启元实验室）
针对同策略强化学习方法样本效率低的问题，本文提出反思策略优化（RPO），通过融合过去与未来的状态-动作信息实现内省式策略调整，理论保证性能单调提升并加速收敛，实验验证了其优越的样本效率。
2026-09-22 cs.AI cs.LG stat.ML
Generalized Proximal Policy Optimization with Sample Reuse
Boston University（波士顿大学）
在现实世界的决策任务中，数据驱动的强化学习方法的稳定性和样本效率至关重要。策略方法通常在整个训练过程中产生可靠的策略改进，而非策略方法通过样本重用更有效地利用数据。在这项工作中，我们结合了理论上支持的政策上的算法的稳定性的好处与政策外的算法的样本效率。我们开发的政策改进保证，适合于关闭的政策设置，并连接这些界限的裁剪机制中使用的近端策略优化。这激发了一个流行的算法，我们称之为广义近端策略优化与样本重用的非策略版本。我们从理论上和经验上证明，我们的算法提供了改进的性能，有效地平衡竞争的目标的稳定性和样本效率。
2021-10-29 cs.AI cs.LG stat.ML
Theoretical Analysis of Sparse Optimization with Reparameterization, Weight Decay, and Adaptive Learning Rate
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（人工智能安全国家重点实验室，计算技术研究所，中国科学院，北京，中国）；School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学计算机科学与技术学院，北京，中国）；Beijing Academy of Artificial Intelligence (BAAI), Beijing, China（北京人工智能研究院（BAAI），北京，中国）；IIIS, Tsinghua University, Beijing, China（清华大学人工智能院，北京，中国）；School of Statistics and Management, Shanghai University of Finance and Economics, Shanghai, China（上海财经大学统计与管理学院，上海，中国）；Institute of Data Science and Statistics, Shanghai University of Finance and Economics, Shanghai, China（上海财经大学数据科学与统计研究所，上海，中国）
针对稀疏优化中的不稳定问题，提出基于重参数化、权重衰减和自适应学习率的ReWA方法，通过改善优化景观实现比ℓ1正则化更好的稀疏性，同时保持测试精度。
2026-05-29 cs.AI cs.LG
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano（米兰理工大学）
策略优化（PO）是一种广泛使用的方法来解决连续控制任务。在本文中，我们引入了中介反馈的概念，框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比，额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察，我们提出了一种算法，随机化探索策略优化通过多个重要性采样截断（RANDOMIST），在PO中的遗憾最小化，采用随机探索策略，不同于现有的乐观方法。当政策空间是有限的，我们表明，在某些情况下，它是可能实现不断的遗憾，而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后，我们将随机扩展到紧凑的政策空间。最后，我们提供了有限的和紧凑的政策空间的数值模拟，与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
Acceleration in Policy Optimization
Google DeepMind（谷歌DeepMind）；McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种通过乐观和自适应更新加速强化学习策略优化的统一范式，并设计了一种基于元梯度学习的乐观策略梯度算法，在说明性任务中验证了加速设计选择。
2023-09-05 cs.AI cs.LG stat.ML
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington（华盛顿大学）；ETH Zrich（苏黎世联邦理工学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO，通过拉格朗日对偶推导闭式更新，理论上证明了单调提升与全局收敛，并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Divergence-Augmented Policy Optimization
Huya AI（虎牙AI）；Tencent AI Lab（腾讯AI实验室）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出散度增强的策略优化方法，通过在行为策略与当前策略的状态分布间引入Bregman散度，确保off-policy数据重用时的安全小步更新，解决过早收敛和不稳定问题，在Atari游戏数据稀缺场景下优于现有算法。
2025-01-25 cs.AI cs.LG stat.ML
Reward Constrained Policy Optimization
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励，它经常学会利用奖励信号中的漏洞和错误指定，从而导致不必要的行为。虽然约束可以解决这个问题，但对于一般约束没有封闭形式的解决方案。在这项工作中，我们提出了一种新的多时间尺度的约束策略优化方法，称为“奖励约束策略优化”（RCPO），它使用一个替代的惩罚信号，以指导政策对一个约束满足。我们证明了我们的方法的收敛性，并提供了经验证据，它的能力，训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington（惠灵顿维多利亚大学）
最近，近端策略优化（PPO）算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化（TRPO）的相同学习理论，但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制，但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题，本文提出了一个新的代理学习目标具有自适应裁剪机制，使我们能够开发一种新的算法，称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时，通过PPO- $λ$中超参数$λ$的裁剪和自适应控制，可以有效地防止破坏性的大策略更新，确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务，PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
Monte-Carlo Tree Search for Policy Optimization
Stanford University（斯坦福大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanjing University（南京大学）
基于约束的方法通常用于深度强化学习中的策略优化，尽管容易受到局部最优和鞍点的影响。尽管无梯度方法（例如，遗传算法或演化策略）有助于缓解这些问题，初始化不良和局部最优仍然是高度非凸空间中的问题。提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法。我们的方法，称为蒙特卡罗树搜索策略优化（MCTSPO），提供了一个更好的探索开发权衡通过使用上置信区间启发式。与流行的基于梯度和深度遗传算法基线相比，我们在具有欺骗性或稀疏奖励函数的强化学习任务上表现出更好的性能。
2019-12-23 cs.AI cs.LG stat.ML
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University（波士顿大学）
为了使强化学习技术在现实世界的决策过程中发挥作用，它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果，但它们在现实世界中的应用仍然有限，因为它们通常需要大量数据才能成功。当与小样本量相结合时，这些方法可能会导致不稳定的学习，因为它们依赖于基于高维样本的估计。在这项工作中，我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法，旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法，不确定性感知的信任域策略优化，生成强大的策略更新，以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
First Order Constrained Optimization in Policy Space
New York University（纽约大学）；UC San Diego（加州大学圣地亚哥分校）；New York University Shanghai（上海纽约大学）
在强化学习中，智能体试图通过与环境的交互来学习高性能的行为，这些行为通常以奖励函数的形式量化。然而，行为的某些方面--比如那些被认为是不安全的和应该避免的--最好通过约束来捕捉。我们提出了一种新的方法，称为一阶约束优化策略空间（FOCOPS），最大限度地提高代理的整体回报，同时确保代理满足一组成本约束。使用从当前策略生成的数据，FOCOPS首先通过在非参数化策略空间中求解约束优化问题来找到最优更新策略。FOCOPS然后将更新策略投射回参数策略空间。我们的方法在整个训练过程中对最坏情况下的约束违反有一个近似的上限，并且本质上是一阶的，因此易于实现。我们提供的经验证据表明，我们的简单的方法实现了更好的性能在一组受约束的机器人机车任务。
2020-10-25 cs.AI cs.LG stat.ML
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Non-Stationary Off-Policy Optimization
Google Research（谷歌研究院）
离策略学习是一个框架，用于根据另一个策略收集的数据，在不部署策略的情况下评估和优化策略。现实世界的环境通常是不稳定的，离线学习的策略应该适应这些变化。为了应对这一挑战，我们研究了分段固定上下文强盗的离线策略优化的新问题。我们提出的解决方案有两个阶段。在离线学习阶段，我们将记录的数据划分为分类的潜在状态，并为每个状态学习一个接近最优的子策略。在在线部署阶段，我们根据学习到的子策略的性能自适应地在它们之间切换。该方法具有实用性和可分析性，并在离线优化质量和在线部署过程中的遗憾方面提供了保证。为了证明我们方法的有效性，我们将其与合成和真实世界数据集上的最先进基线进行了比较。我们的方法优于仅对观察到的上下文起作用的方法。
2021-04-04 cs.AI cs.LG stat.ML
Learning to Constrain Policy Optimization with Virtual Trust Region
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们介绍了一种策略梯度强化学习的约束优化方法，该方法使用虚拟信任域来调节每次策略更新。除了使用一个单一的旧政策作为正常的信任区域的接近度，我们建议形成第二个信任区域，通过另一个虚拟的政策，代表了广泛的过去的政策。然后，我们强制执行新策略，使其更接近虚拟策略，这在旧策略性能不佳时是有益的。更重要的是，我们提出了一种机制，自动建立虚拟的政策，从过去的政策的记忆，提供了一个新的能力，在优化过程中动态学习适当的虚拟信任区域。我们提出的方法，被称为内存约束策略优化（MCPO），在不同的环境中，包括机器人运动控制，导航与稀疏奖励和雅达利游戏，一贯表现出竞争力的性能对最近的政策约束策略梯度方法。
2022-09-16 cs.LG
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization
Amirkabir University of Technology（阿米尔卡比尔理工大学）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的策略搜索算法。它迭代地解决了限制连续策略相互接近的代理问题。TRPO是一种策略算法。基于策略的方法带来了许多好处，比如能够衡量每个结果策略。然而，他们通常会抛弃以前存在的关于政策的所有知识。在这项工作中，我们使用重放缓冲区借用的离策略学习设置TRPO。在强化学习中，熵正则化通常被用来改善策略优化。它被认为是通过鼓励更随机的政策选择来帮助探索和推广。我们在TRPO中添加了一个熵正则化项，以优于随时间步长累积的π。我们将此更新称为EnTRPO。我们的实验表明，与原始TRPO相比，EnTRPO在控制Cart-Pole系统方面实现了更好的性能
2021-10-26 cs.LG
Variance Reduction based Partial Trajectory Reuse to Accelerate Policy Gradient Optimization
Northeastern University（东北大学）
基于绿色仿真辅助策略梯度（GS-PG）的可重用性研究，本文考虑了无限时域马尔可夫决策过程，提出了一种新的基于重要性采样的策略梯度优化方法来支持动态决策。现有的GS-PG方法旨在从完整的事件或过程轨迹中学习，这限制了其对低数据情况和灵活的在线过程控制的适用性。为了克服这一限制，所提出的方法可以选择性地重用最相关的部分轨迹，即，重用单元基于每步骤或每决策的历史观察。具体而言，我们创建了一个混合似然比（MLR）的策略梯度优化，可以利用不同的行为策略下产生的历史状态-动作转换的信息。提出的方差缩减经验回放（VRER）方法可以智能地选择和重用最相关的过渡观测值，提高策略梯度估计，加速最优策略的学习。我们的实证研究表明，它可以改善优化收敛，提高最先进的政策优化方法，如演员-评论家的方法和近端策略优化的性能。
2022-06-20 cs.LG
Iterative Amortized Policy Optimization
DeepMind；California Institute of Technology（加州理工学院）；Mila；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）
策略网络是深度强化学习（RL）算法的核心特征，用于连续控制，从而实现对高价值动作的估计和采样。从RL的变分推理的角度来看，策略网络，当与熵或KL正则化一起使用时，是\textit{amortized optimization}的一种形式，优化网络参数而不是直接优化策略分布。然而，\textit{direct}摊销映射可能产生次优策略估计和受限分布，从而限制性能和探索。鉴于这一观点，我们考虑更灵活的类\textit{iterative}摊销优化。我们证明，由此产生的技术，迭代摊销的政策优化，产生的性能改进，直接摊销基准连续控制任务。
2021-10-22 cs.LG
An Analytical Update Rule for General Policy Optimization
University of Rhode Island（罗德岛大学）
我们提出了一个分析的政策更新规则，是独立的参数函数逼近。该策略更新规则适用于一般随机策略的优化，并具有单调改进保证。它是来自一个封闭形式的解决方案，以信赖域优化使用变分法，以下一个新的理论结果，收紧现有的界限，使用信赖域方法的政策改进。更新规则在策略搜索方法和价值函数方法之间建立连接。此外，可以从更新规则导出策略外强化学习算法，因为它不需要计算策略内状态的积分。此外，更新规则立即扩展到合作的多代理系统时，一次由一个代理执行策略更新。
2022-07-15 cs.AI
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
Central Path Proximal Policy Optimization
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能中心）；Institut für Mathematik, Technische Universität Berlin（柏林技术大学数学研究所）
提出C3PO方法，通过修改PPO损失使策略迭代贴近约束优化中心路径，在更严格约束下提升性能。
2025-08-15 cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
