Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories(桑迪亚国家实验室)
针对HER因违反同策略假设难用于同策略算法的问题,研究验证了后见经验回放(HER)可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化(PPO)。
2024-10-29 cs.LG
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习,通过与环境的相互作用采样数据之间的交替,并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本,我们提出了一个新的目标函数,使多个时期的小批量更新。我们称之为近端策略优化(PPO)的新方法具有信赖域策略优化(TRPO)的一些优点,但它们更易于实现,更通用,并且具有更好的样本复杂度(经验)。我们的实验测试PPO的基准任务,包括模拟机器人运动和雅达利游戏,我们表明,PPO优于其他在线策略梯度方法,并总体上取得了良好的平衡样本的复杂性,简单性和墙时间。
2017-08-28 cs.LG
Efficient Multi-Policy Evaluation for Reinforcement Learning
University of Virginia(弗吉尼亚大学)
本文提出一种定制化行为策略,通过共享样本降低多目标策略评估的方差,在理论上证明其样本效率优于同策略评估,并在多种环境中取得最优性能。
2024-12-25 cs.LG
Policy Optimization with Sparse Global Contrastive Explanations
Harvard University(哈佛大学);Imperial College London(帝国理工学院)
我们开发了一个强化学习(RL)框架,通过稀疏的,用户可解释的变化来改善现有的行为策略。我们的目标是尽可能少的改变,同时获得尽可能多的利益。我们定义一个最小的变化,有一个稀疏的,全球性的对比解释之间的原始和建议的政策。我们改进了现行政策的约束,保持全球对比解释短。我们展示了我们的框架与离散的MDP和连续的2D导航域。
2022-07-13 cs.LG
A policy gradient approach for optimization of smooth risk measures
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
针对回合式马尔可夫决策过程中的风险敏感强化学习问题,提出分别适用于同策略和异策略场景的光滑风险度量优化策略梯度算法,推导其非渐近收敛界,且算法可应用于均值-方差和失真风险度量优化。
2024-06-23 cs.LG
Decentralized Policy Optimization
Peking University(北京大学)
合作多智能体强化学习中的分散学习或独立学习的研究已经有几十年的历史。最近的实证研究表明,独立的PPO(IPPO)可以获得良好的性能,接近甚至优于集中训练与分散执行的方法,在几个基准。然而,具有收敛保证的去中心化行动者-批评者仍然是开放的。在本文中,我们提出了\textit{decentralized policy optimization}(DPO),一个分散的行动者-评论家算法的单调改进和收敛保证。我们得到了一个新的分散代理的政策优化,使联合政策的单调改善,可以保证每个代理\textit{independently}优化代理。在实践中,这种分散代理可以实现两个自适应系数的政策优化在每个代理。经验上,我们比较DPO与IPPO在各种合作的多智能体任务,包括离散和连续的动作空间,完全和部分可观察的环境。实验结果表明,DPO在大多数任务中的表现优于IPPO,这为我们的理论结果提供了证据。
2022-11-06 cs.LG
Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样(ANPS)方法,通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题,并基于此设计稳定值近似策略迭代(SV-API)算法,在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University(复旦大学智能医学信息研究所)
针对离线强化学习中数据腐败导致策略过度保守的问题,提出抗腐败优势加权回归(CAWR),通过鲁棒损失函数和优势优先经验回放过滤不良探索,在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Think Outside the Policy: In-Context Steered Policy Optimization
National Key Laboratory for Multimedia Information Processing(国家多媒体信息处理重点实验室);School of Computer Science(计算机学院);LLM Department(大模型部门);Tencent(腾讯)
本文提出ICPO框架,利用大推理模型的上下文学习能力,通过混合策略GRPO和隐式专家强制扩展探索范围,提升RLVR在数学推理任务中的性能和稳定性。
2026-04-15 cs.LG
Behavior Proximal Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学);Beijing Jiaotong University(北京交通大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习(RL)是一个具有挑战性的设置,现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此,提出了各种额外的增强以保持学习的策略接近离线数据集(或行为策略)。在这项工作中,从离线单调策略改进的分析,我们得到了一个令人惊讶的发现,一些在线的策略算法自然能够解决离线RL。具体来说,这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上,我们提出了行为近端策略优化(BPPO),它解决了离线RL没有任何额外的约束或正则化相比,PPO。在D4 RL基准测试上的大量实验表明,这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University(首尔国立大学);Ewha Woman University(成均馆大学);Geogia Institute of Technology(佐治亚理工学院)
QUATRO通过原则性优化直接施加信任区域约束,实现稳定且可控的LLM微调,提升训练稳定性与熵控制。
2026-09-18 cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information;Electrical Engineering, \ Agricultural University, Beijing 100083, China;Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架,将分组相对策略优化与Transformer结合用于超参数优化,并引入策略扰动正则化提升训练稳定性,在OpenML上一致优于基线方法。
2025-09-21 cs.LG
Trust Region Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
我们描述了一个迭代过程优化政策,保证单调改善。通过对理论上合理的过程进行几次近似,我们开发了一种实用的算法,称为信任域策略优化(TRPO)。该算法类似于自然策略梯度方法,对优化神经网络等大型非线性策略是有效的。我们的实验证明了它在各种任务上的强大性能:学习模拟机器人游泳,跳跃和行走步态;以及使用屏幕图像作为输入玩Atari游戏。尽管它的近似偏离理论,TRPO倾向于给出单调的改进,几乎没有调整超参数。
2017-04-20 cs.LG
Solving a Real-World Optimization Problem Using Proximal Policy Optimization with Curriculum Learning and Reward Engineering
Ruhr-University Bochum(波鸿鲁尔大学)
本文提出结合课程学习和奖励工程的PPO智能体,解决高通量垃圾分类设施中安全、体积与资源竞争性目标的优化难题,实现近零安全违规并提升效率。
2024-07-23 cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室)
本文提出裁剪目标策略梯度(COPG),通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标,实现更悲观的目标,促进探索,在连续动作空间的多任务等场景中提升学习性能,且不增加计算成本。
2023-11-10 cs.LG
Proactive Constrained Policy Optimization with Preemptive Penalty
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Microsoft Research AI4Science(微软研究院AI4Science);University College London(伦敦大学学院)
提出主动约束策略优化(PCPO),通过预防性惩罚机制和约束感知内在奖励,在策略接近边界时施加代价并引导探索,建立理论界并采用策略迭代,实验表明其稳定且稳健地解决安全强化学习中的约束违反问题。
2025-08-06 cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland(昆士兰大学机器人设计实验室)
Soft Actor-Critic(SAC)是基于最大熵的强化学习(RL)框架内的最先进的非策略强化学习(RL)算法之一。SAC在一系列连续控制任务中表现良好,具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略,该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略,SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略(SAC-CEPO),它使用交叉熵方法(CEM)来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样,并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性,我们还引入了一个解耦的策略结构,将高斯策略分为一个学习均值的策略和一个学习偏差的策略,使得CEM只训练均值策略。我们表明,这种解耦的政策结构收敛到一个最优的,我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Simple Policy Optimization
The Hong Kong University of Science(香港科学与技术大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);ETH Zurich(苏黎世联邦理工学院)
本文提出无约束一阶算法 SPO,通过改进 PPO 的比率裁剪策略损失,在保持简单高效实现的同时增强信赖域约束与理论保证,并在大型复杂网络端到端训练中优于 PPO。
2025-07-26 cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Policy Optimization for Stochastic Shortest Path
University of Southern California(南加州大学);Tel-Aviv University(特拉维夫大学)
策略优化是最流行和最成功的强化学习算法之一,人们越来越有兴趣了解其理论保证。在这项工作中,我们开始研究随机最短路径(SSP)问题的策略优化,这是一个面向目标的强化学习模型,它严格地概括了有限时域模型,并更好地捕捉了许多应用。我们考虑了广泛的设置,包括在完全信息或强盗反馈下的随机和对抗环境,并针对每个设置提出了一种策略优化算法,该算法利用了新的校正项和/或扩张奖金的变体(Luo et al.,2021年)。对于大多数设置,我们的算法实现了接近最优的遗憾界。这项工作的一个关键技术贡献是一个新的近似方案来解决SSP的问题,我们称之为\textit{stacked discounted approximation},并使用在我们提出的所有算法。与最近的SSP算法中大量使用的有限时域近似不同,我们的新近似使我们能够学习一个近似平稳的政策,在一个事件中只有对数变化,并可能导致空间复杂度的指数级改善。
2022-02-07 cs.LG
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science(工程与应用科学学院)
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器,在CartPole-v1上以零方差稳定达到满分500,优于ANFIS-DQN基线,验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Policy Optimization as Wasserstein Gradient Flows
Duke University(杜克大学);SUNY at Buffalo(纽约州立大学布法罗分校)
策略优化是强化学习(RL)的核心组成部分,并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功,其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间,并解释为Wasserstein梯度流。在概率测度空间上,在一定条件下,策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行,我们开发了有效的算法,通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置,并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性,往往获得更好的性能相比,相关的算法。
2018-08-09 cs.LG stat.ML
Policy Optimization by Genetic Distillation
Computer Science(计算机科学)
遗传算法在许多实际优化问题中得到了广泛的应用。受自然选择的启发,包括变异、交叉和选择在内的算子为搜索和黑盒优化提供了有效的算法。然而,它们尚未被证明对深度强化学习有用,可能是由于神经网络的参数交叉的灾难性后果。在这里,我们提出了遗传策略优化(Genetic Policy Optimization,简称PSO),这是一种用于样本有效深度策略优化的新遗传算法。该算法在状态空间中采用模仿学习进行策略交叉,采用策略梯度法进行策略变异。我们的实验MuJoCo任务表明,作为遗传算法的ESTA是能够提供优越的性能超过国家的最先进的政策梯度方法,并实现可比或更高的采样效率。
2018-03-12 cs.LG stat.ML
Taylor Expansion Policy Optimization
Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
在这项工作中,我们研究了泰勒展开在强化学习中的应用。特别是,我们提出了泰勒扩展策略优化,一种策略优化形式主义,概括了先前的工作(例如,TRPO)作为一阶特例。我们还表明,泰勒展开密切相关的政策评估。最后,我们表明,这种新的配方需要修改,提高性能的几个国家的最先进的分布式算法。
2020-03-13 cs.LG stat.ML
Riemannian Proximal Policy Optimization
Ant Financial Services Group(蚂蚁金融服务集团)
本文提出了一个求解马尔可夫决策过程(MDP)问题的保收敛的一般黎曼近似优化算法。为了对MDP中的策略函数进行建模,我们采用高斯混合模型(GMM),并将其表示为半正定矩阵黎曼空间中的非凸优化问题。对于两个给定的政策功能,我们还提供了它的下界的政策改善使用的界限来自Wasserstein距离的Gyndham。初步的实验表明,我们提出的黎曼近端策略优化算法的有效性。
2020-05-19 cs.LG stat.ML
Policy Search by Target Distribution Learning for Continuous Control
Tsinghua University(清华大学)
我们观察到,当当前策略接近确定性时(即使在一些非常简单的环境中),几种现有的策略梯度方法(例如香草策略梯度,PPO,A2C)可能会遭受过大的梯度,导致不稳定的训练过程。为了解决这个问题,我们提出了一种新的方法,称为\emph{target distribution learning}(TDL),在强化学习的政策改善。TDL在建议目标分布和训练策略网络以接近目标分布之间交替。TDL在约束更新策略之间的KL分歧方面更有效,因此导致迭代过程中更稳定的策略改进。我们的实验表明,对于MuJoCo环境中的大多数连续控制任务,TDL算法的性能与最先进的算法相当(或更好),同时在训练中更加稳定。
2019-11-18 cs.LG stat.ML
Understanding the impact of entropy on policy optimization
Mila(米拉研究所);McGill University(麦吉尔大学);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
在强化学习中,熵正则化通常用于改善策略优化。它被认为有助于\emph{exploration}通过鼓励更多的随机策略的选择。在这项工作中,我们分析这种说法使用新的可视化的优化景观的基础上随机扰动的损失函数。我们首先表明,即使获得精确的梯度,由于目标函数的几何形状,策略优化是困难的。然后,我们定性地表明,在某些环境中,具有较高熵的策略可以使优化景观更平滑,从而连接局部最优值,并能够使用更大的学习率。本文提出了新的工具来理解优化景观,表明政策熵作为一个正则化,并强调了设计通用的政策优化算法的挑战。
2019-06-07 cs.LG stat.ML
Optimistic Distributionally Robust Policy Optimization
University of Washington(华盛顿大学)
信任域策略优化(TRPO)和近端策略优化(PPO)作为广泛使用的基于策略的强化学习(RL)方法,由于将策略表示限制在特定的参数分布类,容易收敛到次优解。为了解决这个问题,我们开发了一个创新的乐观分布鲁棒策略优化(ODRPO)算法,它有效地利用乐观分布鲁棒优化(DRO)方法来解决信任域约束优化问题,而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策,同时获得学习稳定性。此外,它实现了一个全局最优的策略更新,这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook(纽约州立大学石溪分校);Peking University(北京大学)
经典的强化学习(RL)旨在优化期望的累积奖励。在这项工作中,我们考虑RL设置,其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络,并提出了一种新的策略梯度算法,称为基于分位数的策略优化(QPO)及其变种基于分位数的近端策略优化(QPPO),以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度,同时估计分位数和政策参数,并在一定条件下收敛到全局最优的政策。我们的数值结果表明,所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
信任域策略优化(TRPO)和近端策略优化(PPO)是深度强化学习(RL)中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能,但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中,我们重新审视这些算法的理论基础,并提出了一个新的算法,通过一个邻近项,约束连续政策的折扣状态-动作的访问分布,以接近彼此稳定的政策改善。这个接近项,表示在访问分布之间的分歧,是在一个关闭政策和对抗的方式学习。我们的经验表明,我们提出的方法可以有一个有益的影响,稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi(小米人工智能实验室)
作为信任域策略优化(TRPO)最成功的变体和改进,近端策略优化(PPO)已广泛应用于各个领域,具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中,一个一阶梯度强化学习算法,称为政策优化与惩罚点概率距离(POP3D),这是一个下界的平方总方差散度提出作为另一个强大的变种。首先,我们讨论了几种常用算法的缺点,我们的方法是由部分动机。其次,我们提出通过应用POP3D来克服这些缺点。第三,从解流形的角度深入探讨了其作用机理。最后,我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明,POP3D与PPO相比具有很强的竞争力。此外,我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research(IBM研究院);IBM Quantum(IBM量子实验室);MIT-IBM Watson Lab(MIT-IBM沃森实验室)
本文将 GRPO 适配至 off-policy 设置,证明两种机制的目标均能提升奖励,并引入截断替代目标,实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
First-order Policy Optimization for Robust Policy Evaluation
Georgia Institute of Technology(佐治亚理工学院)
针对鲁棒马尔可夫决策过程的策略评估问题,提出首个统一框架一阶策略评估(FRPE),支持离线与在线环境及通用函数逼近,并证明了其线性收敛性与样本复杂度。
2023-07-29 cs.LG math.OC
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace(柯林斯航空航天公司)
本文提出Hybrid GRPO框架,通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO,在提升样本效率与学习稳定性的同时缓解方差放大问题,并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles(加州大学洛杉矶分校)
针对离线策略学习中裁剪导致的梯度饥饿问题,提出ReSPO方法,用平滑双分支核替代裁剪,在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind);University of Alberta(阿尔伯塔大学)
本文提出乐观自然策略梯度(Optimistic NPG),将经典 NPG 与乐观策略评估结合以鼓励探索,首次在计算高效的同时在线性 MDP 中实现最优维度依赖的样本复杂度,并成为一般函数逼近下首个达到多项式样本复杂度的策略优化算法。
2023-12-04 cs.LG stat.ML
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化(PPO)是现有技术,它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化(MDPPO),并证明了该算法能够加速和稳定训练过程。在我们的算法中,多个不同的策略同时训练,每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样,但训练过程的轨迹是从所有代理收集的,而不是只有一个策略。我们发现,如果我们精心选择一些辅助轨迹来训练策略,算法将更稳定,更快地收敛,特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Soft Sequence Policy Optimization
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Institute for Artificial Intelligence(人工智能研究所)
本文提出软序列策略优化方法,通过引入软门控函数改进序列级重要性权重,提升大语言模型对齐任务的训练稳定性与性能。
2026-06-04 cs.AI cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States(康奈尔科技、康奈尔大学,纽约,美国);Columbia University, NY, United States(哥伦比亚大学,纽约,美国)
GOPO通过使用奖励排名而非绝对值,提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago(芝加哥大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
研究了具有非线性函数逼近的安全强化学习问题,将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题,我们构造了一个替代凸约束优化问题的序列,通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外,为了扩展我们的理论结果,我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);NEC Central Research Laboratories(NEC中央研究所);The University of Tokyo(东京大学)
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架,在各个领域都表现出了出色的效果。然而,众所周知,在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法,乐观的近端策略优化(OPPO),以减轻这一困难。OPPO考虑了估计总回报的不确定性,并根据该金额对政策进行了乐观评估。我们表明,OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG
Bregman Gradient Policy Optimization
University of Pittsburgh(匹兹堡大学)
基于Bregman发散和动量技术,设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说,我们提出了一个布雷格曼梯度策略优化(BPENS)算法的基础上的基本动量技术和镜像下降迭代。同时,我们进一步提出了一个加速的Bregman梯度策略优化算法(VR-BPENN)的基础上减少的方差技术。此外,我们提供了一个收敛性分析框架下,我们的Bregman梯度策略优化的非凸设置。我们证明,我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略,并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$,这也只需要一个轨迹每次迭代。特别地,通过使用不同的Bregman分歧,我们的Battlefield框架统一了许多现有的策略优化算法,如现有的(方差减少的)策略梯度算法,如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Reflective Policy Optimization
QiYuan Lab.(启元实验室)
针对同策略强化学习方法样本效率低的问题,本文提出反思策略优化(RPO),通过融合过去与未来的状态-动作信息实现内省式策略调整,理论保证性能单调提升并加速收敛,实验验证了其优越的样本效率。
2026-09-22 cs.AI cs.LG stat.ML
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services(亚马逊云科技)
基于策略的强化学习(RL)算法具有高样本复杂度,而非策略算法难以调整。将两者结合起来,有望开发出在不同环境中通用的高效算法。然而,在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O,交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离,并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明,这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Proximal Policy Optimization Smoothed Algorithm
近端策略优化(PPO)在策略搜索(强化学习的一个子领域)中产生了最先进的结果,其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的,该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题,我们提出了一个PPO的变种,命名为近端策略优化平滑算法(PPOS),其关键的改进是使用功能裁剪方法,而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较,证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外,我们表明,它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Multi-Path Policy Optimization
IIIS, Tsinghua University(清华大学交叉信息研究院);Alibaba Group(阿里巴巴集团)
近年来,深度强化学习取得了巨大的进步。然而,一个具有挑战性的问题是,代理可能会遭受低效的探索,特别是对政策的方法。以往的探测方法要么依赖于复杂的结构来估计状态的新颖性,要么引入敏感的超参数导致不稳定。我们提出了一种有效的探索方法,多路径策略优化(MPPO),它不会产生很高的计算成本,并确保稳定性。MPPO维护了一种有效的机制,可以有效地利用各种策略来实现更好的探索,特别是在稀疏环境中。并给出了稳定性能的理论保证。我们的方案建立在两个广泛采用的策略上的方法,信任区域策略优化算法和近端策略优化算法。我们对几个MuJoCo任务及其稀疏化变体进行了广泛的实验,以公平地评估所提出的方法。结果表明,MPPO显着优于国家的最先进的勘探方法在样本效率和最终性能。
2020-02-14 cs.LG stat.ML
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay(巴黎萨克雷高等师范学校);ENSAE Paris(巴黎高等经济商业学院)
本文提出首个保守且可证明高效的免模型强化学习算法,利用重要性采样反事实评估保守条件,确保学习过程中性能不低于基线策略,并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University(西北工业大学人工智能与光学电子学院(iOPEN));McKelvey School of Engineering, Washington University in St. Louis(圣路易斯华盛顿大学麦凯维工程学院)
本文提出 IOB,利用 actor-critic 的 Q 函数选择最大一步改进的源策略,并整合优化迁移与行为迁移,在无需额外训练组件的情况下提升迁移效果与持续学习性能。
2023-08-14 cs.AI cs.LG
Evolutionary Policy Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对强化学习中探索-利用权衡问题,提出集成神经进化与策略梯度的混合算法EPO,在Atari基准上验证其策略质量和样本效率优于标准PG与EC方法。
2025-04-17 cs.LG cs.NE
Competitive Policy Optimization
ETH Zürich(苏黎世联邦理工学院);California Institute of Technology(加州理工学院)
在竞争马尔可夫决策过程中,策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题,我们提出了竞争政策优化(CoPO),一种新的策略梯度的方法,利用竞争游戏的博弈论性质,以获得政策更新。受竞争梯度优化方法的启发,我们得到了一个双线性近似的游戏目标。相比之下,现成的策略梯度方法仅利用线性近似,因此不捕获参与者之间的交互。我们以两种方式实例化CoPO:(i)竞争性策略梯度,以及(ii)信任区域竞争性策略优化。我们从理论上研究了这些方法,并在一组全面的,但具有挑战性的,竞争性的游戏上实证研究了它们的行为。我们观察到,他们提供了稳定的优化,收敛到复杂的战略,以及更高的分数时,发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Policy Optimization with Stochastic Mirror Descent
Zhejiang University(浙江大学);Netease Games AI Lab(网易游戏人工智能实验室);Nanyang Technological University(南洋理工大学);Harvard Medical School(哈佛医学院)
提高样本效率一直是强化学习的长期目标。提出了一种基于随机镜像下降的样本有效策略梯度方法--$\mathtt{VRMPO}$算法。在$\mathtt{VRMPO}$中,提出了一种新的方差缩减策略梯度估计器,以提高样本效率。我们证明了所提出的$\mathtt{VRMPO}$只需要$\mathcal{O}(ε^{-3})$样本轨迹,以实现一个$ε$近似的一阶平稳点,匹配的最佳样本复杂度的政策优化。大量的实验结果表明,$\mathtt{VRMPO}$优于国家的最先进的策略梯度方法在各种设置。
2022-02-09 cs.LG stat.ML
Deep Model-Based Reinforcement Learning via Estimated Uncertainty and Conservative Policy Optimization
University of Science and Technology of China(中国科学技术大学)
基于模型的强化学习算法往往比无模型方法实现更高的样本效率。然而,由于学习模型不可避免的误差,基于模型的方法很难达到与无模型方法相同的渐近性能。在本文中,我们提出了一种基于模型的不确定性策略优化方法(POMBU)-一种新的基于模型的方法-,可以有效地提高渐近性能,利用Q值的不确定性。我们推导出一个上限的不确定性,基于此,我们可以近似的不确定性准确和有效地基于模型的方法。我们进一步提出了一个不确定性感知的策略优化算法,优化的政策保守,鼓励性能提高的概率很高。这可以显著缓解政策对不准确模型的过度拟合。实验结果表明,POMBU算法在样本效率和渐近性能方面均优于现有的策略优化算法。此外,实验证明了优秀的鲁棒性POMBU相比,以前的基于模型的方法。
2019-11-28 cs.LG stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化(PPO和TRPO)在深度强化学习中取得了显著的经验成功。然而,由于非凸性,PPO和TRPO的全局收敛性仍然不太清楚,这使理论与实践分离。在本文中,我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策,在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性,其中的梯度和梯度是由神经网络实例化。特别是,所需的表示能力和优化几何诱导过参数化的神经网络,使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Model Selection in Batch Policy Optimization
Stanford University(斯坦福大学);Google Research, Brain Team(谷歌研究院 Brain 团队)
我们研究了批量策略优化中的模型选择问题:给定一个固定的部分反馈数据集和$M$模型类,学习一个性能与来自最佳模型类的策略具有竞争力的策略。我们通过识别任何模型选择算法都应该最佳权衡以具有竞争力的三个错误来源,在具有线性模型类的上下文Bandit设置中将问题形式化:(1)近似误差,(2)统计复杂性和(3)覆盖范围。前两个来源在监督学习的模型选择中是常见的,其中最佳地权衡这些属性是很好的研究。相比之下,第三个源是批处理策略优化所特有的,并且是由于设置所固有的数据集偏移。我们首先表明,没有批处理策略优化算法可以实现同时解决所有三个保证,揭示了批处理策略优化的困难和监督学习的积极成果之间的鲜明对比。尽管这个负面的结果,我们表明,放宽任何一个三个错误源,使算法的设计实现近预言的不平等的其余两个。我们的结论与实验证明这些算法的有效性。
2021-12-23 cs.LG stat.ML