Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University(纽约大学);DeepMind(深度思维)
尽管探索和样本效率之间存在密切联系,但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中,我们解决这个似乎错过的机会。我们观察到,深度RL中最常见的定向探索公式,即基于奖励的探索(BBE),在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明,通过解耦的任务政策的探索政策,定向探索可以是非常有效的样本有效的连续控制。我们的方法,解耦的探索和开发策略(DEEP),可以与任何非策略RL算法相结合,无需修改。当与软行动者-批评者结合使用时,DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中,由于更好的探索,DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University(吉林大学)
近端策略优化(PPO)算法是一种深度强化学习算法,在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习,虽然有一些方案可以使探索更加充分,与数据开发更加平衡,但由于算法的复杂性,它们不能应用于复杂环境。基于具有密集奖励的连续控制任务,分析了PPO算法中原始高斯行为探索机制的假设,阐明了探索能力对性能的影响。然后,针对探测问题,设计了一种基于不确定性估计的探测增强机制。然后,将探索增强理论应用于PPO算法,提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法(IEM-PPO)。在实验部分,我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估,并将IEM-PPO算法与好奇心驱动的探索算法(ICM-PPO)和原始算法(PPO)进行了比较。实验结果表明,IEM-PPO算法需要较长的训练时间,但在样本效率和累积回报方面表现较好,具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung(太阳能与氢能研究中心)
策略梯度方法直接在参数空间中进行搜索,是最有效、最鲁棒的直接策略搜索方法之一,近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度,它使用两个围绕当前假设对称的样本,以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中,我们将展示如何勘探参数可以被采样准对称,尽管有有限的,而不是自由的勘探参数。我们给出了一个变换近似,以获得准对称样本的勘探,而不改变整体的抽样分布。最后,我们将证明,对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Climate Surrogates for Scalable Multi-Agent Reinforcement Learning: A Case Study with CICERO-SCM
Technical University of Denmark(丹麦技术大学)
本文提出将高保真气候替代模型集成到多智能体强化学习框架中,以加速气候政策学习,实现近模拟器精度和百倍训练加速,且不牺牲政策保真度。
2026-10-06 cs.LG cs.MA
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC(谷歌研究,纽约市)
本文提出一种解耦探索与策略优化的方法,通过树搜索策略和不确定性测量提升探索效率,在困难探索任务中取得显著成果。
2026-05-13 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University(复旦大学智能医学信息研究所)
针对离线强化学习中数据腐败导致策略过度保守的问题,提出抗腐败优势加权回归(CAWR),通过鲁棒损失函数和优势优先经验回放过滤不良探索,在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off
College of Software, Nankai University(南开大学软件学院);Zhongguancun Academy(中关村学院);School of Automation , Beijing Institute of Technology(北京理工大学自动化学院);College of Computer Science(计算机科学学院);Technology, Zhejiang University(浙江大学技术学院)
本文提出DCPO,通过分布层面的正则化实现可控探索,改进了探索-利用权衡。
2026-01-19 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
Colored Noise in PPO: Improved Exploration and Performance through Correlated Action Sampling
Department of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系);Digital Science Center, University of Innsbruck(因斯布鲁克大学数字科学中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Department of Computer Science, University of Tübingen(蒂宾根大学计算机科学系)
本文提出基于有色噪声的PPO随机策略,证明介于白噪声与粉红噪声之间的相关动作采样可改善在策略探索和性能,并建议将其设为默认噪声源。
2024-06-17 cs.LG
Dimensionality Reduction and Prioritized Exploration for Policy Search
TU Darmstadt(达姆施塔特工业大学)
黑盒策略优化是一类强化学习算法,它在参数级探索和更新策略。这类算法被广泛应用于机器人运动原语或不可微的政策。此外,这些方法特别适用于在行动层面上的探索可能导致致动器损坏或其他安全问题的情况。然而,黑盒优化不能很好地随着策略维度的增加而扩展,导致对样本的高需求,而在现实世界的系统中获得样本是昂贵的。在许多实际应用中,政策参数对回报的贡献并不相等。识别最相关的参数可以缩小探索范围并加快学习速度。此外,仅更新有效参数需要更少的样本,提高了方法的可扩展性。我们提出了一种新的方法,优先探索有效的参数,并应付完整的协方差矩阵更新。我们的算法比最近的方法学习得更快,并且需要更少的样本来实现最先进的结果。为了选择有效的参数,我们考虑了皮尔逊相关系数和互信息。我们展示了我们的方法在几个模拟环境中,包括机器人模拟的相对熵策略搜索算法的能力。代码可在https://git.ias.informatik.tu-darmstadt.de/ias\_code/aistats 2022/dr-creps获取。
2022-03-19 cs.LG
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University(宾厄姆顿大学);Yantai University(烟台大学)
我们解决的挑战,有效的勘探,同时保持良好的性能,在策略梯度方法。作为一种解决方案,我们提出了通过共轭政策的多样性探索(DE)。DE学习和部署一组共轭策略,这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明,DE在实现探索,提高政策绩效的有效性,DE的优势,探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法,依据智能体近期表现动态调节探索幅度,以改善强化学习中的探索-利用权衡,并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Chicago(芝加哥大学);Stanford University(斯坦福大学);Google Research(谷歌研究院)
虽然并行性在强化学习(RL)中得到了广泛的应用,但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程(MDP)和两人零和马尔可夫博弈(MG)中简单并行探索无奖励RL的好处。与现有的文献,它侧重于鼓励代理人探索一套不同的政策的方法,我们表明,使用一个单一的政策,以指导所有代理人的探索是足够的,以获得几乎线性的加速在所有情况下相比,他们的完全顺序对应。此外,我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看,我们的论文表明,单个策略对于在探索阶段纳入并行性来说是足够的,并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Learning Efficient and Effective Exploration Policies with Counterfactual Meta Policy
Nankai University(南开大学);Microsoft Research Asia(微软亚洲研究院)
强化学习算法中的一个基本问题是对环境的探索和对代理已经获得的信息的利用之间的平衡。特别是,探究对于学习过程的效率和有效性都起着至关重要的作用。然而,现有的探索工作涉及任务不可知的设计,这是在一个环境中表现良好,但不适合另一个。目的是以自动化的方式学习有效和高效的勘探策略。我们形式化了一个可行的度量标准,用于测量基于反事实意识形态的探索效用。在此基础上,提出了一种基于元学习的端到端探索策略学习算法。我们证明,我们的方法取得了良好的效果相比,以前的作品在高维控制任务的MuJoCo模拟器。
2019-05-28 cs.LG stat.ML
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay(巴黎萨克雷高等师范学校);ENSAE Paris(巴黎高等经济商业学院)
本文提出首个保守且可证明高效的免模型强化学习算法,利用重要性采样反事实评估保守条件,确保学习过程中性能不低于基线策略,并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano(米兰理工大学)
在一个无奖励的环境中,什么是一个合适的内在目标的代理追求,使它可以学习一个最佳的任务不可知的探索政策?在本文中,我们认为,熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是,我们提出了一种新的和实用的策略搜索算法,最大熵策略优化(MEPOL),学习的政策,最大化的非参数,$k$ -最近邻估计的状态分布熵。与已知方法相比,MEPOL是完全无模型的,因为它既不需要估计任何策略的状态分布,也不需要对过渡动态进行建模。然后,我们经验表明,MEPOL允许学习最大熵的探索政策,在高维,连续控制域,以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
AI for Global Climate Cooperation: Modeling Global Climate Negotiations, Agreements, and Long-Term Cooperation in RICE-N
Salesforce(赛富时)
全面的全球合作对于限制全球气温上升同时继续经济发展至关重要,例如,减少严重的不平等或实现长期经济增长。与n个战略代理人在减缓气候变化方面实现长期合作提出了一个复杂的博弈论问题。例如,代理人可以谈判并达成气候协议,但没有中央机构来强制遵守这些协议。因此,至关重要的是设计谈判和协议框架,以促进合作,使所有代理人都能实现各自的政策目标,并激励长期遵守。这是一个跨学科的挑战,需要机器学习、经济学、气候科学、法律、政策、伦理学和其他领域的研究人员进行合作。特别是,我们认为,机器学习是一个重要的工具,以解决这个领域的复杂性。为了促进这一研究,在这里,我们介绍RICE-N,一个多区域的综合评估模型,模拟全球气候和经济,并可以用来设计和评估不同的谈判和协议框架的战略成果。我们还描述了如何使用多智能体强化学习训练理性的代理使用RICE-N。该框架支持全球气候合作AI,这是一个关于气候谈判和协议设计的工作组合作和竞争。在这里,我们邀请科学界使用RICE-N、机器学习、经济直觉和其他领域知识来设计和评估他们的解决方案。更多信息可查阅www.ai4climatecoop.org。
2022-08-15 cs.LG cs.MA
Learning to Explore with Meta-Policy Gradient
Baidu Research(百度研究院);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
包括深度Q学习和深度确定性策略梯度(DDPG)在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声,并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中,我们开发了一个简单的Meta策略梯度算法,使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为,是独立的演员的政策,产生一个\emph{global exploration},显着加快学习过程。通过广泛的研究,我们表明,我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
University of Tokyo(东京大学);Aalto University(阿尔托大学)
提出ReMax目标函数,通过最大化M个样本的期望最大回报来使探索行为自然涌现,并推导策略梯度公式及RePPO算法,在MinAtar和Craftax基准上无需显式探索奖励即可促进探索。
2026-09-15 cs.AI cs.LG
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara(加州大学圣巴巴拉分校);Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司);Cruise(克鲁斯公司);Horizon Robotics(地平线机器人)
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$(OFU)的原则,我们训练一个单独的探索政策,以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而,这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题,我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是,我们纠正了政策和批评的培训分布。从经验上讲,我们评估我们提出的方法在几个具有挑战性的连续控制任务,并表现出优越的性能相比,国家的最先进的方法。我们还进行了广泛的消融研究,以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida(中佛罗里达大学)
本文介绍了一种利用收益率序列的加权方差或加权时间差(TD)误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源,可以用来指导强化学习的探索。直觉是,收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进,进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面,我们的分析表明,这两个可以是有价值的指导探索。我们提出了一个双流网络架构,估计加权方差/TD内的DQN代理的错误,我们的探索方法,并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning with Analogous Disentangled Exploration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
非策略强化学习(RL)涉及通过执行收集经验样本的另一个策略来学习奖励策略。虽然前一个策略(即目标策略)是有回报的,但在表达(在大多数情况下,确定性),在后一个任务中做得好,相反,需要一个表达策略(即行为策略),提供指导和有效的探索。与大多数在最优性和表现力之间进行权衡的方法相反,解纠缠框架明确地将这两个目标解耦,每个目标都由一个不同的单独策略处理。虽然能够自由地设计和优化这两个策略,但天真地将它们分开可能会导致低效的学习或稳定性问题。为了缓解这个问题,我们提出的方法模拟解开演员评论家(ADAC)设计类似的演员和评论家对。具体地说,ADAC利用Stein变分梯度下降(SVGD)的一个关键属性来约束基于表达能量的行为策略相对于目标的有效探索。此外,引入了一个类似的批评家对,以原则性的方式纳入内在奖励,理论上保证了整体学习的稳定性和有效性。我们在14个连续控制任务上实证评估了环境奖励ADAC,并报告了其中10个任务的最新进展。我们进一步证明了ADAC,当与内在奖励配对时,在探索挑战性任务中表现优于替代品。
2020-02-27 cs.LG stat.ML
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech(弗吉尼亚理工大学);University of Oslo(奥斯陆大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of the District of Columbia(哥伦比亚特区大学)
近端策略优化(PPO)是一种非常流行的基于策略的深度强化学习(DRL)方法。然而,我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题,我们提出了PPO-UE,一个PPO的变种配备了自适应的不确定性感知探索(UE)的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析,通过改变比例的不确定性水平,我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Behind the Myth of Exploration in Policy Gradients
Montefiore Institute(蒙费伊尔研究所);University of Liège(利耶大学)
本文从数值优化角度分析策略梯度中的探索项,提出学习目标和随机梯度估计的评价标准,揭示其平滑目标消除局部最优、优化梯度估计提升最优策略获取概率的作用,并通过熵奖励策略实证验证。
2025-08-20 cs.LG stat.ML
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong(香港中文大学)
传统的强化学习(RL)算法通常由单个智能体独立学习来解决任务。因此,智能体只能探索状态-动作空间的有限部分,而学习到的行为与智能体先前的经验高度相关,使得训练容易陷入局部最小值。在这项工作中,我们赋予RL团队合作的能力,并提出了一种新的非局部策略优化框架,称为多样性正则化协作探索(DiCE)。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制,以保持团队的多样性,调节探索。我们实现的框架,在政策和关闭政策的设置和实验结果表明,DiCE可以实现实质性的改善,在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Evolutionary Policy Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对强化学习中探索-利用权衡问题,提出集成神经进化与策略梯度的混合算法EPO,在Atari基准上验证其策略质量和样本效率优于标准PG与EC方法。
2025-04-17 cs.LG cs.NE
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime(商汤科技)
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些,一个随机的政策模型,是内在一致的,通过一段时间是在期望中,特别是对于任务,无论是稀疏的奖励或长期的信息。在这项工作中,我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索(NADPEx)-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量,被纳入强化学习策略,即使在奖励信号稀疏的情况下,也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素,即梯度与目标的一致性和策略空间的KL约束。我们的实验表明,NADPEx解决任务的稀疏奖励,而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
研究大语言模型强化学习中PPO-Clip的探索崩溃问题,提出黎曼等距策略优化(RIPO)方法,通过保证黎曼流形上等距策略更新平衡探索与利用,在七个竞争级基准上显著超越现有算法。
2026-10-09 cs.AI cs.LG
Multi-Path Policy Optimization
IIIS, Tsinghua University(清华大学交叉信息研究院);Alibaba Group(阿里巴巴集团)
近年来,深度强化学习取得了巨大的进步。然而,一个具有挑战性的问题是,代理可能会遭受低效的探索,特别是对政策的方法。以往的探测方法要么依赖于复杂的结构来估计状态的新颖性,要么引入敏感的超参数导致不稳定。我们提出了一种有效的探索方法,多路径策略优化(MPPO),它不会产生很高的计算成本,并确保稳定性。MPPO维护了一种有效的机制,可以有效地利用各种策略来实现更好的探索,特别是在稀疏环境中。并给出了稳定性能的理论保证。我们的方案建立在两个广泛采用的策略上的方法,信任区域策略优化算法和近端策略优化算法。我们对几个MuJoCo任务及其稀疏化变体进行了广泛的实验,以公平地评估所提出的方法。结果表明,MPPO显着优于国家的最先进的勘探方法在样本效率和最终性能。
2020-02-14 cs.LG stat.ML
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Power and accountability in reinforcement learning applications to environmental policy
University of California Berkeley(加州大学伯克利分校);Tufts University(塔夫茨大学)
机器学习(ML)方法已经渗透到环境决策中,从处理地球系统的高维数据到监测环境法规的遵守情况。ML技术可用于解决紧迫的环境问题(例如,气候变化,生物多样性丧失),强化学习(RL)可能既有最大的希望,也有最紧迫的危险。本文探讨了RL驱动的政策如何折射现有的权力关系在环境领域,同时也创造了独特的挑战,以确保公平和负责任的环境决策过程。我们利用RL应用到气候变化减缓和渔业管理的例子,探讨RL技术如何改变资源使用者,管理机构和私营企业之间的权力分配。
2022-05-22 cs.CY cs.LG
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin(得克萨斯大学奥斯汀分校)
我们提出了Revel,一个部分神经强化学习(RL)框架,用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是,在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战:一个是具有近似梯度的一般神经符号类,另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策:在每次迭代中,它安全地提升到神经符号空间的符号政策,执行安全的梯度更新所产生的政策,并项目更新后的政策到安全的符号子集,所有这些都不需要明确的验证神经网络。我们的实证结果表明,Revel在许多情况下强制执行安全探索,其中约束策略优化没有,并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系、北京理工大学、清华大学)
针对现有RL策略探索方法缺乏任务适应性和动态调整的问题,提出LLM-Explorer,利用LLM分析学习轨迹并生成自适应探索分布,作为即插模块兼容多种RL算法,在Atari和MuJoCo上平均性能提升达37.27%。
2025-10-23 cs.AI cs.LG
Model-Based Policy Gradients with Parameter-Based Exploration by Least-Squares Conditional Density Estimation
Tokyo Institute of Technology(东京工业大学);ATR Computational Neuroscience Labs(ATR计算神经科学实验室)
强化学习(RL)的目标是让智能体在未知的环境中学习最优控制策略,以使未来的期望回报最大化。无模型RL方法直接基于数据样本学习策略。虽然使用许多样本往往会提高策略学习的准确性,但在实践中收集大量样本通常是昂贵的。另一方面,基于模型的强化学习方法首先估计环境的过渡模型,然后基于估计的过渡模型学习策略。因此,如果从少量数据中准确地学习到转换模型,则基于模型的方法可以比无模型方法执行得更好。在本文中,我们提出了一种新的基于模型的RL方法相结合,最近提出的无模型的策略搜索方法称为政策梯度与基于参数的探索和国家的最先进的过渡模型估计称为最小二乘条件密度估计。通过实验,我们证明了所提出的方法的实用性。
2013-07-19 cs.LG stat.ML
How Log-Barrier Helps Exploration in Policy Optimization
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
本文提出通过引入对数屏障正则化来改进策略优化中的探索机制,证明了其在样本复杂度和收敛性方面的优势。
2026-05-08 cs.AI cs.LG
Efficient On-Policy Reinforcement Learning via Exploration of Sparse Parameter Space
Department of Computer Science Stony Brook University(计算机科学系石溪大学)
针对同策略强化学习中替代梯度与真实奖励相关性差、参数空间局部结构未被充分探索的问题,提出可插拔流水线ExploRLer,通过迭代级探测梯度更新的未探索邻域,在不增加梯度更新次数的前提下显著提升复杂连续控制任务性能。
2025-09-30 cs.AI cs.LG
Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心)
本文提出耦合策略优化方法,通过KL约束调节策略多样性,提升大规模强化学习中的探索效率和学习性能。
2026-03-03 cs.AI cs.LG cs.RO
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain(谷歌大脑);University of Alberta(阿尔伯塔大学)
针对无模型强化学习(RL)提出了一种新的策略梯度形式,并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索,这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略,促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报,那么它就被认为是被低估了。所提出的探索策略易于实现,需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性,并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务,并推广到长序列。据我们所知,这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学);Beihang University(北航)
提出Policy Split方法,将策略分裂为正常和高熵两种模式,通过协作双模式熵正则化在保持准确性的同时促进多样化探索,实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research(微软研究院);Facebook AI Research(Facebook 人工智能研究院);University of Washington(华盛顿大学);Cornell University(康奈尔大学)
用于强化学习的直接策略梯度方法是一种成功的方法,原因有很多:它们是无模型的,它们直接优化感兴趣的性能指标,并且它们允许丰富的参数化策略。它们的主要缺点是,由于是地方性的,它们无法充分探索环境。相比之下,虽然基于模型的方法和Q学习直接通过使用乐观来处理探索,但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度(PC-PG)算法,该算法可证明使用学习策略(策略覆盖)的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP,更一般地说,线性MDP在无限维RKHS。此外,PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证,以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal(蒙特利尔大学);Mila - Québec AI Institute(蒙特利尔人工智能研究所);Université Laval(拉瓦尔大学);IID - Institut Intelligence et Données(智能与数据研究所);LawZero;CIFAR AI Chair(CIFAR人工智能主席)
提出SHAPO算法,通过锐度感知策略更新隐式重加权梯度,放大罕见不安全动作的影响,抑制安全动作的贡献,从而在欠探索区域实现保守行为,提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
InvestESG: A multi-agent reinforcement learning benchmark for studying climate investment as a social dilemma
University of Washington(华盛顿大学);Google Deepmind(谷歌DeepMind)
该研究提出多智能体强化学习基准InvestESG,模拟企业气候投资的跨期社会困境,通过开源模拟验证ESG披露指令下投资者参与对企业减缓措施的影响,为气候投资政策设计提供MARL研究工具与实证依据。
2025-02-10 cs.CY cs.LG cs.MA
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出了样本感知的策略熵正则化,以加强传统的策略熵正则化,以更好地探索。利用可从重放缓冲器获得的样本分布,所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵,以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者(DAC)。数值结果表明,DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Safe Exploration via Policy Priors
ETH Zurich(苏黎世联邦理工学院)
提出SOOPER方法,利用次优但保守的策略先验,结合概率动力学模型进行乐观探索和悲观回退,在保证安全的同时收敛到最优策略。
2026-08-14 cs.AI cs.LG cs.RO
Policy Choice and Best Arm Identification: Asymptotic Analysis of Exploration Sampling
AI Lab, CyberAgent, Inc.(CyberAgent公司AI实验室);School of Electrical Engineering and Computer Science, KTH(KTH皇家理工学院电气工程与计算机科学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Fox School of Business, Temple University(天普大学福克斯商学院);Columbia Business School, Columbia University(哥伦比亚大学商学院)
我们考虑了“政策选择”问题-在强盗文献中也称为最佳手臂识别-由Kasy和Sautmann(2021)提出的自适应实验设计。Kasy和Sautmann(2021)的定理1提供了三个渐近结果,为这种设置开发的勘探采样提供了理论保证。我们首先指出定理1(1)的证明存在技术问题,定理1(2)的证明和陈述是不正确的。然后,我们通过一个反例证明定理1(3)是假的。对于前两种情况,我们对这些说法进行了修正,并给出了严格的证明。对于定理1(3),我们提出了一个可供选择的目标函数,我们称之为后验加权策略后悔,并导出了探索抽样的渐近最优性。
2021-11-24 cs.LG econ.EM stat.ME
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University(亚利桑那州立大学);Google DeepMind(谷歌DeepMind)
深度确定性策略梯度(DDPG)等无模型强化学习算法通常需要额外的探索策略,特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时,训练的潜像嵌入。此外,DDPG的扩展派生使用价值函数作为评论家,利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家,后者受益于规划器生成的增强探索。两个连续的控制任务,一个在模拟和一个在现实世界中的方法进行评估。特别是,Baxter机器人被训练来执行插入任务,同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University(西蒙菲莎大学计算科学学院);University of Melbourne(墨尔本大学)
本文提出一种基于最优控制值函数的基线,用于深度强化学习策略梯度方法,在策略学习中提供引导探索,并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
RL for Mitigating Cascading Failures: Targeted Exploration via Sensitivity Factors
Rensselaer Polytechnic Institute(伦斯勒理工学院);GE Vernova Advanced Research(GE Vernova先进研究院)
本文针对电网弹性与气候变化的相互影响问题,提出物理引导强化学习(PG-RL)框架,通过利用潮流敏感度因子引导探索,确定实时补救线路切换动作,提升电网资源利用率并优化停电缓解策略,增强电网弹性。
2024-11-27 cs.AI cs.LG cs.SY
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所(IHMC))
尽管深度强化学习算法取得了进步,但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法,或者需要环境的模型,或者训练额外的深度神经网络来生成增强路径。在本文中,一个革命性的算法,称为策略增强,介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值,帮助代理采取行动,这将导致高价值的回报,而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明,优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University(麦吉尔大学);Mila Québec AI Institute(米拉魁北克人工智能研究所)
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习,而不提供进一步的数据汇集的可能性。在本文中,我们证明了由于外推引入的错误,标准的非策略深度强化学习算法(如DQN和DDPG)无法使用与当前策略下的分布不相关的数据进行学习,这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法,批量约束强化学习,它限制了动作空间,以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法,该算法可以从任意固定的批量数据中有效地学习,并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
University of Washington(华盛顿大学);Amazon FAR(亚马逊FAR)
本文提出TMRL框架,通过结合行为克隆预训练与强化学习微调,解决预训练中动作分布狭窄的问题,提升机器人策略微调的样本效率。
2026-08-13 cs.AI cs.LG cs.RO
An Optimal Policy for Learning Controllable Dynamics by Exploration
School of Science and Technology University of New England(科学与技术学院 新英格兰大学)
本文提出了一种通过有限时间探索学习可控动态的最优策略,利用约束集选择控制以最大化信息增益,并通过计数论证和动态规划性质证明其最优性。
2025-12-23 cs.AI cs.LG cs.SY