Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University（纽约大学）；DeepMind（深度思维）
尽管探索和样本效率之间存在密切联系，但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中，我们解决这个似乎错过的机会。我们观察到，深度RL中最常见的定向探索公式，即基于奖励的探索（BBE），在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明，通过解耦的任务政策的探索政策，定向探索可以是非常有效的样本有效的连续控制。我们的方法，解耦的探索和开发策略（DEEP），可以与任何非策略RL算法相结合，无需修改。当与软行动者-批评者结合使用时，DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中，由于更好的探索，DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University（吉林大学）
近端策略优化（PPO）算法是一种深度强化学习算法，在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习，虽然有一些方案可以使探索更加充分，与数据开发更加平衡，但由于算法的复杂性，它们不能应用于复杂环境。基于具有密集奖励的连续控制任务，分析了PPO算法中原始高斯行为探索机制的假设，阐明了探索能力对性能的影响。然后，针对探测问题，设计了一种基于不确定性估计的探测增强机制。然后，将探索增强理论应用于PPO算法，提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法（IEM-PPO）。在实验部分，我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估，并将IEM-PPO算法与好奇心驱动的探索算法（ICM-PPO）和原始算法（PPO）进行了比较。实验结果表明，IEM-PPO算法需要较长的训练时间，但在样本效率和累积回报方面表现较好，具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung（太阳能与氢能研究中心）
策略梯度方法直接在参数空间中进行搜索，是最有效、最鲁棒的直接策略搜索方法之一，近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度，它使用两个围绕当前假设对称的样本，以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中，我们将展示如何勘探参数可以被采样准对称，尽管有有限的，而不是自由的勘探参数。我们给出了一个变换近似，以获得准对称样本的勘探，而不改变整体的抽样分布。最后，我们将证明，对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC（谷歌研究，纽约市）
本文提出一种解耦探索与策略优化的方法，通过树搜索策略和不确定性测量提升探索效率，在困难探索任务中取得显著成果。
2026-05-13 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University（复旦大学智能医学信息研究所）
针对离线强化学习中数据腐败导致策略过度保守的问题，提出抗腐败优势加权回归（CAWR），通过鲁棒损失函数和优势优先经验回放过滤不良探索，在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off
College of Software, Nankai University（南开大学软件学院）；Zhongguancun Academy（中关村学院）；School of Automation , Beijing Institute of Technology（北京理工大学自动化学院）；College of Computer Science（计算机科学学院）；Technology, Zhejiang University（浙江大学技术学院）
本文提出DCPO，通过分布层面的正则化实现可控探索，改进了探索-利用权衡。
2026-01-19 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Diverse Exploration via Conjugate Policies for Policy Gradient Methods
Binghamton University（宾厄姆顿大学）；Yantai University（烟台大学）
我们解决的挑战，有效的勘探，同时保持良好的性能，在策略梯度方法。作为一种解决方案，我们提出了通过共轭政策的多样性探索（DE）。DE学习和部署一组共轭策略，这些策略可以作为共轭梯度下降的副产品方便地生成。我们提供的理论和实证结果表明，DE在实现探索，提高政策绩效的有效性，DE的优势，探索随机政策扰动。
2019-02-10 cs.LG stat.ML
Colored Noise in PPO: Improved Exploration and Performance through Correlated Action Sampling
Department of Computer Science, University of Innsbruck（因斯布鲁克大学计算机科学系）；Digital Science Center, University of Innsbruck（因斯布鲁克大学数字科学中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Computer Science, University of Tübingen（蒂宾根大学计算机科学系）
本文提出基于有色噪声的PPO随机策略，证明介于白噪声与粉红噪声之间的相关动作采样可改善在策略探索和性能，并建议将其设为默认噪声源。
2024-06-17 cs.LG
Dimensionality Reduction and Prioritized Exploration for Policy Search
TU Darmstadt（达姆施塔特工业大学）
黑盒策略优化是一类强化学习算法，它在参数级探索和更新策略。这类算法被广泛应用于机器人运动原语或不可微的政策。此外，这些方法特别适用于在行动层面上的探索可能导致致动器损坏或其他安全问题的情况。然而，黑盒优化不能很好地随着策略维度的增加而扩展，导致对样本的高需求，而在现实世界的系统中获得样本是昂贵的。在许多实际应用中，政策参数对回报的贡献并不相等。识别最相关的参数可以缩小探索范围并加快学习速度。此外，仅更新有效参数需要更少的样本，提高了方法的可扩展性。我们提出了一种新的方法，优先探索有效的参数，并应付完整的协方差矩阵更新。我们的算法比最近的方法学习得更快，并且需要更少的样本来实现最先进的结果。为了选择有效的参数，我们考虑了皮尔逊相关系数和互信息。我们展示了我们的方法在几个模拟环境中，包括机器人模拟的相对熵策略搜索算法的能力。代码可在https：//git.ias.informatik.tu-darmstadt.de/ias\_code/aistats 2022/dr-creps获取。
2022-03-19 cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据，以便有效地加速复杂任务的强化学习。然而，如果手头的任务过度偏离演示的任务，这种方法的有效性是有限的。在我们的工作中，我们建议从更多样化的任务共享的离线数据中学习特征，例如动作和方向性之间的相关性。因此，我们引入了无状态先验，它直接对演示轨迹中的时间一致性进行建模，并且能够在复杂任务中驱动探索，即使在对简单任务收集的数据进行训练时也是如此。此外，我们引入了一种新的集成方案，在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较，并提供了经验证据，证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
基于模型的强化学习（RL）是一种流行的学习范式，由于其潜在的样本效率相比，无模型RL。然而，现有的基于经验模型的强化学习方法缺乏探索能力。本文研究了核化非线性调节器（KNR）和线性马尔可夫决策过程（MDP）的一种基于模型的算法。对于这两种模型，我们的算法保证多项式样本的复杂性，只使用访问规划预言。在实验中，我们首先证明了我们的算法的灵活性和有效性的一组探索具有挑战性的控制任务，现有的基于经验模型的RL方法完全失败。然后，我们表明，我们的方法保留了出色的性能，即使在常见的密集奖励控制基准，不需要大量的探索。最后，我们证明了我们的方法也可以有效地进行无奖励探索。我们的代码可以在https://github.com/yudasong/PCMLP上找到。
2021-07-15 cs.LG
When should agents explore?
DeepMind（深度思维）
探索仍然是强化学习（RL）的核心挑战。实际上，所有现有的方法都具有单一行为策略的特征，这种策略只能逐渐（充其量）改变。相比之下，动物和人类的探索行为表现出丰富的多样性，即包括模式之间的转换形式。本文提出了一个初步的研究模式切换，非单片探索的RL。我们研究了不同的模式之间切换，在什么时间尺度上切换是有意义的，以及什么信号可以触发良好的切换。我们还提出了实用的算法组件，使切换机制的自适应性和鲁棒性，这使得灵活性，而无需伴随超参数调整负担。最后，我们报告了一个有前途的和详细的分析雅达利，使用双模式探索和切换在子情节的时间尺度。
2022-03-04 cs.AI cs.LG
DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off
East China Normal University（东华师范大学）；Ant Group（蚂蚁集团）；Shanghai Innovation Institute（上海创新研究院）；Xiamen University（厦门大学）
本文提出 DiPO 方法，通过解耦 perplexity 空间来优化探索与利用的平衡，提升 LLM 在数学推理和函数调用任务中的性能。
2026-04-15 cs.LG
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Cornell University（康奈尔大学）；Netflix, Inc.（网飞公司）
本文提出用对数损失训练拟合Q迭代（FQI-log），证明其样本复杂度与最优策略的累积成本成比例，并在最优行动零成本的问题中实现小成本界，实验表明其样本效率优于平方损失FQI。
2024-08-01 cs.LG
Evaluation-Time Policy Switching for Offline Reinforcement Learning
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
本文提出离线RL评估时策略切换方法，利用认知与偶然不确定性在离策略RL和BC智能体间动态选择，提升多基准表现并可安全扩展至离线到在线微调。
2025-03-15 cs.AI cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Learning Efficient and Effective Exploration Policies with Counterfactual Meta Policy
Nankai University（南开大学）；Microsoft Research Asia（微软亚洲研究院）
强化学习算法中的一个基本问题是对环境的探索和对代理已经获得的信息的利用之间的平衡。特别是，探究对于学习过程的效率和有效性都起着至关重要的作用。然而，现有的探索工作涉及任务不可知的设计，这是在一个环境中表现良好，但不适合另一个。目的是以自动化的方式学习有效和高效的勘探策略。我们形式化了一个可行的度量标准，用于测量基于反事实意识形态的探索效用。在此基础上，提出了一种基于元学习的端到端探索策略学习算法。我们证明，我们的方法取得了良好的效果相比，以前的作品在高维控制任务的MuJoCo模拟器。
2019-05-28 cs.LG stat.ML
Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR
University of New South Wales (UNSW Sydney)（新南威尔士大学（新南威尔士大学悉尼分校））
针对RLVR中回滚轨迹相似导致优势信号弱的问题，提出EDEN方法，通过锚定噪声扰动回滚源提升探索性，在数学推理基准上优于GRPO等方法。
2026-10-14 cs.LG
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics（伦敦政治经济学院）
本文针对离线强化学习中的策略切换问题，提出基于最优传输的平衡切换框架及Net Actor-Critic算法，并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
Safety Representations for Safer Policy Learning
Mila, Université de Montréal（米拉研究所，蒙特利尔大学）；Hydro-Québec Research Center（魁北克水电研究中心）；Standford University（斯坦福大学）
本文提出一种显式学习状态条件安全表示的方法，通过增强状态特征来平衡探索与安全，在安全关键型场景中提升任务性能并减少训练期间的约束违反。
2025-02-27 cs.LG
HCPO: Hierarchical Conductor-Based Policy Optimization in Multi-Agent Reinforcement Learning
针对协作式多智能体强化学习中联合策略因缺乏协调探索而受限的问题，提出基于指挥者的联合策略框架及HCPO算法，通过分层优化提升联合策略表达能力与探索效率，理论验证单调性，实验在多基准上优于基线。
2025-11-15 cs.LG
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；ENSAE Paris（巴黎高等经济商业学院）
本文提出首个保守且可证明高效的免模型强化学习算法，利用重要性采样反事实评估保守条件，确保学习过程中性能不低于基线策略，并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano（米兰理工大学）
在一个无奖励的环境中，什么是一个合适的内在目标的代理追求，使它可以学习一个最佳的任务不可知的探索政策？在本文中，我们认为，熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是，我们提出了一种新的和实用的策略搜索算法，最大熵策略优化（MEPOL），学习的政策，最大化的非参数，$k$ -最近邻估计的状态分布熵。与已知方法相比，MEPOL是完全无模型的，因为它既不需要估计任何策略的状态分布，也不需要对过渡动态进行建模。然后，我们经验表明，MEPOL允许学习最大熵的探索政策，在高维，连续控制域，以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
Rarely-switching linear bandits: optimization of causal effects for the real world
University of Pennsylvania（宾夕法尼亚大学）；University of Pittsburgh（匹兹堡大学）
在许多现实世界中，过度改变策略是困难的、不道德的或昂贵的。毕竟，医生指南、税法和价目表只能经常重印。因此，我们可能只想在改变政策可能是有益的时候才改变政策。在政策是背景变量的阈值的情况下，我们可以估计处于阈值的人群的处理效应。这允许增量策略更新的时间表，使我们能够优化策略，同时进行很少的有害更改。使用这个想法，和线性上下文强盗的理论，我们提出了一个保守的政策更新过程，只有当合理的更新确定性的政策。我们扩展的线性土匪理论，这种罕见的切换情况下，证明这样的程序共享相同的遗憾，不断缩放，作为共同的LinUCB算法。然而，该算法对其策略的更改要少得多，并且在这些更改中，更少的是有害的。我们提供了模拟和婴儿健康福祉的因果推断数据集的分析，表明该算法有效地学习一个很好的政策，很少的变化。我们的方法可以有效地解决需要避免变化的问题，在医学，经济学等领域具有潜在的应用。
2019-10-15 cs.LG stat.ML
Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning
Washington State University（华盛顿州立大学）；University of Minnesota（明尼苏达大学）；Oregon State University（俄勒冈州立大学）
提出约束自适应策略切换（CAPS）框架，通过在训练时学习多个不同奖励与成本权衡的策略，并在测试时根据当前成本约束动态切换策略，解决了离线安全强化学习中无需重训即可适应变化安全约束的挑战。
2025-05-27 cs.AI cs.LG
Learning to Explore with Meta-Policy Gradient
Baidu Research（百度研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
包括深度Q学习和深度确定性策略梯度（DDPG）在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声，并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中，我们开发了一个简单的Meta策略梯度算法，使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为，是独立的演员的政策，产生一个\emph{global exploration}，显着加快学习过程。通过广泛的研究，我们表明，我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Cautiously Optimistic Policy Optimization and Exploration with Linear Function Approximation
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
策略优化方法是流行的强化学习算法，因为它们的增量和基于策略的性质使它们比基于值的算法更稳定。然而，相同的属性也使它们收敛缓慢，采样效率低下，因为策略要求排除了数据重用，并且增量更新将大的迭代复杂性耦合到采样复杂性中。这些特性已经在实验中观察到，以及在理论上在最近的工作~ \citet{agarwal2020pc}，它提供了一个政策优化方法PCPG，可以鲁棒地找到近似线性马尔可夫决策过程的近最优政策，但遭受一个非常差的样本复杂度相比，基于值的技术。在本文中，我们提出了一种新的算法，COPOE，克服了样本复杂性问题的PCPG，同时保持其鲁棒性模型误指定。与PCPG相比，COPOE进行了几项重要的算法增强，例如支持数据重用，并使用了更精细的分析技术，我们预计这些技术将更广泛地适用于设计新的强化学习算法。结果是样本复杂度从PCPG的$\widetilde{O}(1/ε^{11})$提高到PCPG的$\widetilde{O}(1/ε^3)$，几乎弥补了基于值的技术的差距。
2021-06-29 cs.LG
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
University of Tokyo（东京大学）；Aalto University（阿尔托大学）
提出ReMax目标函数，通过最大化M个样本的期望最大回报来使探索行为自然涌现，并推导策略梯度公式及RePPO算法，在MinAtar和Craftax基准上无需显式探索奖励即可促进探索。
2026-09-15 cs.AI cs.LG
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊公司）；Cruise（克鲁斯公司）；Horizon Robotics（地平线机器人）
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$（OFU）的原则，我们训练一个单独的探索政策，以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而，这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题，我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是，我们纠正了政策和批评的培训分布。从经验上讲，我们评估我们提出的方法在几个具有挑战性的连续控制任务，并表现出优越的性能相比，国家的最先进的方法。我们还进行了广泛的消融研究，以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida（中佛罗里达大学）
本文介绍了一种利用收益率序列的加权方差或加权时间差（TD）误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源，可以用来指导强化学习的探索。直觉是，收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进，进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面，我们的分析表明，这两个可以是有价值的指导探索。我们提出了一个双流网络架构，估计加权方差/TD内的DQN代理的错误，我们的探索方法，并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Off-Policy Evaluation Using Information Borrowing and Context-Based Switching
Intuit（英图伊特公司）；University of Houston（休斯顿大学）；California Institute of Technology（加州理工学院）；Texas A&M University（德克萨斯农工大学）
针对上下文多臂老虎机的离策略评估问题，提出DR-IC估计器，通过信息借用的参数奖励模型和上下文自适应切换同时降偏差方差，有理论保证且性能优于现有算法。
2024-08-18 cs.LG stat.ML
Off-Policy Deep Reinforcement Learning with Analogous Disentangled Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
非策略强化学习（RL）涉及通过执行收集经验样本的另一个策略来学习奖励策略。虽然前一个策略（即目标策略）是有回报的，但在表达（在大多数情况下，确定性），在后一个任务中做得好，相反，需要一个表达策略（即行为策略），提供指导和有效的探索。与大多数在最优性和表现力之间进行权衡的方法相反，解纠缠框架明确地将这两个目标解耦，每个目标都由一个不同的单独策略处理。虽然能够自由地设计和优化这两个策略，但天真地将它们分开可能会导致低效的学习或稳定性问题。为了缓解这个问题，我们提出的方法模拟解开演员评论家（ADAC）设计类似的演员和评论家对。具体地说，ADAC利用Stein变分梯度下降（SVGD）的一个关键属性来约束基于表达能量的行为策略相对于目标的有效探索。此外，引入了一个类似的批评家对，以原则性的方式纳入内在奖励，理论上保证了整体学习的稳定性和有效性。我们在14个连续控制任务上实证评估了环境奖励ADAC，并报告了其中10个任务的最新进展。我们进一步证明了ADAC，当与内在奖励配对时，在探索挑战性任务中表现优于替代品。
2020-02-27 cs.LG stat.ML
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
近端策略优化（PPO）是一种非常流行的基于策略的深度强化学习（DRL）方法。然而，我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题，我们提出了PPO-UE，一个PPO的变种配备了自适应的不确定性感知探索（UE）的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析，通过改变比例的不确定性水平，我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Behind the Myth of Exploration in Policy Gradients
Montefiore Institute（蒙费伊尔研究所）；University of Liège（利耶大学）
本文从数值优化角度分析策略梯度中的探索项，提出学习目标和随机梯度估计的评价标准，揭示其平滑目标消除局部最优、优化梯度估计提升最优策略获取概率的作用，并通过熵奖励策略实证验证。
2025-08-20 cs.LG stat.ML
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong（香港中文大学）
传统的强化学习（RL）算法通常由单个智能体独立学习来解决任务。因此，智能体只能探索状态-动作空间的有限部分，而学习到的行为与智能体先前的经验高度相关，使得训练容易陷入局部最小值。在这项工作中，我们赋予RL团队合作的能力，并提出了一种新的非局部策略优化框架，称为多样性正则化协作探索（DiCE）。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制，以保持团队的多样性，调节探索。我们实现的框架，在政策和关闭政策的设置和实验结果表明，DiCE可以实现实质性的改善，在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Evolutionary Policy Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对强化学习中探索-利用权衡问题，提出集成神经进化与策略梯度的混合算法EPO，在Atari基准上验证其策略质量和样本效率优于标准PG与EC方法。
2025-04-17 cs.LG cs.NE
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
研究大语言模型强化学习中PPO-Clip的探索崩溃问题，提出黎曼等距策略优化（RIPO）方法，通过保证黎曼流形上等距策略更新平衡探索与利用，在七个竞争级基准上显著超越现有算法。
2026-10-09 cs.AI cs.LG
Multi-Path Policy Optimization
IIIS, Tsinghua University（清华大学交叉信息研究院）；Alibaba Group（阿里巴巴集团）
近年来，深度强化学习取得了巨大的进步。然而，一个具有挑战性的问题是，代理可能会遭受低效的探索，特别是对政策的方法。以往的探测方法要么依赖于复杂的结构来估计状态的新颖性，要么引入敏感的超参数导致不稳定。我们提出了一种有效的探索方法，多路径策略优化（MPPO），它不会产生很高的计算成本，并确保稳定性。MPPO维护了一种有效的机制，可以有效地利用各种策略来实现更好的探索，特别是在稀疏环境中。并给出了稳定性能的理论保证。我们的方案建立在两个广泛采用的策略上的方法，信任区域策略优化算法和近端策略优化算法。我们对几个MuJoCo任务及其稀疏化变体进行了广泛的实验，以公平地评估所提出的方法。结果表明，MPPO显着优于国家的最先进的勘探方法在样本效率和最终性能。
2020-02-14 cs.LG stat.ML
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models
Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系、北京理工大学、清华大学）
针对现有RL策略探索方法缺乏任务适应性和动态调整的问题，提出LLM-Explorer，利用LLM分析学习轨迹并生成自适应探索分布，作为即插模块兼容多种RL算法，在Atari和MuJoCo上平均性能提升达37.27%。
2025-10-23 cs.AI cs.LG
Model-Based Policy Gradients with Parameter-Based Exploration by Least-Squares Conditional Density Estimation
Tokyo Institute of Technology（东京工业大学）；ATR Computational Neuroscience Labs（ATR计算神经科学实验室）
强化学习（RL）的目标是让智能体在未知的环境中学习最优控制策略，以使未来的期望回报最大化。无模型RL方法直接基于数据样本学习策略。虽然使用许多样本往往会提高策略学习的准确性，但在实践中收集大量样本通常是昂贵的。另一方面，基于模型的强化学习方法首先估计环境的过渡模型，然后基于估计的过渡模型学习策略。因此，如果从少量数据中准确地学习到转换模型，则基于模型的方法可以比无模型方法执行得更好。在本文中，我们提出了一种新的基于模型的RL方法相结合，最近提出的无模型的策略搜索方法称为政策梯度与基于参数的探索和国家的最先进的过渡模型估计称为最小二乘条件密度估计。通过实验，我们证明了所提出的方法的实用性。
2013-07-19 cs.LG stat.ML
How Log-Barrier Helps Exploration in Policy Optimization
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）
本文提出通过引入对数屏障正则化来改进策略优化中的探索机制，证明了其在样本复杂度和收敛性方面的优势。
2026-05-08 cs.AI cs.LG
Efficient On-Policy Reinforcement Learning via Exploration of Sparse Parameter Space
Department of Computer Science Stony Brook University（计算机科学系石溪大学）
针对同策略强化学习中替代梯度与真实奖励相关性差、参数空间局部结构未被充分探索的问题，提出可插拔流水线ExploRLer，通过迭代级探测梯度更新的未探索邻域，在不增加梯度更新次数的前提下显著提升复杂连续控制任务性能。
2025-09-30 cs.AI cs.LG
Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
本文提出耦合策略优化方法，通过KL约束调节策略多样性，提升大规模强化学习中的探索效率和学习性能。
2026-03-03 cs.AI cs.LG cs.RO
Meta Policy Switching for Secure UAV Deconfliction in Adversarial Airspace
Faculty of Engineering and Applied Sciences, Cranfield University（工程与应用科学学院，克兰菲尔德大学）
本研究提出元策略切换框架，通过动态选择稳健策略提升无人机在对抗性空域中的安全导航能力。
2025-12-13 cs.AI cs.LG
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
针对无模型强化学习（RL）提出了一种新的策略梯度形式，并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索，这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略，促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报，那么它就被认为是被低估了。所提出的探索策略易于实现，需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性，并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务，并推广到长序列。据我们所知，这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beihang University（北航）
提出Policy Split方法，将策略分裂为正常和高熵两种模式，通过协作双模式熵正则化在保持准确性的同时促进多样化探索，实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
