Model-based Policy Optimization using Symbolic World Model
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control”（联邦计算机科学与控制研究中心）；Artificial Intelligence Research Institute（人工智能研究院）
针对无模型强化学习样本效率低的问题，提出用符号回归生成符号世界模型，在模型策略优化中生成轨迹，提升样本效率，在模拟任务中优于基线与无模型方法。
2024-07-18 cs.LG
Conservative Exploration for Policy Optimization via Off-Policy Policy Evaluation
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；ENSAE Paris（巴黎高等经济商业学院）
本文提出首个保守且可证明高效的免模型强化学习算法，利用重要性采样反事实评估保守条件，确保学习过程中性能不低于基线策略，并构建了深度强化学习中的通用保守探索框架。
2023-12-24 cs.LG stat.ML
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano（米兰理工大学）
在一个无奖励的环境中，什么是一个合适的内在目标的代理追求，使它可以学习一个最佳的任务不可知的探索政策？在本文中，我们认为，熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是，我们提出了一种新的和实用的策略搜索算法，最大熵策略优化（MEPOL），学习的政策，最大化的非参数，$k$ -最近邻估计的状态分布熵。与已知方法相比，MEPOL是完全无模型的，因为它既不需要估计任何策略的状态分布，也不需要对过渡动态进行建模。然后，我们经验表明，MEPOL允许学习最大熵的探索政策，在高维，连续控制域，以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法，特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想，给出了一种高效的策略梯度方法：（a）具有基于参数的探索的策略梯度，这是最近提出的具有低梯度估计方差的策略搜索方法，（b）重要性采样技术，其允许我们以一致的方式重新使用先前收集的数据，以及（c）最优基线，其最小化梯度估计的方差，同时保持它们的无偏性。对于所提出的方法，我们给出了理论分析的梯度估计的方差，并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
More Efficient Exploration with Symbolic Priors on Action Sequence Equivalences
Inria（法国国家信息与自动化研究所）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Google Research（谷歌研究院）
在强化学习算法中，先验知识的提取是一个悬而未决的问题。即使有关于环境动态的见解，强化学习传统上也用于白板设置，必须从头开始探索和学习一切。在本文中，我们考虑的问题，利用先验的行动序列等价：即，当不同的行动序列产生相同的效果。我们提出了一个新的本地探索策略校准，以尽量减少碰撞，最大限度地增加新的状态访问。我们表明，这种策略可以计算在很小的成本，通过求解凸优化问题。通过替换DQN中通常的ε-贪婪策略，我们展示了它在具有各种动态结构的几种环境中的潜力。
2021-11-07 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning with Analogous Disentangled Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
非策略强化学习（RL）涉及通过执行收集经验样本的另一个策略来学习奖励策略。虽然前一个策略（即目标策略）是有回报的，但在表达（在大多数情况下，确定性），在后一个任务中做得好，相反，需要一个表达策略（即行为策略），提供指导和有效的探索。与大多数在最优性和表现力之间进行权衡的方法相反，解纠缠框架明确地将这两个目标解耦，每个目标都由一个不同的单独策略处理。虽然能够自由地设计和优化这两个策略，但天真地将它们分开可能会导致低效的学习或稳定性问题。为了缓解这个问题，我们提出的方法模拟解开演员评论家（ADAC）设计类似的演员和评论家对。具体地说，ADAC利用Stein变分梯度下降（SVGD）的一个关键属性来约束基于表达能量的行为策略相对于目标的有效探索。此外，引入了一个类似的批评家对，以原则性的方式纳入内在奖励，理论上保证了整体学习的稳定性和有效性。我们在14个连续控制任务上实证评估了环境奖励ADAC，并报告了其中10个任务的最新进展。我们进一步证明了ADAC，当与内在奖励配对时，在探索挑战性任务中表现优于替代品。
2020-02-27 cs.LG stat.ML
Behind the Myth of Exploration in Policy Gradients
Montefiore Institute（蒙费伊尔研究所）；University of Liège（利耶大学）
本文从数值优化角度分析策略梯度中的探索项，提出学习目标和随机梯度估计的评价标准，揭示其平滑目标消除局部最优、优化梯度估计提升最优策略获取概率的作用，并通过熵奖励策略实证验证。
2025-08-20 cs.LG stat.ML
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong（香港中文大学）
传统的强化学习（RL）算法通常由单个智能体独立学习来解决任务。因此，智能体只能探索状态-动作空间的有限部分，而学习到的行为与智能体先前的经验高度相关，使得训练容易陷入局部最小值。在这项工作中，我们赋予RL团队合作的能力，并提出了一种新的非局部策略优化框架，称为多样性正则化协作探索（DiCE）。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制，以保持团队的多样性，调节探索。我们实现的框架，在政策和关闭政策的设置和实验结果表明，DiCE可以实现实质性的改善，在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Vertical Symbolic Regression via Deep Policy Gradient
Purdue University（普渡大学）
针对纵向符号回归与深度神经网络直接结合存在的梯度传递等问题，提出基于深度策略梯度的VSR-DPG方法，将符号回归建模为序列决策过程，在多类方程识别基准上性能显著优于现有方法。
2024-02-01 cs.AI cs.LG
Curiosity-driven RL for symbolic equation solving
Starling Research Institute（星灵研究机构）
该研究探索强化学习在符号数学中的应用，提出融合好奇心探索与图动作的无模型PPO算法，可求解含根式、指数、三角函数的非线性方程，为通用符号推理任务提供新思路。
2025-10-29 cs.AI cs.LG
Multi-Path Policy Optimization
IIIS, Tsinghua University（清华大学交叉信息研究院）；Alibaba Group（阿里巴巴集团）
近年来，深度强化学习取得了巨大的进步。然而，一个具有挑战性的问题是，代理可能会遭受低效的探索，特别是对政策的方法。以往的探测方法要么依赖于复杂的结构来估计状态的新颖性，要么引入敏感的超参数导致不稳定。我们提出了一种有效的探索方法，多路径策略优化（MPPO），它不会产生很高的计算成本，并确保稳定性。MPPO维护了一种有效的机制，可以有效地利用各种策略来实现更好的探索，特别是在稀疏环境中。并给出了稳定性能的理论保证。我们的方案建立在两个广泛采用的策略上的方法，信任区域策略优化算法和近端策略优化算法。我们对几个MuJoCo任务及其稀疏化变体进行了广泛的实验，以公平地评估所提出的方法。结果表明，MPPO显着优于国家的最先进的勘探方法在样本效率和最终性能。
2020-02-14 cs.LG stat.ML
Model-Based Policy Gradients with Parameter-Based Exploration by Least-Squares Conditional Density Estimation
Tokyo Institute of Technology（东京工业大学）；ATR Computational Neuroscience Labs（ATR计算神经科学实验室）
强化学习（RL）的目标是让智能体在未知的环境中学习最优控制策略，以使未来的期望回报最大化。无模型RL方法直接基于数据样本学习策略。虽然使用许多样本往往会提高策略学习的准确性，但在实践中收集大量样本通常是昂贵的。另一方面，基于模型的强化学习方法首先估计环境的过渡模型，然后基于估计的过渡模型学习策略。因此，如果从少量数据中准确地学习到转换模型，则基于模型的方法可以比无模型方法执行得更好。在本文中，我们提出了一种新的基于模型的RL方法相结合，最近提出的无模型的策略搜索方法称为政策梯度与基于参数的探索和国家的最先进的过渡模型估计称为最小二乘条件密度估计。通过实验，我们证明了所提出的方法的实用性。
2013-07-19 cs.LG stat.ML
BlendRL: A Framework for Merging Symbolic and Neural Policy Learning
Technical University of Darmstadt（达姆施塔特工业大学）；Eindhoven University of Technology（埃因霍温理工大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, Technical University of Darmstadt（达姆施塔特工业大学认知科学中心）
BlendRL是一个神经符号强化学习框架，融合逻辑与神经策略，在Atari环境中优于纯神经和纯符号基线，并展现出对环境变化的鲁棒性。
2025-04-21 cs.AI cs.LG
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Policy Optimization with Model-based Explorations
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
无模型强化学习方法，如近端策略优化算法（PPO）已成功应用于复杂的决策问题，如雅达利游戏。然而，这些方法受到高方差和高样本复杂性的影响。另一方面，学习转变动态的基于模型的强化学习方法更有样本效率，但它们经常遭受转变估计的偏差。如何同时利用基于模型和无模型学习是强化学习的核心问题。在本文中，我们提出了一种新的技术来解决勘探和开采之间的权衡，它把无模型和基于模型的估计之间的差异作为勘探价值的衡量标准。我们将这一新技术应用到PPO算法中，得到了一种新的策略优化方法，称为基于模型探索的策略优化（POME）。POME使用两个组件来预测动作的目标值：一个是通过Monte-Carlo采样估计的无模型组件，另一个是基于模型的组件，它学习转换模型并预测下一个状态的值。POME将这两个目标估计的误差相加作为每个状态-动作对的额外探索值，即鼓励算法探索目标误差较大且难以估计的状态。我们在Atari 2600游戏上比较了POME和PPO，结果表明，在49款游戏中，POME在33款游戏上的表现优于PPO。
2018-11-18 cs.LG stat.ML
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington（惠灵顿维多利亚大学）
深度强化学习（DRL）是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者，因此在多智能体环境中研究DRL非常重要。以往的研究表明，在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而，每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作，并且每当代理改变其沟通渠道时，可能会出现样本效率低下的情况。为了解决这些问题，我们提出了一个新的框架，称为集中式培训和探索，通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下，我们将首先训练具有共享全局组件的代理策略，以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明，我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Exploration by Maximizing Rényi Entropy for Reward-Free RL Framework
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院）
探索是强化学习（RL）的关键。为了应对探索的挑战，我们考虑了一个无奖励的RL框架，该框架将探索与利用完全分离，并为探索算法带来了新的挑战。在探索阶段，代理通过与无奖励环境交互来学习探索性策略，并通过执行策略来收集转换数据集。在规划阶段，智能体基于数据集为任何奖励函数计算好的策略，而无需进一步与环境交互。这个框架适用于Meta RL设置，其中有许多感兴趣的奖励函数。在探索阶段，我们提出了最大化Renyi熵的状态-动作空间，并证明这一目标的理论。以仁义熵为目标函数的成功在于它鼓励人们探索难以达到的状态行为。我们进一步推导出一个策略梯度制定此目标，并设计了一个实用的探索算法，可以处理复杂的环境。在规划阶段，我们使用批量RL算法解决给定任意奖励函数的好策略。经验上，我们表明，我们的探索算法是有效的和样本效率，并在规划阶段的任意奖励函数的优越政策的结果。
2020-12-10 cs.LG stat.ML
Uniformly Conservative Exploration in Reinforcement Learning
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
在实践中部署强化学习的一个关键挑战是避免在单个事件中进行过度（有害）的探索。我们提出了一个自然的限制探索- \textit{uniformly}优于保守的政策（自适应估计从所有数据观察到目前为止），每集的探索预算。我们设计了一种新的算法，它使用UCB强化学习策略进行探索，但在需要时覆盖它以高概率满足我们的探索约束。重要的是，为了确保在状态空间中进行无偏探索，我们的算法自适应地确定何时进行探索。我们证明，我们的方法仍然是保守的，同时最大限度地减少遗憾的表格设置。我们在败血症治疗任务和HIV治疗任务上实验验证了我们的结果，表明我们的算法可以学习，同时确保与每个患者的基线策略相比具有良好的性能;后一项任务还表明我们的方法通过深度强化学习扩展到连续状态空间。
2023-02-24 cs.LG stat.ML
S-REINFORCE: A Neuro-Symbolic Policy Gradient Approach for Interpretable Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (IR)（资讯通信研究院）；A*STAR（新加坡科技研究局）
本文提出S-REINFORCE算法，结合神经网络与符号回归器生成可解释策略，在低维和高维动作空间任务中验证了其有效性与可解释性。
2023-05-12 cs.AI cs.LG
Policy Optimization in Adversarial MDPs: Improved Exploration via Dilated Bonuses
University of Southern California（南加州大学）
策略优化是强化学习中广泛使用的一种方法。然而，由于其局部搜索性质，全局最优性的理论保证通常依赖于马尔可夫决策过程（MDP）的额外假设，这些假设绕过了全局探索的挑战。为了消除这种假设的需要，在这项工作中，我们开发了一个通用的解决方案，增加了扩张奖金的政策更新，以促进全球探索。为了展示这种技术的力量和通用性，我们将其应用于几个具有对抗性损失和强盗反馈的情景MDP设置，改进和推广了最先进的技术。具体来说，在表格中，我们获得了$\widetilde{\mathcal{O}}(\sqrt{T})$后悔，其中$T$是情节的数量，改进了Shani et al.（2020）约束的$\widetilde{\mathcal{O}}({T}^{2/3})$后悔。当状态数为无穷大时，假设状态-动作值在某些低维特征中是线性的，我们在模拟器的帮助下获得了$\widetilde{\mathcal{O}}({T}^{2/3})$遗憾，与Neu和Olkhovskaya（2020）的结果相匹配，同时重要的是消除了他们的算法所需的探索性策略的需要。当模拟器不可用时，我们进一步考虑线性MDP设置，并获得$\widetilde{\mathcal{O}}({T}^{14/15})$遗憾，这是第一个结果的线性MDP对抗损失和强盗反馈。
2021-07-18 cs.LG stat.ML
Safe Exploration for Efficient Policy Evaluation and Comparison
North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊）
高质量的数据在确保政策评估的准确性方面发挥着核心作用。本文提出了一种有效安全的数据汇集方法，用于对土匪政策的评估。我们制定的问题，并调查其几个有代表性的变种。对于每一个变异体，我们分析了它的统计特性，推导出相应的探索策略，并设计了一个有效的算法来计算它，理论分析和实验都证明了所提出方法的有效性.
2022-06-18 cs.LG
Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks and Autoregressive Policy Decomposition
Czech Technical University in Prague（布拉格捷克技术大学）；Artificial Intelligence Center, Department of Computer Science, Faculty of Electrical Engineering（电气工程学院计算机科学系人工智能中心）
针对关系型强化学习中状态与动作空间可变、难用定长表示适配现有方法的问题，提出基于图神经网络和自回归策略分解的无领域依赖深度RL框架，在多领域验证了适用性与跨规模零样本泛化能力。
2023-08-25 cs.AI cs.LG
Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）；Assured Information Security（Assured Information Security（Assured Information Security公司））
我们研究了一个重要但未得到充分解决的问题，即快速安全地改善在线强化学习领域的政策。作为其解决方案，我们提出了一种新的探索策略-多样化的探索（DE），它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策，使有效的勘探，而不牺牲剥削。我们的实证研究表明，在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Vector Symbolic Policy Gradient
University of California, Irvine（加州大学欧文分校）；Intel Corporation（英特尔公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）
该研究提出VSPG算法，以单位范数超向量表示离散动作，通过优势加权超向量捆绑更新动作，可实现样本高效学习且推理内存不增加，还证明其动作选择在随机比特翻转下稳定，连接了三类方法并提供鲁棒性保证。
2026-08-20 cs.AI cs.LG cs.SC
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research（微软研究院）；Facebook AI Research（Facebook 人工智能研究院）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
用于强化学习的直接策略梯度方法是一种成功的方法，原因有很多：它们是无模型的，它们直接优化感兴趣的性能指标，并且它们允许丰富的参数化策略。它们的主要缺点是，由于是地方性的，它们无法充分探索环境。相比之下，虽然基于模型的方法和Q学习直接通过使用乐观来处理探索，但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度（PC-PG）算法，该算法可证明使用学习策略（策略覆盖）的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP，更一般地说，线性MDP在无限维RKHS。此外，PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证，以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
Careful at Estimation and Bold at Exploration
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）
针对确定性策略强化学习中基于策略的探索存在的无目的探索、策略发散及梯度估计不准问题，提出基于双Q函数的贪心Q softmax更新探索策略，在Mujoco基准上取得优于现有方法的性能。
2023-08-22 cs.LG
Centralized Cooperative Exploration Policy for Continuous Control Tasks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Tubingen（蒂宾根大学）
深度强化学习（DRL）算法在解决各种复杂控制任务方面表现出色。这种惊人的成功可以部分归因于DRL鼓励智能代理充分探索环境，并在代理培训过程中收集各种经验。因此，勘探发挥了重要作用，在访问的最佳政策日间行车。尽管最近的工作取得了很大的进展，在连续控制任务，探索这些任务仍然没有得到充分的研究。为了明确地鼓励连续控制任务中的探索，我们提出了CCEP（集中式合作探索策略），该策略利用价值函数的低估和高估来维持探索能力。CCEP首先保持两个初始化为不同参数的价值函数，并从一对价值函数生成具有多种探索风格的不同策略。此外，集中式策略框架确保CCEP实现多个策略之间的消息传递，从而有助于协作地探索环境。大量的实验结果表明，CCEP实现了较高的勘探能力。实证分析表明，CCEP学习的政策具有多样性的勘探风格，在更多的勘探地区获得了收益。CCEP的这种探索能力确保了它在实验中显示的多个连续控制任务中优于当前最先进的方法。
2023-01-06 cs.LG
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University（纽约大学）；DeepMind（深度思维）
尽管探索和样本效率之间存在密切联系，但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中，我们解决这个似乎错过的机会。我们观察到，深度RL中最常见的定向探索公式，即基于奖励的探索（BBE），在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明，通过解耦的任务政策的探索政策，定向探索可以是非常有效的样本有效的连续控制。我们的方法，解耦的探索和开发策略（DEEP），可以与任何非策略RL算法相结合，无需修改。当与软行动者-批评者结合使用时，DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中，由于更好的探索，DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
Proximal Policy Optimization via Enhanced Exploration Efficiency
Jilin University（吉林大学）
近端策略优化（PPO）算法是一种深度强化学习算法，在连续控制任务中表现突出。但是这种方法的性能仍然受到其探测能力的影响。对于经典的强化学习，虽然有一些方案可以使探索更加充分，与数据开发更加平衡，但由于算法的复杂性，它们不能应用于复杂环境。基于具有密集奖励的连续控制任务，分析了PPO算法中原始高斯行为探索机制的假设，阐明了探索能力对性能的影响。然后，针对探测问题，设计了一种基于不确定性估计的探测增强机制。然后，将探索增强理论应用于PPO算法，提出了一种适用于复杂环境的具有内在探索模块的近端策略优化算法（IEM-PPO）。在实验部分，我们在MuJoCo物理模拟器的多个任务上对该方法进行了评估，并将IEM-PPO算法与好奇心驱动的探索算法（ICM-PPO）和原始算法（PPO）进行了比较。实验结果表明，IEM-PPO算法需要较长的训练时间，但在样本效率和累积回报方面表现较好，具有较好的稳定性和鲁棒性。
2020-11-11 cs.LG
Neuro-Symbolic World Models for Adapting to Open World Novelty
Georgia Institute of Technology（佐治亚理工学院）；Georgia Technology Research Institute（佐治亚技术研究院）
开放世界的新奇事物--环境的力学或属性的突然变化--在现实世界中很常见。新颖性适应是主体在新颖性之后改善其政策绩效的能力。大多数强化学习（RL）方法都假设世界是一个封闭的、固定的过程。因此，强化学习策略对新奇事物的适应效率低下。为了解决这个问题，我们引入了WorldCloner，这是一个端到端的可训练神经符号世界模型，用于快速适应新奇事物。WorldCloner学习了一种有效的新颖性前环境转换的符号表示，并使用这种转换模型来检测新颖性，并以单次方式有效地适应新颖性。此外，WorldCloner使用基于解释的适应来增强策略学习过程，其中世界模型模拟后新奇环境的转变以帮助策略适应。通过将“想象”转换与后新奇环境中的交互相结合，可以用更少的总环境交互来恢复性能。使用设计用于研究顺序决策问题中的新颖性的环境，我们表明，符号世界模型有助于其神经策略比基于模型和基于模型的仅神经强化学习方法更有效地适应。
2023-01-16 cs.AI cs.LG cs.SC
Neuro-symbolic Action Masking for Deep Reinforcement Learning
Utrecht University（乌得勒支大学）
NSAM通过自动学习符号模型与深度策略优化结合，提升深度强化学习的样本效率并减少约束违规。
2026-02-11 cs.AI cs.LG
Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients
Kahlert School of Computing（卡勒特计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；Department of Mechanical Engineering, University of Utah（犹他大学机械工程系）
本文提出一种新颖的深度符号回归方法，提升数据驱动数学表达发现的鲁棒性和可解释性。通过频率域注意力和双索引位置编码，结合贝叶斯信息准则奖励函数，改进了表达复杂度与数据适应性的平衡，实验验证了方法的有效性。
2026-03-27 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung（太阳能与氢能研究中心）
策略梯度方法直接在参数空间中进行搜索，是最有效、最鲁棒的直接策略搜索方法之一，近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度，它使用两个围绕当前假设对称的样本，以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中，我们将展示如何勘探参数可以被采样准对称，尽管有有限的，而不是自由的勘探参数。我们给出了一个变换近似，以获得准对称样本的勘探，而不改变整体的抽样分布。最后，我们将证明，对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University（亚利桑那州立大学）；Google DeepMind（谷歌DeepMind）
深度确定性策略梯度（DDPG）等无模型强化学习算法通常需要额外的探索策略，特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时，训练的潜像嵌入。此外，DDPG的扩展派生使用价值函数作为评论家，利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家，后者受益于规划器生成的增强探索。两个连续的控制任务，一个在模拟和一个在现实世界中的方法进行评估。特别是，Baxter机器人被训练来执行插入任务，同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.（Maana公司）；Auburn University（奥本大学）
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习，这通常需要大量的经验。符号规划依赖于手工制作的符号知识，这可能对领域的不确定性和变化不鲁棒。在本文中，我们提出了一个统一的框架{ \em PEORL}，集成了符号规划与分层强化学习（HRL），以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习，并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC（谷歌研究，纽约市）
本文提出一种解耦探索与策略优化的方法，通过树搜索策略和不确定性测量提升探索效率，在困难探索任务中取得显著成果。
2026-05-13 cs.LG
Mask-Based Deep Symbolic Regression
Kahlert School of Computing（卡勒特计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；Department of Mechanical Engineering（机械工程系）；University of Utah（犹他大学）
提出基于扩散的符号回归方法，利用随机掩码扩散去噪生成方程，结合GRPO强化学习与风险寻求策略，有效提升了方程生成的质量与多样性。
2026-10-19 cs.LG
Provably Efficient Exploration in Policy Optimization
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
本文提出乐观近端策略优化算法OPPO，首次在策略优化中实现可证明高效的探索，并在线性函数逼近的对抗性MDP中取得次线性遗憾界。
2024-04-01 cs.LG math.OC stat.ML
Learning to Explore with Meta-Policy Gradient
Baidu Research（百度研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
包括深度Q学习和深度确定性策略梯度（DDPG）在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声，并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中，我们开发了一个简单的Meta策略梯度算法，使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为，是独立的演员的政策，产生一个\emph{global exploration}，显着加快学习过程。通过广泛的研究，我们表明，我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Bayesian Symbolic Regression with Entropic Reinforcement Learning
本研究提出ERRLESS方法，将最大熵强化学习与贝叶斯视角结合用于符号回归，在Feynman基准上表现具有竞争力，生成的表达式简短可解释，且后验预测均值的R²优于SMC基线。
2026-08-12 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University（复旦大学智能医学信息研究所）
针对离线强化学习中数据腐败导致策略过度保守的问题，提出抗腐败优势加权回归（CAWR），通过鲁棒损失函数和优势优先经验回放过滤不良探索，在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off
College of Software, Nankai University（南开大学软件学院）；Zhongguancun Academy（中关村学院）；School of Automation , Beijing Institute of Technology（北京理工大学自动化学院）；College of Computer Science（计算机科学学院）；Technology, Zhejiang University（浙江大学技术学院）
本文提出DCPO，通过分布层面的正则化实现可控探索，改进了探索-利用权衡。
2026-01-19 cs.LG
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research（IBM研究院）
深度强化学习（RL）方法在收敛之前通常需要多次试验，并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习，我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络，它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络（ConceptNet）中提取一阶逻辑事实，然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明，在TextWorld基准测试中，使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
University of Tokyo（东京大学）；Aalto University（阿尔托大学）
提出ReMax目标函数，通过最大化M个样本的期望最大回报来使探索行为自然涌现，并推导策略梯度公式及RePPO算法，在MinAtar和Craftax基准上无需显式探索奖励即可促进探索。
2026-09-15 cs.AI cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Microsoft（微软）；Intel Labs（英特尔实验室）
为稀疏目标学习有效策略是深度强化学习（RL）的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释，但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性，但是是高维的黑箱解决方案，几乎没有可解释性。在本文中，我们提出了一种以低维符号树的形式发现密集奖励的方法，从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励，然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现，密集奖励是RL策略解决基准任务的有效信号。值得注意的是，我们显着优于广泛使用的，当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊公司）；Cruise（克鲁斯公司）；Horizon Robotics（地平线机器人）
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$（OFU）的原则，我们训练一个单独的探索政策，以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而，这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题，我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是，我们纠正了政策和批评的培训分布。从经验上讲，我们评估我们提出的方法在几个具有挑战性的连续控制任务，并表现出优越的性能相比，国家的最先进的方法。我们还进行了广泛的消融研究，以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida（中佛罗里达大学）
本文介绍了一种利用收益率序列的加权方差或加权时间差（TD）误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源，可以用来指导强化学习的探索。直觉是，收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进，进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面，我们的分析表明，这两个可以是有价值的指导探索。我们提出了一个双流网络架构，估计加权方差/TD内的DQN代理的错误，我们的探索方法，并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Reinforcement Learning for Symbolic Equation Solving
Starling Research Institute（斯塔林研究所）
该研究提出一种强化学习智能体，将代数建模为带动态动作空间的MDP，在符号方程求解任务上优于非学习型搜索方法，尤其在指数方程上表现突出，但仅针对四类受控开式方程有效。
2026-09-01 cs.LG
Colored Noise in PPO: Improved Exploration and Performance through Correlated Action Sampling
Department of Computer Science, University of Innsbruck（因斯布鲁克大学计算机科学系）；Digital Science Center, University of Innsbruck（因斯布鲁克大学数字科学中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Computer Science, University of Tübingen（蒂宾根大学计算机科学系）
本文提出基于有色噪声的PPO随机策略，证明介于白噪声与粉红噪声之间的相关动作采样可改善在策略探索和性能，并建议将其设为默认噪声源。
2024-06-17 cs.LG
Dimensionality Reduction and Prioritized Exploration for Policy Search
TU Darmstadt（达姆施塔特工业大学）
黑盒策略优化是一类强化学习算法，它在参数级探索和更新策略。这类算法被广泛应用于机器人运动原语或不可微的政策。此外，这些方法特别适用于在行动层面上的探索可能导致致动器损坏或其他安全问题的情况。然而，黑盒优化不能很好地随着策略维度的增加而扩展，导致对样本的高需求，而在现实世界的系统中获得样本是昂贵的。在许多实际应用中，政策参数对回报的贡献并不相等。识别最相关的参数可以缩小探索范围并加快学习速度。此外，仅更新有效参数需要更少的样本，提高了方法的可扩展性。我们提出了一种新的方法，优先探索有效的参数，并应付完整的协方差矩阵更新。我们的算法比最近的方法学习得更快，并且需要更少的样本来实现最先进的结果。为了选择有效的参数，我们考虑了皮尔逊相关系数和互信息。我们展示了我们的方法在几个模拟环境中，包括机器人模拟的相对熵策略搜索算法的能力。代码可在https：//git.ias.informatik.tu-darmstadt.de/ias\_code/aistats 2022/dr-creps获取。
2022-03-19 cs.LG
