Directed Exploration for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置，如网格世界到大的，连续的和稀疏的奖励设置，如机器人对象操作任务，探索通过添加一个不确定性奖金的奖励函数已被证明是有效的，当不确定性能够准确地驱动探索有希望的状态。然而，奖励奖金仍然是低效的，因为它们是非平稳的，这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法，即学习目标条件策略，其中目标只是其他状态，并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性，因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的，而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley（加州大学伯克利分校）
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证，他们往往是不切实际的，在更高的维度，由于它们依赖于枚举的状态动作空间。因此，复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中，我们考虑了具有挑战性的Atari游戏领域，它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略，包括汤普森采样和玻尔兹曼勘探，并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型，我们能够开发一种可扩展且有效的探索奖金方法，该方法可应用于具有复杂高维状态空间的任务。在雅达利领域，我们的方法提供了最一致的改进，在一系列的游戏，构成了一个重大的挑战，以前的方法。除了原始游戏分数，我们还为Atari学习领域开发了AUC-100指标，以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI（北方人工智能公司）
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习（RL）的一个重要开放问题。本文认为这样一个域，最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明，无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析，阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的，我们开发了一个基于模型的自动推理模块，可以用于更安全的探索修剪行动，肯定会导致代理死亡。我们的经验表明，这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University（斯坦福大学）
Meta强化学习（meta-RL）的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息，并利用这些信息来解决任务。原则上，最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而，由于鸡和蛋的问题，这种元RL方法与局部最优值作斗争：学习探索需要良好的利用来衡量探索的效用，但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题，但是先前的元RL探索目标会产生次优策略，收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优，而不会牺牲最优探索。从经验上讲，DREAM在复杂的元RL问题上的表现远远优于现有的方法，例如稀疏奖励3D视觉导航。视频的梦想：https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Task-agnostic Exploration in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
有效探索是强化学习（RL）的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而，在许多实际场景中，没有一个单一的潜在奖励函数来指导探索，例如，当智能体需要同时学习许多技能时，或者需要平衡多个相互冲突的目标时。为了解决这些挑战，我们提出了\textit{task-agnostic RL}框架：在探索阶段，代理首先通过探索MDP收集轨迹，而无需奖励函数的指导。探索后，它的目的是找到接近最优的政策$N$任务，给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法，\textsc{UCBZero}，发现$ε$ -最优的政策$N$任意任务后，最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限，表明$\log$依赖于$N$是不可避免的。此外，我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时，地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题，我们考虑在街机学习元素（ALE）上评估这个假设的实例。在这项研究中，我们开发了一个专注的动力学模型（ADM），发现可控元素的观察，这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练，以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合，使用我们的表示实现了令人印象深刻的结果，一组臭名昭著的具有挑战性的雅达利游戏，由于稀疏的奖励。例如，我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数，而没有使用专家演示、明确的高级信息（例如，RAM状态）或监控数据。我们的实验证实，偶然意识确实是一个非常强大的概念，用于解决强化学习中的探索问题，并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning for Efficient Exploration
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark（华为诺亚方舟实验室）；University of Oxford（牛津大学）；Huawei Hi-Silicon（华为海思）；University of Waterloo（滑铁卢大学）
在分布式强化学习（RL）中，价值函数的估计分布同时对参数和内在不确定性进行建模.我们提出了一种新的和有效的探索方法，深度RL有两个组成部分。第一个是一个衰减的时间表，以抑制内在的不确定性。第二个是从学习分布的上分位数计算的探索奖金。在Atari 2600游戏中，我们的方法在14个硬游戏中的12个中优于QR-DQN（在49个游戏中，QR-DQN的累积奖励平均获得483%，在Venture中获得巨大胜利）。我们还比较了我们的算法与QR-DQN在一个具有挑战性的三维驾驶模拟器（CARLA）。结果表明，我们的算法实现接近最优的安全奖励比QRDQN快两倍。
2019-05-13 cs.AI cs.LG stat.ML
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago（奥塔哥大学）
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习（RL）的关键挑战。最近，惊喜被用作一种内在奖励，鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索（VASE）。VASE使用贝叶斯神经网络作为环境动态模型，并使用变分推理进行训练，交替更新代理模型和策略的准确性。我们的实验表明，在连续控制稀疏奖励环境中，VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML
Uniformly Conservative Exploration in Reinforcement Learning
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
在实践中部署强化学习的一个关键挑战是避免在单个事件中进行过度（有害）的探索。我们提出了一个自然的限制探索- \textit{uniformly}优于保守的政策（自适应估计从所有数据观察到目前为止），每集的探索预算。我们设计了一种新的算法，它使用UCB强化学习策略进行探索，但在需要时覆盖它以高概率满足我们的探索约束。重要的是，为了确保在状态空间中进行无偏探索，我们的算法自适应地确定何时进行探索。我们证明，我们的方法仍然是保守的，同时最大限度地减少遗憾的表格设置。我们在败血症治疗任务和HIV治疗任务上实验验证了我们的结果，表明我们的算法可以学习，同时确保与每个患者的基线策略相比具有良好的性能;后一项任务还表明我们的方法通过深度强化学习扩展到连续状态空间。
2023-02-24 cs.LG stat.ML
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
使用集成的神经网络（NN）的量化预测的不确定性是广泛的。然而，目前的理由是直观的，而不是分析。这项工作提出了一个小的修改，正常的合奏方法，我们证明允许合奏执行贝叶斯推断，因此收敛到相应的高斯过程的NN的总数，每个的大小，趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果，分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程，可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
Directed Exploration in PAC Model-Free Reinforcement Learning
Columbia University（哥伦比亚大学）
我们研究了一种无模型强化学习的探索方法，该方法推广了基于计数器的探索奖励方法，并考虑了动作的长期探索价值，而不是单步的前瞻。我们提出了一种无模型强化学习方法，该方法修改了延迟Q学习，并利用了具有可证明效率的长期探索奖金。我们表明，我们提出的方法发现一个接近最优的政策在多项式时间（PAC-MDP），也提供了实验证据，我们提出的算法是一个有效的探索方法。
2018-08-31 cs.LG stat.ML
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Parameterized Indexed Value Function for Efficient Exploration in Reinforcement Learning
Stanford University（斯坦福大学）
众所周知，量化动作值估计中的不确定性对于强化学习中的有效探索至关重要。包围采样提供了一种相对容易计算的方法，使用随机化的价值函数来实现这一点。然而，它仍然需要大量的计算资源来处理复杂的问题。在本文中，我们提出了一种替代的，计算效率高的方法来诱导探索使用指数采样。我们使用一个指数化的价值函数来表示行动价值估计中的不确定性。本文首先提出了一种在表格环境下通过时间差分的分布形式学习参数化索引价值函数的算法，并证明了算法的遗憾界。然后，在计算的角度来看，我们提出了一个双网络架构，参数化索引网络（PIN），包括一个平均网络和一个不确定性网络学习的索引价值函数。最后，我们通过计算实验证明了PIN的有效性。
2020-03-19 cs.AI cs.LG stat.ML
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute（佐治亚理工研究院）
强化学习（RL）中的探索-利用权衡是一个众所周知的和大量研究的问题，其平衡贪婪动作选择与新颖经验，并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而，在在线任务转移的背景下，在在线操作过程中任务发生变化，我们假设，预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此，我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中，我们回顾了强化学习探索方法，定义了一个分类，以组织它们，分析这些方法的任务转移的背景下的差异，并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
Exploration Conscious Reinforcement Learning Revisited
Technion（以色列理工学院）
探索-利用权衡出现在强化学习中，当人们无法判断一个策略是否是最优的时候。然后，需要不断探索新的行动，而不是利用过去的经验。在实践中，通常通过使用固定的探索机制（例如$ε$贪婪探索）或通过添加高斯噪声来解决折衷，同时仍然尝试学习最优策略。在这项工作中，我们采取了不同的方法和研究探索意识的标准，导致最佳的政策方面的探索机制。正如我们所建立的，解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析，并描述了两个一般的方法来解决这样的标准。在这些方法的基础上，我们对现有的表格和深度强化学习算法进行了简单的修改，并在经验上证明了相对于非探索意识的同行，无论是离散还是连续的动作空间，都具有更好的性能。
2019-05-13 cs.LG stat.ML
Diversity-Driven Exploration Strategy for Deep Reinforcement Learning
National Tsing Hua University（国立清华大学）
有效探索仍然是强化学习中具有挑战性的研究问题，特别是当环境包含大的状态空间，欺骗性局部最优或稀疏奖励时。为了解决这个问题，我们提出了一种多样性驱动的探索方法，它可以很容易地与关闭和对政策强化学习算法相结合。我们表明，通过简单地添加一个距离测量的损失函数，所提出的方法显着提高代理的探索行为，从而防止政策陷入局部最优。我们进一步提出了一种自适应缩放方法来稳定学习过程。我们在Atari 2600上的实验结果表明，我们的方法在平均得分和探索效率方面优于基线方法。
2018-10-28 cs.AI stat.ML
Regret Bounds and Reinforcement Learning Exploration of EXP-based Algorithms
Northwestern University（西北大学）
本文针对无界奖励下的探索激励问题，提出EXP4.P和EXP4-RL算法，通过整合多专家（含高性能智能体）实现高效探索，建立了遗憾上界并在线性情形下达到全局最优，在难探索游戏中显著优于现有方法。
2024-05-03 cs.AI cs.LG stat.ML
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Attention-based Curiosity-driven Exploration in Deep Reinforcement Learning
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
强化学习能够通过与环境的交互来训练智能体。然而，在大多数现实世界的情况下，外部反馈是稀疏或不充分的，因此需要内在的奖励配方成功训练代理。这项工作调查和扩展好奇心驱动的探索范式。首先，采用概率方法来利用注意力机制的优势，该机制已成功应用于深度学习的其他领域。结合它们，我们提出了新的方法，如AttA 2C，演员批评框架的扩展。其次，扩展了另一种基于好奇心的方法- ICM。该模型利用注意力来强调ICM中动态模型的特征，此外，我们还修改了损失函数，从而产生了一个新的好奇心公式，我们称之为理性好奇心。相应的实现可以在https://github.com/rpatrik96/AttA2C/上找到。
2019-10-23 cs.AI cs.LG stat.ML
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架，将内在动机探索与随机网络蒸馏引入个性化联邦强化学习，在保护客户端隐私的同时，提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
A Meta-MDP Approach to Exploration for Lifelong Reinforcement Learning
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们考虑的问题，一个强化学习代理，负责解决一系列的强化学习问题（一个序列的马尔可夫决策过程）可以使用早期获得的知识，在其生命周期，以提高其解决新问题的能力。我们认为，以前的经验，类似的问题，可以提供一个代理信息，它应该如何探索时，面对一个新的，但相关的问题。我们发现，寻找一个最佳的探索策略，可以制定为一个强化学习问题本身，并证明这种策略可以利用相关问题的结构中发现的模式。最后，我们的实验表明，使用我们提出的方法优化探索策略的好处。
2019-02-03 cs.LG stat.ML
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)（电子和电信研究院（ETRI））
本文针对深度强化学习中的探索问题，发现低初始熵导致学习失败，提出熵感知模型初始化策略，有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对目标条件强化学习中的探索效率问题，提出GEASD框架，通过自适应技能分布优化局部熵，增强目标扩散，实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Guiding Reinforcement Learning Exploration Using Natural Language
University of Kentucky（肯塔基大学）；Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种使用自然语言来帮助强化学习推广到看不见的环境的技术。这种技术使用神经机器翻译，特别是使用编码器-解码器网络，来学习自然语言行为描述和状态-动作信息之间的关联。然后，我们使用这个学习模型来指导代理探索，使用修改后的策略塑造版本，使其在看不见的环境中学习更有效。我们评估这种技术使用流行的街机游戏，青蛙，在理想和非理想条件下。该评估表明，我们修改后的策略成形算法提高了Q学习代理以及基线版本的策略成形。
2017-09-14 cs.AI cs.CL cs.LG
Bayesian Curiosity for Efficient Exploration in Reinforcement Learning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
平衡探索和利用是强化学习的一个基本部分，但大多数最先进的算法使用朴素的探索协议，如$ε$ -greedy。这导致了高样本复杂度的问题，因为算法通过重复访问已经探索过的状态空间的部分而浪费精力。我们引入了一种新的方法，基于贝叶斯线性回归和潜在空间嵌入生成一个内在的奖励信号，鼓励学习代理寻找未探索的部分状态空间。该方法计算效率高，实现简单，并且可以扩展任何最先进的强化学习算法。我们评估了一系列的算法和具有挑战性的控制任务，模拟和物理机器人的方法，演示了所提出的方法可以显着提高样本的复杂性。
2019-11-20 cs.LG stat.ML
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh（爱丁堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
内在奖励可以改善强化学习中的探索，但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中，我们引入了解耦RL（DeRL）作为一个通用框架，它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处，同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明，DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后，我们讨论了分布偏移的挑战，并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo（东京大学）
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明，参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法，并且没有考虑噪声向量的方向及其相关性。此外，需要快速更新噪声分布，以促进政策学习。我们提出了一种方法，变形的噪声分布，根据累积的回报和噪声，导致的回报。此外，该方法在参数空间中切换各向同性探索和定向探索，获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外，我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom；Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题，提出基于蒙特卡洛评论家集成的引导探索方法，动态校正探索动作，并用于同时修改策略与评论家，在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
受使用无监督学习进行强化学习（RL）问题有效探索的流行范式的启发[tang 2017 exploration，bellemare 2016 unifying]，我们调查了这种范式何时被证明是有效的。我们研究情节马尔可夫决策过程与丰富的意见，从少量的潜在状态。我们提出了一个通用的算法框架，它是建立在两个组件：一个无监督学习算法和一个无遗憾的表格RL算法。从理论上证明了只要无监督学习算法具有多项式样本复杂度保证，就可以找到一个样本复杂度多项式的近似最优策略，其潜在状态数显著小于观测数.经验上，我们实例化我们的框架上一类困难的探索问题，以证明我们的理论的实用性。
2020-12-01 cs.AI cs.LG math.OC
Learning-Driven Exploration for Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出基于熵的探索方法，通过自适应探索状态空间未探索区域，提升强化学习的效率和学习速度。
2020-10-16 cs.LG stat.ML
Reinforcement Learning with Probabilistically Complete Exploration
University of Sydney（悉尼大学）；Nvidia（英伟达）
平衡探索和利用仍然是强化学习（RL）的关键挑战。最先进的强化学习算法具有很高的样本复杂度，特别是在稀疏奖励的情况下，在找到第一个正奖励之前，它们只能在各个方向上进行探索。为了减轻这种情况，我们提出了快速随机探索强化学习（R3L）。我们制定探索作为一个搜索问题，并利用广泛使用的规划算法，如快速探索随机树（RRT），以找到初始的解决方案。这些解决方案被用作初始化策略的演示，然后通过通用RL算法进行优化，从而实现更快，更稳定的收敛。我们提供了理论保证R3L探索找到成功的解决方案，以及其采样复杂性的界限。我们的实验表明，该方法优于经典和内在的勘探技术，只需要一小部分的勘探样本，并实现更好的渐近性能。
2020-01-20 cs.LG cs.RO stat.ML
Effective Exploration for Deep Reinforcement Learning via Bootstrapped Q-Ensembles under Tsallis Entropy Regularization
Victoria University of Wellington（惠灵顿维多利亚大学）
近年来，深度强化学习（Deep Reinforcement Learning，DRL）在解决许多困难的大规模强化学习问题上取得了显著的成功。然而，有效学习所需的高样本成本往往使DRL在资源有限的应用中负担不起。为了提高样本效率和学习性能，本文提出了一种新的DRL算法，该算法无缝集成了熵诱导和引导诱导技术，以有效和深入地探索学习环境。具体来说，Tsallis熵正则化的一般形式将被用来驱动熵诱导的探索的基础上有效的近似最佳的行动选择政策。不同于现有的许多作品，依赖于行动抖动策略的探索，我们的算法是有效的，探索明确的探索价值的行动。同时，通过采用不同Tsallis熵正则化下的Q-网络的系综，可以进一步增强系综的多样性，以实现有效的引导诱导探索。在Atari游戏任务上的实验清楚地表明，与最近提出的探索方法（包括Bootstrapped Deep Q-Network和UCB Q-Ensemble）相比，我们的新算法可以实现更高效和有效的DRL探索。
2018-09-05 cs.LG stat.ML
Variable-Agnostic Causal Exploration for Reinforcement Learning
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
提出VACERL框架，无需指定因果变量，通过注意力机制识别关键步骤并构建因果图引导探索，在稀疏奖励和噪声环境下显著提升强化学习智能体性能。
2024-07-17 cs.AI cs.LG
Uncertainty Quantification and Exploration for Reinforcement Learning
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）；Columbia University（哥伦比亚大学）
我们研究了强化学习（RL）的统计不确定性量化及其在探索策略中的意义。尽管关于强化学习应用的文献越来越多，但关于推理和错误量化的基本问题，如大样本行为，似乎仍然是相当开放的。在本文中，我们填补了文献空白，通过研究中心极限定理的行为估计Q值和价值函数在各种RL设置。特别是，我们明确确定的渐近方差的封闭形式的表达式，这使我们能够有效地构建渐近有效的置信区域的关键RL量。此外，我们利用这些渐近表达式来设计一个有效的勘探策略，我们称之为基于Q值的最优计算预算分配（Q-OCBA）。该策略依赖于最大化Q值估计值之间的相对差异。数值实验表明，我们的探索策略优于其他基准政策的性能。
2022-12-04 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University（北京大学）
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下，将后验抽样应用于无模型强化学习，提出了连续状态空间下的高斯过程后验抽样强化学习（GPPSTD）算法，给出了理论证明和实验结果.我们也提供了理论和实证结果，各种示范可以降低预期的不确定性，有利于后验抽样探索。通过这种方式，我们将演示和探索过程结合在一起，实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；University of Washington（华盛顿大学）
本研究提出HuGE技术，利用非专业用户零散、异步、带噪声的低质量人在回路反馈引导强化学习探索，分离反馈引导与自监督策略学习，无需手工设计奖励，可在仿真及真实机器人上完成多阶段导航操作任务。
2023-07-20 cs.AI cs.LG cs.RO
Safe Exploration of State and Action Spaces in Reinforcement Learning
Universidad Carlos III de Madrid（卡洛斯三世大学）
本文研究了强化学习中的安全探索问题。虽然强化学习非常适合具有复杂过渡动态和高维状态-动作空间的领域，但安全和有效探索的需求带来了额外的挑战。传统的探索技术对于解决危险的任务不是特别有用，其中试错过程可能导致选择动作，这些动作在某些状态下的执行可能导致对学习系统（或任何其他系统）的损害。因此，当一个智能体开始与一个危险的高维状态-动作空间进行交互时，一个重要的问题就出现了;即如何避免（或至少最小化）由于探索状态-动作空间而造成的损害。我们介绍了PI-SRL算法，它安全地改善了连续状态和动作控制任务的次优行为，并有效地从环境中获得的经验中学习。我们评估所提出的方法在四个复杂的任务：自动停车场，杆平衡，直升机悬停，和企业管理。
2014-02-04 cs.AI cs.LG
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
Efficient Exploration in Resource-Restricted Reinforcement Learning
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China（中国科学技术大学，GIPAS技术重点实验室）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在强化学习（RL）的许多现实应用中，执行动作需要消耗某些类型的资源，这些资源在每个片段中是不可分解的。典型的应用包括有限能量的机器人控制和具有消耗品的视频游戏。在具有不可分解资源的任务中，我们观察到流行的RL方法（如软演员评论）的样本效率很差。其主要原因是资源枯竭快，资源匮乏严重制约了后续勘探。为了解决这一问题，我们首先将上述问题形式化为资源受限的强化学习，然后提出了一种新的资源感知探索奖金（RAEB），使资源的合理利用。RAEB的一个吸引人的特点是，它可以显着减少不必要的资源消耗试验，同时有效地鼓励代理探索未访问的状态。实验表明，在资源受限的强化学习环境中，所提出的RAEB算法明显优于现有的探索策略，将样本效率提高了一个数量级.
2022-12-14 cs.AI cs.LG
Neighboring State-based Exploration for Reinforcement Learning
UC Berkeley（伯克利大学）
本文研究基于邻近状态的无模型强化学习探索方法，提出两种算法，其中$ρ$-explore在离散环境中比Double DQN基线的Eval Reward Return高出49%。
2025-11-03 cs.AI cs.LG
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University（清华大学）；NetEase（网易公司）
Meta强化学习（meta-RL）从先前的任务中提取知识，并实现对新任务的快速适应。尽管最近取得了进展，但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战，因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战，我们明确建模的探索策略学习问题的元RL，这是从剥削策略学习分离，并引入了一种新的授权驱动的探索目标，其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励，并开发了一个新的离线策略元RL框架，该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明，我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
结构化探索的最新研究强调在状态空间中识别新的状态，并通过内在奖励奖金激励代理重新访问它们。在这项研究中，我们的问题，通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中，我们调查的影响，在政策和奖励空间的探索行为的代理。我们继续表明，在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现，我们建议对结构化探索研究的任何改进进行基准测试，以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Is Exploration All You Need? Effective Exploration Characteristics for Transfer in Reinforcement Learning
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
本文通过在多种迁移“新颖性”任务上评测11种探索算法，分析不同探索特征与在线迁移性能和效率的关系，并给出情境化算法选择建议。
2024-04-02 cs.AI cs.LG
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Flipping Coins to Estimate Pseudocounts for Exploration in Reinforcement Learning
Brown University（布朗大学）
本文提出通过平均 Rademacher 分布样本估计状态访问伪计数，并以监督学习目标实现，在计数推断和 9 个强化学习探索任务上优于现有方法。
2023-06-05 cs.AI cs.LG
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
