Bayesian Curiosity for Efficient Exploration in Reinforcement Learning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
平衡探索和利用是强化学习的一个基本部分，但大多数最先进的算法使用朴素的探索协议，如$ε$ -greedy。这导致了高样本复杂度的问题，因为算法通过重复访问已经探索过的状态空间的部分而浪费精力。我们引入了一种新的方法，基于贝叶斯线性回归和潜在空间嵌入生成一个内在的奖励信号，鼓励学习代理寻找未探索的部分状态空间。该方法计算效率高，实现简单，并且可以扩展任何最先进的强化学习算法。我们评估了一系列的算法和具有挑战性的控制任务，模拟和物理机器人的方法，演示了所提出的方法可以显着提高样本的复杂性。
2019-11-20 cs.LG stat.ML
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo（东京大学）
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明，参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法，并且没有考虑噪声向量的方向及其相关性。此外，需要快速更新噪声分布，以促进政策学习。我们提出了一种方法，变形的噪声分布，根据累积的回报和噪声，导致的回报。此外，该方法在参数空间中切换各向同性探索和定向探索，获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外，我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
Learning-Driven Exploration for Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出基于熵的探索方法，通过自适应探索状态空间未探索区域，提升强化学习的效率和学习速度。
2020-10-16 cs.LG stat.ML
Effective Exploration for Deep Reinforcement Learning via Bootstrapped Q-Ensembles under Tsallis Entropy Regularization
Victoria University of Wellington（惠灵顿维多利亚大学）
近年来，深度强化学习（Deep Reinforcement Learning，DRL）在解决许多困难的大规模强化学习问题上取得了显著的成功。然而，有效学习所需的高样本成本往往使DRL在资源有限的应用中负担不起。为了提高样本效率和学习性能，本文提出了一种新的DRL算法，该算法无缝集成了熵诱导和引导诱导技术，以有效和深入地探索学习环境。具体来说，Tsallis熵正则化的一般形式将被用来驱动熵诱导的探索的基础上有效的近似最佳的行动选择政策。不同于现有的许多作品，依赖于行动抖动策略的探索，我们的算法是有效的，探索明确的探索价值的行动。同时，通过采用不同Tsallis熵正则化下的Q-网络的系综，可以进一步增强系综的多样性，以实现有效的引导诱导探索。在Atari游戏任务上的实验清楚地表明，与最近提出的探索方法（包括Bootstrapped Deep Q-Network和UCB Q-Ensemble）相比，我们的新算法可以实现更高效和有效的DRL探索。
2018-09-05 cs.LG stat.ML
Uncertainty Quantification and Exploration for Reinforcement Learning
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）；Columbia University（哥伦比亚大学）
我们研究了强化学习（RL）的统计不确定性量化及其在探索策略中的意义。尽管关于强化学习应用的文献越来越多，但关于推理和错误量化的基本问题，如大样本行为，似乎仍然是相当开放的。在本文中，我们填补了文献空白，通过研究中心极限定理的行为估计Q值和价值函数在各种RL设置。特别是，我们明确确定的渐近方差的封闭形式的表达式，这使我们能够有效地构建渐近有效的置信区域的关键RL量。此外，我们利用这些渐近表达式来设计一个有效的勘探策略，我们称之为基于Q值的最优计算预算分配（Q-OCBA）。该策略依赖于最大化Q值估计值之间的相对差异。数值实验表明，我们的探索策略优于其他基准政策的性能。
2022-12-04 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University（北京大学）
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下，将后验抽样应用于无模型强化学习，提出了连续状态空间下的高斯过程后验抽样强化学习（GPPSTD）算法，给出了理论证明和实验结果.我们也提供了理论和实证结果，各种示范可以降低预期的不确定性，有利于后验抽样探索。通过这种方式，我们将演示和探索过程结合在一起，实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Neurosymbolic Reinforcement Learning with Formally Verified Exploration
UT Austin（得克萨斯大学奥斯汀分校）
我们提出了Revel，一个部分神经强化学习（RL）框架，用于在连续状态和动作空间中进行可证明安全的探索。可证明安全的深度RL的一个关键挑战是，在学习循环中重复验证神经网络在计算上是不可行的。我们使用两个策略类来解决这一挑战：一个是具有近似梯度的一般神经符号类，另一个是允许有效验证的更受限制的符号策略类。我们的学习算法是一个镜像下降的政策：在每次迭代中，它安全地提升到神经符号空间的符号政策，执行安全的梯度更新所产生的政策，并项目更新后的政策到安全的符号子集，所有这些都不需要明确的验证神经网络。我们的实证结果表明，Revel在许多情况下强制执行安全探索，其中约束策略优化没有，并且它可以发现优于通过先前的方法来验证探索的策略。
2020-10-26 cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Pure exploration in multi-armed bandits with low rank structure using oblivious sampler
Hokkaido University（北海道大学）；Kyushu University（九州大学）
本文研究纯探索问题中奖励序列的低秩结构，提出探索策略无法获取反馈的分离设置，通过引入奖励向量的核信息设计了高效算法，并给出了遗憾界与下界的理论证明。
2023-06-28 cs.LG stat.ML
Hyper: Hyperparameter Robust Efficient Exploration in Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Terasaki Institute for Biomedical Innovation（寺崎生物医学创新研究所）
针对好奇心驱动强化学习依赖大量超参数调节且优化不稳定的问题，本文提出 Hyper，通过正则化探索访问并解耦利用实现稳定训练，并从理论与实验上验证其高效性和鲁棒性。
2024-12-04 cs.LG stat.ML
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为，因此是异方差的。经典的探索策略，如置信上限算法和汤普森采样未能适当考虑异方差，即使在强盗设置。最近的研究结果，解决这个问题的土匪的动机，我们建议使用信息定向采样（IDS）的探索强化学习。作为我们的主要贡献，我们建立在分布式强化学习的最新进展，并提出了一种新的，易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏，并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks
University of Michigan（密歇根大学）；Harvard University（哈佛大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
该研究聚焦多任务强化学习中探索被忽视的问题，从理论证明了多样化任务下短视探索算法可实现样本高效，并通过合成机器人控制实验验证了任务多样性对样本效率的提升作用。
2024-03-06 cs.LG stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架，如$E^3$，$R_{max}$，汤普森采样假设一个单一的固定MDP，并不适合系统辨识在多任务设置。我们提出了一种新的方法，以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法，以学习底层的MDP分布，并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法，并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning
Meta AI Research（Meta人工智能研究院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
具有稀疏奖励的强化学习仍然是一个公开的挑战。经典的方法依赖于通过外部奖励获得反馈来训练智能体，在这种情况很少发生的情况下，智能体学习缓慢或根本无法学习。类似地，如果智能体还获得了创建目标函数的次优模式的奖励，则它可能会过早地停止探索。最近的方法增加了辅助的内在奖励，以鼓励探索。然而，辅助奖励导致Q函数的非平稳目标。在本文中，我们提出了一种新的方法，（1）通过使用长期访问计数来规划未来的探索行动，（2）通过学习一个单独的函数来评估行动的探索价值，从而实现探索和开发。与使用奖励和动态模型的现有方法相反，我们的方法是脱离政策和无模型的。我们进一步提出了新的表格环境，用于强化学习中的基准测试探索。经典和新颖的基准测试的实证结果表明，所提出的方法优于现有的方法在稀疏奖励的环境中，特别是在存在的奖励，创建次优模式的目标函数。结果还表明，我们的方法可以随着环境的大小优雅地扩展。源代码可在https://github.com/sparisi/visit-value-explore上获得
2022-03-03 cs.LG stat.ML
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Conservative Exploration in Reinforcement Learning
当在未知的马尔可夫决策过程（MDP）中学习时，Agent应该权衡探索以发现关于MDP的新信息和利用现有知识以最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但不能保证中间策略的质量。这种控制的缺乏在现实世界的应用中是不期望的，在现实世界的应用中，最低要求是保证执行的策略至少与现有基线一样好。在本文中，我们引入了平均报酬和有限时域问题的保守探索的概念。我们提出了两个乐观的算法，保证（w.h.p.）在学习过程中，保守约束永远不会被违反。我们得出的遗憾界显示，保守并不妨碍这些算法的学习能力。
2020-07-15 cs.LG stat.ML
Reinforcement Learning with Probabilistically Complete Exploration
University of Sydney（悉尼大学）；Nvidia（英伟达）
平衡探索和利用仍然是强化学习（RL）的关键挑战。最先进的强化学习算法具有很高的样本复杂度，特别是在稀疏奖励的情况下，在找到第一个正奖励之前，它们只能在各个方向上进行探索。为了减轻这种情况，我们提出了快速随机探索强化学习（R3L）。我们制定探索作为一个搜索问题，并利用广泛使用的规划算法，如快速探索随机树（RRT），以找到初始的解决方案。这些解决方案被用作初始化策略的演示，然后通过通用RL算法进行优化，从而实现更快，更稳定的收敛。我们提供了理论保证R3L探索找到成功的解决方案，以及其采样复杂性的界限。我们的实验表明，该方法优于经典和内在的勘探技术，只需要一小部分的勘探样本，并实现更好的渐近性能。
2020-01-20 cs.LG cs.RO stat.ML
Reward-Free Exploration for Reinforcement Learning
Princeton University（普林斯顿大学）；Microsoft Research, New York（微软研究院（纽约））；University of California, Berkeley（加利福尼亚大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
探索被广泛认为是强化学习（RL）最具挑战性的方面之一，许多天真的方法屈服于指数样本复杂性。为了隔离探索的挑战，我们提出了一个新的“无奖励RL”框架。在探索阶段，智能体首先从MDP $\mathcal{M}$收集轨迹，而无需预先指定的奖励函数。在探索之后，它的任务是针对给定的奖励函数的集合在$\mathcal{M}$下计算接近最优的策略。当有许多感兴趣的奖励函数时，或者当奖励函数由外部代理塑造以引起期望的行为时，该框架特别适合。我们给出了一个有效的算法，进行$\tilde{\mathcal{O}}(S^2A\mathrm{poly}(H)/ε^2)$情节的探索和返回$ε$ -次优策略的任意数量的奖励函数。我们实现这一点，通过寻找探索性的政策，访问每个“重要”的状态与概率成比例的最大访问概率下任何可能的政策。此外，我们的规划过程可以实例化的任何黑盒近似规划，如价值迭代或自然策略梯度。我们还给出了一个近似匹配的$Ω(S^2AH^2/ε^2)$下界，证明了我们的算法在这种情况下的近似最优性。
2020-02-07 cs.LG stat.ML
The Batch Complexity of Bandit Pure Exploration
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究随机多臂赌博机纯探索中的批次复杂度，给出任意样本高效算法所需批次数的实例相关下界，并提出通用分批算法证明其上界，在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
On Optimistic versus Randomized Exploration in Reinforcement Learning
Google Deepmind（谷歌DeepMind）；Stanford University（斯坦福大学）
我们讨论了乐观和随机方法在强化学习中的相对优点。在文献中提出的乐观的方法应用乐观的提升值估计在每个状态动作对，并选择相对于所得到的乐观值函数是贪婪的动作。随机化方法从统计上合理的值函数中采样，并选择相对于随机样本贪婪的动作。先前的计算经验表明，随机方法可以导致统计上更有效的学习。我们提出了两个简单的分析例子，阐明为什么会出现这种情况。原则上，应该有乐观的方法，相对于随机方法来说，效果很好，但这需要棘手的计算。在文献中已经提出的乐观方法为了计算效率而牺牲统计效率。另一方面，随机化方法可以同时实现统计和计算效率。
2017-06-13 cs.LG stat.ML
Exploration in Model-based Reinforcement Learning with Randomized Reward
Baidu Research（百度研究院）
基于模型的强化学习（MBRL）由于其样本效率而被广泛采用。然而，现有的最坏情况下的遗憾分析通常需要乐观的规划，这是不现实的。与此相反，在理论的激励下，实证研究利用集成的模型，实现了国家的最先进的性能在各种测试环境。这种理论和实证研究之间的偏差使我们质疑随机模型集成是否保证乐观，从而保证最佳的最坏情况下的遗憾？本文从MBRL中一个很少探索的方向--奖励随机化的角度部分回答了这个问题。我们发现，在核化线性调节器（KNR）模型下，奖励随机化保证了部分乐观，这进一步产生了一个接近最优的最坏情况下的遗憾的相互作用的数量。我们进一步扩展我们的理论，以广义函数逼近和奖励随机化，以达到可证明有效的探索确定的条件。相应地，我们提出了有效的奖励随机化的具体例子。据我们所知，我们的分析建立了第一个最坏情况下的后悔分析随机MBRL函数逼近。
2023-01-09 cs.LG stat.ML
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
我们考虑一个团队的强化学习代理，同时在一个共同的环境中运行，我们开发了一种方法，有效的协调探索，是适合于实际规模的问题。我们的方法建立在种子采样（Dimakopoulou和Van Roy，2018）和随机价值函数学习（Osband等人，2016年）。我们证明，对于简单的表格上下文，该方法与以前提出的表格模型学习方法（Dimakopoulou和Van Roy，2018）具有竞争力。与高维问题和神经网络价值函数表示，该方法学习速度快，代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
A Survey of Exploration Methods in Reinforcement Learning
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
探索是强化学习算法的重要组成部分，其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据，因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中，我们提供了（顺序）强化学习中的现代探索方法的调查，以及探索方法的分类。
2021-09-02 cs.AI cs.LG
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Directed Exploration for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置，如网格世界到大的，连续的和稀疏的奖励设置，如机器人对象操作任务，探索通过添加一个不确定性奖金的奖励函数已被证明是有效的，当不确定性能够准确地驱动探索有希望的状态。然而，奖励奖金仍然是低效的，因为它们是非平稳的，这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法，即学习目标条件策略，其中目标只是其他状态，并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性，因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的，而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley（加州大学伯克利分校）
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证，他们往往是不切实际的，在更高的维度，由于它们依赖于枚举的状态动作空间。因此，复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中，我们考虑了具有挑战性的Atari游戏领域，它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略，包括汤普森采样和玻尔兹曼勘探，并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型，我们能够开发一种可扩展且有效的探索奖金方法，该方法可应用于具有复杂高维状态空间的任务。在雅达利领域，我们的方法提供了最一致的改进，在一系列的游戏，构成了一个重大的挑战，以前的方法。除了原始游戏分数，我们还为Atari学习领域开发了AUC-100指标，以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；OpenAI LP（OpenAI有限合伙公司）
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中，奖励是罕见的，这意味着智能体不会通过随机行动经常找到奖励。在这种情况下，强化学习学习奖励和动作关联是具有挑战性的。因此，需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述，并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后，讨论了目前尚待解决的问题，为今后的研究提供了有价值的方向。最后，从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck（因斯布鲁克大学）
充分的探索对于强化学习代理的成功至关重要。然而，探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为，这些指标在关于直观简单分布的文献中描述，并强调了使用它们时要注意的问题。我们提出了第四个指标，统一的相对熵，并实现它使用k-最近邻或最近邻比估计，强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI（北方人工智能公司）
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习（RL）的一个重要开放问题。本文认为这样一个域，最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明，无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析，阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的，我们开发了一个基于模型的自动推理模块，可以用于更安全的探索修剪行动，肯定会导致代理死亡。我们的经验表明，这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
LESSON: Learning to Integrate Exploration Strategies for Reinforcement Learning via an Option Framework
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
该研究提出基于 option-critic 的统一框架 LESSON，让强化学习智能体自适应整合并选择多种探索策略，以实现任务相关的探索-利用权衡，并在 MiniGrid 与 Atari 实验中验证有效性。
2024-09-08 cs.LG
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
Microsoft Research（微软研究院）；Google Inc.（谷歌公司）；Citadel（城堡投资）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法学习速度远远快于常见的探索策略，如$ε$ -贪婪，玻尔兹曼，自举，和内在的奖励为基础的。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-23 cs.LG cs.NE stat.ML
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University（斯坦福大学）
Meta强化学习（meta-RL）的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息，并利用这些信息来解决任务。原则上，最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而，由于鸡和蛋的问题，这种元RL方法与局部最优值作斗争：学习探索需要良好的利用来衡量探索的效用，但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题，但是先前的元RL探索目标会产生次优策略，收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优，而不会牺牲最优探索。从经验上讲，DREAM在复杂的元RL问题上的表现远远优于现有的方法，例如稀疏奖励3D视觉导航。视频的梦想：https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
ε-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning
University of Toronto（多伦多大学）
在强化学习（RL）算法的设计和实现中，如何解决探索-利用的权衡问题一直是一个基本问题。在本文中，我们专注于使用ε贪婪探索策略的无模型RL，尽管它很简单，但仍然是最常用的探索形式之一。然而，该策略的一个关键限制是$\varepsilon$的规范。在本文中，我们提供了一个新的贝叶斯观点的$\varepsilon$作为衡量的Q-价值函数的一致性。我们引入了一个封闭形式的贝叶斯模型更新的基础上贝叶斯模型组合（BMC），基于这个新的角度来看，这使我们能够适应$\varepsilon$使用的经验，在恒定的时间单调收敛的保证。我们证明，我们提出的算法，$\varepsilon$ - \texttt{BMC}，有效地平衡探索和开发不同的问题，执行优化或优于最佳调整的固定退火时间表和替代的数据相关的$\varepsilon$适应计划中提出的文献。
2020-07-02 cs.LG cs.RO stat.ML
Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University（纽约大学）；DeepMind（深度思维）
尽管探索和样本效率之间存在密切联系，但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中，我们解决这个似乎错过的机会。我们观察到，深度RL中最常见的定向探索公式，即基于奖励的探索（BBE），在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明，通过解耦的任务政策的探索政策，定向探索可以是非常有效的样本有效的连续控制。我们的方法，解耦的探索和开发策略（DEEP），可以与任何非策略RL算法相结合，无需修改。当与软行动者-批评者结合使用时，DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中，由于更好的探索，DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
Task-agnostic Exploration in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
有效探索是强化学习（RL）的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而，在许多实际场景中，没有一个单一的潜在奖励函数来指导探索，例如，当智能体需要同时学习许多技能时，或者需要平衡多个相互冲突的目标时。为了解决这些挑战，我们提出了\textit{task-agnostic RL}框架：在探索阶段，代理首先通过探索MDP收集轨迹，而无需奖励函数的指导。探索后，它的目的是找到接近最优的政策$N$任务，给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法，\textsc{UCBZero}，发现$ε$ -最优的政策$N$任意任务后，最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限，表明$\log$依赖于$N$是不可避免的。此外，我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时，地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题，我们考虑在街机学习元素（ALE）上评估这个假设的实例。在这项研究中，我们开发了一个专注的动力学模型（ADM），发现可控元素的观察，这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练，以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合，使用我们的表示实现了令人印象深刻的结果，一组臭名昭著的具有挑战性的雅达利游戏，由于稀疏的奖励。例如，我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数，而没有使用专家演示、明确的高级信息（例如，RAM状态）或监控数据。我们的实验证实，偶然意识确实是一个非常强大的概念，用于解决强化学习中的探索问题，并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Risk Perspective Exploration in Distributional Reinforcement Learning
KAIST（韩国科学技术院）；Kim Jaechul Graduate School of Artificial Intelligence（金在澈人工智能研究生院）
分布式强化学习在连续和离散控制设置中表现出最先进的性能，具有方差和风险的特征，可用于探索。然而，使用风险属性的探索方法很难找到，尽管分布式RL中的许多探索方法使用每个动作的收益分布的方差。在本文中，我们提出了风险调度方法，探索风险水平和乐观的行为，从风险的角度来看。我们证明了DMIX算法的性能增强，在多智能体环境中使用风险调度与全面的实验。
2022-07-01 cs.LG
Distributional Reinforcement Learning for Efficient Exploration
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark（华为诺亚方舟实验室）；University of Oxford（牛津大学）；Huawei Hi-Silicon（华为海思）；University of Waterloo（滑铁卢大学）
在分布式强化学习（RL）中，价值函数的估计分布同时对参数和内在不确定性进行建模.我们提出了一种新的和有效的探索方法，深度RL有两个组成部分。第一个是一个衰减的时间表，以抑制内在的不确定性。第二个是从学习分布的上分位数计算的探索奖金。在Atari 2600游戏中，我们的方法在14个硬游戏中的12个中优于QR-DQN（在49个游戏中，QR-DQN的累积奖励平均获得483%，在Venture中获得巨大胜利）。我们还比较了我们的算法与QR-DQN在一个具有挑战性的三维驾驶模拟器（CARLA）。结果表明，我们的算法实现接近最优的安全奖励比QRDQN快两倍。
2019-05-13 cs.AI cs.LG stat.ML
Information-Based Exploration via Random Features for Reinforcement Learning
研究如何在强化学习中进行信息探索，提出基于贝叶斯核方法理论的随机特征信息增益（RFIG），用随机傅里叶特征近似信息增益，给出误差界并避免黑箱问题，实践细节使其可扩展到深度RL场景，实验显示其性能有竞争力且理论解释优。
2026-07-21 cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
使用集成的神经网络（NN）的量化预测的不确定性是广泛的。然而，目前的理由是直观的，而不是分析。这项工作提出了一个小的修改，正常的合奏方法，我们证明允许合奏执行贝叶斯推断，因此收敛到相应的高斯过程的NN的总数，每个的大小，趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果，分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程，可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Modeling Human Exploration Through Resource-Rational Reinforcement Learning
MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
为人工智能体配备有用的探索机制至今仍是一个挑战。另一方面，人类似乎可以毫不费力地在探索和开发之间进行权衡。在本文中，我们提出了这样的假设，即它们通过最佳利用有限的计算资源来实现这一目标。我们通过元学习强化学习算法来研究这一假设，这些算法牺牲了较短的描述长度（定义为实现给定算法所需的位数）的性能。新兴的一类模型捕捉人类的探索行为比以前考虑的方法，如玻尔兹曼探索，置信上限算法，汤普森采样。我们还证明，在我们的模型类中改变描述长度会产生预期的效果：减少描述长度可以捕捉脑损伤患者的行为，而增加描述长度则反映了青少年时期的认知发展。
2022-11-14 cs.LG
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
Robust exploration in linear quadratic reinforcement learning
Uppsala University（乌普萨拉大学）；KTH（瑞典皇家理工学院）
研究了未知线性动力系统的学习控制策略问题，以最小化二次型费用函数。我们提出了一种基于凸优化的方法，该方法稳健地完成了这一任务：即，我们最小化最坏情况下的成本，考虑到系统的不确定性，给定的观测数据。该方法平衡开发和探索，以这样的方式激励系统，以减少最坏情况下的成本最敏感的模型参数的不确定性。数值模拟和应用程序的硬件在环伺服机构证明了这种方法，与替代方法中观察到的可观的性能和鲁棒性增益。
2019-06-04 cs.LG math.OC stat.ML
Parameterized Indexed Value Function for Efficient Exploration in Reinforcement Learning
Stanford University（斯坦福大学）
众所周知，量化动作值估计中的不确定性对于强化学习中的有效探索至关重要。包围采样提供了一种相对容易计算的方法，使用随机化的价值函数来实现这一点。然而，它仍然需要大量的计算资源来处理复杂的问题。在本文中，我们提出了一种替代的，计算效率高的方法来诱导探索使用指数采样。我们使用一个指数化的价值函数来表示行动价值估计中的不确定性。本文首先提出了一种在表格环境下通过时间差分的分布形式学习参数化索引价值函数的算法，并证明了算法的遗憾界。然后，在计算的角度来看，我们提出了一个双网络架构，参数化索引网络（PIN），包括一个平均网络和一个不确定性网络学习的索引价值函数。最后，我们通过计算实验证明了PIN的有效性。
2020-03-19 cs.AI cs.LG stat.ML
Exploration and Incentives in Reinforcement Learning
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；Microsoft Research NYC（微软研究院纽约分院）
当自私的代理人更喜欢$\textit{exploit}$时，你如何激励他们选择$\textit{explore}$？我们考虑复杂的勘探问题，每个代理面临相同的（但未知的）MDP。与传统的强化学习公式相反，代理控制策略的选择，而算法只能发出建议。然而，该算法控制了信息流，并可以通过信息不对称激励代理进行探索。我们设计了一个算法，探索所有的可达状态的MDP。我们实现了可证明的保证类似于那些激励探索静态，无状态的探索问题之前研究。据我们所知，这是第一个在有状态的强化学习环境中考虑机制设计的工作。
2023-02-19 cs.GT cs.LG
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
探索-利用权衡是强化学习（RL）的核心。然而，最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发，并且在需要更多功能探索的基准测试中表现不佳。例如，正如我们的实证研究所证明的那样，最先进的RL算法（如DDPG和TD 3）无法在即使是小的2D迷宫中引导点质量。在本文中，我们提出了一种新的算法，称为“计划，回放，链技能”（PBCS），结合运动规划和强化学习，以解决困难的探索环境。在第一阶段中，使用运动规划算法来找到单个良好轨迹，然后通过组合Backplay算法的变体和技能链，使用从轨迹导出的课程来训练RL算法。我们表明，这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中，并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Prioritized Guidance for Efficient Multi-Agent Reinforcement Learning Exploration
探索效率是多智能体强化学习（MARL）中的一个具有挑战性的问题，因为联盟MARL学习的策略依赖于多个智能体之间的协作方法。另一个重要的问题是，与监督学习中的信息标签相比，较少的信息奖励限制了MARL的学习速度。在这项工作中，我们利用一种新的通信方法来引导MARL加速探索，并提出了一种预测网络来预测当前状态-动作对的奖励，并使用预测网络学习的指导来修改奖励函数。采用改进的优先经验重放，以更好地利用不同的代理，更有效地利用时间差（TD）错误的学习不同的知识。实验结果表明，该算法优于现有的方法在合作的多智能体环境。我们注意到，该算法可以扩展到监督学习，以加快其训练。
2019-12-25 cs.LG cs.MA stat.ML
Reinforcement Learning with a Focus on Adjusting Policies to Reach Targets
Tokyo Denki University（东京电机大学）
提出一种优先实现期望水平而非最大化回报的深度强化学习方法，通过根据目标达成比例灵活调整探索程度，在运动控制和导航任务中取得优异回报，并提升了探索效率及对非平稳环境的适应潜力。
2024-12-23 cs.LG
GEP-PG: Decoupling Exploration and Exploitation in Deep Reinforcement Learning Algorithms
INRIA（法国国家信息与自动化研究所）；Sorbonne University（索邦大学）
在连续动作域中，标准的深度强化学习算法（如DDPG）在面对稀疏或欺骗性奖励问题时会遇到效率低下的探索。相反，专注于探索的进化和发展方法，如新奇搜索，质量多样性或目标探索过程，探索更稳健，但在使用梯度下降微调政策时效率较低。在本文中，我们提出了GEP-PG的方法，采取最好的两个世界依次结合的目标探索过程和DDPG的两个变种。我们研究了这些组件及其组合的学习性能低维欺骗性奖励问题和较大的半猎豹基准。我们表明，DDPG失败的前，GEP-PG提高了最好的DDPG的变体在这两种环境中。补充视频和讨论可以在http：//frama.link/gep_pg上找到，代码可以在http://github.com/flowersteam/geppg上找到。
2018-09-20 cs.LG
Smooth Exploration for Robotic Reinforcement Learning
Robotics and Mechatronics Center (RMC)（机器人与机电一体化中心（RMC））；German Aerospace Center (DLR)（德国航空航天中心（DLR））；Cognitive Robotics Department（认知机器人系）；Delft University of Technology（代尔夫特理工大学）
强化学习（RL）使机器人能够从与现实世界的交互中学习技能。在实践中，Deep RL中使用的非结构化基于步骤的探索-通常在模拟中非常成功-导致真实机器人上的运动模式不稳定。由此产生的不稳定行为的后果是不良的探索，甚至损坏机器人。我们通过将状态相关探索（STATE DEPINERATION）适应当前的深度RL算法来解决这些问题。为了实现这种适应，我们提出了两个扩展到原来的，使用更一般的功能和重新采样的噪声周期性，这导致了一个新的勘探方法广义状态相关的勘探（gestival）。我们在模拟，PyBullet连续控制任务，并直接在三个不同的真实机器人：肌腱驱动的弹性机器人，四足动物和RC汽车上评估gibs。噪声采样间隔的gavelet允许有性能和平滑度之间的折衷，这允许直接在真实的机器人上训练，而不会损失性能。该代码可在https://github.com/DLR-RM/stable-baselines3上获得。
2021-06-20 cs.LG cs.RO stat.ML
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute（佐治亚理工研究院）
强化学习（RL）中的探索-利用权衡是一个众所周知的和大量研究的问题，其平衡贪婪动作选择与新颖经验，并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而，在在线任务转移的背景下，在在线操作过程中任务发生变化，我们假设，预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此，我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中，我们回顾了强化学习探索方法，定义了一个分类，以组织它们，分析这些方法的任务转移的背景下的差异，并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
