Strategically Efficient Exploration in Competitive Multi-agent Reinforcement Learning
TU Delft(代尔夫特理工大学);Microsoft Research NYC(微软研究院纽约);Microsoft Research Cambridge(微软研究院剑桥)
高样本复杂性仍然是强化学习(RL)应用的障碍,特别是在多智能体系统中。大量的研究表明,基于不确定条件下乐观原则的探索机制可以显著提高强化学习在单智能体任务中的样本效率。这项工作旨在了解乐观的探索在非合作的多智能体设置的作用。我们将证明,在零和游戏中,乐观的探索可能会导致学习者浪费时间采样与策略游戏无关的状态空间部分,因为它们只能通过双方玩家之间的合作才能实现。为了解决这个问题,我们引入了一个正式的概念,战略有效的探索在马尔可夫游戏,并使用此开发两个战略有效的学习算法有限马尔可夫游戏。我们证明,这些方法可以显着更有效的样本比他们乐观的同行。
2021-07-30 cs.AI cs.LG cs.MA
Individual Contributions as Intrinsic Exploration Scaffolds for Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体稀疏奖励环境中的探索与信用分配难题,提出ICES方法,通过全局视角评估个体贡献并利用贝叶斯惊讶构建训练用探索支架,分离探索与利用策略,在GRF和SMAC基准上验证了优越的探索性能。
2024-05-28 cs.AI cs.LG cs.MA
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute(佐治亚理工研究院)
强化学习(RL)中的探索-利用权衡是一个众所周知的和大量研究的问题,其平衡贪婪动作选择与新颖经验,并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而,在在线任务转移的背景下,在在线操作过程中任务发生变化,我们假设,预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此,我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中,我们回顾了强化学习探索方法,定义了一个分类,以组织它们,分析这些方法的任务转移的背景下的差异,并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain
Tianjin University(天津大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Northwestern Polytechnical University(西北工业大学)
深度强化学习(DRL)和深度多智能体强化学习(MARL)在游戏人工智能、自动驾驶汽车、机器人等广泛领域取得了重大成功。然而,DRL和深度MARL智能体被广泛认为是样本效率低下的,即使是相对简单的问题设置也通常需要数百万次交互,从而阻碍了在实际工业场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的勘探问题,即,如何有效地探索环境和收集有益于策略学习的有益经验,以实现最佳政策。这个问题在具有稀疏奖励、嘈杂干扰、长视野和非静止协同学习者的复杂环境中变得更具挑战性。在本文中,我们进行了全面调查现有的探索方法,单智能体和多智能体RL。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支,我们还包括其他具有不同思想和技术的显着勘探方法。除了算法分析,我们提供了一个全面和统一的经验比较不同的勘探方法DRL的一组常用的基准。最后,根据我们的算法和实证研究,总结了DRL和深层MARL研究中存在的问题,并指出了未来的发展方向。
2023-02-02 cs.AI cs.LG cs.MA
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London(伦敦帝国理工学院);ETH Zurich(苏黎世联邦理工学院)
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为,因此是异方差的。经典的探索策略,如置信上限算法和汤普森采样未能适当考虑异方差,即使在强盗设置。最近的研究结果,解决这个问题的土匪的动机,我们建议使用信息定向采样(IDS)的探索强化学习。作为我们的主要贡献,我们建立在分布式强化学习的最新进展,并提出了一种新的,易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏,并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
在具有高维观测和稀疏奖励的复杂环境中,探索对于深度强化学习至关重要。为了解决这个问题,最近的方法提出了利用内在奖励来改善探索,例如基于新颖性的探索和基于预测的探索。然而,许多内在奖励模块需要复杂的结构和表示学习,导致过高的计算复杂性和不稳定的性能。在本文中,我们提出了奖励情节访问离散(REVD),计算效率和量化的探索方法。更具体地说,REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计,k-最近邻估计器与随机初始化的状态编码器一起使用。最后,REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明,REVD能显著提高强化学习算法的样本效率,性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架,如$E^3$,$R_{max}$,汤普森采样假设一个单一的固定MDP,并不适合系统辨识在多任务设置。我们提出了一种新的方法,以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法,以学习底层的MDP分布,并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法,并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
提高样本效率是强化学习中的一个关键挑战,特别是在具有大状态空间和稀疏奖励的环境中。在文献中,这是通过使用辅助任务(子目标)或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹,而辅助任务已被纳入奖励稀疏的地方。然而,很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略,探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法,该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明,与几个有竞争力的基线相比,该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)(电子和电信研究院(ETRI))
本文针对深度强化学习中的探索问题,发现低初始熵导致学习失败,提出熵感知模型初始化策略,有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对目标条件强化学习中的探索效率问题,提出GEASD框架,通过自适应技能分布优化局部熵,增强目标扩散,实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
如何有效地发现子目标是分层强化学习(HRL)中的一个挑战性问题。在本文中,我们表明,内在动机学习提高了探索的效率,导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外,我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
VDN和QMIX是两种流行的基于值的协作MARL算法,它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易,但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明,这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说,我们提出了一种新的MARL方法,称为通用价值探索(UneVEn),学习一组相关的任务,同时线性分解的通用后继功能。利用已经解决的相关任务的策略,可以改进所有Agent的联合探索过程,帮助它们实现更好的协调。一组探索游戏的经验结果,具有挑战性的合作捕食者-猎物任务,需要显着的代理之间的协调,和星际争霸II微观管理基准显示,UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh(爱丁堡大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
内在奖励可以改善强化学习中的探索,但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中,我们引入了解耦RL(DeRL)作为一个通用框架,它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处,同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明,DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后,我们讨论了分布偏移的挑战,并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom;Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题,提出基于蒙特卡洛评论家集成的引导探索方法,动态校正探索动作,并用于同时修改策略与评论家,在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
我们考虑一个团队的强化学习代理,同时在一个共同的环境中运行,我们开发了一种方法,有效的协调探索,是适合于实际规模的问题。我们的方法建立在种子采样(Dimakopoulou和Van Roy,2018)和随机价值函数学习(Osband等人,2016年)。我们证明,对于简单的表格上下文,该方法与以前提出的表格模型学习方法(Dimakopoulou和Van Roy,2018)具有竞争力。与高维问题和神经网络价值函数表示,该方法学习速度快,代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
Variable-Agnostic Causal Exploration for Reinforcement Learning
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所(A2I2));Deakin University(迪肯大学)
提出VACERL框架,无需指定因果变量,通过注意力机制识别关键步骤并构建因果图引导探索,在稀疏奖励和噪声环境下显著提升强化学习智能体性能。
2024-07-17 cs.AI cs.LG
Safe Exploration of State and Action Spaces in Reinforcement Learning
Universidad Carlos III de Madrid(卡洛斯三世大学)
本文研究了强化学习中的安全探索问题。虽然强化学习非常适合具有复杂过渡动态和高维状态-动作空间的领域,但安全和有效探索的需求带来了额外的挑战。传统的探索技术对于解决危险的任务不是特别有用,其中试错过程可能导致选择动作,这些动作在某些状态下的执行可能导致对学习系统(或任何其他系统)的损害。因此,当一个智能体开始与一个危险的高维状态-动作空间进行交互时,一个重要的问题就出现了;即如何避免(或至少最小化)由于探索状态-动作空间而造成的损害。我们介绍了PI-SRL算法,它安全地改善了连续状态和动作控制任务的次优行为,并有效地从环境中获得的经验中学习。我们评估所提出的方法在四个复杂的任务:自动停车场,杆平衡,直升机悬停,和企业管理。
2014-02-04 cs.AI cs.LG
Efficient Exploration in Resource-Restricted Reinforcement Learning
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China(中国科学技术大学,GIPAS技术重点实验室);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在强化学习(RL)的许多现实应用中,执行动作需要消耗某些类型的资源,这些资源在每个片段中是不可分解的。典型的应用包括有限能量的机器人控制和具有消耗品的视频游戏。在具有不可分解资源的任务中,我们观察到流行的RL方法(如软演员评论)的样本效率很差。其主要原因是资源枯竭快,资源匮乏严重制约了后续勘探。为了解决这一问题,我们首先将上述问题形式化为资源受限的强化学习,然后提出了一种新的资源感知探索奖金(RAEB),使资源的合理利用。RAEB的一个吸引人的特点是,它可以显着减少不必要的资源消耗试验,同时有效地鼓励代理探索未访问的状态。实验表明,在资源受限的强化学习环境中,所提出的RAEB算法明显优于现有的探索策略,将样本效率提高了一个数量级.
2022-12-14 cs.AI cs.LG
Neighboring State-based Exploration for Reinforcement Learning
UC Berkeley(伯克利大学)
本文研究基于邻近状态的无模型强化学习探索方法,提出两种算法,其中$ρ$-explore在离散环境中比Double DQN基线的Eval Reward Return高出49%。
2025-11-03 cs.AI cs.LG
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University(清华大学);NetEase(网易公司)
Meta强化学习(meta-RL)从先前的任务中提取知识,并实现对新任务的快速适应。尽管最近取得了进展,但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战,我们明确建模的探索策略学习问题的元RL,这是从剥削策略学习分离,并引入了一种新的授权驱动的探索目标,其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励,并开发了一个新的离线策略元RL框架,该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明,我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University(清华大学);Nanjing University(南京大学);University of Alberta(阿尔伯塔大学);NetEase(网易)
深度协作多智能体强化学习(MARL)中的有效探索在复杂协调问题中仍然具有挑战性。在本文中,我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索,称为EMC。我们利用流行的因子分解MARL算法的洞察力,即“诱导”的个体Q值,即,用于本地执行的各个效用函数是本地动作观察历史的嵌入,并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此,我们使用个人Q值的预测误差作为协调探索的内在奖励,并利用情景记忆开发探索的信息经验,以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响,我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点,通过教学的例子,并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务,在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Directed Exploration for Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置,如网格世界到大的,连续的和稀疏的奖励设置,如机器人对象操作任务,探索通过添加一个不确定性奖金的奖励函数已被证明是有效的,当不确定性能够准确地驱动探索有希望的状态。然而,奖励奖金仍然是低效的,因为它们是非平稳的,这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法,即学习目标条件策略,其中目标只是其他状态,并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性,因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的,而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
结构化探索的最新研究强调在状态空间中识别新的状态,并通过内在奖励奖金激励代理重新访问它们。在这项研究中,我们的问题,通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中,我们调查的影响,在政策和奖励空间的探索行为的代理。我们继续表明,在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现,我们建议对结构化探索研究的任何改进进行基准测试,以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
Is Exploration All You Need? Effective Exploration Characteristics for Transfer in Reinforcement Learning
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文通过在多种迁移“新颖性”任务上评测11种探索算法,分析不同探索特征与在线迁移性能和效率的关系,并给出情境化算法选择建议。
2024-04-02 cs.AI cs.LG
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Flipping Coins to Estimate Pseudocounts for Exploration in Reinforcement Learning
Brown University(布朗大学)
本文提出通过平均 Rademacher 分布样本估计状态访问伪计数,并以监督学习目标实现,在计数推断和 9 个强化学习探索任务上优于现有方法。
2023-06-05 cs.AI cs.LG
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发,我们提出了目标文字咿呀学语(GLIB),一个简单而通用的方法,探索在这样的问题。GLIB对关系连接目标进行采样,这些目标可以被理解为智能体希望在世界上实现的特定目标,并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明,与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中,我们发现GLIB在一系列任务的预测和规划方面都强于现有方法,包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频:https://youtu.be/F6lmrPT6TOY代码:https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley(加州大学伯克利分校);Embodied Intelligence(具身智能公司)
探索是强化学习(RL)的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标,例如基于状态访问的信息增益或奖金。然而,RL的许多实际应用涉及学习多个任务,并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中,我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索(MAESN)-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策,并获得一个潜在的探索空间,可以注入结构化的随机性到一个政策,产生的探索策略,是由先验知识,比随机动作空间噪声更有效。我们表明,MAESN是更有效的学习探索策略相比,以前的元RL方法,RL没有学习的探索策略,任务不可知的探索方法。我们评估我们的方法在各种模拟任务:运动与轮式机器人,运动与四足步行机,和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Southwest Minzu University(西南民族大学);Chengdu University of Technology(成都理工大学);Nanyang Technological University(南洋理工大学)
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题,提出乐观ε-贪心探索方法,通过乐观更新网络以概率ε采样最优动作,有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
探索是训练最优强化学习(RL)策略的关键,其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖,而不考虑可以学习的这种鉴别过程。在本文中,我们提出了一种称为生成对抗探索(GAEX)的新方法,通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索,其中生成器提供了状态的假样本,帮助机器人识别那些不太频繁访问的状态。因此,鼓励代理人访问那些州,而代理人不太有信心判断为访问过。GAEX易于实现,训练效率高。在我们的实验中,我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题,包括游戏冒险,蒙特祖玛的复仇和超级马里奥兄弟,没有进一步微调复杂的学习算法。据我们所知,这是第一个工作,采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley(加州大学伯克利分校)
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证,他们往往是不切实际的,在更高的维度,由于它们依赖于枚举的状态动作空间。因此,复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中,我们考虑了具有挑战性的Atari游戏领域,它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略,包括汤普森采样和玻尔兹曼勘探,并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型,我们能够开发一种可扩展且有效的探索奖金方法,该方法可应用于具有复杂高维状态空间的任务。在雅达利领域,我们的方法提供了最一致的改进,在一系列的游戏,构成了一个重大的挑战,以前的方法。除了原始游戏分数,我们还为Atari学习领域开发了AUC-100指标,以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago(奥塔哥大学)
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习(RL)的关键挑战。最近,惊喜被用作一种内在奖励,鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索(VASE)。VASE使用贝叶斯神经网络作为环境动态模型,并使用变分推理进行训练,交替更新代理模型和策略的准确性。我们的实验表明,在连续控制稀疏奖励环境中,VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML
Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能部门)
解决具有稀疏奖励的任务是强化学习中最重要的挑战之一。在单智能体环境中,通过引入内在奖励来激励智能体探索其状态空间中看不见的区域来解决这一挑战;然而,将这些技术天真地应用于多智能体环境会导致智能体独立探索,而不会相互协调。合作多代理设置的探索,可以加速和改善,如果代理协调他们的探索。在本文中,我们介绍了一个框架,设计内在的奖励,考虑其他代理人已经探索,使代理人可以协调。然后,我们开发了一种学习如何在几种探索模式之间进行动态选择以最大化外部奖励的方法。具体地说,我们制定的方法作为一个分层的政策,其中一个高层次的控制器选择不同的内在奖励和低层次的控制器学习这些特定的奖励下的所有代理的行动政策训练的政策集。我们证明了所提出的方法在合作领域的有效性与稀疏的奖励,最先进的方法失败,并具有挑战性的多阶段任务,需要改变协调模式。
2021-05-22 cs.AI cs.LG cs.MA
Uniformly Conservative Exploration in Reinforcement Learning
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
在实践中部署强化学习的一个关键挑战是避免在单个事件中进行过度(有害)的探索。我们提出了一个自然的限制探索- \textit{uniformly}优于保守的政策(自适应估计从所有数据观察到目前为止),每集的探索预算。我们设计了一种新的算法,它使用UCB强化学习策略进行探索,但在需要时覆盖它以高概率满足我们的探索约束。重要的是,为了确保在状态空间中进行无偏探索,我们的算法自适应地确定何时进行探索。我们证明,我们的方法仍然是保守的,同时最大限度地减少遗憾的表格设置。我们在败血症治疗任务和HIV治疗任务上实验验证了我们的结果,表明我们的算法可以学习,同时确保与每个患者的基线策略相比具有良好的性能;后一项任务还表明我们的方法通过深度强化学习扩展到连续状态空间。
2023-02-24 cs.LG stat.ML
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法,可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索,从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略(如ε-greedy,Boltzmann,bootstrapping和基于内在奖励的策略)学习得更快。此外,我们还证明了,在重放缓冲区中加入一些成功的经验,可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology(蔚山国立科学技术院);OpenAI LP(OpenAI有限合伙公司)
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中,奖励是罕见的,这意味着智能体不会通过随机行动经常找到奖励。在这种情况下,强化学习学习奖励和动作关联是具有挑战性的。因此,需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述,并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后,讨论了目前尚待解决的问题,为今后的研究提供了有价值的方向。最后,从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck(因斯布鲁克大学)
充分的探索对于强化学习代理的成功至关重要。然而,探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为,这些指标在关于直观简单分布的文献中描述,并强调了使用它们时要注意的问题。我们提出了第四个指标,统一的相对熵,并实现它使用k-最近邻或最近邻比估计,强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出AIRS,一种自动内在奖励塑形方法,通过实时选择塑形函数增强强化学习探索,并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI(北方人工智能公司)
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习(RL)的一个重要开放问题。本文认为这样一个域,最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明,无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析,阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的,我们开发了一个基于模型的自动推理模块,可以用于更安全的探索修剪行动,肯定会导致代理死亡。我们的经验表明,这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
安全的强化学习是极具挑战性的--不仅必须让智能体探索未知的环境,还必须确保没有违反安全约束。我们制定这个安全的强化学习(RL)问题使用的框架有限时域约束马尔可夫决策过程(CMDP)与未知的转移概率函数,在那里我们建模的安全要求的约束,必须满足在所有的学习情节的预期累积成本。我们提出了一个基于模型的安全RL算法,我们称之为双重乐观和悲观的探索(DOPE),并表明它实现了一个客观的遗憾$\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$,而不违反学习过程中的安全约束,其中$|\mathcal{S}|$是状态的数量,$|\mathcal{A}|$是行动的数量,和$K$是学习情节的数量。我们的主要思想是结合奖励奖金的探索(乐观)与保守的约束(悲观),除了标准的乐观模型为基础的探索。DOPE不仅能够提高客观后悔界限,而且与早期的乐观-悲观方法相比,还显示出显着的实证性能改善。
2022-10-18 cs.AI cs.LG
Planning with Exploration: Addressing Dynamics Bottleneck in Model-based Reinforcement Learning
Center for Research on Intelligent System and Engineering(智能系统与工程研究中心);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于模型的强化学习(MBRL)被认为比无模型强化学习(MFRL)具有更高的样本效率。然而,MBRL一直受到动力学瓶颈困境的困扰。动力学瓶颈困境是指当与环境的交互步长增加时,算法的性能没有增加反而陷入局部最优,即数据量增加并不能带来更好的性能。本文通过理论分析发现,轨迹回报估计误差是导致动力学瓶颈困境的主要原因。给出了轨迹报酬估计误差的上界,指出提高智能体的探索能力是减小轨迹报酬估计误差,从而缓解动力学瓶颈困境的关键.基于此,提出了一种基于模型的渐进熵探索控制方法MOPE 2(Model-based Progressive Entropy-based Exploration)。我们进行了几个复杂的连续控制基准任务的实验。结果验证了MOPE 2可以有效缓解动力学瓶颈困境,并且比之前的MBRL和MFRL算法具有更高的样本效率。
2021-06-24 cs.AI cs.LG
LESSON: Learning to Integrate Exploration Strategies for Reinforcement Learning via an Option Framework
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
该研究提出基于 option-critic 的统一框架 LESSON,让强化学习智能体自适应整合并选择多种探索策略,以实现任务相关的探索-利用权衡,并在 MiniGrid 与 Atari 实验中验证有效性。
2024-09-08 cs.LG
Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
University of Tokyo(东京大学);Aalto University(阿尔托大学)
提出ReMax目标函数,通过最大化M个样本的期望最大回报来使探索行为自然涌现,并推导策略梯度公式及RePPO算法,在MinAtar和Craftax基准上无需显式探索奖励即可促进探索。
2026-09-15 cs.AI cs.LG
Directed Exploration in PAC Model-Free Reinforcement Learning
Columbia University(哥伦比亚大学)
我们研究了一种无模型强化学习的探索方法,该方法推广了基于计数器的探索奖励方法,并考虑了动作的长期探索价值,而不是单步的前瞻。我们提出了一种无模型强化学习方法,该方法修改了延迟Q学习,并利用了具有可证明效率的长期探索奖金。我们表明,我们提出的方法发现一个接近最优的政策在多项式时间(PAC-MDP),也提供了实验证据,我们提出的算法是一个有效的探索方法。
2018-08-31 cs.LG stat.ML
Reactive Exploration to Cope with Non-Stationarity in Lifelong Reinforcement Learning
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Dynatrace Research(Dynatrace研究院);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI))
在终身学习中,智能体在不断变化的环境中终生学习,而不会重置,就像我们人类一样。因此,终身学习带来了大量的研究问题,如持续的领域转移,这导致非静态奖励和环境动态。这些非平稳性由于其连续性而难以检测和处理。因此,需要能够跟踪稳定的域转移并适应它们的探索策略和学习方法。我们提出了反应式探索来跟踪和应对终身强化学习中的持续领域变化,并相应地更新策略。为此,我们进行实验,以研究不同的探索策略。我们的经验表明,政策梯度家庭的代表更适合终身学习,因为他们更快地适应分布偏移比Q学习。因此,策略梯度方法从反应式探索中获益最多,并在持续领域转移的终身学习中表现出良好的效果。我们的代码可在https://github.com/ml-jku/reactive-exploration上获取。
2022-09-22 cs.AI cs.LG
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Exploration and Incentives in Reinforcement Learning
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校);Microsoft Research NYC(微软研究院纽约分院)
当自私的代理人更喜欢$\textit{exploit}$时,你如何激励他们选择$\textit{explore}$?我们考虑复杂的勘探问题,每个代理面临相同的(但未知的)MDP。与传统的强化学习公式相反,代理控制策略的选择,而算法只能发出建议。然而,该算法控制了信息流,并可以通过信息不对称激励代理进行探索。我们设计了一个算法,探索所有的可达状态的MDP。我们实现了可证明的保证类似于那些激励探索静态,无状态的探索问题之前研究。据我们所知,这是第一个在有状态的强化学习环境中考虑机制设计的工作。
2023-02-19 cs.GT cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
向强化学习(RL)代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈,即教师在两个行为片段之间的偏好,来学习基于人类偏好的更灵活的奖励模型。然而,反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题,因为定制的人类反馈非常昂贵。为了处理这个问题,以前的方法主要集中在改进查询选择和策略初始化。与此同时,最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励,通过测量的基础上学习奖励的新颖性。具体来说,我们利用学习奖励模型的集合之间的不一致。我们的直觉是,学习奖励模型中的分歧反映了定制的人类反馈的不确定性,可能对探索有用。我们的实验表明,与其他现有的测量状态访问新颖性的探索方法相比,来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
GAN-based Intrinsic Exploration For Sample Efficient Reinforcement Learning
Istanbul Technical University(伊斯坦布尔理工大学)
在这项研究中,我们解决了强化学习中的有效探索问题。大多数常见的探索方法依赖于随机动作选择,然而这些方法在奖励稀疏或没有奖励的环境中效果不佳。我们提出了基于生成对抗网络的内在奖励模块,该模块学习观察到的状态的分布,并发送一个内在奖励,该奖励对于分布之外的状态计算为高,以便将代理引导到未探索的状态。我们评估我们的方法在超级马里奥兄弟的无奖励设置和蒙特祖玛的复仇稀疏奖励设置,并表明我们的方法确实能够有效地探索。我们讨论了一些弱点,并讨论未来的工作结束。
2022-06-28 cs.AI cs.CV cs.LG
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习(RL)的方法为手术自动化提供了可扩展的解决方案,但是如果没有给出先验知识,则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战,可以通过向RL代理提供专家演示来缓解。然而,如何有效地利用示范数据,提高勘探效率仍然是一个开放的挑战。在这项工作中,我们引入演示引导探索(DEX),一个有效的强化学习算法,旨在克服探索问题的专家演示手术自动化。为了有效地利用演示,我们的方法估计具有更高值的专家行为,以促进富有成效的交互,并采用非参数回归,以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL,一个全面的手术模拟平台,证明显着提高探索效率和任务成功率的方法。此外,我们还将学习到的策略部署到达芬奇研究工具包(dVRK)平台上,以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
探索-利用权衡是强化学习(RL)的核心。然而,最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发,并且在需要更多功能探索的基准测试中表现不佳。例如,正如我们的实证研究所证明的那样,最先进的RL算法(如DDPG和TD 3)无法在即使是小的2D迷宫中引导点质量。在本文中,我们提出了一种新的算法,称为“计划,回放,链技能”(PBCS),结合运动规划和强化学习,以解决困难的探索环境。在第一阶段中,使用运动规划算法来找到单个良好轨迹,然后通过组合Backplay算法的变体和技能链,使用从轨迹导出的课程来训练RL算法。我们表明,这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中,并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
Task-agnostic Exploration in Reinforcement Learning
UW-Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
有效探索是强化学习(RL)的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而,在许多实际场景中,没有一个单一的潜在奖励函数来指导探索,例如,当智能体需要同时学习许多技能时,或者需要平衡多个相互冲突的目标时。为了解决这些挑战,我们提出了\textit{task-agnostic RL}框架:在探索阶段,代理首先通过探索MDP收集轨迹,而无需奖励函数的指导。探索后,它的目的是找到接近最优的政策$N$任务,给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法,\textsc{UCBZero},发现$ε$ -最优的政策$N$任意任务后,最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限,表明$\log$依赖于$N$是不可避免的。此外,我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时,地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
该研究针对知识迁移任务中的探索问题,对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法,经虚拟无人机问题测试,上置信界算法表现最佳,其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG