Cooperative Exploration for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
探索对于深度强化学习的良好结果至关重要,并引起了广泛关注。然而,现有的多智能体深度强化学习算法仍然主要使用基于噪声的技术。最近,已经开发了考虑多个代理之间的合作的探索方法。然而,现有的方法遭受一个共同的挑战:代理人的斗争,以确定值得探索的状态,并很难协调对这些国家的探索努力。为了解决这个问题,在本文中,我们提出了合作多智能体探索(CMAE):代理共享一个共同的目标,而探索。目标是从多个投影状态空间通过归一化熵为基础的技术。然后,训练代理以协调的方式实现这一目标。我们证明了CMAE在各种任务上的表现始终优于基线,包括稀疏奖励版本的多粒子环境(MPE)和星际争霸多智能体挑战(SMAC)。
2021-07-23 cs.AI
CameraCtrl II: Dynamic Scene Exploration via Camera-controlled Video Diffusion Models
The Chinese University of Hong Kong(香港中文大学);ByteDance Seed(字节跳动 Seed);Stanford University(斯坦福大学)
针对相机条件视频生成在大幅运动下动态减弱、视角受限的问题,本文提出 CameraCtrl II,通过动态训练数据、轻量相机注入与迭代轨迹生成,实现更广范围的可控动态场景探索。
2025-03-13 cs.CV
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra(庞培法布拉大学)
稀疏奖励域对于强化学习算法是具有挑战性的,因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中,我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间,这是常见的一系列任务。该算法引入了子任务,其中包括由压缩引起的状态分区之间的移动。结果表明,该算法可以成功地解决复杂的稀疏回报域,并转移知识,以解决新的,以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University(斯坦福大学)
我们考虑一个团队的强化学习代理,同时学习在一个共同的环境中操作。我们确定了三个属性-自适应性,承诺和多样性-这是必要的有效的协调探索,并证明了简单的扩展单代理乐观和后验抽样方法不能满足他们。作为替代方案,我们提出种子采样,它扩展后验采样的方式,满足这些要求。模拟结果研究如何每代理后悔减少代理数量的增长,建立种子采样替代探索计划的实质性优势。
2018-02-05 cs.AI
Fast Exploration with Simplified Models and Approximately Optimistic Planning in Model Based Reinforcement Learning
Stanford University(斯坦福大学)
人类学习玩视频游戏的速度明显快于最先进的强化学习(RL)算法。人们似乎建立简单的模型,易于学习,以支持规划和战略探索。受此启发,我们研究了利用基于模型的RL提高样本效率的两个问题。首先,我们研究如何进行战略探索时,精确的规划是不可行的,经验表明,乐观的蒙特卡罗树搜索优于后验抽样方法。其次,我们展示了如何学习简单的确定性模型,以支持使用对象表示的快速学习。我们说明了这些想法的好处,通过引入一种新的算法,战略面向对象的强化学习(SOORL),在陷阱的游戏中表现优于国家的最先进的算法!在不到50集里。
2018-11-26 cs.AI
Video Captioning via Hierarchical Reinforcement Learning
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
视频描述是自动生成视频中动作的文本描述的任务。虽然先前的工作(例如序列到序列模型)已经在提取短视频的粗略描述方面显示出有希望的结果,但是用详细描述为包含多个细粒度动作的视频加标题仍然非常具有挑战性。本文旨在通过提出一种新的分层强化学习框架的视频描述,其中一个高级别的经理模块学习设计子目标和一个低级别的工人模块识别的原始动作,以满足子目标的挑战。有了这个组合框架,以加强视频描述在不同的水平,我们的方法显着优于所有的基线方法上新引入的大规模数据集的细粒度视频描述。此外,我们的非集成模型已经在广泛使用的MSR-VTT数据集上取得了最先进的结果。
2018-03-29 cs.AI cs.CL cs.CV
Video Prediction Models as Rewards for Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出VIPER算法,利用预训练视频预测模型从无标签专家视频中提取奖励信号,在DMC、Atari和RLBench任务中实现无需程序化奖励的专家级控制,并支持跨具身泛化。
2023-05-30 cs.AI cs.CV cs.LG
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute(佐治亚理工研究院)
强化学习(RL)中的探索-利用权衡是一个众所周知的和大量研究的问题,其平衡贪婪动作选择与新颖经验,并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而,在在线任务转移的背景下,在在线操作过程中任务发生变化,我们假设,预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此,我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中,我们回顾了强化学习探索方法,定义了一个分类,以组织它们,分析这些方法的任务转移的背景下的差异,并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London(伦敦帝国理工学院);ETH Zurich(苏黎世联邦理工学院)
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为,因此是异方差的。经典的探索策略,如置信上限算法和汤普森采样未能适当考虑异方差,即使在强盗设置。最近的研究结果,解决这个问题的土匪的动机,我们建议使用信息定向采样(IDS)的探索强化学习。作为我们的主要贡献,我们建立在分布式强化学习的最新进展,并提出了一种新的,易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏,并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Mixing Human Demonstrations with Self-Exploration in Experience Replay for Deep Reinforcement Learning
Monash University(莫纳什大学)
我们研究了在回放缓冲区中使用人类演示数据进行深度强化学习的效果。我们使用一个策略梯度方法与修改后的经验重放缓冲区,其中一个人的演示经验,以给定的概率进行采样。我们分析了不同的比率使用演示数据在一个任务中,代理试图达到一个目标,同时避免障碍。我们的研究结果表明,虽然纯自我探索和纯演示训练的代理人有类似的成功率,但纯演示模型收敛速度更快,步骤更少。
2021-07-14 cs.AI
Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯AI实验室);The Education University of Hong Kong(香港教育大学);The Hong Kong Polytechnic University(香港理工大学)
提出DiRL框架,通过方向感知奖励区分推理与记忆驱动的探索,在GRPO中集成方向加权梯度特征,显著提升数学与通用推理性能。
2026-06-09 cs.AI
Diversity-Driven Exploration Strategy for Deep Reinforcement Learning
National Tsing Hua University(国立清华大学)
有效探索仍然是强化学习中具有挑战性的研究问题,特别是当环境包含大的状态空间,欺骗性局部最优或稀疏奖励时。为了解决这个问题,我们提出了一种多样性驱动的探索方法,它可以很容易地与关闭和对政策强化学习算法相结合。我们表明,通过简单地添加一个距离测量的损失函数,所提出的方法显着提高代理的探索行为,从而防止政策陷入局部最优。我们进一步提出了一种自适应缩放方法来稳定学习过程。我们在Atari 2600上的实验结果表明,我们的方法在平均得分和探索效率方面优于基线方法。
2018-10-28 cs.AI stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架,如$E^3$,$R_{max}$,汤普森采样假设一个单一的固定MDP,并不适合系统辨识在多任务设置。我们提出了一种新的方法,以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法,以学习底层的MDP分布,并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法,并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
在具有高维观测和稀疏奖励的复杂环境中,探索对于深度强化学习至关重要。为了解决这个问题,最近的方法提出了利用内在奖励来改善探索,例如基于新颖性的探索和基于预测的探索。然而,许多内在奖励模块需要复杂的结构和表示学习,导致过高的计算复杂性和不稳定的性能。在本文中,我们提出了奖励情节访问离散(REVD),计算效率和量化的探索方法。更具体地说,REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计,k-最近邻估计器与随机初始化的状态编码器一起使用。最后,REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明,REVD能显著提高强化学习算法的样本效率,性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
提高样本效率是强化学习中的一个关键挑战,特别是在具有大状态空间和稀疏奖励的环境中。在文献中,这是通过使用辅助任务(子目标)或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹,而辅助任务已被纳入奖励稀疏的地方。然而,很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略,探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法,该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明,与几个有竞争力的基线相比,该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
如何有效地发现子目标是分层强化学习(HRL)中的一个挑战性问题。在本文中,我们表明,内在动机学习提高了探索的效率,导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外,我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration
Tsinghua University(清华大学);HKUST(香港科技大学);Video Rebirth Project(视频重生项目)
KVPO通过引入因果-语义探索范式和基于轨迹速度能量的替代策略,解决自回归视频生成器与人类偏好对齐的挑战,提升视频质量与文本对齐效果。
2026-05-14 cs.CV
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)(电子和电信研究院(ETRI))
本文针对深度强化学习中的探索问题,发现低初始熵导致学习失败,提出熵感知模型初始化策略,有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对目标条件强化学习中的探索效率问题,提出GEASD框架,通过自适应技能分布优化局部熵,增强目标扩散,实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Opportunities and Challenges from Using Animal Videos in Reinforcement Learning for Navigation
Boston University(波士顿大学)
我们研究了使用动物视频(观察)来提高强化学习(RL)在具有稀疏奖励的导航任务中的效率和性能。出于理论考虑,我们将加权策略优化用于非策略RL,并描述了从动物视频中学习时的主要挑战。我们提出解决方案,并在一系列2D导航任务上测试我们的想法。我们展示了我们的方法如何利用动物视频来提高RL算法的性能,而RL算法不利用这些观察结果。
2022-11-10 cs.AI cs.CV cs.LG
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents
Uber AI Labs(优步人工智能实验室)
演化策略(ES)是一系列黑箱优化算法,能够粗略地训练深度神经网络,以及Q学习和策略梯度方法,以解决具有挑战性的深度强化学习(RL)问题,但速度更快(例如,几小时与几天),因为它们的并行化更好。然而,许多RL问题需要定向探索,因为它们具有稀疏或欺骗性的奖励函数(即包含局部最优值),并且不知道如何使用ES鼓励这种探索。在这里,我们表明,已经发明的算法,以促进定向探索小规模进化神经网络通过人口的探索代理,特别是新颖性搜索(NS)和质量多样性(QD)算法,可以与ES杂交,以提高其性能的稀疏或欺骗性的深度RL任务,同时保持可扩展性。我们的实验证实,由此产生的新算法,NS-ES和两个QD算法,NSR-ES和NSRA-ES,避免了ES遇到的局部最优,以实现更高的性能Atari和模拟机器人学习走动的欺骗性陷阱。因此,本文介绍了一个家庭的快速,可扩展的强化学习,能够直接探索算法。它还将这个新的探索算法家族添加到RL工具箱中,并提出了一种有趣的可能性,即具有多个同时探索路径的类似算法也可能与ES之外的现有RL算法很好地结合。
2018-10-29 cs.AI
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
我们考虑一个团队的强化学习代理,同时在一个共同的环境中运行,我们开发了一种方法,有效的协调探索,是适合于实际规模的问题。我们的方法建立在种子采样(Dimakopoulou和Van Roy,2018)和随机价值函数学习(Osband等人,2016年)。我们证明,对于简单的表格上下文,该方法与以前提出的表格模型学习方法(Dimakopoulou和Van Roy,2018)具有竞争力。与高维问题和神经网络价值函数表示,该方法学习速度快,代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所(IHMC))
尽管深度强化学习算法取得了进步,但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法,或者需要环境的模型,或者训练额外的深度神经网络来生成增强路径。在本文中,一个革命性的算法,称为策略增强,介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值,帮助代理采取行动,这将导致高价值的回报,而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明,优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh(爱丁堡大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
内在奖励可以改善强化学习中的探索,但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中,我们引入了解耦RL(DeRL)作为一个通用框架,它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处,同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明,DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后,我们讨论了分布偏移的挑战,并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania(宾夕法尼亚大学);University of California Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
强化学习是机器人从经验中获取技能的强大框架,但通常需要大量的在线数据汇集。因此,很难收集机器人广泛推广所需的足够多样化的经验。另一方面,人类的视频是广泛而有趣的经验的现成来源。在本文中,我们考虑这样一个问题:我们可以直接对人类收集的经验进行强化学习吗?这个问题是特别困难的,因为这样的视频没有用动作注释,并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战,我们提出了一个视频强化学习(RLV)的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中,我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能,其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom;Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题,提出基于蒙特卡洛评论家集成的引导探索方法,动态校正探索动作,并用于同时修改策略与评论家,在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Off-policy Reinforcement Learning with Model-based Exploration Augmentation
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
针对被动探索样本多样性不足的问题,提出由扩散生成器和单步想象世界模型组成的MoGE方法,通过生成关键状态与合成一致经验增强探索,可无缝集成离策略算法,在基准任务中提升样本效率与性能。
2025-10-29 cs.AI
Towards Reinforcement Learning for Exploration of Speculative Execution Vulnerabilities
UT Austin(德克萨斯大学奥斯汀分校);Virginia Tech(弗吉尼亚理工大学);Cornell(康奈尔大学)
本文提出了SpecRL框架,利用强化学习自动寻找后硅(黑盒)微处理器中的推测执行漏洞,以减少传统方法所需的大量人工劳动和对硬件的深度依赖。
2025-04-03 cs.AI cs.CR
Variable-Agnostic Causal Exploration for Reinforcement Learning
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所(A2I2));Deakin University(迪肯大学)
提出VACERL框架,无需指定因果变量,通过注意力机制识别关键步骤并构建因果图引导探索,在稀疏奖励和噪声环境下显著提升强化学习智能体性能。
2024-07-17 cs.AI cs.LG
Directed Exploration for Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置,如网格世界到大的,连续的和稀疏的奖励设置,如机器人对象操作任务,探索通过添加一个不确定性奖金的奖励函数已被证明是有效的,当不确定性能够准确地驱动探索有希望的状态。然而,奖励奖金仍然是低效的,因为它们是非平稳的,这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法,即学习目标条件策略,其中目标只是其他状态,并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性,因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的,而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Safe Exploration of State and Action Spaces in Reinforcement Learning
Universidad Carlos III de Madrid(卡洛斯三世大学)
本文研究了强化学习中的安全探索问题。虽然强化学习非常适合具有复杂过渡动态和高维状态-动作空间的领域,但安全和有效探索的需求带来了额外的挑战。传统的探索技术对于解决危险的任务不是特别有用,其中试错过程可能导致选择动作,这些动作在某些状态下的执行可能导致对学习系统(或任何其他系统)的损害。因此,当一个智能体开始与一个危险的高维状态-动作空间进行交互时,一个重要的问题就出现了;即如何避免(或至少最小化)由于探索状态-动作空间而造成的损害。我们介绍了PI-SRL算法,它安全地改善了连续状态和动作控制任务的次优行为,并有效地从环境中获得的经验中学习。我们评估所提出的方法在四个复杂的任务:自动停车场,杆平衡,直升机悬停,和企业管理。
2014-02-04 cs.AI cs.LG
Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
在未知环境中的探索是移动机器人的核心功能。基于学习的探索方法,包括卷积神经网络,为特征提取提供了优秀的策略,而无需人为设计的逻辑。但是传统的监督学习算法不可避免地要花费大量的精力对数据集进行标注。未包含在训练集中的场景也大多无法识别。我们提出了一种深度强化学习方法,用于在室内环境中仅使用RGB-D传感器的深度信息探索移动机器人。基于Deep Q-Network框架,将原始深度图像作为唯一输入来估计与所有移动命令相对应的Q值。网络权重的训练是端到端的。在任意构造的仿真环境中,我们表明,机器人可以快速适应不熟悉的场景,而无需任何人为的标签。此外,通过分析特征表示的感受野,深度强化学习促使卷积网络估计场景的可遍历性。将测试结果分别与基于深度学习或强化学习的探索策略进行比较。即使只在模拟环境中训练,在真实世界环境中的实验结果表明,机器人控制器的认知能力显着提高监督的方法相比。我们相信这是第一次使用原始传感器信息通过端到端深度强化学习来构建移动机器人的认知探索策略。
2016-10-06 cs.AI cs.RO
Efficient Exploration in Resource-Restricted Reinforcement Learning
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China(中国科学技术大学,GIPAS技术重点实验室);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在强化学习(RL)的许多现实应用中,执行动作需要消耗某些类型的资源,这些资源在每个片段中是不可分解的。典型的应用包括有限能量的机器人控制和具有消耗品的视频游戏。在具有不可分解资源的任务中,我们观察到流行的RL方法(如软演员评论)的样本效率很差。其主要原因是资源枯竭快,资源匮乏严重制约了后续勘探。为了解决这一问题,我们首先将上述问题形式化为资源受限的强化学习,然后提出了一种新的资源感知探索奖金(RAEB),使资源的合理利用。RAEB的一个吸引人的特点是,它可以显着减少不必要的资源消耗试验,同时有效地鼓励代理探索未访问的状态。实验表明,在资源受限的强化学习环境中,所提出的RAEB算法明显优于现有的探索策略,将样本效率提高了一个数量级.
2022-12-14 cs.AI cs.LG
Neighboring State-based Exploration for Reinforcement Learning
UC Berkeley(伯克利大学)
本文研究基于邻近状态的无模型强化学习探索方法,提出两种算法,其中$ρ$-explore在离散环境中比Double DQN基线的Eval Reward Return高出49%。
2025-11-03 cs.AI cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley(加州大学伯克利分校);Embodied Intelligence(具身智能公司)
探索是强化学习(RL)的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标,例如基于状态访问的信息增益或奖金。然而,RL的许多实际应用涉及学习多个任务,并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中,我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索(MAESN)-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策,并获得一个潜在的探索空间,可以注入结构化的随机性到一个政策,产生的探索策略,是由先验知识,比随机动作空间噪声更有效。我们表明,MAESN是更有效的学习探索策略相比,以前的元RL方法,RL没有学习的探索策略,任务不可知的探索方法。我们评估我们的方法在各种模拟任务:运动与轮式机器人,运动与四足步行机,和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University(清华大学);NetEase(网易公司)
Meta强化学习(meta-RL)从先前的任务中提取知识,并实现对新任务的快速适应。尽管最近取得了进展,但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战,我们明确建模的探索策略学习问题的元RL,这是从剥削策略学习分离,并引入了一种新的授权驱动的探索目标,其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励,并开发了一个新的离线策略元RL框架,该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明,我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
结构化探索的最新研究强调在状态空间中识别新的状态,并通过内在奖励奖金激励代理重新访问它们。在这项研究中,我们的问题,通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中,我们调查的影响,在政策和奖励空间的探索行为的代理。我们继续表明,在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现,我们建议对结构化探索研究的任何改进进行基准测试,以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
Is Exploration All You Need? Effective Exploration Characteristics for Transfer in Reinforcement Learning
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文通过在多种迁移“新颖性”任务上评测11种探索算法,分析不同探索特征与在线迁移性能和效率的关系,并给出情境化算法选择建议。
2024-04-02 cs.AI cs.LG
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley(加州大学伯克利分校)
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证,他们往往是不切实际的,在更高的维度,由于它们依赖于枚举的状态动作空间。因此,复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中,我们考虑了具有挑战性的Atari游戏领域,它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略,包括汤普森采样和玻尔兹曼勘探,并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型,我们能够开发一种可扩展且有效的探索奖金方法,该方法可应用于具有复杂高维状态空间的任务。在雅达利领域,我们的方法提供了最一致的改进,在一系列的游戏,构成了一个重大的挑战,以前的方法。除了原始游戏分数,我们还为Atari学习领域开发了AUC-100指标,以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
VideoMap: Supporting Video Editing Exploration, Brainstorming, and Prototyping in the Latent Space
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究中心)
VideoMap是一个基于潜在空间的视频编辑界面,通过地图式导航和可更换镜头支持探索性编辑,用户研究显示其能减少繁琐工作并提升创意体验。
2024-06-25 cs.CV cs.HC cs.MM
Flipping Coins to Estimate Pseudocounts for Exploration in Reinforcement Learning
Brown University(布朗大学)
本文提出通过平均 Rademacher 分布样本估计状态访问伪计数,并以监督学习目标实现,在计数推断和 9 个强化学习探索任务上优于现有方法。
2023-06-05 cs.AI cs.LG
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法,可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索,从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略(如ε-greedy,Boltzmann,bootstrapping和基于内在奖励的策略)学习得更快。此外,我们还证明了,在重放缓冲区中加入一些成功的经验,可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发,我们提出了目标文字咿呀学语(GLIB),一个简单而通用的方法,探索在这样的问题。GLIB对关系连接目标进行采样,这些目标可以被理解为智能体希望在世界上实现的特定目标,并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明,与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中,我们发现GLIB在一系列任务的预测和规划方面都强于现有方法,包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频:https://youtu.be/F6lmrPT6TOY代码:https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
探索是训练最优强化学习(RL)策略的关键,其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖,而不考虑可以学习的这种鉴别过程。在本文中,我们提出了一种称为生成对抗探索(GAEX)的新方法,通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索,其中生成器提供了状态的假样本,帮助机器人识别那些不太频繁访问的状态。因此,鼓励代理人访问那些州,而代理人不太有信心判断为访问过。GAEX易于实现,训练效率高。在我们的实验中,我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题,包括游戏冒险,蒙特祖玛的复仇和超级马里奥兄弟,没有进一步微调复杂的学习算法。据我们所知,这是第一个工作,采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
BAMAX: Backtrack Assisted Multi-Agent Exploration using Reinforcement Learning
Thoughtworks India Pvt Ltd.(Thoughtworks印度私人有限公司)
针对多机器人协作完全探索未知环境的难题,提出基于强化学习的回溯辅助多智能体探索方法BAMAX,利用回溯机制提升探索效率,实验证明其在多种六边形网格中实现了更快的覆盖率和更少的回溯。
2024-11-13 cs.AI cs.RO
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI(北方人工智能公司)
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习(RL)的一个重要开放问题。本文认为这样一个域,最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明,无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析,阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的,我们开发了一个基于模型的自动推理模块,可以用于更安全的探索修剪行动,肯定会导致代理死亡。我们的经验表明,这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出AIRS,一种自动内在奖励塑形方法,通过实时选择塑形函数增强强化学习探索,并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
探索-利用权衡是强化学习(RL)的核心。然而,最近RL研究中使用的大多数连续控制基准只需要局部探索。这导致了具有基本探索能力的算法的开发,并且在需要更多功能探索的基准测试中表现不佳。例如,正如我们的实证研究所证明的那样,最先进的RL算法(如DDPG和TD 3)无法在即使是小的2D迷宫中引导点质量。在本文中,我们提出了一种新的算法,称为“计划,回放,链技能”(PBCS),结合运动规划和强化学习,以解决困难的探索环境。在第一阶段中,使用运动规划算法来找到单个良好轨迹,然后通过组合Backplay算法的变体和技能链,使用从轨迹导出的课程来训练RL算法。我们表明,这种方法优于国家的最先进的RL算法在各种大小的2D迷宫环境中,并能够提高所获得的轨迹的运动规划阶段。
2020-04-24 cs.AI cs.LG cs.RO
DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
安全的强化学习是极具挑战性的--不仅必须让智能体探索未知的环境,还必须确保没有违反安全约束。我们制定这个安全的强化学习(RL)问题使用的框架有限时域约束马尔可夫决策过程(CMDP)与未知的转移概率函数,在那里我们建模的安全要求的约束,必须满足在所有的学习情节的预期累积成本。我们提出了一个基于模型的安全RL算法,我们称之为双重乐观和悲观的探索(DOPE),并表明它实现了一个客观的遗憾$\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$,而不违反学习过程中的安全约束,其中$|\mathcal{S}|$是状态的数量,$|\mathcal{A}|$是行动的数量,和$K$是学习情节的数量。我们的主要思想是结合奖励奖金的探索(乐观)与保守的约束(悲观),除了标准的乐观模型为基础的探索。DOPE不仅能够提高客观后悔界限,而且与早期的乐观-悲观方法相比,还显示出显着的实证性能改善。
2022-10-18 cs.AI cs.LG
Planning with Exploration: Addressing Dynamics Bottleneck in Model-based Reinforcement Learning
Center for Research on Intelligent System and Engineering(智能系统与工程研究中心);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于模型的强化学习(MBRL)被认为比无模型强化学习(MFRL)具有更高的样本效率。然而,MBRL一直受到动力学瓶颈困境的困扰。动力学瓶颈困境是指当与环境的交互步长增加时,算法的性能没有增加反而陷入局部最优,即数据量增加并不能带来更好的性能。本文通过理论分析发现,轨迹回报估计误差是导致动力学瓶颈困境的主要原因。给出了轨迹报酬估计误差的上界,指出提高智能体的探索能力是减小轨迹报酬估计误差,从而缓解动力学瓶颈困境的关键.基于此,提出了一种基于模型的渐进熵探索控制方法MOPE 2(Model-based Progressive Entropy-based Exploration)。我们进行了几个复杂的连续控制基准任务的实验。结果验证了MOPE 2可以有效缓解动力学瓶颈困境,并且比之前的MBRL和MFRL算法具有更高的样本效率。
2021-06-24 cs.AI cs.LG
Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
University of Tokyo(东京大学);Aalto University(阿尔托大学)
提出ReMax目标函数,通过最大化M个样本的期望最大回报来使探索行为自然涌现,并推导策略梯度公式及RePPO算法,在MinAtar和Craftax基准上无需显式探索奖励即可促进探索。
2026-09-15 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习(RL)的方法为手术自动化提供了可扩展的解决方案,但是如果没有给出先验知识,则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战,可以通过向RL代理提供专家演示来缓解。然而,如何有效地利用示范数据,提高勘探效率仍然是一个开放的挑战。在这项工作中,我们引入演示引导探索(DEX),一个有效的强化学习算法,旨在克服探索问题的专家演示手术自动化。为了有效地利用演示,我们的方法估计具有更高值的专家行为,以促进富有成效的交互,并采用非参数回归,以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL,一个全面的手术模拟平台,证明显着提高探索效率和任务成功率的方法。此外,我们还将学习到的策略部署到达芬奇研究工具包(dVRK)平台上,以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO