Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Aalto University(阿尔托大学)
现有技术的强化学习(RL)算法通常使用随机采样(例如,$ε$ -贪婪)的探索,但这种方法失败的硬探索任务,如蒙特祖玛的复仇。为了应对探索的挑战,先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励(也称为探索奖金或好奇心)通常会导致在困难的探索任务中表现出色。然而,在简单的探索任务中,智能体会被内在奖励分散注意力,即使有足够的任务(也称为外在)奖励,也会进行不必要的探索。因此,这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程,称为外在-内在策略优化(EIPO),自动调整内在奖励的重要性:它抑制内在奖励时,探索是不必要的,并增加它时,探索是必需的。其结果是优越的探索,不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Large-Scale Study of Curiosity-Driven Learning
OpenAI;UC Berkeley(加州大学伯克利分校);Univ. of Edinburgh(爱丁堡大学)
强化学习算法依赖于精心设计的环境奖励,这些奖励是代理外部的。然而,用手工设计的、密集的奖励来注释每个环境是不可扩展的,这激发了开发代理固有的奖励函数的需求。Currency是一种以预测误差作为奖励信号的内在奖励函数。在本文中:(a)我们在54个标准基准环境(包括Atari游戏套件)中进行了第一次纯好奇心驱动学习的大规模研究,即没有任何外在奖励。我们的研究结果显示出令人惊讶的良好性能,以及许多游戏环境的内在好奇心目标和手工设计的外在奖励之间的高度一致性。(b)我们研究了使用不同特征空间计算预测误差的效果,并表明随机特征对于许多流行的RL游戏基准测试已经足够,但学习的特征似乎更好地推广(例如,在超级马里奥兄弟中的新游戏关卡)。(c)我们证明了基于预测的奖励在随机设置的局限性。游戏视频和代码在https://pathak22.github.io/large-scale-curiosity/
2018-08-13 cs.AI cs.CV cs.LG
Wanting to be Understood
Google DeepMind(谷歌DeepMind)
本文通过感知交叉范式仿真研究强化学习智能体的内在动机,发现仅靠人工好奇心不足以促成社会互动,而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan(密歇根大学)
在许多顺序决策任务中,设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题,或其密切的变化,已经提出了文献。在本文中,我们建立在Singh等人的最优奖励框架之上,该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明,如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中,我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理,使用我们的算法提供附加的内在奖励A2C为基础的政策学习者(雅达利游戏)和基于PPO的政策学习者(Mujoco域)与基线代理,使用相同的政策学习者,但只有外在的奖励。我们的研究结果表明,在大多数,但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
Experimental Evidence that Empowerment May Drive Exploration in Sparse-Reward Environments
Swarthmore College(斯沃斯莫尔学院);Araya Inc.(Araya公司)
强化学习(RL)在外部奖励稀疏的环境中通常是不成功的。一个可能的对策是赋予RL代理一个内在的奖励功能,或“内在动机”,它根据当前传感器状态的某些特征奖励代理。基于授权原则的内在奖励函数分配与代理对其自己的传感器的控制量成比例的奖励。我们实现了一个变化,最近提出的内在动机的代理,我们称之为“好奇”的代理,授权启发代理。前者利用传感器状态编码与变分自编码器,而后者预测下一个传感器状态通过变分信息瓶颈。我们比较了这两个代理的性能,在四个稀疏的奖励网格世界的优势演员-评论家基线。授权代理人和它好奇的竞争者似乎都从他们的内在奖励中获得了类似的好处。这为授权可以用来推动探索的猜想提供了一些实验支持。
2021-07-14 cs.AI
Autonomous state-space segmentation for Deep-RL sparse reward scenarios
Institute of Cognitive Sciences and Technologies (ISTC) National Council of Research (CNR)(国家研究委员会认知科学与技术研究所(ISTC))
针对稀疏奖励下的Deep Reinforcement Learning问题,提出一种双层架构交替进行内在驱动探索与目标导向策略学习,通过构建专门子网络避免重复探索,在Gym SuperMarioBros中验证了自主环境分割生成高效路径的有效性。
2025-04-04 cs.AI cs.CV cs.LG
Curiosity-driven Exploration by Self-supervised Prediction
University of California, Berkeley(加州大学伯克利分校)
在许多现实世界的场景中,代理的外在奖励非常稀少,或者完全不存在。在这种情况下,好奇心可以作为一种内在的奖励信号,使智能体能够探索其环境并学习可能在其以后的生活中有用的技能。我们制定好奇心作为错误的智能体的能力,预测自己的行动的后果,在视觉特征空间学习的自监督逆动力学模型。我们的公式可以扩展到像图像这样的高维连续状态空间,绕过了直接预测像素的困难,并且,关键的是,忽略了环境中不能影响代理的方面。在VizDoom和Super Mario Bros.Three广泛的设置进行了研究:1)稀疏的外部奖励,好奇心允许与环境的交互少得多,以达到目标; 2)探索没有外部奖励,好奇心推动代理更有效地探索;以及3)推广到看不见的场景(例如,相同游戏的新级别),其中从早期经验获得的知识帮助代理比从头开始更快地探索新的地方。演示视频和代码可在www.example.com获得
2017-05-15 cs.AI cs.CV cs.LG
RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback
Shanghai AI Lab(上海人工智能实验室);National University of Singapore(新加坡国立大学);Independent Researcher(独立研究者)
RetroAgent通过逆向双重内在反馈机制,使大语言模型代理在交互环境中通过持续进化而非单纯完成任务来提升性能,实现更强的适应与泛化能力。
2026-06-09 cs.AI
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟);University of the Basque Country (UPV/EHU)(巴斯克大学)
在人类生命的早期阶段,婴儿通过探索不同的场景来发展他们的技能,这些场景的动机是他们内在的满足感,而不是来自环境的外在奖励。这种行为,被称为内在动机,已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法,以加快学习过程中的单一和多代理问题的同质代理。然而,很少有研究阐述了异构代理部署到同一环境中,但与后者的不同实例之间的协作学习框架,没有任何先验知识。除了异质性之外,每个代理的特性只允许访问完整状态空间的一个子集,这可能隐藏不同的探索策略和最佳解决方案。在这项工作中,我们结合了内在动机和迁移学习的想法。具体来说,我们专注于共享参数的演员-评论家模型架构,并结合通过内在动机获得的信息,目的是有一个更有效的探索和更快的学习。我们测试我们的策略,通过实验进行了修改ViZDooM的我回家的路的情况下,这是更具挑战性的比原来的版本,并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式,在没有知识共享的情况下,一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外,我们描述了需要正确调制的重要性之间的外在和内在的奖励,以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Scheduled Intrinsic Drive: A Hierarchical Take on Intrinsically Motivated Exploration
University of Freiburg(弗赖堡大学)
稀疏奖励强化学习的探索仍然是一个开放的挑战。许多最先进的方法使用内在动机来补充稀疏的外在奖励信号,使智能体在探索过程中有更多的机会接收反馈。通常,这些信号被添加为奖金奖励,这导致了既不进行探索也不坚决完成任务的混合策略。在本文中,我们学习独立的内在和外在任务策略,并在这些不同的驱动器之间进行调度,以加速探索和稳定学习。此外,我们引入了一种新类型的内在奖励表示为后继特征控制(SFC),这是一般的,而不是特定于任务。它考虑了完整轨迹的统计数据,因此不同于以前只使用局部信息来评估内在动机的方法。我们使用三种不同的纯视觉输入环境来评估我们提出的预定内在驱动(SID)代理:VizDoom,DeepMind Lab和DeepMind Control Suite。结果表明,大大提高了勘探效率与SFC和层次使用的内在驱动器。我们的实验结果的视频可以在https://youtu.be/b0MbY3lUlEI上找到。
2019-06-21 cs.AI cs.LG cs.RO
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学);University College London(伦敦大学学院)
稀疏奖励环境中的探索仍然是无模型强化学习的关键挑战之一。许多最先进的方法不是仅仅依靠环境提供的外在奖励,而是利用内在奖励来鼓励探索。然而,我们表明,现有的方法在程序生成的环境中,代理不太可能访问一个状态超过一次。我们提出了一种新型的内在奖励,鼓励代理采取行动,导致其学习状态表示的显着变化。我们评估我们的方法在多个具有挑战性的程序生成的任务在MiniGrid,以及在以前的工作中使用的高维观测任务。我们的实验表明,这种方法是更有效的样本比现有的探索方法,特别是程序生成的MiniGrid环境。此外,我们分析了学习的行为以及我们的代理收到的内在奖励。与以前的方法相比,我们的内在奖励在训练过程中不会减少,并且它会奖励代理与它可以控制的对象进行交互。
2020-02-29 cs.AI cs.LG
Policy Optimality Measurement for Multi-Vehicle Decision-Making: From Extrinsic Indicators to Intrinsic Quality
School of Automotive Studies, Tongji University(同济大学汽车学院)
该研究针对自动驾驶多智能体强化学习策略的黑箱评估问题,提出基于MCTS的信息论诊断框架,构建策略最优性评分以精准暴露策略缺陷,为内在多智能体策略质量提供严格基准标准。
2026-08-04 cs.AI cs.LG
Focus on Impact: Indoor Exploration with Intrinsic Motivation
University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学)
室内环境的探索最近引起了人们的极大兴趣,这也要归功于引入了以分层方式构建的深度神经代理,并在模拟环境中使用深度强化学习(DRL)进行训练。当前最先进的方法采用密集的外在奖励,其需要训练环境的布局的完整先验知识来学习有效的探索策略。然而,就时间和资源而言,收集这种信息是昂贵的。在这项工作中,我们建议训练模型与一个纯粹的内在奖励信号,以指导探索,这是基于机器人的行动对环境的内部表示的影响。到目前为止,基于影响的奖励已经用于简单的任务和程序生成的具有可数状态的合成环境。由于在现实的室内环境中的代理可观察到的状态的数量是不可数的,我们包括一个基于神经的密度模型,并取代传统的基于计数的正则化与估计的伪计数以前访问过的状态。所提出的探索方法优于DRL为基础的竞争对手依赖于内在的奖励,并超越了密集的外部奖励计算的环境布局训练的代理。我们还表明,机器人配备了所提出的方法无缝地适应点目标导航和现实世界的部署。
2022-02-04 cs.AI cs.CV cs.RO
Information Theoretically Aided Reinforcement Learning for Embodied Agents
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Faculty of Mathematics and Computer Science, Leipzig University(莱比锡大学数学与计算机科学学院);Santa Fe Institute(圣塔菲研究所)
具身智能体的强化学习是一个具有挑战性的问题。要优化的累积奖励通常是一个非常粗糙的函数,梯度方法会受到许多局部优化器的影响。我们证明,在一个实验环境中,将一个内在的奖励可以平滑的优化景观,同时保留感兴趣的全局优化。我们表明,在一个复杂的形态运动的策略梯度优化显着改善时,补充外在奖励的内在奖励定义的时间连续的传感器读数的互信息。
2016-05-31 cs.AI cs.RO math.OC
CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley(加州大学伯克利分校);NYU(纽约大学);MetaAI(元人工智能);Covariant(协变公司)
我们介绍了对比内在控制(CIC),无监督的技能发现算法,最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入,并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法,该测试包括一个长时间的无奖励预训练阶段,然后是一个短时间的适应阶段,以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法,比现有的无监督技能发现方法高出1.79倍,比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能部门)
解决具有稀疏奖励的任务是强化学习中最重要的挑战之一。在单智能体环境中,通过引入内在奖励来激励智能体探索其状态空间中看不见的区域来解决这一挑战;然而,将这些技术天真地应用于多智能体环境会导致智能体独立探索,而不会相互协调。合作多代理设置的探索,可以加速和改善,如果代理协调他们的探索。在本文中,我们介绍了一个框架,设计内在的奖励,考虑其他代理人已经探索,使代理人可以协调。然后,我们开发了一种学习如何在几种探索模式之间进行动态选择以最大化外部奖励的方法。具体地说,我们制定的方法作为一个分层的政策,其中一个高层次的控制器选择不同的内在奖励和低层次的控制器学习这些特定的奖励下的所有代理的行动政策训练的政策集。我们证明了所提出的方法在合作领域的有效性与稀疏的奖励,最先进的方法失败,并具有挑战性的多阶段任务,需要改变协调模式。
2021-05-22 cs.AI cs.LG cs.MA
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology(国防科技大学)
本文针对稀疏外部奖励下的强化学习挑战,提出了一种受人类学习启发的内在奖励机制,通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索,在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
LECO: Learnable Episodic Count for Task-Specific Intrinsic Reward
Kakao Brain
情节计数已被广泛用于设计一个简单而有效的内在动机的强化学习与稀疏的奖励。然而,在高维状态空间中以及在长的情节时间上使用情节计数需要彻底的状态压缩和快速散列,这阻碍了在这种困难和复杂的探索环境中对其的严格利用。此外,来自任务无关的观察在情节计数的干扰可能会导致其内在动机,忽视任务相关的重要变化的状态,和新奇的情节方式可以导致重复重温熟悉的状态跨事件。为了解决这些问题,在本文中,我们提出了一个可学习的基于散列的情节计数,我们命名为LECO,有效地执行任务特定的内在奖励在硬探索问题。特别是,所提出的内在奖励包括情节新颖性和任务特定的调制,其中前者采用矢量量化的变分自编码器,以自动获得快速计数的离散状态码,而后者通过学习调制器来调节情节新颖性,以优化任务特定的外在奖励。所提出的LECO特别地使得在强化学习期间能够从探索自动过渡到利用。我们的实验表明,与以前的探索方法相比,LECO成功地解决了困难的探索问题,并通过在MiniGrid和DMLab环境中最困难的任务扩展到大的状态空间。
2022-10-11 cs.AI cs.LG
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology(国防科技大学);Artificial Intelligence Research Center, DII(国防创新研究院人工智能研究中心)
为了解决强化学习中外部奖励的稀疏性,研究人员提出了内在奖励,使智能体能够学习将来可能对追求奖励有用的技能,例如鼓励智能体访问新状态。然而,由于环境的随机性,内在奖励可能是噪声的,直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外,许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性,这将放大由于平方运算的噪声。在本文中,我们通过提出一种利用核范数最大化(NNM)的新好奇心来解决上述挑战,该好奇心可以更准确地量化探索环境的新颖性,同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验,结果表明,与以前的好奇心方法相比,NNM可以提供最先进的性能。在26个Atari游戏子集上,当只使用内在奖励进行训练时,NNM实现了1.09的人类标准化得分,这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布,以提高可重复性。
2022-05-28 cs.AI cs.LG
DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards
The University of Tokyo(东京大学);Google Research(谷歌研究院)
提出DEIR方法,通过条件互信息推导内在奖励并利用判别式前向模型实现,准确评估智能体探索行为,在MiniGrid和ProcGen上展现出更优的学习速度、泛化能力和适用性。
2023-05-18 cs.AI cs.IT cs.LG
Uncertainty-Aware Reward-Free Exploration with General Function Approximation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文提出无奖励强化学习算法 GFA-RFE,通过不确定性感知的内在奖励和不确定性加权学习提升样本效率,并在理论和 DeepMind Control Suite 实验中验证其优于现有方法。
2024-06-30 cs.AI cs.LG
SmoothVLA: Aligning Vision-Language-Action Models with Physical Constraints via Intrinsic Smoothness Optimization
SmoothVLA通过内在平滑性优化对齐视觉-语言-动作模型与物理约束,结合物理指导的混合奖励函数和GRPO方法,提升轨迹平滑度和泛化能力。
2026-03-14 cs.AI cs.RO
Feature Control as Intrinsic Motivation for Hierarchical Reinforcement Learning
Imperial College London(帝国理工学院);DeepMind(深度思维)
稀疏奖励问题是当代强化学习中最困难的挑战之一。分层强化学习(HRL)通过使用一组时间扩展的动作或选项来解决这个问题,每个动作或选项都有自己的子目标。这些子目标通常是为特定任务手工制作的。然而,在这里,我们引入了一个通用的子目标类,在视觉领域具有广泛的适用性。我们的方法(与使用“辅助任务”的工作一样)的基础是这样一个假设,即控制环境各个方面的能力是一种固有的有用技能。我们将这样的子目标在一个端到端的分层强化学习系统和测试我们的算法的两个变种上的一些游戏从雅达利套件。我们强调了我们的方法在最难的游戏之一-蒙特祖玛的复仇-处理稀疏奖励的能力是关键的优势。我们的智能体在这个游戏中的学习速度比目前最先进的HRL智能体快几倍,达到了类似的性能水平。更新22/11/17:我们发现,一个标准的A3 C代理与一个简单的形状奖励,即外在奖励+特征控制内在奖励,具有可比的性能,我们的代理在蒙特祖玛复仇。根据新的实验,我们的HRL方法的优势可以更多地归因于它能够从内在奖励中学习有用的功能,而不是它能够探索和重用具有分层组件的抽象技能。这使我们对结果得出了一个新的结论。
2017-11-22 cs.AI cs.LG
We Urgently Need Intrinsically Kind Machines
Brown University(布朗大学);Carney Institute for Brain Science(卡尼脑科学研究所)
本文主张为人工智能系统引入内在善良动机,通过模拟对话的框架将其嵌入基础模型,以确保算法与人类价值观真正对齐,防止表面一致下的错位风险。
2024-10-21 cs.AI
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley(加州大学伯克利分校)
本研究提出MaxInfoRL框架,通过最大化任务信息增益等内在奖励引导定向探索,结合玻尔兹曼探索平衡价值与熵最大化,在多臂老虎机场景实现次线性遗憾,应用于连续空间离线无模型RL方法后,在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg(汉堡大学)
在本文中,我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示,该编码器经过训练以重建视觉输入,而最中心的隐藏表示也经过优化以估计状态值。单独地,预测世界模型的集合基于其学习进度生成内在奖励信号,该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务,学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明,我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University(檀国大学电气与电子工程学院)
针对内在奖励探索易受 Noisy TV 与随机性影响的问题,提出 TeCLE,通过动作条件潜在状态分布和时间相关性计算内在奖励,并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Curiosity-Driven Multi-Agent Exploration with Mixed Objectives
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在单智能体强化学习中,内在奖励被越来越多地用于缓解稀疏奖励问题。这些内在奖励鼓励智能体寻找新的体验,引导智能体充分探索环境,尽管缺乏外在奖励。好奇心驱动的探索是一种简单而有效的方法,它将这种新奇性量化为智能体好奇心模块的预测误差,好奇心模块是一种内部神经网络,经过训练可以根据智能体的当前状态和动作预测智能体的下一个状态。然而,我们在这里表明,天真地使用这种好奇心驱动的方法来指导稀疏奖励合作多智能体环境中的探索并不总是会导致改进的结果。好奇心驱动的探索的简单多智能体扩展只考虑个人或集体的新颖性,因此,它们不提供一个独特的,但协作的内在奖励信号,这是必不可少的学习合作多智能体任务。在这项工作中,我们提出了一个好奇心驱动的多智能体探索方法,具有混合目标的激励代理人探索环境的方式,是单独和集体新颖的。首先,我们开发了一个双头好奇心模块,该模块被训练来预测相应的代理在第一个头中的下一个观察和在第二个头中的下一个联合观察。其次,我们将内在奖励公式设计为好奇心模块的个体和联合预测误差之和。我们的经验表明,我们的好奇心模块架构和内在的奖励制定相结合的指导多智能体探索更有效地比基线方法,从而提供了最佳的性能提升MARL算法在合作导航环境与稀疏的奖励。
2022-10-29 cs.AI cs.LG cs.MA
Diversity Progress for Goal Selection in Discriminability-Motivated RL
Aalto University(阿尔托大学)
本文提出“多样性进展”方法,在内在动机目标条件强化学习中基于可区分性改进选择目标,使智能体无需外在奖励即可更快学习多样技能,且避免目标分布崩溃。
2024-11-06 cs.AI cs.LG
Beyond Noisy-TVs: Noise-Robust Exploration Via Learning Progress Monitoring
本文提出学习进度监控(LPM)方法,通过奖励模型改进而非预测误差或新颖性,提升探索效率,实验证明其在噪声环境中的优越性。
2026-04-03 cs.AI cs.LG
Learning with AMIGo: Adversarially Motivated Intrinsic Goals
New York University(纽约大学);Facebook AI Research(脸书人工智能研究实验室);University College London(伦敦大学学院)
强化学习(RL)的一个关键挑战是在外部奖励稀疏的环境中学习。与目前的强化学习方法相比,人类能够通过使用各种形式的内在动机来学习新技能,而很少或没有奖励。我们提出AMIGo,一种新的代理合并-作为元学习的形式-一个目标生成的老师,提出了不利激励的内在目标训练的目标条件下的“学生”政策的情况下(或旁边)的环境奖励。具体来说,通过一个简单但有效的“建设性对抗”目标,教师学会提出越来越具有挑战性的-但可以实现的-目标,使学生学习在新环境中行动的一般技能,独立于要解决的任务。我们表明,我们的方法生成了一个自然的课程,自我提出的目标,最终允许代理解决具有挑战性的程序生成的任务,其他形式的内在动机和最先进的RL方法失败。
2021-02-23 cs.AI cs.LG stat.ML
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Avoiding Death through Fear Intrinsic Conditioning
Rochester Institute of Technology(罗切斯特理工学院)
针对死亡等高负奖励终止状态不提供反馈的问题,本文提出受杏仁核发育启发、由 MANN 生成的恐惧内在奖励,使智能体在 Miniworld Sidewalk 中学会回避死亡,并通过阈值调节复现 GAD 相关行为。
2025-06-05 cs.AI cs.LG
Hierarchical Deep Deterministic Policy Gradient for Autonomous Maze Navigation of Mobile Robots
School of Aerospace Engineering, Engineering Campus, Universiti Sains Malaysia, 14300 Nibong Tebal, Pulau Pinang, Malaysia(航空航天工程学院)
针对DDPG在迷宫导航中因稀疏奖励和探索低效导致的低成功率问题,提出层次化HDDPG,通过高层生成子目标、低层执行动作,并辅以离策略校正和自适应噪声,显著提升成功率与平均奖励。
2025-08-07 cs.AI cs.RO
Intrinsically motivated graph exploration using network theories of human curiosity
University of Pennsylvania(宾夕法尼亚大学)
本文受信息差距与压缩进展两种好奇心理论启发,提出以子图拓扑特征为内驱奖励的图神经网络强化学习方法,实现高效图探索,并在推荐系统中验证其优于PageRank。
2023-12-01 cs.AI cs.LG cs.SI
InDRiVE: Intrinsic Disagreement based Reinforcement for Vehicle Exploration through Curiosity Driven Generalized World Model
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
InDRiVE 在 Dreamer 框架下用基于世界模型集成内在分歧的奖励替代任务特定外在奖励,实现任务无关探索,在更少训练步数下取得优于 DreamerV2/V3 的驾驶成功率与更少违规。
2025-03-07 cs.AI cs.ET cs.LG
Learning to Play with Intrinsically-Motivated Self-Aware Agents
Wu Tsai Neurosciences Institute(吴蔡神经科学研究所)
婴儿是玩耍的专家,在缺乏明确外在奖励信号的非结构化环境中,他们有着惊人的能力产生新颖的结构化行为。我们试图用一个神经网络实现好奇心驱动的内在动机来数学形式化这些能力。使用一个简单的,但生态自然的模拟环境中,代理可以移动,并与它看到的对象进行交互,我们提出了一个“世界模型”网络,学习预测代理的行动的动态后果。同时,我们训练一个单独的显式的“自我模型”,允许代理跟踪自己的世界模型的错误地图,然后使用自我模型来对抗挑战发展中的世界模型。我们证明,这种政策导致代理人探索新的和信息的相互作用与环境,导致产生一系列复杂的行为,包括自我运动预测,对象的注意力,和对象收集。此外,智能体学习的世界模型支持在对象动态预测、检测、定位和识别任务上的改进性能。总之,我们的研究结果是朝着创建灵活的自主智能体,在复杂的新的物理环境中自我监督的初步步骤。
2018-10-30 cs.AI cs.CV cs.LG
REAL-X -- Robot open-Ended Autonomous Learning Architectures: Achieving Truly End-to-End Sensorimotor Autonomous Learning Systems
Frankfurt Institute of Advanced Studies(法兰克福高等研究院)
开放式学习是发展机器人和人工智能的核心研究领域,旨在建立学习机器和机器人,可以自主地获得知识和技能,如婴儿和儿童。这项工作的第一个贡献是研究以前提出的基准“真正的竞争”,旨在促进真正的开放式学习机器人架构的发展所带来的挑战。比赛涉及一个模拟的相机臂机器人:(a)在第一个“内在阶段”获得感觉运动能力,自主与物体互动;(b)在第二个“外在阶段”进行测试,与任务未知的内在阶段,以衡量质量的知识以前获得。这个基准需要解决通常孤立解决的多个挑战,特别是探索,稀疏奖励,对象学习,概括,任务/目标自我生成和自主技能学习。作为第二个贡献,我们提出了一套“REAL-X”机器人架构,能够解决不同版本的基准测试,我们逐步释放初始简化。这些架构基于一种规划方法,这种方法动态地增加了抽象性和促进探索的内在动机。REAL-X在非常苛刻的条件下实现了良好的性能水平。我们认为,REAL基准是研究开放式学习最困难形式的一个有价值的工具。
2022-03-02 cs.AI cs.RO