Emergence of Structured Behaviors from Curiosity-Based Intrinsic Motivation
Stanford University(斯坦福大学)
婴儿是玩耍的专家,在缺乏明确外在奖励信号的非结构化环境中,他们有着惊人的能力产生新颖的结构化行为。我们试图用一个神经网络来复制其中的一些能力,这个神经网络实现了好奇心驱动的内在动机。使用一个简单但生态自然主义的模拟环境,智能体可以在其中移动并与它看到的对象交互,智能体学习一个世界模型,预测其行为的动态后果。同时,智能体学会采取行动,对抗发展中的世界模型,推动智能体探索与环境的新颖和信息交互。我们证明,这一政策导致自我监督出现的一系列复杂的行为,包括自我运动预测,对象的注意力,和对象收集。此外,代理学习的世界模型支持对象动态预测和定位任务的改进性能。我们的研究结果是一个原则的证明,计算模型的内在动机可能占的关键特征,发展性视觉学习的婴儿。
2018-02-21 cs.AI cs.CV cs.LG
A survey on intrinsic motivation in reinforcement learning
Univ Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);LIRIS(里昂信息与图像系统实验室)
强化学习(RL)研究领域非常活跃,有许多新的贡献;特别是考虑到深度RL(DRL)的新兴领域。然而,仍然需要解决一些科学和技术挑战,其中我们可以提到抽象行动的能力或探索环境的困难,这些都可以通过内在动机(IM)来解决。在这篇文章中,我们提供了一个调查的作用,内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类,其优点和局限性与上述挑战有关。此外,我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此,我们建议,解决当前的挑战可能会导致一个更大的发展架构,可以解决大多数任务。我们描述了这个开发架构的基础上,由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards
NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
奖励设计是强化学习应用的关键部分,其性能在很大程度上取决于奖励信号如何构建设计者的目标,以及信号如何评估实现该目标的进展。在许多情况下,环境提供的外在奖励(例如,比赛的输赢)非常稀少,并使得难以直接训练代理。在实践中,研究者通常通过添加一些辅助奖励来辅助Agent的学习。然而,设计辅助奖励往往是转向一个试错搜索奖励设置,产生可接受的结果。在本文中,我们提出了自动生成目标一致的内在奖励的智能体学习,通过最大化的预期累积的外在奖励可以最大化。为此,我们引入了动机的概念,它抓住了最大化某些奖励的潜在目标,并提出了基于动机的奖励设计方法。其基本思想是通过最小化内在和外在动机之间的距离来塑造内在奖励。我们进行了大量的实验,并表明我们的方法比国家的最先进的方法在处理延迟奖励,探索和信用分配的问题。
2022-07-29 cs.AI cs.LG
Constraining the Size Growth of the Task Space with Socially Guided Intrinsic Motivation using Demonstrations
INRIA Bordeaux - Sud-Ouest(法国国家信息与自动化研究所波尔多-西南分部)
本文提出了一种在连续和非预设环境中学习高冗余逆模型的算法。我们的社会引导的内在动机演示(SGIM-D)算法结合了社会学习和内在动机的优势,专注于广泛的技能,同时减少对教师的依赖。SGIM-D的评估钓鱼技能学习实验。
2011-11-29 cs.AI
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Intrinsic motivation in virtual assistant interaction for fostering spontaneous interactions
the University of Tokyo(东京大学)
随着当今对话式虚拟助手的日益实用,用户动机在人机交互中的重要性变得越来越明显。然而,以往在这一领域以及相关领域的研究,如人机交互和人机交互,很少讨论内在动机及其影响因素。这些研究要么将动机作为一个不可分割的概念,要么关注非内在动机。本研究旨在通过情感工程的方法来涵盖内在动机。提出了一种新的动机模型,其中内在动机受到两个因素的影响,来自用户与虚拟助手的交互:期望的能力和不确定性。在实验中,这两个因素被操纵,让参与者相信他们正在与智能扬声器“亚马逊回声”互动。内在动机是通过问卷调查和在实验者不在场的情况下秘密监控五分钟的自由选择时间来测量的,在此期间,参与者可以自己决定是否与虚拟助手互动。实验一的结果表明,与低期望相比,高期望会产生更多的内在动机互动。实验结果还表明,不确定性对内在动机有抑制作用,尽管我们在实验前没有假设。然后,我们相应地修改了我们假设的行动选择模型,并对不确定性的影响进行了验证实验。验证实验的结果表明,减少不确定性会鼓励更多的互动,并导致这些互动背后的动机从非内在的转变为内在的。
2020-10-13 cs.AI cs.HC cs.RO
Measuring and Modeling Physical Intrinsic Motivation
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校)
本文通过收集人类对物理场景有趣度的评分并建模多种内在动机假设,发现基于物理预测损失的对抗性奖励模型预测效果最佳,且结合碰撞次数可进一步提升预测力,揭示了人类偏好高信息增益与高物理活动场景的驱动机制。
2023-08-07 cs.AI cs.LG
Bootstrapping Intrinsically Motivated Learning with Human Demonstrations
INRIA Bordeaux - Sud-Ouest(法国国家信息与自动化研究所波尔多-西南分部)
本文研究了内部引导学习与社会互动的耦合,更具体地说,是由于内在动机的学习演示的改进。我们提出了社会引导的内在动机演示(SGIM-D),学习算法在连续的,无界的和非预设的环境。在介绍了社会学习和内在动机之后,我们描述了我们的算法的设计,然后通过钓鱼实验表明,SGIM-D有效地结合了社会学习和内在动机的优势,获得了广泛的曲目,同时专注于特定的子空间。
2011-12-08 cs.AI cs.LG cs.RO
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universität zu Lübeck(吕贝克大学)
自主机器人需要与未知、非结构化和不断变化的环境进行交互,不断面临新的挑战。因此,持续在线适应终身学习和样本效率机制的需求,以适应环境,约束,任务或机器人本身的变化至关重要。在这项工作中,我们提出了一个新的框架,概率在线运动规划与在线适应的基础上,生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号,加上心理重放策略来强化经验,随机递归网络可以从很少的物理交互中学习,并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束,同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
An Evaluation Study of Intrinsic Motivation Techniques applied to Reinforcement Learning over Hard Exploration Environments
TECNALIA(泰克纳利亚);Basque Research & Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA));University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
在过去的几年里,围绕在稀疏奖励环境下制定的强化学习任务的研究活动尤其引人注目。在众多的方法提出来处理这些困难的探索问题,内在动机机制可以说是迄今为止研究最多的替代方案。随着时间的推移,在这一领域报告的进展已经解决了探索问题,提出了新的算法思想,以产生替代机制来衡量新颖性。然而,在这个方向上的大多数努力都忽略了不同的设计选择和参数设置的影响,这些选择和参数设置也被引入来改善所产生的内在奖励的效果,忘记了将这些选择应用于其他可能受益于它们的内在激励技术。此外,这些固有方法中的一些与不同的基础强化算法(例如PPO、IMPALA)和神经网络架构一起应用,难以公平地比较所提供的结果和每个解决方案所提供的实际进展。这项工作的目标是强调在艰苦的探索环境中强化学习的这一关键问题,暴露前卫的内在动机技术的可变性和敏感性,以不同的设计因素。最后,我们的实验在此报告强调了仔细选择这些设计方面的重要性,再加上探索的环境和任务的要求,在相同的设置下的问题,以便公平的比较可以得到保证。
2022-11-21 cs.AI cs.LG
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Toward Explainable Offline RL: Analyzing Representations in Intrinsically Motivated Decision Transformers
DISPOC University of Siena(DISPOC 硅恩纳大学);University of Siena(硅恩纳大学);University of Milan(米兰大学)
针对内在动机提升弹性决策Transformer(EDTs)离线强化学习性能的表征机制未明问题,本文提出事后可解释性框架,通过分析嵌入属性揭示不同内在动机变体的表征结构差异及与性能的环境特定关联,证明其作为表征先验的作用。
2025-11-17 cs.AI cs.LG
Intrinsic Motivation in Dynamical Control Systems
San Jose State University(圣何塞州立大学);Emory University(埃默里大学);University of Hertfordshire(赫特福德大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
生物系统通常在没有明确奖励信号的情况下选择行动,这种现象被称为内在动机。这种行为背后的计算原理仍然知之甚少。在这项研究中,我们调查的信息理论方法的内在动机,基于最大限度地提高代理的授权(互信息之间的过去的行动和未来的状态)。我们表明,这种方法概括了以前的尝试,形式化的内在动机,我们提供了一个计算效率高的算法计算所需的数量。我们测试我们的方法在几个基准控制问题,我们解释了它的成功指导内在动机的行为,我们的信息理论控制功能的基本属性的动力系统相结合的代理环境系统。这为设计实用的人工,内在动机的控制器,并将动物行为与其动力学特性联系起来打开了大门。
2022-12-29 cs.AI physics.app-ph
Towards Improving Exploration in Self-Imitation Learning using Intrinsic Motivation
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟(BRTA));University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
强化学习已经成为有效解决优化任务的强大替代方案。这些算法的使用高度依赖于环境提供的反馈信号,这些反馈信号负责告知学习代理所做的决策有多好(或多坏)。不幸的是,在广泛的问题中,设计一个好的奖励函数并不是微不足道的,所以在这种情况下,稀疏的奖励信号被采用。缺乏密集的奖励函数带来了新的挑战,主要与探索有关。模仿学习通过利用专家的演示解决了这些问题。在没有专家(及其后续演示)的情况下,一种选择是优先考虑智能体收集的合适的探索经验,以便通过良好的探索行为引导其学习过程。然而,这种解决方案高度依赖于智能体在其学习过程的早期阶段发现这种轨迹的能力。为了解决这个问题,我们建议将模仿学习与内在动机结合起来,这是解决稀疏奖励问题的两种最广泛采用的技术。在这项工作中,内在动机是用来鼓励代理探索环境的好奇心的基础上,而模仿学习允许重复最有前途的经验,以加快学习过程。这种组合被证明是产生一个改进的性能和更好的推广程序生成的环境中,优于以前报道的自我模仿学习方法,并实现相等或更好的样本效率的内在动机隔离。
2022-11-30 cs.AI cs.LG
Improved Learning of Robot Manipulation Tasks via Tactile Intrinsic Motivation
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们解决了机器人操作任务的深度强化学习探索的挑战。在稀疏目标设置中,智能体在随机实现目标之前不会收到任何正反馈,这对于较长的控制序列变得不可行。受儿童中观察到的基于触摸的探索的启发,我们基于机器人的力传感器和鼓励物理交互的操纵对象之间的力的总和来制定内在奖励。此外,我们引入接触优先经验重放,采样方案,优先接触丰富的插曲和过渡。我们表明,我们的解决方案加速了探索,并优于三个基本的机器人操作基准的最先进的方法。
2021-02-22 cs.AI cs.LG cs.RO
Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
我们提出了一个主动学习架构,允许机器人主动学习哪种数据汇集策略对于获得运动技能以实现多个结果是最有效的,并概括其经验以实现新的结果。机器人通过交互式学习和目标模糊来探索它的环境。它同时从几个可用的老师那里学习什么时候,谁和什么要积极模仿,并学习什么时候不使用社会指导,而是使用积极的目标导向的自我探索。这是在终身战略学习的框架内正式确定的。建议的架构,被称为社会引导的内在动机与教师和策略的积极选择(SGIM-ESTA),依赖于层次的积极决定什么和如何学习的经验评估的学习进展为每个学习策略的驱动。我们说明了一个实验,模拟机器人学习控制其手臂实现两种不同的结果。在每一个学习阶段,它都要主动地、分层次地进行选择:1)学习什么:选择哪一个结果最有趣,作为目标导向探索的目标; 2)如何学习:在自我探索、模仿和仿效中使用哪一种数据汇集策略; 3.一旦他决定了什么时候模仿什么,选择模仿或仿效,那么他就必须从一组不同的老师中选择模仿谁。我们表明,SGIM-ESTO学习效率显着高于使用单一的学习策略,并连贯地选择最佳策略,就所选择的结果,利用现有的教师(具有不同水平的技能)。
2018-04-18 cs.AI cs.LG stat.ML
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT(麻省理工学院脑与认知科学系);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足,导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故,而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN(h-DQN),一个框架,集成层次价值函数,在不同的时间尺度上操作,具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略,而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范,例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏,延迟反馈:(1)一个复杂的离散随机决策过程,(2)经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
Tracking Emotions: Intrinsic Motivation Grounded on Multi-Level Prediction Error Dynamics
The BioRobotics Institute(生物机器人研究所);Scuola Superiore Sant’Anna(圣安娜高等研究院)
认知主体如何决定要学习的相关信息是什么,以及如何选择目标来获得这些知识?认知主体需要被激励来执行任何动作。我们讨论的情绪出现时,预期和实际的进展速度之间的差异,朝着一个目标的经验。因此,预测误差动态的跟踪与情绪有着紧密的关系。在这里,我们建议,跟踪预测误差动态允许人工智能体的内在动机,以寻求新的经验,但限制到那些产生可减少的预测误差,我们提出了一个内在的动机架构,产生的行为对自我生成的和动态的目标,并调节目标选择和开发和探索之间的平衡,通过多层次的监测预测误差动态。这种新的体系结构调节探索噪声,并根据学习系统的整体性能的动态来利用计算资源。此外,它建立了一个可能的解决方案的时间动态的目标选择。这里提出的实验结果表明,这种架构优于内在动机的方法,其中探索噪声和目标是固定的,并应用贪婪的策略。
2020-07-29 cs.AI cs.LG cs.RO
Minding Motivation: The Effect of Intrinsic Motivation on Agent Behaviors
University of Costa Rica(哥斯达黎加大学)
本文在MiniGrid中实证评估三种内在动机方法对RL智能体行为的影响,并用可保证最优性的GRM对比,发现IM提升初始奖励但改变游戏方式,GRM可在部分场景缓解奖励黑客。
2025-07-26 cs.AI
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励,实现了可解释信念与深度网络策略的结合,并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Changing the Environment based on Intrinsic Motivation
智能生命的一个显著壮举是,它为了自己的利益而重组它所生活的世界。这个扩展的摘要概述了信息理论的授权原则,作为一种内在动机,可以用来重建代理人生活的环境。我们提出了第一个定性评估如何在一个3D网格世界的代理建立一个阶梯状的结构,这反映了代理的实施例。
2013-10-14 cs.AI cs.IT math.IT
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法,利用潜在状态空间前向预测误差构造无参数开销的内在奖励,并通过新颖性感知终端价值函数增强在线规划器,在连续控制任务中实现样本高效探索,尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Constrained Intrinsic Motivation for Reinforcement Learning
City University of Hong Kong(香港城市大学);Fudan University(复旦大学);Xi’an Jiaotong University(西安交通大学)
针对强化学习中内在动机在无奖励预训练和探索任务的两类问题,提出约束内在动机方法,分别通过状态编码器对齐约束和约束策略优化提升性能,在MuJoCo环境中验证了有效性。
2024-07-12 cs.AI
REAL-X -- Robot open-Ended Autonomous Learning Architectures: Achieving Truly End-to-End Sensorimotor Autonomous Learning Systems
Frankfurt Institute of Advanced Studies(法兰克福高等研究院)
开放式学习是发展机器人和人工智能的核心研究领域,旨在建立学习机器和机器人,可以自主地获得知识和技能,如婴儿和儿童。这项工作的第一个贡献是研究以前提出的基准“真正的竞争”,旨在促进真正的开放式学习机器人架构的发展所带来的挑战。比赛涉及一个模拟的相机臂机器人:(a)在第一个“内在阶段”获得感觉运动能力,自主与物体互动;(b)在第二个“外在阶段”进行测试,与任务未知的内在阶段,以衡量质量的知识以前获得。这个基准需要解决通常孤立解决的多个挑战,特别是探索,稀疏奖励,对象学习,概括,任务/目标自我生成和自主技能学习。作为第二个贡献,我们提出了一套“REAL-X”机器人架构,能够解决不同版本的基准测试,我们逐步释放初始简化。这些架构基于一种规划方法,这种方法动态地增加了抽象性和促进探索的内在动机。REAL-X在非常苛刻的条件下实现了良好的性能水平。我们认为,REAL基准是研究开放式学习最困难形式的一个有价值的工具。
2022-03-02 cs.AI cs.RO
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
ELSIM: End-to-end learning of reusable skills through intrinsic motivation
Univ Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);LIRIS(里昂信息与图像系统实验室)
从发展学习中获得灵感,我们提出了一种新的强化学习架构,它以端到端的方式分层学习和表示自我生成的技能。在这种架构下,智能体只关注任务奖励的技能,同时保持自下而上的技能学习过程。这种自下而上的方法允许学习技能,1-在任务之间可转移,2-在奖励稀疏时提高探索。要做到这一点,我们结合了一个新的课程学习算法,创建一个无限的和可探索的技能树先前定义的互信息目标。我们在简单的网格世界环境中测试我们的代理,以了解和可视化代理如何区分其技能。然后,我们证明了我们的方法可以在更困难的MuJoCo环境中扩展,在这种环境中,我们的代理能够建立一个技能表示,当奖励稀疏时,该技能表示可以在基线上提高迁移学习和探索。
2020-06-23 cs.AI cs.LG
From Judgment Quality to Downstream Utility: Rethinking LLM-as-a-Judge for Open-Ended Tasks
ShanghaiTech University(上海科技大学);BIGAI(北京通用人工智能研究院)
本研究系统探讨LLM-as-a-Judge在开放式任务中的评判质量与下游效用,发现两者并非总一致,协议设计影响显著,且评判者引导能有效将测试时计算转化为性能提升。
2026-09-30 cs.AI
Fostering Intrinsic Motivation in Reinforcement Learning with Pretrained Foundation Models
TECNALIA(泰克纳尔利亚科技公司);University of the Basque Country(巴斯克大学)
本文研究如何利用 CLIP 等基础模型的预训练嵌入为强化学习提供内在动机,并证明完整状态信息和情节新颖性项能显著提升 MiniGrid 中的样本效率与学习速度。
2024-11-25 cs.AI cs.LG
Intrinsic Motivation and Episodic Memories for Robot Exploration of High-Dimensional Sensory Spaces
The BioRobotics Institute, Scuola Superiore Sant'Anna(圣安娜高等学校生物机器人研究所);Scuola Superiore Sant'Anna(圣安娜高等学校);Sony Computer Science Laboratories(索尼计算机科学实验室)
这项工作提出了一种架构,产生好奇心驱动的目标导向的探索行为的图像传感器的微型农业机器人。已经使用了用于从图像离线无监督学习低维特征的深度神经网络和表示系统的逆运动学和正运动学的浅神经网络的在线学习的组合。人工好奇心系统将兴趣值分配给一组预定义的目标,并将探索推向那些有望最大化学习进度的目标。我们提出了整合的情景记忆的内在动机系统,以面对灾难性遗忘的问题,通常经历了在线更新的人工神经网络。我们的研究结果表明,采用情景记忆系统不仅可以防止计算模型快速忘记以前获得的知识,但也提供了新的途径调节可塑性和稳定性之间的平衡的模型。
2020-01-07 cs.AI cs.LG cs.RO
The intrinsic motivation of reinforcement and imitation learning for sequential tasks
ETIS Lab(ETIS实验室);Idiap Research Institute(Idiap研究所);Universidade da Coruna(拉科鲁尼亚大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出一种基于经验进展的内在动机统一框架,使学习智能体在多任务序列学习中主动选择探索或模仿、任务分解及最佳导师请求示范,从而实现更快、更鲁棒的自动课程学习。
2024-12-29 cs.AI cs.HC cs.LG
Reliably Re-Acting to Partner's Actions with the Social Intrinsic Motivation of Transfer Empowerment
BMW Group(宝马集团);University of Amsterdam(阿姆斯特丹大学);University of Hertfordshire(赫特福德大学)
我们认为多智能体强化学习(MARL)的合作通信和协调任务。MARL代理可能很脆弱,因为它们可能过度拟合其培训伙伴的策略。这种过度拟合可以产生代理人,这些代理人采取的政策是在其他代理人将以某种方式行事而不是对他们的行为做出反应的预期下行事的。我们的目标是偏向于学习过程中寻找反应策略对其他代理的行为。我们的方法,转移授权,衡量代理人的行动之间的潜在影响。从三个模拟的合作方案的结果支持我们的假设,转移授权提高MARL的性能。我们讨论如何转移授权可能是一个有用的原则,以指导多代理协调,确保反应一个人的合作伙伴。
2022-03-07 cs.AI cs.LG cs.MA
Learning with AMIGo: Adversarially Motivated Intrinsic Goals
New York University(纽约大学);Facebook AI Research(脸书人工智能研究实验室);University College London(伦敦大学学院)
强化学习(RL)的一个关键挑战是在外部奖励稀疏的环境中学习。与目前的强化学习方法相比,人类能够通过使用各种形式的内在动机来学习新技能,而很少或没有奖励。我们提出AMIGo,一种新的代理合并-作为元学习的形式-一个目标生成的老师,提出了不利激励的内在目标训练的目标条件下的“学生”政策的情况下(或旁边)的环境奖励。具体来说,通过一个简单但有效的“建设性对抗”目标,教师学会提出越来越具有挑战性的-但可以实现的-目标,使学生学习在新环境中行动的一般技能,独立于要解决的任务。我们表明,我们的方法生成了一个自然的课程,自我提出的目标,最终允许代理解决具有挑战性的程序生成的任务,其他形式的内在动机和最先进的RL方法失败。
2021-02-23 cs.AI cs.LG stat.ML
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所)
针对无监督强化学习中单一熵目标无法适配所有环境的问题,提出将目标选择建模为多臂老虎机的惊奇自适应智能体,通过新型内在反馈信号控制环境熵,在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop
Araya Inc.(Araya公司);Computational Creativity Group, Department of Computing, Goldsmiths, University of London(Goldsmiths大学计算创意小组);Game Innovation Lab, Department of Computer Science and Engineering, New York University(纽约大学游戏创新实验室);Sepia Lab, Adaptive Systems Research Group, Department of Computer Science, University of Hertfordshire(赫特福德大学计算机科学系Sepia实验室);Institute of Perception, Action and Behaviour, School of Informatics, The University of Edinburgh(爱丁堡大学信息学院感知、行为与行为研究所)
本文探讨主动推断中是否可利用其他内在动机替代原有动机,同时保持核心机制,并通过形式化方法连接通用强化学习。
2018-06-21 cs.AI cs.SY eess.SY
When to Go, and When to Explore: The Benefit of Post-Exploration in Intrinsic Motivation
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
Go-Explore在具有稀疏奖励的具有挑战性的强化学习(RL)任务上取得了突破性的性能。Go-Explore的关键见解是,成功的探索需要智能体首先返回到一个有趣的状态(“Go”),然后才能探索未知的地形(“Explore”)。我们把达到目标后的这种探索称为“后探索”。在本文中,我们提出了一个系统的研究后探索,回答开放的问题,去探索文件没有回答。首先,我们研究后探索的孤立潜力,通过在同一算法中打开和关闭它。随后,我们引入了新的方法来自适应地决定何时进行后探索以及后探索多长时间。在一系列MiniGrid环境中进行的实验表明,后探索确实可以提高性能(比调整常规探索参数的影响更大),并且通过自适应地决定后探索的时间和持续时间,可以进一步增强这种效果。简而言之,我们的工作确定了自适应后探索作为RL探索研究的一个有前途的方向。
2022-04-13 cs.AI cs.LG
Principled Direction-Free Intrinsic Motivation through Model-Free Epistemic Free-Energy Estimators
Coovally(库瓦利);ICREA(加泰罗尼亚研究与高等研究院);Distributed Systems Group, TU Vienna(维也纳工业大学分布式系统组)
研究在含混合不确定性的环境中无监督强化学习的内在动机问题,提出基于无偏好预期自由能目标新颖性贡献的单一内在奖励,通过参数信息增益驱动探索,给出相关技术细节及成果,使智能体在不同状态区域表现良好。
2026-07-21 cs.AI cs.LG
We Urgently Need Intrinsically Kind Machines
Brown University(布朗大学);Carney Institute for Brain Science(卡尼脑科学研究所)
本文主张为人工智能系统引入内在善良动机,通过模拟对话的框架将其嵌入基础模型,以确保算法与人类价值观真正对齐,防止表面一致下的错位风险。
2024-10-21 cs.AI
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
我们提出了一个统一的机制,以实现协调和沟通的多智能体强化学习(MARL),通过奖励代理有因果关系的影响,其他代理的行动。使用反事实推理评估因果影响。在每一个时间步,一个代理模拟它可能采取的替代动作,并计算它们对其他代理行为的影响。导致其他代理行为发生更大变化的行为被认为是有影响力的,并得到奖励。我们表明,这相当于奖励代理人之间的行动有高互信息。实证结果表明,影响力导致在具有挑战性的社会困境环境中增强协调和沟通,显着增加深度RL代理的学习曲线,并导致更有意义的学习通信协议。通过使代理能够使用深度神经网络学习其他代理的模型,可以以分散的方式计算所有代理的影响力奖励。相比之下,在MARL设置的紧急通信的关键以前的作品无法学习不同的政策,在一个分散的方式,不得不求助于集中的培训。因此,影响力奖励为这一领域的研究开辟了新的机会。
2019-06-18 cs.AI cs.LG cs.MA
First Go, then Post-Explore: the Benefits of Post-Exploration in Intrinsic Motivation
Leiden University(莱顿大学)
Go-Explore在具有稀疏奖励的具有挑战性的强化学习(RL)任务上取得了突破性的性能。Go-Explore的关键见解是,成功的探索需要智能体首先返回到一个有趣的状态(“Go”),然后才能探索未知的地形(“Explore”)。我们将达到目标后的这种探索称为“后探索”。在本文中,我们提出了一个明确的消融后探索的一般内在动机的目标探索过程(IMGEP)的框架,去探索文件没有显示。我们研究了后探索的孤立潜力,通过在离散导航和连续控制任务的表格和深度RL设置下的相同算法中打开和关闭它。在一系列MiniGrid和Mujoco环境中的实验表明,后探索确实有助于IMGEP代理达到更多样化的状态并提高其性能。总之,我们的工作表明,RL研究人员应该考虑在可能的情况下使用IMGEP中的后探索,因为它是有效的,方法不可知的,易于实现。
2023-01-06 cs.AI cs.LG cs.RO
Motif: Intrinsic Motivation from Artificial Intelligence Feedback
Mila(米拉研究所);FAIR at Meta(Meta人工智能研究院);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);UT Austin(德克萨斯大学奥斯汀分校)
本文提出 Motif,利用 LLM 对成对描述的偏好构建内在奖励以训练强化学习智能体,并在 NetHack 上证明其优于直接分数优化及现有方法。
2023-09-29 cs.AI cs.LG
Hierarchical Affordance Discovery using Intrinsic Motivation
IMT Atlantique(大西洋高等矿业电信学校);ENIB(布雷斯特国立工程师学院)
为了能够在现实环境中终身学习,机器人必须应对多种挑战。能够将他们在环境中观察到的物理特性与他们可能具有的可能相互作用联系起来就是其中之一。这种技能被称为示能性学习,与具体化密切相关,并通过每个人的发展而掌握:每个人通过与周围环境的互动来学习不同的示能性。当前的示能表示学习方法通常使用固定的动作来学习这些示能表示,或者专注于涉及要操作的机器人手臂的静态设置。在这篇文章中,我们提出了一个算法,使用内在动机来指导学习的启示移动机器人。该算法能够自主发现,学习和适应相互关联的启示,而无需预先编程的动作。一旦被学习,这些示能表示可以被算法用来计划动作序列,以便执行各种困难的任务。然后,我们提出了一个实验,并分析我们的系统,然后将其与强化学习和启示学习的其他方法进行比较。
2020-09-23 cs.AI
Feature Control as Intrinsic Motivation for Hierarchical Reinforcement Learning
Imperial College London(帝国理工学院);DeepMind(深度思维)
稀疏奖励问题是当代强化学习中最困难的挑战之一。分层强化学习(HRL)通过使用一组时间扩展的动作或选项来解决这个问题,每个动作或选项都有自己的子目标。这些子目标通常是为特定任务手工制作的。然而,在这里,我们引入了一个通用的子目标类,在视觉领域具有广泛的适用性。我们的方法(与使用“辅助任务”的工作一样)的基础是这样一个假设,即控制环境各个方面的能力是一种固有的有用技能。我们将这样的子目标在一个端到端的分层强化学习系统和测试我们的算法的两个变种上的一些游戏从雅达利套件。我们强调了我们的方法在最难的游戏之一-蒙特祖玛的复仇-处理稀疏奖励的能力是关键的优势。我们的智能体在这个游戏中的学习速度比目前最先进的HRL智能体快几倍,达到了类似的性能水平。更新22/11/17:我们发现,一个标准的A3 C代理与一个简单的形状奖励,即外在奖励+特征控制内在奖励,具有可比的性能,我们的代理在蒙特祖玛复仇。根据新的实验,我们的HRL方法的优势可以更多地归因于它能够从内在奖励中学习有用的功能,而不是它能够探索和重用具有分层组件的抽象技能。这使我们对结果得出了一个新的结论。
2017-11-22 cs.AI cs.LG
Intrinsic-Motivation Multi-Robot Social Formation Navigation with Coordinated Exploration
School of Computer Science and Technology(计算机科学与技术学院);Wuhan University of Science and Technology(武汉科技大学);Hubei Province Key Laboratory of Intelligent Information Processing(湖北省智能信息处理重点实验室)
本文提出了一种基于内在动机的多机器人协调探索RL算法,通过双采样模式和双时间尺度更新规则提升导航策略与奖励表示,实现更高效的社交编队导航性能。
2025-12-16 cs.AI cs.RO
Scheduled Intrinsic Drive: A Hierarchical Take on Intrinsically Motivated Exploration
University of Freiburg(弗赖堡大学)
稀疏奖励强化学习的探索仍然是一个开放的挑战。许多最先进的方法使用内在动机来补充稀疏的外在奖励信号,使智能体在探索过程中有更多的机会接收反馈。通常,这些信号被添加为奖金奖励,这导致了既不进行探索也不坚决完成任务的混合策略。在本文中,我们学习独立的内在和外在任务策略,并在这些不同的驱动器之间进行调度,以加速探索和稳定学习。此外,我们引入了一种新类型的内在奖励表示为后继特征控制(SFC),这是一般的,而不是特定于任务。它考虑了完整轨迹的统计数据,因此不同于以前只使用局部信息来评估内在动机的方法。我们使用三种不同的纯视觉输入环境来评估我们提出的预定内在驱动(SID)代理:VizDoom,DeepMind Lab和DeepMind Control Suite。结果表明,大大提高了勘探效率与SFC和层次使用的内在驱动器。我们的实验结果的视频可以在https://youtu.be/b0MbY3lUlEI上找到。
2019-06-21 cs.AI cs.LG cs.RO
BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley(加利福尼亚大学伯克利分校)
该研究提出BAMDP Shaping统一框架,将内在动机与奖励塑形纳入BAMDP体系,证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客,还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
Control What You Can: Intrinsically Motivated Task-Planning Agent
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了一种新的内在动机代理,学习如何控制环境中最快的方式,通过优化学习进度。它学习什么是可以控制的,如何分配时间和注意力,以及使用基于惊喜的动机对象之间的关系。我们的方法的有效性证明在合成以及机器人操作环境中产生显着提高的性能和较小的样本复杂性。简而言之,我们的工作结合了几个任务级的规划代理结构(回溯搜索任务图,概率路线图,分配的搜索工作)与内在的动机,实现从头开始学习。
2020-01-09 cs.AI cs.LG cs.RO
Changing the Environment Based on Empowerment as Intrinsic Motivation
University of Hertfordshire(赫特福德大学)
智能的一个方面是能够重组你自己的环境,使你生活的世界变得对你更有益。在本文中,我们研究如何信息理论的措施,代理授权可以提供一个任务无关的,内在的动机,以重建世界。我们展示了如何在具体化和环境中的变化改变所产生的行为的代理人和文物留在世界上。为此,我们引入了一个近似的授权形式主义的基础上稀疏采样,这是更简单,更快地计算确定性动力学。稀疏抽样也在决策过程中引入了一定程度的随机性,这在某些情况下是有益的。然后,我们利用该措施来生成代理行为的不同代理实施例中的Minecraft启发的三维块世界。范式的结果表明,授权可以被用来作为一个合适的通用的内在动机,不仅在给定的静态环境中产生的行动,如在过去所示,但也修改现有的环境条件。在这样做的过程中,新兴的策略,以修改代理的环境变成有意义的特定代理的能力,即,事实上,它的体现。
2014-06-03 cs.AI nlin.AO
Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent Deep Reinforcement Learning
ECE Paris \& Sorbonne Universit\' e , CNRS,\ ISIR F-75005 Paris France;Sorbonne Universit\' e , CNRS, ISIR F-75005 Paris France;ECE Paris \& Sorbonne Universit\' e , CNRS,\ ISIR;Sorbonne Universit\' e , CNRS, ISIR
本文提出JIM方法,通过集中式新颖性度量奖励联合轨迹,促进多智能体协同探索,解决稀疏奖励问题,实验证明其在需高度协调的任务中有效。
2024-02-06 cs.AI cs.MA
Intrinsic Motivation in Reinforcement Learning: A Research Agenda for Adaptive Self-Organisation
SingularityNET Foundation(奇点网络基金会)
本文探讨内在奖励能否驱动无外部目标的适应性自组织,综述相关方法并指出失败模式,提出三个实验方向以验证内在学习能否产生更高层次的适应性组织。
2026-09-16 cs.AI
Decentralized Traffic Flow Optimization Through Intrinsic Motivation
Charles W. Davidson College Of Engineering, San Jose State University, CA, USA(桑杰州立大学查尔斯·W·戴森工程学院);School of Physics, Engineering and Computer Science, University of Hertfordshire, UK(赫特福德郡大学物理、工程与计算机科学学院);Computer Science Department, Whitacre Collage of Engineering, Texas Tech University, Texas, USA(德克萨斯理工大学怀特雷学院工程学院计算机科学系)
针对特大城市交通拥堵加剧问题,本研究在Nagel-Schreckenberg元胞自动机模型中用基于赋能原理的内在动机方法替代部分车辆默认行为,以去中心化方式仅用本地信息显著改善交通流、缓解拥堵并减少平均拥堵时间。
2025-05-08 cs.AI physics.soc-ph
Towards a Formal Theory of the Need for Competence via Computational Intrinsic Motivation
Department of Computer Science, Aalto University(奥卢大学计算机科学系);Dyson School of Design Engineering, Imperial College London(帝国理工学院伦敦设计工程学院)
本文借鉴强化学习中的计算内在动机形式化方法,对自我决定理论中的胜任感需求及其四个面向进行建模,揭示其隐含前提并支持理论迭代。
2025-05-13 cs.AI
Complex behavior from intrinsic motivation to occupy action-state path space
Center for Brain and Cognition(大脑与认知中心);Universitat Pompeu Fabra(庞培法布拉大学)
本文提出最大占据原则,以最大化未来动作-状态路径占据取代奖励最大化,证明路径熵是唯一一致度量,并展示该内在动机可自然涌现跳舞、捉迷藏和利他等复杂行为。
2024-02-24 cs.AI cs.LG q-bio.NC
Learning Formal Mathematics From Intrinsic Motivation
Stanford University(斯坦福大学);KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出Minimo智能体,从公理出发通过内在动机联合学习猜想与证明,利用约束解码和事后重标注提升效率,在三个公理领域实现自我改进。
2024-11-05 cs.AI cs.LO
Information is Power: Intrinsic Control via Information Capture
UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Google Research, Brain Team(谷歌研究院大脑团队);Stanford University(斯坦福大学)
人类和动物即使没有明确的目标,也会探索他们的环境并获得有用的技能,表现出内在的动机。人工智能体内在动机的研究关注以下问题:什么是一个好的通用目标的代理?我们研究这个问题在动态部分观测环境中,并认为,一个紧凑的和一般的学习目标是最小化的代理的状态访问估计使用潜在的状态空间模型的熵。这一目标促使智能体既收集关于其环境的信息,相应地减少不确定性,又获得对环境的控制,相应地减少未来世界状态的不可预测性。我们将这种方法实例化为配备有深度变分贝叶斯过滤器的深度强化学习代理。我们发现,我们的代理学习发现,代表和行使控制的动态对象在各种部分观察到的环境中的视觉观察,没有外在的奖励。
2021-12-07 cs.AI cs.LG