PreND: Enhancing Intrinsic Motivation in Reinforcement Learning through Pre-trained Network Distillation
Sharif University of Technology（谢里夫理工大学）
针对 RND 表示弱、潜在空间不稳及内在奖励衰减等问题，本文提出 PreND，在目标与预测器网络中引入预训练表示并调节学习率，在 Atari 上显著提升探索、性能与样本效率。
2024-10-02 cs.LG
An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey
Univ Lyon（里昂大学）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，一些科学和技术挑战仍然需要解决，其中我们可以提到抽象行动的能力或在稀疏奖励环境中探索环境的困难，这可以通过内在动机（IM）来解决。我们建议通过一个新的分类调查这些研究工作的基础上信息论：我们计算重新审视的惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优点和缺点，并展示当前的研究前景。我们的分析表明，新奇和惊喜可以帮助建立一个层次的可转移的技能，进一步抽象的环境，使探索过程更加强大。
2022-09-19 cs.LG
A survey on intrinsic motivation in reinforcement learning
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，仍然需要解决一些科学和技术挑战，其中我们可以提到抽象行动的能力或探索环境的困难，这些都可以通过内在动机（IM）来解决。在这篇文章中，我们提供了一个调查的作用，内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类，其优点和局限性与上述挑战有关。此外，我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此，我们建议，解决当前的挑战可能会导致一个更大的发展架构，可以解决大多数任务。我们描述了这个开发架构的基础上，由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
Unifying Count-Based Exploration and Intrinsic Motivation
Google DeepMind（谷歌DeepMind）
我们认为代理人的不确定性，其环境和问题的概括这种不确定性的意见。具体来说，我们专注于非表格强化学习中的探索问题。从内在动机文献中汲取灵感，我们使用密度模型来测量不确定性，并提出了一种新的算法，用于从任意密度模型导出伪计数。这种技术使我们能够将基于计数的探索算法推广到非表格的情况。我们将我们的想法应用于Atari 2600游戏，从原始像素提供合理的伪计数。我们将这些伪计数转换为内在奖励，并在一些硬游戏中获得显着改善的探索，包括臭名昭著的困难蒙特祖玛的复仇。
2016-11-07 cs.AI cs.LG stat.ML
Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
奖励设计是强化学习应用的关键部分，其性能在很大程度上取决于奖励信号如何构建设计者的目标，以及信号如何评估实现该目标的进展。在许多情况下，环境提供的外在奖励（例如，比赛的输赢）非常稀少，并使得难以直接训练代理。在实践中，研究者通常通过添加一些辅助奖励来辅助Agent的学习。然而，设计辅助奖励往往是转向一个试错搜索奖励设置，产生可接受的结果。在本文中，我们提出了自动生成目标一致的内在奖励的智能体学习，通过最大化的预期累积的外在奖励可以最大化。为此，我们引入了动机的概念，它抓住了最大化某些奖励的潜在目标，并提出了基于动机的奖励设计方法。其基本思想是通过最小化内在和外在动机之间的距离来塑造内在奖励。我们进行了大量的实验，并表明我们的方法比国家的最先进的方法在处理延迟奖励，探索和信用分配的问题。
2022-07-29 cs.AI cs.LG
Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文系统综述了自为目的强化学习中基于知识与能力的内在动机，提出在无奖励MDP框架下通过IMGEPs实现自主目标生成与技能掌握，并给出评估探索、泛化与鲁棒性的指标。
2025-02-06 cs.AI cs.LG
Learning Efficient Representation for Intrinsic Motivation
UC Berkeley（加州大学伯克利分校）
Agent行为与环境状态之间的互信息（MIAS）量化了Agent对环境的影响。最近，人们发现，MIAS的最大化可以被用作人工代理的内在动机。在文献中，授权一词被用来表示在某一状态下MIAS的最大值。虽然赋权已被证明可以解决广泛的强化学习问题，但其在任意动态中的计算是一个具有挑战性的问题，因为它依赖于互信息的估计。现有的方法，依赖于采样，是有限的低维空间，因为高置信度分布的自由下限互信息需要指数数量的样本。在这项工作中，我们开发了一种新的方法来估计授权在未知的动态视觉观察，而不需要采样MIAS。其核心思想是在潜空间中用一种特定形式的随机动态模型来表示动作序列与未来状态之间的关系。这使我们能够有效地计算授权与“注水”算法从信息论。我们使用在复杂目标函数上训练的深度神经网络来构建这种嵌入。我们的实验结果表明，所设计的嵌入保留了原始动力学的信息论性质。
2020-08-02 cs.LG cs.RO stat.ML
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning
本文结合VSIMR与LLM内在奖励，在MiniGrid DoorKey稀疏奖励环境中提升A2C智能体的性能与采样效率，显著优于单独策略和标准A2C。
2025-08-25 cs.LG
The intrinsic motivation of reinforcement and imitation learning for sequential tasks
ETIS Lab（ETIS实验室）；Idiap Research Institute（Idiap研究所）；Universidade da Coruna（拉科鲁尼亚大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出一种基于经验进展的内在动机统一框架，使学习智能体在多任务序列学习中主动选择探索或模仿、任务分解及最佳导师请求示范，从而实现更快、更鲁棒的自动课程学习。
2024-12-29 cs.AI cs.HC cs.LG
Intrinsic Motivation for Encouraging Synergistic Behavior
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
我们研究了内在动机作为强化学习在稀疏奖励协同任务中的探索偏差的作用，这些任务是多个代理必须共同努力才能实现他们无法单独完成的目标。我们的核心思想是，在协同任务中，内在动机的一个很好的指导原则是采取行动，以影响世界的方式，如果代理人自己采取行动，就不会实现。因此，我们建议激励代理人采取（联合）行动，其效果无法通过每个单独的代理人的预测效果的组合来预测。我们研究了这个想法的两个实例，一个基于遇到的真实状态，另一个基于与策略同时训练的动态模型。虽然前者更简单，但后者的好处是在所采取的行动方面可以进行分析。我们在机器人双手操作和具有稀疏奖励的多智能体运动任务中验证了我们的方法;我们发现，我们的方法比1）仅使用稀疏奖励的训练和2）使用典型的基于抽象的内在动机公式（不偏向协同行为）产生更有效的学习。视频可在项目网页上获得：https://sites.google.com/view/iclr2020-synergistic。
2020-02-12 cs.AI cs.LG stat.ML
An Evaluation Study of Intrinsic Motivation Techniques applied to Reinforcement Learning over Hard Exploration Environments
TECNALIA（泰克纳利亚）；Basque Research & Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
在过去的几年里，围绕在稀疏奖励环境下制定的强化学习任务的研究活动尤其引人注目。在众多的方法提出来处理这些困难的探索问题，内在动机机制可以说是迄今为止研究最多的替代方案。随着时间的推移，在这一领域报告的进展已经解决了探索问题，提出了新的算法思想，以产生替代机制来衡量新颖性。然而，在这个方向上的大多数努力都忽略了不同的设计选择和参数设置的影响，这些选择和参数设置也被引入来改善所产生的内在奖励的效果，忘记了将这些选择应用于其他可能受益于它们的内在激励技术。此外，这些固有方法中的一些与不同的基础强化算法（例如PPO、IMPALA）和神经网络架构一起应用，难以公平地比较所提供的结果和每个解决方案所提供的实际进展。这项工作的目标是强调在艰苦的探索环境中强化学习的这一关键问题，暴露前卫的内在动机技术的可变性和敏感性，以不同的设计因素。最后，我们的实验在此报告强调了仔细选择这些设计方面的重要性，再加上探索的环境和任务的要求，在相同的设置下的问题，以便公平的比较可以得到保证。
2022-11-21 cs.AI cs.LG
First Go, then Post-Explore: the Benefits of Post-Exploration in Intrinsic Motivation
Leiden University（莱顿大学）
Go-Explore在具有稀疏奖励的具有挑战性的强化学习（RL）任务上取得了突破性的性能。Go-Explore的关键见解是，成功的探索需要智能体首先返回到一个有趣的状态（“Go”），然后才能探索未知的地形（“Explore”）。我们将达到目标后的这种探索称为“后探索”。在本文中，我们提出了一个明确的消融后探索的一般内在动机的目标探索过程（IMGEP）的框架，去探索文件没有显示。我们研究了后探索的孤立潜力，通过在离散导航和连续控制任务的表格和深度RL设置下的相同算法中打开和关闭它。在一系列MiniGrid和Mujoco环境中的实验表明，后探索确实有助于IMGEP代理达到更多样化的状态并提高其性能。总之，我们的工作表明，RL研究人员应该考虑在可能的情况下使用IMGEP中的后探索，因为它是有效的，方法不可知的，易于实现。
2023-01-06 cs.AI cs.LG cs.RO
Don't Do What Doesn't Matter: Intrinsic Motivation with Action Usefulness
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；DeepMind（深度思维）；Google Research（谷歌研究院）
稀疏奖励是强化学习中的双刃剑：易于设计但难以优化。内在动机的指导，从而减轻由此产生的探索问题。它们通常激励代理人通过新奇信号寻找新的状态。然而，这样的方法鼓励详尽的探索状态空间，而不是专注于环境的显着的互动机会。我们提出了一种新的探索方法，称为不做什么不重要（DoWhaM），将重点从国家新奇的国家与相关的行动。虽然大多数动作在使用时会持续改变状态，\textit{e.g.}移动代理，但有些动作仅在特定状态下有效，\textit{e.g.}、\emph{opening}是门、\emph{grabbing}是对象。DoWhaM检测并奖励很少影响环境的行为。我们评估DoWhaM程序生成的环境MiniGrid，对国家的最先进的方法，并表明DoWhaM大大降低了样本的复杂性。
2021-05-31 cs.LG
Toward Explainable Offline RL: Analyzing Representations in Intrinsically Motivated Decision Transformers
DISPOC University of Siena（DISPOC 硅恩纳大学）；University of Siena（硅恩纳大学）；University of Milan（米兰大学）
针对内在动机提升弹性决策Transformer（EDTs）离线强化学习性能的表征机制未明问题，本文提出事后可解释性框架，通过分析嵌入属性揭示不同内在动机变体的表征结构差异及与性能的环境特定关联，证明其作为表征先验的作用。
2025-11-17 cs.AI cs.LG
Show me the Way: Intrinsic Motivation from Demonstrations
Google Research（谷歌研究院）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
决策领域的探索研究有着悠久的历史，但仍然存在着激烈的争论。从几十年来在各种观点下解决这个问题的大量文献（例如，发展心理学，实验设计，人工智能），内在动机作为一个概念出现，实际上可以转移到人工代理。特别是，在最近的深度强化学习（RL）领域，智能体以探索奖金的形式实现这样一个概念（主要使用新颖的论点），并添加到任务奖励中，鼓励访问整个环境。这种方法得到了大量关于RL的理论的支持，其中收敛到最优性假设了详尽的探索。然而，人类和哺乳动物并没有穷尽地探索世界，他们的动机不仅基于新奇，而且还基于各种其他因素（例如，好奇心、乐趣、风格、乐趣、安全、竞争等）。他们优化终身学习和训练学习可转移的技能在操场上没有明显的目标。他们还应用先天或习得的先验知识来节省时间并保持安全。出于这些原因，我们建议从演示中学习探索奖金，这些演示可以将这些动机转移到人工代理中，而对其原理几乎没有假设。使用逆RL方法，我们表明，复杂的探索行为，反映了不同的动机，可以学习和有效地使用RL代理解决任务的穷举探索是禁止的。
2021-01-13 cs.LG stat.ML
Towards Improving Exploration in Self-Imitation Learning using Intrinsic Motivation
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
强化学习已经成为有效解决优化任务的强大替代方案。这些算法的使用高度依赖于环境提供的反馈信号，这些反馈信号负责告知学习代理所做的决策有多好（或多坏）。不幸的是，在广泛的问题中，设计一个好的奖励函数并不是微不足道的，所以在这种情况下，稀疏的奖励信号被采用。缺乏密集的奖励函数带来了新的挑战，主要与探索有关。模仿学习通过利用专家的演示解决了这些问题。在没有专家（及其后续演示）的情况下，一种选择是优先考虑智能体收集的合适的探索经验，以便通过良好的探索行为引导其学习过程。然而，这种解决方案高度依赖于智能体在其学习过程的早期阶段发现这种轨迹的能力。为了解决这个问题，我们建议将模仿学习与内在动机结合起来，这是解决稀疏奖励问题的两种最广泛采用的技术。在这项工作中，内在动机是用来鼓励代理探索环境的好奇心的基础上，而模仿学习允许重复最有前途的经验，以加快学习过程。这种组合被证明是产生一个改进的性能和更好的推广程序生成的环境中，优于以前报道的自我模仿学习方法，并实现相等或更好的样本效率的内在动机隔离。
2022-11-30 cs.AI cs.LG
Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们描述了一个简单的计划，允许代理学习其环境中的无监督的方式。我们的方案让同一个代理人的两个版本，Alice和Bob，相互对抗。爱丽丝提出一个任务让鲍勃完成，然后鲍勃试图完成这个任务。在这项工作中，我们将重点放在两种环境：（几乎）可逆的环境和环境，可以重置。爱丽丝将通过做一系列动作来“提出”任务，然后鲍勃必须分别撤销或重复它们。通过适当的奖励结构，Alice和Bob自动生成探索课程，从而实现对智能体的无监督训练。当Bob被部署在环境中的RL任务上时，这种无监督训练减少了学习所需的监督片段的数量，并且在某些情况下收敛到更高的奖励。
2018-04-27 cs.LG
Adversarial Intrinsic Motivation for Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
以最小化与参考分布的不匹配为目标的学习已经被证明对于生成建模和模仿学习是有用的。在本文中，我们调查是否这样一个目标，一个政策的状态访问分布和目标分布之间的Wasserstein-1距离，可以有效地利用强化学习（RL）任务。具体而言，本文重点研究目标条件强化学习，其中理想化（无法实现）的目标分布在目标上具有充分的度量。本文介绍了一个准度量特定的马尔可夫决策过程（MDP），并使用此准度量估计上述Wasserstein-1距离。它进一步表明，使Wasserstein-1距离最小化的策略是以尽可能少的步骤达到目标的策略。我们的方法，称为对抗性内在动机（AIM），通过其双重目标估计Wasserstein-1距离，并使用它来计算补充奖励函数。我们的实验表明，这个奖励函数的变化顺利相对于过渡MDP和指导代理的探索，以有效地找到目标。此外，我们将AIM与后见之明经验重放（HER）相结合，并表明与鼓励探索或加速学习的其他奖励相比，所产生的算法在几个模拟机器人任务上显着加速学习。
2021-10-28 cs.LG
Navigate the Unknown: Enhancing LLM Reasoning with Intrinsic Motivation Guided Exploration
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
IMAGINE通过内在动机引导的探索增强大语言模型推理能力，提升复杂任务性能22.23%
2026-01-30 cs.LG
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
World Model Agents with Change-Based Intrinsic Motivation
Faculty of Science, University of Groningen（格罗宁根大学理学院）
本研究将CBET内在动机方法适配于世界模型算法DreamerV3，在稀疏奖励环境Crafter和Minigrid中与IMPALA对比，发现CBET在复杂环境Crafter中提升回报，但在Minigrid中导致次优策略。
2025-03-26 cs.LG
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法，利用潜在状态空间前向预测误差构造无参数开销的内在奖励，并通过新颖性感知终端价值函数增强在线规划器，在连续控制任务中实现样本高效探索，尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT（麻省理工学院脑与认知科学系）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足，导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故，而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN（h-DQN），一个框架，集成层次价值函数，在不同的时间尺度上操作，具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略，而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范，例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏，延迟反馈：（1）一个复杂的离散随机决策过程，（2）经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
Reliably Re-Acting to Partner's Actions with the Social Intrinsic Motivation of Transfer Empowerment
BMW Group（宝马集团）；University of Amsterdam（阿姆斯特丹大学）；University of Hertfordshire（赫特福德大学）
我们认为多智能体强化学习（MARL）的合作通信和协调任务。MARL代理可能很脆弱，因为它们可能过度拟合其培训伙伴的策略。这种过度拟合可以产生代理人，这些代理人采取的政策是在其他代理人将以某种方式行事而不是对他们的行为做出反应的预期下行事的。我们的目标是偏向于学习过程中寻找反应策略对其他代理的行为。我们的方法，转移授权，衡量代理人的行动之间的潜在影响。从三个模拟的合作方案的结果支持我们的假设，转移授权提高MARL的性能。我们讨论如何转移授权可能是一个有用的原则，以指导多代理协调，确保反应一个人的合作伙伴。
2022-03-07 cs.AI cs.LG cs.MA
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架，将内在动机探索与随机网络蒸馏引入个性化联邦强化学习，在保护客户端隐私的同时，提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
ELSIM: End-to-end learning of reusable skills through intrinsic motivation
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
从发展学习中获得灵感，我们提出了一种新的强化学习架构，它以端到端的方式分层学习和表示自我生成的技能。在这种架构下，智能体只关注任务奖励的技能，同时保持自下而上的技能学习过程。这种自下而上的方法允许学习技能，1-在任务之间可转移，2-在奖励稀疏时提高探索。要做到这一点，我们结合了一个新的课程学习算法，创建一个无限的和可探索的技能树先前定义的互信息目标。我们在简单的网格世界环境中测试我们的代理，以了解和可视化代理如何区分其技能。然后，我们证明了我们的方法可以在更困难的MuJoCo环境中扩展，在这种环境中，我们的代理能够建立一个技能表示，当奖励稀疏时，该技能表示可以在基线上提高迁移学习和探索。
2020-06-23 cs.AI cs.LG
Fostering Intrinsic Motivation in Reinforcement Learning with Pretrained Foundation Models
TECNALIA（泰克纳尔利亚科技公司）；University of the Basque Country（巴斯克大学）
本文研究如何利用 CLIP 等基础模型的预训练嵌入为强化学习提供内在动机，并证明完整状态信息和情节新颖性项能显著提升 MiniGrid 中的样本效率与学习速度。
2024-11-25 cs.AI cs.LG
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
针对无监督强化学习中单一熵目标无法适配所有环境的问题，提出将目标选择建模为多臂老虎机的惊奇自适应智能体，通过新型内在反馈信号控制环境熵，在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
Deep Intrinsically Motivated Exploration in Continuous Control
Bilkent University（比尔肯特大学）
在连续控制中，探索通常是通过无向策略进行的，其中网络的参数或选定的动作受到随机噪声的干扰。虽然无向探索的深度设置已被证明可以提高策略上方法的性能，但它们引入了过度的计算复杂性，并且已知在策略外设置中失败。内在动机的探索是一种有效的替代无向策略，但他们通常是离散的行动域的研究。在本文中，我们研究了内在动机如何有效地与深度强化学习相结合，以控制连续系统，以获得定向探索行为。我们将现有的动物动机系统理论应用到强化学习范式中，并引入了一种新颖的、可扩展的定向探索策略。所介绍的方法，由价值函数的误差最大化的动机，可以受益于收集的一组经验，通过提取有用的信息和统一的内在的探索动机在一个单一的探索目标下的文献。一组广泛的实证研究表明，我们的框架扩展到更大，更多样化的状态空间，大大提高了基线，并优于无向策略显着。
2022-10-01 cs.AI cs.LG
When to Go, and When to Explore: The Benefit of Post-Exploration in Intrinsic Motivation
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
Go-Explore在具有稀疏奖励的具有挑战性的强化学习（RL）任务上取得了突破性的性能。Go-Explore的关键见解是，成功的探索需要智能体首先返回到一个有趣的状态（“Go”），然后才能探索未知的地形（“Explore”）。我们把达到目标后的这种探索称为“后探索”。在本文中，我们提出了一个系统的研究后探索，回答开放的问题，去探索文件没有回答。首先，我们研究后探索的孤立潜力，通过在同一算法中打开和关闭它。随后，我们引入了新的方法来自适应地决定何时进行后探索以及后探索多长时间。在一系列MiniGrid环境中进行的实验表明，后探索确实可以提高性能（比调整常规探索参数的影响更大），并且通过自适应地决定后探索的时间和持续时间，可以进一步增强这种效果。简而言之，我们的工作确定了自适应后探索作为RL探索研究的一个有前途的方向。
2022-04-13 cs.AI cs.LG
Principled Direction-Free Intrinsic Motivation through Model-Free Epistemic Free-Energy Estimators
Coovally（库瓦利）；ICREA（加泰罗尼亚研究与高等研究院）；Distributed Systems Group, TU Vienna（维也纳工业大学分布式系统组）
研究在含混合不确定性的环境中无监督强化学习的内在动机问题，提出基于无偏好预期自由能目标新颖性贡献的单一内在奖励，通过参数信息增益驱动探索，给出相关技术细节及成果，使智能体在不同状态区域表现良好。
2026-07-21 cs.AI cs.LG
Autotelic Agents with Intrinsically Motivated Goal-Conditioned Reinforcement Learning: a Short Survey
INRIA（法国国家信息与自动化研究所）；Univ. de Bordeaux（波尔多大学）；ENSTA Paris Tech（法国国立高等先进技术学院）
本文提出了一种基于目标导向强化学习的发展性强化学习框架，旨在解决自激励技能获取问题，并探讨了目标表示和优先级学习的挑战。
2022-07-12 cs.AI cs.LG
Scheduled Intrinsic Drive: A Hierarchical Take on Intrinsically Motivated Exploration
University of Freiburg（弗赖堡大学）
稀疏奖励强化学习的探索仍然是一个开放的挑战。许多最先进的方法使用内在动机来补充稀疏的外在奖励信号，使智能体在探索过程中有更多的机会接收反馈。通常，这些信号被添加为奖金奖励，这导致了既不进行探索也不坚决完成任务的混合策略。在本文中，我们学习独立的内在和外在任务策略，并在这些不同的驱动器之间进行调度，以加速探索和稳定学习。此外，我们引入了一种新类型的内在奖励表示为后继特征控制（SFC），这是一般的，而不是特定于任务。它考虑了完整轨迹的统计数据，因此不同于以前只使用局部信息来评估内在动机的方法。我们使用三种不同的纯视觉输入环境来评估我们提出的预定内在驱动（SID）代理：VizDoom，DeepMind Lab和DeepMind Control Suite。结果表明，大大提高了勘探效率与SFC和层次使用的内在驱动器。我们的实验结果的视频可以在https://youtu.be/b0MbY3lUlEI上找到。
2019-06-21 cs.AI cs.LG cs.RO
Motif: Intrinsic Motivation from Artificial Intelligence Feedback
Mila（米拉研究所）；FAIR at Meta（Meta人工智能研究院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出 Motif，利用 LLM 对成对描述的偏好构建内在奖励以训练强化学习智能体，并在 NetHack 上证明其优于直接分数优化及现有方法。
2023-09-29 cs.AI cs.LG
Feature Control as Intrinsic Motivation for Hierarchical Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
稀疏奖励问题是当代强化学习中最困难的挑战之一。分层强化学习（HRL）通过使用一组时间扩展的动作或选项来解决这个问题，每个动作或选项都有自己的子目标。这些子目标通常是为特定任务手工制作的。然而，在这里，我们引入了一个通用的子目标类，在视觉领域具有广泛的适用性。我们的方法（与使用“辅助任务”的工作一样）的基础是这样一个假设，即控制环境各个方面的能力是一种固有的有用技能。我们将这样的子目标在一个端到端的分层强化学习系统和测试我们的算法的两个变种上的一些游戏从雅达利套件。我们强调了我们的方法在最难的游戏之一-蒙特祖玛的复仇-处理稀疏奖励的能力是关键的优势。我们的智能体在这个游戏中的学习速度比目前最先进的HRL智能体快几倍，达到了类似的性能水平。更新22/11/17：我们发现，一个标准的A3 C代理与一个简单的形状奖励，即外在奖励+特征控制内在奖励，具有可比的性能，我们的代理在蒙特祖玛复仇。根据新的实验，我们的HRL方法的优势可以更多地归因于它能够从内在奖励中学习有用的功能，而不是它能够探索和重用具有分层组件的抽象技能。这使我们对结果得出了一个新的结论。
2017-11-22 cs.AI cs.LG
BAMDP Shaping: a Unified Framework for Intrinsic Motivation and Reward Shaping
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究提出BAMDP Shaping统一框架，将内在动机与奖励塑形纳入BAMDP体系，证明基于势的BAMPFs可在元RL和常规RL中抵御奖励黑客，还通过实验验证了其有效性与易用性。
2025-03-22 cs.AI cs.LG
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
我们提出了一个统一的机制，以实现协调和沟通的多智能体强化学习（MARL），通过奖励代理有因果关系的影响，其他代理的行动。使用反事实推理评估因果影响。在每一个时间步，一个代理模拟它可能采取的替代动作，并计算它们对其他代理行为的影响。导致其他代理行为发生更大变化的行为被认为是有影响力的，并得到奖励。我们表明，这相当于奖励代理人之间的行动有高互信息。实证结果表明，影响力导致在具有挑战性的社会困境环境中增强协调和沟通，显着增加深度RL代理的学习曲线，并导致更有意义的学习通信协议。通过使代理能够使用深度神经网络学习其他代理的模型，可以以分散的方式计算所有代理的影响力奖励。相比之下，在MARL设置的紧急通信的关键以前的作品无法学习不同的政策，在一个分散的方式，不得不求助于集中的培训。因此，影响力奖励为这一领域的研究开辟了新的机会。
2019-06-18 cs.AI cs.LG cs.MA
Goal-conditioned Offline Planning from Curious Exploration
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文针对无额外环境交互的离线场景，提出将基于模型的规划与基于图的价值聚合相结合，以纠正目标条件价值函数中的估计伪影，从而显著提升零样本目标到达性能。
2023-11-28 cs.AI cs.LG
Learning with AMIGo: Adversarially Motivated Intrinsic Goals
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究实验室）；University College London（伦敦大学学院）
强化学习（RL）的一个关键挑战是在外部奖励稀疏的环境中学习。与目前的强化学习方法相比，人类能够通过使用各种形式的内在动机来学习新技能，而很少或没有奖励。我们提出AMIGo，一种新的代理合并-作为元学习的形式-一个目标生成的老师，提出了不利激励的内在目标训练的目标条件下的“学生”政策的情况下（或旁边）的环境奖励。具体来说，通过一个简单但有效的“建设性对抗”目标，教师学会提出越来越具有挑战性的-但可以实现的-目标，使学生学习在新环境中行动的一般技能，独立于要解决的任务。我们表明，我们的方法生成了一个自然的课程，自我提出的目标，最终允许代理解决具有挑战性的程序生成的任务，其他形式的内在动机和最先进的RL方法失败。
2021-02-23 cs.AI cs.LG stat.ML
Improved Performances and Motivation in Intelligent Tutoring Systems: Combining Machine Learning and Learner Choice
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）
本研究将学习者选择机制整合入基于多臂老虎机的个性化系统ZPDES，通过265名儿童的RCT实验证明，选择带来的内在动机仅在自适应系统中能提升学习表现与体验，在固定课程中则有害。
2025-03-05 cs.AI cs.CY cs.LG
Noisy Agents: Self-supervised Exploration by Predicting Auditory Events
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）
人类整合了多种感官形式（例如视觉和听觉），以建立对物理世界的因果理解。在这项工作中，我们提出了一种新的类型的内在动机的强化学习（RL），鼓励代理理解其行动的因果关系，通过听觉事件预测。首先，我们允许代理收集少量的声学数据，并使用K-means来发现潜在的听觉事件集群。然后，我们训练一个神经网络来预测听觉事件，并使用预测误差作为内在奖励来指导RL探索。在Atari游戏上的实验结果表明，我们新的内在动机显著优于几个最先进的基线。我们进一步可视化我们的噪声代理的行为在物理环境中，并证明我们新设计的内在奖励导致物理交互行为的出现（例如，与对象的接触）。
2020-07-27 cs.AI cs.CV cs.LG
Intrinsically-Motivated Reinforcement Learning: A Brief Introduction
Tencent Robotics X Lab（腾讯机器人X实验室）
强化学习是机器学习的三大基本范式之一。它在许多复杂的任务中表现出令人印象深刻的性能，如围棋和星际争霸，越来越多地参与智能制造和自动驾驶。然而，强化学习一直遭受探索-利用的困境。本文研究了强化学习中探索性学习的改进问题，并引入了内在动机强化学习。与经典的探索策略形成鲜明对比的是，内在动机强化学习利用内在学习动机提供可持续的探索激励。对现有的内在报酬方法进行了分类，分析了它们在实际应用中存在的不足。此外，我们提出了一种新的内在奖励方法，通过Rényi状态熵最大化，克服了以前的方法的缺点，并提供了强大的探索激励。最后，通过大量的仿真实验，验证了该模块具有较高的效率和鲁棒性.
2022-06-02 cs.LG
LECO: Learnable Episodic Count for Task-Specific Intrinsic Reward
Kakao Brain
情节计数已被广泛用于设计一个简单而有效的内在动机的强化学习与稀疏的奖励。然而，在高维状态空间中以及在长的情节时间上使用情节计数需要彻底的状态压缩和快速散列，这阻碍了在这种困难和复杂的探索环境中对其的严格利用。此外，来自任务无关的观察在情节计数的干扰可能会导致其内在动机，忽视任务相关的重要变化的状态，和新奇的情节方式可以导致重复重温熟悉的状态跨事件。为了解决这些问题，在本文中，我们提出了一个可学习的基于散列的情节计数，我们命名为LECO，有效地执行任务特定的内在奖励在硬探索问题。特别是，所提出的内在奖励包括情节新颖性和任务特定的调制，其中前者采用矢量量化的变分自编码器，以自动获得快速计数的离散状态码，而后者通过学习调制器来调节情节新颖性，以优化任务特定的外在奖励。所提出的LECO特别地使得在强化学习期间能够从探索自动过渡到利用。我们的实验表明，与以前的探索方法相比，LECO成功地解决了困难的探索问题，并通过在MiniGrid和DMLab环境中最困难的任务扩展到大的状态空间。
2022-10-11 cs.AI cs.LG
Wanting to be Understood
Google DeepMind（谷歌DeepMind）
本文通过感知交叉范式仿真研究强化学习智能体的内在动机，发现仅靠人工好奇心不足以促成社会互动，而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
Iran University of Science and Technology（伊朗科技大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Zurich（苏黎世大学）
本文提出将基于梯度的元学习、课程学习与内在动机融入HRL，使智能体在网格环境中更快适应复杂任务，并取得更高奖励与成功率。
2025-03-14 cs.AI cs.LG
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
在人类生命的早期阶段，婴儿通过探索不同的场景来发展他们的技能，这些场景的动机是他们内在的满足感，而不是来自环境的外在奖励。这种行为，被称为内在动机，已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法，以加快学习过程中的单一和多代理问题的同质代理。然而，很少有研究阐述了异构代理部署到同一环境中，但与后者的不同实例之间的协作学习框架，没有任何先验知识。除了异质性之外，每个代理的特性只允许访问完整状态空间的一个子集，这可能隐藏不同的探索策略和最佳解决方案。在这项工作中，我们结合了内在动机和迁移学习的想法。具体来说，我们专注于共享参数的演员-评论家模型架构，并结合通过内在动机获得的信息，目的是有一个更有效的探索和更快的学习。我们测试我们的策略，通过实验进行了修改ViZDooM的我回家的路的情况下，这是更具挑战性的比原来的版本，并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式，在没有知识共享的情况下，一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外，我们描述了需要正确调制的重要性之间的外在和内在的奖励，以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning
Cloud Temple（云庙）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）
自主强化学习代理，如儿童，没有访问预定义的目标和奖励功能。他们必须发现潜在的目标，学习自己的奖励功能，并参与自己的学习轨迹。然而，儿童从接触语言中受益，帮助组织和调解他们的思想。我们提出了LE2（语言增强的探索），一个学习算法利用内在的动机和自然语言（NL）与描述性的社会伙伴（SP）的互动。使用来自SP的NL描述，它可以学习NL条件奖励函数来制定内在动机目标探索的目标，并学习目标条件策略。通过探索，从SP收集描述，并共同学习奖励函数和策略，代理将NL描述转化为真实的行为目标。从早期发现的简单目标到通过对简单目标进行实验发现的更复杂目标，我们的智能体自主构建自己的行为库。这种自然发生的课程是由代理人的内在动机产生的主动学习课程补充的。实验提出了一个模拟的机器人手臂，与几个对象，包括工具。
2019-11-08 cs.CL cs.LG stat.ML
Generative Augmented Flow Networks
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Tsinghua University（清华大学）
生成流网络是一个概率框架，其中代理学习对象生成的随机策略，使得生成对象的概率与给定的奖励函数成正比。与基于奖励最大化的强化学习方法相比，它在发现高质量和多样化的解决方案方面表现出了有效性。尽管如此，GFlowNets仅从终端状态的奖励中学习，这可能限制其适用性。事实上，中间奖励在学习中起着至关重要的作用，例如，即使在特别具有挑战性的稀疏奖励任务中，从内在动机提供中间反馈。受此启发，我们提出了生成增强流网络（GAFlowNets），这是一种将中间奖励纳入GFlowNets的新型学习框架。为了解决稀疏奖励环境下的探索问题，我们通过内在动机来指定中间奖励。GAFlowNets可以联合利用基于边缘和基于状态的内在奖励来改善探索。基于GridWorld任务的大量实验，我们证明了GAFlowNet在收敛性，性能和解决方案多样性方面的有效性和效率。我们进一步表明，GAFlowNet可扩展到更复杂和大规模的分子生成域，在那里它实现了一致和显着的性能改善。
2022-10-07 cs.LG
Intrinsic Goals for Autonomous Agents: Model-Based Exploration in Virtual Zebrafish Predicts Ethological Behavior and Whole-Brain Dynamics
Neuroscience Institute, Carnegie Mellon University（卡内基梅隆大学神经科学研究所）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；IBM Thomas J. Watson Research Center, IBM Research（IBM沃森研究中心）
针对无奖励环境下探索不一致问题，提出基于模型的内在驱动力3M-Progress，通过在线世界模型与生态位先验的差异实现类动物探索，并首次仅凭内在目标预测斑马鱼全脑神经-胶质动力学，建立连接内在动机与自然行为的计算框架。
2025-10-24 cs.AI cs.LG cs.RO
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University（檀国大学电气与电子工程学院）
针对内在奖励探索易受 Noisy TV 与随机性影响的问题，提出 TeCLE，通过动作条件潜在状态分布和时间相关性计算内在奖励，并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Mutual Information State Intrinsic Control
Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子公司）；Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Horizon Robotics（地平线机器人）
强化学习已被证明在许多具有挑战性的任务中非常成功。然而，成功在很大程度上依赖于良好的奖励。内在激励RL试图通过定义内在奖励函数来消除这种约束。受心理学中的自我意识概念的启发，我们做出了一个自然的假设，即智能体知道自己是什么，并提出了一个新的内在目标，鼓励智能体对环境进行最大限度的控制。我们数学形式化的奖励作为互信息之间的代理状态和周围的状态下，当前代理政策。有了这种新的内在动机，我们能够超越以前的方法，包括能够第一次在不使用任何任务奖励的情况下完成拾取和放置任务。显示实验结果的视频可在https://youtu.be/AUCwc9RThpk上获得。
2021-03-15 cs.LG
TLDR: Unsupervised Goal-Conditioned RL via Temporal Distance-Aware Representations
Yonsei University（延世大学）
针对无监督目标条件强化学习探索不足、奖励稀疏有噪的问题，提出基于时序距离感知表征的TLDR方法，通过选远距目标、设两类时序距离相关奖励提升探索与目标达成能力，在6个模拟运动环境中表现优于现有方法。
2024-12-09 cs.AI cs.LG
