Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本研究通过好奇心驱动的机器人自我探索，结合Q学习实现主动推理，揭示了组合泛化、快速学习、先配对后组合以及异常处理导致的U型发展模式，为人类高效语言习得提供解释。
2026-06-18 cs.LG stat.ML
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration
DeepMind（深度思维）
数据效率和对任务无关扰动的鲁棒性是深度强化学习算法长期面临的挑战。在这里，我们介绍了一种模块化的方法来解决这些挑战，在一个连续的控制环境中，而不使用手工制作或监督的信息。我们的好奇基于对象的搜索代理（COBRA）使用无任务的内在动机的探索和无监督学习，以建立其环境和行动空间的基于对象的模型。随后，它可以通过基于模型的搜索在非常少的步骤中学习各种任务，并在策略鲁棒性的结构化保持测试中表现出色。
2019-08-14 cs.AI cs.LG
Curiosity-driven RL for symbolic equation solving
Starling Research Institute（星灵研究机构）
该研究探索强化学习在符号数学中的应用，提出融合好奇心探索与图动作的无模型PPO算法，可求解含根式、指数、三角函数的非线性方程，为通用符号推理任务提供新思路。
2025-10-29 cs.AI cs.LG
Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments
IDSIA（达勒·莫尔人工智能研究所）
为了最大限度地取得成功，AGI通常需要探索其最初未知的世界。有没有一个最佳的方法来做到这一点？在这里，我们得到一个肯定的答案，为广泛的一类环境。
2011-03-29 cs.AI stat.ML
Curiosity-driven Exploration by Self-supervised Prediction
University of California, Berkeley（加州大学伯克利分校）
在许多现实世界的场景中，代理的外在奖励非常稀少，或者完全不存在。在这种情况下，好奇心可以作为一种内在的奖励信号，使智能体能够探索其环境并学习可能在其以后的生活中有用的技能。我们制定好奇心作为错误的智能体的能力，预测自己的行动的后果，在视觉特征空间学习的自监督逆动力学模型。我们的公式可以扩展到像图像这样的高维连续状态空间，绕过了直接预测像素的困难，并且，关键的是，忽略了环境中不能影响代理的方面。在VizDoom和Super Mario Bros.Three广泛的设置进行了研究：1）稀疏的外部奖励，好奇心允许与环境的交互少得多，以达到目标; 2）探索没有外部奖励，好奇心推动代理更有效地探索;以及3）推广到看不见的场景（例如，相同游戏的新级别），其中从早期经验获得的知识帮助代理比从头开始更快地探索新的地方。演示视频和代码可在www.example.com获得
2017-05-15 cs.AI cs.CV cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Bayesian Curiosity for Efficient Exploration in Reinforcement Learning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
平衡探索和利用是强化学习的一个基本部分，但大多数最先进的算法使用朴素的探索协议，如$ε$ -greedy。这导致了高样本复杂度的问题，因为算法通过重复访问已经探索过的状态空间的部分而浪费精力。我们引入了一种新的方法，基于贝叶斯线性回归和潜在空间嵌入生成一个内在的奖励信号，鼓励学习代理寻找未探索的部分状态空间。该方法计算效率高，实现简单，并且可以扩展任何最先进的强化学习算法。我们评估了一系列的算法和具有挑战性的控制任务，模拟和物理机器人的方法，演示了所提出的方法可以显着提高样本的复杂性。
2019-11-20 cs.LG stat.ML
From Curiosity to Competence: How World Models Interact with the Dynamics of Exploration
Human and Machine Cognition Lab, University of Tübingen（图宾根大学）；Max Planck Institute for Biological Cybernetics（生物感知研究所）
该研究结合认知理论与强化学习，通过对比Tabular和Dreamer两种智能体，探讨了内部表征如何调节好奇心与胜任力之间的权衡，揭示了探索与表征学习的双向交互，并将自适应探索形式化为追求未知与可控之间的平衡。
2025-07-10 cs.AI
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine（加州大学欧文分校）
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功，但它们在复杂任务上失败了，例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法，结合后见之明与好奇心驱动的探索和课程学习，以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对决策预训练Transformer（DPTs）难以泛化到预训练数据分布外的问题，提出情境好奇心正则化项与PPT框架，用奖励预测误差作为内在信号鼓励探索，在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Beyond Surprise: Improving Exploration Through Surprise Novelty
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
该研究提出一种基于惊奇新颖性的强化学习内在奖励计算模型，通过记忆网络的检索误差衡量惊奇新颖性，增强惊奇类内在激励的探索效率，在稀疏奖励环境中显著提升性能。
2024-01-31 cs.LG
Dynamic Memory-based Curiosity: A Bootstrap Approach for Exploration
National University of Defense Technology（国防科技大学）；Artificial Intelligence Research Center, DII（DII人工智能研究中心）
本文提出基于动态记忆的好奇心方法DyMeCu，通过动态记忆和双重在线学习器构建内在奖励以促进探索，在多个基准上优于现有方法。
2023-11-20 cs.AI
CDE: Curiosity-Driven Exploration for Efficient Reinforcement Learning in Large Language Models
Tencent AI Lab（腾讯AI实验室）；Tencent Multimodal Department（腾讯多模态部门）；University of North Carolina at Chapel Hill（北卡罗来纳大学夏洛特分校）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学学院公园分校）
针对RLVR中探索不足导致的过早收敛和熵崩溃问题，提出好奇心驱动探索（CDE）框架，利用actor困惑度和critic价值方差作为探索奖励，在AIME基准上提升约3分。
2025-09-11 cs.AI cs.CL cs.LG
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg（阿尔伯特-路德维希-弗莱堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了深度强化学习（DRL）方法学习移动机器人导航策略的探索策略。特别是，我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法，其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标（例如，可见光定位、Wi-Fi信号定位）。我们验证了内在动机是至关重要的，以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明，我们提出的方法能够更有效地学习导航策略，并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Endogenous Exploration in Reinforcement Learning with Intrinsic Curiosity
University of Tartu（塔尔图大学）
提出一种由内在好奇心驱动的强化学习框架，在液态状态机上实现，通过中等不一致性促进探索，在LunarLanderv2和BipedalWalkerv3基准上取得与PPO和ICM相当的竞争力。
2026-09-09 cs.LG
Curiosity-Driven Reinforcement Learning based Low-Level Flight Control
Aarhus University（奥胡斯大学）
本研究提出一种基于预测误差的好奇心驱动强化学习算法，通过里程计数据生成电机转速控制四旋翼飞行器避障并调整偏航方向，实验证明其能学习最优策略并最大化奖励。
2023-07-28 cs.AI cs.LG cs.RO
Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration
Shanghai Jiao Tong University（上海交通大学）；School of Automation and Intelligent Sensing（自动化与智能感知学院）；Key Laboratory of System Control and Information Processing（系统控制与信息处理重点实验室）；Ministry of Education of China（中华人民共和国教育部）；National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家级重点实验室）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）
CERMIC通过多智能体上下文校准增强探索，解决稀疏奖励环境下多智能体强化学习的探索效率问题。
2026-02-22 cs.LG cs.RO
Curiosity & Entropy Driven Unsupervised RL in Multiple Environments
Carnegie Mellon University（卡内基梅隆大学）；Robotics Institute（机器人研究所）
本文扩展了 alpha-MEPOL 无监督强化学习方法，提出动态 alpha、更高 KL 散度阈值和好奇心驱动探索等五项修改，部分实验在高维环境中显著提升了基线性能。
2024-01-08 cs.AI cs.LG
Scheduled Curiosity-Deep Dyna-Q: Efficient Exploration for Dialog Policy Learning
Graduate School of Engineering（工学院）；Tohoku University（东北大学）
针对任务型对话强化学习训练效率低、随机采样不符合人类学习规律的问题，提出基于DDQ的好奇心驱动课程学习框架SC-DDQ，设计正反两种学习调度，实验验证其性能优于基线，且不同模型适配不同难度顺序的训练策略。
2024-05-20 cs.AI cs.LG
Active Learning for Autonomous Intelligent Agents: Exploration, Curiosity, and Interaction
Inria Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）；University of Zaragoza（萨拉戈萨大学）
在这项调查中，我们提出了不同的方法，允许智能代理自主探索其环境，收集信息和学习多个任务。不同的社区提出了不同的解决办法，在许多情况下，这些办法是相似和/或互补的。这些解决方案包括主动学习、探索/利用、在线学习和社会学习。所有这些方法的共同点是，它是代理选择和决定下一步收集什么信息。这些方法的应用已经包括辅导系统，自主抓取学习，导航和地图以及人机交互。我们讨论这些方法是如何相关的，解释他们的相似之处和他们的差异方面的问题假设和成功的指标。我们认为，这种综合讨论将改善跨学科的研究和应用。
2014-03-06 cs.AI
From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks
Nanyang Technological University（南洋理工大学）
心理好奇心在人类智力中起着重要作用，通过探索和信息获取来促进学习。在人工智能（AI）领域，受人类认知发展的启发，人工好奇心为高效学习提供了天然的内在动力;同时，它可以弥补人工智能研究与实际应用场景之间存在的差距，如过拟合，泛化能力差，训练样本有限，计算成本高等。因此，好奇心驱动学习（CDL）越来越受欢迎，在那里，智能体是自我激励学习新知识的。本文首先对好奇心的心理学研究进行了综述，总结了一个统一的好奇心及其激发机制的量化框架。基于心理学原理，我们进一步综述了强化学习、推荐和分类等领域现有的CDL方法，并讨论了其优缺点和未来的工作。因此，这项工作为未来的CDL研究提供了富有成效的见解，并为进一步改进提供了可能的方向。
2022-01-20 cs.AI cs.LG
Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
University of Auckland（奥克兰大学）
该研究提出NSPER及扩展的NSPER+R，将新颖性与意外性结合，在DeepMind Control Suite任务上提升了基于图像的强化学习的训练效率与收敛速度。
2026-08-19 cs.AI cs.LG
Touch-based Curiosity for Sparse-Reward Tasks
Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Element AI（Element AI公司）
在许多现实世界中的机器人都可以在其夹持器中使用力/扭矩传感器，并且在涉及接触丰富运动的任务中，触觉感知通常是必要的。在这项工作中，我们利用触摸反馈中不匹配的惊喜来指导硬稀疏奖励强化学习任务中的探索。我们的方法，基于触摸的Currency（ToC），学习可视对象交互应该“感觉”像什么。我们通过奖励期望和体验不匹配的互动来鼓励探索。在我们提出的方法中，初始任务独立的探索阶段之后是任务学习阶段，在该阶段中，原始交互被重新标记为任务奖励。我们在一系列触摸密集型机器人手臂任务（例如推物体，开门）上测试我们的方法，我们也将其作为这项工作的一部分发布。在模拟环境中的多个实验中，我们证明了我们的方法能够仅通过稀疏的奖励和好奇心来学习这些困难的任务。我们将我们的跨模态方法与单模态（仅触摸或视觉）方法以及其他基于好奇心的方法进行比较，发现我们的方法性能更好，样本效率更高。
2021-06-26 cs.AI cs.CV cs.LG
Receding Horizon Curiosity
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
样本有效的探索不仅对于发现有益的体验至关重要，而且对于以任务不可知的方式适应环境变化也至关重要。在序贯贝叶斯试验设计的框架内，提供了一个原则性的处理问题的最佳输入合成系统辨识。在本文中，我们提出了一个有效的基于概率优化的近似解决方案，否则棘手的问题，模型在一个未知的马尔可夫决策过程（MDP）的最佳探索。通过将情景探索与贝叶斯非线性系统辨识相结合，我们的算法利用归纳偏差以定向方式进行探索，而无需假设MDP的先验知识。经验评估表明，所提出的算法的收敛速度和最终的模型保真度相比，采用探索奖金，如预测误差和信息增益的内在动机为基础的算法具有明显的优势。此外，我们的方法保持了最近的基于模型的主动探索（MAX）算法的计算优势，通过专注于沿轨迹的信息增益，而不是寻求一个全球性的探索政策。我们的算法和所进行的实验的参考实现是公开的。
2019-10-08 cs.LG cs.RO stat.ML
Policy Gradient from Demonstration and Curiosity
Tencent（腾讯）；Pengcheng Laboratory（鹏城实验室）
通过强化学习，智能体可以从任务的高级抽象中学习复杂的行为。然而，探索和奖励塑造对于现有方法仍然具有挑战性，特别是在外部反馈稀疏的情况下。专家演示已被调查，以解决这些困难，但大量的高质量的演示通常需要。在这项工作中，提出了一个集成的策略梯度算法，以促进探索和促进内在奖励学习，只有有限的演示。我们实现了这一点，重新制定了原来的奖励函数与两个额外的条款，其中第一项测量当前政策和专家之间的詹森-香农分歧，第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估，其中每个任务只提供一个演示轨迹，在所有任务中均表现出优越的探索效率和高的平均回报。此外，研究发现，代理人可以模仿专家的行为，同时维持高回报。
2020-06-09 cs.AI cs.LG
Exploring through Random Curiosity with General Value Functions
The Swiss AI Lab (IDSIA)（瑞士人工智能实验室（IDSIA））；University of Lugano (USI)（卢加诺大学（USI））；SUPSI（瑞士南部应用科学与艺术大学）；Google Research（谷歌研究院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；NNAISENSE
强化学习中的有效探索是一个具有挑战性的问题，通常通过内在奖励来解决。最近的主要方法是基于国家的新颖性或人为好奇心的变体。然而，直接将它们应用于部分可观察的环境可能是无效的，并导致内在奖励的过早消散。在这里，我们提出了随机好奇心与一般价值函数（RC-GVF），一种新的内在奖励函数，利用这些不同的方法之间的连接。RC-GVF通过预测时间扩展的一般价值函数来获得内在奖励，而不是仅仅使用当前观察的新颖性或未能预测精确环境动态的好奇心奖金。我们证明，这提高了探索在一个硬探索恶魔锁问题。此外，RC-GVF显着优于以前的方法，在部分可观察的MiniGrid环境中的地面实况情节计数的情况下。对MiniGrid的全景观测进一步提高了RC-GVF的性能，使其与以情节计数形式利用特权信息的基线相比具有竞争力。
2022-11-18 cs.LG
Curiosity as a Self-Supervised Method to Improve Exploration in De novo Drug Design
Université Cadi Ayyad（卡迪·阿亚德大学）；National school of applied sciences（国家应用科学学院）
本文提出好奇心驱动的自监督方法，通过微调循环神经网络分子生成器并利用Tanimoto相似度定义好奇心，以扩大从头药物设计中的化学空间探索，从而发现更多样且更易合成的合意分子。
2023-09-24 cs.LG q-bio.BM q-bio.QM
Modeling arousal potential of epistemic emotions using Bayesian information gain: Inquiry cycle driven by free energy fluctuations
The University of Tokyo（东京大学）
本研究基于自由能最小化原理的两类信息增益构建认知情绪的数学模型，发现其构成类似冯特曲线的上凸函数，揭示认知情绪驱动的理想探究循环机制，统一大脑自由能原理与唤醒潜力理论。
2023-12-14 cs.AI cs.IT math.IT
An Information-Geometric Approach to Artificial Curiosity
Institute of Neuroinformatics University of Zurich and ETH Zurich（神经信息学研究所 苏黎世大学和苏黎世联邦理工学院）
本文提出基于信息几何的框架，通过信息单调性和环境交互不变性约束内在奖励为严格凹函数，从而实现探索与利用的平衡，整合了基础探索方法。
2026-04-17 cs.LG
Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems
University of Wyoming（怀俄明大学）；Uber AI Labs（优步人工智能实验室）
RL中的传统探索方法需要代理执行随机动作来寻找奖励。但是这些方法在像蒙特祖玛的复仇这样的稀疏奖励领域中挣扎，在那里任何随机动作序列导致奖励的概率都非常低。最近的算法通过鼓励代理访问新状态或执行与所有先前训练片段相关的新动作（我们称之为跨训练新颖性），在此类任务上表现良好。但这样的算法并不考虑智能体是否表现出生活中的新奇性：在当前事件中做一些新的事情，而不管这些行为是否在以前的事件中执行过。我们假设，跨训练的新颖性可能会阻止代理重新访问最初的非奖励状态，这些状态可能会成为后来训练中的重要垫脚石。我们介绍了深度Currency搜索（DeepCS），它鼓励通过奖励代理访问尽可能多的不同的状态在每一集内的生活探索，并显示DeepCS匹配的性能，目前国家的最先进的方法蒙特祖玛的复仇。我们进一步表明，DeepCS改善了Amidar，Freeway，Gravitar和Tutankham（其中许多是硬探索游戏）的探索。令人惊讶的是，DeepCS在Seaquest上的A2 C性能翻了一番，这是一款我们不希望从生活探索中受益的游戏，因为竞技场很小，而且已经很容易通过天真的探索技术进行导航。在一次运行中，DeepCS在Seaquest上获得了80，000分的最高训练分数，高于Ape-X之外的任何方法。DeepCS在这些稀疏和密集奖励任务上的出色表现表明，鼓励生活中的新奇感是提高深度RL性能的一种有趣的新…
2018-11-24 cs.AI
Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent
Oxford University（牛津大学）；Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
强化学习器是学习选择导致高奖励的行为的代理。理想情况下，强化学习器的策略的值接近最优-其中最优的知情策略是最大化奖励的策略。不幸的是，我们表明，如果一个代理保证是“渐近最优”在任何（随机可计算）的环境中，然后受到一个假设的真实环境，这个代理将被“摧毁”或“丧失能力”的概率为1。强化学习中的许多工作都使用遍历性假设来避免这个问题。通常情况下，在简化假设下进行理论研究，即使没有这些假设，我们也可以提供实用的解决方案，但强化学习中的遍历性假设可能会让我们在为危险环境中的智能体准备安全有效的探索策略时完全误入歧途。而不是假设的问题，我们提出了一个代理，Mentee，与接近导师的性能，做安全的探索，而不是鲁莽的探索适度的保证。重要的是，Mentee的探索概率取决于从探索中获得的预期信息。在一个简单的非遍历环境中，一个弱的导师，我们发现Mentee优于现有的渐近最优代理和它的导师。
2021-05-26 cs.AI cs.LG
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
针对无监督强化学习中单一熵目标无法适配所有环境的问题，提出将目标选择建模为多臂老虎机的惊奇自适应智能体，通过新型内在反馈信号控制环境熵，在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
HAMMER: Hamiltonian Curiosity Augmented Large Language Model Reinforcement
Fudan University（复旦大学）；Tiansuan Lab, Ant Group Co., Ltd.（蚂蚁集团天算实验室）；East China Normal University（华东师范大学）
针对大语言模型课程强化学习易陷入局部优化、探索不足的问题，提出HAMMER框架，借最小语义哈密顿路径排序样本以增强探索，理论上保障稳定收敛，实验中在推理基准上实现3%-4%的准确率提升。
2025-09-25 cs.AI cs.CL cs.LG
Goal-oriented Trajectories for Efficient Exploration
Imperial College London（帝国理工学院）
探索是强化学习中的一个困难挑战，即使是最近最先进的基于好奇心的方法也依赖于简单的ε贪婪策略来产生新颖性。我们认为，纯粹的随机行走不成功，适当扩大在大多数环境中的探索区域，并建议取代随机目标选择，然后在他们的方向上的几个步骤，以取代单一的随机行动的选择。这种方法与任何基于好奇心的探索和非策略强化学习代理兼容，并且生成比单个随机动作更长和更安全的轨迹。为了说明这一点，我们提出了一个独立于任务的代理，它学会了在屏幕帧中到达坐标，并展示了它在游戏《超级马里奥兄弟》中探索的能力。
2018-07-05 cs.LG stat.ML
SuS: Strategy-aware Surprise for Intrinsic Exploration
Higher School of Economics（俄罗斯高等经济学院）；AI Talent Hub（人工智能人才中心）；ITMO University（ITMO大学）
SuS通过结合策略稳定性与策略惊喜，提升强化学习中探索的准确性和多样性，实现显著性能提升。
2026-01-15 cs.AI cs.CL cs.GT
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen（哥廷根大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习，特别是深度学习，一直是该领域快速发展的主题。强化学习是一种特别有前途的方法，因为它允许分子设计而无需先验知识。然而，搜索空间是巨大的，并且当使用强化学习代理时，需要有效的探索。在这项研究中，我们提出了一个算法，以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示，一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向，这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子，到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
InDRiVE: Intrinsic Disagreement based Reinforcement for Vehicle Exploration through Curiosity Driven Generalized World Model
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
InDRiVE 在 Dreamer 框架下用基于世界模型集成内在分歧的奖励替代任务特定外在奖励，实现任务无关探索，在更少训练步数下取得优于 DreamerV2/V3 的驾驶成功率与更少违规。
2025-03-07 cs.AI cs.ET cs.LG
Principled Direction-Free Intrinsic Motivation through Model-Free Epistemic Free-Energy Estimators
Coovally（库瓦利）；ICREA（加泰罗尼亚研究与高等研究院）；Distributed Systems Group, TU Vienna（维也纳工业大学分布式系统组）
研究在含混合不确定性的环境中无监督强化学习的内在动机问题，提出基于无偏好预期自由能目标新颖性贡献的单一内在奖励，通过参数信息增益驱动探索，给出相关技术细节及成果，使智能体在不同状态区域表现良好。
2026-07-21 cs.AI cs.LG
Hyper: Hyperparameter Robust Efficient Exploration in Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Terasaki Institute for Biomedical Innovation（寺崎生物医学创新研究所）
针对好奇心驱动强化学习依赖大量超参数调节且优化不稳定的问题，本文提出 Hyper，通过正则化探索访问并解耦利用实现稳定训练，并从理论与实验上验证其高效性和鲁棒性。
2024-12-04 cs.LG stat.ML
Language as a Cognitive Tool to Imagine Goals in Curiosity-Driven Exploration
Inria - Flowers team（法国国家信息与自动化研究所花朵团队）；Université de Bordeaux（波尔多大学）；Inserm U1093（法国国家健康与医学研究院U1093）；Cloud Temple（云庙）；Paris（巴黎）；ENSTA ParisTech（巴黎高等科技学院）；Université de Dijon（第戎大学）
发展性机器学习研究人工智能如何模拟儿童学习开放式技能的方式。这些代理人需要创建和代表目标，选择要追求的目标，并学习实现这些目标。最近的方法已经考虑了目标空间，这些目标空间要么是固定的，要么是手工定义的，要么是使用生成的状态模型学习的。这限制了代理在已知效应的分布内对目标进行采样。我们认为，想象分布外目标的能力是实现创造性发现和开放式学习的关键。儿童通过利用语言的组合性作为一种工具来想象他们以前从未经历过的结果的描述，并将其作为游戏中的目标。我们引入了IMAGINE，这是一种内在动机的深度强化学习架构，可以对这种能力进行建模。这种想象力的代理人，像孩子一样，受益于提供语言描述的社会同伴的指导。为了利用目标想象力，代理必须能够利用这些描述来解释他们想象的分布外目标。这种泛化是通过模块化实现的：学习的目标实现奖励函数和依赖于深集、门控注意力和以对象为中心的表示的策略之间的分解。我们介绍了游乐场环境，并研究这种形式的目标想象力如何提高泛化和探索缺乏这种能力的代理。此外，我们确定的属性，使这些结果的目标想象和研究模块化和社会互动的影响。
2020-10-21 cs.AI cs.CL cs.LG
Surprise-Based Intrinsic Motivation for Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
复杂领域的探索是强化学习的一个关键挑战，特别是对于奖励非常稀疏的任务。最近在深度强化学习中取得的成功主要是使用简单的启发式探索策略，如$ε$ -贪婪动作选择或高斯控制噪声，但有许多任务，这些方法不足以取得任何学习进展。在这里，我们考虑更复杂的探索：高效和可扩展的探索策略，最大限度地提高了一个代理的惊喜，通过内在动机的经验的概念。我们建议与策略同时学习MDP转移概率的模型，并形成近似于来自学习模型的真实转移概率的KL发散的内在奖励。我们的一个近似结果是将学习作为内在动机，而另一个近似结果是$k$步骤学习进展。我们表明，我们的激励机制，使代理人在广泛的环境中成功的高维状态空间和非常稀疏的奖励，包括连续控制任务和游戏中的Atari RAM域，优于其他几个启发式探索技术。
2017-03-06 cs.LG
Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity
Massachusetts Institute of Technology（麻省理工学院）
本文针对基于预测的内在奖励方法在困难探索任务中的灾难性遗忘问题，提出 FARCuriosity 方法，通过环境碎片化和模块回忆机制减少遗忘，并在 Atari 基准上取得更好的整体性能。
2023-10-26 cs.AI cs.LG
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute（信息学知识技术研究所）
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式，用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而，缺乏结合这些范例的方法，目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献，我们解决了这个问题，并开发了一种将分层强化学习与好奇心相结合的方法。在这里，我们扩展了当代层次的演员批评的方法与前向模型，以发展层次的好奇心的概念。我们在几个连续空间环境中证明，对于大多数调查的基准问题，好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Capsule Network Performance with Autonomous Navigation
Purdue University（普渡大学）
胶囊网络（CapsNets）已经被提出作为卷积神经网络（CNN）的替代方案。本文展示了CapsNets如何比CNN更有能力进行自主智能体对现实场景的探索。在现实世界的导航，奖励外部代理可能是罕见的。反过来，强化学习算法可能难以形成有意义的策略函数。本文的方法Capsules Exploration Module（Caps-EM）将CapsNets架构与Advantage Actor Critic算法配对。用于导航稀疏环境的其他方法需要内在奖励生成器，诸如内在Currency模块（ICM）和增强Currency模块（ACM）。Caps-EM使用更紧凑的架构，无需内在奖励。使用ViZDoom进行测试，Caps-EM使用的可训练网络参数分别比ICM和深度增强Currency模块（D-ACM）少44%和83%，平均时间分别比ICM和D-ACM提高1141%和437%，以在“My Way Home”场景中收敛到策略功能。
2020-02-08 cs.LG stat.ML
Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning
Cloud Temple（云庙）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）
自主强化学习代理，如儿童，没有访问预定义的目标和奖励功能。他们必须发现潜在的目标，学习自己的奖励功能，并参与自己的学习轨迹。然而，儿童从接触语言中受益，帮助组织和调解他们的思想。我们提出了LE2（语言增强的探索），一个学习算法利用内在的动机和自然语言（NL）与描述性的社会伙伴（SP）的互动。使用来自SP的NL描述，它可以学习NL条件奖励函数来制定内在动机目标探索的目标，并学习目标条件策略。通过探索，从SP收集描述，并共同学习奖励函数和策略，代理将NL描述转化为真实的行为目标。从早期发现的简单目标到通过对简单目标进行实验发现的更复杂目标，我们的智能体自主构建自己的行为库。这种自然发生的课程是由代理人的内在动机产生的主动学习课程补充的。实验提出了一个模拟的机器人手臂，与几个对象，包括工具。
2019-11-08 cs.CL cs.LG stat.ML
k-Means Maximum Entropy Exploration
Institute of Neuroinformatics（神经信息学研究所）；ETH Zürich（苏黎世联邦理工学院）
针对高维连续空间稀疏奖励强化学习的探索难题，提出基于k-means的人工好奇心算法，通过熵近似下界实现高效探索，在基准测试尤其难寻奖励的任务上表现具竞争力。
2023-11-07 cs.LG
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology（国防科技大学）；Artificial Intelligence Research Center, DII（国防创新研究院人工智能研究中心）
为了解决强化学习中外部奖励的稀疏性，研究人员提出了内在奖励，使智能体能够学习将来可能对追求奖励有用的技能，例如鼓励智能体访问新状态。然而，由于环境的随机性，内在奖励可能是噪声的，直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外，许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性，这将放大由于平方运算的噪声。在本文中，我们通过提出一种利用核范数最大化（NNM）的新好奇心来解决上述挑战，该好奇心可以更准确地量化探索环境的新颖性，同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验，结果表明，与以前的好奇心方法相比，NNM可以提供最先进的性能。在26个Atari游戏子集上，当只使用内在奖励进行训练时，NNM实现了1.09的人类标准化得分，这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布，以提高可重复性。
2022-05-28 cs.AI cs.LG
Confidence Adjusted Surprise Measure for Active Resourceful Trials (CA-SMART): A Data-driven Active Learning Framework for Accelerating Material Discovery under Resource Constraints
West Virginia University（西弗吉尼亚大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
提出CA-SMART，一种基于置信度调整惊异的贝叶斯主动学习框架，动态平衡探索与利用，在资源约束下加速材料发现，并在基准函数和钢疲劳强度预测中优于传统方法。
2025-03-27 cs.AI cs.LG stat.AP
Can In-Context Learning Support Intrinsic Curiosity?
Google – Paradigms of Intelligence Team（Google – 智能范式团队）；Google DeepMind（谷歌DeepMind）
研究利用序列模型的上下文学习能力作为即时无更新世界模型，以消除传统内在好奇心方法中梯度下降的计算瓶颈，理论证明在非时间设置下可渐近收敛到真实学习进度。
2026-06-19 cs.AI cs.LG
Universal AI maximizes Variational Empowerment
AI Alignment Network (ALIGN)（AI对齐网络（ALIGN））；RIKEN（理化学研究所）；Graduate School of Media and Governance, Keio University（庆应义塾大学媒体与治理研究生院）
本文提出统一AIXI与变分赋能的理论框架，证明通用AI的规划过程可视为最小化变分自由能，并揭示其权力寻求行为源于赋能最大化和好奇心驱动探索，为AGI安全与可控性讨论提供理论基础。
2025-03-03 cs.AI cs.LG stat.ML
Implementation of reinforcement learning in chemical reaction networks: application to phototaxis as curiosity-driven exploration
将趋光性建模为部分可观测马尔可夫决策过程，通过化学反应网络常微分方程实现内部状态更新，利用逆强化学习从实验轨迹推断行为目标，揭示游动-翻滚交替作为信息获取策略。
2026-06-26 cs.LG q-bio.QM
Remember to be Curious: Episodic Context and Persistent Worlds for 3D Exploration
University of Toronto（多伦多大学）；UC Berkeley（加州大学伯克利分校）；Wayve；Vector Institute（向量研究所）；Simon Fraser University（西蒙 Fraser大学）
本研究提出了一种基于好奇心驱动强化学习的方法，通过引入持久世界模型和片段上下文来解决3D环境中稀疏奖励长周期任务中的探索问题，实验表明该方法在HM3D数据集上优于基于强化学习的主动映射基线，并能泛化到Gibson和AI生成的世界。
2026-05-21 cs.LG
Flow-based Intrinsic Curiosity Module
National Tsing Hua University（国立清华大学）
在本文中，我们专注于基于预测的新颖性估计策略的深度强化学习（DRL）框架，并提出了一个基于流的内在好奇心模块（FICM），利用预测误差从光流估计作为探索奖金。我们提出了利用连续观测之间捕获的运动特征来评估环境中观测的新颖性的概念。FICM鼓励DRL代理探索具有不熟悉的运动特征的观察，并且在估计新颖性时仅需要两个连续帧来获得足够的信息。我们评估了我们的方法，并将其与多个基准环境中的一些现有方法进行了比较，包括Atari游戏，超级马里奥兄弟，还有ViZDoom我们证明，FICM是有利的任务或环境具有移动的对象，这使得FICM利用连续观测之间的运动特征。进一步分析了FICM的编码效率，并对其应用领域进行了全面的讨论。
2020-07-15 cs.CV cs.LG stat.ML
