Aggressive Quadrotor Flight Using Curiosity-Driven Reinforcement Learning
East China University of Science and Technology（华东理工大学）；Western Sydney University（西悉尼大学）
执行攻击性运动的能力（称为攻击性飞行）对于四旋翼飞行器在导航期间是重要的。然而，攻击性的四旋翼飞行对实际应用仍然是一个很大的挑战。攻击性飞行的现有解决方案严重依赖于预定义的轨迹，这是一个耗时的预处理步骤。为了避免这种路径规划，我们提出了一种好奇心驱动的强化学习方法的侵略性飞行任务和基于相似性的好奇心模块，以加快训练过程。分支结构探索（BSE）策略也被应用到保证的政策的鲁棒性，并确保在模拟训练的政策可以直接在现实世界的实验中执行。仿真实验结果表明，该强化学习算法在攻击性飞行任务中表现良好，加快了收敛过程，提高了策略的鲁棒性。此外，我们的算法表现出令人满意的模拟到真实的可移植性，并在现实世界的实验表现良好。
2022-03-26 cs.RO cs.SY eess.SY
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg（阿尔伯特-路德维希-弗莱堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了深度强化学习（DRL）方法学习移动机器人导航策略的探索策略。特别是，我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法，其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标（例如，可见光定位、Wi-Fi信号定位）。我们验证了内在动机是至关重要的，以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明，我们提出的方法能够更有效地学习导航策略，并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems
University of Wyoming（怀俄明大学）；Uber AI Labs（优步人工智能实验室）
RL中的传统探索方法需要代理执行随机动作来寻找奖励。但是这些方法在像蒙特祖玛的复仇这样的稀疏奖励领域中挣扎，在那里任何随机动作序列导致奖励的概率都非常低。最近的算法通过鼓励代理访问新状态或执行与所有先前训练片段相关的新动作（我们称之为跨训练新颖性），在此类任务上表现良好。但这样的算法并不考虑智能体是否表现出生活中的新奇性：在当前事件中做一些新的事情，而不管这些行为是否在以前的事件中执行过。我们假设，跨训练的新颖性可能会阻止代理重新访问最初的非奖励状态，这些状态可能会成为后来训练中的重要垫脚石。我们介绍了深度Currency搜索（DeepCS），它鼓励通过奖励代理访问尽可能多的不同的状态在每一集内的生活探索，并显示DeepCS匹配的性能，目前国家的最先进的方法蒙特祖玛的复仇。我们进一步表明，DeepCS改善了Amidar，Freeway，Gravitar和Tutankham（其中许多是硬探索游戏）的探索。令人惊讶的是，DeepCS在Seaquest上的A2 C性能翻了一番，这是一款我们不希望从生活探索中受益的游戏，因为竞技场很小，而且已经很容易通过天真的探索技术进行导航。在一次运行中，DeepCS在Seaquest上获得了80，000分的最高训练分数，高于Ape-X之外的任何方法。DeepCS在这些稀疏和密集奖励任务上的出色表现表明，鼓励生活中的新奇感是提高深度RL性能的一种有趣的新…
2018-11-24 cs.AI
CCPT: Automatic Gameplay Testing and Validation with Curiosity-Conditioned Proximal Trajectories
SEED - Electronic Arts (EA)（SEED - 美国艺电公司（EA））；Università degli Studi di Firenze（佛罗伦萨大学）
本文提出了一种新的深度强化学习算法，用于在复杂的3D导航环境中自动分析和检测游戏问题。好奇心条件下的近端轨迹（CCPT）方法结合好奇心和模仿学习训练代理，有条不紊地探索从专家演示中获得的已知轨迹附近。我们展示了CCPT如何探索复杂的环境，发现游戏问题和设计过程中的疏忽，并直接向游戏设计师识别和突出它们。我们进一步证明了该算法的有效性，在一个新的三维导航环境，反映了现代AAA视频游戏的复杂性。我们的研究结果显示了更高的覆盖率和错误发现比基线方法，因此它可以提供一个有价值的工具，游戏设计师自动识别游戏设计中的问题。
2022-02-21 cs.AI cs.LG
Using State Predictions for Value Regularization in Curiosity Driven Deep Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
稀疏奖励设置中的学习仍然是强化学习中的一个挑战，这通常通过使用内在奖励来解决。一个有前途的策略是受到人类好奇心的启发，要求智能体学会预测未来。在本文中，好奇心驱动的代理扩展到直接使用这些预测进行训练。为了实现这一点，代理预测下一个状态在任何时间点的价值函数。随后，测量该预测与当前价值函数的一致性，然后将其用作算法的损失函数中的正则化项。在网格世界环境和3D导航任务上进行了实验，两者都具有稀疏的奖励。在第一种情况下，扩展代理能够比基线更快地学习。
2018-09-30 cs.AI cs.LG stat.ML
VCAT: Vulnerability-aware and Curiosity-driven Adversarial Training for Enhancing Autonomous Vehicle Robustness
State Key Laboratory of Intelligent Transportation Systems（智能交通系统国家重点实验室）；School of Transportation Science and Technology, Beihang University（北京航空航天大学交通科学与工程学院）；Department of Civil and Environmental Engineering, Rensselaer Polytechnic Institute（伦斯勒理工学院土木与环境工程系）
针对自动驾驶车辆对抗训练中攻击者易陷入过度利用已知漏洞的问题，提出 VCAT 框架，利用代理网络感知受害者漏洞并结合随机网络蒸馏构建内在奖励引导探索，显著提升了自动驾驶车辆的鲁棒性并降低了碰撞率。
2024-09-19 cs.AI cs.LG
Seeking Visual Discomfort: Curiosity-driven Representations for Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
基于视觉的强化学习（RL）是解决以图像为主要观察对象的控制任务的一种很有前途的方法。最先进的RL算法在样本效率方面仍然存在问题，特别是在使用图像观察时。这使得人们越来越关注将状态表示学习（SRL）技术集成到RL流水线中。该领域的工作证明了样本效率的显著提高以及其他益处。然而，为了充分利用这种模式，用于训练的样本的质量起着至关重要的作用。更重要的是，这些样本的多样性会影响基于视觉的强化学习的样本效率，也会影响其泛化能力。在这项工作中，我们提出了一种方法来提高样本多样性的状态表示学习。我们的方法提高了探索能力的RL算法，利用SRL设置。我们的实验表明，我们提出的方法提高了有问题的状态的访问，提高了学习的状态表示，并优于所有测试环境的基线。这些结果在基线方法难以实现的环境中最为明显。即使在简单的环境中，我们的方法也能稳定训练，降低奖励方差，提高样本效率。
2021-10-02 cs.AI cs.CV cs.LG
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology（国防科技大学）；Artificial Intelligence Research Center, DII（国防创新研究院人工智能研究中心）
为了解决强化学习中外部奖励的稀疏性，研究人员提出了内在奖励，使智能体能够学习将来可能对追求奖励有用的技能，例如鼓励智能体访问新状态。然而，由于环境的随机性，内在奖励可能是噪声的，直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外，许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性，这将放大由于平方运算的噪声。在本文中，我们通过提出一种利用核范数最大化（NNM）的新好奇心来解决上述挑战，该好奇心可以更准确地量化探索环境的新颖性，同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验，结果表明，与以前的好奇心方法相比，NNM可以提供最先进的性能。在26个Atari游戏子集上，当只使用内在奖励进行训练时，NNM实现了1.09的人类标准化得分，这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布，以提高可重复性。
2022-05-28 cs.AI cs.LG
Curiosity & Entropy Driven Unsupervised RL in Multiple Environments
Carnegie Mellon University（卡内基梅隆大学）；Robotics Institute（机器人研究所）
本文扩展了 alpha-MEPOL 无监督强化学习方法，提出动态 alpha、更高 KL 散度阈值和好奇心驱动探索等五项修改，部分实验在高维环境中显著提升了基线性能。
2024-01-08 cs.AI cs.LG
CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies
Ecole Polytechnique（巴黎综合理工学院）；IRT SystemX（法国系统X技术研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；IP-Paris（巴黎理工学院）
强化学习作为解决最优控制问题的一种工具，已经引起了人们极大的兴趣。解决一个给定的问题（任务或环境）涉及收敛到一个最优的策略。然而，可能存在多个最优策略，它们的行为可能会有很大的不同;例如，有些策略可能比其他策略更快，但代价是更大的风险。我们考虑并研究了最优策略的分布。我们设计了一个好奇心增强的大都会算法（CAMEO），这样我们就可以采样最优策略，并使这些策略有效地采用不同的行为，因为这意味着更大的覆盖面不同的可能的最优策略。在实验模拟中，我们表明，CAMEO确实获得的政策，所有解决经典的控制问题，甚至在具有挑战性的情况下，提供稀疏的奖励环境。我们进一步表明，不同的政策，我们采样呈现不同的风险状况，对应于有趣的实际应用中的可解释性，并代表了第一步学习的最优政策本身的分布。
2023-02-15 cs.AI cs.LG
InDRiVE: Intrinsic Disagreement based Reinforcement for Vehicle Exploration through Curiosity Driven Generalized World Model
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
InDRiVE 在 Dreamer 框架下用基于世界模型集成内在分歧的奖励替代任务特定外在奖励，实现任务无关探索，在更少训练步数下取得优于 DreamerV2/V3 的驾驶成功率与更少违规。
2025-03-07 cs.AI cs.ET cs.LG
Modeling Curiosity in a Mobile Robot for Long-Term Autonomous Exploration and Monitoring
Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；McGill University（麦吉尔大学）
本文提出了一种新的方法来建模的好奇心在移动机器人，这是有用的监测和自适应数据汇集任务，特别是在长期自主任务的情况下，预先编程的任务可能有有限的效用。我们使用一个实时的主题建模技术来建立一个语义感知模型的环境，使用它，我们计划一个路径，通过在世界上的位置与高语义信息含量。所提出的感知模型的终身学习行为使其适合于长期的探索任务。我们使用模拟勘探实验，使用空中和水下数据验证的方法，并演示了在各种情况下的水水下机器人的实施。我们发现，所提出的探索路径，偏向于具有高主题困惑的位置，产生更好的地形模型，具有高的判别力。此外，我们表明，在Aqua机器人上实现的算法能够完成珊瑚礁检查，潜水员跟踪和海底勘探等任务，而无需任何事先培训或准备。
2015-09-26 cs.CV cs.LG cs.RO
CuES: A Curiosity-driven and Environment-grounded Synthesis Framework for Agentic RL
Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团）
CuES通过好奇心驱动和环境导向的方法自动生成任务，提升代理强化学习的可扩展性和性能。
2025-12-03 cs.AI cs.LG
Visual Curiosity: Learning to Ask Questions to Learn Visual Recognition
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
在开放世界的环境中，智能代理（例如，机器人）将遇到它不能识别的视觉对象、属性或关系。在这项工作中，我们开发了一个具有视觉好奇心的代理，即向Oracle提问的能力（例如，人类）关于图像中的内容（例如，红色立方体左边的物体是什么？）并基于接收到的答案建立视觉识别模型（例如，Cylinder）。为了做到这一点，代理必须（1）理解它识别什么和它不识别什么，（2）制定一个有效的，明确的和信息丰富的语言查询（一个问题）来询问Oracle，（3）从Oracle响应中导出视觉分类器的参数，以及（4）利用更新的视觉分类器来提出更明确的问题。具体来说，我们提出了一个新的框架，并制定了学习的视觉好奇心作为一个强化学习问题。在这个框架中，我们的代理的所有组件，视觉识别模块（看），问题生成策略（问），答案消化模块（理解）和图形记忆模块（记忆），都是完全端到端学习的，以最大限度地提高代理与Oracle对话后从场景图中获得的奖励。重要的是，问题生成策略从视觉识别系统和环境的细节中解脱出来。因此，我们证明了一种双重概括。我们的问题生成策略推广到新的环境和一双新的眼睛，即，新的视觉系统在合成数据集上进行训练，我们的结果表明，我们的智能体学习新的视觉概念的速度明显快于几个启发式基线，即使在具有新对象的合成环境以及现实环境中进行测试。
2018-10-01 cs.AI cs.CV cs.LG
Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity
Massachusetts Institute of Technology（麻省理工学院）
本文针对基于预测的内在奖励方法在困难探索任务中的灾难性遗忘问题，提出 FARCuriosity 方法，通过环境碎片化和模块回忆机制减少遗忘，并在 Atari 基准上取得更好的整体性能。
2023-10-26 cs.AI cs.LG
Can In-Context Learning Support Intrinsic Curiosity?
Google – Paradigms of Intelligence Team（Google – 智能范式团队）；Google DeepMind（谷歌DeepMind）
研究利用序列模型的上下文学习能力作为即时无更新世界模型，以消除传统内在好奇心方法中梯度下降的计算瓶颈，理论证明在非时间设置下可渐近收敛到真实学习进度。
2026-06-19 cs.AI cs.LG
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文提出完整因果RL框架CausalCF，融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理，并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab（之江实验室）；National Research Centre of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习（RL）被认为是一种很有前途的解决方案，可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而，在现实中，需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此，攻击代理在渗透网络时必须考虑多个目标。然而，这一挑战在现有文献中没有得到充分解决。为此，我们制定了多目标强化学习（MORL）框架中的自动渗透测试，并提出了一个切比雪夫分解评论家找到不同的对手的策略，平衡不同的目标在渗透测试。此外，可用动作的数量随着代理不断探测目标网络而增加，这使得训练过程在许多实际情况下变得棘手。因此，我们引入了一种基于覆盖的掩蔽机制，减少了对先前选择的动作的关注，以帮助代理适应未来的探索。一系列场景的实验评估表明，我们所提出的方法相比，适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
COS(M+O)S: Curiosity and RL-Enhanced MCTS for Exploring Story Space via Language Models
本文提出COS(M+O)S框架，结合MCTS、好奇心驱动的价值模型与ORPO强化学习微调，使3B模型在短篇小说任务上接近70B模型的情节质量。
2025-01-28 cs.AI cs.CL
Curious iLQR: Resolving Uncertainty in Model-based RL
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）
Currency作为一种探索强化学习过程中问题的手段，近来已经变得非常流行。然而，在利用好奇心进行学习控制方面取得的进展很少。在这项工作中，我们提出了一个基于模型的强化学习（MBRL）框架，结合贝叶斯建模的系统动态与好奇的iLQR，迭代LQR方法，考虑模型的不确定性。在轨迹优化过程中，好奇的iLQR试图最小化与任务相关的成本和动力学模型中的不确定性。我们演示了7自由度机械手在模拟和真实机器人上完成任务的方法。我们的实验表明，MBRL好奇iLQR达到所需的终端效应器目标更可靠，更少的系统推出时，从头开始学习一个新的任务，学习模型更好地推广到新的达到任务。
2019-10-08 cs.AI cs.LG cs.RO
Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability
Research Center for Intelligent Robotics, School of Astronautics, Northwestern Polytechnical University（西北工业大学航天学院智能机器人研究中心）；National Key Laboratory of Aerospace Flight Dynamics, Northwestern Polytechnical University（西北工业大学航天飞行动力学国家重点实验室）
针对机器人神经网络模型不稳定的问题，提出Curiosity-Diffuser方法，结合RND好奇心模块与分类器引导扩散提升策略可靠性，经仿真与真实实验验证有效
2026-08-06 cs.AI cs.LG cs.RO
Target Search and Navigation in Heterogeneous Robot Systems with Deep Reinforcement Learning
University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）
针对异构机器人协作搜救训练中协作奖励难获取的问题，提出多阶段强化学习框架与好奇心模块，可在目标位置未知的迷宫式矿井环境中完成搜索导航，且训练速度优于现有基线。
2023-08-01 cs.AI cs.RO
Wanting to be Understood
Google DeepMind（谷歌DeepMind）
本文通过感知交叉范式仿真研究强化学习智能体的内在动机，发现仅靠人工好奇心不足以促成社会互动，而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training
Department of Computer Science, University of Toronto, Toronto, Canada（多伦多大学计算机科学系）
提出Curiosity-Critic方法，通过可处理的每步替代项（当前预测误差与渐近误差基线的差值）作为内在奖励，利用共训练的评论家在线估计误差基线，有效分离可约与不可约预测误差，在随机网格世界实验中优于现有方法。
2026-06-17 cs.AI cs.LG stat.ML
Sample-efficient Reinforcement Learning Representation Learning with Curiosity Contrastive Forward Dynamics Model
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
在强化学习（RL）中开发能够直接从诸如原始像素的高维观察执行复杂控制任务的代理仍然是一个挑战，因为努力提高样本效率和泛化。本文提出了一种电流对比前向动力学模型（CCFDM）的学习框架，以实现直接基于原始像素的样本效率更高的RL。CCFDM结合了前向动力学模型（FDM），并执行对比学习以训练其基于深度卷积神经网络的图像编码器（IE），以提取有益的空间和时间信息，从而为RL实现更高的样本效率。此外，在训练过程中，CCFDM提供基于FDM预测误差产生的内在奖励，鼓励RL代理的好奇心，以提高探索能力。我们的探索策略和对比学习中可用的数据增强提供的发散和较少重复的观察不仅提高了样本效率，而且提高了泛化能力。现有的无模型强化学习方法（如基于CCFDM的Soft Actor-Critic）的性能在DeepMind Control Suite基准测试中优于现有的基于像素的强化学习方法。
2021-10-14 cs.AI cs.LG cs.RO
Baby Sophia: A Developmental Approach to Self-Exploration through Self-Touch and Hand Regard
Robotics Institute, Athena Research Center（机器人研究所，阿提卡研究中心）；HERON – Hellenic Robotics Center of Excellence（HERON – 希腊机器人 excellence 中心）；Institute for Language and Speech Processing, Athena Research Center（语言和语音处理研究所，阿提卡研究中心）
受婴儿发育启发，提出强化学习框架Baby Sophia，在BabyBench环境中通过内在奖励和课程学习实现自触摸与手部注视的自主探索，证明纯好奇心信号可驱动多模态协调学习。
2025-11-12 cs.AI cs.LG cs.RO
HAMMER: Hamiltonian Curiosity Augmented Large Language Model Reinforcement
Fudan University（复旦大学）；Tiansuan Lab, Ant Group Co., Ltd.（蚂蚁集团天算实验室）；East China Normal University（华东师范大学）
针对大语言模型课程强化学习易陷入局部优化、探索不足的问题，提出HAMMER框架，借最小语义哈密顿路径排序样本以增强探索，理论上保障稳定收敛，实验中在推理基准上实现3%-4%的准确率提升。
2025-09-25 cs.AI cs.CL cs.LG
Curiosity-Driven Multi-Agent Exploration with Mixed Objectives
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在单智能体强化学习中，内在奖励被越来越多地用于缓解稀疏奖励问题。这些内在奖励鼓励智能体寻找新的体验，引导智能体充分探索环境，尽管缺乏外在奖励。好奇心驱动的探索是一种简单而有效的方法，它将这种新奇性量化为智能体好奇心模块的预测误差，好奇心模块是一种内部神经网络，经过训练可以根据智能体的当前状态和动作预测智能体的下一个状态。然而，我们在这里表明，天真地使用这种好奇心驱动的方法来指导稀疏奖励合作多智能体环境中的探索并不总是会导致改进的结果。好奇心驱动的探索的简单多智能体扩展只考虑个人或集体的新颖性，因此，它们不提供一个独特的，但协作的内在奖励信号，这是必不可少的学习合作多智能体任务。在这项工作中，我们提出了一个好奇心驱动的多智能体探索方法，具有混合目标的激励代理人探索环境的方式，是单独和集体新颖的。首先，我们开发了一个双头好奇心模块，该模块被训练来预测相应的代理在第一个头中的下一个观察和在第二个头中的下一个联合观察。其次，我们将内在奖励公式设计为好奇心模块的个体和联合预测误差之和。我们的经验表明，我们的好奇心模块架构和内在的奖励制定相结合的指导多智能体探索更有效地比基线方法，从而提供了最佳的性能提升MARL算法在合作导航环境与稀疏的奖励。
2022-10-29 cs.AI cs.LG cs.MA
Self-Aware Active Learning Enables Continual Improvement in Autonomous Driving
The Hong Kong Polytechnic University（香港理工大学）；Adelaide University（阿德莱德大学）；University College London（伦敦大学学院）
该研究提出自我感知主动学习框架SAGE，通过生成恐惧与好奇心信号调节风险，在多场景中提升自动驾驶系统鲁棒性、减少安全违规并维持任务性能，实现训练后持续改进。
2026-09-01 cs.RO
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对决策预训练Transformer（DPTs）难以泛化到预训练数据分布外的问题，提出情境好奇心正则化项与PPT框架，用奖励预测误差作为内在信号鼓励探索，在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Intrinsically motivated graph exploration using network theories of human curiosity
University of Pennsylvania（宾夕法尼亚大学）
本文受信息差距与压缩进展两种好奇心理论启发，提出以子图拓扑特征为内驱奖励的图神经网络强化学习方法，实现高效图探索，并在推荐系统中验证其优于PageRank。
2023-12-01 cs.AI cs.LG cs.SI
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Long-Term Exploration in Persistent MDPs
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute FRC CSC RAS（俄罗斯科学院联邦研究中心计算机科学研究所人工智能研究院）
探索是强化学习的重要组成部分，它制约着学习策略的质量。硬探索环境由巨大的状态空间和稀疏的奖励定义。在这种情况下，对环境的详尽探索通常是不可能的，并且代理的成功训练需要大量的交互步骤。在本文中，我们提出了一种探索方法称为回滚探索（RbExplore），它利用了持久马尔可夫决策过程的概念，在训练过程中，代理可以回滚到访问状态。我们在硬探索波斯王子游戏中测试我们的算法，没有奖励和领域知识。在游戏的所有使用级别中，我们的代理都优于或显示出与基于知识的内在动机的最先进的好奇心方法相当的结果：ICM和RND。RbExplore的实现可以在https://github.com/cds-mipt/RbExplore上找到。
2021-09-21 cs.AI cs.LG
Making Curiosity Explicit in Vision-based RL
Technical University of Munich (TUM)（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
基于视觉的强化学习（RL）是解决以图像为主要观察对象的控制任务的一种很有前途的技术。最先进的RL算法在样本效率方面仍然存在问题，特别是在使用图像观察时。这使得人们越来越关注将状态表示学习（SRL）技术集成到RL流水线中。该领域的工作证明了样本效率的显著提高以及其他益处。然而，为了充分利用这种模式，用于训练的样本的质量起着至关重要的作用。更重要的是，这些样本的多样性会影响基于视觉的强化学习的样本效率，也会影响其泛化能力。在这项工作中，我们提出了一种方法来提高样本的多样性。我们的方法通过利用SRL设置来增强RL算法的探索能力。我们的实验表明，所提出的方法优于所有测试环境的基线。这些结果在基线方法难以使用的环境中最为明显。即使在简单的环境中，我们的方法也能稳定训练，降低奖励方差，提高样本效率。
2021-09-28 cs.AI cs.CV cs.LG
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响，提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能，并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology（国防科技大学）
本文针对稀疏外部奖励下的强化学习挑战，提出了一种受人类学习启发的内在奖励机制，通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索，在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
Reinforcement learning with world model
CreateAmind（CreateAmind（可译为“创想思维”，但因机构名通常保留英文或按含义直译，此处直接保留英文））
目前，无模型强化学习算法在许多决策和控制任务上取得了显著的性能，但高样本复杂度和低样本效率仍然阻碍了无模型强化学习算法的广泛应用。在本文中，我们认为，如果我们打算设计一个智能代理，学习速度快，传输良好，代理必须能够反映智能的关键要素，如直觉，记忆，预测和电流。我们提出了一个智能体框架，该框架将离线强化学习与世界模型学习相结合，从而在我们的算法设计中体现智能的重要特征。我们采用最先进的无模型强化学习算法Soft Actor-Critic作为智能体的直觉，并通过RNN进行世界模型学习，以赋予智能体记忆力，好奇心和预测能力。我们表明，这些想法可以相互协作，我们的代理（RMC）可以提供新的最先进的结果，同时保持样本效率和训练稳定性。此外，我们的代理框架可以很容易地从MDP扩展到POMDP问题，而不会造成性能损失。
2020-10-26 cs.AI
Enter the Void - Planning to Seek Entropy When Reward is Scarce
Department of Computer Science University of Exeter（计算机科学系埃克塞特大学）
本文提出了一种基于世界模型的分层规划方法，在奖励稀缺时主动寻找信息丰富的状态，提升样本效率，应用于Dreamer时在迷宫任务中效率提升50%。
2025-12-18 cs.AI
Controlling Synthetic Characters in Simulations: A Case for Cognitive Architectures and Sigma
Institute for Creative Technologies, USC（南加州大学创意技术研究所）；Cal State University Northridge（加州州立大学北岭分校）；Univ. of Southern California（南加州大学）；Hughes Research Laboratories (HRL)（休斯研究实验室）
模拟，以及其他类似的应用程序，如虚拟世界和视频游戏，需要计算模型的智能，产生现实和可信的行为，为参与的合成字符。认知体系结构是自然和人工系统中智能行为的固定结构模型，它提供了一个概念上有效的共同基础，正如目前对心灵标准模型的努力所证明的那样，为这些合成角色生成类似人类的智能行为。Sigma是一个认知架构和系统，它致力于将四十年来在符号认知架构、概率图形模型和最近的神经模型方面的独立工作中所学到的知识结合在其图形架构假设下。Sigma利用因子图的扩展形式，不仅将传统的认知能力，而且还将关键的非认知方面统一起来，为构建具有心理理论的新型认知模型创造了独特的机会，这些模型是感知的，自主的，互动的，情感的和自适应的。在本文中，我们将介绍Sigma及其各种功能，然后使用三种不同的概念验证Sigma模型来强调这些功能的组合：（1）分布式强化学习模型;（2）一对自适应和交互式代理模型，演示基于规则的，概率的和社会推理;以及（3）无知识探索模型，其中代理仅利用架构评估变量，即注意力和好奇心，在Unity环境中建立地图时定位项目。
2021-01-06 cs.AI cs.LG
Enhancing End-to-End Multi-Task Dialogue Systems: A Study on Intrinsic Motivation Reinforcement Learning Algorithms for Improved Training and Adaptability
BITS Pilani WILP（比尔拉技术与科学学院皮拉尼工作整合学习项目）；Fisher Investments（费雪投资）
本研究针对端到端多任务对话系统奖励贫乏的问题，引入随机网络蒸馏和好奇心驱动的内在动机强化学习算法，在MultiWOZ数据集上使平均成功率达73%，显著优于PPO基线并提升了跨领域适应性。
2024-03-25 cs.AI cs.CL
WorldLLM: Improving LLMs' world modeling using curiosity-driven theory-making
Inria（法国国家信息与自动化技术研究院）；Univ. of Bordeaux（波尔多大学）；MIT（麻省理工学院）；Hugging Face
WorldLLM通过结合贝叶斯推断和好奇心驱动的强化学习，改进LLM在结构化环境中的世界建模能力，提升预测精度并生成可解释的环境理论。
2026-01-29 cs.AI cs.LG
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
针对无监督强化学习中单一熵目标无法适配所有环境的问题，提出将目标选择建模为多臂老虎机的惊奇自适应智能体，通过新型内在反馈信号控制环境熵，在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
GGBond: Growing Graph-Based AI-Agent Society for Socially-Aware Recommender Simulation
Faculty of Science and Technology, Beijing Normal-Hong Kong Baptist University（科技学院，北京师范大学-香港 Baptist大学）；Research Centers for Mathematics, Advanced Institute of Natural Sciences, Beijing Normal University（数学研究中心，北京师范大学自然科学院）
针对静态离线数据无法捕捉用户偏好演变与社交动态的局限，提出GGBond高保真社交模拟平台，通过构建具备五层认知架构的Sim-User Agents和多层异构社交图，结合ICR2动机引擎模拟推荐干预下的用户行为演变，为评估长期推荐效果提供可控环境。
2025-05-27 cs.AI cs.CY cs.MA
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Aalto University（阿尔托大学）
现有技术的强化学习（RL）算法通常使用随机采样（例如，$ε$ -贪婪）的探索，但这种方法失败的硬探索任务，如蒙特祖玛的复仇。为了应对探索的挑战，先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励（也称为探索奖金或好奇心）通常会导致在困难的探索任务中表现出色。然而，在简单的探索任务中，智能体会被内在奖励分散注意力，即使有足够的任务（也称为外在）奖励，也会进行不必要的探索。因此，这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程，称为外在-内在策略优化（EIPO），自动调整内在奖励的重要性：它抑制内在奖励时，探索是不必要的，并增加它时，探索是必需的。其结果是优越的探索，不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Learning to Play with Intrinsically-Motivated Self-Aware Agents
Wu Tsai Neurosciences Institute（吴蔡神经科学研究所）
婴儿是玩耍的专家，在缺乏明确外在奖励信号的非结构化环境中，他们有着惊人的能力产生新颖的结构化行为。我们试图用一个神经网络实现好奇心驱动的内在动机来数学形式化这些能力。使用一个简单的，但生态自然的模拟环境中，代理可以移动，并与它看到的对象进行交互，我们提出了一个“世界模型”网络，学习预测代理的行动的动态后果。同时，我们训练一个单独的显式的“自我模型”，允许代理跟踪自己的世界模型的错误地图，然后使用自我模型来对抗挑战发展中的世界模型。我们证明，这种政策导致代理人探索新的和信息的相互作用与环境，导致产生一系列复杂的行为，包括自我运动预测，对象的注意力，和对象收集。此外，智能体学习的世界模型支持在对象动态预测、检测、定位和识别任务上的改进性能。总之，我们的研究结果是朝着创建灵活的自主智能体，在复杂的新的物理环境中自我监督的初步步骤。
2018-10-30 cs.AI cs.CV cs.LG
Curious Replay for Model-based Adaptation
Stanford University（斯坦福大学）
针对基于模型的强化学习智能体在环境变化时适应能力不足的问题，提出 Curious Replay 方法，利用好奇心优先级信号改进世界模型训练，在 Crafter 基准上取得 19.4 的平均分超越现有最佳性能。
2023-06-28 cs.AI cs.LG stat.ML
Autonomous state-space segmentation for Deep-RL sparse reward scenarios
Institute of Cognitive Sciences and Technologies (ISTC) National Council of Research (CNR)（国家研究委员会认知科学与技术研究所（ISTC））
针对稀疏奖励下的Deep Reinforcement Learning问题，提出一种双层架构交替进行内在驱动探索与目标导向策略学习，通过构建专门子网络避免重复探索，在Gym SuperMarioBros中验证了自主环境分割生成高效路径的有效性。
2025-04-04 cs.AI cs.CV cs.LG
Influence functions and regularity tangents for efficient active learning
本文提出一种基于正则切向量与损失梯度内积的高效主动学习方法，可度量数据点对模型复杂度的影响，并以低额外存储和计算成本指导回归模型选择待标注样本。
2025-03-18 cs.AI cs.LG math.ST
ELIGN: Expectation Alignment as a Multi-Agent Intrinsic Reward
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
现代多智能体强化学习框架依赖于集中式训练和奖励塑造来表现良好。然而，集中训练和密集奖励在现实世界中并不容易获得。当前的多智能体算法很难在分散训练或稀疏奖励的替代设置中学习。为了解决这些问题，我们提出了一个自我监督的内在奖励ELIGN-期望对齐-灵感来自自组织原则在动物学。类似于动物如何以分散的方式与附近的动物合作，接受期望对齐训练的智能体学习符合邻居期望的行为。这使得智能体能够在没有任何外部奖励或集中训练的情况下学习协作行为。我们证明了我们的方法在多智能体粒子和复杂的Google Research足球环境中的6个任务中的有效性，将ELIGN与稀疏和基于好奇心的内在奖励进行比较。当代理数量增加时，ELIGN在所有多代理任务中都能很好地扩展，除了代理具有不同功能的任务。我们表明，代理协调提高通过期望对齐，因为代理学会分工之间的任务，打破协调对称性，并混淆对手。这些结果确定的任务，期望对齐是一个更有用的策略比好奇心驱动的探索多代理协调，使代理做zero-shot协调。
2022-11-09 cs.AI cs.LG cs.MA
ScreenExplorer: Training a Vision-Language Model for Diverse Exploration in Open GUI World
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
针对现有GUI智能体泛化能力差、依赖人工数据的问题，本文提出ScreenExplorer，利用GRPO在真实开放GUI环境中训练VLM，并引入基于世界模型的好奇心奖励与经验蒸馏，显著提升探索能力和环境适应性。
2025-05-25 cs.AI
WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation
University of Massachusetts Lowell（马萨诸塞大学洛威尔分校）；Amazon Alexa AI（亚马逊Alexa人工智能）
WebATLAS通过经验驱动的记忆和前瞻动作模拟，实现无需微调的自主网页导航，成功率达63%。
2025-12-19 cs.AI cs.CL cs.IR
Continual learning autoencoder training for a particle-in-cell simulation via streaming
Institute for Radiation（辐射研究所）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Center for Advanced Systems Understanding Görlitz（格尔利茨高级系统理解中心）
即将到来的艾级时代将提供新一代的物理模拟。这些模拟将具有高时空分辨率，这将影响机器学习模型的训练，因为在磁盘上存储大量模拟数据几乎是不可能的。因此，我们需要重新考虑机器学习模型的训练，以适应即将到来的艾级时代。这项工作提出了一种方法，训练神经网络同时运行的模拟，而无需将数据存储在磁盘上。训练流水线通过存储器内流传输来访问训练数据。此外，我们应用领域的持续学习的方法，以提高模型的泛化能力。我们测试了我们的管道上的训练3d自动编码器训练同时激光尾场加速粒子在细胞模拟。此外，我们实验了各种持续学习方法及其对泛化的影响。
2022-11-09 cs.AI cs.LG hep-th
