Receding Horizon Curiosity
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
样本有效的探索不仅对于发现有益的体验至关重要，而且对于以任务不可知的方式适应环境变化也至关重要。在序贯贝叶斯试验设计的框架内，提供了一个原则性的处理问题的最佳输入合成系统辨识。在本文中，我们提出了一个有效的基于概率优化的近似解决方案，否则棘手的问题，模型在一个未知的马尔可夫决策过程（MDP）的最佳探索。通过将情景探索与贝叶斯非线性系统辨识相结合，我们的算法利用归纳偏差以定向方式进行探索，而无需假设MDP的先验知识。经验评估表明，所提出的算法的收敛速度和最终的模型保真度相比，采用探索奖金，如预测误差和信息增益的内在动机为基础的算法具有明显的优势。此外，我们的方法保持了最近的基于模型的主动探索（MAX）算法的计算优势，通过专注于沿轨迹的信息增益，而不是寻求一个全球性的探索政策。我们的算法和所进行的实验的参考实现是公开的。
2019-10-08 cs.LG cs.RO stat.ML
Curiosity in Hindsight: Intrinsic Exploration in Stochastic Environments
DeepMind（深度思维）
针对随机环境中基于预测误差的好奇心驱动探索易受高熵噪声干扰的问题，提出区分噪声与新奇性的事后好奇框架，实例化得到BYOL-Hindsight，在带粘性动作的难探索游戏中取得SOTA结果。
2023-07-14 cs.LG stat.ML
Episodic Curiosity through Reachability
Google Brain（谷歌大脑）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
在现实世界中，奖励是稀疏的，今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是，受动物好奇行为的启发，观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法，利用情景记忆形成新奇奖金。为了确定奖金，将当前观察与内存中的观察进行比较。至关重要的是，这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题，以前的工作-当代理人找到一种方法，立即满足自己利用行动，导致难以预测的后果。我们在ViZDoom，DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中，我们的代理优于最先进的好奇心方法ICM。在MuJoCo中，一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG
Capsule Network Performance with Autonomous Navigation
Purdue University（普渡大学）
胶囊网络（CapsNets）已经被提出作为卷积神经网络（CNN）的替代方案。本文展示了CapsNets如何比CNN更有能力进行自主智能体对现实场景的探索。在现实世界的导航，奖励外部代理可能是罕见的。反过来，强化学习算法可能难以形成有意义的策略函数。本文的方法Capsules Exploration Module（Caps-EM）将CapsNets架构与Advantage Actor Critic算法配对。用于导航稀疏环境的其他方法需要内在奖励生成器，诸如内在Currency模块（ICM）和增强Currency模块（ACM）。Caps-EM使用更紧凑的架构，无需内在奖励。使用ViZDoom进行测试，Caps-EM使用的可训练网络参数分别比ICM和深度增强Currency模块（D-ACM）少44%和83%，平均时间分别比ICM和D-ACM提高1141%和437%，以在“My Way Home”场景中收敛到策略功能。
2020-02-08 cs.LG stat.ML
Endogenous Exploration in Reinforcement Learning with Intrinsic Curiosity
University of Tartu（塔尔图大学）
提出一种由内在好奇心驱动的强化学习框架，在液态状态机上实现，通过中等不一致性促进探索，在LunarLanderv2和BipedalWalkerv3基准上取得与PPO和ICM相当的竞争力。
2026-09-09 cs.LG
Large-Scale Study of Curiosity-Driven Learning
OpenAI；UC Berkeley（加州大学伯克利分校）；Univ. of Edinburgh（爱丁堡大学）
强化学习算法依赖于精心设计的环境奖励，这些奖励是代理外部的。然而，用手工设计的、密集的奖励来注释每个环境是不可扩展的，这激发了开发代理固有的奖励函数的需求。Currency是一种以预测误差作为奖励信号的内在奖励函数。在本文中：（a）我们在54个标准基准环境（包括Atari游戏套件）中进行了第一次纯好奇心驱动学习的大规模研究，即没有任何外在奖励。我们的研究结果显示出令人惊讶的良好性能，以及许多游戏环境的内在好奇心目标和手工设计的外在奖励之间的高度一致性。(b)我们研究了使用不同特征空间计算预测误差的效果，并表明随机特征对于许多流行的RL游戏基准测试已经足够，但学习的特征似乎更好地推广（例如，在超级马里奥兄弟中的新游戏关卡）。(c)我们证明了基于预测的奖励在随机设置的局限性。游戏视频和代码在https://pathak22.github.io/large-scale-curiosity/
2018-08-13 cs.AI cs.CV cs.LG
Curiosity Driven Exploration of Learned Disentangled Goal Spaces
Inria（法国国家信息与自动化研究所）；Ensta-ParisTech（巴黎高等先进技术学院）
内在动机的目标探索过程，使代理自主采样目标，以有效地探索复杂的环境与高维连续的行动。他们已成功地应用于现实世界的机器人，发现剧目的政策产生了广泛的多样性的影响。这些算法通常依赖于工程目标空间，但最近表明，可以使用深度表示学习算法在简单环境中学习足够的目标空间。然而，在包含多个对象或干扰物的更复杂的环境的情况下，有效的探索要求目标空间的结构反映环境的结构。在本文中，我们表明，使用解纠缠的目标空间导致更好的探索性能比纠缠的目标空间。我们进一步表明，当表示被解开时，人们可以通过以模块化方式最大化学习进度的采样目标来利用它。最后，我们表明，学习进度的措施，用于驱动好奇心驱动的探索，可以同时用于发现抽象的独立可控的环境功能。
2018-11-04 cs.AI cs.LG cs.NE
Curiosity-Driven Multi-Agent Exploration with Mixed Objectives
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在单智能体强化学习中，内在奖励被越来越多地用于缓解稀疏奖励问题。这些内在奖励鼓励智能体寻找新的体验，引导智能体充分探索环境，尽管缺乏外在奖励。好奇心驱动的探索是一种简单而有效的方法，它将这种新奇性量化为智能体好奇心模块的预测误差，好奇心模块是一种内部神经网络，经过训练可以根据智能体的当前状态和动作预测智能体的下一个状态。然而，我们在这里表明，天真地使用这种好奇心驱动的方法来指导稀疏奖励合作多智能体环境中的探索并不总是会导致改进的结果。好奇心驱动的探索的简单多智能体扩展只考虑个人或集体的新颖性，因此，它们不提供一个独特的，但协作的内在奖励信号，这是必不可少的学习合作多智能体任务。在这项工作中，我们提出了一个好奇心驱动的多智能体探索方法，具有混合目标的激励代理人探索环境的方式，是单独和集体新颖的。首先，我们开发了一个双头好奇心模块，该模块被训练来预测相应的代理在第一个头中的下一个观察和在第二个头中的下一个联合观察。其次，我们将内在奖励公式设计为好奇心模块的个体和联合预测误差之和。我们的经验表明，我们的好奇心模块架构和内在的奖励制定相结合的指导多智能体探索更有效地比基线方法，从而提供了最佳的性能提升MARL算法在合作导航环境与稀疏的奖励。
2022-10-29 cs.AI cs.LG cs.MA
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen（哥廷根大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习，特别是深度学习，一直是该领域快速发展的主题。强化学习是一种特别有前途的方法，因为它允许分子设计而无需先验知识。然而，搜索空间是巨大的，并且当使用强化学习代理时，需要有效的探索。在这项研究中，我们提出了一个算法，以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示，一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向，这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子，到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
Siamese Meta-Learning and Algorithm Selection with 'Algorithm-Performance Personas' [Proposal]
Trinity College Dublin（都柏林大学学院）；The University of Siegen（锡根大学）
自动化的每实例算法选择通常优于单个学习器。通过元学习进行算法选择的关键通常是（Meta）特征，但有时不能提供足够的信息来有效地训练元学习者。我们提出了一个连体神经网络架构的自动算法选择，更侧重于“类似执行”的实例比元功能。我们的工作包括一个新的性能指标和方法选择训练样本。我们进一步介绍了“算法性能人物角色”的概念，它描述了单个算法执行相似的实例。我们相信，将“相似的执行算法”作为选择训练样本的基础事实的概念是新颖的，并提供了巨大的潜力。在这个提案中，我们详细概述了我们的想法，并提供了第一个证据，证明我们提出的指标更适合于训练样本选择，标准的性能指标，如绝对误差。
2020-06-23 cs.AI cs.LG stat.ML
Policy Gradient from Demonstration and Curiosity
Tencent（腾讯）；Pengcheng Laboratory（鹏城实验室）
通过强化学习，智能体可以从任务的高级抽象中学习复杂的行为。然而，探索和奖励塑造对于现有方法仍然具有挑战性，特别是在外部反馈稀疏的情况下。专家演示已被调查，以解决这些困难，但大量的高质量的演示通常需要。在这项工作中，提出了一个集成的策略梯度算法，以促进探索和促进内在奖励学习，只有有限的演示。我们实现了这一点，重新制定了原来的奖励函数与两个额外的条款，其中第一项测量当前政策和专家之间的詹森-香农分歧，第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估，其中每个任务只提供一个演示轨迹，在所有任务中均表现出优越的探索效率和高的平均回报。此外，研究发现，代理人可以模仿专家的行为，同时维持高回报。
2020-06-09 cs.AI cs.LG
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
Making Curiosity Explicit in Vision-based RL
Technical University of Munich (TUM)（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
基于视觉的强化学习（RL）是解决以图像为主要观察对象的控制任务的一种很有前途的技术。最先进的RL算法在样本效率方面仍然存在问题，特别是在使用图像观察时。这使得人们越来越关注将状态表示学习（SRL）技术集成到RL流水线中。该领域的工作证明了样本效率的显著提高以及其他益处。然而，为了充分利用这种模式，用于训练的样本的质量起着至关重要的作用。更重要的是，这些样本的多样性会影响基于视觉的强化学习的样本效率，也会影响其泛化能力。在这项工作中，我们提出了一种方法来提高样本的多样性。我们的方法通过利用SRL设置来增强RL算法的探索能力。我们的实验表明，所提出的方法优于所有测试环境的基线。这些结果在基线方法难以使用的环境中最为明显。即使在简单的环境中，我们的方法也能稳定训练，降低奖励方差，提高样本效率。
2021-09-28 cs.AI cs.CV cs.LG
Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration
Shanghai Jiao Tong University（上海交通大学）；School of Automation and Intelligent Sensing（自动化与智能感知学院）；Key Laboratory of System Control and Information Processing（系统控制与信息处理重点实验室）；Ministry of Education of China（中华人民共和国教育部）；National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家级重点实验室）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）
CERMIC通过多智能体上下文校准增强探索，解决稀疏奖励环境下多智能体强化学习的探索效率问题。
2026-02-22 cs.LG cs.RO
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg（阿尔伯特-路德维希-弗莱堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了深度强化学习（DRL）方法学习移动机器人导航策略的探索策略。特别是，我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法，其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标（例如，可见光定位、Wi-Fi信号定位）。我们验证了内在动机是至关重要的，以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明，我们提出的方法能够更有效地学习导航策略，并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Language Grounding through Social Interactions and Curiosity-Driven Multi-Goal Learning
Cloud Temple（云庙）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）
自主强化学习代理，如儿童，没有访问预定义的目标和奖励功能。他们必须发现潜在的目标，学习自己的奖励功能，并参与自己的学习轨迹。然而，儿童从接触语言中受益，帮助组织和调解他们的思想。我们提出了LE2（语言增强的探索），一个学习算法利用内在的动机和自然语言（NL）与描述性的社会伙伴（SP）的互动。使用来自SP的NL描述，它可以学习NL条件奖励函数来制定内在动机目标探索的目标，并学习目标条件策略。通过探索，从SP收集描述，并共同学习奖励函数和策略，代理将NL描述转化为真实的行为目标。从早期发现的简单目标到通过对简单目标进行实验发现的更复杂目标，我们的智能体自主构建自己的行为库。这种自然发生的课程是由代理人的内在动机产生的主动学习课程补充的。实验提出了一个模拟的机器人手臂，与几个对象，包括工具。
2019-11-08 cs.CL cs.LG stat.ML
Adaptation-Agnostic Meta-Training
The Hong Kong Polytechnic University（香港理工大学）
许多元学习算法可以被公式化为交错过程，在这个意义上，任务特定的预测器在内部任务自适应期间被学习，并且元参数在元更新期间被更新。常规的元训练策略需要通过任务内自适应过程进行区分，以优化元参数。这导致了一个约束，即内部任务算法应该解析求解。在此约束下，只有简单的算法与解析解可以作为内部任务的算法，限制了模型的表达能力。为了解除限制，我们提出了一个适应不可知的元训练策略。按照我们提出的策略，我们可以应用更强大的算法（例如，不同类型算法的集合）作为内部任务算法，以实现与流行基线相比更优的性能。源代码可在https://github.com/jiaxinchen666/AdaptationAgnosticMetaLearning上获得。
2021-08-24 cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Meta-Learning an Inference Algorithm for Probabilistic Programs
KAIST（韩国科学技术院）
我们提出了一个元算法学习后验推理算法的限制概率规划。我们的元算法采用了一组概率程序的训练集，这些程序用观察来描述模型，并试图学习一种有效的方法来推断类似程序的后验。我们的方法的一个关键特征是使用我们称之为白盒推理算法，直接从模型描述本身提取信息，作为程序。具体地说，我们的白盒推理算法配备了多个神经网络，一个用于每种类型的原子命令，并计算一个给定的概率程序通过分析使用这些网络的程序中的单个原子命令的近似后验。通过我们的元算法从训练集中学习网络的参数。我们的经验表明，学习推理算法概括以及新的参数和模型结构方面的程序，并报告的情况下，我们的方法实现更大的测试时间效率比替代方法，如HMC。总体结果显示了我们的方法的前景以及仍然存在的挑战。
2021-12-24 cs.LG
On First-Order Meta-Learning Algorithms
OpenAI（开放人工智能）
本文考虑元学习问题，其中存在任务分布，并且我们希望获得表现良好的代理（即，快速学习），当呈现从该分布中采样的先前看不见的任务时。我们分析了一个家庭的算法学习参数初始化，可以微调快速对一个新的任务，只使用一阶导数的元学习更新。这个家庭包括和推广一阶MAML，近似MAML通过忽略二阶导数。它还包括Reptile，这是我们在这里介绍的一种新算法，它的工作原理是重复采样任务，对其进行训练，并将初始化移动到该任务的训练权重。我们扩展了Finn等人的结果，表明一阶元学习算法在Few-Shot分类的一些成熟的基准测试中表现良好，我们提供了旨在理解这些算法工作的理论分析。
2018-10-22 cs.LG
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
Algorithm Selection on a Meta Level
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学（路德维希-马克西米利安-慕尼黑大学））
选择最适合算法问题类的特定实例（如布尔可满足性问题）的算法的问题称为实例特定算法选择。在过去的十年中，这个问题得到了相当大的关注，导致了许多不同的算法选择方法。虽然这些方法中的大多数都是基于机器学习，但令人惊讶的是，在元学习上做的工作很少，也就是说，利用现有算法选择方法的互补性，以便将它们组合成一个单一的高级算法选择器。在本文中，我们介绍了Meta算法选择的问题，它本质上是要求最好的方式来结合一组给定的算法选择器。我们提出了一个通用的Meta算法选择的方法框架，以及几个具体的学习方法作为这个框架的实例，基本上结合了元学习和集成学习的思想。在广泛的实验评估中，我们证明了算法选择器的集合可以显着优于单个算法选择器，并有可能形成新的最先进的算法选择。
2021-07-20 cs.AI cs.LG
Seeking Visual Discomfort: Curiosity-driven Representations for Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
基于视觉的强化学习（RL）是解决以图像为主要观察对象的控制任务的一种很有前途的方法。最先进的RL算法在样本效率方面仍然存在问题，特别是在使用图像观察时。这使得人们越来越关注将状态表示学习（SRL）技术集成到RL流水线中。该领域的工作证明了样本效率的显著提高以及其他益处。然而，为了充分利用这种模式，用于训练的样本的质量起着至关重要的作用。更重要的是，这些样本的多样性会影响基于视觉的强化学习的样本效率，也会影响其泛化能力。在这项工作中，我们提出了一种方法来提高样本多样性的状态表示学习。我们的方法提高了探索能力的RL算法，利用SRL设置。我们的实验表明，我们提出的方法提高了有问题的状态的访问，提高了学习的状态表示，并优于所有测试环境的基线。这些结果在基线方法难以实现的环境中最为明显。即使在简单的环境中，我们的方法也能稳定训练，降低奖励方差，提高样本效率。
2021-10-02 cs.AI cs.CV cs.LG
Algorithm Selection for Recommender Systems via Meta-Learning on Algorithm Characteristics
University of Siegen Siegen Germany；University of Siegen \& Recommender-Systems.com Siegen Germany；University of Siegen；University of Siegen \& Recommender-Systems.com
针对推荐系统算法选择难题，提出利用用户元特征和从源代码自动提取的算法特征的逐用户元学习方法，在六个数据集上平均NDCG@10提升8.83%，优于单一最佳算法基线，并缩小了与理论最优选择器的差距。
2025-08-06 cs.IR cs.LG
Intelligent Algorithm Selection for Recommender Systems: Meta-Learning via in-depth algorithm feature engineering
Abstract Intelligent Systems Group University of Siegen（摘要智能系统组 柏林西格恩大学）
本研究通过为推荐算法构建深度特征集，结合元学习进行算法选择，发现算法特征虽提升Top-1选择准确率，但整体性能仍受限于用户特征主导，NDCG@10未显著提升。
2025-09-24 cs.IR cs.LG
k-Means Maximum Entropy Exploration
Institute of Neuroinformatics（神经信息学研究所）；ETH Zürich（苏黎世联邦理工学院）
针对高维连续空间稀疏奖励强化学习的探索难题，提出基于k-means的人工好奇心算法，通过熵近似下界实现高效探索，在基准测试尤其难寻奖励的任务上表现具竞争力。
2023-11-07 cs.LG
Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
可以利用人类帮助的移动代理可以完成比完全依靠自己更复杂的任务。我们开发“帮助，安娜！“（HANNA），一个交互式照片逼真的模拟器，其中代理通过请求和解释自然语言和视觉帮助来完成目标查找任务。在HANNA环境中解决任务的代理可以利用模拟的人类助手，称为ANNA（自动自然导航助手），根据请求，提供自然语言和视觉指令来指导代理实现目标。为了解决HANNA问题，我们开发了一个记忆增强的神经代理，它对多个层次的决策进行分层建模，以及一个模仿学习算法，该算法教导代理避免重复过去的错误，同时预测自己未来取得进展的机会。从经验上讲，我们的方法能够比竞争对手的基线更有效地寻求帮助，因此，在以前见过和以前看不见的环境中都能获得更高的任务成功率。我们在https://github.com/khanhptnk/hanna公开发布代码和数据。视频演示可在https://youtu.be/18P94aaaLKg上获得。
2019-11-22 cs.AI cs.CL cs.CV
Curious Causality-Seeking Agents Learn Meta Causal World
University of Bristol（布里斯托大学）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Chinese Academy of Sciences（中国科学院人工智能学院）；University College London（伦敦大学学院）；King Abdullah University of Science and Technology（卡塔尔科技大学）；The Swiss AI Lab, IDSIA-USI/SUPSI（瑞士AI实验室，IDSIA-USI/SUPSI）
本文提出元因果图作为世界模型，并设计因果寻求智能体，通过好奇心驱动的干预策略识别元状态、发现因果关系并迭代优化，实验证明其能稳健捕捉因果动态变化并泛化到新情境。
2025-10-26 cs.AI cs.LG stat.AP
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab（之江实验室）；National Research Centre of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习（RL）被认为是一种很有前途的解决方案，可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而，在现实中，需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此，攻击代理在渗透网络时必须考虑多个目标。然而，这一挑战在现有文献中没有得到充分解决。为此，我们制定了多目标强化学习（MORL）框架中的自动渗透测试，并提出了一个切比雪夫分解评论家找到不同的对手的策略，平衡不同的目标在渗透测试。此外，可用动作的数量随着代理不断探测目标网络而增加，这使得训练过程在许多实际情况下变得棘手。因此，我们引入了一种基于覆盖的掩蔽机制，减少了对先前选择的动作的关注，以帮助代理适应未来的探索。一系列场景的实验评估表明，我们所提出的方法相比，适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
Towards Meta-Algorithm Selection
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
实例特定算法选择（AS）处理从一组固定的候选算法中自动选择最适合算法问题类的特定实例的算法，其中“适用性”通常指算法的运行时间。在过去的几年里，已经提出了大量的算法选择器。由于算法选择器也是解决特定问题的算法，因此算法选择的思想也可以应用于AS算法，从而产生元AS方法：给定一个实例，目标是选择一个算法选择器，然后用于选择解决问题实例的实际算法。我们详细阐述了应用AS在元层面上的后果，并确定可能存在的问题。经验上，我们表明，元算法选择确实可以证明在某些情况下是有益的。然而，一般来说，成功的AS方法在解决元级问题方面存在问题。
2020-11-17 cs.LG stat.ML
ELIGN: Expectation Alignment as a Multi-Agent Intrinsic Reward
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
现代多智能体强化学习框架依赖于集中式训练和奖励塑造来表现良好。然而，集中训练和密集奖励在现实世界中并不容易获得。当前的多智能体算法很难在分散训练或稀疏奖励的替代设置中学习。为了解决这些问题，我们提出了一个自我监督的内在奖励ELIGN-期望对齐-灵感来自自组织原则在动物学。类似于动物如何以分散的方式与附近的动物合作，接受期望对齐训练的智能体学习符合邻居期望的行为。这使得智能体能够在没有任何外部奖励或集中训练的情况下学习协作行为。我们证明了我们的方法在多智能体粒子和复杂的Google Research足球环境中的6个任务中的有效性，将ELIGN与稀疏和基于好奇心的内在奖励进行比较。当代理数量增加时，ELIGN在所有多代理任务中都能很好地扩展，除了代理具有不同功能的任务。我们表明，代理协调提高通过期望对齐，因为代理学会分工之间的任务，打破协调对称性，并混淆对手。这些结果确定的任务，期望对齐是一个更有用的策略比好奇心驱动的探索多代理协调，使代理做zero-shot协调。
2022-11-09 cs.AI cs.LG cs.MA
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
On the Practical Consistency of Meta-Reinforcement Learning Algorithms
University of Oxford（牛津大学）
一致性是元学习算法的理论属性，它确保在某些假设下，它可以适应测试时的任何任务。一个悬而未决的问题是，与不一致的算法相比，理论上的一致性是否以及如何转化为实践。在本文中，我们实证研究这个问题上的一组代表性的元RL算法。我们发现，理论上一致的算法确实通常可以适应分布外（OOD）的任务，而不一致的不能，虽然他们仍然可以在实践中失败的原因，如穷人的探索。我们进一步发现，理论上不一致的算法可以通过继续更新OOD任务的所有代理组件，并适应以及或更好地比原来一致的。我们的结论是，理论上的一致性确实是一个理想的属性，不一致的元RL算法可以很容易地保持一致，以享受相同的好处。
2021-12-01 cs.AI cs.LG stat.ML
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下，元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务：以同样的方式，监督学习最好地推广到与训练点相同分布的测试点，元学习方法最好地推广到与元训练任务相同分布的任务。实际上，Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程，我们就能设计出真正自动化的元学习算法。在这项工作中，我们在这个方向上迈出了一步，提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方，并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题，并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明，无监督Meta强化学习有效地获得加速强化学习过程，而不需要手动任务设计，这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Stable Opponent Shaping in Differentiable Games
University of Oxford（牛津大学）；DeepMind（深度思维）；University College London（伦敦大学学院）
越来越多的学习方法实际上是可区分的游戏，玩家并行优化多个相互依赖的目标-从GANs和内在好奇心到多智能体RL。对手塑造是改善这些游戏中学习动态的强大方法，可以解释玩家对其他更新的影响。具有对手学习意识的学习（LOLA）是一种最新的算法，它利用了这种反应，并导致了像迭代囚徒困境这样的环境中的合作。虽然实验成功，我们表明，LOLA代理可以表现出“傲慢”的行为，直接与收敛。事实上，很少有算法具有适用于所有（n人，非凸）游戏的理论保证。在本文中，我们提出了稳定的对手成形（SOS），一种新的方法，插值之间的LOLA和一个稳定的变体命名为LookAhead。我们证明了LookAhead局部收敛于均衡，并避免了严格的鞍在所有可微游戏。SOS继承了这些基本的保证，同时也塑造了对手的学习，并在实验上始终与LOLA相匹配或优于LOLA。
2021-01-17 cs.AI cs.LG cs.MA
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley（加州大学伯克利分校）
本研究提出MaxInfoRL框架，通过最大化任务信息增益等内在奖励引导定向探索，结合玻尔兹曼探索平衡价值与熵最大化，在多臂老虎机场景实现次线性遗憾，应用于连续空间离线无模型RL方法后，在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
Towards Meta-learned Algorithm Selection using Implicit Fidelity Information
Leibniz University Hannover（汉诺威莱布尼茨大学）
自动为给定数据集选择性能最佳的算法或根据其预期性能对多个算法进行排名，支持用户开发新的机器学习应用程序。针对这个问题的大多数方法依赖于预先计算的数据集元特征和地标性能来捕获数据集的突出拓扑以及算法关注的那些拓扑。标记通常利用不一定在候选算法池中的廉价算法来获得拓扑的廉价近似。虽然有些指示性，但手工制作的数据集元特征和地标可能是不够的描述符，这在很大程度上取决于地标和候选算法搜索的拓扑的对齐。我们提出了IMFAS，一种直接从候选算法中以非参数化非近视元学习曲线的形式通过LSTM在测试过程中的Few-Shot设置中利用多保真度地标信息的方法。使用这种机制，IMFAS联合学习数据集的拓扑结构和候选算法的归纳偏差，而不需要昂贵的训练它们收敛。我们的方法产生了信息丰富的地标，很容易丰富的任意元功能在一个低的计算成本，能够产生所需的排名使用更便宜的qualityities。我们还表明，IMFAS是能够击败连续减半，最多50%的保真度序列在测试时间。
2022-07-13 cs.LG
Long-Term Exploration in Persistent MDPs
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute FRC CSC RAS（俄罗斯科学院联邦研究中心计算机科学研究所人工智能研究院）
探索是强化学习的重要组成部分，它制约着学习策略的质量。硬探索环境由巨大的状态空间和稀疏的奖励定义。在这种情况下，对环境的详尽探索通常是不可能的，并且代理的成功训练需要大量的交互步骤。在本文中，我们提出了一种探索方法称为回滚探索（RbExplore），它利用了持久马尔可夫决策过程的概念，在训练过程中，代理可以回滚到访问状态。我们在硬探索波斯王子游戏中测试我们的算法，没有奖励和领域知识。在游戏的所有使用级别中，我们的代理都优于或显示出与基于知识的内在动机的最先进的好奇心方法相当的结果：ICM和RND。RbExplore的实现可以在https://github.com/cds-mipt/RbExplore上找到。
2021-09-21 cs.AI cs.LG
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Aalto University（阿尔托大学）
现有技术的强化学习（RL）算法通常使用随机采样（例如，$ε$ -贪婪）的探索，但这种方法失败的硬探索任务，如蒙特祖玛的复仇。为了应对探索的挑战，先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励（也称为探索奖金或好奇心）通常会导致在困难的探索任务中表现出色。然而，在简单的探索任务中，智能体会被内在奖励分散注意力，即使有足够的任务（也称为外在）奖励，也会进行不必要的探索。因此，这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程，称为外在-内在策略优化（EIPO），自动调整内在奖励的重要性：它抑制内在奖励时，探索是不必要的，并增加它时，探索是必需的。其结果是优越的探索，不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
How Should We Meta-Learn Reinforcement Learning Algorithms?
本文实证比较了多种元学习强化学习算法的方法，评估性能、可解释性、样本成本与训练时间，并提出设计指南以提升未来算法的效率。
2025-09-10 cs.AI cs.LG
Toward Automated Algorithm Design: A Survey and Practical Guide to Meta-Black-Box-Optimization
School of Computer Science and Engineering, South China University of Technology（计算机科学与工程学院，华南理工大学）；Nankai University（南开大学）；Hanyang University（翰阳大学）；Hong Kong Polytechnic University（香港理工大学）
本综述全面回顾了MetaBBO在自动化算法设计中的最新进展，系统分类了算法设计任务与学习方法，评估了代表性方法的性能，并提炼出增强泛化与学习效果的核心设计及未来方向。
2025-04-30 cs.LG cs.NE
On the Generalization Error of Meta Learning for the Gibbs Algorithm
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
本文利用对称化及条件对称化 KL 信息，精确刻画元 Gibbs 与超任务 Gibbs 算法的期望元泛化误差，并给出新的无分布上界。
2023-04-27 cs.IT cs.LG math.IT
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现代Meta强化学习（Meta-RL）方法主要是基于模型无关元学习开发的，其在任务之间执行策略梯度步骤以最大化策略性能。然而，Meta-RL中的梯度冲突问题仍然知之甚少，这可能会导致性能下降时，遇到不同的任务。为了解决这一问题，提出了一种新的个性化元强化学习（pMeta-RL）算法，该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略，同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置，这表明我们的pMeta-RL算法的收敛性。此外，我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本，使其适用于连续控制任务。实验结果表明，该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Using Meta-Knowledge Mined from Identifiers to Improve Intent Recognition in Neuro-Symbolic Algorithms
IBM Research - Brazil（IBM巴西研究院）
在本文中，我们将探讨使用嵌入在意图标识符的元知识，以提高会话系统中的意图识别。正如对数千个现实世界聊天机器人的分析以及对专业聊天机器人策展人的采访所证明的那样，开发人员和领域专家倾向于通过使用原型分类来识别聊天机器人意图来组织聊天机器人意图集，即，元知识连接不同意图之间共享的高级符号概念。通过使用神经符号算法，能够将这样的原型分类法，以扩大意图表示，我们表明，这种挖掘的元知识可以提高意图识别的准确性。在一个包含数百个专业聊天机器人的意图和示例话语的数据集中，当我们应用这些算法时，与没有元知识的相同算法的基线相比，我们看到近三分之一的聊天机器人的相等出错率（EER）提高了10%以上。事实证明，元知识在检测范围外的话语时更加相关，在大约一半的聊天机器人中，错误接受率（FAR）降低了20%以上。实验表明，这样的符号元知识结构可以有效地挖掘和使用的神经符号算法，显然是通过纳入学习过程中的更高层次的结构的问题正在解决。基于这些结果，我们还讨论了如何使用挖掘的元知识可以是神经符号算法的知识获取的挑战的答案。
2020-12-16 cs.CL cs.LG
A Hybrid Algorithm for Metaheuristic Optimization
Golisano College of Computing Information Sciences（戈利萨诺计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
我们提出了一种新的，灵活的算法，结合在一起的元优化非凸优化问题。我们的方法treatsconstituent优化作为一个团队的复杂代理人，在simulationprocess期间，在不同的时间间隔彼此之间的信息。由每个个体代理产生的信息可以通过更高级别的操作符以各种方式组合。在我们对keybenchmark函数的实验中，我们研究了我们的算法的性能如何随其几个关键的可修改属性而变化。最后，我们将我们提出的算法应用到分类问题中，涉及支持向量机分类器的优化。
2019-05-26 cs.AI cs.LG cs.MA
