Gradient Ascent for Active Exploration in Bandit Problems
Institut de Mathématiques de Toulouse, Université de Toulouse（图卢兹大学图卢兹数学研究所）；IRT Saint Exupéry（圣埃克絮佩里技术研究院）
对于一般的主动探索强盗问题，在固定置信度下，我们提出了一种基于梯度上升的新算法。这个问题包括几个很好的研究问题，如最佳手臂识别或持牌土匪。它包括一个新的采样规则的基础上在线懒惰镜像上升。我们证明了该算法是渐近最优的，最重要的是，计算效率。
2019-05-20 cs.LG stat.ML
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration?
Northwestern University（西北大学）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
本文提出空间理论，探讨基础模型通过主动探索构建空间信念的挑战，发现主动-被动差距、探索低效和信念惯性等问题。
2026-02-04 cs.AI cs.CL cs.LG
Open challenges in understanding development and evolution of speech forms: The roles of embodied self-organization, motivation and active exploration
本文讨论了理解言语形式的发展和演变的开放性科学挑战，作为对Moulin-Frier等人的评论（Moulin-Frier等人，2015年）。基于对语音形式起源的数学模型的分析，重点放在他们的假设上，我们研究了语音如何从非语音中形成的基本问题，在发展和进化的尺度上。特别是，我们强调体现自我组织的重要性，以及在言语形成的动机和积极的好奇心驱动的探索机制的作用。最后，我们讨论了一个进化发展的角度来看，讲话的起源。
2016-01-05 cs.AI cs.CL cs.CY
Enhancing Building Safety Design for Active Shooter Incidents: Exploration of Building Exit Parameters using Reinforcement Learning-Based Simulations
University of Southern California（南加州大学）
针对美国主动枪击事件增多的问题，本研究提出基于强化学习的仿真方法，模拟动态枪手行为，定量探究出口数量与配置对疏散和伤亡的影响，为建筑安全设计提供初步参考。
2024-07-15 cs.AI cs.LG
Deep Active Inference with Diffusion Policy and Multiple Timescale World Model for Real-World Exploration and Navigation
School of Integrated Design Engineering, Keio University（整合设计工程学院，庆应大学）
提出一种融合扩散策略与多时间尺度世界模型的深度主动推断框架，通过最小化期望自由能统一探索与导航，在真实世界实验中取得更高成功率和更少碰撞。
2026-09-09 cs.AI cs.LG cs.RO
SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency
Facebook AI Research（Facebook AI研究院）；Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UC Berkeley（加州大学伯克利分校）
在本文中，我们将探讨如何在互联网图像的数据和模型的基础上构建，并使用它们来适应机器人视觉，而无需任何额外的标签。我们提出了一个框架，称为自我监督的主动学习主动学习（SEAL）。它利用在互联网图像上训练的感知模型来学习主动探索策略。该探索策略收集的观察结果使用3D一致性进行标记，并用于改进感知模型。我们构建并利用3D语义地图，以完全自我监督的方式学习动作和感知。语义图是用来计算一个内在的动机奖励训练的探索政策，并使用时空3D一致性和标签传播标记的代理观察。我们证明了SEAL框架可以用于关闭动作感知循环：它通过在训练环境中移动来提高预先训练的感知模型的目标检测和实例分割性能，并且改进的感知模型可以用于改进对象目标导航。
2021-12-02 cs.AI cs.CV cs.LG
Model-Free Active Exploration in Reinforcement Learning
KTH Royal Institute of Technology（KTH皇家理工学院）；Division of Decision and Control Systems（决策与控制系统学部）
本文从信息论下界出发提出一种基于集成的无模型主动探索策略，无需估计系统模型即可适用于表格型和连续型马尔可夫决策过程，实验表明其能比现有方法更快识别高效策略。
2024-06-30 cs.LG
Improving Model-Based Control and Active Exploration with Reconstruction Uncertainty Optimization
Sapienza University of Rome（罗马第一大学）；Curious AI
动态系统的未来轨迹的基于模型的预测经常遭受不准确，迫使基于模型的控制算法经常重新规划，因此计算昂贵、次优且不可靠。在这项工作中，我们提出了一个模型不可知的方法来估计模型的不确定性？的预测的基础上重建误差，使用它的控制和勘探。正如我们的实验所示，这种不确定性估计可用于通过选择模型有信心的预测来改善各种环境下的控制性能。它还可以用于主动学习，通过规划具有高不确定性的轨迹来更有效地探索环境，从而实现更快的模型学习。
2018-12-10 cs.AI cs.LG cs.NE
Active Exploration for Robotic Manipulation
Technical University of Darmstadt（达姆施塔特工业大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管近年来机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法，使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制（MPC）计划的行动，最大限度地提高预期的回报，同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人，从头开始训练我们的方法，在一个具有挑战性的球推任务倾斜的桌子上，目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
TORE: Token Recycling in Vision Transformers for Efficient Active Visual Exploration
University of Warsaw（华沙大学）；Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Ardigen SA（Ardigen SA公司）；Center for Molecular Medicine Cologne (CMMC), University of Cologne（科隆大学科隆分子医学中心）；IDEAS NCBR
针对主动视觉探索（AVE）中Transformer多次处理观测值导致计算成本高的问题，提出TORE方法，通过拆分编码器为提取器和聚合器实现Token复用并简化解码器，在优于现有最优方法的同时降低高达90%的计算开销。
2024-11-25 cs.AI cs.CV cs.LG
Where to Look Next: Unsupervised Active Visual Exploration on 360° Input
KU Leuven（鲁汶大学）
我们解决了大360°输入的主动视觉探索问题。在我们的设置中，具有有限相机带宽的主动代理通过在有限的离散时间步长改变其观看方向来探索其360°环境。因此，它观察世界是一系列狭窄的视野“一瞥”，自己决定下一步看哪里。我们提出的方法大大超过了以前的作品的性能，而不需要深度强化学习或训练单独的网络作为助手。我们系统的一个关键组成部分是空间记忆地图，它使系统意识到瞥见的方向（360°图像中的位置）。此外，我们强调的优势，视网膜般的一瞥时，代理的传感器带宽和时间步长是有限的。最后，我们使用训练好的模型，仅使用在一瞥中观察到的信息对整个场景进行分类。
2019-11-28 cs.AI cs.CV cs.LG
Adversarial Active Exploration for Inverse Dynamics Model Learning
National Tsing Hua University（国立清华大学）
我们提出了一种对抗性的主动探索逆动力学模型学习，这是一种简单而有效的学习方案，可以在没有任何人为干预的情况下激励环境中的探索。我们的框架由一个深度强化学习（DRL）代理和一个逆动力学模型相互竞争。前者为后者收集训练样本，目标是最大化后者的误差。后者使用前者收集的样本进行训练，当前者未能预测前者采取的实际行动时，后者会为前者生成奖励。在这样的竞争环境中，DRL代理学习生成逆动力学模型无法正确预测的样本，而逆动力学模型学习适应具有挑战性的样本。我们进一步提出了一个奖励结构，确保DRL代理只收集中等难度的样本，但不会过于困难，防止逆模型有效地预测。我们评估了我们的方法对多个基线模型的机器人手臂和手操作任务的有效性。实验结果表明，我们的方法是与那些直接训练与专家演示，优于其他基线，即使没有任何人类先验。
2020-03-17 cs.AI cs.LG stat.ML
Landmark Guided Active Exploration with State-specific Balance Coefficient
Xi’an Jiaotong University（西安交通大学）
针对目标条件分层强化学习中高层策略动作空间过大导致探索效率低的问题，提出融合前景与新颖性度量、结合状态特定平衡系数的地标引导探索策略，显著提升多任务表现与样本效率。
2024-04-17 cs.LG
Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对主动学习回归中探索与利用权衡难以自适应优化的问题，提出贝叶斯层次方法 BHEEM，并借助近似贝叶斯计算动态采样权衡参数，实验表明其稳定优于纯探索或纯利用策略。
2023-09-30 cs.LG stat.ML
Semantic Curiosity for Active Visual Learning
Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们研究的任务体现互动学习的目标检测。给定一组环境（和一些标签预算），我们的目标是通过让代理选择要获取标签的数据来学习对象检测器。勘探政策应该如何决定应该标记哪些轨迹？一种可能性是使用经过训练的对象检测器的失败案例作为外部奖励。然而，这将需要标记训练RL策略所需的数百万帧，这是不可行的。相反，我们探索一种自我监督的方法，通过引入语义好奇心的概念来训练我们的探索策略。我们的语义好奇策略基于一个简单的观察--检测输出应该是一致的。因此，我们的语义好奇心奖励具有不一致标记行为的轨迹，并鼓励探索策略探索这些区域。通过语义好奇心训练的探索策略推广到新场景，并帮助训练对象检测器，该对象检测器优于用其他可能的替代方案训练的基线，例如随机探索，预测错误好奇心和覆盖最大化探索。
2020-06-16 cs.AI cs.CV cs.LG
Comparing Active Learning Performance Driven by Gaussian Processes or Bayesian Neural Networks for Constrained Trajectory Exploration
University of Hawaiʻi at Mānoa（夏威夷大学马诺阿分校）；Hawaiʻi Institute of Geophysics and Planetology（夏威夷地球物理与行星学研究所）
针对轨迹受限的行星漫游车探索，本文比较高斯过程与贝叶斯神经网络驱动的主动学习策略，通过仿真评估精度、训练时间、收敛性、距离和样本数，并给出选型建议。
2023-09-28 cs.LG cs.RO
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；National University of Singapore（新加坡国立大学）；Wuhan AI Research（武汉人工智能研究所）；Tsinghua University（清华大学）
Active-Zero通过主动环境探索实现视觉-语言模型的自我进化，提升推理和理解任务的性能。
2026-02-11 cs.CV cs.LG
Graph-Based Active Learning: A New Look at Expected Error Minimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wisconsin Institutes for Discovery（威斯康星发现研究所）
在基于图的主动学习中，基于期望误差最小化（EEM）的算法已经流行，并产生良好的经验性能。EEM的精确计算最佳地平衡了勘探和开采。然而，在实践中，由于精确EEM的计算难度，基于EEM的算法采用各种近似。这可能导致缺乏探索或利用，这可能会对主动学习的有效性产生负面影响。我们提出了一个新的算法TSA（两步近似），有效地平衡探索和开发之间，同时享受现有的近似相同的计算复杂度。最后，我们在经验上证明了在玩具和现实世界的数据集中探索和利用之间平衡的价值，我们的方法优于几种最先进的方法。
2016-09-03 cs.LG stat.ML
Active Learning of Inverse Models with Intrinsically Motivated Goal Exploration in Robots
INRIA（法国国家信息与自动化研究所）；Ensta-ParisTech（国立高等先进技术学院）
我们引入了自适应目标生成-鲁棒智能自适应Currency（SAGG-RIAC）架构作为内在动机的目标探索机制，允许在高维冗余机器人的逆模型的主动学习。这允许机器人有效且主动地学习解决参数化任务/目标的对应分布的参数化运动技能/策略的分布。该体系结构使机器人主动采样任务空间中的新参数化任务，基于能力进展的测量，其中每一个触发允许解决它的运动策略参数的低级目标导向学习。对于学习和泛化，系统利用回归技术，其允许推断对应于给定的新参数化任务的运动策略参数，并且基于先前学习的策略和任务参数之间的对应关系。我们目前的实验与高维连续sensorimotor空间在三个不同的机器人设置：1）学习的逆运动学在一个高度冗余的机器人手臂，2）学习全向运动与电机原语在四足机器人，3）一个手臂学习控制钓竿与灵活的电线。我们表明：1）在冗余机器人中，任务空间的探索比执行器空间的探索要快得多; 2）选择最大化能力进步的目标创建了发展轨迹，驱动机器人逐渐专注于复杂性增加的任务，并且在统计上比随机选择任务更有效，并且比不同的标准主动马达牙牙学语方法更有效; 3）该体系结构允许机器人主动地发现其任务空间的哪些部分它可以学习到达以及哪些部分它不能。
2013-01-21 cs.AI cs.CV cs.LG
Fast active learning for pure exploration in reinforcement learning
Inria（法国国家信息与自动化研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；Renault（雷诺集团）；DeepMind（深度思维公司）
现实环境通常为代理提供非常有限的反馈。当环境最初是未知的，反馈，在一开始，可以是完全没有的，和代理可能会首先选择把他们所有的努力有效地探索。探索仍然是一个挑战，虽然它已经解决了许多手工调整的算法，一方面具有不同程度的通用性，另一方面有一些理论支持的探索策略。他们中的许多人体现了内在的动机，特别是探索奖金。探索奖励的一个常见经验法则是使用$1/\sqrt{n}$奖励，它被添加到奖励的经验估计中，其中$n$是访问该特定状态（或状态-动作对）的次数。我们发现，令人惊讶的是，对于一个纯粹的探索目标的奖励免费的探索，奖金规模与$1/n$带来更快的学习率，提高已知的上限方面的依赖地平线$H$。此外，我们表明，与改进的停止时间的分析，我们可以提高一个因素$H$的最佳策略识别设置，这是另一个纯粹的探索目标，其中环境提供奖励，但代理是不是惩罚其行为在探索阶段的样本复杂性。
2020-10-10 cs.LG stat.ML
Geometric Active Exploration in Markov Decision Processes: the Benefit of Abstraction
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）；Technion（以色列理工学院）
本文提出几何主动探索（GAE）算法，将MDP同态扩展到凸RL，利用状态空间的几何结构（如排列不变性）提升主动探索的样本效率，并在科学发现环境中验证其有效性。
2024-07-18 cs.LG
CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph
School of Engineering and Applied Science, Columbia University（工程与应用科学学院，哥伦比亚大学）；Robotics and AI Institute（机器人与人工智能研究所）
CuriousBot通过可操作的3D关系物体图实现交互式移动探索，优于仅依赖视觉-语言模型的方法。
2026-03-09 cs.CV cs.LG cs.RO
Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration
针对资源受限下自主机器人高效探索需求，分析结合动作代价的高斯过程回归主动学习算法，实验发现带距离约束的传统不确定性指标在轨迹约束下降误差效果最优，为真实任务约束下的探索优化提供参考。
2024-10-31 cs.IR cs.LG cs.RO
Active Exploration via Experiment Design in Markov Chains
ETH Zürich（苏黎世联邦理工学院）
科学和工程中的一个关键挑战是设计实验来了解一些感兴趣的未知量。经典实验设计最优地分配实验预算以最大化效用的概念（例如，减少关于未知量的不确定性）。我们考虑一个丰富的设置，其中的实验与状态在{ \em马尔可夫链}，我们只能选择它们通过选择一个{ \em政策}控制状态转换。这个问题抓住了重要的应用，从强化学习的探索到空间监控任务。我们提出了一种算法- \textsc{markov-design} -有效地选择策略，其测量分配\emph{provably converges to the optimal one}。该算法本质上是顺序的，通过过去的测量来调整其策略（实验）的选择。除了我们的理论分析，我们还展示了我们在生态监测和药理学方面的应用框架。
2022-11-09 cs.LG stat.ME stat.ML
TANDEM3D: Active Tactile Exploration for 3D Object Recognition
Columbia University（哥伦比亚大学）
3D物体的触觉识别仍然是一项具有挑战性的任务。与2D形状相比，3D表面的复杂几何形状需要更丰富的触觉信号，更灵巧的动作和更先进的编码技术。在这项工作中，我们提出了TANDEM3D，这是一种将共同训练框架用于探索和决策的方法，用于具有触觉信号的3D对象识别。从我们以前的工作开始，它为2D识别问题引入了一个共同训练范例，我们介绍了一些进步，使我们能够扩展到3D。TANDEM3D基于一种新颖的编码器，该编码器使用PointNet++从接触位置和法线构建3D对象表示。此外，通过启用6DOF运动，TANDEM3D可以高效地探索和收集有区别的触摸信息。我们的方法完全在模拟中训练，并通过真实世界的实验进行验证。与最先进的基线相比，TANDEM3D在识别3D对象时实现了更高的准确性和更少的动作数量，并且对不同类型和数量的传感器噪声更具鲁棒性。视频可在https://jxu.ai/tandem3d上获得。
2023-02-28 cs.AI cs.CV cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Topology-Aware Active Learning on Graphs
Department of Mathematics, University of California Los Angeles（加州大学洛杉矶分校数学系）
本文提出一种图拓扑方法用于主动学习，通过构造基于平衡Forman曲率的coreset算法，引导探索并实现从探索到利用的动态切换，提升半监督学习性能。
2026-04-15 cs.LG
Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation
Instituto de Investigación en Ingeniería de Aragón (i3A)（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
本文针对机器人操作中数据采集昂贵的问题，提出在探索阶段通过贝叶斯神经网络主动学习动力学模型，以最大化信息采集并估计转移新颖性作为奖励，在保证模型质量的同时显著降低对机器人执行步骤的需求。
2026-10-15 cs.LG cs.RO
An Exploration of Active Learning for Affective Digital Phenotyping
Stanford University（斯坦福大学）
阻碍人类行为机器学习模型广泛发展的一些最严重的瓶颈包括缺乏标记的训练数据和难以获得高质量的标签。主动学习是一种使用算法来计算地选择数据点的有用子集以使用模型不确定性和数据相似性的度量来标记的范例。我们探索自然的计算机视觉情感数据，一个特别异构和复杂的数据空间，由于固有的主观标签的主动学习。使用从自闭症儿童的治疗性智能手机游戏中获得的游戏玩法收集的帧，我们使用游戏玩法提示作为元数据来帮助主动学习过程，运行主动学习的模拟。我们发现，使用在游戏过程中产生的信息的主动学习稍微优于随机选择相同数量的标记帧。接下来，我们研究一种利用主观数据进行主动学习的方法，例如在情感计算中，并且可以为每个图像获取多个众包标签。使用儿童情感面部表情（CAFE）数据集，我们模拟了众包许多标签的主动学习过程，并发现使用众包标签分布的熵对帧进行优先级排序导致与随机帧选择相比分类交叉熵损失较低。总的来说，这些结果表明试点评估的两种新的主动学习方法的主观情感数据收集在嘈杂的设置。
2022-04-06 cs.CV cs.LG
Active Exploration via Autoregressive Generation of Missing Data
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）
将在线决策中的不确定性量化和探索问题转化为自回归序列模型的训练与生成，通过预测缺失结果而非潜在参数来建模不确定性，理论证明在线学习可归约为离线下一结果预测，并在新闻推荐中验证有效性。
2026-07-15 cs.LG stat.ML
DEUX: Active Exploration for Learning Unsupervised Depth Perception
Yale University（耶鲁大学）
提出DEUX主动探索方法，利用深度不确定性引导运动规划收集数据，提升无监督深度补全性能，在MP3D上平均改善超18%，并增强零样本泛化。
2023-09-16 cs.CV cs.LG cs.RO
ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
针对强化学习智能体探索过程存在安全风险、难以落地真实场景的问题，提出基于模型的ActSafe算法，通过认知不确定性乐观规划与安全约束悲观执行兼顾安全与效率，在标准基准上取得最优性能。
2025-07-31 cs.LG cs.RO
The Why, When, and How to Use Active Learning in Large-Data-Driven 3D Object Detection for Safe Autonomous Driving: An Empirical Exploration
University of California San Diego（加利福尼亚大学圣迭戈分校）；Aalborg University（奥尔堡大学）
针对自动驾驶3D目标检测的数据不平衡、冗余等问题，本文实证探索主动学习策略，验证熵查询在nuScenes数据集上相较随机采样的优势，可高效分配标注资源、缩小类别性能差距，适用于资源受限场景。
2024-01-30 cs.CV cs.LG
Optimistic Active Exploration of Dynamical Systems
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出主动探索算法 OPAX，通过乐观最大化未知动态与观测之间的信息增益，实现动力系统的全局逼近，并在理论和实验中验证其零样本下游任务规划能力。
2023-10-30 cs.LG cs.RO cs.SY
Efficient Chemical Space Exploration Using Active Learning Based on Marginalized Graph Kernel: an Application for Predicting the Thermodynamic Properties of Alkanes with Molecular Simulation
Shanghai Jiao Tong University（上海交通大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Purdue University（普渡大学）
提出了一种基于高斯过程回归和边缘化图核的探索性主动学习算法（GPR-MGK），以最小代价探索化学空间。采用高通量分子动力学模拟生成数据和图神经网络（GNN）进行预测，构建了一个用于热力学性质预测的主动学习分子模拟框架。具体而言，针对由4至19个碳原子组成的251，728个烷烃分子及其液体物理性质：密度，热容和汽化率，我们使用AL算法选择最具信息性的分子来表示化学空间。计算和实验测试集的验证表明，只有313（总的0.124\%）分子是足够的训练一个准确的GNN模型与$\rm R^2 > 0.99$的计算测试集和$\rm R^2 > 0.94$的实验测试集。我们强调了所提出的AL算法的两个优点：与高通量数据生成和可靠的不确定性量化的兼容性。
2022-09-01 cs.LG physics.chem-ph
Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner
INRIA（法国国家信息与自动化研究所）；ENSTA ParisTech（巴黎高等科技学院）
我们提出了一个主动学习架构，允许机器人主动学习哪种数据汇集策略对于获得运动技能以实现多个结果是最有效的，并概括其经验以实现新的结果。机器人通过交互式学习和目标模糊来探索它的环境。它同时从几个可用的老师那里学习什么时候，谁和什么要积极模仿，并学习什么时候不使用社会指导，而是使用积极的目标导向的自我探索。这是在终身战略学习的框架内正式确定的。建议的架构，被称为社会引导的内在动机与教师和策略的积极选择（SGIM-ESTA），依赖于层次的积极决定什么和如何学习的经验评估的学习进展为每个学习策略的驱动。我们说明了一个实验，模拟机器人学习控制其手臂实现两种不同的结果。在每一个学习阶段，它都要主动地、分层次地进行选择：1）学习什么：选择哪一个结果最有趣，作为目标导向探索的目标; 2）如何学习：在自我探索、模仿和仿效中使用哪一种数据汇集策略; 3.一旦他决定了什么时候模仿什么，选择模仿或仿效，那么他就必须从一组不同的老师中选择模仿谁。我们表明，SGIM-ESTO学习效率显着高于使用单一的学习策略，并连贯地选择最佳策略，就所选择的结果，利用现有的教师（具有不同水平的技能）。
2018-04-18 cs.AI cs.LG stat.ML
EEG-based Texture Roughness Classification in Active Tactile Exploration with Invariant Representation Learning Networks
Northeastern University（东北大学）；Graz University of Technology（格拉茨工业大学）；University of Pittsburgh（匹兹堡大学）
在日常活动中，人类用手抓住周围的物体并感知感官信息，这些信息也用于感知和运动目标。在感觉运动加工过程中，多个大脑皮层区域负责感觉识别、感知和运动执行。虽然各种研究特别关注人类感觉运动控制领域，但运动执行和感觉处理之间的关系和处理尚未完全理解。我们工作的主要目标是在主动触觉探索过程中使用同时记录的脑电图（EEG）数据来区分其粗糙度水平不同的纹理表面，同时最大限度地减少不同的运动探索运动模式的方差。我们进行了一项实验研究，8名健康的参与者被指示使用他们的优势手食指的尖端，同时摩擦或敲击三个不同的粗糙度的纹理表面。我们使用对抗性不变表示学习神经网络架构，该架构对不同纹理表面执行基于EEG的分类，同时最小化运动条件的可辨别性（即，摩擦或轻拍）。结果表明，所提出的方法可以区分三种不同的纹理表面的准确度高达70%，同时抑制运动相关的变化从学习表示。
2021-03-05 cs.HC cs.LG eess.SP
$κ$-Explorer: Minimax Active Model Estimation in MDPs
University of California, San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）
$κ$-Explorer通过统一框架提升MDPs中主动模型估计的效率与精度
2026-10-20 cs.LG
Active Sensing with Predictive Coding and Uncertainty Minimization
Georgia Institute of Technology（佐治亚理工学院）；School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）；School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
受生物计算启发的具身探索方法，通过预测编码与不确定性最小化实现任务无关的主动感知，在导航和视觉任务中高效构建无监督表征，提升下游分类的数据效率与学习速度。
2024-02-13 cs.LG cs.NE
Active Neural Topological Mapping for Multi-Agent Exploration
Tsinghua University（清华大学）；Meituan（美团）
本文提出多智能体神经拓扑建图方法MANTM，结合拓扑建图与分层拓扑规划器，利用图神经网络提升多智能体探索效率与泛化能力，在Habitat中显著减少探索步数。
2023-11-01 cs.LG cs.MA cs.RO
Active Coverage for PAC Reinforcement Learning
UMPA, ENS Lyon（里昂高等师范学院UMPA）；Meta AI；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
本文形式化情节式MDP中的主动覆盖问题，提出博弈论算法CovGame，其样本复杂度匹配实例相关下界，并作为构建块解决PAC无奖励探索和最佳策略识别任务，在易探索MDP中优于极小极大复杂度。
2023-06-23 cs.LG
Localized active learning of Gaussian process state space models
Technical University of Munich（慕尼黑工业大学）
基于学习的控制技术的性能关键取决于如何有效地探索系统。虽然大多数探索技术旨在实现全局精确的模型，但这种方法通常不适合具有无界状态空间的系统。此外，在许多常见的控制应用中，例如，地方稳定任务。在本文中，我们提出了一种主动学习策略的高斯过程状态空间模型，旨在获得一个准确的模型上的状态-动作空间的有界子集。我们的方法的目的是最大限度地提高互信息的勘探轨迹相对于感兴趣的区域的离散化。通过采用模型预测控制，所提出的技术集成在勘探过程中收集的信息，并自适应地改善其勘探策略。为了使计算的易处理性，我们解耦的模型预测控制优化步骤的信息最丰富的数据点的选择。这产生了两个可以并行求解的优化问题。我们应用所提出的方法来探索各种动力系统的状态空间，并将我们的方法与常用的基于熵的探索策略进行比较。在所有的实验中，我们的方法比基于熵的方法在感兴趣的区域内产生更好的模型。
2020-06-09 cs.LG cs.SY eess.SY
Ready Policy One: World Building Through Active Learning
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Google Brain Robotics（谷歌大脑机器人实验室）
基于模型的强化学习（MBRL）为样本有效学习提供了一个有希望的方向，通常可以实现连续控制任务的最新结果。然而，许多现有的MBRL方法依赖于结合贪婪的政策与勘探策略，甚至那些利用原则性的勘探奖金，在特设的方式构建双重目标。在本文中，我们介绍了准备政策一（RP 1），一个框架，认为MBRL作为一个主动学习的问题，我们的目标是改善世界模型在尽可能少的样本。RP1通过利用混合目标函数来实现这一点，该混合目标函数在优化过程中至关重要地适应，允许算法权衡奖励与在不同的学习阶段进行探索。此外，我们引入了一个原则性的机制，一旦我们有足够丰富的轨迹批次来改进模型，就终止样本收集。我们严格评估我们的方法在各种连续控制任务，并证明统计上显着的收益超过现有的方法。
2020-02-07 cs.LG stat.ML
Active Markov Information-Theoretic Path Planning for Robotic Environmental Sensing
National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究在多机器人探索和地图集中在采样环境领域，这是典型的高斯过程（GP）建模。现有的信息理论的探索策略，学习基于GP的环境场地图采用非马尔可夫问题结构，因此规模差的历史观测的长度。因此，使用这些策略进行原位、实时主动采样在计算上变得不切实际。为了减轻这种计算负担，本文提出了一种基于马尔可夫的方法，有效的信息理论的路径规划主动采样的GP为基础的领域。我们分析了解决基于马尔可夫路径规划问题的时间复杂度，并分析表明，它的规模优于得出的非马尔可夫策略，随着规划范围的长度增加。对于一类称为样带采样任务的探索任务，我们提供了理论上的保证，我们的主动采样性能的马尔可夫为基础的政策，从理想的环境场条件和采样任务设置可以建立限制其性能下降，由于违反马尔可夫假设。对实际温度和浮游生物密度场数据的实证评估表明，我们的基于马尔可夫的政策通常可以实现主动采样性能相比，广泛使用的非马尔可夫贪婪政策在不太有利的现实条件和任务设置，同时享受显着的计算增益。
2011-01-28 cs.AI cs.LG cs.MA
An Adversarial Objective for Scalable Exploration
University of Pennsylvania（宾夕法尼亚大学）
基于模型的好奇心将主动学习方法与好奇心文献中提出的基于信息增益的探索激励相结合，以实现最佳采样。现有的基于模型的好奇心方法试图近似预测不确定性，这些方法难以扩展到机器人任务中使用的许多预测规划管道。我们用对抗性好奇心方法来解决这些可扩展性问题，最大限度地减少了网络的得分。该鉴别器与预测模型联合优化，使我们的主动学习方法能够对观察和动作序列进行采样，从而产生被鉴别器认为最不现实的预测。我们展示了越来越多的优势，因为计算限制了我们在模拟环境中领先的基于模型的探索策略的对抗性好奇心方法。我们进一步证明了我们的对抗好奇心方法扩展到机器人操作预测规划管道的能力，在该管道中，我们提高了域转移问题的样本效率和预测性能。
2020-11-11 cs.AI cs.CV cs.LG
Open Problem: Active Representation Learning
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心）；Multiscale Biology（多尺度生物学研究所）；Georg-August-Universität Göttingen（哥廷根大学）
本文提出主动表征学习概念，将主动SLAM思想拓展至科学发现（如自适应显微镜），探索从可操作表征中推导探索技能，以提升数据收集与模型构建效率。
2024-11-06 cs.LG cs.RO cs.SY
A Hierarchical Approach to Scaling Batch Active Search Over Structured Data
Stanford University（斯坦福大学）
主动搜索是在大型且通常是高维的参数空间中识别高值数据点的过程，这些参数空间的评估成本可能很高。传统的主动搜索技术（如贝叶斯优化）在连续评估中权衡了探索和利用，并且历史上专注于每轮评估的单个或少量（<5）示例。随着现代数据集的增长，需要将主动搜索扩展到大型数据集和批量大小。在本文中，我们提出了一个一般的层次框架的基础上，强盗算法的规模积极搜索大批量的大小，最大限度地提高信息来自每个数据集的独特结构。我们的分层框架，分层批量Bandit搜索（HBBS），通过促进对数据集内不同结构元素的广泛探索，在学习的嵌入空间中战略性地分布批量选择。我们将HBBS的应用集中在现代生物学上，大批量实验通常是研究过程的基础，并演示了生物序列（蛋白质和DNA）的批量设计。我们还提出了一个新的Gym环境，可以轻松地模拟不同的生物序列，并能够更全面地评估跨异构数据集的主动搜索方法。HBBS框架通过在结构化数据的每个分区内使用跨粗分区的广泛探索策略和细粒度利用，改进了用于批处理搜索的标准性能、挂钟和可扩展性基准。
2020-07-20 cs.LG q-bio.QM stat.ML
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning
Oden Institute of Computational Engineering and Sciences, University of Texas（德克萨斯大学奥登计算工程与科学研究所）；University of Minnesota（明尼苏达大学）
我们表明，不确定性采样足以实现基于图的主动学习中的探索与利用，只要不确定性的度量与底层模型正确对齐，并且模型正确反映了未探索区域的不确定性。特别是，我们使用最近开发的算法，泊松重新加权拉普拉斯学习（PWLL）的分类器，我们引入了一个采集功能，旨在测量不确定性，在这个基于图形的分类器，识别未探索的数据区域。我们在PWLL中引入对角扰动，它产生解的指数局部化，并控制主动学习中的探索与利用权衡。我们使用PWLL的适定性连续极限来严格分析我们的方法，并给出了一些基于图的图像分类问题的实验结果。
2022-10-27 cs.LG stat.ML
Active Learning Exploration of Transition Metal Complexes to Discover Method-Insensitive and Synthetically Accessible Chromophores
Massachusetts Institute of Technology（麻省理工学院）
具有地球上丰富的过渡金属的过渡金属发色团是它们在照明和无毒生物成像中的应用的重要设计目标，但是它们的设计受到同时具有在可见光区域中的最佳目标吸收能量以及明确的基态的络合物的稀缺的挑战。机器学习（ML）加速发现可以通过筛选更大的空间来克服这些挑战，但受到ML模型训练中使用的数据保真度的限制，这些数据通常来自单个近似密度泛函。为了解决这个问题，我们在23个密度泛函近似的雅各布阶梯的多个梯级之间的预测中寻找共识。为了加速发现具有可见光区吸收能量的复合物，同时最大限度地减少MR特征，我们使用2D有效的全局优化从数百万个复杂空间中采样候选低自旋发色团。尽管稀缺（即，约0.01%）的潜在发色团，我们鉴定出具有高可能性的候选物（即，> 10%）的计算验证，因为ML模型在主动学习过程中得到了改进，这意味着发现速度加快了1,000倍。利用含时密度泛函理论计算了有希望的发色团的吸收光谱，结果表明2/3的候选化合物具有理想的激发态性质。观察到，从我们的领导组成配体已经表现出有趣的光学性质在文献中证实了我们的建设一个现实的设计空间和主动学习方法的有效性。
2022-09-15 cond-mat.mtrl-sci cs.LG physics.chem-ph
Interpretable deep learning for guided structure-property explorations in photovoltaics
Iowa State University（爱荷华州立大学）
有机光伏器件的性能与其活性层形态复杂相关。有源层和器件性能之间的这种联系无论是实验上还是计算上的评估都非常昂贵。因此，设计形态以实现更高的性能是不平凡的，往往是棘手的。为了解决这个问题，我们首先引入了一个深度卷积神经网络（CNN）架构，它可以作为复杂结构-属性映射的快速和强大的替代。进行了几次测试以获得对这个训练模型的信任。然后，我们利用这个快速的框架进行稳健的微结构设计，以提高器件的性能。
2018-12-12 cs.CV cs.LG stat.ML
Active Learning for Control-Oriented Identification of Nonlinear Systems
University of Pennsylvania（宾夕法尼亚大学）
针对基于模型的强化学习中现有最优探索算法仅适用于线性参数模型的局限，提出首个面向通用非线性动力学的主动学习有限样本分析方法，其超额控制成本达近最优速率，仿真验证了主动面向控制探索的优势。
2024-08-13 cs.LG cs.SY eess.SY
