Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Tencent Robotics X(腾讯Robotics X实验室);Tencent(腾讯)
本文提出基于条件变分推断的变分动态模型,将环境转移负对数似然上界作为内在奖励,实现无外在奖励的自监督探索,并在仿真和真实机器人任务中优于现有方法。
2024-04-02 cs.CV cs.LG cs.RO
MAME : Model-Agnostic Meta-Exploration
Carnegie Mellon University(卡内基梅隆大学)
Meta-强化学习方法旨在开发学习过程,该过程可以在几个示例的帮助下快速适应任务分布。在这种情况下,制定能够找到最有用样本的有效勘探策略变得至关重要。现有的寻找有效探索策略的方法增加了辅助目标以促进更新前策略的探索,然而,这使得使用几个梯度步骤的适应变得困难,因为更新前(探索)和更新后(利用)策略通常是完全不同的。相反,我们建议明确地为任务分布建模一个单独的探索策略。拥有两个不同的策略可以在训练探索策略时提供更大的灵活性,也可以更容易地适应任何特定的任务。我们表明,使用自监督或监督学习目标的适应允许更有效的内环更新,也证明了我们的模型的优越性能相比,以前的作品在这一领域。
2019-11-11 cs.AI cs.LG cs.RO
Model-Based Active Exploration
NNAISENSE
有效的探索是强化学习中一个尚未解决的问题,通常通过对偶然遇到新情况的智能体进行反应性奖励来解决。本文介绍了一种有效的主动探索算法,基于模型的主动探索(MAX),它使用一个集成的前向模型计划观察新的事件。这是通过优化代理人的行为相对于从贝叶斯角度的探索,这是估计使用合奏成员预测的未来之间的分歧的新颖性的措施。我们的经验表明,在半随机离散环境中,定向探索是取得进展的关键,MAX至少是一个数量级比强基线更有效。MAX可扩展到高维连续环境,在那里它构建了可用于任何下游任务的任务不可知模型。
2019-06-13 cs.AI cs.IT cs.LG
Noisy Agents: Self-supervised Exploration by Predicting Auditory Events
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学)
人类整合了多种感官形式(例如视觉和听觉),以建立对物理世界的因果理解。在这项工作中,我们提出了一种新的类型的内在动机的强化学习(RL),鼓励代理理解其行动的因果关系,通过听觉事件预测。首先,我们允许代理收集少量的声学数据,并使用K-means来发现潜在的听觉事件集群。然后,我们训练一个神经网络来预测听觉事件,并使用预测误差作为内在奖励来指导RL探索。在Atari游戏上的实验结果表明,我们新的内在动机显著优于几个最先进的基线。我们进一步可视化我们的噪声代理的行为在物理环境中,并证明我们新设计的内在奖励导致物理交互行为的出现(例如,与对象的接触)。
2020-07-27 cs.AI cs.CV cs.LG
Dynamic Bottleneck for Robust Self-Supervised Exploration
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Tencent Robotics X(腾讯机器人X实验室);University of Toronto(多伦多大学);Vector Institute(Vector研究所);NVIDIA(英伟达);Tianjin University(天津大学)
基于转换伪计数或动力学好奇心的探索方法在解决具有稀疏奖励的强化学习方面取得了可喜的成果。然而,这样的方法通常对环境动态不相关的信息敏感,例如,白噪音为了处理这种动态无关的信息,我们提出了一个动态瓶颈(DB)模型,它获得了一个动态相关的表示信息瓶颈原则的基础上。在DB模型的基础上,我们进一步提出了DB奖励,它鼓励智能体探索具有高信息增益的状态-动作对。我们建立了建议DB奖金,上置信限(UCB)的线性情况下,和访问计数的表格的情况下,之间的理论联系。我们评估所提出的方法与动态无关的噪声雅达利西装。我们的实验表明,探索DB奖金优于几个国家的最先进的探索方法在嘈杂的环境中。
2021-10-25 cs.AI cs.LG
GRASP: A Disagreement Analysis Framework to Assess Group Associations in Perspectives
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
本文提出 GRASP 分歧分析框架,通过标注者分歧衡量不同子群体的观点关联,并在安全与冒犯性标注数据集中识别系统性差异及关键人口统计维度。
2024-06-14 cs.AI cs.CL
Epistemic Uncertainty for Test-Time Discovery
Stanford University(斯坦福大学);National University of Sciences and Technology(国家安全科学与技术大学);University of Oklahoma(俄克拉荷马大学)
本文提出UG-TTT方法,通过维护低秩适配器的集成来区分未探索区域与困难问题,利用互信息量化分歧以提升探索效率,从而在科学发现任务中提高最大奖励和解的多样性。
2026-05-11 cs.AI cs.LG
Self-supervised network distillation: an effective approach to exploration in sparse reward environments
Comenius University Bratislava(布拉迪斯拉发考门斯基大学);Excalibur, Ltd.(埃克斯卡利伯有限公司)
本文提出自监督网络蒸馏(SND)方法,利用蒸馏误差作为新颖性指标来提供内在动机,从而改善稀疏奖励环境中的探索效率,实验证明其能获得更快增长和更高外部奖励。
2024-06-10 cs.AI
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM(加拿大皇家银行资本市场);University of Toronto(多伦多大学)
本文提出Scope Loss,通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性,以梯度调整方式同时缓解过度利用和类别不平衡问题,无需调参,并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective
Massachusetts Institute of Technology(麻省理工学院)
在经典的多臂强盗问题,实例相关的算法实现改善性能的“简单”的问题之间的差距最好的和第二最好的手臂。类似的保证可能的上下文强盗?虽然积极的结果是已知的某些特殊情况下,有没有一般的理论特征时,以及如何实例依赖的背景土匪的遗憾界可以实现丰富的,一般类的政策。我们引入了一个家庭的复杂性措施,这是充分和必要的,以获得实例相关的遗憾界。然后,我们引入新的甲骨文高效的算法,适应的差距,只要有可能,同时也达到了最坏的情况下的极大极小率。最后,我们提供了结构性的结果,绑在一起的一些复杂性的措施,以前提出的整个上下文土匪,强化学习,和主动学习,并阐明他们的作用,在确定最佳的实例相关的遗憾。在一个大规模的实证评估中,我们发现,我们的方法往往会为具有挑战性的勘探问题提供优越的结果。将我们的重点转向具有函数逼近的强化学习,我们开发了新的具有丰富观测值的强化学习的Oracle高效算法,以获得最佳的间隙相关样本复杂度。
2020-10-07 cs.LG math.ST stat.ML
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology(国防科技大学)
本文针对稀疏外部奖励下的强化学习挑战,提出了一种受人类学习启发的内在奖励机制,通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索,在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
Explicit Explore-Exploit Algorithms in Continuous State Spaces
Microsoft Research(微软研究院)
提出了一种新的基于模型的强化学习(RL)算法,该算法包括显式探索和开发两个阶段,适用于大型或无限状态空间。该算法维护一组与当前经验一致的动态模型,并通过寻找导致其状态预测之间高度不一致的政策进行探索。然后,它利用在探索过程中收集的一组改进的模型或经验进行开发。我们表明,在可实现性和最优规划假设下,我们的算法可证明找到了一个接近最优的政策,一些样本是多项式的结构复杂性的措施,我们在几个自然设置低。然后,我们给出了一个实用的近似使用神经网络,并证明其性能和样本效率在实践中。
2019-12-02 cs.AI cs.LG stat.ML
General Intelligence Requires Rethinking Exploration
Meta AI;UCL(伦敦大学学院);Cohere(Cohere公司)
我们正处于从“从数据中学习”到“学习从什么数据中学习”的转变的风口浪尖,这是人工智能(AI)研究的中心焦点。虽然一阶学习问题还没有完全解决,但统一架构下的大型模型(如Transformers)已经将学习瓶颈从如何有效地训练我们的模型转移到如何有效地获取和使用任务相关数据。这个问题,我们框架作为探索,是一个普遍的方面,学习在开放的领域,如现实世界。虽然人工智能中探索的研究主要限于强化学习领域,但我们认为探索对所有学习系统都是必不可少的,包括监督学习。我们提出了广义探索的问题,在概念上统一监督学习和强化学习之间的探索驱动学习,使我们能够突出学习环境和开放研究挑战的关键相似性。重要的是,广义探索是保持开放式学习过程的必要目标,在不断学习发现和解决新问题的过程中,它为更普遍的智能提供了一条有希望的道路。
2022-11-15 cs.AI cs.LG
Attention as a Compass: Efficient Exploration for Process-Supervised RL in Reasoning Models
Tsinghua University(清华大学);Kuaishou Technology(快手科技);Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有过程监督强化学习(PSRL)探索效率有限的问题,提出AttnRL框架,通过高注意力位置分支、自适应采样及一步离策略训练提升推理模型的性能与训练、采样效率。
2025-09-30 cs.CL cs.LG
Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning
Adyen
本文在Adyen支付处理的真实工业背景下,分析了结合非均匀探索与监督学习的回归预言机方法,发现其虽能提升性能,但会因奖励分布偏移和类别不平衡引发策略迭代的振荡效应,强调需开发更稳定的自适应算法。
2025-07-10 cs.IR cs.LG
Exploration is Harder than Prediction: Cryptographically Separating Reinforcement Learning from Supervised Learning
MIT(麻省理工学院)
本文基于 LPN 困难假设构造 block MDP,证明无奖励探索比回归更难,且回归 oracle 不足以实现高效奖励导向 RL,从而首次从密码学层面分离 RL 与监督学习。
2024-04-04 cs.CC cs.CR cs.DS
Prioritized Guidance for Efficient Multi-Agent Reinforcement Learning Exploration
探索效率是多智能体强化学习(MARL)中的一个具有挑战性的问题,因为联盟MARL学习的策略依赖于多个智能体之间的协作方法。另一个重要的问题是,与监督学习中的信息标签相比,较少的信息奖励限制了MARL的学习速度。在这项工作中,我们利用一种新的通信方法来引导MARL加速探索,并提出了一种预测网络来预测当前状态-动作对的奖励,并使用预测网络学习的指导来修改奖励函数。采用改进的优先经验重放,以更好地利用不同的代理,更有效地利用时间差(TD)错误的学习不同的知识。实验结果表明,该算法优于现有的方法在合作的多智能体环境。我们注意到,该算法可以扩展到监督学习,以加快其训练。
2019-12-25 cs.LG cs.MA stat.ML
Adaptive Multi-Goal Exploration
Meta AI;Inria Scool(法国国家信息与自动化研究所Scool);OvGU Magdeburg(马格德堡奥托·冯·格里克大学);DeepMind(深度思维)
提出AdaGoal自适应目标选择策略,用于高效多目标探索,在表格和线性混合MDP中实现近乎最优的样本复杂度,并连接深度强化学习中的价值集成分歧。
2026-10-06 cs.LG stat.ML
When Critics Disagree: Adaptive Reward Poisoning Attacks in RIS-Aided Wireless Control System
Department of Computer and Software Engineering(计算机与软件工程系)
本文提出了一种基于分歧引导的奖励中毒攻击(DGRP),用于攻击Soft Actor-Critic(SAC)智能体,以评估RIS辅助网络中深度强化学习(DRL)的鲁棒性。
2026-05-19 cs.AI cs.LG
Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
在未知环境中的探索是移动机器人的核心功能。基于学习的探索方法,包括卷积神经网络,为特征提取提供了优秀的策略,而无需人为设计的逻辑。但是传统的监督学习算法不可避免地要花费大量的精力对数据集进行标注。未包含在训练集中的场景也大多无法识别。我们提出了一种深度强化学习方法,用于在室内环境中仅使用RGB-D传感器的深度信息探索移动机器人。基于Deep Q-Network框架,将原始深度图像作为唯一输入来估计与所有移动命令相对应的Q值。网络权重的训练是端到端的。在任意构造的仿真环境中,我们表明,机器人可以快速适应不熟悉的场景,而无需任何人为的标签。此外,通过分析特征表示的感受野,深度强化学习促使卷积网络估计场景的可遍历性。将测试结果分别与基于深度学习或强化学习的探索策略进行比较。即使只在模拟环境中训练,在真实世界环境中的实验结果表明,机器人控制器的认知能力显着提高监督的方法相比。我们相信这是第一次使用原始传感器信息通过端到端深度强化学习来构建移动机器人的认知探索策略。
2016-10-06 cs.AI cs.RO
Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight
Cornell University(康奈尔大学)
我们提出了一个联合仿真和现实世界的学习框架,用于将导航指令和原始第一人称观察映射到连续控制。我们的模型估计环境探索的需要,预测在执行过程中访问环境位置的可能性,并控制代理探索和访问高可能性的位置。有监督强化异步学习(Supervised Reinforcement Asynchronous Learning,SuReAL)学习使用模拟和真实环境,而不需要在训练期间在物理环境中自主飞行,并结合监督学习来预测要访问的位置和强化学习来进行连续控制。我们评估了我们的方法与物理四轴飞行器的自然语言解释以下的任务,并展示了有效的执行和探索行为。
2019-10-21 cs.AI cs.CL cs.CV
CIG: Exploration via Conditional Information Gain
FZI Karlsruhe(弗赖堡研究所卡尔斯鲁厄分所);KIT Karlsruhe(卡尔斯鲁厄理工学院)
该研究提出了一种条件信息增益(CIG)奖励机制,用于强化学习中的探索问题,通过可追溯的log-determinant目标和Ensemble Disagreement核来生成因果每步奖励,从而在高维状态空间中实现有效的探索。
2026-05-20 cs.LG
Playing hard exploration games by watching YouTube
DeepMind(深度思维)
深度强化学习方法传统上难以处理环境奖励特别稀疏的任务。在这些领域引导探索的一种成功方法是模仿人类演示者提供的轨迹。然而,这些演示通常是在人工条件下收集的,即可以访问代理的确切环境设置以及演示者的动作和奖励轨迹。在这里,我们提出了一个两阶段的方法,克服了这些限制,依靠嘈杂的,不对齐的镜头,而无需访问这些数据。首先,我们学习使用在时间和模态(即视觉和声音)上构建的自监督目标将来自多个源的未对齐视频映射到一个共同的表示。其次,我们在这个表示中嵌入一个YouTube视频,以构建一个奖励函数,鼓励代理模仿人类游戏。这种一次性模仿的方法使我们的智能体在臭名昭著的硬探索游戏Montezuma's Revenge,Pitfall上令人信服地超过人类水平的表现!和私家侦探第一次,即使代理没有任何环境奖励。
2018-11-30 cs.AI cs.CV cs.LG
Disagreement-Based Combinatorial Pure Exploration: Sample Complexity Bounds and an Efficient Algorithm
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院)
针对多臂强盗框架下的组合纯探索问题,设计了新的算法。在这个问题中,我们给出了$K$分布和这些分布的子集$\mathcal{V} \subset 2^{[K]}$的集合,我们希望找到具有最大均值的子集$v \in \mathcal{V}$,同时以顺序的方式从分布中收集尽可能少的样本。在固定的预算和固定的置信度设置,我们的算法实现了新的样本复杂度的界限,在某些设置提供多项式的改进以前的结果。通过信息理论的下限,我们表明,没有基于均匀采样的方法可以改善我们在任何制度,产生这个问题的第一个交互式算法与这个基本属性。在计算上,我们展示了如何有效地实现我们的固定置信度算法时,$\mathcal{V}$支持有效的线性优化。我们的研究结果涉及精确的集中测量参数和一个新的算法,线性规划指数许多约束。
2019-05-28 cs.LG stat.ML
COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration
DeepMind(深度思维)
数据效率和对任务无关扰动的鲁棒性是深度强化学习算法长期面临的挑战。在这里,我们介绍了一种模块化的方法来解决这些挑战,在一个连续的控制环境中,而不使用手工制作或监督的信息。我们的好奇基于对象的搜索代理(COBRA)使用无任务的内在动机的探索和无监督学习,以建立其环境和行动空间的基于对象的模型。随后,它可以通过基于模型的搜索在非常少的步骤中学习各种任务,并在策略鲁棒性的结构化保持测试中表现出色。
2019-08-14 cs.AI cs.LG
Curiosity as a Self-Supervised Method to Improve Exploration in De novo Drug Design
Université Cadi Ayyad(卡迪·阿亚德大学);National school of applied sciences(国家应用科学学院)
本文提出好奇心驱动的自监督方法,通过微调循环神经网络分子生成器并利用Tanimoto相似度定义好奇心,以扩大从头药物设计中的化学空间探索,从而发现更多样且更易合成的合意分子。
2023-09-24 cs.LG q-bio.BM q-bio.QM
Efficient Exploration in Constrained Environments with Goal-Oriented Reference Path
Information Technology R&D Center, Mitsubishi Electric Corporation(三菱电机株式会社信息技术研发中心);National Institute of Advanced Industrial Science and Technology (AIST)(日本先进产业科学技术研究所(AIST));Mitsubishi Electric Research Labs(三菱电机研究实验室)
在本文中,我们考虑的问题,建立学习代理,可以有效地学习在受限环境中导航。主要目标是设计能够有效地学习理解并使用高维输入(2D地图)推广到不同环境的代理,同时遵循在障碍物杂乱的环境中避开障碍物的可行路径。为了实现这一点,我们利用传统的路径规划算法,监督学习,和强化学习算法的协同方式。其关键思想是将导航问题与规划和控制脱钩,前者通过监督学习实现,后者通过强化学习实现。具体来说,我们训练一个深度卷积网络,它可以根据环境地图预测无碰撞路径--然后由强化学习算法使用它来学习密切跟踪路径。这使得经过训练的智能体在更快学习的同时实现良好的泛化。我们测试我们提出的方法在最近提出的安全健身房套件,允许测试的学习代理的训练过程中的安全约束。我们比较我们提出的方法与现有的工作,并表明我们的方法不断提高样本效率和泛化能力的新环境。
2020-03-03 cs.LG cs.RO stat.ML
Semi-supervised novelty detection using ensembles with regularized disagreement
ETH Zurich(苏黎世联邦理工学院)
深度神经网络通常以高置信度预测样本,即使它们来自看不见的类,也应该被标记以供专家评估。当前的新颖性检测算法不能可靠地识别这样的近OOD点,除非它们能够访问与这些新颖样本相似的标记数据。在本文中,我们开发了一种新的基于集成的半监督新奇检测(SSND)程序,成功地利用了未标记的ID和新奇类样本的混合物,以实现良好的检测性能。特别是,我们展示了如何使用早期停止正则化仅在OOD数据上实现分歧。虽然我们证明了这一事实的一个简单的数据分布,我们广泛的实验表明,它适用于更复杂的情况:我们的方法显着优于最先进的SSND方法对标准图像数据集(SVHN/CIFAR-10/CIFAR-100)和医学图像数据集,只有一个微不足道的增加计算成本。
2022-03-10 cs.LG
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题,我们考虑在街机学习元素(ALE)上评估这个假设的实例。在这项研究中,我们开发了一个专注的动力学模型(ADM),发现可控元素的观察,这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练,以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合,使用我们的表示实现了令人印象深刻的结果,一组臭名昭著的具有挑战性的雅达利游戏,由于稀疏的奖励。例如,我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数,而没有使用专家演示、明确的高级信息(例如,RAM状态)或监控数据。我们的实验证实,偶然意识确实是一个非常强大的概念,用于解决强化学习中的探索问题,并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Modeling Disagreement in Automatic Data Labelling for Semi-Supervised Learning in Clinical Natural Language Processing
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学)
计算模型提供了准确的估计,其不确定性是至关重要的风险管理与决策在医疗环境。这一点尤其正确,因为许多最先进的系统都是使用自动标记的数据(自监督模式)进行训练的,并且往往过拟合。在这项工作中,我们调查的质量的不确定性估计从一系列目前国家的最先进的预测模型应用到放射学报告中的观察检测的问题。这个问题在医疗保健领域的自然语言处理中仍然研究不足。我们证明了高斯过程(GP)在基于负对数预测概率(NLPP)评估指标和平均最大预测置信水平(MMPCL)量化3个不确定性标签的风险方面提供了卓越的性能,同时保留了强大的预测性能。
2022-06-07 cs.CL cs.LG stat.ML
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group(阿里巴巴集团)
本文提出CHORD框架,通过动态加权将监督微调与强化学习统一,解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题,实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
DIVERSE: Disagreement-Inducing Vector Evolution for Rashomon Set Exploration
Digital Future Lab - Flanders Make(数字未来实验室-弗拉芒制造);UHasselt - Hasselt University(UHasselt-哈瑟尔特大学)
DIVERSE通过引入FiLM层和CMA-ES算法,在无需重新训练的情况下生成多样化的深度神经网络模型,有效探索拉索蒙集并提升模型多样性与性能平衡。
2026-01-28 cs.LG
Flipping Coins to Estimate Pseudocounts for Exploration in Reinforcement Learning
Brown University(布朗大学)
本文提出通过平均 Rademacher 分布样本估计状态访问伪计数,并以监督学习目标实现,在计数推断和 9 个强化学习探索任务上优于现有方法。
2023-06-05 cs.AI cs.LG
Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);University of Washington(华盛顿大学)
本研究提出HuGE技术,利用非专业用户零散、异步、带噪声的低质量人在回路反馈引导强化学习探索,分离反馈引导与自监督策略学习,无需手工设计奖励,可在仿真及真实机器人上完成多阶段导航操作任务。
2023-07-20 cs.AI cs.LG cs.RO
Semantic Curiosity for Active Visual Learning
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们研究的任务体现互动学习的目标检测。给定一组环境(和一些标签预算),我们的目标是通过让代理选择要获取标签的数据来学习对象检测器。勘探政策应该如何决定应该标记哪些轨迹?一种可能性是使用经过训练的对象检测器的失败案例作为外部奖励。然而,这将需要标记训练RL策略所需的数百万帧,这是不可行的。相反,我们探索一种自我监督的方法,通过引入语义好奇心的概念来训练我们的探索策略。我们的语义好奇策略基于一个简单的观察--检测输出应该是一致的。因此,我们的语义好奇心奖励具有不一致标记行为的轨迹,并鼓励探索策略探索这些区域。通过语义好奇心训练的探索策略推广到新场景,并帮助训练对象检测器,该对象检测器优于用其他可能的替代方案训练的基线,例如随机探索,预测错误好奇心和覆盖最大化探索。
2020-06-16 cs.AI cs.CV cs.LG
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix(奈飞);Université Paris Descartes(巴黎笛卡尔大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校)
经验风险最小化(ERM)是机器学习的主力,无论是用于分类和回归还是用于离线策略学习,但当我们使用自适应收集的数据时,其模型不可知的保证可能会失败,例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法,使用自适应收集的数据,以最小化损失函数的平均假设类,并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式,仔细利用重要性抽样结构,以获得正确的依赖于数据中的勘探率的利率。对于回归,我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习,我们提供了速率最优的遗憾保证,关闭现有文献中的一个开放的差距,每当勘探衰减到零,是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Demystifying the Mechanisms Behind Emergent Exploration in Goal-conditioned RL
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本研究通过理论分析和实验揭示了SGCRL算法中涌现探索的机制,即学习低秩表示塑造隐式奖励以促进探索,并据此实现安全感知探索。
2025-10-15 cs.LG
Diversify and Conquer: Open-set Disagreement for Robust Semi-supervised Learning with Outliers
Department of Brain and Cognitive Engineering, Korea University(脑科学与认知工程系,韩国大学);Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
针对无标签数据含异常值导致半监督学习性能下降的问题,提出DAC框架,通过单次训练构建多个不同偏置的模型,利用其在异常值上的预测分歧实现鲁棒检测。
2025-05-30 cs.CV cs.LG
Trust-Region Method with Deep Reinforcement Learning in Analog Design Space Exploration
National Tsing Hua University(台湾清华大学);MediaTek Inc.(联发科)
本文介绍了模拟设计空间搜索的新观点。为了最小化上市时间,这种努力比现有技术中定义的全局优化更好地被视为约束满足问题。我们将基于模型的代理,对比无模型学习,实现信任区域的战略。因此,简单的前馈网络可以用监督学习来训练,其中收敛相对微不足道。实验结果表明,数量级的改善搜索迭代。此外,适应PVT条件的前所未有的考虑。在台积电5/6 nm工艺的电路上,我们的方法实现了超越人类设计师的性能。此外,该框架已在工业环境中生产。
2021-12-02 cs.AI cs.LG
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT(麻省理工学院);Cornell University(康奈尔大学)
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero(AGZ)算法的启发,我们开发了一种基于强化学习的方法。具体来说,我们提出了探索-改进-监督(EIS)方法,结合“探索”,“政策改进”“和“监督学习“,以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例,其中随机策略用于“探索”,蒙特卡罗树搜索用于“策略改进”,最近邻用于“监督学习“,我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时,潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的,因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
DQN with model-based exploration: efficient learning on environments with sparse rewards
University of Toronto(多伦多大学)
我们提出了基于模型探索的深度Q网络(DQN),这是一种结合了无模型和基于模型的方法的算法,可以更好地探索和学习具有稀疏奖励的环境。DQN是一种通用的无模型算法,自Minh等人首次提出以来,已被证明在包括Atari 2600游戏在内的各种任务中表现良好。然而,与许多其他强化学习(RL)算法一样,当环境中的奖励稀疏时,DQN遭受较差的样本效率。因此,存储在重放存储器中的大多数转换没有信息奖励信号,并且为Q网络的收敛和训练提供有限的价值。然而,一个见解是,这些转换可以用来学习环境的动态作为一个监督学习问题。转换还提供了访问状态分布的信息。我们的算法利用这两个观测值在探索过程中执行一步规划,以选择导致最不可能被看到的状态的动作,从而提高探索的性能。我们在OpenAI健身房的两个经典环境中展示了我们的代理的性能:Mountain Car和Lunar Lander。
2019-03-22 cs.LG stat.ML
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research(微软研究院)
我们提出了一个算法,HOMER,探索和强化学习在丰富的观察环境,可概括的一个未知的潜在状态空间。该算法交织表示学习,以确定一个新的概念的运动状态抽象与战略探索,以达到新的状态,使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围,并且,至关重要的是,与不依赖于的大小的观察空间,这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面,我们表明,该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲,我们评估HOMER的一个具有挑战性的探索问题,在那里我们表明,该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Deep Anomaly Detection and Search via Reinforcement Learning
半监督异常检测(Semi-supervised Anomaly Detection,AD)是一种数据采掘任务,旨在从部分标记的数据集中学习特征,以帮助检测离群点。本文将现有的半监督AD方法分为基于无监督和基于监督两大类,指出它们大多存在对标记数据利用不足和对未标记数据利用不足的问题。为了解决这些问题,我们提出了深度异常检测和搜索(DADS),它应用强化学习(RL)来平衡开发和探索。在训练过程中,智能体使用分层结构的数据集搜索可能的异常,并使用搜索到的异常来提高性能,这在本质上借鉴了集成学习的思想。实验上,我们比较了DADS与几个国家的最先进的方法,利用标记的已知异常的设置,以检测其他已知的异常和未知的异常。实验结果表明,DADS能够高效、准确地从未标记数据中发现异常并从中学习,取得了良好的性能。
2022-10-26 cs.LG
From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning?
The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Stanford University(斯坦福大学);Nanjing University(南京大学);University of Pennsylvania(宾夕法尼亚大学);National University of Singapore(新加坡国立大学);University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
该研究结合强化学习与蛋白质语言模型,在四个蛋白质设计任务中验证了强化学习对采样效率与成功率的提升,揭示了三因素交互的性能规律,并给出了强化学习在蛋白质设计中的实践指导。
2025-10-02 cs.AI cs.LG q-bio.BM
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Zhejiang University(浙江大学);UCLA(加利福尼亚大学洛杉矶分校)
针对仅部分正类有标注的多标签正样本-未标记学习问题,提出结合强化学习探索能力与监督学习利用能力的MLPAC框架,在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
Blind Exploration and Exploitation of Stochastic Experts
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了盲探索和开发(BEE)算法,用于确定最可靠的随机专家的基础上,采用后验抽样,置信上限,经验Kullback-Leibler分歧,和最小最大方法的随机多臂土匪问题的配方。在无监督或盲目的框架中,由于无法获得来自真实状态的反馈,联合采样和咨询专家的意见取决于世界的隐藏和随机状态,这变得具有挑战性。我们提出了一个经验上可实现的衡量专家能力,可以推断瞬间只使用其他专家的意见。这种措施保留了真正的能力的顺序,从而使联合抽样和咨询的随机专家根据他们的意见动态变化的任务。从拟议的措施中得到的统计数据是即时可用的,允许盲目的探索-利用和无监督的意见聚合。我们讨论了缺乏监督如何影响BEE架构,依赖于UCB 1,KL-UCB,MOSS,IMED,和汤普森采样的渐近遗憾。我们展示了不同的BEE算法的性能经验,并将它们与标准或监督的同行进行比较。
2021-04-02 cs.LG eess.SP
Learning more skills through optimistic exploration
DeepMind(深度思维)
无监督技能学习目标(Gregor et al.,2016年,Eysenbach等人,2018)允许代理在没有外部奖励的情况下学习丰富的行为曲目。它们的工作原理是同时训练一个策略来产生可区分的潜在条件轨迹,以及一个训练器来通过尝试从轨迹中推断潜在条件来评估可识别性。希望是通过鼓励每个技能(潜在的)可靠地达到不同的状态来探索和掌握环境。然而,一个固有的探索问题仍然存在:当实际遇到一个新的状态时,智能体将不一定看到足够的训练数据来产生准确和自信的技能分类,这导致智能体的内在奖励较低,并且实际上最大化目标所需的探索类型的有效惩罚。为了打击这种固有的悲观探索,我们得到了一个信息增益辅助目标,涉及培训一个合奏的歧视和奖励政策,他们的分歧。我们的目标直接估计来自没有看到足够训练样本的训练者的认知不确定性,从而提供与基于伪计数的方法相比更适合真实目标的内在奖励(Burda等人,2019年)。我们称这种探索奖励为“分歧内在奖励”(disdisdisagreement intrinsic reward),或DISDAIN。我们的经验表明,DISDAIN提高技能学习在一个表格网格世界(四个房间)和雅达利套件的57个游戏(从像素)。因此,我们鼓励研究人员用DISDAIN来治疗悲观主义。
2022-05-12 cs.AI cs.LG stat.ML
SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency
Facebook AI Research(Facebook AI研究院);Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
在本文中,我们将探讨如何在互联网图像的数据和模型的基础上构建,并使用它们来适应机器人视觉,而无需任何额外的标签。我们提出了一个框架,称为自我监督的主动学习主动学习(SEAL)。它利用在互联网图像上训练的感知模型来学习主动探索策略。该探索策略收集的观察结果使用3D一致性进行标记,并用于改进感知模型。我们构建并利用3D语义地图,以完全自我监督的方式学习动作和感知。语义图是用来计算一个内在的动机奖励训练的探索政策,并使用时空3D一致性和标签传播标记的代理观察。我们证明了SEAL框架可以用于关闭动作感知循环:它通过在训练环境中移动来提高预先训练的感知模型的目标检测和实例分割性能,并且改进的感知模型可以用于改进对象目标导航。
2021-12-02 cs.AI cs.CV cs.LG
DemoPSD: Disagreement-Modulated Policy Self-Distillation
City University of Hong Kong(香港城市大学);Tsinghua University(清华大学);Shenzhen University of Advanced Technology(深圳理工大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出DemoPSD框架,通过选择性采纳教师指导,平衡学生从教师学习和保持自身推理能力,解决特权信息泄露和探索抑制问题,在科学推理任务上优于现有方法。
2026-07-14 cs.AI cs.LG
Self-Supervised Goal-Reaching Results in Multi-Agent Cooperation and Exploration
Princeton University(普林斯顿大学)
研究多智能体有效协调探索所需最少要素,通过自我监督目标达成,以访问目标状态可能性最大化代替奖励最大化,实证表明该方法在多智能体基准测试中表现优且更稳健。
2026-07-07 cs.AI cs.LG
Jury Learning: Integrating Dissenting Voices into Machine Learning Models
Stanford University(斯坦福大学);Apple Inc.(苹果公司)
机器学习(ML)算法应该学习模仿谁的标签?对于从在线评论毒性到错误信息检测再到医学诊断的ML任务,社会中的不同群体可能对地面真相标签存在不可调和的分歧。今天,受监督的ML使用多数投票隐含地解决了这些标签分歧,这覆盖了少数群体的标签。我们介绍了陪审团学习,这是一种监督式ML方法,通过陪审团的比喻来明确解决这些分歧:定义哪些人或群体,以什么比例,确定分类器的预测。例如,在线毒性的陪审团学习模型可能以女性和黑人陪审员为中心,他们通常是在线骚扰的目标。为了实现陪审团学习,我们贡献了一个深度学习架构,该架构对数据集中的每个注释者进行建模,从注释者的模型中采样以填充陪审团,然后运行推理进行分类。我们的架构使陪审团能够动态地调整他们的组成,探索反事实,并可视化异议。
2022-02-07 cs.AI cs.HC cs.LG
MLVICX: Multi-Level Variance-Covariance Exploration for Chest X-ray Self-Supervised Representation Learning
Indian Institute of Technology, Jodhpur(印度理工学院焦特布尔分校);Savitribai Phule Pune University(萨维特里巴伊·普勒·普纳大学)
MLVICX提出多级方差-协方差探索策略,用于胸部X射线自监督表示学习,通过增强嵌入的方差和协方差保留关键医学细节,在多个下游任务上比SOTA SSL方法提升超3%。
2024-03-18 cs.AI cs.CV cs.LG
Supervised Visualization for Data Exploration
Utah State University(犹他州立大学);Université de Montréal(蒙特利尔大学)
简化通常被用作数据探索的初始步骤,无论是作为分类或回归的预处理,还是用于可视化。迄今为止,大多数降维技术都是无监督的;它们不考虑类别标签(例如,PCA、MDS、t-SNE、Isomap)。这样的方法需要大量的数据,并且通常对可能混淆数据中的重要模式的噪声敏感。在考虑辅助注释(例如,类标签)已经成功地实现了提高分类准确性或改进数据可视化的目标。这些监督技术中的许多技术以相似性或相异性矩阵的形式将标签并入损失函数中,从而在类别聚类之间创建过度强调的分离,这并不能真实地表示数据中的局部和全局关系。此外,这些方法往往是敏感的参数调整,这可能是难以配置没有明确的定量概念的视觉优势。在本文中,我们描述了一种新的监督可视化技术的基础上随机森林的接近和基于扩散的降维。我们定性和定量地展示了我们的方法在保留数据中的局部和全局结构方面的优势,同时强调了低维嵌入中的重要变量。重要的是,我们的方法对噪声和参数调整具有鲁棒性,因此使用简单,同时为数据探索提供可靠的可视化。
2020-06-15 cs.HC cs.LG stat.AP
Weakly-Supervised Semantic Segmentation via Sub-category Exploration
UC Merced(加州大学默塞德分校);eBay Inc.(eBay公司);NEC Labs America(NEC美国实验室);Google Research(谷歌研究院)
现有的弱监督语义分割方法使用图像级注释通常依赖于初始响应来定位对象区域。然而,由于网络不需要整个对象来优化目标函数的事实,由分类网络生成的这种响应图通常集中于有区别的对象部分。为了让网络关注对象的其他部分,我们提出了一种简单而有效的方法,通过利用子类信息来引入自监督任务。具体来说,我们对图像特征进行聚类,以在每个带注释的父类中生成伪子类标签,并构建子类目标,以将网络分配给更具挑战性的任务。通过迭代地聚类图像特征,训练过程不会将其自身限制在最具辨别力的对象部分,从而提高了响应图的质量。我们进行了广泛的分析,以验证所提出的方法,并表明我们的方法对国家的最先进的方法表现良好。
2020-08-03 cs.CV cs.LG eess.IV