Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.(日立有限公司)
我们提出了Mask Atari,这是一个新的基准,可以帮助解决基于深度强化学习(DRL)的方法的部分可观察马尔可夫决策过程(POMDP)问题。为了实现POMDP问题的仿真环境,基于Atari 2600游戏构建了Mask Atari,该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域,特别是在POMDP中设置了主动信息收集(AIG)。鉴于目前还不存在这样的方法,Mask Atari提供了一个具有挑战性的,有效的基准来评估专注于上述问题的方法。此外,掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试,这意味着评估不偏离感知能力,并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能,并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
Return-Based Contrastive Representation Learning for Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);IIIS, Tsinghua University(清华大学信息科学技术学院);Microsoft Research(微软研究院)
最近,已经提出了各种辅助任务来加速深度强化学习(RL)中的表示学习并提高样本效率。然而,现有的辅助任务没有考虑到RL问题的特点,是无监督的。通过利用RL中最重要的反馈信号返回,我们提出了一种新的辅助任务,该任务迫使学习的表示区分具有不同返回的状态-动作对。我们的辅助损失在理论上是合理的学习表示,捕捉一种新形式的状态-动作抽象的结构,在这种结构下,具有相似的回报分布的状态-动作对聚集在一起。在低数据状态下,我们的算法在Atari游戏和DeepMind Control套件中的复杂任务上的表现优于强大的基线,并且在与现有辅助任务相结合时实现了更好的性能。
2021-02-22 cs.LG
Towards Unsupervised Graph Completion Learning on Graphs with Features and Structure Missing
Huazhong University of Science and Technology(华中科技大学);JD Retail(京东零售)
针对图神经网络在节点特征与结构同时缺失时性能下降且现有图补全学习依赖标签和存在偏差的问题,提出无监督图补全学习框架UGCL,通过分离特征与结构重建并引入双重对比损失提供自监督信号,显著提升了下游节点分类任务性能。
2023-09-06 cs.LG
Visual Analogies between Atari Games for Studying Transfer Learning in RL
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
在这项工作中,我们提出了以下问题:视觉类比,在无监督的方式学习,可以被用来在游戏对之间转移知识,甚至玩一个游戏使用一个代理训练另一个游戏?我们试图通过在一对游戏(源游戏和目标游戏)之间创建视觉类比来回答这个研究问题。例如,给定目标游戏中的视频帧,我们将其映射到源游戏中的类似状态,然后尝试使用为源游戏学习的训练策略进行游戏。我们展示了令人信服的视觉映射之间的四对游戏(八个映射),这是用来评估三个迁移学习方法。
2018-07-29 cs.LG stat.ML
An Unsupervised Way to Understand Artifact Generating Internal Units in Generative Neural Networks
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);INEEJI
尽管生成对抗网络(GANs)的图像生成性能有了显著的改进,但仍然观察到具有低视觉保真度的代。由于广泛使用的GANs指标更多地关注模型的整体性能,因此评估单个代的质量或检测有缺陷的代是具有挑战性的。虽然最近的研究试图检测featuremap单位,造成文物和评估个别样本,这些方法需要额外的资源,如外部网络或一些训练数据,以近似真实的数据流形。在这项工作中,我们提出了本地激活的概念,并设计了一个度量的本地激活检测文物代没有额外的监督。我们经验性地验证了我们的方法可以检测和纠正来自具有各种数据集的GANs的伪影生成。最后,我们讨论了几何分析,部分揭示了所提出的概念和低视觉保真度之间的关系。
2021-12-16 cs.AI cs.CV
Decoupling Representation Learning from Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
为了克服图像深度强化学习(RL)中奖励驱动特征学习的局限性,我们提出了将表示学习与策略学习解耦。为此,我们引入了一个新的无监督学习(UL)任务,称为增强时间对比度(ATC),它训练卷积编码器将由短时间差分离的观测对关联起来,在图像增强下并使用对比损失。在在线RL实验中,我们表明,在大多数环境中,专门使用ATC训练编码器匹配或优于端到端RL。此外,我们通过在专家演示中预训练编码器并在RL代理中使用它们(权重冻结)来对几种领先的UL算法进行基准测试;我们发现使用ATC训练的编码器的代理优于所有其他代理。我们还对来自多个环境的数据进行训练多任务编码器,并对不同的下游RL任务进行泛化。最后,我们切除ATC的组件,并引入一个新的数据增强,以便在RL需要增强时能够从预先训练的编码器中重放(压缩)潜像。我们的实验涵盖了DeepMind Control、DeepMind Lab和Atari中视觉上不同的RL基准测试,我们的完整代码可在https://github.com/astooke/rlpyt/tree/master/rlpyt/ul上获得。
2021-05-16 cs.AI cs.CV cs.LG
Unsupervised Control Through Non-Parametric Discriminative Rewards
DeepMind(深度思考)
在没有手工制作的奖励或专家数据的情况下学习控制环境仍然具有挑战性,并且处于强化学习研究的前沿。我们提出了一个无监督学习算法,训练代理实现感知指定的目标,只使用一个流的观察和行动。我们的代理同时学习目标条件策略和目标实现奖励函数,该函数测量状态与目标状态的相似程度。这种双重优化导致了合作博弈,产生了一个学习的奖励函数,反映了环境可控方面的相似性,而不是观察空间中的距离。我们展示了我们的智能体在无监督的方式下学习的效率,以达到三个领域的不同目标- Atari,DeepMind Control Suite和DeepMind Lab。
2018-11-28 cs.AI cs.LG stat.ML
Large-Margin Metric Learning for Partitioning Problems
Ecole Normale Supérieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所)
在本文中,我们考虑无监督分割问题,如聚类,图像分割,视频分割和其他变点检测问题。我们专注于分区问题的基础上明确或隐含的最小化欧几里德失真,其中包括基于均值的变点检测,K均值,谱聚类和归一化切割。我们的主要目标是为这些无监督问题学习Mahalanobis度量,从而进行特征加权和/或选择。这是通过假设共享相同度量的几个潜在部分标记的数据集的可用性,以监督的方式完成的。我们将度量学习问题转换为大幅度结构化预测问题,并适当定义正则化器和损失,从而导致凸优化问题,可以使用迭代技术有效解决。我们提供的实验中,我们展示了如何学习的度量可以显着提高分区的性能,在合成的例子,生物信息学,视频分割和图像分割问题。
2013-03-06 cs.LG stat.ML
Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment
University of Cambridge(剑桥大学);Churchill College(丘吉尔学院)
该论文聚焦因果表示学习的可辨识性问题,研究无监督、多视图、多环境等设置下的理论边界,为该领域奠定理论基础并为实际方法设计提供参考。
2024-06-19 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏,如雅达利游戏,或简单的任务,如在迷宫中导航。这仍然是一个悬而未决的问题,如何解决更复杂的环境中,奖励是稀疏的,状态空间是巨大的。在本文中,我们提出了一种分而治之的深度强化学习解决方案,并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比,最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Co-Morbidity Exploration on Wearables Activity Data Using Unsupervised Pre-training and Multi-Task Learning
University of Minnesota(明尼苏达大学);Nanyang Technological University(南洋理工大学);QCRI(卡塔尔计算研究所)
身体活动和睡眠在许多慢性疾病的预防和管理中发挥着重要作用。了解它们对慢性病的影响不是一项微不足道的任务。目前,使用来自电子健康记录(EHR),睡眠实验室研究和活动/睡眠日志的数据。可穿戴健康设备的快速普及提供了一个重要的新数据源,使其有可能通过Web界面实时跟踪用户的生活方式,无论是消费者还是他们的医疗保健提供者。然而,目前生活方式数据(例如,睡眠、身体活动)和EHR中通常捕获的临床结果。这是使用这种新的信号源进行医疗决策的关键障碍。将深度学习应用于可穿戴设备数据为克服这一障碍提供了新的机会。为了解决问题的主要部分的科目和不具代表性的受试者群体的临床数据的不可用性,我们提出了一种新的无监督(任务不可知)的时间序列表示学习技术称为act 2 vec。act 2 vec通过考虑活动水平的同时发生以及人类活动模式的周期性来学习有用的特征。然后利用学习到的表示来提高特定于无序的监督学习模型的性能。此外,由于许多疾病往往是相互关联的,这种现象被称为共病,我们使用多任务学习框架来利用可穿戴设备数据中部分捕获的疾病诱导生活方式选择的共享结构。使用来自4,124名受试者的体动记录数据进行的实证评估表明,我们提出的方法的性能和泛化能力大大优于传统的时间序列符号表示方法和特定于任务的深度学习模型。
2017-12-27 cs.CY cs.LG
Boosting Object Representation Learning via Motion and Object Continuity
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
本文提出MOC方案,通过光流位置先验和跨帧对比连续性损失,利用运动与物体连续性提升无监督多物体检测模型的物体表示质量,在Atari游戏等下游任务中显著改善物体发现、收敛速度与潜在表示。
2024-02-21 cs.CV cs.LG
Behavior From the Void: Unsupervised Active Pre-Training
UC Berkeley(加州大学伯克利分校)
我们引入了一种新的无监督预训练方法用于强化学习,称为APT,代表主动预训练。APT通过在无奖励环境中主动搜索新状态来学习行为和表示。关键的新颖想法是通过最大化在抽象表示空间中计算的非参数熵来探索环境,这避免了具有挑战性的密度建模,因此允许我们的方法在具有高维观测的环境中更好地扩展(例如,图像观察)。我们通过在长时间无监督的预训练阶段后暴露特定于任务的奖励来经验性地评估APT。在Atari游戏中,APT在12个游戏中实现了人类水平的性能,与规范的全监督RL算法相比,获得了极具竞争力的性能。在DMControl套件上,APT在渐进性能和数据效率方面击败了所有基准,并显著提高了从头开始训练极其困难的任务的性能。
2021-10-28 cs.LG
Light-weight probing of unsupervised representations for Reinforcement Learning
AssemblyAI;New York University(纽约大学);Facebook AI Research(Facebook AI研究院)
本文提出利用线性探测作为无监督强化学习表示质量的代理评估任务,在保持与下游RL性能强相关的同时大幅降低计算成本,并据此改进了现有自监督学习方案。
2024-05-31 cs.AI cs.LG
CURL: Contrastive Unsupervised Representations for Reinforcement Learning
University of California, Berkeley, BAIR(加州大学伯克利分校伯克利人工智能研究所)
我们提出了CURL:用于强化学习的对比无监督表示。CURL使用对比学习从原始像素中提取高级特征,并在提取的特征之上执行离线控制。在DeepMind Control Suite和Atari Games的复杂任务中,CURL的性能优于先前基于像素的方法,无论是基于模型的还是无模型的,在100K环境和交互步骤基准测试中分别显示出1.9倍和1.2倍的性能提升。在DeepMind Control Suite上,CURL是第一个基于图像的算法,几乎可以与使用基于状态的特征的方法的样本效率相匹配。我们的代码是开源的,可以在https://github.com/MishaLaskin/curl上找到。
2020-09-21 cs.CV cs.LG stat.ML
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore(尤尼福尔(Uniphore))
本文提出可控意图发现(CDI)框架,通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习,实现人在回路的增量式意图发现,在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG
Robust Unsupervised Multi-Object Tracking in Noisy Environments
Hitachi Central Research Lab(日立中央研究所)
物理过程、摄像机移动和不可预测的环境条件(如灰尘的存在)可能会在视频馈送中引起噪声和伪影。我们观察到,流行的无监督MOT方法依赖于无噪声输入。我们发现,添加少量的人工随机噪声会导致模型性能在基准指标上急剧下降。我们通过引入一个鲁棒的无监督多目标跟踪(MOT)模型AttU-Net来解决这个问题。所提出的单头注意力模型有助于限制噪声的负面影响,通过学习视觉表征在不同的段尺度。AttU-Net在基于变分推理的最先进基线上显示出更好的无监督MOT跟踪性能。我们评估我们的方法在MNIST-MOT和雅达利游戏视频基准。我们还提供了两个扩展的视频数据集:“Kuzushiji-MNIST MOT”,其中包括移动的日本字符和“Fashion-MNIST MOT”,以验证MOT模型的有效性。
2021-06-15 cs.AI cs.CV cs.LG
Reinforcement Learning with Unsupervised Auxiliary Tasks
DeepMind
深度强化学习代理通过直接最大化累积奖励来实现最先进的结果。然而,环境包含更广泛的各种可能的训练信号。在本文中,我们引入了一个代理,也最大化许多其他伪奖励功能,同时通过强化学习。所有这些任务都有一个共同的表现,就像无监督学习一样,在没有外部奖励的情况下继续发展。我们还引入了一种新的机制,将这种表示集中在外部奖励上,以便学习能够快速适应实际任务的最相关方面。我们的代理显着优于以前的国家的最先进的雅达利,平均880\%的专家人类的表现,和一套具有挑战性的第一人称,三维\emph{Labyrinth}任务,导致平均加速学习10 $\times$和平均87\%的专家人类的表现在Labeldoth。
2016-11-16 cs.LG cs.NE
APF+: Boosting adaptive-potential function reinforcement learning methods with a W-shaped network for high-dimensional games
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所);Data61 of CSIRO(澳大利亚联邦科学与工业研究组织Data61)
本文提出APF+,通过W形网络W-Net将像素帧编码为低维表示并结合APF训练DDQN,在20款Atari游戏中显著优于DDQN与ST-DIM变体,并达到接近使用内部真值状态ARI方法的性能。
2025-03-17 cs.AI cs.LG
Pretraining Representations for Data-Efficient Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila(米拉人工智能研究所);HEC Montréal(蒙特利尔高等商学院);CIFAR(加拿大高等研究院);Microsoft Research(微软研究院)
数据效率是深度强化学习的关键挑战。我们通过使用未标记的数据来预训练编码器来解决这个问题,然后对少量特定于任务的数据进行微调。为了鼓励学习表示,捕获底层MDP的各个方面,我们采用了潜在的动态建模和无监督的目标条件RL的组合。当限制在Atari游戏上的10万步交互(相当于两个小时的人类经验)时,我们的方法大大超过了之前将离线表示预训练与特定任务微调相结合的工作,并且与其他需要数量级更多数据的预训练方法相比毫不逊色。我们的方法在与更大的模型以及更多样化、与任务一致的观测数据相结合时表现出了特别的前景--在我们最好的环境中,在Atari上接近人类水平的性能和数据效率。我们在https://github.com/mila-iqia/SGI上提供与此工作相关的代码。
2021-06-09 cs.LG
On Improving Deep Reinforcement Learning for POMDPs
Waterloo, Ontario(滑铁卢(安大略省));Beijing Institute of Technology(北京理工大学)
深度强化学习(RL)最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一,例如,电脑走。然而,在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构,称为特定的深度递归Q网络(ADRQN),以提高在部分可观察域的学习性能。动作由一个完全连接的层编码,并与卷积观测耦合,形成一个动作-观测对。然后,动作-观察对的时间序列由LSTM层集成,LSTM层学习潜在状态,基于此,全连接层计算Q值,如传统的深度Q网络(DQN)。我们证明了我们的新架构的有效性,在几个部分可观察的领域,包括闪烁的雅达利游戏。
2018-05-24 cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
提出部分监督强化学习(PSRL)框架,通过融合监督语义状态和无监督潜在表示作为策略网络输入,在部分可观测环境中提升模型可解释性,同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Deep Recurrent Q-Learning for Partially Observable MDPs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度强化学习为复杂任务提供了熟练的控制器。然而,这些控制器具有有限的内存,并且依赖于能够在每个决策点处感知完整的游戏屏幕。为了解决这些缺点,本文研究了通过用递归LSTM替换第一个卷积后全连接层来向深度Q网络(DQN)添加递归的效果。由此产生的\textit{Deep Recurrent Q-Network}(DRQN),虽然只能看到一个单一的帧在每个时间步,成功地整合信息通过时间和复制DQN的性能标准雅达利游戏和部分观察到的等价物具有闪烁的游戏屏幕。此外,当使用部分观测进行训练并使用增量更完整的观测进行评估时,DRQN的性能随可观测性而变化。相反,当使用完整观测值进行训练并使用部分观测值进行评估时,DRQN的性能下降幅度小于DQN。因此,给定相同的历史长度,递归网络是在DQN的输入层中堆叠帧历史的可行替代方案,虽然递归网络在学习玩游戏时没有系统优势,但如果观察的质量发生变化,递归网络可以在评估时更好地适应。
2017-01-11 cs.LG
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University(克拉克森大学)
深度强化学习是一种用于解决各种环境中问题的技术,从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策,目标是最大化奖励函数,该奖励函数可以包含实现目标的成本和奖励。为了寻路,奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中,多个深度Q网络(DQN)代理被训练在部分可观察的环境中运行,目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作,因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较,以检查每个模型在两种不同类型输入下的能力。通过这种评估,它被证明,具有等效的训练和类似的模型架构,DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
An Unsupervised Video Game Playstyle Metric via State Discretization
National Yang Ming Chiao Tung University(国立阳明交通大学);Pervasive Artificial Intelligence Research (PAIR) Labs(普适人工智能研究(PAIR)实验室);Academia Sinica(中央研究院)
本文提出首个直接从游戏观察和动作中度量玩法风格的无监督指标,通过离散状态表示学习实现,并在多个游戏平台和不同智能体上验证了高准确性。
2021-10-03 cs.AI cs.CV cs.LG
An Unsupervised Domain Adaptation Method for Locating Manipulated Region in partially fake Audio
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系)
针对跨域部分伪造音频篡改区域定位中模型性能因域偏移下降的问题,提出基于混合专家的SDE无监督域自适应方法,通过熵筛选高信息量目标样本并生成标签融入训练,在ADD2023Track2数据集上F1达43.84%,较次优方法相对提升77.2%。
2024-07-11 cs.LG cs.SD eess.AS
Unsupervised Image Restoration Using Partially Linear Denoisers
University of Cambridge(剑桥大学)
基于深度神经网络的方法是各种图像恢复问题的最新技术。标准的监督学习框架需要一组噪声测量和干净图像对,对于这些图像对,恢复模型的输出与地面实况、干净图像之间的距离被最小化。然而,在现实世界的应用中,地面实况图像通常是不可用的或获取起来非常昂贵。我们规避这个问题,提出了一类结构化的降噪,可以分解为一个非线性图像相关的映射,线性噪声相关的长期和一个小的残留项的总和。我们表明,这些去噪器可以只训练噪声图像的条件下,噪声具有零均值和已知的方差。然而,噪声的确切分布并不假定是已知的。我们展示了我们的方法的优越性图像去噪,并证明其扩展到解决其他恢复问题,如盲去模糊的地面真理是不可用的。我们的方法优于一些最近的无监督和自监督深度去噪模型,这些模型不需要干净的图像进行训练。对于盲去模糊问题,该方法,每个图像只使用一个嘈杂和模糊的观察,达到了质量不远的基准数据集上的完全监督同行。
2021-03-30 cs.CV cs.LG eess.IV
Learning to Focus: Prioritizing Informative Histories with Structured Attention Mechanisms in Partially Observable Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
本文针对部分可观测强化学习中标准自注意力均匀分配权重导致效率低下的问题,提出在 UniZero 世界模型的动力学头中引入记忆长度先验和高斯分布先验,并在 Atari 100k 上验证高斯注意力机制可实现 77% 的相对性能提升,证明平滑分布先验比离散记忆窗口更有效。
2025-11-10 cs.AI cs.LG
On Improving Deep Reinforcement Learning for POMDPs
深度强化学习(RL)最近成为在具有完全可观察环境的顺序决策问题中学习的最具竞争力的方法之一,例如,电脑走。然而,在深度RL中处理部分可观察环境的工作很少。我们提出了一种新的架构,称为特定的深度递归Q网络(ADRQN),以提高在部分可观察域的学习性能。动作由一个完全连接的层编码,并与卷积观测耦合,形成一个动作-观测对。然后,动作-观察对的时间序列由LSTM层集成,LSTM层学习潜在状态,基于此,全连接层计算Q值,如传统的深度Q网络(DQN)。我们证明了我们的新架构的有效性,在几个部分可观察的领域,包括闪烁的雅达利游戏。
2018-05-08 cs.LG stat.ML
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习(RL)的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要,其中构建未知环境的表示对于解决任务至关重要。在这里,我们介绍了Bootstrap Latents预测(PBL),这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上,并专注于捕获有关环境动态的结构化信息。具体来说,PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应,使智能体能够更多地了解环境动态的关键方面。此外,通过完全在潜在空间中定义预测任务,PBL提供了使用涉及像素图像,语言指令,奖励等多模态观察的灵活性。我们在实验中表明,PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Do We Need Transformers to Play FPS Video Games?
University of Waterloo(滑铁卢大学)
本文在Doom环境中比较了基于Transformer的DTQN和决策Transformer与传统方法,发现传统方法在在线和离线强化学习任务中均表现更优。
2025-04-24 cs.LG
Stabilizing Unsupervised Environment Design with a Learned Adversary
Meta AI;UCL(伦敦大学学院);University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学)
本研究针对无监督环境设计方法PAIRED的实际性能缺陷提出解决方案,使其达到或超越现有最优水平,验证了基于学习模型直接生成挑战环境的UED方法的潜力,可推动更通用的强化学习智能体训练。
2023-08-22 cs.AI cs.LG
Grounding Aleatoric Uncertainty for Unsupervised Environment Design
UCL(伦敦大学学院);Meta AI;UC Berkeley(加州大学伯克利分校);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所);Inflection AI(Inflection人工智能);Cohere;FLAIR(未来人工智能研究中心)
强化学习(RL)中的自适应课程已被证明可以有效地产生对训练和测试环境之间的差异具有鲁棒性的策略。最近,无监督环境设计(UED)框架将RL课程推广到生成整个环境的序列,从而产生了具有鲁棒的极大极小遗憾属性的新方法。问题是,在部分可观察或随机设置中,最优策略可能取决于预期部署设置中环境的任意参数的地面实况分布,而课程学习必然会改变训练分布。我们将这种现象形式化为随机诱导的协变量偏移(CICS),并描述了它在任意参数下的发生如何导致次优策略。直接从地面实况分布中对这些参数进行采样避免了这个问题,但是阻碍了课程学习。我们提出了SAMPLR,一个极小极大遗憾UED方法,优化地面实况效用函数,即使当底层的训练数据是有偏见的,由于CICS。我们证明,并验证具有挑战性的领域,我们的方法保持最优的地面真理分布下,同时促进整个范围的环境设置的鲁棒性。
2022-10-24 cs.AI cs.LG stat.ML
Recursively Conditional Gaussian for Ordinal Unsupervised Domain Adaptation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学);The Hong Kong Polytechnic University(香港理工大学);Beth Israel Deaconess Medical Center, Harvard Medical School(贝斯以色列女执事医疗中心,哈佛医学院);Carnegie Mellon University(卡内基梅隆大学)
无监督的领域自适应(UDA)算法被广泛应用于解决数据可扩展性问题,而现有的算法主要集中在对离散标签的独立分类上。然而,在许多任务中(例如,医学诊断),标签是离散的并且连续分布。有序分类的UDA需要在潜在空间之前引入非平凡的有序分布。为此,定义了偏序集(poset)来约束隐向量。而不是典型的i.i.d.高斯潜在先验,在这项工作中,递归条件高斯(RCG)集适用于有序约束建模,它允许一个易处理的联合分布先验。此外,我们能够通过一个简单的“三西格玛规则”来控制违反偏序集约束的内容向量的密度。我们明确地将跨域图像分解为一个共享的有序先验诱导有序内容空间和两个独立的源/目标有序无关空间,并且在共享空间上进行自训练,专门用于有序感知域对齐。UDA医学诊断和面部年龄估计的大量实验证明了其有效性。
2021-08-17 cs.AI cs.CV cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg(弗赖堡大学)
在本文中,我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数,该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息,以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络(GAN)框架的自然推广,或者作为正则化信息最大化(RIM)框架的扩展,以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络(或CatGAN)-在合成数据以及具有挑战性的图像分类任务上,证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度,并确定了CatGAN目标和判别聚类算法(如RIM)之间的联系。
2016-04-30 cs.LG stat.ML
AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);City University of Hong Kong(香港城市大学);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
强化学习(RL)的一个实际挑战是如何在面对新环境时快速适应。在本文中,我们提出了一个原则性的框架,自适应RL,称为\textit{AdaRL},可靠和有效地适应跨域的变化与目标域的几个样本,即使在部分可观察的环境。具体来说,我们利用一个简约的图形表示,其特征在于在RL系统中的变量的结构关系。这种图形表示提供了一种紧凑的方式来编码跨域的变化是什么和在哪里,并进一步告知我们为了策略适应的目的而必须考虑的最小变化集。我们表明,通过明确利用这种紧凑的表示来编码变化,我们可以有效地适应目标域的政策,其中只需要几个样本,并避免进一步的政策优化。我们通过一系列实验说明了AdaRL的功效,这些实验改变了Cartpole和Atari游戏的观察,过渡和奖励功能。
2022-03-14 cs.AI cs.LG stat.ML
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Advanced Analytics Institute(高级分析研究所);University of Technology Sydney(悉尼科技大学)
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例,要么从未标记的数据进行无监督学习。相反,我们在这里提出了一种基于深度强化学习的方法,该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常,同时连续地将所学习的异常扩展到新的异常类别(即,未知的异常),通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明,我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN(巴黎第十三大学计算机科学实验室);Université Sorbonne Paris Nord(索邦巴黎北大学);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
尽管变分自编码器(VAE)广泛用于半监督学习,但它们工作的原因仍不清楚。事实上,添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析,我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明,鉴于这一观察结果,有可能获得更精细的控制的效果,无监督的目标上的训练过程。使用重要性加权,我们得到两个新的目标,优先考虑部分观察到的潜在变量,或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进,并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Learning Representations in Model-Free Hierarchical Reinforcement Learning
强化学习(RL)的常用方法受到涉及巨大状态空间和稀疏延迟奖励反馈的大规模应用的严重挑战。分层强化学习(HRL)方法试图通过在多个时间抽象级别上学习动作选择策略来解决这个可扩展性问题。可以通过识别可能作为子目标有用的相对较小的状态集合来进行抽象,与学习相应的技能策略以实现这些子目标相一致。HRL中的子目标发现的许多方法依赖于对环境模型的分析,但是学习这样的模型的需要引入了其自身的规模问题。一旦确定了子目标,就可以通过内在动机来学习技能,引入内部奖励信号来标记子目标的实现。在本文中,我们提出了一种新的无模型的方法,使用增量无监督学习在一个小内存的代理最近的经验(轨迹)的子目标发现。当与内在动机学习机制相结合时,这种方法可以根据环境中的经验学习子目标和技能。因此,我们提供了一个原始的方法,HRL,不需要收购的环境模型,适合大规模的应用。我们证明了我们的方法的效率在两个RL问题与稀疏延迟反馈:一个变种的房间环境和ATARI 2600蒙特祖马的复仇游戏的第一个屏幕。
2019-04-12 cs.AI cs.LG math.OC
Semi-Supervised Generative Adversarial Network for Stress Detection Using Partially Labeled Physiological Data
Vanderbilt University(范德堡大学)
生理测量涉及观察直接或间接归因于人类系统和子系统的规范功能的变量。测量结果可用于检测人的情感状态,其目的诸如改善人机交互。有几种方法可以收集生理数据,但可穿戴传感器是一种常见的非侵入性工具,可用于准确读数。然而,有价值的信息是很难从原始的生理数据中提取,特别是情感状态检测。机器学习技术用于通过标记的生理数据来检测人的情感状态。使用标记数据的一个明显问题是创建准确的标签。需要一位专家来分析参与者的记录形式,并标记具有不同状态(如压力和平静)的部分。虽然昂贵,但这种方法提供了一个完整的数据集,其中包含可用于任何数量的监督算法的标记数据。昂贵的标签带来了一个有趣的问题:我们如何在保持高准确性的同时降低成本?半监督学习(Semi-Supervised Learning,SSL)是解决这一问题的一种有效方法。这些算法允许机器学习模型只使用标记数据的一小部分进行训练(不像无监督的,不使用标签)。他们提供了一种避免昂贵标签的方法。本文比较了一个完全监督算法的SSL上的公共WESAD(可穿戴压力和影响检测)数据集的压力检测。本文表明,半监督算法是一种可行的方法,廉价的情感状态检测系统的准确结果。
2022-10-27 cs.AI cs.LG eess.SP
Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection
Advanced Center for Electrical and Electronic Engineering(先进电子电气工程中心);University of Chile(智利大学)
提出了一种新的用于异常检测的有损因果时间卷积神经网络自编码器。我们的框架使用率失真损失和熵瓶颈来学习任务的压缩潜在表示。使用率失真损失的主要思想是引入表示的灵活性,忽略或变得鲁棒的不太可能的事件与独特的模式,如异常。这些异常表现为独特的失真特征,可以在测试条件下准确检测。这种新的架构允许我们训练一个完全无监督的模型,该模型在从失真分数检测异常时具有很高的准确性,尽管是用一些未标记的异常数据进行训练的。这种设置与许多最先进的无监督方法形成鲜明对比,这些方法要求模型仅在“正常数据”上进行训练。我们认为,这部分违反了异常检测的无监督训练的概念,因为模型使用了一个明智的决策,从异常中选择正常的训练。此外,有证据表明,它也影响模型的泛化能力。我们证明了,在只对正常数据进行训练的范例中取得成功的模型在异常数据注入训练时无法保持稳健。相比之下,我们的基于压缩的方法收敛到一个强大的表示,容忍一些异常失真。通过使用率失真损失的模型实现的鲁棒表示可以用于更现实的无监督异常检测方案中。
2022-12-05 cs.IT cs.LG math.IT
Towards Agent-based Test Support Systems: An Unsupervised Environment Design Approach
Dynamic Research Group(动态研究组);School of Mechanical, Aerospace and Civil Engineering(机械、航空航天与土木工程学院);University of Sheffield(谢菲尔德大学);Siemens Digital Industries Software NV(西门子数字工业软件公司);The Alan Turing Institute(艾伦·图灵研究所)
针对传统静态模态测试设计方法缺乏适应性、损害测试准确性的问题,本研究提出基于智能体的决策支持框架,通过未充分指定的部分可观测马尔可夫决策过程和双课程学习训练通用强化学习智能体,实现动态环境下自适应传感器放置,案例研究验证了其有效性与鲁棒性。
2025-08-19 cs.LG
Semi-supervised learning in unbalanced and heterogeneous networks
Hong Kong University of Science and Technology(香港科技大学)
社区检测是网络分析中的一个热点问题,其主要目的是在网络中进行无监督学习或聚类。近年来,半监督学习越来越受到研究者的关注。在本文中,我们提出了一个新的算法,称为加权逆拉普拉斯(WIL),预测标签的部分标记网络。这个思想来源于随机游动中的首中时,并且在信息传播和正则化框架下都有很好的解释。我们提出了一个部分标记度校正块模型(pDCBM)来描述部分标记网络的生成。我们表明,WIL确保了误分类率的顺序为$O(\frac{1}{d})$的pDCBM与平均度$d=Ω(\log n),$,它可以处理的情况下,更不平衡比传统的拉普拉斯方法。在我们的大多数模拟和真实数据集中,WIL优于其他最先进的方法,特别是在不平衡网络和异构网络中。
2019-01-07 cs.LG cs.SI stat.ML
PAUSE: Positive and Annealed Unlabeled Sentence Embedding
Motherbrain, EQT Group(EQT集团Motherbrain);Modulai
句子嵌入是指一组有效且通用的技术,用于将原始文本转换为数字向量表示,这些数字向量表示可用于广泛的自然语言处理(NLP)应用。这些技术中的大多数都是有监督或无监督的。与无监督方法相比,有监督方法对优化目标的假设较少,通常可以获得更好的结果。然而,训练需要大量的标记句子对,这在许多工业场景中是不可用的。为此,我们提出了一个通用的和端到端的方法-- PAUSE(积极和退火的未标记句子嵌入),能够从部分标记的数据集学习高质量的句子嵌入。我们的实验表明,PAUSE实现,有时超越,国家的最先进的结果,只使用一小部分的标记句子对各种基准任务。当应用于标记样本稀缺的实际工业用例时,PAUSE鼓励我们扩展数据集,而无需大量手动注释工作。
2021-09-07 cs.AI cs.CL cs.LG
Unsupervised Selective Labeling for More Effective Semi-Supervised Learning
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
针对无标记数据下的半监督学习样本标注选择难题,提出基于聚类原型的无监督选择性标注方法,大幅提升标签效率与模型准确率,为高效实用的半监督学习树立了新标准。
2023-08-23 cs.CV cs.LG
An unsupervised tour through the hidden pathways of deep neural networks
SISSA International school for advanced studies(SISSA国际先进研究学校)
本研究通过自主开发的无监督工具探索深度神经网络的隐藏机制,提出Gride方法估计数据本征维度,揭示隐藏层概率密度的语义层级演化规律,并解释了宽网络参数增加仍能提升泛化性的现象。
2025-10-28 cs.LG
Unsupervised Predictive Memory in a Goal-Directed Agent
DeepMind(深度思维)
动物执行目标导向的行为,尽管其传感器的范围和范围有限。为了应对,他们探索环境并储存记忆,保持对目前不可用的重要信息的估计。最近,通过将强化学习(RL)算法与深度神经网络相结合,人工智能(AI)代理已经取得了进展,这些代理学习从感官输入中执行任务,甚至在人类水平上,围绕这些结果的兴奋导致了对相关想法的追求,作为非人类动物学习的解释。然而,我们证明了当代RL算法很难解决简单的任务时,足够的信息是隐藏的传感器的代理,一个属性称为“部分可观察性”。处理部分观察任务的一个明显的要求是访问大量的内存,但我们表明内存是不够的,正确的信息以正确的格式存储是至关重要的。我们开发了一个模型,记忆,RL和推理网络(MERLIN),其中记忆的形成是由预测建模过程指导的。MERLIN有助于解决在3D虚拟现实环境中的任务,其中部分可观测性是严重的,并且必须在长时间内保持存储器。我们的模型展示了一个单一的学习代理架构,可以解决心理学和神经生物学中的典型行为任务,而无需对感官输入的维度或体验的持续时间进行强简化假设。
2018-03-28 cs.LG stat.ML
Neural Predictive Belief Representations
DeepMind(深度思维)
无监督表示学习在许多应用中取得了很好的效果。它是一个特别强大的工具,可以学习具有部分或噪声观测的环境的良好表示。在部分可观察域中,重要的是表示编码一个信念状态,这是迄今为止观察到的足够的统计数据。在本文中,我们研究是否有可能使用现代神经架构来学习这样的信念表示。具体来说,我们专注于一步帧预测和对比预测编码(CPC)的两个变体作为学习表示的目标函数。为了评估这些学习到的表示,我们测试它们在多大程度上可以预测关于环境的底层状态的各种信息,例如,代理在3D迷宫中的位置。我们表明,所有这三种方法都能够学习环境的信念表示,它们不仅编码状态信息,而且还编码其不确定性,这是信念状态的一个重要方面。我们还发现,对于CPC,多步预测和动作调节对于在视觉复杂环境中准确的信念表示是至关重要的。神经表征捕获信念信息的能力有可能刺激部分可观察领域的学习和规划的新进展,其中利用不确定性对于最佳决策至关重要。
2019-08-19 cs.LG stat.ML