How Robust is Unsupervised Representation Learning to Distribution Shift?
University of Oxford(牛津大学);ETH Zurich(苏黎世联邦理工学院)
在监督学习(SL)的背景下,主要讨论了机器学习算法对分布偏移的鲁棒性。因此,缺乏对从无监督方法(诸如自监督学习(SSL)和基于自动编码器的算法(AE))学习的表示对分布偏移的鲁棒性的了解。我们认为,无监督算法的输入驱动的目标,导致表示比SL的目标驱动的目标更强大的分布偏移。我们通过广泛评估SSL和AE在合成和现实分布偏移数据集上的性能来验证这一点。在观察到用于分类的线性层本身可能容易受到虚假相关性的影响之后,我们使用在少量分布外(OOD)数据上训练的线性头部来评估表示,以将学习表示的鲁棒性与线性头部的鲁棒性隔离开来。我们还开发了“可控”的版本,现有的现实域概括数据集的可调程度的分布偏移。这使我们能够研究不同的学习算法的鲁棒性下,通用而现实的分布偏移条件。我们的实验表明,从无监督学习算法中学习到的表示在各种极端和现实的分布偏移下比SL更好地概括。
2022-12-16 cs.LG stat.ML
Unsupervised Heterogeneous Coupling Learning for Categorical Representation
Advanced Analytics Institute, University of Technology Sydney(悉尼科技大学高级分析研究所);Dongguan University of Technology(东莞理工学院)
复杂的分类数据往往与属性和属性值之间的异构关系以及对象之间的耦合是层次耦合的。这种值与对象的耦合是异质的,具有互补和不一致的交互和分布。无标签分类数据的深度表示学习具有挑战性,需要监督值与对象的耦合、互补性和不一致性,需要大数据、解纠缠和高计算能力。这项工作介绍了一个浅,但功能强大的无监督heTerogeneous couplingIng lEarning(UNTIE)的方法,通过解开耦合之间的相互作用,揭示嵌入在每种类型的耦合异构分布来表示耦合的分类数据。UNTIE是有效优化w.r.t.一个核k-means目标函数,用于异构和分层值-对象耦合的无监督表示学习。理论分析表明,UNTIE可以表示具有最大可分性的类别数据,同时有效地表示异构耦合并揭示它们在类别数据中的作用。UNTIE学习的表示在25个具有多样化特征的分类数据集上与最先进的分类表示和深度表示模型相比具有显着的性能改进。
2020-07-21 cs.LG stat.ML
Meta-Learning Update Rules for Unsupervised Representation Learning
Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
无监督学习的一个主要目标是发现对后续任务有用的数据表示,而无需在训练期间访问监督标签。通常,这涉及最小化替代目标,例如生成模型的负对数似然,希望对后续任务有用的表示将作为副作用出现。在这项工作中,我们提出,而不是直接针对稍后所需的任务,通过元学习的无监督学习规则,导致这些任务有用的表示。具体来说,我们的目标是半监督分类性能,我们元学习一种算法-一种无监督的权重更新规则-产生对这项任务有用的表示。此外,我们将我们的无监督更新规则限制为生物激励的神经元局部函数,这使其能够推广到不同的神经网络架构,数据集和数据模式。我们表明,元学习的更新规则产生有用的功能,有时优于现有的无监督学习技术。我们进一步表明,元学习的无监督更新规则推广到具有不同宽度,深度和非线性的训练网络。它还可以推广到对具有随机排列的输入维度的数据进行训练,甚至可以从图像数据集推广到文本任务。
2019-02-26 cs.LG cs.NE stat.ML
On minimal variations for unsupervised representation learning
Meta AI
本文提出将最小变化作为无监督表示学习的统一指导原则,以解释流形学习、扩散映射和自监督学习方法的共同假设,并为改进自监督算法提供实践依据。
2022-11-07 cs.AI cs.LG stat.ML
Tile2Vec: Unsupervised representation learning for spatially distributed data
Stanford University(斯坦福大学)
地理空间分析缺乏像词向量表示和预训练网络这样的方法,这些方法可以显着提高各种自然语言和计算机视觉任务的性能。为了填补这一空白,我们引入了Tile 2 Vec,这是一种无监督的表示学习算法,它将分布假设从自然语言--出现在相似上下文中的单词往往具有相似的含义--扩展到空间分布数据。我们以经验证明,Tile 2 Vec在三个数据集上学习语义有意义的表示。我们学习的表示显著提高了下游分类任务的性能,并且与词向量类似,视觉类比可以通过潜在空间中的简单算法获得。
2018-05-30 cs.CV cs.LG stat.ML
On Pitfalls of Identifiability in Unsupervised Learning. A Note on: "Desiderata for Representation Learning: A Causal Perspective"
模型的可识别性是无监督表示学习中的一个理想属性。在没有它的情况下,不同的模型可能在观测上无法区分,同时产生彼此非平凡相关的表示,从而使得恢复地面真实生成模型从根本上是不可能的,正如通常通过适当构造的反例所示的那样。在本文中,我们讨论了这样一个构造,说明了Wang & Jordan(2021)的“Desiderata for Representation Learning:A Causal Perspective”中提出的可识别性结果的潜在失败案例。该构造基于非线性独立成分分析理论。我们评论的影响,这个和其他反例可识别的表征学习。
2022-02-14 cs.AI cs.LG stat.ML
Unsupervised Representation for EHR Signals and Codes as Patient Status Vector
University of California Los Angeles(加州大学洛杉矶分校)
电子健康记录的有效建模提出了许多挑战,因为它们包含大量的不规则性,其中大部分是由于患者可能具有的不同程序和诊断。尽管机器学习最近取得了进展,但无监督学习在很大程度上仍然是开放的,特别是在医疗保健领域。在这项工作中,我们提出了一个两步无监督的表示学习计划总结的多模态临床时间序列组成的信号和医疗代码到一个病人的状态向量。首先,使用自动编码器步骤将稀疏医学代码和临床时间序列减少到分布式表示中。随后,使用预测任务进一步微调分布式表示的级联。我们评估了两个下游任务的代表性的有用性:死亡率和再入院。我们提出的方法显示出改善的泛化性能,短期ICU访问和长期ICU访问。
2019-10-04 cs.AI cs.LG stat.ML
CURL: Co-trained Unsupervised Representation Learning for Image Classification
University of Milano-Bicocca(米兰比可卡大学);University of Pavia(帕维亚大学)
在本文中,我们提出了一种半监督图像分类策略,利用无监督表示学习和协同训练。该策略被称为CURL,来自Co-trained Unsupervised表示学习,迭代地在数据的两个不同视图上构建两个分类器。这两个视图对应于从标记和未标记数据中学习的不同表示,并且在用于组合图像特征的融合方案中不同。为了评估我们的建议的性能,我们进行了广泛使用的场景和对象识别的数据集上的几个实验。我们考虑了三种情况(归纳,转导和自学),在利用未标记的数据所遵循的策略不同。作为图像特征,我们考虑了GIST、PHOG和LBP的组合以及从卷积神经网络提取的特征。此外,研究了CURL的两个实施例:一个使用Entrance Projection作为与Logistic回归耦合的无监督表示学习,一个基于LapSVM。实验结果表明,CURL明显优于现有技术中的其他监督和半监督学习方法。
2015-09-11 cs.CV cs.LG stat.ML
Unsupervised Representation Learning of Structured Radio Communication Signals
Virginia Tech(弗吉尼亚理工大学);Corgan Labs(科根实验室)
我们探讨无线电通信信号的无监督表示学习在原始采样时间序列表示。我们证明了我们可以使用卷积自编码器学习调制基函数,并直观地识别它们与数字通信中使用的分析基的关系。我们还提出和评估量化metrics的编码质量使用域相关的性能指标。
2016-04-24 cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University(首尔大学);University of Birmingham(伯明翰大学)
大多数关于双曲嵌入的现有文献集中在监督学习上,而非监督双曲嵌入的使用则较少被探索。在本文中,我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中,我们设计了一种新的双曲消息传递自动编码器,其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析,我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
Unsupervised Scalable Representation Learning for Multivariate Time Series
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);EPFL(洛桑联邦理工学院);Ecole Polytechnique(巴黎综合理工学院)
时间序列是机器学习算法的一种具有挑战性的数据类型,因为它们在实践中具有高度可变的长度和稀疏的标记。在本文中,我们通过提出一种无监督的方法来学习时间序列的通用嵌入来应对这一挑战。与以前的作品不同,它是可扩展的,就其长度而言,我们证明了质量,可移植性和实用性的学习表示与彻底的实验和比较。为此,我们结合了一个编码器的基础上因果扩张卷积与一个新的三重损失,采用基于时间的负采样,获得通用的表示为可变长度和多变量时间序列。
2020-01-03 cs.LG cs.NE stat.ML
Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
New York University(纽约大学)
本文提出了一种新的目标函数,用于神经网络句子编码器的无监督训练。它利用段落级语篇连贯的信号来训练这些模型理解文本。我们的目标是纯粹的歧视,使我们能够训练模型比以前的方法快很多倍,它产生的模型,表现良好的外部评估。
2017-04-23 cs.CL cs.LG cs.NE
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University(国立台湾大学);Mila-Quebec Institute for Learning Algorithms(米拉-魁北克学习算法研究所);Harvard University(哈佛大学);Aalto University(阿尔托大学);HEC Montreal(蒙特利尔高等商学院)
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的,但有效地获得固定长度的表示图,但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型(例如graph2vec)的方法,但它们往往只考虑某些子结构(例如子树)作为图的代表。受无监督表示学习最新进展的启发,本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息(例如,节点、边、三角形)。通过这样做,图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外,我们还提出了InfoGraph*,这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此,监督编码器从未标记的数据中学习,同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明,InfoGraph优于最先进的基线,InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena(锡耶纳大学);University of Firenze(佛罗伦萨大学)
在过去的几年中,神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征,也被称为“嵌入”,从无监督的大型语料库中学习,它们可以被转移到不同的任务中,在性能方面具有积极的影响,特别是当只有少数监督可用时。在这项工作中,我们进一步扩展了这一概念,并提出了一种无监督的神经架构,它可以联合学习单词和上下文嵌入,将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误,并避免需要固定大小的单词输入词汇表。我们表明,我们可以学习紧凑的编码器,尽管参数数量相对较少,但在下游任务中达到高水平的性能,将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
ESimCSE Unsupervised Contrastive Learning Jointly with UDA Semi-Supervised Learning for Large Label System Text Classification Mode
China Telecom Corporation Limited Chongqing Branch(中国电信集团有限公司重庆分公司)
针对大标签体系文本分类中标签多、分布不均和噪声高的问题,提出联合训练ESimCSE与UDA并引入FGM、PGD对抗训练,显著提升公开及业务数据集准确率。
2023-04-19 cs.CL cs.LG
AttrE2vec: Unsupervised Attributed Edge Representation Learning
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);University of Notre Dame(圣母大学)
表示学习通过(无监督)特征学习克服了通常艰苦和手动的网络特征化,因为它产生了可以应用于各种下游学习任务的嵌入。图上的表示学习的焦点主要集中在浅层(以节点为中心)或深层(基于图)学习方法上。虽然已经有方法可以在具有多类型节点和边的同构和异构网络上工作,但在学习边表示方面存在差距。本文提出了一种新的无监督归纳方法AttrE2Vec,它学习属性网络中边的低维向量表示。它系统地捕捉拓扑接近,属性的亲和力,和功能的相似性的边缘。与当前边缘嵌入研究的进展相反,我们的建议扩展了提供边缘表示的方法的主体,以归纳和无监督的方式捕获图形属性。实验结果表明,与当代方法相比,我们的方法构建了更强大的边缘向量表示,反映在下游任务中的边缘分类和边缘聚类的质量指标(AUC,准确性)更高。这也证实了通过分析低维嵌入投影。
2020-12-29 cs.LG
Unsupervised Representation Learning for Time Series: A Review
Shandong University(山东大学);A*STAR(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本文系统综述了时间序列无监督表示学习方法,开发了统一标准化库ULTS,并在9个真实数据集上评估了多种先进方法,探讨了实际考量与未来研究挑战。
2023-08-03 cs.AI cs.LG
Robustness of Unsupervised Representation Learning without Labels
University of Oxford(牛津大学)
无监督表示学习利用大型未标记数据集,并与监督学习竞争。但非鲁棒编码器可能会影响下游任务的鲁棒性。最近,鲁棒表示编码器已成为兴趣。尽管如此,所有先前的工作使用下游分类任务来评估鲁棒性。相反,我们提出了一个家庭的无监督的鲁棒性措施,这是模型和任务不可知和标签。我们基准国家的最先进的代表性编码器,并表明,没有占主导地位的休息。我们提供了FGSM和PGD攻击的无监督扩展。当用于对抗训练时,它们可以改善大多数无监督的鲁棒性措施,包括认证的鲁棒性。我们对线性探针验证了我们的结果,并表明,对于MOCOv2,对抗性训练的结果是认证准确率的3倍,模拟攻击成功率的2倍下降,以及认证鲁棒性的显著提高。
2022-10-08 cs.AI cs.LG
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto(多伦多大学);PricewaterhouseCoopers(普华永道)
提出了一种新的半监督集成算法XGBOD(Extreme梯度提升Outlier Detection),描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势,通过创建一个混合的方法,利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示,以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比,竞争的个人检测器,完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
BBOmix: A Tabular Benchmark for Hyperparameter Optimization of Unsupervised Biological Representation Learning
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据与人工智能研究中心);Leipzig University(莱比锡大学);ELLIS Institute(ELLIS研究所)
针对高通量测序产生的组学数据,提出首个开源表格基准BBOmix,包含105,000次评估,涵盖四种自编码器架构和七种多组学模态,用于无监督表示学习的超参数优化。
2026-06-03 cs.LG
Evolving Losses for Unsupervised Video Representation Learning
Research at Google(谷歌研究(Research at Google))
我们提出了一种新的方法来学习视频表示从大规模的未标记的视频数据。理想情况下,这种表示将是通用的和可转移的,可直接用于新的任务,如动作识别和零或少样本学习。我们将无监督表示学习表述为一个多模态、多任务的学习问题,其中表示通过蒸馏在不同模态之间共享。此外,我们引入了损失函数进化的概念,通过使用进化搜索算法来自动找到捕获许多(自监督)任务和模态的损失函数的最佳组合。第三,我们提出了一个无监督的表示评价指标使用分布匹配到一个大的未标记的数据集作为先验约束,基于齐普夫定律。这种不受任何标签指导的无监督约束产生了与弱监督的特定任务类似的结果。提出的无监督表示学习的结果在一个单一的RGB网络,并优于以前的方法。值得注意的是,它也比几种基于标记的方法更有效(例如,ImageNet),除了大型的、完全标记的视频数据集。
2020-02-26 cs.CV cs.LG
UNR-Explainer: Counterfactual Explanations for Unsupervised Node Representation Learning Models
Department of Artificial Intelligence(人工智能系)
本文提出UNR-Explainer,一种基于蒙特卡洛树搜索的反事实解释生成方法,用于无监督节点表示学习模型,通过识别关键子图来提升对下游任务如链接预测和聚类的理解。
2026-05-17 cs.AI cs.LG
CULT: Continual Unsupervised Learning with Typicality-Based Environment Detection
Brandeis University(布兰迪斯大学)
我们介绍了CULT(连续无监督表示学习与基于典型性的环境检测),一种新的算法,连续无监督学习与变分自动编码器。CULT在VAE的潜在空间中使用一个简单的典型性度量来检测环境中的分布变化,该度量与生成重放和辅助环境分类器结合使用,以限制无监督表示学习中的灾难性遗忘。在我们的实验中,CULT显著优于基线连续无监督学习方法。本文的代码可以在这里找到:https://github.com/oliveradk/cult
2022-07-17 cs.LG
Motif Mining and Unsupervised Representation Learning for BirdCLEF 2022
Georgia Institute of Technology(佐治亚理工学院)
本研究面向BirdCLEF 2022挑战赛,通过对音频模体频谱图施加三元组损失实现训练数据的无监督表示,构建分类模型,最佳模型在公开排行榜取得0.48分的成绩。
2022-06-08 cs.LG cs.SD eess.AS
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo(东京大学);RIKEN(日本理化学研究所);Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
对比无监督表示学习(CURL)是从未标记数据中学习表示(作为一组特征)的最先进技术。虽然CURL最近取得了一些经验上的成功,但仍然缺乏对其性能的理论理解。在最近的一项工作中,Arora et al.(2019)提供了CURL的第一个泛化边界,依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置,使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL,然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明,我们的算法达到了有竞争力的精度,并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
Unsupervised Visual Time-Series Representation Learning and Clustering
Queensland University of Technology(昆士兰科技大学)
时间序列数据无处不在地从物联网(IoT)基础设施、连接和可穿戴设备、遥感、自动驾驶研究以及大量的音频视频通信中产生。本文探讨了这些时间序列的无监督表示学习的潜力。在本文中,我们使用一种新的数据转换以及新的无监督学习机制将学习从其他领域转移到时间序列,其中前者具有在非常大的标记数据集上进行大量训练的广泛模型。我们进行了广泛的实验,以证明所提出的方法,通过时间序列聚类的潜力。
2021-11-19 cs.AI cs.LG
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA(东北大学)
本文提出双掩码自编码器DMAE,通过重建掩码值与教师引导的潜在表示估计及特征对齐约束,实现无监督多元时间序列表示学习,并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Towards Building A Group-based Unsupervised Representation Disentanglement Framework
Xi’an Jiaotong University(西安交通大学);HKUST(香港科技大学);Microsoft Research Asia(微软亚洲研究院);EIT(电子与信息技术研究所)
解纠缠的表示学习是深度学习的主要目标之一,是实现可解释和可推广模型的关键步骤。基于VAE的无监督去纠缠方法是实现无监督去纠缠的一组流行方法,但缺乏明确的理论保证。基于群论的表示解纠缠的定义在数学上将数据转换与使用群的形式主义的表示联系起来。在本文中,建立在基于组的定义和启发的第n个二面角群,我们首先提出了一个理论框架,实现无监督表示解纠缠。然后,我们提出了一个模型,基于现有的基于VAE的方法,以解决框架的无监督学习问题。在理论框架中,我们证明了三个充分条件模型,组结构,数据分别在努力实现,在无监督的方式,每基于组的定义解开表示。在满足前两个条件和第三个条件的必要条件的情况下,我们从基于组的定义的角度为现有的基于VAE的模型提供了额外的约束。实验上,我们训练1800模型,涵盖了最突出的基于VAE的方法在五个数据集上,以验证我们的理论框架的有效性。与原始的基于VAE的方法相比,这些分组的VAE始终以较小的方差实现更好的平均性能。
2022-03-15 cs.CV cs.LG
Towards Explanation for Unsupervised Graph-Level Representation Learning
Xi’an Jiaotong University(西安交通大学);University of Waterloo(滑铁卢大学);University of Virginia(弗吉尼亚大学);University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
由于图神经网络(GNNs)在各个领域的优越性能,人们对GNN解释问题“\emph{which fraction of the input graph is the most crucial to decide the model's decision?}“越来越感兴趣。现有的解释方法主要集中在有监督的设置、\eg、节点分类和图分类等方面,而对无监督的图级表示学习的解释还没有得到研究。图形表示的不透明性在部署用于高风险决策场景时可能会导致意想不到的风险。在本文中,我们提出的信息瓶颈原则(IB),以解决所提出的解释问题的无监督图表示,这导致了一个新的原则,\textit{Unsupervised Subgraph Information Bottleneck}(USIB)。我们还从理论上分析了图表示和解释子图在标签空间上的联系,揭示了表示的表达性和鲁棒性有利于解释子图的保真度。在合成数据集和真实数据集上的实验结果证明了我们开发的解释器的优越性和理论分析的有效性。
2022-07-01 cs.AI cs.LG
An unsupervised cluster-level based method for learning node representations of heterogeneous graphs in scientific papers
Beijing University of Posts and Telecommunications(北京邮电大学)
学习科技论文数据的知识表示是一个亟待解决的问题,而如何学习科技论文异构网络中论文节点的表示是解决这一问题的核心。提出一种无监督聚类级的科技论文异构图节点表示学习方法(UCHL),旨在获取节点(作者、机构、论文等)的表示在科学论文的异质性图表中。本文在异构图表示的基础上,对整个异构图进行链接预测,得到节点边之间的关系,即论文与论文之间的关系。实验结果表明,该方法在真实科学论文数据集上的多个评价指标上取得了良好的性能。
2022-03-31 cs.AI cs.LG
A Brief Overview of Unsupervised Neural Speech Representation Learning
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti;Pioneer Centre for AI(AI先锋中心)
在过去的几年里,用于语音处理的无监督表示学习已经非常成熟。计算机视觉和自然语言处理方面的工作已经铺平了道路,但语音数据带来了独特的挑战。因此,来自其他域的方法很少直接转换。我们回顾了过去十年来语音无监督表示学习的发展。我们确定了两个主要的模型类别:自我监督的方法和概率潜变量模型。我们描述了模型,并制定了一个全面的分类。最后,我们讨论和比较两类模型。
2022-03-01 cs.LG cs.SD eess.AS
A Unified Mixture-View Framework for Unsupervised Representation Learning
Meituan(美团);The Chinese University of Hong Kong(香港中文大学)
最近的无监督对比表示学习遵循单实例多视图(SIM)范例,其中通常使用图像内数据增强来构造正对。在本文中,我们提出了一种有效的方法称为超越单实例多视图(BSIM)。具体来说,我们通过测量两个随机采样的实例及其混合物(即假阳性对)之间的联合相似性来实现更准确的实例鉴别能力。我们认为,学习联合相似性有助于提高性能时,编码的功能更均匀地分布在潜在的空间。我们将其应用于无监督对比表示学习的正交改进,包括当前优秀的方法Simplified,MoCo和BYOL。我们在许多下游基准上评估了我们学习的表示,如ImageNet-1 k和PASCAL VOC 2007上的线性分类,MS COCO 2017和VOC上的目标检测等。
2022-10-10 cs.CV cs.LG
Multi-Granularity Framework for Unsupervised Representation Learning of Time Series
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Graduate School of Science and Technology, Kyoto Institute of Technology(京都工业大学科学技术研究科)
针对现有时间序列无监督表征学习未考虑多粒度可变性、信息利用不足加剧数据混淆的问题,提出含跨粒度transformer、检索训练任务与新型损失函数的多粒度框架,性能优于现有模型。
2023-12-12 cs.AI cs.LG
Unsupervised Representation Learning in Partially Observable Atari Games
University of Oslo(奥斯陆大学);University of Agder(阿格德大学);Oslo Metropolitan University(奥斯陆城市大学)
状态表示学习旨在捕捉环境中潜在的因素。在以前的状态表示学习研究中,对比方法比生成模型表现得更好。尽管一些研究者已经意识到了掩码图像建模和对比表示学习之间的联系,但他们的努力主要集中在使用掩模作为增强技术来更好地表示潜在的生成因素。强化学习中的部分可观察环境尚未使用无监督状态表示学习方法进行仔细研究。在这篇文章中,我们创建了一个无监督的状态表示学习计划的部分可观察的状态。我们在以前的Atari 2600框架上进行了实验,该框架旨在评估表示学习模型。一种名为Spatiotemporal DeepInfomax(ST-DIM)的对比方法在这个基准测试中表现出了最先进的性能,但仍然不如其监督的对应方法。我们的方法在环境不完全可观察时改进了ST-DIM,并获得了比监督学习更高的F1分数和准确性分数。我们的方法在类别上的平均准确率得分为~ 66%,而监督学习为~38%。平均F1评分为~64%至~ 33%。
2023-03-13 cs.AI cs.LG
SUVR: A Search-based Approach to Unsupervised Visual Representation Learning
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院)
提出基于搜索的无监督视觉表示学习方法SUVR,通过图遍历探索正样本并从全数据集抽取负样本,在五个基准数据集上显著优于竞争方法。
2023-05-24 cs.CV cs.LG
Exploiting Invertible Decoders for Unsupervised Sentence Representation Learning
UC San Diego(加州大学圣地亚哥分校)
用于无监督句子表示学习的编码器-解码器模型在大型未标记语料库上训练之后倾向于丢弃解码器,因为仅需要编码器将输入句子映射到向量表示。然而,在解码器中学习的参数也包含关于语言的有用信息。为了利用学习后的解码器,我们提出了两种类型的解码功能,其逆可以很容易地得出,而无需昂贵的逆计算。因此,解码函数的逆函数充当产生句子表示的另一个编码器。我们表明,精心设计的解码功能,该模型学习良好的句子表示,和合奏的表示产生的编码器和逆解码器表现出更好的泛化能力和坚实的可转移性。
2019-05-31 cs.CL cs.LG cs.NE
Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
深度学习模型难以进行组合泛化,即识别或生成观察到的基本概念的新颖组合的能力。为了实现组合泛化,已经提出了各种无监督学习算法,这些算法具有归纳偏差,旨在诱导学习表示中的组合结构(例如,解纠缠表示和涌现语言学习)。在这项工作中,我们评估这些无监督学习算法,以及他们如何使组合泛化。具体来说,我们的评估协议侧重于是否很容易训练一个简单的模型上学习的表示,推广到新的组合成分的因素。我们系统地研究了三种无监督的表示学习算法- $β$ -VAE,$β$ -TCVAE和紧急语言(EL)自动编码器-在两个数据集上,允许直接测试组合泛化。我们发现,直接使用简单模型和少量标签的瓶颈表示可能会导致比使用学习表示本身之前或之后的层表示更差的泛化。此外,我们发现,以前提出的指标,用于评估水平的组合性不相关的实际组成概括在我们的框架。令人惊讶的是,我们发现,越来越多的压力,以产生一个解开的表示产生的表示与更差的泛化,而表示从EL模型显示出强大的组成泛化。综上所述,我们的研究结果揭示了不同的无监督学习算法的合成泛化行为,并提出了一个新的设置,以严格测试这种行为,并建议delevoping EL学习算法的潜在好处,更概括的表示。
2022-10-05 cs.AI cs.CV cs.LG
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语境化的词表示,如ELMo和BERT,表现出良好的各种语义和句法任务。在这项工作中,我们解决了神经语言表示中语义和结构之间的无监督解开的任务:我们的目标是学习上下文化向量的转换,丢弃词汇语义,但保留结构信息。为此,我们自动生成结构相似但语义不同的句子组,并使用度量学习方法来学习强调编码在向量中的结构成分的转换。我们证明了我们的转换集群向量在空间中的结构属性,而不是词汇语义。最后,我们证明了我们的蒸馏表示的效用,表明他们优于原来的上下文表示在一个Few-Shot解析设置。
2021-03-11 cs.CL cs.LG
Spiking neural networks with Hebbian plasticity for unsupervised representation learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学);Digital Futures(数字未来机构)
提出一种将BCPNN转换为脉冲神经网络的方法,利用Hebbian可塑性进行无监督表示学习,在MNIST和F-MNIST上性能接近非脉冲模型并具竞争力。
2023-05-10 cs.LG cs.NE
Sampling strategies in Siamese Networks for unsupervised speech representation learning
PSL Research University(巴黎文理研究大学);Facebook A.I. Research(Facebook人工智能研究院);University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
最近的研究已经调查了siamese网络结构,用于在单词级别使用相同-不同的边信息来学习不变的语音表示。在这里,我们系统地研究了连体网络中一个经常被忽视的组成部分:采样过程(如何选择相同和不同的令牌对)。我们发现,抽样策略考虑到齐普夫定律,扬声器的分布和相同和不同的词对的比例显着影响网络的性能。特别是,我们表明,词频压缩在训练对数量的大范围变化中改善了学习。这种效果并不适用于相同程度的完全无监督设置,其中相同不同的单词对是通过口语术语发现获得的。我们将这些结果应用于使用无监督算法发现的单词对,并显示出使用siamese网络的无监督表示学习的最新技术的改进。
2018-08-23 cs.CL cs.LG
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition
National Laboratory of Pattern Recognition, CASIA, Beijing, China(中国科学院自动化研究所模式识别国家重点实验室,北京,中国);CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China(中国科学院脑科学与智能技术卓越创新中心,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国)
语音情感识别的现有工作利用各种无监督学习方法来处理低资源样本。然而,这些方法没有注意到长期的动态依赖性,这是语音情感识别的重要建模。为了解决这个问题,本文将无监督表示学习策略-未来观察预测(FOP)与迁移学习方法(如微调和Hypercolumns)相结合。为了验证该方法的有效性,我们在IEMOCAP数据库上进行了实验。实验结果表明,我们的方法优于目前先进的无监督学习策略。
2019-10-24 cs.LG cs.SD eess.AS
Joint Unsupervised Learning of Deep Representations and Image Clusters
Virginia Tech(弗吉尼亚理工大学)
在本文中,我们提出了一个循环的框架,联合无监督学习(JULE)的深度表示和图像集群。在我们的框架中,聚类算法中的连续操作表示为递归过程中的步骤,堆叠在卷积神经网络(CNN)输出的表示之上。在训练过程中,图像聚类和表示联合更新:图像聚类在前向传递中进行,而表示学习在后向传递中进行。这个框架背后的核心思想是,良好的表示有利于图像聚类,聚类结果为表示学习提供监督信号。通过将两个过程集成到具有统一加权三重损失的单个模型中并对其进行端到端优化,我们不仅可以获得更强大的表示,还可以获得更精确的图像聚类。大量的实验表明,我们的方法优于国家的最先进的图像聚类在各种图像数据集。此外,学习到的表征在转移到其他任务时具有很好的泛化能力。
2016-06-20 cs.CV cs.LG
Unsupervised Multimodal Representation Learning across Medical Images and Reports
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显著的益处,范围从跨域检索到报告的条件生成,再到多模态表示学习的更广泛目标。在这项工作中,我们建立了基线联合嵌入结果测量通过本地和全球检索方法即将发布的MIMIC-CXR数据集,包括胸部X射线图像和相关的放射学报告。我们研究了监督和无监督的方法在这个任务上,并表明,对于学习表示的文档检索任务,只需要有限的监督量产生的结果相比,完全监督的方法。
2018-11-21 cs.CL cs.LG
Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本论文从学习、评估和迁移三个角度推进无监督视觉表示学习,提出无需反向传播的CSNNs、目标无关的表示评估指标、CARLANE域适应基准及内容一致的图像翻译方法。
2023-11-30 cs.AI cs.CV cs.GR
A Causal Ordering Prior for Unsupervised Representation Learning
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院)
针对无监督表示学习中潜变量独立性假设过强的问题,提出基于潜变量加性噪声模型与 Hessian 损失的因果排序先验,实现无需辅助信息或干预数据的完全无监督因果表示学习。
2023-07-11 cs.AI cs.CV cs.LG
A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
Facebook AI Research (FAIR)(脸书人工智能研究院(FAIR))
我们提出了一个大规模的研究无监督时空表示学习从视频。通过对最近四个基于图像的框架的统一观点,我们研究了一个简单的目标,可以很容易地将所有这些方法推广到时空。我们的目标鼓励在同一视频中使用时间持久性特征,尽管它很简单,但它在以下几个方面的效果令人惊讶:(i)不同的无监督框架,(ii)预训练数据集,(iii)下游数据集,以及(iv)骨干架构。我们从这项研究中得出了一系列有趣的观察结果,例如,我们发现,即使时间跨度是60秒,鼓励长跨度的持久性也是有效的。除了在多个基准测试中获得最先进的结果外,我们还报告了一些有希望的案例,其中无监督的预训练可以优于有监督的预训练。代码可在https://github.com/facebookresearch/SlowFast上获得
2021-04-29 cs.AI cs.CV cs.LG
A Computational Model of Representation Learning in the Brain Cortex, Integrating Unsupervised and Reinforcement Learning
National Research Council of Italy(意大利国家研究委员会);Institute of Cognitive Sciences and Technologies(认知科学与技术研究所);University of Plymouth(普利茅斯大学)
关于大脑学习过程的一个普遍观点认为,三种经典的学习范式--无监督、强化和监督--分别发生在皮层、基底神经节和小脑。然而,通常被认为编码奖赏的多巴胺爆发并不限于基底神经节,也会到达前额皮质、运动皮质和高级感觉皮质。我们认为,在大脑皮层中,同样的基于奖励的试错过程可能不仅支持运动表征的获得,也支持感觉表征的获得。特别是,奖励信号可以引导与关联学习过程混合的试错过程,以支持更好地服务于下游动作选择的表征的获取。我们用一个整合了无监督学习(对比发散)和强化学习(REINFORCE)的计算模型来测试这个假设的合理性。该模型进行了测试的任务,需要不同的反应,不同的视觉图像分组的类别,涉及颜色,形状或大小。结果表明,无监督和强化学习过程的平衡组合导致最佳性能。事实上,过度的无监督学习往往会低估任务相关特征,而过度的强化学习往往会在最初学习缓慢,然后导致局部极小值。这些结果激发了未来的实证研究类别学习,以调查类似的影响,在纹外视皮层。此外,它们还促进了进一步的计算研究,旨在研究整合无监督和强化学习过程的可能优势。
2021-06-07 cs.LG q-bio.NC
Multiple Object Stitching for Unsupervised Representation Learning
Central South University(中南大学)
本文提出多对象拼接(MOS)方法,通过拼接单对象图像生成对象已知的多对象训练样本,以无标注对象对应改进对比学习表示,并在多个数据集上取得领先性能。
2025-06-09 cs.AI cs.CV cs.LG
Unsupervised Representation Learning of DNA Sequences
Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校)
最近,几种深度学习模型已被用于基于DNA序列的分类任务。通常,这样的任务需要输入长且可变长度的DNA序列。在这项工作中,我们使用一个序列到序列的自动编码器模型,学习一个固定尺寸的长和可变长度的DNA序列在一个无监督的方式的潜在表示。我们定量和定性评估的剪接位点分类的监督任务的学习潜在的代表性。定量评价是在两种不同的设置下进行的。我们的实验表明,这些表示可以被用作功能或先验密切相关的任务,如剪接位点分类。此外,在我们的定性分析中,我们使用模型归因技术集成的特征来推断影响分类准确性的重要序列特征。我们发现,所确定的剪接签名与现有知识相似。
2019-06-07 cs.LG q-bio.GN
Unsupervised Path Representation Learning with Curriculum Negative Sampling
Aalborg University(奥尔堡大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);HEC Montreal(蒙特利尔高等商学院)
路径表示在各种交通应用中是至关重要的,诸如在路径推荐系统中估计路径排名和在导航系统中估计路径行进时间。现有的研究通常以监督的方式学习特定于任务的路径表示,这需要大量的标记训练数据,并且推广到其他任务的能力很差。我们提出了一个无监督学习框架Path InfoMax(PIM)来学习适用于不同下游任务的通用路径表示。我们首先提出一种课程负采样方法,对于每一条输入路径,根据课程学习的原则,产生少量的负路径。接下来,\emph{PIM}采用互信息最大化从全局和局部视图学习路径表示。在全局视图中,PIM区分了输入路径的表示和负路径的表示。在局部视图中,\emph{PIM}将输入路径表示与仅出现在负路径中的节点表示区分开。这使得学习的路径表示能够以不同的尺度对全局和局部信息进行编码。使用两个道路网络数据集对两个下游任务(排名分数估计和行驶时间估计)进行的广泛实验表明,PIM显着优于其他无监督方法,并且还能够用作预训练方法来增强有监督的路径表示学习。
2021-06-17 cs.AI cs.LG
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比,我们的方法旨在为广泛的下游任务保留信息。此外,该模型不需要任何语音或词边界标签,使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能,超过了表面特征和其他监督和无监督方法。进一步的分析表明,我们的模型在不同层捕获了不同级别的语音信息。特别是,较低的层往往对说话者更具辨别力,而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心)
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中,我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此,我们建议使用的借口任务,对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算,然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估,并在两个域中的下游声音事件分类任务,即,使用有限的手动标记的数据,并使用嘈杂的标记数据。我们的研究结果表明,无监督的对比预训练可以减轻数据稀缺的影响,并提高对噪声标签的鲁棒性,优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
Learning Unsupervised Semantic Document Representation for Fine-grained Aspect-based Sentiment Analysis
National Taiwan University(国立台湾大学)
本文提出一种无监督文档表示模型,同时克服序列与非序列方法的弱点,在通用情感分析和细粒度方面级情感分析任务上显著超越现有最优方法。
2024-01-11 cs.AI cs.CL cs.IR
Brain-like approaches to unsupervised learning of hidden representations -- a comparative study
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
隐藏表示的无监督学习是近年来机器学习中最具活力的研究方向之一。在这项工作中,我们研究了类脑贝叶斯置信度验证神经网络(BCPNN)模型,最近扩展到提取稀疏分布的高维表示。使用外部线性分类器研究了在MNIST和Fashion-MNIST数据集上训练时隐藏表示的有用性和类相关可分性,并与其他无监督学习方法(包括受限玻尔兹曼机和自动编码器)进行了比较。
2021-04-16 cs.LG cs.NE