Cancer Gene Profiling through Unsupervised Discovery
精准医疗是医疗保健领域的一种范式转变,严重依赖基因组学数据。然而,生物相互作用的复杂性,大量的基因以及缺乏对数据分析的比较,仍然是临床采用的巨大瓶颈。在本文中,我们介绍了一种新的,自动和无监督的框架来发现低维基因生物标志物。我们的方法是基于LP-稳定性算法,高维中心为基础的无监督聚类算法,提供模块化的度量函数和可扩展性,同时能够自动确定最佳数量的集群。我们的评估包括数学和生物学标准。恢复的签名被应用于各种生物学任务,包括筛选生物学途径和功能,以及表征肿瘤类型和亚型的相关性。不同的距离度量,常用的聚类方法和参考基因签名在文献中使用的定量比较,确认我们的方法的最先进的性能。特别是,我们的签名,这是基于27个基因,报告至少$30$倍更好的数学意义(平均邓恩指数)和25%更好的生物学意义(平均富集蛋白质相互作用)比其他参考聚类方法产生的。最后,我们的签名报告了区分免疫炎性和免疫沙漠肿瘤的有希望的结果,同时报告了92%的肿瘤类型分类的高平衡准确度和68%的肿瘤亚型分类的平均平衡准确度,与参考签名相比,这分别代表了7%和9%的高性能。
2021-02-11 cs.LG q-bio.GN
Detecting immune cells with label-free two-photon autofluorescence and deep learning
Computational Optics Lab, Department of Biomedical Engineering, Duke University(杜克大学生物医学工程系计算光学实验室);Institute of Medical Biotechnology, Department Chemical and Biological Engineering, Friedrich-Alexander University (FAU), Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校化学与生物工程系医学生物技术研究所);Department Medicine I, University Hospital Erlangen(埃尔朗根大学医院第一内科);Department of Pathology, Duke University(杜克大学病理学系);German Center for Immunotherapy, Deutsches Zentrum Immuntherapie (DZI), University Hospital Erlangen(埃尔朗根大学医院德国免疫治疗中心)
本文通过训练卷积神经网络,利用两光子自发荧光对免疫细胞进行无标记分类,展示了低复杂度squeezeNet在二分类和多分类任务中的有效性。
2025-06-17 cs.LG physics.optics
Unsupervised Cognition
Avatar Cognition(Avatar认知)
提出一种基于原语的无监督学习方法,通过构建分布式层次结构表示输入空间,在分类任务上超越现有最先进方法,并展现出类似认知的行为。
2026-06-01 cs.AI cs.LG
Is Meta-Learning Out? Rethinking Unsupervised Few-Shot Classification with Limited Entropy
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
本文提出在有限熵设置下证明 Meta-Learning 比全类训练泛化边界更紧且更鲁棒,并据此提出结合 DBSCAN 和基于稳定性的 meta-scaler 的 MINO 框架,有效提升了无监督少样本和零样本任务的性能。
2025-09-16 cs.AI cs.LG
On Evaluation of Unsupervised Feature Selection for Pattern Classification
Department of Artificial Intelligence, Chung-Ang University, Republic of Korea(人工智能系, Chung-Ang 大学);School of Computer Science and Engineering, Chung-Ang University, Republic of Korea(计算机科学与工程学院, Chung-Ang 大学)
本文通过多标签分类框架重新评估无监督特征选择方法,发现其性能排名与单标签设置有显著差异,表明多标签评估能更公平地比较这些方法。
2026-02-09 cs.AI cs.LG
Mixtures of Unsupervised Lexicon Classification
本文提出一种结合狄利克雷过程的混合矩方法,用于无监督词典分类。
2024-05-27 cs.AI cs.CL cs.CV
Nonparametric Unsupervised Classification
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
无监督分类方法从未标记的数据中学习判别分类器,这已被证明是同时聚类数据和从数据中训练分类器的有效方法。各种无监督分类方法通过以无监督方式学习的分类器获得吸引人的结果。然而,现有的方法没有考虑非监督分类器(非监督SVM除外)的误分类错误,因此没有充分评估非监督分类器的性能。在这项工作中,我们研究了两个流行的分类器,即最近邻分类器(NN)和插件分类器,在无监督分类的设置下的误分类错误。
2013-05-20 cs.LG stat.ML
Combining Supervised and Unsupervised Learning for GIS Classification
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Université d’Avignon et des Pays de Vaucluse(阿维尼翁与沃克吕兹地区大学);INRIA(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室)
本文提出了一种新的混合学习算法的无监督分类任务。我们结合模糊c-均值学习算法和监督版本的Minimerror开发一个混合增量策略,允许无监督分类。我们将这种新方法应用到一个真实世界的数据库中,以了解地理信息系统(GIS)的未标记特征中所包含的信息是否允许很好地分类它。
2009-05-14 cs.LG
An Unsupervised Deep-Learning Method for Fingerprint Classification: the CCAE Network and the Hybrid Clustering Strategy
Dali University(大理大学);People’s Public Security University of China(中国人民公安大学)
在指纹匹配过程中,指纹分类是加快匹配速度、提高匹配精度的一种重要而有效的方法。传统的监督方法需要大量的预标记数据,因此消耗了巨大的人力资源。在本文中,我们提出了一种新的和有效的无监督的深度学习方法,可以自动提取指纹特征和分类指纹模式。在该方法中,一个新的模型命名为约束卷积自动编码器(CCAE)被用来提取指纹特征和混合聚类策略,以获得最终的聚类。在NIST-DB 4数据集上的实验表明,该方法具有较好的分类性能。例如,CCAE在NIST-DB 4中仅对1000个未标记的指纹实现了97.3%的准确度。
2021-09-12 cs.AI cs.CV cs.LG
CNN features are also great at unsupervised classification
Laboratoire des Sciences de l’Information et des Systèmes (CNRS UMR 7296)(信息与系统科学实验室(法国国家科学研究中心 UMR 7296));Arts et Métiers ParisTech(巴黎高等工艺学院)
本文旨在深入了解深度CNN特征对无监督问题的可转移性。我们研究了不同预训练的CNN特征提取器对图像集聚类问题的影响,以进行对象分类和细粒度分类。我们提出了一个相当简单的管道,使用在ImageNet上预训练的CNN和经典的聚类算法对图像集进行分类,结合深度特征提取。这种方法相比,国家的最先进的图像聚类算法,并提供更好的结果。这些结果加强了这样一种信念,即在大型数据集上对深度CNN进行监督训练,具有很大的类别变化性,即使对于无监督任务,也比大多数精心设计的工程方法提取更好的特征。我们还验证了我们的机器人应用程序的方法,包括在分类和存储对象智能的基础上聚类。
2018-09-11 cs.AI cs.CV cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University(克兰菲尔德大学);University of Liverpool(利物浦大学)
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法,包括无监督学习,半监督学习,自学习,文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题,提出了一种新的、简单的无监督文本分类模型,并利用国际贸易标准分类(SITC)代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词,并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型,我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据,采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明,即使在将训练数据集的大小增加30%之后,非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型(如Transformers)成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
Reproducibility Study of CDUL: CLIP-Driven Unsupervised Learning for Multi-Label Image Classification
Visual Geometry Group(视觉几何组);University of Oxford(牛津大学)
本文复现 ICDM 2023 的 CDUL 方法,开源完整实现,并验证 CLIP 伪标签初始化聚合策略与梯度对齐训练在无监督多标签图像分类中的有效性。
2024-05-19 cs.AI cs.CV cs.LG
About contrastive unsupervised representation learning for classification and its convergence
Université de Paris(巴黎大学);Université Paris-Dauphine(巴黎多芬纳大学);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心)
对比表示学习最近被证明是非常有效的自我监督训练。这些方法已成功地用于训练编码器,该编码器对下游分类任务执行监督训练。一些工作已经开始围绕对比学习建立一个理论框架,其中可以证明其性能的保证。我们将这些结果扩展到多个阴性样本的训练和多路分类。此外,我们提供了收敛保证,以最小化过参数化深度神经编码器的梯度下降的对比训练误差,并提供了一些数值实验,以补充我们的理论发现
2020-12-02 cs.AI cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)(Relayr有限公司)
我们提出了一种新的风格的变分自编码器(VAE),无监督,半监督和全监督学习域之间无缝插值。我们表明,未标记的数据点不仅可以提高无监督任务,而且可以提高分类性能。反之亦然,每个标签不仅可以改进分类,还可以改进无监督任务。所提出的架构很简单:分类层连接到最顶层的编码器层,然后与解码器的重采样潜在层相结合。通常的证据下限(ELBO)损失补充了该分类层上的监督损失目标,仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下,我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Hoechst Is All You Need: Lymphocyte Classification with Deep Learning
University of St Andrews(圣安德鲁斯大学)
多重免疫荧光和免疫组织化学通过允许癌症病理学家识别细胞表面表达的几种蛋白质,使细胞分类,更好地了解肿瘤微环境,更准确的诊断,诊断和基于个体患者的免疫状态定制免疫治疗,从而使患者受益。然而,它们是昂贵且耗时的过程,需要专业技术人员进行复杂的染色和成像技术。Hoechst染色更便宜且更容易进行,但通常不用于这种情况,因为它结合DNA而不是免疫荧光技术靶向的蛋白质,并且以前认为不可能仅基于DNA形态区分表达这些蛋白质的细胞。在这项工作中,我们展示了另一种情况,训练一个深度卷积神经网络来识别表达三种蛋白质(T淋巴细胞标志物CD 3和CD 8,以及B淋巴细胞标志物CD 20)的细胞,精确度和召回率超过90%,仅来自Hoechst 33342染色的组织。我们的模型学习了与这些蛋白质表达相关的先前未知的形态学特征,这些特征可用于准确区分淋巴细胞亚型,用于关键的预后指标,如评估免疫细胞浸润,从而预测和改善患者的预后,而无需昂贵的多重免疫荧光。
2021-07-16 cs.AI cs.CV cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven(鲁汶大学)
本研究提出深度图卷积核机器GCKM用于半监督节点分类,由无监督邻域传播核层与半监督分类核模块构成,设计了对偶域端到端训练方案,在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Toward Asymptotic Optimality: Sequential Unsupervised Regression of Density Ratio for Early Classification
NEC Corporation(日本电气股份有限公司)
提出了一种基于理论启发的序贯密度比估计(SDRE)算法,用于时间序列的早期分类。传统的SDRE算法由于内部过归一化问题而不能精确估计DR,这使得基于DR的顺序算法,顺序概率比检验(SPRT),不能达到其渐近贝叶斯最优性。两种新的SPRT算法,B2Bsqrt-TANDEM和TANDEMformer,设计,以避免过度规范化的问题,精确的无监督回归的SDR。这两种算法分别在人工序列高斯数据集和真实数据集(SiW,UCF 101和HMDB 51)上显著降低了DR估计误差和分类误差。该代码可从以下网址获得:https://github.com/Akinori-F-Ebihara/LLR_saturation_problem。
2023-02-20 cs.LG
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景:神经网络由于相关性偏差而产生有偏差的分类结果(它们学习输入和输出之间的相关性以分类样本,即使这些相关性不代表因果关系)。目的:这项研究引入了一种完全无监督的方法来减轻相关性偏差,并在COVID-19社交媒体数据上进行了情感分类。方法:情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此,本研究使用对抗性学习来对比基于情感分类标签的聚类,以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下:与基线分类器相比,神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍,而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法,但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论:神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Unsupervised Star Galaxy Classification with Cascade Variational Auto-Encoder
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);The University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
天文学中数据量的不断增加给机器学习研究带来了巨大的挑战。以前,监督学习方法取得了令人满意的识别精度的恒星星系分类任务的基础上,手动标记的数据集。在这项工作中,我们提出了一种新的无监督的方法的恒星星系识别任务,即级联变分自动编码器(CasVAE)。我们的实证结果表明,我们的方法优于基线模型的准确性和稳定性。
2019-10-30 cs.LG stat.ML
Unsupervised Deep One-Class Classification with Adaptive Threshold based on Training Dynamics
KAIST(韩国科学技术院);Harvard University(哈佛大学);King’s College London(伦敦国王学院)
单类分类已经成为一种流行的方法,在建立深度异常检测模型的假设下,由正常样本组成的数据集是可用的。然而,在实践中,异常样本经常混合在训练数据集中,并且它们会在精神上影响深度模型的训练,这限制了它们的适用性。对于深度实际模型的鲁棒正态性学习,我们提出了一种无监督的深度一类分类,它从伪标记的正态样本中学习正态性,即,单个集群场景中的离群值检测。为此,我们提出了一种伪标记方法,通过基于排名的训练动态选择自适应阈值。在10个异常检测基准上的实验表明,该方法有效地提高了异常检测的性能。
2023-02-13 cs.LG
Cloud Classification with Unsupervised Deep Learning
University of Chicago(芝加哥大学);Argonne National Lab(阿贡国家实验室);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个利用现代无监督深度学习技术的云表征框架。虽然以前基于神经网络的云分类模型使用了监督学习方法,但无监督学习使我们能够避免将模型限制为基于历史云分类方案的人工类别,并能够发现新的,更详细的分类。我们的框架直接从NASA的中分辨率成像光谱仪(MODIS)卫星仪器产生的辐射数据中学习云特征,从数百万张图像中获得云特征,而无需在训练过程中依赖预定义的云类型。我们目前的初步结果表明,我们的方法提取的辐射数据的物理相关信息,并产生有意义的云类。
2022-09-30 cs.LG physics.ao-ph
Unsupervised Ensemble Classification with Sequential and Networked Data
University of Minnesota(明尼苏达大学)
包围学习是一种结合多种算法的机器学习范式,在各种任务中表现出了良好的性能。目前的工作重点是无监督集成分类。术语无监督是指集成组合器不知道每个分类器已经训练过的地面真实标签。数据,目前的工作介绍了一个无监督的计划,从合奏的分类器中存在的数据依赖关系的学习。两种类型的数据依赖关系被认为是:顺序数据和网络数据的依赖关系被捕获的图形。矩匹配和期望最大化算法开发上述情况下,其性能进行评估的合成和真实的数据集。
2020-12-20 cs.LG eess.SP stat.ML
Unsupervised Multi-Task Feature Learning on Point Clouds
Autodesk AI Lab(欧特克人工智能实验室)
我们引入了一个无监督的多任务模型来联合学习点云上的点和形状特征。我们定义了三个无监督的任务,包括聚类,重建和自监督分类训练多尺度基于图的编码器。我们评估我们的模型的形状分类和分割基准。结果表明,它优于现有的最先进的无监督模型:在ModelNet40分类任务中,它实现了89.1%的准确率,在ShapeNet分割任务中,它实现了68.2的mIoU和88.6%的准确率。
2019-10-18 cs.CV cs.LG
Performance analysis of unsupervised feature selection methods
Periyar University(佩里亚尔大学)
特征选择(FS)是试图选择更多信息特征的过程。在某些情况下,过多的冗余或不相关的特征可能会压倒主要特征的分类。特征选择可以弥补这个问题,从而提高预测精度,减少分类算法的计算开销。特征选择的主要目的是从问题域中确定最小特征子集,同时在表示原始特征时保持适当的高精度。在本文中,主成分分析(PCA),粗糙PCA,无监督快速还原(USQR)算法和经验分布排名(EDR)的方法被应用到发现的歧视性特征,这将是最适当的分类。使用标准的分类指标的方法的效率进行评估。
2013-06-06 cs.LG
Semi-unsupervised Learning for Time Series Classification
University of Würzburg(维尔茨堡大学)
时间序列是无处不在的,因此本质上很难分析,并最终标记或聚类。随着物联网(IoT)及其智能设备的兴起,数据在任何给定的时间都被大量收集。收集的数据信息丰富,因为人们可以实时的检测事故(例如汽车),或者在给定的时间跨度内评估受伤/疾病(例如健康设备)。由于其混乱的性质和大量的数据点,时间序列很难手动标记。此外,随着时间的推移,数据中可能会出现新的类别(与手写数字相反),这将需要重新标记数据。在本文中,我们提出了SuSL 4 TS,一个用于半无监督学习的深度生成高斯混合模型,用于对时间序列数据进行分类。通过我们的方法,我们可以减轻手动标记步骤,因为我们可以检测稀疏标记的类(半监督)并识别隐藏在数据中的新兴类(无监督)。我们证明了我们的方法的有效性与建立时间序列分类数据集从不同的领域。
2022-07-13 cs.LG
Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation
Victoria University of Wellington(惠灵顿维多利亚大学);ETH Zürich(苏黎世联邦理工学院)
本文提出了一种基于深度学习的无监督领域自适应视觉目标识别算法。具体来说,我们设计了一个新的模型,称为深度重构-分类网络(DRCN),它联合学习两个任务的共享编码表示:i)标记源数据的监督分类,ii)未标记目标数据的无监督重建。这样,学习的表示不仅保留了可区分性,而且还编码了来自目标域的有用信息。我们的新DRCN模型可以通过使用反向传播进行优化,类似于标准神经网络。我们评估了DRCN在一系列跨域对象识别任务上的性能,其中DRCN比现有的最先进的算法提供了相当大的改进(高达~8%的准确度)。有趣的是,我们还观察到DRCN的重建管道将图像从源域转换为外观类似于目标数据集的图像。这表明DRCN的性能是由于构建了一个单一的复合表示,该表示编码了有关目标图像结构和源图像分类的信息。最后,我们提供了一个正式的分析,证明该算法的目标在领域自适应上下文中。
2016-08-01 cs.AI cs.CV cs.LG
Ensemble of Unsupervised Deep Learning for Clustering Imbalanced Tabular Data
Tennessee State University(田纳西州立大学);Enosis Solutions(伊诺西斯解决方案公司);North Carolina A&T State University(北卡罗来纳农工州立大学)
本文针对不平衡表格数据,提出两种无监督深度聚类集成方法,经16个二分类表格数据集实验,其在ACC、NMI、ARI指标上优于单个方法,可作为监督分类的有力替代方案。
2026-08-04 cs.LG
DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification
Univ. of Electronic Sci & Tech.of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Electronic Science and Technology of China(电子科技大学);Google Inc.(谷歌公司);Singapore Management University(新加坡管理大学)
深度学习的准确性(例如,卷积神经网络)用于图像分类任务关键地依赖于标记的训练数据的量。为了解决一个新领域的图像分类任务,缺乏标记的数据,但获得廉价可用的未标记的数据,无监督领域自适应是一种有前途的技术,以提高性能,而不会产生额外的标记成本,通过假设来自不同领域的图像共享一些不变的特征。在本文中,我们提出了一种新的无监督领域自适应方法,称为深度神经网络的域对抗残差转移(DART)学习,以解决跨域图像分类任务。与现有的无监督域自适应方法相比,所提出的DART不仅通过对抗训练来学习域不变特征,而且还通过残差转移策略来实现鲁棒的域自适应分类,所有这些都在端到端的训练框架中进行。我们评估了所提出的方法的性能跨域图像分类任务的几个著名的基准数据集,其中我们的方法明显优于国家的最先进的方法。
2018-12-30 cs.CV cs.LG
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis(孟菲斯大学)
不同领域的模型在训练和测试时,自然存在着类的不平衡。无监督领域自适应(UDA)增强了模型的性能,只有来自源域的可访问注释和来自目标域的未标记数据。然而,现有的最先进的UDA模型学习域不变表示,并主要评估跨域的类平衡数据。在这项工作中,我们提出了一种无监督的领域自适应方法,通过强化学习,联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务,其易于访问的数据集,并比较所提出的方法与五个基线。在三个数据集上的实验证明,我们提出的方法可以有效地学习鲁棒的域不变表示,并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
Unsupervised Sequence Classification using Sequential Output Statistics
Microsoft Research(微软研究院)
我们考虑使用序列输出统计来学习没有标记数据的序列分类器。该问题是非常有价值的,因为在训练数据中获得标签通常是昂贵的,而顺序输出统计(例如,语言模型)可以独立于输入数据获得,因此成本低或没有成本。为了解决这个问题,我们提出了一个无监督学习成本函数,并研究其性质。我们表明,与早期的作品相比,它是不太倾向于被困在平凡的解决方案,并避免了需要一个强大的生成模型。虽然它的函数形式的优化是困难的,随机原始-对偶梯度法的发展,有效地解决问题。在真实数据集上的实验结果表明,新的无监督学习方法给出了显着低于其他基线方法的错误。具体地说,它达到的测试误差约为完全监督学习的两倍。
2017-05-26 cs.LG
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan(密歇根大学)
无监督学习和监督学习是深度学习的关键研究课题。然而,随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功,大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发,我们通过增强现有神经网络的解码路径来重建,在大规模环境中研究联合监督和无监督学习。首先,我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息,除了一部分局部空间细节。然后,通过对整个增强架构进行端到端的训练,我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器,包括最近提出的“什么地方”的自动编码器,使用编码器池开关,研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线,我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Split Conformal Classification with Unsupervised Calibration
BCAM-Basque Center for Applied Mathematics and IKERBASQUE-Basque Foundation for Science(BCAM巴斯克应用数学中心和IKERBASQUE巴斯克科学基金会)
本文提出一种用于分类任务的无监督校准分裂共形预测方法,利用无监督校准样本和训练样本构建集合预测规则,在性能保证和计算效率适度下降的情况下达到与有监督校准相当的性能。
2025-10-14 cs.LG stat.ML
Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification
本文探讨了元学习在少样本分类中的优势,发现其双层优化策略对标签噪声和异构任务更具鲁棒性,据此提出了结合动态头和无监督异构任务构建的元学习算法 DHM-UHT,在多个无监督数据集上取得了最先进性能。
2024-10-13 cs.LG
Joint cross-domain classification and subspace learning for unsupervised adaptation
KU Leuven(鲁汶大学);iMinds
领域自适应的目的是将源领域中获得的知识适应到新的不同但相关的目标领域。已经提出了几种方法,在无监督的情况下,没有标记的目标数据的分类任务。大部分的注意力都集中在搜索一个新的域不变表示,将预测函数的定义留给第二阶段。在这里,我们建议两者共同学习。具体来说,我们学习最匹配目标子空间的源子空间,同时最小化正则化误分类损失。我们提供了一种基于随机次梯度下降的交替优化技术来解决学习问题,并在几个领域自适应任务上展示了其性能。
2015-04-29 cs.CV cs.LG
A Classification approach towards Unsupervised Learning of Visual Representations
Johnson Controls Inc.(江森自控公司)
在本文中,我们提出了一种技术的无监督学习的视觉表示。具体来说,我们训练一个模型的前景和背景分类任务,在这个过程中,它学习视觉表示。训练的前景和背景补丁来后,挖掘这样的补丁从数以百计和数以千计的未标记的视频在网络上,我们提取使用建议的补丁提取算法。在不使用任何监督的情况下,仅使用150,000个未标记的视频和PASCAL VOC 2007数据集,我们训练了一个达到45.3 mAP的对象识别模型,这接近于性能最好的无监督特征学习技术,但优于许多其他提出的算法。补丁提取的代码是在Matlab中实现的,可在以下链接中获得开源。
2018-06-01 cs.CV cs.LG stat.ML
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University(台湾大学)
从未标记的文本数据中学习连续表示已被越来越多地研究,以利于半监督学习。虽然解释离散表示相对容易,但由于训练的困难,学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN,它学习将文本编码成两个分离的表示,包括离散代码和连续噪声,其中离散代码表示可解释的主题,而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比,建议的TIGAN在六个不同的语料库上取得了优异的性能。此外,性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明,TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Classification under Streaming Emerging New Classes: A Solution using Completely Random Trees
Nanjing University(南京大学);Federation University(联邦大学)
本文研究了流挖掘中的一个重要问题,即,根据流媒体新兴类别或SENC分类。常见的方法是将其视为分类问题,并使用监督学习器或半监督学习器来解决它。我们提出了一种替代方法,通过使用无监督学习作为基础来解决这个问题。SENC问题可以分解为三个子问题:检测新出现的新类,对已知类进行分类,以及更新模型以使新类的实例分类和检测更多新出现的新类。所提出的方法采用完全随机树,已被证明是工作良好的无监督学习和监督学习独立的文献。这是第一次,据我们所知,完全随机树被用作一个单一的公共核心,以解决所有三个子问题:无监督学习,监督学习和数据流中的模型更新。我们表明,所提出的无监督学习为重点的方法往往比现有的分类为重点的方法取得显着更好的结果。
2016-05-30 cs.LG
Semantic Term "Blurring" and Stochastic "Barcoding" for Improved Unsupervised Text Classification
Duke University(杜克大学)
现代社会产生的大量文本数据使得按主题直观地对文本数据进行分组、分类或分类变得越来越重要,以便进行有效的检索和搜索。然而,文本数据的高维性和不精确性,或者更一般地说,语言作为一个整体,在尝试执行无监督文档聚类时被证明是具有挑战性的。在这篇论文中,我们提出了两个新的方法来提高无监督的文档聚类/分类的主题。第一是改进文档表示。我们希望利用“术语邻域”和“模糊”相邻术语的语义权重。这些邻域位于由“词嵌入”提供的语义空间中。第二种方法是基于我们认为的“随机条形码”或“S-条形码”模式进行聚类修正。文本数据本质上是高维的,然而聚类通常发生在低维表示空间中。我们的方法利用低维聚类结果作为初始的集群配置,并迭代修改的配置在高维空间。我们的实验结果表明,这两种方法如何提高文档聚类的质量。虽然这篇论文详细阐述了这两个新的概念贡献,但David Yan的联合论文详细介绍了我们为无监督文档分类开发的特征转换和软件架构。
2018-11-06 cs.CL cs.LG
A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University(博伊西州立大学);University of Delaware(特拉华大学)
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长,需要能够以节能方式(在边缘)实现的深度学习方法。在这项工作中,我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性(STDP)的无监督学习技术,从尖峰输入数据中提取特征。梯度下降(反向传播)仅用于输出层,以执行分类训练。与其他方法相比,平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降(SGD)近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
Unsupervised Adversarial Domain Adaptation Based On The Wasserstein Distance For Acoustic Scene Classification
Tampere University(坦佩雷大学)
基于深度学习的机器监听领域中的一个具有挑战性的问题是当使用来自不可见条件的数据时性能的下降。在本文中,我们专注于声学场景分类(ASC)任务,并提出了一种对抗性的深度学习方法,允许适应声学场景分类系统,以处理由不同记录设备捕获的数据产生的新声道。我们建立在HΔ H距离的理论模型和先前的ASC无监督领域自适应的对抗性判别深度学习方法的基础上,并提出了一种使用Wasserstein距离的基于对抗性训练的方法。我们使用TUT Acoustic Scenes数据集,将来自未知条件的数据的最先进平均准确度从32%提高到45%。
2019-11-06 cs.LG cs.SD eess.AS
Augmenting Monte Carlo Dropout Classification Models with Unsupervised Learning Tasks for Detecting and Diagnosing Out-of-Distribution Faults
University of California, Berkeley(加州大学伯克利分校);RWTH Aachen University(亚琛工业大学);California Institute of Technology(加州理工学院)
蒙特卡罗丢弃方法已被证明是一种可扩展且易于使用的方法,用于估计深度神经网络预测的不确定性。这种方法最近被应用到故障检测和诊断(FDD)的应用,以提高早期故障的分类性能。在本文中,我们提出了一种新的方法,增加了一个额外的无监督学习任务的分类模型。我们证明我们的选择算法设计通过信息理论分析。我们的实验结果表明,从不同的应用领域的三个数据集,所提出的方法导致改进的故障检测和诊断性能,特别是在分布的例子,包括早期和未知的故障。
2019-09-10 cs.LG eess.SP stat.ML
Invariant Information Clustering for Unsupervised Image Classification and Segmentation
University of Oxford(牛津大学)
我们提出了一种新的聚类目标,从头开始学习神经网络分类器,只给未标记的数据样本。该模型发现了准确匹配语义类的聚类,在跨越图像分类和分割的八个无监督聚类基准中实现了最先进的结果。其中包括ImageNet的无监督变体STL 10和CIFAR 10,我们分别以6.6和9.5个绝对百分点的准确率击败了最接近的竞争对手。该方法不专门用于计算机视觉,并对任何配对的数据集样本进行操作;在我们的实验中,我们使用随机变换从每个图像中获得一对。经过训练的网络直接输出语义标签,而不是需要外部处理才能用于语义聚类的高维表示。其目的只是为了最大限度地提高每一对的类分配之间的互信息。它很容易实现,并且严格基于信息论,这意味着我们可以毫不费力地避免其他聚类方法容易受到的退化解决方案。除了完全无监督模式外,我们还测试了两种半监督设置。第一个在STL 10分类上实现了88.8%的准确率,在所有现有方法(无论是监督,半监督还是无监督)中设置了新的全球最先进的方法。第二个显示了标签覆盖率减少90%的鲁棒性,与希望使用少量标签的应用程序相关。github.com/xu-ji/IIC
2019-08-22 cs.CV cs.LG
3D Intracranial Aneurysm Classification and Segmentation via Unsupervised Dual-branch Learning
Deakin University(迪肯大学)
颅内动脉瘤是一种常见的疾病,如何对其进行智能检测对数字化医疗具有重要意义。虽然大多数现有的深度学习研究都以监督的方式关注医学图像,但我们引入了一种基于3D点云数据的颅内动脉瘤检测的无监督方法。特别是,我们的方法包括两个阶段:无监督的预训练和下游任务。对于前者,主要思想是将每个点云与其抖动的对应物配对,并最大化它们的对应性。然后我们设计了一个双分支对比网络,每个分支都有一个编码器,然后有一个公共的投影头。对于后者,我们设计了简单的网络进行监督分类和分割训练。在公共数据集(IntrA)上的实验表明,我们的无监督方法与一些最先进的监督技术相比,具有相当甚至更好的性能,并且在血管异常的检测中表现最为突出。在ModelNet40上的实验也表明,我们的方法达到了90.79%的准确率,优于现有的最先进的无监督模型。
2022-01-17 cs.CV cs.LG eess.IV
Unsupervised Meta-Learning For Few-Shot Image Classification
University of Central Florida(中佛罗里达大学)
分类器的Few-Shot或一次性学习需要对要学习的任务类型有显著的归纳偏差。获得这一点的一种方法是通过对与目标任务类似的任务进行元学习。在本文中,我们提出了UMTRA,一个算法,执行无监督,模型不可知的元学习分类任务。UMTRA的元学习步骤在未标记图像的平面集合上执行。虽然我们假设这些图像可以分为不同的类,并且与目标任务相关,但不需要关于类或任何标签的显式信息。UMTRA使用随机采样和增强来创建元学习阶段的合成训练任务。标签仅在最终目标任务学习步骤中需要,并且它们可以少至每个类一个样本。在Omniglot和Mini-Imagenet的少样本学习基准测试中,UMTRA优于每一种基于表示的无监督学习的测试方法,同时与最近的CACTU算法交替获得最佳性能。与有监督的模型不可知元学习方法相比,UMTRA牺牲了一些分类精度,以减少几个数量级的所需标签。
2019-11-07 cs.CV cs.LG
Unsupervised Mutual Transformer Learning for Multi-Gigapixel Whole Slide Image Classification
Khalifa University of Science and Technology(哈利法科学技术大学);ITU(信息技术大学(巴基斯坦拉合尔));the University of Warwick(华威大学)
针对全切片图像分类依赖人工标注的问题,提出基于互Transformer学习的无监督算法,通过伪标签生成与清理模块互训及判别式学习实现分类,在四个公开数据集上性能优于现有最优方法。
2023-05-03 cs.CV cs.LG
Koos Classification of Vestibular Schwannoma via Image Translation-Based Unsupervised Cross-Modality Domain Adaptation
Shanghai Jiao Tong University(上海交通大学)
Koos分级量表是前庭神经鞘瘤(VS)的分类系统,用于表征肿瘤及其对邻近脑结构的影响。Koos分类捕捉了治疗决策的许多特征,通常用于确定治疗计划。尽管对比增强T1(ceT 1)扫描和高分辨率T2(hrT 2)扫描都可用于Koos分类,但hrT 2扫描因其更高的安全性和成本效益而受到关注。然而,在没有hrT 2扫描注释的情况下,深度学习方法通常不可避免地会因无监督学习而遭受性能降级。如果ceT 1扫描及其注释可用于hrT 2扫描的无监督学习,则使用未标记的hrT 2扫描的Koos分类的性能将大大提高。在这方面,我们提出了一种无监督的跨模态域自适应方法的基础上,图像翻译的转换注释ceT 1扫描到hrT 2模态,并使用其注释,以实现监督学习hrT 2模态。然后,对hrT 2扫描中与Koos分类相关的VS和7个相邻脑结构进行分割。最后,从分割结果中提取手工特征,并使用随机森林分类器对Koos等级进行分类。所提出的方法在跨模态域自适应(crossMoDA 2022)挑战的Koos分类任务中获得了排名1,验证集的宏观平均绝对误差(MA-MAE)为0.2148,测试集为0.26。
2023-03-14 cs.CV cs.LG eess.IV
CURL: Co-trained Unsupervised Representation Learning for Image Classification
University of Milano-Bicocca(米兰比可卡大学);University of Pavia(帕维亚大学)
在本文中,我们提出了一种半监督图像分类策略,利用无监督表示学习和协同训练。该策略被称为CURL,来自Co-trained Unsupervised表示学习,迭代地在数据的两个不同视图上构建两个分类器。这两个视图对应于从标记和未标记数据中学习的不同表示,并且在用于组合图像特征的融合方案中不同。为了评估我们的建议的性能,我们进行了广泛使用的场景和对象识别的数据集上的几个实验。我们考虑了三种情况(归纳,转导和自学),在利用未标记的数据所遵循的策略不同。作为图像特征,我们考虑了GIST、PHOG和LBP的组合以及从卷积神经网络提取的特征。此外,研究了CURL的两个实施例:一个使用Entrance Projection作为与Logistic回归耦合的无监督表示学习,一个基于LapSVM。实验结果表明,CURL明显优于现有技术中的其他监督和半监督学习方法。
2015-09-11 cs.CV cs.LG stat.ML
Parametric Instance Classification for Unsupervised Visual Feature Learning
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
提出了一种用于无监督视觉特征学习的参数化实例分类方法。与以双分支非参数方式进行实例判别的最新方法不同,PIC直接执行单分支参数实例分类,揭示了类似于监督分类的简单框架,并且不需要解决信息泄漏问题。我们表明,简单的PIC框架可以作为有效的国家的最先进的方法,即Simplified和MoCo v2,通过适应几个常见的组件设置中使用的国家的最先进的方法。我们还提出了两种新的技术来进一步提高PIC的有效性和实用性:1)滑动窗口数据调度器,取代了之前基于纪元的数据调度器,解决了PIC中极不频繁的实例访问问题,提高了有效性; 2)采用负采样和权值更新校正方法,减少训练时间和GPU内存消耗,这也使得能够将PIC应用于几乎无限的训练图像。我们希望事先知情同意框架可以作为一个简单的基线,以方便未来的研究。
2020-06-25 cs.CV cs.LG
Unsupervised classification of simulated magnetospheric regions
Ruhr-Universität Bochum(波鸿鲁尔大学);KU Leuven(鲁汶大学);University of New Hampshire(新罕布什尔大学)
在磁层飞行任务中,突发模式数据采样应在有科学或操作意义的过程时触发。我们提出了一个无监督的磁层区域的分类方法,这可能构成的第一步的多步方法自动识别感兴趣的磁层过程。我们的方法是基于自组织映射(SOM),我们初步测试的数据点从全球磁层模拟与OpenGGCM-CTIM-RCM代码。在分类之前,用主成分分析法对数据进行降维。分类完全依赖于在选定的数据点的局部等离子体特性,没有关于它们的邻域或它们的时间演化的信息。我们分类的SOM节点到一个自动选择的类的数量,我们得到的集群映射到定义明确的磁层区域。我们验证我们的分类结果绘制的分类数据在模拟空间,并通过比较与K-均值分类。为了结果的可解释性,我们检查SOM特征图(磁层变量在分类的上下文中被称为特征),我们用它们来解锁集群上的信息。我们使用不同的特征集重复分类实验,定量比较不同的分类结果,并深入了解哪些磁层变量可以成为无监督分类的更有效特征。
2021-09-10 astro-ph.IM cs.LG physics.geo-ph
Improving Human Sperm Head Morphology Classification with Unsupervised Anatomical Feature Distillation
University of Notre Dame(圣母大学);First Affiliated Hospital of Anhui Medical University(安徽医科大学第一附属医院)
随着男性不育症的日益增多,精子头部形态学分类对于准确及时的临床诊断至关重要。最近的深度学习(DL)形态学分析方法实现了有希望的基准测试结果,但由于依赖于有限且可能有噪声的类标签,因此性能和鲁棒性有待提高。为了解决这个问题,我们引入了一个新的DL训练框架,该框架利用人类精子显微镜作物的解剖学和图像先验来提取有用的特征,而无需额外的标记成本。我们的核心思想是通过可靠生成的伪掩模和无监督的空间预测任务来提取精子头部信息。然后利用来自该提取步骤的预测前景掩模来在调整阶段中正则化和减少图像和标签噪声。我们在两个公共精子数据集上评估了我们的新方法,并实现了最先进的性能(例如65.9%的SCIAN准确率和96.5%的HuSHeM准确率)。
2022-03-16 cs.CV cs.LG
Dislocation cartography: Representations and unsupervised classification of dislocation networks with unique fingerprints
Interdisciplinary Centre for Advanced Materials Simulation (ICAMS)(跨学科先进材料模拟中心);Ruhr-Universität Bochum(鲁尔大学波鸿分校);Max-Planck Institute for Sustainable Materials(马克斯·普朗克可持续材料研究所)
针对晶体塑性变形产生的位错网络结构检测难题,研究采用Isomap流形学习技术揭示位错结构高维密度场的内在结构,构建可生成唯一指纹的定量比较框架,提出可系统扩展的无偏位错结构定量分类方法。
2024-06-21 cond-mat.mtrl-sci cs.LG
Unsupervised adversarial domain adaptation for acoustic scene classification
Tampere University of Technology(坦佩雷理工大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
声场景分类中的一个普遍问题是训练数据和测试数据之间的不匹配,这会显着降低所开发的方法在分类精度上的性能。作为对策,我们提出了第一种无监督对抗域适应声学场景分类的方法。我们采用一个模型,该模型在一组条件的数据上进行了预训练,并通过使用另一组条件的数据,我们调整了模型,以便其输出不能用于对输入数据所属的条件集进行分类。我们使用DCASE 2018挑战任务1子任务B中的免费数据集,其中包含来自不匹配记录设备的数据。我们考虑的情况下,注释可用于从一个设备记录的数据,但不为其余的。我们的结果表明,我们的模型不可知的方法,我们可以实现$\sim 10\%$增加在一个看不见的和未标记的数据集的准确性,同时保持几乎相同的性能标记的数据集。
2018-08-17 cs.LG cs.SD eess.AS
Semi-unsupervised Learning of Human Activity using Deep Generative Models
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入了“半无监督学习”,这是一种与迁移学习和zero-shot学习相关的问题机制,在训练数据中,一些类是稀疏标记的,而另一些则完全没有标记。能够从这种类型的训练数据中学习的模型可能非常有用,因为许多真实世界的数据集都是这样的。在这里,我们展示了一个新的深度生成模型在这个政权的分类。我们的模型是一个高斯混合深度生成模型,在MNIST上展示了优于Kingma和Welling(2014)的M2模型的半无监督分类性能。我们将该模型应用于人体加速度计数据,在时间序列数据的窗口上进行活动分类和结构发现。
2018-12-11 cs.LG stat.ML