Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan（密歇根大学）
无监督学习和监督学习是深度学习的关键研究课题。然而，随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功，大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发，我们通过增强现有神经网络的解码路径来重建，在大规模环境中研究联合监督和无监督学习。首先，我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息，除了一部分局部空间细节。然后，通过对整个增强架构进行端到端的训练，我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器，包括最近提出的“什么地方”的自动编码器，使用编码器池开关，研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线，我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
Unsupervised Dependency Parsing: Let's Use Supervised Parsers
Institute for Logic, Language, and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个自我训练的方法来无监督依存句法分析，重用现有的监督和无监督解析算法。我们的方法，被称为“迭代重排序”（IR），开始与依赖树生成的无监督解析器，并迭代地提高这些树使用更丰富的概率模型中使用的监督解析，反过来训练这些树。我们的系统在WSJ语料库上的准确率比Spitkovsky et al.（2013）的部分状态解析器高出1.8%。
2015-04-18 cs.CL cs.LG
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization
USC Information Sciences Institute（南加州大学信息科学研究所）；Alexandria University（亚历山大大学）
深度神经网络是强大的、大规模参数化的机器学习模型，已被证明在监督学习任务中表现良好。然而，通常需要非常大量的标记数据来训练深度神经网络。已经提出了几种半监督学习方法来使用少量的标记数据和大量的未标记数据来训练神经网络。这些半监督方法的性能显着降低标记数据的大小减少。我们介绍了基于互信息的无监督和半监督并行学习（MUSCLE），一种混合学习方法，使用互信息结合无监督和半监督学习。MUSCLE可以用作神经网络的独立训练方案，也可以并入其他学习方法。我们表明，所提出的混合模型优于几个标准的基准，包括CIFAR-10，CIFAR-100和Mini-Imagenet的最先进的。此外，性能增益始终随着标记数据量的减少以及存在偏差而增加。我们还表明，MUSCLE有可能提高分类性能时，用于微调阶段的模型预训练只在未标记的数据。
2020-11-30 cs.CV cs.LG
Unsupervised Semantic Aggregation and Deformable Template Matching for Semi-Supervised Learning
Northwestern Polytechnical University（西北工业大学）
无标签数据学习最近引起了相当大的关注。然而，仅仅使用无监督学习仍然难以提取期望的高级语义特征。与此同时，半监督学习（SSL）在利用少量样本方面展示了一个充满希望的未来。在本文中，我们结合两者，提出了一个无监督的语义聚合和变形模板匹配（USADTM）的SSL框架，努力提高分类性能与少量的标记数据，然后减少数据注释的成本。具体而言，基于三元组互信息（T-MI）损失的无监督语义聚合的探索，以产生未标记的数据的语义标签。然后通过对标记数据的监督，将语义标签与实际类对齐。此外，存储标记样本的特征池被动态更新，以为未标记数据分配代理标签，这些标签被用作交叉熵最小化的目标。跨四个标准半监督学习基准的广泛实验和分析验证了USADTM实现了最佳性能（例如，CIFAR-10上40个标签的$\%$准确度为90.46，250个标签的$\%$准确度为95.20）。代码发布于https://github.com/taohan10200/USADTM。
2020-10-12 cs.CV cs.LG
A hybrid supervised/unsupervised machine learning approach to solar flare prediction
Università di Genova（热那亚大学）；CNR - SPIN Genova（意大利国家研究委员会热那亚自旋研究所）
我们介绍了一种混合的方法来预测太阳耀斑，其中监督正则化方法用于实现特征的重要性和无监督聚类方法用于实现二进制耀斑/无耀斑的决定。NOAA SWPC数据的方法进行了验证。
2017-06-21 astro-ph.SR cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Combining Supervised and Unsupervised Learning for GIS Classification
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Université d’Avignon et des Pays de Vaucluse（阿维尼翁与沃克吕兹地区大学）；INRIA（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文提出了一种新的混合学习算法的无监督分类任务。我们结合模糊c-均值学习算法和监督版本的Minimerror开发一个混合增量策略，允许无监督分类。我们将这种新方法应用到一个真实世界的数据库中，以了解地理信息系统（GIS）的未标记特征中所包含的信息是否允许很好地分类它。
2009-05-14 cs.LG
Quantitative Estimation of Target Task Performance from Unsupervised Pretext Task in Semi/Self-Supervised Learning
本文研究了无监督前置任务对目标任务性能的影响假设，提出了一种低成本的定量估计方法，通过构建超过100个前置任务基准，证明了估计性能与实际性能高度相关。
2026-04-08 cs.AI cs.LG
DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer
本研究提出基于预训练自监督视觉Transformer的无监督语义分割方法DatUS^2，可生成无标注数据的伪分割掩码以评估自监督特征质量，在SUIM、COCO数据集上取得优异表现。
2024-01-23 cs.CV cs.LG
On normalization-equivariance properties of supervised and unsupervised denoising methods: a survey
Centre Inria de l’Université de Rennes（雷恩大学法国国家信息与自动化研究所中心）
本文综述了图像去噪中监督与无监督学习方法的主要原理和最新进展，并重点分析了大多数监督方法未能保证的归一化等变性特性及其重要性。
2024-02-23 cs.CV cs.LG
Clustering of illustrations by atmosphere using a combination of supervised and unsupervised learning
Doshisha University（同志社大学）
本文提出结合监督学习与无监督学习及伪标签提取特征向量进行聚类，解决了插画按模糊氛围分类的难题，在人工分类数据集上优于传统方法。
2023-07-27 cs.CV cs.LG
Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin
InstaDeep
尼日利亚皮钦语可以说是尼日利亚使用最广泛的语言。这种语言的变体也在西非和中非使用，使其成为非常重要的语言。这项工作的目的是建立监督和无监督的神经机器翻译（NMT）之间的基线英语和尼日利亚洋泾浜。我们实现并比较了不同标记化方法的NMT模型，为未来的工作奠定了坚实的基础。
2020-03-27 cs.CL cs.LG
Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出QLDS线性分类模型，通过二次间隔最大化实现低密度分离假设，在监督与无监督学习间建立平滑桥梁，并利用随机矩阵理论推导超参数选择策略，计算高效且优于交叉验证。
2023-10-20 cs.AI cs.LG stat.ML
Lung and Pancreatic Tumor Characterization in the Deep Learning Era: Novel Supervised and Unsupervised Learning Approaches
Symantec Corporation（赛门铁克公司）；University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）
使用计算机辅助诊断（CAD）工具，放射学图像中肿瘤的风险分层（表征）可以更准确，更快速。通过这些工具进行肿瘤表征还可以实现非侵入性癌症分期、预后，并促进个性化治疗计划，作为精准医疗的一部分。在这项研究中，我们提出了监督和无监督的机器学习策略，以改善肿瘤表征。我们的第一种方法是基于监督学习，我们证明了深度学习算法的显著收益，特别是通过利用3D卷积神经网络和迁移学习。出于放射科医生对扫描的解释，我们展示了如何通过图形正则化稀疏多任务学习（MTL）框架将任务相关特征表示纳入CAD系统。在第二种方法中，我们探索了一种无监督学习算法来解决标记训练数据的有限可用性，这是医学成像应用中的一个常见问题。受计算机视觉中标签比例学习（LLP）方法的启发，我们提出使用比例支持向量机来表征肿瘤。我们还寻求答案的基本问题的“深度特征”的好处，无监督的肿瘤分类。我们评估了我们提出的监督和无监督学习算法对两个不同的肿瘤诊断挑战：肺和胰腺1018 CT和171 MRI扫描，分别获得了最先进的灵敏度和特异性结果在这两个问题。
2019-01-18 cs.AI cs.CV cs.LG
Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning
Upstage AI Research（Upstage人工智能研究院）；NAVER AI Lab.（NAVER人工智能实验室）；Yonsei University（延世大学）
自监督学习是一种很有前途的无监督学习框架，它在大型浮点网络中取得了成功。但是这样的网络并不容易部署到边缘设备。为了加速部署模型的好处，无监督的表示学习，这样的资源有限的设备的各种下游任务，我们提出了一个自监督学习方法，使用移动目标网络的二进制网络。特别是，我们建议联合训练一个随机初始化的分类器，附加到一个预训练的浮点特征提取器，与二进制网络。此外，我们提出了一个特征相似性损失，一个动态的损失平衡和修改的多阶段训练，以进一步提高准确性，并呼吁我们的方法烧伤。我们使用七个数据集对五个下游任务进行的经验验证表明，BURN优于二进制网络的自监督基线，有时优于监督预训练。代码可在https://github.com/naver-ai/burn上获得。
2022-03-29 cs.CV cs.LG
RUAD: unsupervised anomaly detection in HPC systems
University of Bologna（博洛尼亚大学）；CINECA consorzio interuniversitario（CINECA大学间联盟）；ETH（苏黎世联邦理工学院）
现代高性能计算（HPC）系统的复杂性日益增加，需要引入自动化和数据驱动的方法来支持系统管理员提高系统可用性的努力。异常检测是提高可用性的一个组成部分，因为它减轻了系统管理员的负担，并减少了异常和解决异常之间的时间。然而，目前最先进的异常检测方法是监督和半监督的，因此它们需要人工标记的异常数据集-这通常在生产HPC系统中收集是不切实际的。基于聚类的无监督异常检测方法旨在减轻对准确异常数据的需求，迄今为止表现不佳。在这项工作中，我们克服了这些限制，提出了RUAD，一种新的循环无监督异常检测模型。RUAD比当前的半监督和无监督SoA方法取得了更好的结果。这通过考虑数据中的时间依赖性并在模型架构中包括长短期记忆单元来实现。所提出的方法进行了评估，一个完整的十个月的历史的Tier-0系统（Marconi 100从CINECA与980个节点）。RUAD在半监督训练中实现了0.763的曲线下面积（AUC），在无监督训练中实现了0.767的AUC，这改进了SoA方法，在半监督训练中实现了0.747的AUC，在无监督训练中实现了0.734的AUC。它还大大优于当前基于聚类的SoA无监督异常检测方法，实现了0.548的AUC。
2022-08-28 cs.AI cs.LG
Unsupervised Segmentation of Colonoscopy Images
Genentech（基因泰克）；Roche（罗氏）
本文探索利用视觉变换器的自监督特征，在无标注条件下实现结肠镜图像的分类、目标检测及无监督分割，并发现多种临床相关结构，展示了在医学图像分析中的巨大潜力。
2023-12-19 cs.AI cs.CV cs.LG
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology（以色列理工学院维特比电气与电子工程学院）
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而，他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展，以及新的重建损失，为自动编码器提供泛化界。据我们所知，这是第一次这样的约束。我们进一步表明，在适当的假设下，具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
A Comparison Study of Credit Card Fraud Detection: Supervised versus Unsupervised
信用卡已经成为线上和线下购物的流行支付方式，这导致日常欺诈交易不断增加。因此，有效的欺诈检测方法对于保持支付系统的可靠性至关重要。在这项研究中，我们使用各种监督和无监督的方法进行信用卡欺诈检测的比较研究。具体地，6个监督分类模型，即，逻辑回归（LR）、K-最近邻（KNN）、支持向量机（SVM）、决策树（DT）、随机森林（RF）、极端梯度提升（XGB）以及4种无监督异常检测模型，即，本研究探讨了单类支持向量机（OCSVM）、自动编码器（AE）、受限玻尔兹曼机（RBM）和生成对抗网络（GAN）。我们在来自Kaggle网站的公共信用卡交易数据集上训练了所有这些模型，该数据集包含284，807笔交易中的492笔欺诈。事务的标签仅用于监督学习模型。每个模型的性能通过5倍交叉验证在受试者工作曲线下面积（AUROC）方面进行评价。在监督方法中，XGB和RF分别获得最佳性能，AUROC = 0.989和AUROC = 0.988。而对于无监督方法，RBM实现了最佳性能，AUROC = 0.961，其次是GAN，AUROC = 0.954。实验结果表明，在这项研究中，监督模型的性能略好于无监督模型。无论如何，无监督的方法仍然是有前途的信用卡欺诈交易检测，由于不足的注释和数据不平衡的问题，在现实世界的应用。
2019-04-24 cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University（国立台湾大学）；Mila-Quebec Institute for Learning Algorithms（米拉-魁北克学习算法研究所）；Harvard University（哈佛大学）；Aalto University（阿尔托大学）；HEC Montreal（蒙特利尔高等商学院）
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的，但有效地获得固定长度的表示图，但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型（例如graph2vec）的方法，但它们往往只考虑某些子结构（例如子树）作为图的代表。受无监督表示学习最新进展的启发，本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息（例如，节点、边、三角形）。通过这样做，图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外，我们还提出了InfoGraph*，这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此，监督编码器从未标记的数据中学习，同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明，InfoGraph优于最先进的基线，InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
SUPER Learning: A Supervised-Unsupervised Framework for Low-Dose CT Image Reconstruction
Michigan State University（密歇根州立大学）
近年来，人们对用于低剂量X射线CT（LDCT）成像任务的基于机器学习的模型和技术越来越感兴趣。这些方法通常可以分为监督学习方法和无监督或基于模型的学习方法。监督学习方法最近在图像复原任务中显示出成功。然而，它们通常依赖于大型训练集。基于模型的学习方法，如字典或变换学习，不需要大的或成对的训练集，通常具有良好的泛化性能，因为它们学习CT图像集的一般属性。最近的工作已经显示了有前途的重建性能的方法，如PWLS-ULTRA，依赖于聚类的基础（重建）图像补丁到一个学习的联盟的变换。在本文中，我们提出了一个新的监督-非监督（SUPER）重建框架的LDCT图像重建，结合了监督学习方法和（无监督）变换学习为基础的方法，如PWLS-ULTRA，涉及高度图像自适应聚类的好处。SUPER模型由几层组成，每层都包括一个以监督方式学习的深度网络和一个涉及图像自适应组件的无监督迭代法。SUPER重建算法以贪婪的方式从训练数据中学习。所提出的SUPER学习方法显著优于基于成分监督学习的网络和LDCT的迭代算法，并且在迭代重建模块中使用更少的迭代。
2019-10-26 cs.CV cs.LG eess.IV
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Supervised and Unsupervised Ensembling for Knowledge Base Population
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们目前的结果相结合的监督和无监督的方法来集成多个系统的两个流行的知识库人口（KBP）的任务，冷启动插槽填充（CSSF）和三语实体发现和链接（TEDL）。我们证明，我们的组合系统以及辅助功能在2015年的比赛中，几个集成基线，以及最先进的堆叠方法集成KBP系统的两个任务中表现最好的系统。我们的技术在两个不同的和具有挑战性的问题上的成功证明了我们的组合方法的力量和通用性。
2016-04-16 cs.CL cs.LG
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
提出了一种新的半监督集成算法XGBOD（Extreme梯度提升Outlier Detection），描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势，通过创建一个混合的方法，利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示，以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比，竞争的个人检测器，完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning
Rowan University（罗文大学）；University of Alabama, Huntsville（阿拉巴马大学亨茨维尔分校）；Baker Hughes（贝克休斯）
提出一种 one-shot 无监督 meta-learning 方法，通过增强样本和 temperature-scaled cross-entropy loss 学习潜在表示，为监督 meta-learning 提供初始化，在减少样本的同时提升准确率。
2023-10-19 cs.AI cs.LG
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University（纽约大学）；ETH Zürich（苏黎世联邦理工学院）
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中，我们提出了UVIT，一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容，使用专门的编码器-解码器结构，并通过双向递归神经网络（RNN）单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果，并为模态灵活的翻译提供了一个良好的接口。此外，通过改变我们的翻译中包含的输入帧和样式代码，我们提出了一个视频插值损失，它捕获序列中的时间信息，以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真，时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站：https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Self-Supervised Visual Terrain Classification from Unsupervised Acoustic Feature Learning
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
在未知的城市环境中运行的移动机器人遇到了广泛的复杂地形，他们必须适应其规划的轨迹安全和有效的导航。大多数现有的方法利用监督学习从外感受或本体感受传感器模态对地形进行分类。然而，这需要为每个新遇到的地形以及由变化的环境条件引起的地形变化进行大量的手动标记工作。在这项工作中，我们提出了一种新的地形分类框架，利用一个无监督的本体感受分类器，从车辆-地形交互的声音学习自我监督的外感受分类器的图像像素明智的语义分割。为此，我们首先学习一个判别嵌入空间的车辆与地形的相互作用的声音从三元组的音频剪辑形成的视觉特征的相应的地形补丁和集群所产生的嵌入。随后，我们使用这些集群标记的视觉地形补丁，通过投影到相机图像的机器人遍历的轨道。最后，我们使用稀疏标记的图像以弱监督的方式训练我们的语义分割网络。我们提出了广泛的定量和定性结果表明，我们的本体感受地形分类器超过了最先进的无监督方法和我们的自我监督外感受语义分割模型实现了相当的性能与手动标记的数据监督学习。
2019-12-06 cs.CV cs.LG cs.RO
A Tour of Unsupervised Deep Learning for Medical Image Analysis
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰大学）
从高维和异构数据中解释用于诊断和治疗复杂疾病的医学图像仍然是医疗保健转型的关键挑战。在过去的几年里，监督和无监督深度学习在医学成像和图像分析领域都取得了可喜的成果。与监督学习不同，监督学习偏向于如何监督和手动为算法创建类标签，无监督学习直接从数据本身获得见解，对数据进行分组，并帮助做出数据驱动的决策，而没有任何外部偏见。本文系统地介绍了应用于医学图像分析的各种无监督模型，包括自动编码器及其几种变体，限制玻尔兹曼机，深度信念网络，深度玻尔兹曼机和生成对抗网络。最后讨论了无监督技术在医学图像分析中的应用前景和面临的挑战。
2018-12-19 cs.CV cs.LG eess.IV
Towards Principled Unsupervised Learning
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
一般无监督学习是机器学习中一个长期存在的概念问题。监督学习是成功的，因为它可以通过最小化训练误差成本函数来解决。无监督学习不那么成功，因为无监督目标可能与感兴趣的监督任务无关。例如，密度建模和重建经常用于无监督学习，但它们没有产生所追求的性能增益，因为它们不知道监督任务。在本文中，我们提出了一个无监督的成本函数，我们命名为输出分布匹配（ODM）成本，它衡量预测分布和标签分布之间的差异。ODM成本是有吸引力的，因为它在以下意义上与监督成本一致：根据ODM成本，完美的监督分类器也是完美的。因此，通过积极优化ODM成本，我们几乎可以保证在可能的预测空间呈指数级大时提高我们的监督性能。我们证明了ODM成本在不使用（或几乎不使用）标记训练案例的小型和半人工数据集上效果良好。最后，我们证明了ODM成本可以用于一次性领域自适应，这使得模型能够以显著的方式对与输入分布不同的输入进行分类，而无需事先暴露于新的域。
2015-12-03 cs.LG
Extending Unsupervised Neural Image Compression With Supervised Multitask Learning
Radboud University Medical Center（拉德堡德大学医学中心）；Erasmus MC Cancer Institute（伊拉斯谟MC癌症研究所）；Facebook AI Research（Facebook人工智能研究院）
我们专注于在千兆像素组织病理学图像上训练卷积神经网络来预测图像级目标的问题。为此，我们扩展了神经图像压缩（NIC），一个图像压缩框架，使用未经监督训练的编码器网络降低这些图像的维数。我们建议使用监督多任务学习（MTL）来训练这个编码器。我们将建议的MTL NIC应用于两个组织病理学数据集和三个任务。首先，我们在2016年肿瘤增殖评估挑战（TUPAC16）中获得了最先进的结果。其次，我们成功地分类了结直肠癌肝转移（CLM）的图像组织病理学生长模式。第三，我们通过直接从相同CLM数据的总生存期中学习来预测患者的死亡风险。我们的实验结果表明，MTL目标学习到的表示是：（1）高度特定的，由于监督训练信号，（2）可转移的，因为相同的特征在不同的任务中表现良好。此外，我们训练了具有不同训练目标的多个编码器，例如无监督和MTL变体，并观察到MTL中的任务数量与TUPAC 16数据集上的系统性能之间存在正相关性。
2020-04-15 cs.CV cs.LG eess.IV
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy（维苏阿尔公司）
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如，在工业过程中，机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决，因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器（无监督和半监督）和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Rank Flow Embedding for Unsupervised and Semi-Supervised Manifold Learning
State University of São Paulo（圣保罗州立大学）；Temple University（天普大学）
本文提出 Rank Flow Embedding（RFE）流形学习算法，利用超图、笛卡尔积和连通分量生成上下文嵌入，用于无监督检索与基于 GCN 的半监督分类，并在 10 个集合上验证其先进性能。
2023-04-24 cs.CV cs.IR cs.LG
Investigation of unsupervised and supervised hyperspectral anomaly detection
Computer Science Department（计算机科学系）；Electrical and Computer Engineering Department（电气与计算机工程系）
本文针对高光谱异常检测中监督方法难以发现未知异常的问题，使用通用高光谱数据评估所提堆叠混合集成及多种监督、无监督方法，以获得新认识。
2025-07-21 cs.LG eess.IV
Supervised and Unsupervised Learning of Audio Representations for Music Understanding
SiriusXM（天狼星卫星广播公司）
在这项工作中，我们提供了一个广泛的比较分析的策略预训练音频理解模型的几个任务在音乐领域，包括标记流派，时代，起源，情绪，乐器，关键，音高，声乐特点，节奏和响亮。具体来说，我们探讨了预训练数据集（音乐或通用音频）和预训练方法（监督或无监督）如何影响下游任务所产生的音频嵌入的充分性。我们发现，通过监督学习在大规模专家注释的音乐数据集上训练的模型在各种音乐标签任务中实现了最先进的性能，每个任务都有新的内容和词汇。这可以通过包含少于1亿个参数的模型以有效的方式完成，这些参数不需要对下游任务进行微调或重新参数化，使得这种方法对于行业规模的音频目录是实用的。在无监督学习策略类中，我们证明了训练数据集的域可以显着影响模型学习的表示性能。我们发现，将预训练数据集的域限制在音乐上，可以使用较小的批量进行训练，同时在无监督学习中实现最先进的技术-在某些情况下，监督学习-用于音乐理解。我们还证实，虽然在许多任务上实现了最先进的性能，但监督学习可能会导致模型专门针对所提供的监督信息，这在一定程度上损害了模型的通用性。
2022-10-07 cs.AI cs.IR cs.LG
Unsupervised Search-based Structured Prediction
University of Utah（犹他大学）
我们描述了一个适应和应用的搜索为基础的结构化预测算法“Searn”的无监督学习问题。我们表明，这是可能的，以减少无监督学习的监督学习，并展示了一个高品质的无监督移位-减少解析模型。我们还展示了无监督Searn和期望最大化之间的密切联系。最后，我们证明了半监督扩展的有效性。实现这一点的关键思想是预测自我思想在无监督学习中的应用。
2009-06-28 cs.LG
Supervised and Unsupervised Deep Learning Approaches for EEG Seizure Prediction
University Health Network（多伦多大学健康网络）；University of Toronto（多伦多大学）；KITE（凯特机构）；Institute of Biomedical Engineering（生物医学工程研究所）
针对癫痫发作预测，提出监督与无监督深度学习方法，在个体特异性下于两个大型脑电数据集上验证可行性，性能因患者和方法而异，为治疗干预提供新方向。
2024-02-03 cs.AI cs.LG eess.SP
Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling
Amazon Web Services（亚马逊云科技）；IEEE CIS（IEEE 计算智能学会）
本文提出一种协同无监督与监督学习的混合方法，利用无监督模块学习表示并增强监督任务模型，在文本分类和NER任务上取得SOTA结果，提升了NLP系统的数据效率与鲁棒性。
2024-06-03 cs.CL cs.LG
Is Supervised Learning Really That Different from Unsupervised?
KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
该研究通过将监督学习分解为两阶段过程，证明在不访问标签数据的情况下选择模型参数和添加输出，可以实现与传统监督学习相似的性能，表明监督与无监督学习的区别可能不如表面看起来那么根本。
2026-06-04 cs.LG stat.ML
Semi-Supervised Deep Learning Using Improved Unsupervised Discriminant Projection
Shanghai Jiao Tong University（上海交通大学）
深度学习需要大量标记良好的数据来训练网络参数。如何使用最少的标记数据来获得期望的分类精度具有重要的现实意义，因为对于许多现实应用（如医疗诊断）来说，很难获得如此多的标记样本。本文从降维的角度对无监督判别投影算法进行改进，并将其作为正则化项，提出了一种新的半监督深度学习算法，该算法能够利用大量未标记样本的局部和非局部分布来提高分类性能。实验表明，在给定几十个标记样本的情况下，该算法可以训练深度网络，取得满意的分类结果。
2019-12-19 cs.LG stat.ML
A Comparison of Supervised and Unsupervised Deep Learning Methods for Anomaly Detection in Images
CentraleSupélec（巴黎中央理工-高等电力学院）
图像中的异常检测对于所有行业的许多应用都起着重要作用，例如医疗保健中的疾病诊断或制造业中的质量保证。当在单调重复的时间段上延长时，对图像的手动检查是非常耗时的，并且可能导致异常被忽略。人工神经网络已经证明自己在简单重复的任务上非常成功，在某些情况下甚至优于人类。因此，在本文中，我们研究了不同的深度学习方法，包括监督和无监督学习，用于应用于质量保证用例的异常检测。我们利用MVTec异常数据集，并开发了三种不同的模型，一个CNN的监督异常检测，KD-CAE的自动编码器异常检测，NI-CAE的噪声引起的异常检测和DCGAN生成重建图像。通过实验，我们发现KD-CAE在异常数据集上的表现优于CNN和NI-CAE，其中NI-CAE在晶体管数据集上的表现最好。我们还实现了一个DCGAN来创建新的训练数据，但由于计算限制和缺乏对Ano GAN机制的外推，我们将自己限制为仅生成基于GAN的图像。我们的结论是，无监督方法对于图像中的异常检测更强大，特别是在只有少量异常数据可用或数据未标记的环境中。
2021-07-20 cs.CV cs.LG eess.IV
Image Embedded Segmentation: Uniting Supervised and Unsupervised Objectives for Segmenting Histopathological Images
Bilkent University（比尔肯特大学）；Hacettepe University（哈塞特佩大学）
本文提出了一种新的正则化方法来训练一个完全卷积的网络，用于组织病理学图像中的语义组织分割。这种方法依赖于无监督学习的好处，以图像重建的形式，用于网络训练。为此，它提出了一个想法，定义一个新的嵌入，允许联合的主要监督任务的语义分割和辅助无监督任务的图像重建成一个单一的，并提出学习这个联合任务由一个单一的生成模型。该嵌入通过将输入图像叠加在其分割图上来生成输出图像。然后，该方法学习使用条件生成对抗网络将输入图像转换为该嵌入的输出图像，该网络对于图像到图像的转换非常有效。该建议不同于现有的方法，该方法使用图像重建用于相同的正则化目的。现有的方法将分割和图像重建视为多任务网络中的两个独立任务，独立地定义它们的损失，并将它们组合在联合损失函数中。然而，这样的函数的定义需要从外部确定监督损失和非监督损失的正确贡献，从而在分割和图像重建任务之间产生平衡的学习。所提出的方法通过将这两个任务合并为一个任务，从而在本质上结合了它们的损失，从而为这个问题提供了一个更容易的解决方案。我们在三个组织病理学图像数据集上测试我们的方法。我们的实验表明，它导致更好的分割结果，在这些数据集相比，它的同行。
2020-11-25 cs.CV cs.LG eess.IV
Revisiting Unsupervised Learning for Defect Prediction
NC State（北卡罗来纳州立大学）
从软件项目中收集高质量的数据可能既耗时又昂贵。因此，一些研究人员探索了不需要标记数据的“无监督”质量预测方法。另一种技术是使用“监督”方法，从标有“有缺陷”或“无缺陷”的项目数据中学习模型。大多数研究人员使用这些监督模型，因为他们可以利用更多的项目知识。在FSE'16上，Yang等人报告了惊人的结果，其中无监督缺陷预测器在努力感知的即时缺陷预测方面优于有监督预测器。如果得到证实，这些结果将导致一个看似复杂的任务（数据采掘），在软件工程文献中广泛探讨戏剧性的简化。本文重复并反驳了这些结果如下。(1)Yang等人的预测器的有效性存在很大的差异，因此即使使用他们的方法，也需要一些监督数据来修剪较弱的预测器。（2）他们的研究结果按$N$项目分组。当我们在逐个项目的基础上重复他们的分析时，监督预测器被认为工作得更好。尽管本文拒绝了杨等人的具体结论，我们仍然赞同他们的总体目标。在我们的实验中，监督预测器在努力感知的即时缺陷预测方面并没有比无监督预测器表现得更好。因此，它们可能确实是无监督学习器的某种组合，以实现与有监督学习器相当的性能。因此，我们鼓励其他国家在这一有希望的领域开展工作。
2017-06-24 cs.LG cs.SE
Unsupervised and Supervised Structure Learning for Protein Contact Prediction
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
蛋白质接触为理解蛋白质结构和功能提供了关键信息，因此从序列中预测接触是一个重要的问题。最近的研究表明，一些正确预测的长距离接触可以帮助拓扑级结构建模。因此，接触预测和接触辅助蛋白质折叠也证明了这个问题的重要性。本文将简要介绍现有的相关工作，然后展示如何通过具有拓扑约束的无监督图模型建立接触预测。此外，我将解释如何使用监督深度学习方法来进一步提高接触预测的准确性。最后，我将提出一个名为多样性得分的评分系统来衡量联系预测的新颖性，以及一个算法，该算法根据新的评分系统预测联系。
2020-08-31 cs.LG q-bio.QM stat.ML
Robust physics discovery via supervised and unsupervised pattern recognition using the Euler characteristic
Arizona State University（亚利桑那州立大学）
机器学习方法已被广泛用于从测量数据中发现动力系统的底层物理。然而，现有的方法仍然缺乏鲁棒性，特别是当测量数据包含大量噪声时。鲁棒性的缺乏主要归因于所使用的特征的代表性不足。因此，无法准确识别控制所观察系统的内在机制。在这项研究中，我们使用一个有效的拓扑描述符复杂的数据，即，欧拉特征（EC），作为特征来表征从动力系统收集的时空数据并发现潜在的物理。无监督流形学习和监督分类结果表明，EC可以有效地区分不同的系统，但相似的控制模型。我们还证明了使用EC的机器学习方法可以提高物理发现的稀疏回归方法的置信水平。
2021-10-15 cs.CE cs.LG
Semi-supervised and Unsupervised Methods for Categorizing Posts in Web Discussion Forums
University of Toronto（多伦多大学）
Web讨论论坛被全世界数百万人用来共享属于各种领域的信息，如汽车、宠物、体育等。它们通常包含属于不同类别的帖子，如问题、解决方案、反馈、垃圾邮件等。这些类别的自动识别可以帮助针对特定用户需求定制的信息检索。以前，许多监督方法试图解决这个问题，但是，这些依赖于丰富的训练数据的可用性。一些现有的无监督和半监督方法要么专注于识别单个类别，要么不报告特定于类别的性能。相比之下，这项工作提出了无监督和半监督的方法，不需要或需要最少的训练数据，以实现这一目标，而不影响性能。一个细粒度的分析也进行了讨论他们的局限性。所提出的方法是基于序列模型（具体地说，隐马尔可夫模型），可以使用单词和词性概率分布以及手动指定的特征为每个类别建模语言。跨领域的实证评估表明，所提出的方法比现有的更适合这项任务。
2016-04-24 cs.CL cs.IR cs.LG
Unsupervised Supervised Learning II: Training Margin Based Classifiers without Labels
School of Computational Science and Engineering（计算科学与工程学院）；College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）；Yahoo! Labs（雅虎实验室）
许多流行的线性分类器，如逻辑回归、boosting或SVM，都是通过优化基于边缘的风险函数来训练的。传统上，这些风险函数是基于标记数据集计算的。我们开发了一种新的技术来估计这种风险，只使用未标记的数据和边缘标签分布。我们证明了所提出的风险估计器在高维数据集上是一致的，并在合成数据和真实数据上进行了证明。特别是，我们展示了如何在迁移学习中使用估计来评估分类器，以及如何在没有标记数据的情况下训练分类器。
2010-07-21 cs.LG
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo（滑铁卢大学）
这是一个详细的教程文件，其中解释了主成分分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，PCA与特征分解，PCA与一个和多个投影方向，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，PCA与奇异值分解，双PCA，核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法，然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后，在Frey和AT&T人脸数据集上进行了仿真，验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research（AGNITIO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据，这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准，并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明，与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
A Comparism of the Performance of Supervised and Unsupervised Machine Learning Techniques in evolving Awale/Mancala/Ayo Game Player
Tshwane University of Technology（茨瓦内理工大学）
Awale游戏已经在世界各地得到了广泛的认可，因为他们的创新策略和技术被用于发展代理（玩家），并在各种条件下产生了有趣的结果。本文将比较两种主要的机器学习技术的结果，通过回顾它们在使用极大极小、残局数据库、两种技术的组合或其他技术时的性能，并将确定哪些是最好的技术。
2013-09-06 cs.GT cs.LG
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI, T. J. Watson Research Center（IBM研究院人工智能部门，T. J. Watson研究中心）
提出基于双层优化的 BL-JUST，将无监督损失与监督损失分别置于下层和上层进行联合训练，并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University（亚利桑那州立大学）
最近关于无监督问答的工作表明，模型可以用程序生成的问答对进行训练，并且可以实现与监督方法竞争的性能。在这项工作中，我们考虑了无监督阅读理解的任务，并提出了一种方法，执行“测试时学习”（TTL）在一个给定的上下文（文本通道），而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作，使用自我监督在综合生成的问题-答案对上训练模型，然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法，并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps
University of Toronto（多伦多大学）
从少量示例中学习新任务仍然是机器学习中的一个公开挑战。尽管最近在少样本学习方面取得了进展，但大多数方法依赖于对标记的Meta训练数据的监督预训练或元学习，并且不能应用于预训练数据未标记的情况。在这项研究中，我们提出了一种无监督的少样本学习方法，通过深度拉普拉斯特征映射。我们的方法通过将相似的样本分组在一起来从未标记的数据中学习表示，并且可以通过在增强的训练数据上随机游走来直观地解释。我们分析了深度拉普拉斯特征映射如何避免无监督学习中的崩溃表示，而无需明确比较正负样本。所提出的方法显着关闭监督和无监督少样本学习之间的性能差距。我们的方法也达到了目前最先进的自监督学习方法下的线性评价协议的性能相当。
2022-10-07 cs.LG
