Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology（以色列理工学院）
无监督学习一直吸引着机器学习研究人员和从业者，使他们能够避免昂贵而复杂的数据标记过程。然而，复杂数据的无监督学习具有挑战性，即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而，这些方法尚未在完全无监督的环境中进行评估。在本文中，我们提出了一个简单的计划，基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估，结果表明它在ImageNet分类方面取得了有竞争力的结果（ImageNet上1000个聚类的准确率为39%，过聚类的准确率为46%）。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
A hybrid supervised/unsupervised machine learning approach to solar flare prediction
Università di Genova（热那亚大学）；CNR - SPIN Genova（意大利国家研究委员会热那亚自旋研究所）
我们介绍了一种混合的方法来预测太阳耀斑，其中监督正则化方法用于实现特征的重要性和无监督聚类方法用于实现二进制耀斑/无耀斑的决定。NOAA SWPC数据的方法进行了验证。
2017-06-21 astro-ph.SR cs.LG
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
提出了一种新的半监督集成算法XGBOD（Extreme梯度提升Outlier Detection），描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势，通过创建一个混合的方法，利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示，以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比，竞争的个人检测器，完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
Combining Supervised and Unsupervised Learning for GIS Classification
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Université d’Avignon et des Pays de Vaucluse（阿维尼翁与沃克吕兹地区大学）；INRIA（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文提出了一种新的混合学习算法的无监督分类任务。我们结合模糊c-均值学习算法和监督版本的Minimerror开发一个混合增量策略，允许无监督分类。我们将这种新方法应用到一个真实世界的数据库中，以了解地理信息系统（GIS）的未标记特征中所包含的信息是否允许很好地分类它。
2009-05-14 cs.LG
Supervised and Unsupervised Neural Network Solver for First Order Hyperbolic Nonlinear PDEs
University of California, Berkeley（加州大学伯克利分校）；Rutgers University–Camden（罗格斯大学卡姆登分校）
本文提出了一种基于神经网络的求解器，用于高效求解一阶超几何非线性偏微分方程，并在交通预测任务中展示了其优越性。
2026-01-10 cs.LG cs.NA math.NA
Is Supervised Learning Really That Different from Unsupervised?
KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
该研究通过将监督学习分解为两阶段过程，证明在不访问标签数据的情况下选择模型参数和添加输出，可以实现与传统监督学习相似的性能，表明监督与无监督学习的区别可能不如表面看起来那么根本。
2026-06-04 cs.LG stat.ML
Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin
InstaDeep
尼日利亚皮钦语可以说是尼日利亚使用最广泛的语言。这种语言的变体也在西非和中非使用，使其成为非常重要的语言。这项工作的目的是建立监督和无监督的神经机器翻译（NMT）之间的基线英语和尼日利亚洋泾浜。我们实现并比较了不同标记化方法的NMT模型，为未来的工作奠定了坚实的基础。
2020-03-27 cs.CL cs.LG
Semi-Supervised Deep Learning Using Improved Unsupervised Discriminant Projection
Shanghai Jiao Tong University（上海交通大学）
深度学习需要大量标记良好的数据来训练网络参数。如何使用最少的标记数据来获得期望的分类精度具有重要的现实意义，因为对于许多现实应用（如医疗诊断）来说，很难获得如此多的标记样本。本文从降维的角度对无监督判别投影算法进行改进，并将其作为正则化项，提出了一种新的半监督深度学习算法，该算法能够利用大量未标记样本的局部和非局部分布来提高分类性能。实验表明，在给定几十个标记样本的情况下，该算法可以训练深度网络，取得满意的分类结果。
2019-12-19 cs.LG stat.ML
Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules
University of Pennsylvania（宾夕法尼亚大学）
大脑执行无监督学习和（可能）同时的监督学习。这就提出了一个问题，即监督和无监督方法的混合是否会产生更好的学习。受Hebbian学习规则的丰富空间的启发，我们开始直接学习关于局部信息的无监督学习规则，该规则最好地增强了监督信号。我们提出了Hebbian增强训练算法（HAT），用于将基于梯度的学习与突触前活动，突触后活动和当前权重的无监督规则相结合。我们测试了HAT对一个简单问题（Fashion-MNIST）的影响，并发现其性能始终高于单独的监督学习。这一发现提供了经验证据，表明对突触活动的无监督学习提供了可用于增强基于梯度的方法的强信号。我们进一步发现，元学习的更新规则是一个随时间变化的函数;因此，很难确定一个可解释的Hebbian更新规则，以帮助训练。我们发现，元学习器最终退化成一个非赫布规则，保留重要的权重，以免干扰学习器的收敛。
2021-03-17 cs.AI cs.LG
Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出QLDS线性分类模型，通过二次间隔最大化实现低密度分离假设，在监督与无监督学习间建立平滑桥梁，并利用随机矩阵理论推导超参数选择策略，计算高效且优于交叉验证。
2023-10-20 cs.AI cs.LG stat.ML
Is 'Unsupervised Learning' a Misconceived Term?
RETINA-AI Health, Inc.（RETINA-AI健康公司）
所有的机器学习都在某种程度上受到监督吗？机器学习领域传统上被归类为$supervised~vs~unsupervised~learning$ ;其中监督学习通常指的是从标记数据中学习，而无监督学习通常指的是从未标记数据中学习。在本文中，我们断言所有的机器学习实际上都在某种程度上受到监督，并且监督的范围必然与学习潜力的范围相称。特别是，我们认为，聚类算法，如k-means，和降维算法，如主成分分析，变分自编码器，和深度信念网络都是由数据本身内部监督，以学习其各自的特征表示。此外，这些算法不能进行外部推理，直到它们各自的输出（聚类、主成分或表示代码）被识别并在外部标记生效。因此，它们不足以作为无监督学习的例子。我们建议，分类“监督与无监督学习”被免除，而不是，学习算法被归类为$internally~or~externally~supervised$（或两者兼而有之）。我们相信这种观点的改变将产生对数据和学习算法的结构和特征的新的基本见解。
2019-04-05 cs.AI cs.CV cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo（滑铁卢大学）
这是一个详细的教程文件，其中解释了主成分分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，PCA与特征分解，PCA与一个和多个投影方向，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，PCA与奇异值分解，双PCA，核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法，然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后，在Frey和AT&T人脸数据集上进行了仿真，验证了理论的可行性。
2022-08-01 cs.LG stat.ML
SUPER Learning: A Supervised-Unsupervised Framework for Low-Dose CT Image Reconstruction
Michigan State University（密歇根州立大学）
近年来，人们对用于低剂量X射线CT（LDCT）成像任务的基于机器学习的模型和技术越来越感兴趣。这些方法通常可以分为监督学习方法和无监督或基于模型的学习方法。监督学习方法最近在图像复原任务中显示出成功。然而，它们通常依赖于大型训练集。基于模型的学习方法，如字典或变换学习，不需要大的或成对的训练集，通常具有良好的泛化性能，因为它们学习CT图像集的一般属性。最近的工作已经显示了有前途的重建性能的方法，如PWLS-ULTRA，依赖于聚类的基础（重建）图像补丁到一个学习的联盟的变换。在本文中，我们提出了一个新的监督-非监督（SUPER）重建框架的LDCT图像重建，结合了监督学习方法和（无监督）变换学习为基础的方法，如PWLS-ULTRA，涉及高度图像自适应聚类的好处。SUPER模型由几层组成，每层都包括一个以监督方式学习的深度网络和一个涉及图像自适应组件的无监督迭代法。SUPER重建算法以贪婪的方式从训练数据中学习。所提出的SUPER学习方法显著优于基于成分监督学习的网络和LDCT的迭代算法，并且在迭代重建模块中使用更少的迭代。
2019-10-26 cs.CV cs.LG eess.IV
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research（AGNITIO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据，这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准，并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明，与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Unsupervised and Supervised Structure Learning for Protein Contact Prediction
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
蛋白质接触为理解蛋白质结构和功能提供了关键信息，因此从序列中预测接触是一个重要的问题。最近的研究表明，一些正确预测的长距离接触可以帮助拓扑级结构建模。因此，接触预测和接触辅助蛋白质折叠也证明了这个问题的重要性。本文将简要介绍现有的相关工作，然后展示如何通过具有拓扑约束的无监督图模型建立接触预测。此外，我将解释如何使用监督深度学习方法来进一步提高接触预测的准确性。最后，我将提出一个名为多样性得分的评分系统来衡量联系预测的新颖性，以及一个算法，该算法根据新的评分系统预测联系。
2020-08-31 cs.LG q-bio.QM stat.ML
A Comparison Study of Credit Card Fraud Detection: Supervised versus Unsupervised
信用卡已经成为线上和线下购物的流行支付方式，这导致日常欺诈交易不断增加。因此，有效的欺诈检测方法对于保持支付系统的可靠性至关重要。在这项研究中，我们使用各种监督和无监督的方法进行信用卡欺诈检测的比较研究。具体地，6个监督分类模型，即，逻辑回归（LR）、K-最近邻（KNN）、支持向量机（SVM）、决策树（DT）、随机森林（RF）、极端梯度提升（XGB）以及4种无监督异常检测模型，即，本研究探讨了单类支持向量机（OCSVM）、自动编码器（AE）、受限玻尔兹曼机（RBM）和生成对抗网络（GAN）。我们在来自Kaggle网站的公共信用卡交易数据集上训练了所有这些模型，该数据集包含284，807笔交易中的492笔欺诈。事务的标签仅用于监督学习模型。每个模型的性能通过5倍交叉验证在受试者工作曲线下面积（AUROC）方面进行评价。在监督方法中，XGB和RF分别获得最佳性能，AUROC = 0.989和AUROC = 0.988。而对于无监督方法，RBM实现了最佳性能，AUROC = 0.961，其次是GAN，AUROC = 0.954。实验结果表明，在这项研究中，监督模型的性能略好于无监督模型。无论如何，无监督的方法仍然是有前途的信用卡欺诈交易检测，由于不足的注释和数据不平衡的问题，在现实世界的应用。
2019-04-24 cs.LG
Supervised and Unsupervised Ensembling for Knowledge Base Population
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们目前的结果相结合的监督和无监督的方法来集成多个系统的两个流行的知识库人口（KBP）的任务，冷启动插槽填充（CSSF）和三语实体发现和链接（TEDL）。我们证明，我们的组合系统以及辅助功能在2015年的比赛中，几个集成基线，以及最先进的堆叠方法集成KBP系统的两个任务中表现最好的系统。我们的技术在两个不同的和具有挑战性的问题上的成功证明了我们的组合方法的力量和通用性。
2016-04-16 cs.CL cs.LG
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan（密歇根大学）
无监督学习和监督学习是深度学习的关键研究课题。然而，随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功，大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发，我们通过增强现有神经网络的解码路径来重建，在大规模环境中研究联合监督和无监督学习。首先，我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息，除了一部分局部空间细节。然后，通过对整个增强架构进行端到端的训练，我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器，包括最近提出的“什么地方”的自动编码器，使用编码器池开关，研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线，我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University（国立台湾大学）；Mila-Quebec Institute for Learning Algorithms（米拉-魁北克学习算法研究所）；Harvard University（哈佛大学）；Aalto University（阿尔托大学）；HEC Montreal（蒙特利尔高等商学院）
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的，但有效地获得固定长度的表示图，但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型（例如graph2vec）的方法，但它们往往只考虑某些子结构（例如子树）作为图的代表。受无监督表示学习最新进展的启发，本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息（例如，节点、边、三角形）。通过这样做，图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外，我们还提出了InfoGraph*，这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此，监督编码器从未标记的数据中学习，同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明，InfoGraph优于最先进的基线，InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI, T. J. Watson Research Center（IBM研究院人工智能部门，T. J. Watson研究中心）
提出基于双层优化的 BL-JUST，将无监督损失与监督损失分别置于下层和上层进行联合训练，并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation
Bar-Ilan University（巴伊兰大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个自监督表示学习模型的任务，无监督音素边界检测。该模型是一个卷积神经网络，直接对原始波形进行操作。它被优化为使用噪声对比估计原理来识别信号中的频谱变化。在测试时，峰值检测算法应用于模型输出以产生最终边界。因此，所提出的模型以完全无监督的方式进行训练，没有目标边界形式的手动注释，也没有语音音译。我们比较所提出的方法，几个无监督的基线使用TIMIT和七叶树语料库。结果表明，我们的方法超越了基线模型，并在两个数据集上达到了最先进的性能。此外，我们还尝试使用Librispeech语料库中的其他示例来扩展训练集。我们评估了在训练阶段没有看到的分布和语言（英语，希伯来语和德语）的结果模型，并表明利用额外的未转录数据有利于模型性能。
2020-08-06 cs.LG cs.SD eess.AS
Anomaly Detection by Recombining Gated Unsupervised Experts
Fraunhofer AISEC（弗劳恩霍夫应用集成安全研究所）
异常检测已被认为是在几个程度的先验知识。无监督方法不需要任何标记的数据，而半监督方法利用一些已知的异常。受混合专家模型和对神经网络隐藏激活的分析的启发，我们提出了一种新的数据驱动的异常检测方法ARGUE。我们的方法不仅适用于无监督和半监督环境，而且还受益于自监督设置的先验知识。我们将ARGUE设计为专用专家网络的组合，这些专家网络专门处理部分输入数据。ARGUE采用门控混合专家体系结构，将分布在各专家系统中的知识进行融合，以做出最终决策。我们的评估动机，先验知识的正常数据分布可能是有价值的已知异常。
2022-05-23 cs.LG stat.ML
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy（维苏阿尔公司）
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如，在工业过程中，机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决，因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器（无监督和半监督）和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Bridging Unsupervised and Semi-Supervised Anomaly Detection: A Theoretically-Grounded and Practical Framework with Synthetic Anomalies
School of Cybersecurity and Privacy, Georgia Institute of Technology（网络安全与隐私学院，佐治亚理工学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院）
本研究将无监督异常检测的合成异常原则拓展至半监督场景，提出结合已知与合成异常的理论框架，首次给出半监督AD数学表述与收敛性理论证明，经5个基准验证性能提升且方法具有普适性。
2025-06-16 cs.CR cs.LG stat.AP
Investigation of unsupervised and supervised hyperspectral anomaly detection
Computer Science Department（计算机科学系）；Electrical and Computer Engineering Department（电气与计算机工程系）
本文针对高光谱异常检测中监督方法难以发现未知异常的问题，使用通用高光谱数据评估所提堆叠混合集成及多种监督、无监督方法，以获得新认识。
2025-07-21 cs.LG eess.IV
Autoencoding Binary Classifiers for Supervised Anomaly Detection
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Software Innovation Center（NTT软件创新中心）
我们提出了自动编码二进制分类器（ABC），一种新的监督异常检测器的基础上的自动编码器（AE）。异常检测主要有两种方法：有监督的和无监督的。监督方法可以准确地检测训练数据中包含的已知异常，但无法检测未知异常。同时，无监督方法可以检测远离正常数据点的已知和未知异常。然而，它不能像监督方法那样准确地检测已知的异常。此外，即使我们标记了正常数据点和异常数据点，无监督方法也无法利用这些标签。ABC是一种概率二元分类器，它有效地利用了标签信息，其中使用AE作为组件对正常数据点进行建模。通过最大化可能性，所提出的ABC中的AE被训练以最小化正常数据点的重建误差，并最大化已知异常的重建误差。由于我们的方法能够准确地重建正常数据点，而无法重建已知和未知的异常，因此它可以准确地将已知和未知的异常与正常数据点区分开来。实验结果表明，该算法比已有的监督和非监督方法具有更高的检测性能.
2019-03-26 cs.LG stat.ML
Towards Principled Unsupervised Learning
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
一般无监督学习是机器学习中一个长期存在的概念问题。监督学习是成功的，因为它可以通过最小化训练误差成本函数来解决。无监督学习不那么成功，因为无监督目标可能与感兴趣的监督任务无关。例如，密度建模和重建经常用于无监督学习，但它们没有产生所追求的性能增益，因为它们不知道监督任务。在本文中，我们提出了一个无监督的成本函数，我们命名为输出分布匹配（ODM）成本，它衡量预测分布和标签分布之间的差异。ODM成本是有吸引力的，因为它在以下意义上与监督成本一致：根据ODM成本，完美的监督分类器也是完美的。因此，通过积极优化ODM成本，我们几乎可以保证在可能的预测空间呈指数级大时提高我们的监督性能。我们证明了ODM成本在不使用（或几乎不使用）标记训练案例的小型和半人工数据集上效果良好。最后，我们证明了ODM成本可以用于一次性领域自适应，这使得模型能够以显著的方式对与输入分布不同的输入进行分类，而无需事先暴露于新的域。
2015-12-03 cs.LG
Lateral Connections in Denoising Autoencoders Support Supervised Learning
Aalto University（阿尔托大学）；ZenRobotics Ltd.（ZenRobotics有限公司）
我们展示了如何使用具有横向连接的深度去噪自动编码器作为辅助无监督学习任务来支持监督学习。该模型通过反向传播训练，同时最小化监督和无监督成本函数的总和，避免了分层预训练的需要。它在置换不变MNIST分类任务中显着提高了最先进的水平。
2015-04-30 cs.LG cs.NE stat.ML
Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling
Amazon Web Services（亚马逊云科技）；IEEE CIS（IEEE 计算智能学会）
本文提出一种协同无监督与监督学习的混合方法，利用无监督模块学习表示并增强监督任务模型，在文本分类和NER任务上取得SOTA结果，提升了NLP系统的数据效率与鲁棒性。
2024-06-03 cs.CL cs.LG
Unsupervised Search-based Structured Prediction
University of Utah（犹他大学）
我们描述了一个适应和应用的搜索为基础的结构化预测算法“Searn”的无监督学习问题。我们表明，这是可能的，以减少无监督学习的监督学习，并展示了一个高品质的无监督移位-减少解析模型。我们还展示了无监督Searn和期望最大化之间的密切联系。最后，我们证明了半监督扩展的有效性。实现这一点的关键思想是预测自我思想在无监督学习中的应用。
2009-06-28 cs.LG
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization
USC Information Sciences Institute（南加州大学信息科学研究所）；Alexandria University（亚历山大大学）
深度神经网络是强大的、大规模参数化的机器学习模型，已被证明在监督学习任务中表现良好。然而，通常需要非常大量的标记数据来训练深度神经网络。已经提出了几种半监督学习方法来使用少量的标记数据和大量的未标记数据来训练神经网络。这些半监督方法的性能显着降低标记数据的大小减少。我们介绍了基于互信息的无监督和半监督并行学习（MUSCLE），一种混合学习方法，使用互信息结合无监督和半监督学习。MUSCLE可以用作神经网络的独立训练方案，也可以并入其他学习方法。我们表明，所提出的混合模型优于几个标准的基准，包括CIFAR-10，CIFAR-100和Mini-Imagenet的最先进的。此外，性能增益始终随着标记数据量的减少以及存在偏差而增加。我们还表明，MUSCLE有可能提高分类性能时，用于微调阶段的模型预训练只在未标记的数据。
2020-11-30 cs.CV cs.LG
Unsupervised Semantic Aggregation and Deformable Template Matching for Semi-Supervised Learning
Northwestern Polytechnical University（西北工业大学）
无标签数据学习最近引起了相当大的关注。然而，仅仅使用无监督学习仍然难以提取期望的高级语义特征。与此同时，半监督学习（SSL）在利用少量样本方面展示了一个充满希望的未来。在本文中，我们结合两者，提出了一个无监督的语义聚合和变形模板匹配（USADTM）的SSL框架，努力提高分类性能与少量的标记数据，然后减少数据注释的成本。具体而言，基于三元组互信息（T-MI）损失的无监督语义聚合的探索，以产生未标记的数据的语义标签。然后通过对标记数据的监督，将语义标签与实际类对齐。此外，存储标记样本的特征池被动态更新，以为未标记数据分配代理标签，这些标签被用作交叉熵最小化的目标。跨四个标准半监督学习基准的广泛实验和分析验证了USADTM实现了最佳性能（例如，CIFAR-10上40个标签的$\%$准确度为90.46，250个标签的$\%$准确度为95.20）。代码发布于https://github.com/taohan10200/USADTM。
2020-10-12 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Revisiting Unsupervised Learning for Defect Prediction
NC State（北卡罗来纳州立大学）
从软件项目中收集高质量的数据可能既耗时又昂贵。因此，一些研究人员探索了不需要标记数据的“无监督”质量预测方法。另一种技术是使用“监督”方法，从标有“有缺陷”或“无缺陷”的项目数据中学习模型。大多数研究人员使用这些监督模型，因为他们可以利用更多的项目知识。在FSE'16上，Yang等人报告了惊人的结果，其中无监督缺陷预测器在努力感知的即时缺陷预测方面优于有监督预测器。如果得到证实，这些结果将导致一个看似复杂的任务（数据采掘），在软件工程文献中广泛探讨戏剧性的简化。本文重复并反驳了这些结果如下。(1)Yang等人的预测器的有效性存在很大的差异，因此即使使用他们的方法，也需要一些监督数据来修剪较弱的预测器。（2）他们的研究结果按$N$项目分组。当我们在逐个项目的基础上重复他们的分析时，监督预测器被认为工作得更好。尽管本文拒绝了杨等人的具体结论，我们仍然赞同他们的总体目标。在我们的实验中，监督预测器在努力感知的即时缺陷预测方面并没有比无监督预测器表现得更好。因此，它们可能确实是无监督学习器的某种组合，以实现与有监督学习器相当的性能。因此，我们鼓励其他国家在这一有希望的领域开展工作。
2017-06-24 cs.LG cs.SE
Unsupervised model compression for multilayer bootstrap networks
The Ohio State University（俄亥俄州立大学）
最近，多层引导网络（MBN）在无监督降维方面表现出了良好的性能。它可以学习标准数据集中的紧凑表示，即MNIST和RCV 1。然而，作为一种自举方法，MBN的预测复杂度很高。在本文中，我们提出了一个无监督的模型压缩框架的无监督引导方法的一般问题。该框架将一个大型的无监督引导模型压缩成一个小模型，将引导模型及其应用程序一起作为一个黑盒，并由一个有监督的学习器学习从引导模型的输入到应用程序的输出的映射函数。为了专门的框架，我们提出了一种新的技术，名为压缩MBN。它采用MBN作为无监督引导模型，深度神经网络（DNN）作为有监督学习器。我们在MNIST上的初步结果表明，压缩MBN不仅保持了MBN的高预测精度，而且在预测阶段比MBN快数千倍。我们的研究结果表明，新技术将MBN对无监督学习的有效性和DNN对监督学习的有效性和效率整合在一起，以实现压缩MBN对无监督学习的有效性和效率。
2015-03-22 cs.LG cs.NE stat.ML
Semi-supervised and Unsupervised Methods for Categorizing Posts in Web Discussion Forums
University of Toronto（多伦多大学）
Web讨论论坛被全世界数百万人用来共享属于各种领域的信息，如汽车、宠物、体育等。它们通常包含属于不同类别的帖子，如问题、解决方案、反馈、垃圾邮件等。这些类别的自动识别可以帮助针对特定用户需求定制的信息检索。以前，许多监督方法试图解决这个问题，但是，这些依赖于丰富的训练数据的可用性。一些现有的无监督和半监督方法要么专注于识别单个类别，要么不报告特定于类别的性能。相比之下，这项工作提出了无监督和半监督的方法，不需要或需要最少的训练数据，以实现这一目标，而不影响性能。一个细粒度的分析也进行了讨论他们的局限性。所提出的方法是基于序列模型（具体地说，隐马尔可夫模型），可以使用单词和词性概率分布以及手动指定的特征为每个类别建模语言。跨领域的实证评估表明，所提出的方法比现有的更适合这项任务。
2016-04-24 cs.CL cs.IR cs.LG
Quantitative Estimation of Target Task Performance from Unsupervised Pretext Task in Semi/Self-Supervised Learning
本文研究了无监督前置任务对目标任务性能的影响假设，提出了一种低成本的定量估计方法，通过构建超过100个前置任务基准，证明了估计性能与实际性能高度相关。
2026-04-08 cs.AI cs.LG
Supervised and Unsupervised Learning of Audio Representations for Music Understanding
SiriusXM（天狼星卫星广播公司）
在这项工作中，我们提供了一个广泛的比较分析的策略预训练音频理解模型的几个任务在音乐领域，包括标记流派，时代，起源，情绪，乐器，关键，音高，声乐特点，节奏和响亮。具体来说，我们探讨了预训练数据集（音乐或通用音频）和预训练方法（监督或无监督）如何影响下游任务所产生的音频嵌入的充分性。我们发现，通过监督学习在大规模专家注释的音乐数据集上训练的模型在各种音乐标签任务中实现了最先进的性能，每个任务都有新的内容和词汇。这可以通过包含少于1亿个参数的模型以有效的方式完成，这些参数不需要对下游任务进行微调或重新参数化，使得这种方法对于行业规模的音频目录是实用的。在无监督学习策略类中，我们证明了训练数据集的域可以显着影响模型学习的表示性能。我们发现，将预训练数据集的域限制在音乐上，可以使用较小的批量进行训练，同时在无监督学习中实现最先进的技术-在某些情况下，监督学习-用于音乐理解。我们还证实，虽然在许多任务上实现了最先进的性能，但监督学习可能会导致模型专门针对所提供的监督信息，这在一定程度上损害了模型的通用性。
2022-10-07 cs.AI cs.IR cs.LG
Robust physics discovery via supervised and unsupervised pattern recognition using the Euler characteristic
Arizona State University（亚利桑那州立大学）
机器学习方法已被广泛用于从测量数据中发现动力系统的底层物理。然而，现有的方法仍然缺乏鲁棒性，特别是当测量数据包含大量噪声时。鲁棒性的缺乏主要归因于所使用的特征的代表性不足。因此，无法准确识别控制所观察系统的内在机制。在这项研究中，我们使用一个有效的拓扑描述符复杂的数据，即，欧拉特征（EC），作为特征来表征从动力系统收集的时空数据并发现潜在的物理。无监督流形学习和监督分类结果表明，EC可以有效地区分不同的系统，但相似的控制模型。我们还证明了使用EC的机器学习方法可以提高物理发现的稀疏回归方法的置信水平。
2021-10-15 cs.CE cs.LG
DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer
本研究提出基于预训练自监督视觉Transformer的无监督语义分割方法DatUS^2，可生成无标注数据的伪分割掩码以评估自监督特征质量，在SUIM、COCO数据集上取得优异表现。
2024-01-23 cs.CV cs.LG
On normalization-equivariance properties of supervised and unsupervised denoising methods: a survey
Centre Inria de l’Université de Rennes（雷恩大学法国国家信息与自动化研究所中心）
本文综述了图像去噪中监督与无监督学习方法的主要原理和最新进展，并重点分析了大多数监督方法未能保证的归一化等变性特性及其重要性。
2024-02-23 cs.CV cs.LG
Clustering of illustrations by atmosphere using a combination of supervised and unsupervised learning
Doshisha University（同志社大学）
本文提出结合监督学习与无监督学习及伪标签提取特征向量进行聚类，解决了插画按模糊氛围分类的难题，在人工分类数据集上优于传统方法。
2023-07-27 cs.CV cs.LG
Joint Unsupervised and Supervised Training for Multilingual ASR
Google（谷歌）
自监督训练在预训练模型和促进语音识别的下游微调（如多语言ASR）方面显示出了有希望的收益。大多数现有的方法采用2阶段方案，其中在第一预训练阶段优化自监督损失，在第二阶段恢复标准监督微调。在本文中，我们提出了一种端到端（E2 E）联合无监督和监督训练（JUST）方法，将监督RNN-T损失和自监督对比和掩蔽语言建模（MLM）损失结合起来。我们在公共数据集多语言LibriSpeech（MLS）上验证了它的性能，该数据集包括8种语言，并且非常不平衡。在MLS上，我们探索（1）从头开始训练，（2）从预训练的检查点进行微调。实验表明，JUST可以始终优于其他现有的最先进的方法，并击败单语基线的显着保证金，展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%，最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上，我们的WER不到单语基线的一半，甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
A Comparism of the Performance of Supervised and Unsupervised Machine Learning Techniques in evolving Awale/Mancala/Ayo Game Player
Tshwane University of Technology（茨瓦内理工大学）
Awale游戏已经在世界各地得到了广泛的认可，因为他们的创新策略和技术被用于发展代理（玩家），并在各种条件下产生了有趣的结果。本文将比较两种主要的机器学习技术的结果，通过回顾它们在使用极大极小、残局数据库、两种技术的组合或其他技术时的性能，并将确定哪些是最好的技术。
2013-09-06 cs.GT cs.LG
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University（亚利桑那州立大学）
最近关于无监督问答的工作表明，模型可以用程序生成的问答对进行训练，并且可以实现与监督方法竞争的性能。在这项工作中，我们考虑了无监督阅读理解的任务，并提出了一种方法，执行“测试时学习”（TTL）在一个给定的上下文（文本通道），而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作，使用自我监督在综合生成的问题-答案对上训练模型，然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法，并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Unsupervised Supervised Learning II: Training Margin Based Classifiers without Labels
School of Computational Science and Engineering（计算科学与工程学院）；College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）；Yahoo! Labs（雅虎实验室）
许多流行的线性分类器，如逻辑回归、boosting或SVM，都是通过优化基于边缘的风险函数来训练的。传统上，这些风险函数是基于标记数据集计算的。我们开发了一种新的技术来估计这种风险，只使用未标记的数据和边缘标签分布。我们证明了所提出的风险估计器在高维数据集上是一致的，并在合成数据和真实数据上进行了证明。特别是，我们展示了如何在迁移学习中使用估计来评估分类器，以及如何在没有标记数据的情况下训练分类器。
2010-07-21 cs.LG
Nearly-Unsupervised Hashcode Representations for Relation Extraction
IBM Research（IBM研究院）
最近，核局部敏感散列码已成功地作为自然语言文本的表示，特别是显示出高度相关的生物医学关系抽取任务。在本文中，我们建议以几乎无监督的方式优化散列码表示，在这种方式中，我们只使用数据点，而不是它们的类标签进行学习。然后，优化的散列码表示被馈送到遵循先前工作的监督分类器。这种几乎无监督的方法允许对每个散列函数进行细粒度优化，这特别适合于构建从训练集到测试集的散列代码表示。我们经验评估所提出的方法，生物医学关系抽取任务，获得显着的准确性提高w.r.t.最先进的监督和半监督方法。
2019-09-09 cs.AI cs.CL cs.IT
Lung and Pancreatic Tumor Characterization in the Deep Learning Era: Novel Supervised and Unsupervised Learning Approaches
Symantec Corporation（赛门铁克公司）；University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）
使用计算机辅助诊断（CAD）工具，放射学图像中肿瘤的风险分层（表征）可以更准确，更快速。通过这些工具进行肿瘤表征还可以实现非侵入性癌症分期、预后，并促进个性化治疗计划，作为精准医疗的一部分。在这项研究中，我们提出了监督和无监督的机器学习策略，以改善肿瘤表征。我们的第一种方法是基于监督学习，我们证明了深度学习算法的显著收益，特别是通过利用3D卷积神经网络和迁移学习。出于放射科医生对扫描的解释，我们展示了如何通过图形正则化稀疏多任务学习（MTL）框架将任务相关特征表示纳入CAD系统。在第二种方法中，我们探索了一种无监督学习算法来解决标记训练数据的有限可用性，这是医学成像应用中的一个常见问题。受计算机视觉中标签比例学习（LLP）方法的启发，我们提出使用比例支持向量机来表征肿瘤。我们还寻求答案的基本问题的“深度特征”的好处，无监督的肿瘤分类。我们评估了我们提出的监督和无监督学习算法对两个不同的肿瘤诊断挑战：肺和胰腺1018 CT和171 MRI扫描，分别获得了最先进的灵敏度和特异性结果在这两个问题。
2019-01-18 cs.AI cs.CV cs.LG
Semi-Supervised and Unsupervised Deep Visual Learning: A Survey
University of Tübingen（图宾根大学）；University of Surrey（萨里大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
最先进的深度学习模型通常使用大量昂贵的标记训练数据进行训练。然而，需要详尽的手动注释可能会降低模型在有限标签制度中的泛化能力。半监督学习和无监督学习为从大量未标记的视觉数据中学习提供了有前途的范例。这些范式的最新进展表明，利用未标记数据来改进模型泛化并提供更好的模型初始化具有强大的好处。在本调查中，我们从统一的角度回顾了最近用于视觉识别的半监督学习（SSL）和无监督学习（UL）的高级深度学习算法。为了全面了解这些领域的最新技术，我们提出了一个统一的分类法。我们对现有的代表性SSL和UL进行了全面而深入的分析，以突出其在不同学习场景和不同计算机视觉任务中的应用中的设计原理。最后，我们讨论了SSL和UL的新兴趋势和开放性挑战，以阐明未来的关键研究方向。
2022-08-24 cs.AI cs.CV cs.LG
Cold PAWS: Unsupervised class discovery and addressing the cold-start problem for semi-supervised learning
Melbourne Centre for Data Science（墨尔本数据科学中心）
本文提出 Cold PAWS，结合自监督学习、聚类与流形学习解决半监督学习中的冷启动选择性标注问题，并在多个图像数据集上验证其优于随机采样和现有方法。
2023-06-06 cs.AI cs.CV cs.LG
Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps
University of Toronto（多伦多大学）
从少量示例中学习新任务仍然是机器学习中的一个公开挑战。尽管最近在少样本学习方面取得了进展，但大多数方法依赖于对标记的Meta训练数据的监督预训练或元学习，并且不能应用于预训练数据未标记的情况。在这项研究中，我们提出了一种无监督的少样本学习方法，通过深度拉普拉斯特征映射。我们的方法通过将相似的样本分组在一起来从未标记的数据中学习表示，并且可以通过在增强的训练数据上随机游走来直观地解释。我们分析了深度拉普拉斯特征映射如何避免无监督学习中的崩溃表示，而无需明确比较正负样本。所提出的方法显着关闭监督和无监督少样本学习之间的性能差距。我们的方法也达到了目前最先进的自监督学习方法下的线性评价协议的性能相当。
2022-10-07 cs.LG
