Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
A Classification-Based Approach to Semi-Supervised Clustering with Pairwise Constraints
Jagiellonian University（雅盖隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在本文中，我们介绍了一个神经网络框架的半监督聚类（SSC）与成对（必须链接或不能链接）的限制。与现有方法相比，我们将SSC分解为两个更简单的分类任务/阶段：第一阶段使用一对连体神经网络将未标记的点对标记为必须链接或不能链接;第二阶段使用第一阶段在基于监督神经网络的聚类方法中产生的完全成对标记的数据集。所提出的方法S3 C2（用于聚类的半监督连体分类器）的动机是观察到二元分类（例如分配成对关系）通常比部分监督的多类聚类更容易。另一方面，基于分类，我们的方法只解决了定义明确的分类问题，而不是不太明确的聚类任务。在各种数据集上的实验表明了该方法的高性能。
2020-01-18 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Generalized Maximum Entropy for Supervised Classification
BCAM-Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
最大熵原则主张使用在满足某些期望约束的那些事件中最大化熵的分布来评估事件的概率。这样的原则可以推广到任意决策问题，它对应于极大极小方法。基于广义最大熵原理，建立了一个监督分类框架，并由此得到极小极大风险分类器（MRC）。我们开发的学习技术，确定一般熵函数的MRC，并通过凸优化提供性能保证。此外，我们描述了所提出的技术与现有的分类方法的关系，并量化MRCs的性能相比，建议的界限和传统的方法。
2021-12-15 cs.LG stat.ML
Weakly Supervised-Based Oversampling for High Imbalance and High Dimensionality Data Classification
Tsinghua University（清华大学）
随着工业数据集的日益丰富，不平衡分类问题已成为许多应用领域的普遍问题。过采样是解决不平衡分类问题的一种有效方法。现有过采样方法的主要挑战之一是准确标记新的合成样本。合成样本的不准确标签会扭曲数据集的分布，并可能恶化分类性能。本文引入弱监督学习的思想来处理传统过采样方法造成的合成样本标记不准确的问题。为了提高合成样本标签的可信度，提出了图半监督SMOTE算法。此外，我们提出了成本敏感的邻域成分分析的高维数据集和自举集成框架高度不平衡的数据集。该方法在8个合成数据集和3个真实数据集上取得了良好的分类性能，尤其是对高不平衡和高维问题。平均性能和鲁棒性优于基准方法。
2020-10-06 cs.LG stat.ML
Contrastive Self-supervised Learning for Graph Classification
UC San Diego（加州大学圣迭戈分校）
图分类是一个被广泛研究的问题，有着广泛的应用。在许多现实问题中，可用于训练分类模型的标记图的数量是有限的，这使得这些模型容易过拟合。为了解决这个问题，我们提出了两种方法的基础上对比自监督学习（CSSL），以减轻过拟合。在第一种方法中，我们使用CSSL在广泛可用的未标记图上预训练图编码器，而不依赖于人类提供的标签，然后在标记图上微调预训练的编码器。在第二种方法中，我们开发了一个基于CSSL的正则化器，并同时解决了监督分类任务和无监督CSSL任务。为了在图上执行CSSL，给定原始图的集合，我们执行数据增强以从原始图创建增强图。通过连续地应用一系列的图改变操作来创建增强图。定义了一种对比损失，通过判断两个增广图是否来自同一个原始图来学习图编码器。在不同的图分类数据集上的实验证明了我们提出的方法的有效性。
2020-09-13 cs.LG stat.ML
Graph Partition Neural Networks for Semi-Supervised Classification
University of Toronto（多伦多大学）；Uber ATG Toronto（优步高级技术集团多伦多分部）；Vector Institute（向量研究所）；Microsoft Research Cambridge（微软研究院剑桥分院）；Google Brain（谷歌大脑）；Canadian Institute for Advanced Research（加拿大高级研究所）
我们提出了图分区神经网络（GPNN），图神经网络（GNNs）的扩展，能够处理非常大的图。GPNN在小子图中的节点之间的局部传播信息和子图之间的全局传播信息之间交替。为了有效地划分图形，我们实验了几种划分算法，并提出了一种新的变体，用于快速处理大规模图形。我们在各种半监督节点分类任务上广泛测试了我们的模型。实验结果表明，GPNN是优于或相当于国家的最先进的方法在各种各样的数据集上的基于图的半监督分类。我们还表明，GPNN可以实现类似的性能标准GNNs的传播步骤更少。
2018-03-16 cs.LG stat.ML
Learning Discriminative Multilevel Structured Dictionaries for Supervised Image Classification
Institut National de Recherche en Informatique et Automatique (INRIA)（法国国家信息与自动化研究所）；METU（中东技术大学）
使用过完备字典的稀疏表示已被证明是许多信号处理应用中的强大工具，例如去噪，超分辨率，修复，压缩或分类。表示的稀疏性在很大程度上取决于字典对手头数据的适应程度。在本文中，我们提出了一种方法，学习结构化的多级字典与歧视性的限制，使他们非常适合监督像素分类的图像。一个多级树结构的判别字典学习每个类，与学习目标有关的重建误差的图像补丁周围的像素在每个类代表字典。在初始分配的类标签的图像像素的稀疏表示的基础上学习的字典，最终的分类是通过平滑的标签图像与图切割方法和腐蚀方法实现的。应用到一组常见的纹理图像，我们的监督分类方法显示出与最先进的竞争力的结果。
2018-02-28 cs.LG stat.ML
ModSSC: A Modular Framework for Semi-Supervised Classification on Heterogeneous Data
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）
ModSSC是一种开源框架，通过模块化设计支持异构数据的半监督分类，提供可重复实验和系统比较功能。
2026-02-16 cs.LG stat.ML
Graph Inference Learning for Semi-supervised Classification
Nanjing University of Science and Technology（南京理工大学）；Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们解决了图数据的半监督分类，其中未标记节点的类别是从标记节点和图结构中推断出来的。最近的工作通常通过传统的监督方式通过高级图卷积来解决这个问题，但是当标记数据稀缺时，性能可能会显着降低。为此，我们提出了一个图推理学习（GIL）框架，通过学习图拓扑上节点标签的推理来提高半监督节点分类的性能。为了连接两个节点之间的关系，我们通过将节点属性、节点间路径和局部拓扑结构封装在一起，形式化地定义了一种结构关系，使得推理可以方便地从一个节点推导到另一个节点。在学习推理过程中，我们进一步引入了从训练节点到验证节点的结构关系的元优化，使得学习后的图推理能力能够更好地自适应测试节点。四个基准数据集（包括Cora，Citeseer，Pubmed和NELL）的综合评估表明，我们提出的GIL与最先进的方法相比，在半监督节点分类任务上的优越性。
2020-01-17 cs.LG stat.ML
A New Variational Model for Binary Classification in the Supervised Learning Context
Facultad de Ingeniería, Universidad Autónoma de Yucatán（尤卡坦自治大学工程学院）
我们研究了监督学习问题在其连续设置，并通过技术的功能分析和变分法给出了一般的最优性条件。这使我们能够数值求解所需函数u的最优性条件，并与其他广泛使用的监督学习模型进行比较。我们采用的准确性和面积下的受试者工作特性曲线的性能指标。最后，基于这两个指标进行了3次分析，我们比较了模型并得出结论，以确定我们的方法是否具有竞争力。
2018-07-12 cs.LG stat.ML
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
Efficient Path Prediction for Semi-Supervised and Weakly Supervised Hierarchical Text Classification
Hong Kong University of Science and Technology（香港科技大学）
层次文本分类有许多实际应用。然而，标记大量文档是昂贵的。在实践中，我们可以使用半监督学习或弱监督学习（例如，无数据分类）以降低标记成本。在本文中，我们提出了一个路径成本敏感的学习算法，利用结构信息，并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量的未标记数据，并将路径约束引入到学习算法中，以结合类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径相关分数结合。由于我们把结构敏感的成本的学习算法，以约束与类层次结构一致的分类，不需要重建不同结构的特征向量，我们可以显着降低计算成本相比，结构输出学习。在两个层次文本分类基准上的实验结果表明，该方法不仅是有效的，而且是有效的处理半监督和弱监督的层次文本分类。
2019-02-25 cs.IR cs.LG stat.ML
Progressive Graph Convolutional Networks for Semi-Supervised Node Classification
Aarhus University（奥胡斯大学）
图卷积网络已经成功地解决了基于图的任务，如半监督节点分类。现有的方法使用由用户定义的网络结构，基于实验，每层具有固定数量的层和神经元，并采用逐层传播规则来获得节点嵌入。设计一个自动过程来定义图卷积网络的问题相关架构可以极大地帮助减少在训练过程中手动设计模型结构的需要。在本文中，我们提出了一种方法来自动构建紧凑和特定任务的图卷积网络。在广泛使用的公开数据集上的实验结果表明，该方法在分类性能和网络紧凑性方面优于基于卷积图网络的相关方法。
2021-01-20 cs.LG stat.ML
Semi-Supervised Learning of Classifiers from a Statistical Perspective: A Brief Review
University of Queensland（昆士兰大学）
在机器学习中，半监督学习（SSL）方法越来越受到关注，以在分类器的训练数据由有限数量的分类观测值但大量的未分类观测值组成的情况下形成分类器。这是因为机密数据的获取可能相当昂贵，这是由于高获取成本以及随后的财务、时间和道德问题，这些问题可能在尝试为已获取的非机密数据提供真实类别标签时出现。我们在这里提供了一个审查的统计SSL的方法来解决这个问题，集中在最近的结果，从一个部分分类的样本形成的分类实际上可以有较小的预期错误率比，如果样本被完全分类。
2021-11-09 cs.LG stat.ML
Adversarial Training Methods for Semi-Supervised Text Classification
Preferred Networks, Inc.（Preferred Networks公司）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Kyoto University（京都大学）；Google Brain（谷歌大脑）；OpenAI
对抗训练提供了一种规范监督学习算法的方法，而虚拟对抗训练能够将监督学习算法扩展到半监督环境。然而，这两种方法都需要对输入向量的许多条目进行小的扰动，这对于稀疏的高维输入（如单热词表示）是不合适的。我们通过对递归神经网络中的单词嵌入而不是原始输入本身施加扰动，将对抗和虚拟对抗训练扩展到文本域。该方法在多个基准半监督和纯监督任务上实现了最先进的结果。我们提供了可视化和分析，显示学习的单词嵌入质量有所提高，并且在训练时，模型不太容易过拟合。代码可在https://github.com/tensorflow/models/tree/master/research/adversarial_text上获得。
2021-11-16 cs.LG stat.ML
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）
迄今为止开发的大多数半监督分类方法在特定的分布假设（如聚类假设）下使用未标记数据进行正则化。相比之下，最近开发的从阳性和未标记数据进行分类的方法（PU分类）使用未标记数据进行风险评估，即，直接从未标记的数据中提取标记信息。在本文中，我们扩展PU分类，也将负面数据，并提出了一种新的半监督分类方法。我们建立泛化误差的界限，我们的新方法，并表明，该界限相对于未标记的数据的数量减少，而不需要在现有的半监督分类方法的分布假设。通过实验，我们证明了所提出的方法的实用性。
2017-06-16 cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Supervised Classification: Quite a Brief Overview
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
监督分类的原始问题考虑的任务是根据来自这些对象的数值测量值自动将对象分配到它们各自的类。分类器是实现从这些测量（也称为特征或输入）到所谓的类标签或输出的实际功能映射的工具。模式识别和机器学习领域研究构造这种分类器的方式。监督方法背后的主要思想是从示例中学习：给定一些示例输入-输出关系，在多大程度上可以学习将任何新的和不可见的特征向量带到其正确类的一般映射？本章提供了一个基本的介绍如何来监督分类问题的基本思想。此外，它还概述了一些特定的分类技术，深入研究了对象表示和分类器评估的问题，并（非常）简要地介绍了一些基本监督分类任务的变化，这些变化也可能是从业者感兴趣的。
2017-10-25 cs.CV cs.LG stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Semi-supervised Learning with Graphs: Covariance Based Superpixels For Hyperspectral Image Classification
University of Cambridge（剑桥大学）
提出了一种基于图的半监督高光谱图像分类框架。我们首先介绍了一种新的超像素算法的基础上的光谱协方差矩阵表示的像素，以提供一个更好的表示我们的数据。然后，我们在进行分类之前，根据仔细考虑的特征向量构建一个超像素图。通过使用两个基准数据集的一组实验结果，我们证明了我们的方法优于三种最先进的分类框架，特别是当使用极少量的标记数据时。
2019-05-14 cs.CV cs.LG stat.ML
Boost Picking: A Universal Method on Converting Supervised Classification to Semi-supervised Classification
提出了一种基于未标记数据的监督分类模型的通用训练方法Boost Picking。Boost Picking只采用两个弱分类器来估计和校正误差。从理论上证明了Boost Picking算法在两个弱分类器的召回率均大于零且精度之和大于1的条件下，可以训练主要使用未标记数据的监督模型，其效果与使用100%标记数据的监督模型一样好。在Boost Picking的基础上，我们提出了“测试与训练（TawT）”，以提高监督模型的泛化能力。Boost Picking和TawT都在不同的小数据集上成功地进行了测试。
2016-11-12 cs.CV cs.LG
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图神经网络（GNNs）在基于图的半监督节点分类中取得了显著的成功，它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而，这样的假设并不总是有效，限制了GNN在节点分类方面的性能。在本文中，我们提出了基于标签一致性的图神经网络（LC-GNN），利用节点对不连接，但具有相同的标签，以扩大GNN中的节点的感受野。在基准数据集上的实验表明，LC-GNN在基于图的半监督节点分类中优于传统GNN，并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Combining Supervised and Unsupervised Learning for GIS Classification
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Université d’Avignon et des Pays de Vaucluse（阿维尼翁与沃克吕兹地区大学）；INRIA（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文提出了一种新的混合学习算法的无监督分类任务。我们结合模糊c-均值学习算法和监督版本的Minimerror开发一个混合增量策略，允许无监督分类。我们将这种新方法应用到一个真实世界的数据库中，以了解地理信息系统（GIS）的未标记特征中所包含的信息是否允许很好地分类它。
2009-05-14 cs.LG
Supervised Collective Classification for Crowdsourcing
University of Michigan（密歇根大学）；Amazon Corporate LLC（亚马逊公司）；Georgia Institute of Technology（佐治亚理工学院）；National Taiwan University of Science and Technology（台湾科技大学）
众包利用群体的智慧通过信息进行集体分类（例如，物品的标签）。目前的众包算法主要是无监督的方法，不知道众包数据的质量。在本文中，我们提出了一种监督集体分类算法，其目的是从训练数据中识别可靠的标记者（例如，已知标签的项目）。可靠性（即，加权因子）通过鞍点算法确定。在多个众包数据上的实验结果表明，监督方法比非监督方法具有更好的分类精度，并且我们提出的方法优于其他算法。
2015-09-08 cs.LG cs.SI stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注，但其在时间序列域中的适用性研究有限。在这项工作中，我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整，特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整，我们探索深度半监督学习在时间序列分类的背景下，通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑，这是尚未在该领域缺乏。我们发现，这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益，特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Structure fusion based on graph convolutional networks for semi-supervised classification
Xi'an University of Technology（西安理工大学）
针对多视点数据多样性和半监督分类复杂性的问题，现有的图卷积网络大多关注于网络结构的构建或显著图结构的保持，而忽略了完整图结构对半监督分类的贡献。为了从多视图数据中挖掘出更完整的分布结构，同时兼顾特殊性和共性，提出了基于图卷积网络的结构融合方法（SF-GCN），以提高半监督分类的性能。SF-GCN不仅可以通过谱嵌入来保留各个视图数据的特征，而且可以通过多图结构之间的距离度量来捕捉多视图数据的共同风格。假设多图结构之间存在线性关系，通过平衡特殊性损失和通用性损失，构造结构融合模型的优化函数。通过求解该函数，可以同时得到多视点数据的融合谱嵌入和融合结构作为邻接矩阵输入到图卷积网络进行半监督分类。实验结果表明，SF-GCN在引文网络中的Cora、Citeseer和Pubmed三个具有挑战性的数据集上的性能优于现有技术。
2019-07-02 cs.CV cs.LG stat.ML
Contrastive Pessimistic Likelihood Estimation for Semi-Supervised Classification
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
半监督分类器的改进保证目前只能在数据的限制条件下给出。我们提出了一种通用的方法来执行半监督参数估计的似然为基础的分类器，在完整的训练集，估计永远不会比监督的解决方案的对数似然。此外，我们认为，在特定情况下，我们可以期望这些解决方案能够真正改善监督分类器。在LDA的一个例子中，我们进一步证明了它的半监督版本严格优于其监督版本。形成我们估计原则核心的两个新概念是对比和悲观。前者指的是我们的目标函数考虑了监督估计，使半监督解决方案能够显式控制对该估计的潜在改进。后者指的是我们的估计是保守的，因此弹性的任何形式的真实标签的未标记的数据takeson.Experiments证明的改善，在独立的测试集上的对数似然和分类错误率。
2015-05-10 cs.LG stat.ME stat.ML
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域，有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整，或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
More Is Better: Large Scale Partially-supervised Sentiment Classification - Appendix
我们描述了一种自举算法，从部分标记的数据中学习，以及一项实证研究的结果，使用它来提高情感分类的性能，使用多达1500万未标记的亚马逊产品评论。我们的实验涵盖了半监督学习、领域自适应和弱监督学习。在某些情况下，我们的方法能够使用如此大量的数据将测试误差减少一半以上。注意：这只是补充材料。
2012-09-27 cs.LG
Semi-supervised Classification: Cluster and Label Approach using Particle Swarm Optimization
分类使用在训练阶段学习的知识来预测对象的类别。这个过程需要从标记的样本中学习。然而，标记的样品通常是有限的。注释过程令人厌烦、乏味、昂贵，并且需要人类专家。同时，未标记的数据是可用的，几乎是免费的。半监督学习方法利用标记和未标记的数据。本文介绍了基于粒子群算法的半监督分类算法。粒子群优化算法是传统聚类算法无法比拟的。提出了一种新的局部最优粒子群算法对未标记数据进行聚类。可用的标记数据指导学习过程。实验使用四个国家的最先进的数据集从不同的领域进行。实验结果与流行的半监督分类器LabelPropagation和两种最先进的监督分类模型k-近邻和决策树进行了比较。实验结果表明了该模型的有效性。
2017-06-03 cs.LG
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Matrix sketching for supervised classification with imbalanced classes
University of Bologna（博洛尼亚大学）
矩阵素描是近年来发展起来的一种数据压缩技术。一个输入矩阵A可以用一个较小的矩阵B有效地近似，这样B就可以保持A的大部分属性，直到某个保证的近似比。这样，对大数据集的数值运算变得更快。草图绘制算法通常使用随机投影来压缩原始数据集，并且这种随机生成过程使它们适合于统计分析。在多元线性回归的背景下，草绘算法的统计特性已经被广泛研究。在本文中，我们提出了矩阵素描作为一种工具，用于重新平衡类的监督分类与不平衡类的大小。事实上，类不平衡可能导致分类性能不佳，尤其是对于少数类而言。
2019-12-02 cs.LG stat.ME stat.ML
N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
图卷积网络（GCN）在图结构数据的半监督学习中表现出显着的改进。同时，图嵌入的无监督学习也受益于随机游走中包含的信息。在本文中，我们提出了一个模型：GCN网络（N-GCN），它结合了这两条工作线。在其核心，N-GCN在随机游走中在不同距离发现的节点对上训练GCN的多个实例，并学习优化分类目标的实例输出组合。我们的实验表明，我们提出的N-GCN模型改善了我们考虑的所有具有挑战性的节点分类任务的最新基线：Cora，Citeseer，Pubmed和PPI。此外，我们提出的方法具有其他理想的属性，包括推广到最近提出的半监督学习方法，如GraphSAGE，使我们能够提出N-SAGE，以及对对抗性输入扰动的弹性。
2018-02-24 cs.LG cs.SI stat.ML
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Supervised level-wise pretraining for recurrent neural network initialization in multi-class classification
IRSTEA（法国国家环境与农业科技研究院）；UMR TETIS（TETIS联合研究单位）；LIRMM（蒙彼利埃计算机科学与机器人实验室）；Univ. of Montpellier（蒙彼利埃大学）；CIRAD（法国国际农业发展研究中心）
递归神经网络（RNN）可能会受到初始参数分配的严重影响，这可能会导致对新的未知数据的泛化性能较差。为了解决这一关键问题，在基于RNN的分类背景下，我们提出了一种新的监督分层预训练策略来初始化网络参数。所提出的方法利用数据感知的策略，该策略建立了由模型行为自动导出的分类问题的分类。据我们所知，尽管人们对基于RNN的分类非常感兴趣，但这是第一个处理此类模型初始化的数据感知策略。拟议的战略已在来自两个不同领域的四个基准上进行了测试，即，语音识别与遥感。结果强调了我们的方法的意义，并指出，数据感知策略积极支持基于递归神经网络的分类模型的初始化。
2019-11-04 cs.CV cs.LG stat.ML
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University（西北大学）；Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要，并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时，强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明，我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善，目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Deep Dive into Semi-Supervised ELBO for Improving Classification Performance
Agency Lab（机构实验室）；Independent University Bangladesh（孟加拉国独立大学）
对VAE用于密度估计的证据下限（ELBO）目标进行分解，揭示了VAE用于表示学习的不足，并提出了改进方法。在本文中，我们研究是否可以通过使用VAE模型分解ELBO进行半监督分类来获得类似的见解。具体来说，我们表明，输入和类标签之间的互信息减少ELBO目标的最大化。我们提出了一种方法来解决这个问题。我们还强制集群假设，以帮助分类。在不同数据集上的实验表明，该方法可以提高现有基于VAE的半监督模型的分类性能。实验还表明，这可以在不牺牲模型生成能力的情况下实现。
2022-11-21 cs.LG
A study of the classification of low-dimensional data with supervised manifold learning
Middle East Technical University（中东技术大学）；INRIA（法国国家信息与自动化研究所）；Centre de recherche INRIA Bretagne Atlantique（法国国家信息与自动化研究所布列塔尼大西洋研究中心）
监督流形学习方法通过保留数据的几何结构来学习数据表示，同时增强来自不同类别的数据样本之间的分离。在这项工作中，我们提出了一个监督流形学习分类的理论研究。我们认为非线性降维算法，产生线性可分离的嵌入的训练数据和目前的推广这种类型的算法的界限。令人满意的推广性能的一个必要条件是，嵌入允许构造一个足够规则的插值函数与嵌入的分离裕度。我们表明，对于满足这一条件的监督嵌入，分类误差随着训练样本的数量以指数速度衰减。最后，我们研究了监督非线性嵌入的可分性，其目的是保持基于图表示的数据的低维几何结构。几个真实数据集上的实验支持所提出的分析。
2018-01-05 cs.LG
Rethinking Semi-Supervised Node Classification with Self-Supervised Graph Clustering
The University of Hong Kong（香港大学）；Hong Kong Baptist University（香港 Baptist 大学）；Shenzhen University（深圳大学）
本文提出NCGC框架，结合自监督图聚类与半监督分类，通过改进的消息传递范式和多任务学习提升节点分类性能。
2025-11-25 cs.LG cs.SI
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University（杜克大学）
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法，如成对马尔可夫随机场（pMRF）和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而，现有的基于pMRF的方法不如图神经网络准确，这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中，我们的目标是解决现有的基于pMRF的方法的关键限制。特别是，我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明，我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调，以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
A Consistent Diffusion-Based Algorithm for Semi-Supervised Classification on Graphs
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）
图上的半监督分类旨在基于称为种子的几个节点的已知标签为图的所有节点分配标签。最流行的算法依赖于热扩散的原理，其中种子的标签通过热传导扩散，并且每个节点的温度被用作每个标签的得分函数。使用一个简单的块模型，我们证明了该算法是不一致的，除非在分类之前的节点的温度是中心。我们表明，这种简单的修改算法是足够的，以获得显着的性能增益的真实数据。
2020-08-27 cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University（蔚蓝海岸大学）；Orange Labs（Orange实验室）
在本文中，我们提出了一种新的方法来解决半监督分类任务的生物医学应用，涉及监督自动编码器网络。我们创建了一个网络架构，将标签编码到自动编码器的潜在空间中，并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器（SSAE）。然后，我们使用学习的网络对未标记的样本进行分类，这要归功于应用于潜在空间的softmax分类器，该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法，用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法（SSAE）与经典的半监督方法，如标签传播和标签扩散，并与全连接神经网络（FCNN）。实验表明，SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
Integrated Imputation-Classification for Supervised Learning with Missing Data
University of Toronto（多伦多大学）；TELUS
针对缺失特征值的监督分类，提出集成插补与分类网络（IICN），联合训练插补器和(n+1)类判别器，实现贝叶斯最优分类，在多个数据集上优于现有方法。
2026-10-06 cs.LG
Weakly-Supervised Deep Learning for Domain Invariant Sentiment Classification
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）；Indian Institute of Technology Kharagpur（克勒格布尔印度理工学院）
学习一个能够很好地适应任何目标域（不同于源域）的情感分类模型的任务是一个具有挑战性的问题。大多数现有的方法都集中在通过在训练期间利用源数据和目标数据来学习公共表示。在本文中，我们介绍了一个两阶段的训练过程，该过程利用弱监督数据集来开发简单的基于提升和移位的预测模型，而无需在训练阶段暴露于目标域。实验结果表明，从源域到各种目标域的弱监督转移提供的性能非常接近于通过目标域本身的监督训练获得的性能。
2019-11-23 cs.CL cs.IR cs.LG
Weakly-Supervised Neural Text Classification
Institute for Clarity in Documentation（文档清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
深度神经网络由于其强大的表达能力和对特征工程的要求较低，在经典的文本分类任务中越来越受欢迎。尽管有这样的吸引力，神经文本分类模型遭受缺乏训练数据在许多现实世界的应用。虽然存在许多半监督和弱监督文本分类模型，但它们不能轻松应用于深度神经模型，同时支持有限的监督类型。在本文中，我们提出了一种弱监督的方法，解决了缺乏训练数据的神经文本分类。我们的方法由两个模块组成：（1）一个伪文档生成器，它利用种子信息来生成用于模型预训练的伪标记文档，以及（2）一个自训练模块，它在真实的未标记数据上进行自举以进行模型优化。我们的方法具有处理不同类型弱监督的灵活性，并且可以很容易地集成到现有的深度神经模型中进行文本分类。我们已经进行了广泛的实验，从不同领域的三个真实世界的数据集。结果表明，我们提出的方法实现了鼓舞人心的性能，而不需要过多的训练数据，并优于基线方法显着。
2018-09-12 cs.CL cs.IR cs.LG
Binary Classification for High Dimensional Data using Supervised Non-Parametric Ensemble Method
Thakur Institute Of Management Studies, Career Development & Research（塔库尔管理研究、职业发展与研究学院）；University of Mumbai（孟买大学）
用于分类的高维数据确实给机器学习算法带来了许多困难。泛化可以使用集成学习方法来完成，例如基于装袋的监督非参数随机森林算法。本文针对多囊卵巢综合征数据集，采用随机森林方法解决了高维数据的二值分类问题。我们已经执行了实现，并提供了一个详细的可视化数据的一般推理。训练准确率达到95.6%，验证准确率超过91.74%。
2023-01-30 cs.LG
