RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology（格拉茨技术大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；University of Cambridge（剑桥大学）
在一些领域中，获取类注释是昂贵的，而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设，但最近的工作已经成功地在非限制性机制中学习半监督模型。然而，到目前为止，这样的方法只提出了线性模型。在这项工作中，我们介绍了和积网络（SPN）的半监督参数学习。SPN是深度概率模型，允许在线性时间内推理网络边缘的数量。我们的方法有几个优点，因为它（1）允许生成和判别式半监督学习，（2）保证添加未标记数据可以增加，但不会降低性能（安全），（3）计算效率高，不会对数据分布进行限制性假设。我们在各种数据集上表明，与最先进的方法相比，使用SPN的安全半监督学习具有竞争力，并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
深度神经网络证明了它们在广泛的监督学习任务（例如，图像分类）在大量的标记数据集合上训练时（例如，ImageNet）。然而，创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下，这些资源可能不可用，从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时，对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加，以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中，我们对深度半监督学习进行了全面的概述，首先介绍了该领域，然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反，因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明，它们可以实现显着更高的AUC比提升树，随机森林和逻辑回归时，未标记的例子。
2016-05-28 cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
半监督学习是一种具有标记和未标记数据的设置。在本调查中，我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时，包括未标记的数据实际上可能会降低性能。因此，研究这些方法，了解其背后的理论就显得尤为重要。在这篇综述中，我们收集了有关使用半监督学习时可能获得的收益的结果，以及有关此类方法的限制的结果。更确切地说，这篇综述收集了以下问题的答案：就改进监督方法而言，半监督学习的局限性是什么？不同方法的假设是什么？如果这些假设是真的，我们能得到什么？最后，我们还讨论了半监督学习的最大瓶颈，即它们所做的假设。
2020-07-30 cs.LG stat.ML
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology（以色列理工学院维特比电气与电子工程学院）
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而，他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展，以及新的重建损失，为自动编码器提供泛化界。据我们所知，这是第一次这样的约束。我们进一步表明，在适当的假设下，具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Supervised and Semi-supervised Deep Probabilistic Models for Indoor Positioning Problems
Université Bourgogne Franche-Comté（弗朗什-孔泰大学）；UTBM（贝尔福-蒙贝利亚技术大学）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学与应用实验室）；CNRS（法国国家科学研究中心）
利用WiFi指纹预测智能手机用户的位置是近年来的一个热门研究课题。在这项工作中，我们提出了两个新的基于深度学习的模型，卷积混合密度递归神经网络和基于VAE的半监督学习模型。结合卷积神经网络、递归神经网络和混合密度网络的优点，设计了一种用于路径预测的卷积混合密度递归神经网络。此外，由于大多数真实世界的数据集没有标记，我们设计了基于VAE的半监督学习任务的模型。为了验证所提出的模型，我们在真实世界的数据集上进行了验证实验。最后的结果验证了我们的方法的有效性，并显示出优于其他现有的方法。
2021-03-16 cs.LG stat.ML
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn（siat.ac.cn（注：此处原文仅提供了邮箱，未明确完整机构名，根据要求不提取））
近年来，半监督多视图非负矩阵分解（MVNMF）算法在多视图聚类中取得了很好的性能。然而，大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法（DCS^2MVNMF）。具体地说，每个视图的辅助矩阵，这增强了类间的区别引入一个判别加权矩阵。同时，利用标号和几何信息构造了一种新的图正则化方法。此外，我们设计了一种新的特征尺度归一化策略来对齐多个视图，并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们介绍了用于半监督学习的SaaS算法，该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中，训练速度与正确标签的百分比密切相关，因此我们将其用作未知标签的推理标准，而不试图首先推断模型参数。尽管简单，SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory（美国海军研究实验室）
在新应用中采用深度神经网络的最大障碍之一是，训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景，其中可以访问大量未标记的数据，但只需要标记每个类的单个原型样本，以便训练深度网络（即，一次性半监督学习）。具体来说，我们调查了FixMatch中报道的一次性半监督学习的最新结果，以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如，我们发现，一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案，可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络（DCN）在监督任务中取得了巨大的成功，因此在半监督学习中得到了广泛的应用。在本文中，我们利用最近开发的深度渲染混合模型（DRMM），一个概率生成模型，模型潜在的滋扰变化，其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下，我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之，我们的工作为监督，无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Partially Shared Semi-supervised Deep Matrix Factorization with Multi-view Data
Guangdong University of Technology（广东工业大学）
由于现实世界中的许多数据可以从多个视角描述，多视角学习引起了人们的广泛关注。已经提出了各种方法，并成功地应用于多视图学习，通常基于矩阵分解模型。近年来，利用多视图数据的层次信息已被扩展到深层结构，但很少考虑视图的特定特征和标签信息。为了解决这些问题，我们提出了一个部分共享的半监督深度矩阵分解模型（PSDMF）。通过整合部分共享的深度分解结构，图正则化和半监督回归模型，PSDMF可以通过消除不相关信息的影响来学习一个紧凑的和有区别的表示。此外，我们开发了一个有效的迭代更新算法的PSDMF。在五个基准数据集上的实验表明，PSDMF可以实现比最先进的多视图学习方法更好的性能。MATLAB源代码可在https://github.com/libertyhhn/PartiallySharedDMF上获得。
2020-12-02 cs.LG
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China（电子科技大学格拉斯哥学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语学院）
为了从多个视图中挖掘潜在的互补信息，本文提出了一种新的潜在多视图半监督分类（LMSSC）方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同，我们的方法寻求一个潜在的潜在表示，并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性，潜在表示比单个视图更能全面地描述数据，从而使图更准确、更鲁棒。最后，LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中，使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
A Multi-view Perspective of Self-supervised Learning
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
自监督学习（Self-supervised learning，SSL）作为一种新兴的无监督学习范式，近年来受到了广泛的关注。在它的帮助下，SSL有效地学习了对下游任务有益的特征表示。因此，托词任务起着关键作用。然而，目前对它的设计，特别是它的本质的研究还处于开放状态。在本文中，我们借用多视图的角度来解耦一类流行的借口任务到视图数据增强（VDA）和视图标签分类（VLC）的组合，在那里我们试图探索这种借口任务的本质，同时提供一些见解，其设计。具体而言，一个简单的多视图学习框架（SSL-MV）是专门设计的，它有助于通过增强视图上的相同任务的下游任务（原始视图）的特征学习。SSL-MV专注于VDA，而放弃VLC，根据经验发现是VDA而不是通常认为的VLC主导了此类SSL的性能。此外，由于用VDA任务取代了VLC，SSL-MV还可以实现集成推理，结合来自增强视图的预测，进一步提高性能。在多个基准数据集上的实验证明了该方法的优越性。
2020-05-15 cs.CV cs.LG stat.ML
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Self-supervised Spatial Reasoning on Multi-View Line Drawings
New York University Tandon School of Engineering（纽约大学坦登工程学院）；University of California, Berkeley（加州大学伯克利分校）
通过最先进的监督深度网络对多视图线条图进行空间推理，最近在SPARE3D数据集上表现出令人困惑的低性能。基于自监督学习在大量数据可用时很有帮助的事实，我们提出了两种自监督学习方法来提高SPARE 3D数据集上视图一致性推理和相机姿态推理任务的基线性能。对于第一个任务，我们使用自监督二进制分类网络来对比任何两个相似3D对象的各种视图之间的线条画差异，使训练后的网络能够有效地学习3D对象的细节敏感但视图不变的线条画表示。对于第二种类型的任务，我们提出了一个自我监督的多类分类框架，训练模型选择正确的相应的视图，从该视图中绘制线条图。我们的方法甚至有助于下游任务与看不见的相机姿势。实验表明，我们的方法可以显着提高基线性能在SPARE3D，而一些流行的自监督学习方法不能。
2022-05-16 cs.AI cs.CV cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题，本文主要研究半监督学习的统计性质。在标准的监督学习中，只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中，除了标记数据之外，还获得未标记数据。因此，在半监督学习中，利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下，一般认为未标记数据对提高估计精度没有作用。最近，有人透露，加权估计使用未标记的数据实现更好的预测精度相比，学习方法，仅使用标记的数据，特别是当判别概率模型是错误的。也就是说，当错误指定半参数模型时，在缺失数据的半参数模型下的改进是可能的。在本文中，我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是，所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论，我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明，我们的方法的实用性。
2012-04-18 stat.ML
Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Futurewei Seattle Cloud Lab（未来华西雅图云实验室）
3D对象表示学习是计算机视觉中推断3D世界的基本挑战。深度学习的最新进展已经显示了它们在3D对象识别中的效率，其中基于视图的方法迄今为止表现最好。然而，现有方法中的多视图特征学习大多是以监督的方式进行的，这通常需要大量的数据标签，成本很高。相比之下，自监督学习旨在学习多视图特征表示而不涉及标记数据。为此，我们提出了一种新的自监督范式来学习多视图变换等变表示（MV-TER），探索3D对象及其投影的多个视图的等变变换。具体来说，我们对3D对象执行3D变换，并通过投影获得变换前后的多个视图。然后，我们自我训练的表示捕捉内在的3D对象表示通过解码3D变换参数从融合的特征表示的多个视图之前和之后的变换。实验结果表明，MV-TER算法在3D对象分类和检索任务中的性能明显优于现有的基于视图的方法，并具有较好的泛化能力.
2021-03-01 cs.CV cs.LG
Semi-Supervised Radio Signal Identification
Virginia Tech（弗吉尼亚理工大学）；Oklahoma State University（俄克拉荷马州立大学）
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的，很容易从天线获得，但标记和策划的数据往往是稀缺的，使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外，允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号，用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training
University of the Basque Country（巴斯克大学）；IKERBASQUE；North China University of Water Resources and Electric Power（华北水利水电大学）
MV-SupGCN通过监督对比学习和自训练方法提升多视图图卷积网络的半监督性能。
2025-12-15 cs.CV cs.LG
ViewMix: Augmentation for Robust Representation in Self-Supervised Learning
University of Nebraska at Omaha（内布拉斯加大学奥马哈分校）
针对自监督学习中区域丢弃策略不适于生成正样本对的问题，提出ViewMix增强策略，通过跨视图剪切粘贴图块，提升模型定位能力与表示鲁棒性且无额外计算开销。
2023-09-06 cs.CV cs.LG
Self-supervised Contrastive Learning of Multi-view Facial Expressions
Ingenuity Labs Research Institute（Ingenuity Labs 研究所）
人脸表情识别是人机交互系统的重要组成部分。尽管FER最近取得了进展，但非正面面部图像的性能通常会显着下降。我们提出了多视角面部表情的对比学习（CL-MEx），以利用从不同角度同时捕获的面部图像对FER。CL-MEx是一个两步培训框架。在第一步中，编码器网络使用所提出的自监督对比度损失进行预训练，其中它学习为主题的不同视图生成视图不变嵌入。然后在监督设置中使用标记数据对模型进行微调。我们证明了所提出的方法在两个多视图FER数据集，KDEF和DDCF，其中最先进的性能实现的性能。进一步的实验表明，我们的方法在处理具有挑战性的角度和减少标记的数据量的鲁棒性。
2021-08-15 cs.CV cs.LG
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory（美国海军研究实验室）
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督（BOSS）学习的潜力，以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼，类平衡和自我训练。一个好的原型选择是必不可少的，我们提出了一种技术，以获得图标的例子。此外，我们证明了类平衡方法大大提高了半监督学习的准确性，使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据，证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码，以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Cross-view Self-Supervised Learning on Heterogeneous Graph Neural Network via Bootstrapping
Korea Advanced Institute of Science and Technology（韩国科学技术院）
异构图神经网络能够以优异的能力表示异构图的信息。最近，研究了自监督学习方式，其通过对比学习方法来学习图的唯一表达式。在没有标签的情况下，这种学习方法显示出巨大的潜力。然而，对比学习在很大程度上依赖于正负对，并且从异构图生成高质量的对是困难的。在本文中，根据最近的创新自监督学习称为BYOL或自举，我们介绍了一个可以生成良好的表示，而不会产生大量的对。此外，注意到异构图可以从两个角度，网络模式和元路径视图的事实，在图中的高层次表达式的捕获和表示。该模型在各种真实世界数据集中表现出比其他方法更先进的性能。
2022-01-11 cs.AI cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能研究院）
在计算病理学中，我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习，它通常分为自我监督的借口任务和随后的模型微调。在这里，我们通过引入S5 CL将这两个阶段的训练压缩为一个，S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失，S5 CL可以学习反映距离关系层次的特征表示：相似图像和增强嵌入最接近，其次是同一类的不同外观图像，而来自不同类的图像具有最大的距离。此外，S5 CL允许我们灵活地组合这些损失，以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示，在稀疏标签的情况下，我们的框架有了很大的改进：对于H& E染色的结直肠癌数据集，与监督交叉熵损失相比，准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集，F1分数提高了6%。
2022-03-14 cs.CV stat.ML
Broaden Your Views for Self-Supervised Video Learning
DeepMind；University of Oxford（牛津大学）
BraVe提出一种新的自监督视频学习框架，通过让一个视图访问窄时间窗口、另一视图广泛访问视频内容，并利用不同骨干网络整合多种模态，在多个视频和音频基准上达到最先进性能。
2026-10-06 cs.CV cs.LG
Investigating and Mitigating the Side Effects of Noisy Views for Self-Supervised Clustering Algorithms in Practical Multi-View Scenarios
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study（深圳高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究了实际多视图场景中噪声视图导致聚类性能退化的问题，提出深度多视图聚类方法MVCAN，通过允许跨视图不共享参数和预测不一致，并设计两级迭代优化生成稳健目标，有效缓解噪声副作用并提升了聚类鲁棒性。
2024-03-25 cs.CV cs.LG
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计，鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界，并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计，可以达到这个下限，从而提高了监督估计，条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的，因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services（亚马逊云科技）
我们提出了一个插件替代批量归一化（BN）称为指数移动平均归一化（EMAN），它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同，在每个批次中计算统计数据，教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性，增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时，EMAN将自监督学习的强基线提高了4-6/1-2个点，半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的，证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
半监督学习中的一个常见假设是，标记数据、未标记数据和测试数据来自相同的分布。然而，这一假设在许多应用中并不满足。在许多情况下，数据是顺序收集的（例如，医疗保健），并且数据的分布可能随时间变化，通常表现出所谓的协变量偏移。在本文中，我们提出了一种半监督学习算法，能够解决这个问题的方法。我们的框架还恢复了一些流行的方法，包括熵最小化和伪标记。我们提供了新的信息理论为基础的泛化误差上界启发我们的新框架。我们的界限适用于一般的半监督学习和协变量偏移的情况。最后，我们数值表明，我们的方法优于以前的方法提出的半监督学习下的协变量偏移。
2022-02-24 cs.IT math.IT stat.ML
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney（悉尼大学）；North University of China（中北大学）；University of Technology Sydney（悉尼科技大学）
针对医学图像标注数据稀缺问题，提出将自监督BYOL集成到半监督模型的方法，经无标注预训练、伪标与标注数据合并训练及迭代微调，在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中，我们分析了基于图的方法，半监督学习下的流形假设。我们采用贝叶斯的角度来看，并证明，对于一个合适的选择之前构建了足够多的未标记的数据，后验合同周围的真理在一个速率，是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Consistency of semi-supervised learning, stochastic tug-of-war games, and the p-Laplacian
University of Minnesota（明尼苏达大学）；Louisiana State University（路易斯安那州立大学）
本文概述了偏微分方程与基于图的半监督学习的交叉领域，聚焦PDE连续统极限证明算法适定性，并利用p-Laplacian的随机拔河博弈解释提出了其半监督学习一致性的新结果，辅以数值实验说明。
2024-06-03 cs.LG cs.NA math.AP
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna（博洛尼亚大学）
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是，强制平滑的输出变化，同时呈现视频序列中的时间闭合帧，被证明是一种有效的策略。在本文中，我们证明了半监督增量调谐的时间相干性的功效。我们表明，如果暴露于未标记数据的视频序列，一个深度架构，只要以监督的方式进行温和的训练，就可以逐步提高其分类准确性。在某些情况下，半监督调优允许提高分类准确性（接近监督的）的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在表示学习中，学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中，我们专注于半监督解纠缠学习，并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.（2019）的工作。具体来说，在训练过程中，只要可用，我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发，该框架自然地激励了现有半监督VAE中常用的监督术语（但不用于解纠缠学习）。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
S-multi-SNE: Semi-Supervised Classification and Visualisation of Multi-View Data
Imperial College London（帝国理工学院）
越来越多的多视图数据正在由多个领域的研究发表。这种类型的数据对应于多个数据视图，每个数据视图代表同一组样本的不同方面。我们最近提出了多SNE，这是t-SNE的扩展，可以生成多视图数据的单一可视化。多SNE方法提供了样本的低维嵌入，通过不同的数据视图迭代更新而产生。在这里，我们进一步扩展多SNE的半监督的方法，分类未标记的样本作为一个额外的数据视图的标签信息。我们通过将这两种方法应用于具有不同挑战的各种多视图数据集，深入研究了multi-SNE及其扩展S-multi-SNE的性能，局限性和优势。我们表明，通过包括标签信息，样本的投影大幅提高，并伴随着强大的分类性能。
2021-11-05 cs.HC cs.LG stat.ML
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand（威特沃特斯兰德大学）
众所周知，来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当，并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而，最近出现了一些问题，展示了自监督表示的一些失败模式，例如非ImageNet类数据或复杂场景的性能。在本文中，我们表明，自我监督表示的基础上的实例歧视目标导致更好的表示对象，更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点，包括通过单应性近似对象视点变化，以及基于多个多视图数据集的真实世界测试。我们发现，自监督表示更强大的对象的观点，似乎编码更多的相关信息的对象，促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
