Diffusion-based Semi-supervised Spectral Algorithm for Regression on Manifolds
Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学上海市现代应用数学重点实验室）
本文提出一种基于扩散的半监督谱回归算法，利用热核局部估计和图拉普拉斯近似自适应挖掘流形结构，其收敛速度仅依赖内在维度，有效避免高维环境空间中的维度灾难。
2024-10-18 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology（格拉茨技术大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；University of Cambridge（剑桥大学）
在一些领域中，获取类注释是昂贵的，而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设，但最近的工作已经成功地在非限制性机制中学习半监督模型。然而，到目前为止，这样的方法只提出了线性模型。在这项工作中，我们介绍了和积网络（SPN）的半监督参数学习。SPN是深度概率模型，允许在线性时间内推理网络边缘的数量。我们的方法有几个优点，因为它（1）允许生成和判别式半监督学习，（2）保证添加未标记数据可以增加，但不会降低性能（安全），（3）计算效率高，不会对数据分布进行限制性假设。我们在各种数据集上表明，与最先进的方法相比，使用SPN的安全半监督学习具有竞争力，并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
深度神经网络证明了它们在广泛的监督学习任务（例如，图像分类）在大量的标记数据集合上训练时（例如，ImageNet）。然而，创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下，这些资源可能不可用，从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时，对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加，以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中，我们对深度半监督学习进行了全面的概述，首先介绍了该领域，然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反，因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明，它们可以实现显着更高的AUC比提升树，随机森林和逻辑回归时，未标记的例子。
2016-05-28 cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
半监督学习是一种具有标记和未标记数据的设置。在本调查中，我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时，包括未标记的数据实际上可能会降低性能。因此，研究这些方法，了解其背后的理论就显得尤为重要。在这篇综述中，我们收集了有关使用半监督学习时可能获得的收益的结果，以及有关此类方法的限制的结果。更确切地说，这篇综述收集了以下问题的答案：就改进监督方法而言，半监督学习的局限性是什么？不同方法的假设是什么？如果这些假设是真的，我们能得到什么？最后，我们还讨论了半监督学习的最大瓶颈，即它们所做的假设。
2020-07-30 cs.LG stat.ML
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology（以色列理工学院维特比电气与电子工程学院）
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而，他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展，以及新的重建损失，为自动编码器提供泛化界。据我们所知，这是第一次这样的约束。我们进一步表明，在适当的假设下，具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Supervised and Semi-supervised Deep Probabilistic Models for Indoor Positioning Problems
Université Bourgogne Franche-Comté（弗朗什-孔泰大学）；UTBM（贝尔福-蒙贝利亚技术大学）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学与应用实验室）；CNRS（法国国家科学研究中心）
利用WiFi指纹预测智能手机用户的位置是近年来的一个热门研究课题。在这项工作中，我们提出了两个新的基于深度学习的模型，卷积混合密度递归神经网络和基于VAE的半监督学习模型。结合卷积神经网络、递归神经网络和混合密度网络的优点，设计了一种用于路径预测的卷积混合密度递归神经网络。此外，由于大多数真实世界的数据集没有标记，我们设计了基于VAE的半监督学习任务的模型。为了验证所提出的模型，我们在真实世界的数据集上进行了验证实验。最后的结果验证了我们的方法的有效性，并显示出优于其他现有的方法。
2021-03-16 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference
IBM Research AI（IBM研究院人工智能中心）；University of Utah（犹他大学）
使用生成对抗网络（GANs）的半监督学习方法最近已经显示出有希望的经验成功。这些方法中的大多数使用共享的分类器/分类器，该分类器可以区分真实的例子和虚假的例子，同时还可以预测类别标签。受GANs生成器很好地捕获数据流形的能力的启发，我们建议使用GANs来估计数据流形的切空间，并将其用于将不变性注入分类器。在这个过程中，我们提出了对现有方法的增强，用于学习逆映射（即，编码器），这极大地提高了重构样本与输入样本的语义相似性。我们在半监督学习中观察到了相当多的经验收益，特别是在标记示例数量较低的情况下。我们还提供了关于假例子如何影响半监督学习过程的见解。
2017-12-05 cs.AI cs.CV cs.LG
Analysis of Semi-Supervised Learning with the Yarowsky Algorithm
Yarowsky算法是一种基于规则的半监督学习算法，已成功地应用于计算语言学中的一些问题。该算法在数学上没有得到很好的理解，直到（Abney 2004）分析了该算法的一些特定变体，并提出了一些新的自举算法。在本文中，我们延长Abney的工作，并表明，他提出的一些算法实际上优化（上界）的目标函数的基础上的一个新的定义的交叉熵是基于一个特定的实例化的概率分布之间的Bregman距离。此外，我们提出了一些新的算法，基于规则的半监督学习和基于图的半监督学习与调和函数和最小多路割的连接。
2012-06-20 cs.LG stat.ML
Wasserstein distance based semi-supervised manifold learning and application to GNSS multi-path detection
ENAC, Université de Toulouse（ENAC，图卢兹大学）；Institut de Mathématiques de Toulouse, Université de Toulouse, UPS IMT（图卢兹数学研究所，图卢兹大学，UPS IMT）
本文提出基于Wasserstein距离的半监督学习方法，用于GNSS多路径干扰检测，通过优化半监督参数提升分类准确率。
2025-12-05 cs.LG eess.SP stat.ML
Graph Semi-Supervised Learning for Point Classification on Data Manifolds
Department of Applied Mathematics and Statistics, Mathematical Institute for Data Science (MINDS), Data Science and Artificial Intelligence Institute (DSAI), Johns Hopkins University（应用数学与统计学系、数据科学研究所（MINDS）、数据科学与人工智能研究所（DSAI）、约翰霍普金斯大学）；Halıcıoğlu Data Science Institute, University of California San Diego（Halıcıoğlu数据科学研究所、加州大学圣地亚哥分校）
提出基于流形假设的图半监督学习框架，利用VAE近似数据流形并构建几何图，通过GNN解决点分类问题，理论证明其泛化差距随图尺寸增大而减小且可通过重采样渐近消失，并在图像分类基准上验证了有效性。
2025-10-30 cs.LG eess.SP stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Tangent-Normal Adversarial Regularization for Semi-supervised Learning
Beijing Institute of Big Data Research（北京大数据研究院）
与标准监督学习相比，半监督学习的关键难点在于如何充分利用未标记数据。最近提出的一种方法，虚拟对抗训练（VAT），巧妙地执行对抗训练没有标签的信息，施加局部光滑的分类器，这是特别有益的半监督学习。在这项工作中，我们提出了切线常态对抗正则化（TNAR）作为VAT的扩展，考虑到数据流形。TNAR由两个互补的部分组成，正切对抗正则化（TAR）和正常对抗正则化（NAR）。在TAR中，VAT沿着数据流形的切空间应用，旨在加强分类器在流形上的局部不变性，而在NAR中，VAT在与切空间正交的法向空间上执行，旨在对分类器施加鲁棒性，以对抗导致观察数据偏离底层数据流形的噪声。在人工和实际数据集上的实验表明，我们提出的TAR和NAR相互补充，并共同优于其他最先进的半监督学习方法。
2019-03-01 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们介绍了用于半监督学习的SaaS算法，该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中，训练速度与正确标签的百分比密切相关，因此我们将其用作未知标签的推理标准，而不试图首先推断模型参数。尽管简单，SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory（美国海军研究实验室）
在新应用中采用深度神经网络的最大障碍之一是，训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景，其中可以访问大量未标记的数据，但只需要标记每个类的单个原型样本，以便训练深度网络（即，一次性半监督学习）。具体来说，我们调查了FixMatch中报道的一次性半监督学习的最新结果，以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如，我们发现，一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案，可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络（DCN）在监督任务中取得了巨大的成功，因此在半监督学习中得到了广泛的应用。在本文中，我们利用最近开发的深度渲染混合模型（DRMM），一个概率生成模型，模型潜在的滋扰变化，其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下，我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之，我们的工作为监督，无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
A generalized linear joint trained framework for semi-supervised learning of sparse features
University Carlos III of Madrid（马德里卡洛斯三世大学）；UC3M-BS Santander Big Data Institute（马德里卡洛斯三世大学-桑坦德银行大数据研究所）；Technical University of Denmark（丹麦技术大学）
弹性网络是最广泛使用的正则化算法之一，通常与通过惩罚极大似然的监督广义线性模型估计问题相关联。它的优良特性源自于$\ell_1$和$\ell_2$范数的组合，这赋予了该方法考虑变量之间的相关性来选择变量的能力。在过去的几年里，半监督方法，使用标记和未标记的数据，已成为统计研究的一个重要组成部分。然而，尽管有这种兴趣，很少有研究调查半监督弹性网络扩展。本文介绍了一种新的解决方案，稀疏特征的半监督学习的背景下，广义线性模型估计：广义半监督弹性网络（s2网），它扩展了监督弹性网络方法，具有一般的数学公式，涵盖，但不限于，回归和分类问题。我们在R中开发了一个灵活而快速的s2net实现，并使用真实和合成数据集来说明其优势。
2020-10-02 cs.LG stat.CO stat.ML
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题，本文主要研究半监督学习的统计性质。在标准的监督学习中，只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中，除了标记数据之外，还获得未标记数据。因此，在半监督学习中，利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下，一般认为未标记数据对提高估计精度没有作用。最近，有人透露，加权估计使用未标记的数据实现更好的预测精度相比，学习方法，仅使用标记的数据，特别是当判别概率模型是错误的。也就是说，当错误指定半参数模型时，在缺失数据的半参数模型下的改进是可能的。在本文中，我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是，所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论，我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明，我们的方法的实用性。
2012-04-18 stat.ML
Semi-Supervised Radio Signal Identification
Virginia Tech（弗吉尼亚理工大学）；Oklahoma State University（俄克拉荷马州立大学）
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的，很容易从天线获得，但标记和策划的数据往往是稀缺的，使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外，允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号，用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory（美国海军研究实验室）
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督（BOSS）学习的潜力，以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼，类平衡和自我训练。一个好的原型选择是必不可少的，我们提出了一种技术，以获得图标的例子。此外，我们证明了类平衡方法大大提高了半监督学习的准确性，使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据，证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码，以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能研究院）
在计算病理学中，我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习，它通常分为自我监督的借口任务和随后的模型微调。在这里，我们通过引入S5 CL将这两个阶段的训练压缩为一个，S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失，S5 CL可以学习反映距离关系层次的特征表示：相似图像和增强嵌入最接近，其次是同一类的不同外观图像，而来自不同类的图像具有最大的距离。此外，S5 CL允许我们灵活地组合这些损失，以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示，在稀疏标签的情况下，我们的框架有了很大的改进：对于H& E染色的结直肠癌数据集，与监督交叉熵损失相比，准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集，F1分数提高了6%。
2022-03-14 cs.CV stat.ML
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计，鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界，并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计，可以达到这个下限，从而提高了监督估计，条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的，因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
半监督学习中的一个常见假设是，标记数据、未标记数据和测试数据来自相同的分布。然而，这一假设在许多应用中并不满足。在许多情况下，数据是顺序收集的（例如，医疗保健），并且数据的分布可能随时间变化，通常表现出所谓的协变量偏移。在本文中，我们提出了一种半监督学习算法，能够解决这个问题的方法。我们的框架还恢复了一些流行的方法，包括熵最小化和伪标记。我们提供了新的信息理论为基础的泛化误差上界启发我们的新框架。我们的界限适用于一般的半监督学习和协变量偏移的情况。最后，我们数值表明，我们的方法优于以前的方法提出的半监督学习下的协变量偏移。
2022-02-24 cs.IT math.IT stat.ML
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中，我们分析了基于图的方法，半监督学习下的流形假设。我们采用贝叶斯的角度来看，并证明，对于一个合适的选择之前构建了足够多的未标记的数据，后验合同周围的真理在一个速率，是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Consistency of semi-supervised learning, stochastic tug-of-war games, and the p-Laplacian
University of Minnesota（明尼苏达大学）；Louisiana State University（路易斯安那州立大学）
本文概述了偏微分方程与基于图的半监督学习的交叉领域，聚焦PDE连续统极限证明算法适定性，并利用p-Laplacian的随机拔河博弈解释提出了其半监督学习一致性的新结果，辅以数值实验说明。
2024-06-03 cs.LG cs.NA math.AP
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
A Graph-Based Semi-Supervised k Nearest-Neighbor Method for Nonlinear Manifold Distributed Data Classification
Nanyang Technological University（南洋理工大学）；Shanghai University of Electric Power（上海电力大学）；Shanghai Jiao Tong University（上海交通大学）；Auckland University of Technology（奥克兰理工大学）
$k$ Nearest Neighbors（$k$ NN）是用于高斯分布数据分类的最广泛的监督学习算法之一，但当应用于非线性流形分布数据时，特别是当可获得的标记样本数量非常有限时，效果不佳。本文提出了一种新的基于图的$k$神经网络算法，它可以有效地处理高斯分布数据和非线性流形分布数据。为了实现这一目标，我们首先提出了一个受约束的疲劳随机游走（TRW）通过构建一个$R$级最近邻增强树的图形，然后计算TRW矩阵的相似性度量的目的。然后，根据TRW矩阵确定查询点的最近邻，并通过其最近邻的所有TRW权重之和确定查询点的类标签。为了处理在线的情况下，我们还提出了一个新的算法来处理基于局部邻域重建的连续样本。在合成数据集和真实数据集上进行了对比实验，验证了新的$k$ NN算法及其对其他版本的$k$ NN算法的改进的有效性.鉴于流形结构在现实世界中的广泛出现和传统的$k$ NN算法的流行，建议的流形版本$k$ NN分类流形分布的数据显示出良好的潜力。
2016-06-03 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna（博洛尼亚大学）
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是，强制平滑的输出变化，同时呈现视频序列中的时间闭合帧，被证明是一种有效的策略。在本文中，我们证明了半监督增量调谐的时间相干性的功效。我们表明，如果暴露于未标记数据的视频序列，一个深度架构，只要以监督的方式进行温和的训练，就可以逐步提高其分类准确性。在某些情况下，半监督调优允许提高分类准确性（接近监督的）的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
A study of the classification of low-dimensional data with supervised manifold learning
Middle East Technical University（中东技术大学）；INRIA（法国国家信息与自动化研究所）；Centre de recherche INRIA Bretagne Atlantique（法国国家信息与自动化研究所布列塔尼大西洋研究中心）
监督流形学习方法通过保留数据的几何结构来学习数据表示，同时增强来自不同类别的数据样本之间的分离。在这项工作中，我们提出了一个监督流形学习分类的理论研究。我们认为非线性降维算法，产生线性可分离的嵌入的训练数据和目前的推广这种类型的算法的界限。令人满意的推广性能的一个必要条件是，嵌入允许构造一个足够规则的插值函数与嵌入的分离裕度。我们表明，对于满足这一条件的监督嵌入，分类误差随着训练样本的数量以指数速度衰减。最后，我们研究了监督非线性嵌入的可分性，其目的是保持基于图表示的数据的低维几何结构。几个真实数据集上的实验支持所提出的分析。
2018-01-05 cs.LG
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在表示学习中，学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中，我们专注于半监督解纠缠学习，并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.（2019）的工作。具体来说，在训练过程中，只要可用，我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发，该框架自然地激励了现有半监督VAE中常用的监督术语（但不用于解纠缠学习）。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Counterfactual Propagation for Semi-Supervised Individual Treatment Effect Estimation
Kyoto University（京都大学）
个体治疗效果（ITE）是指对特定目标采取特定措施后预期的治疗效果改善，在各个领域的决策中起着重要作用。然而，其估计问题是困难的，因为干预研究收集关于所应用的治疗的信息（即，行动），其结果往往是相当昂贵的时间和金钱成本。在这项研究中，我们考虑了一个半监督ITE估计问题，利用更容易获得的未标记的实例，以提高ITE估计的性能，使用小的标记数据。我们结合因果推理和半监督学习的两个想法，即匹配和标签传播，分别提出反事实传播，这是第一个半监督ITE估计方法。半真实数据集的实验表明，该方法可以成功地缓解ITE估计中的数据稀缺问题。
2020-05-11 cs.LG stat.ML
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab（GIPSA实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；LIG-lab（LIG实验室）
本文考虑高斯混合模型（GMM）上的半监督多任务学习。使用统计物理学的方法，我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维，从中我们分析的任务相似性在学习中的作用和评估的性能增益时，任务一起学习，而不是分开。在监督的情况下，我们得到一个简单的算法，达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
A Semi-supervised Spatial Spectral Regularized Manifold Local Scaling Cut With HGF for Dimensionality Reduction of Hyperspectral Images
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
高光谱图像（HSI）包含了数百个连续光谱波段的丰富信息，使得通过细微的光谱差异对材料进行分类成为可能。然而，对这些丰富的光谱信息进行分类也面临着高维、奇异性、训练样本有限、缺乏标记数据样本、异方差性和非线性等挑战。为了解决这些问题，我们提出了一种基于半监督图的降维方法，称为“半监督空间谱正则化流形局部尺度切割”（S3RMLSC）。所提出的方法的基本思想是利用有限的标记信息从光谱和空间域以及丰富的未标记的样本，以促进分类任务，通过保留原始分布的数据。在S3RMLSC中，首先使用分层引导滤波器（HGF）来平滑HSI数据的像素，以保持空间像素的一致性。这一步之后，通过使用最大线性补丁（MLP）标准从非线性流形的线性补丁的建设。然后分别利用正则化流形局部尺度割（RMLSC）和相邻像素流形局部尺度割（NPMLSC）在光谱域和空间域上构造图像块间和图像块内的相异性矩阵。最后，我们通过优化更新的半监督空间-光谱斑块间和总斑块相异度来获得投影矩阵。所提出的DR算法的有效性与公开可用的真实世界的HSI数据集说明。
2018-11-20 cs.CV cs.LG stat.ML
Out-of-sample generalizations for supervised manifold learning for classification
Centre de recherche INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）
用于数据分类的监督流形学习方法以结构保持的方式将驻留在高维环境空间中的数据样本映射到低维域，同时增强学习嵌入中不同类别之间的分离。大多数非线性监督流形学习方法只在最初可用的训练点上计算流形的嵌入，而嵌入到新点的泛化（称为流形学习中的样本外扩展问题）在分类应用中变得特别重要。在这项工作中，我们提出了一个半监督的方法来建立一个插值函数，提供了一个一般的监督流形学习算法的背景下，分类研究的样本外扩展。所提出的算法计算径向基函数（RBF）最小化的目标函数，由未标记的测试样本的总嵌入误差，定义为他们的距离嵌入自己的类的流形，以及一个正则化项，控制平滑的插值函数的方向依赖的方式。采用逐步逼近的方法，对测试数据的类标号和插值函数参数进行联合估计。人脸和目标图像上的实验结果表明，所提出的样本外扩展算法的分类流形建模的数据集的潜力。
2015-02-09 cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
University of Toronto（多伦多大学）；Vector Institute；New York University（纽约大学）
在训练域上表现良好的模型通常无法推广到域外（OOD）示例。数据增强是一种常用的防止过拟合和提高面向对象方法泛化能力的方法。然而，在自然语言中，很难生成停留在底层数据流形上的新示例。我们介绍SMBA，一个数据增强方法，用于生成合成的训练样本，通过使用一对腐败和重建功能随机移动的数据流形。我们研究了SMBA在自然语言领域的应用，利用流形假设来重建带掩码的语言模型的损坏文本。在3个任务和9个数据集的鲁棒性基准测试实验中，SMBA在域内和OOD数据上始终优于现有的数据增强方法和基线模型，在OOD Amazon评论上获得了0.8%的准确率，在OOD MNLI上获得了1.8%的准确率，在域内IWSLT 14德语-英语上获得了1.4 BLEU。
2020-10-04 cs.CL cs.LG stat.ML
