ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
持续学习通常假设传入的数据是完全标记的，这在实际应用中可能不适用。在这项工作中，我们考虑半监督持续学习（SSCL），增量学习部分标记的数据。观察到现有的持续学习方法缺乏持续利用未标记数据的能力，我们提出了具有判别器一致性的深度在线重放（ORDisCo），以利用条件生成对抗网络（GAN）相互依赖地学习分类器，该网络不断将学习的数据分布传递给分类器。特别是，ORDisCo重放采样的数据从条件发生器的分类器在一个在线的方式，利用未标记的数据在时间和存储效率的方式。此外，为了明确地克服未标记数据的灾难性遗忘，我们选择性地稳定对于区分由分类器预测的旧的未标记数据和它们的伪标签对很重要的参数。我们在SSCL的各种半监督学习基准数据集上广泛评估了ORDisCo，并表明与强基线相比，ORDisCo在SVHN，CIFAR 10和Tiny-ImageNet上实现了显着的性能改进。
2021-04-09 cs.AI cs.LG stat.ML
Fairness in Semi-supervised Learning: Unlabeled Data Help to Reduce Discrimination
University of Technology Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
随着机器学习的兴起，越来越多的人担心机器学习模型做出的决策是否公平。虽然研究已经在进行中，以形式化公平的机器学习概念，并设计框架来构建公平的模型，但牺牲准确性，大多数都是面向监督或无监督学习。然而，两个观察结果启发了我们思考半监督学习是否有助于解决歧视问题。首先，以前的研究表明，增加训练集的大小可能会导致公平性和准确性之间更好的权衡。其次，当今最强大的模型需要大量的数据来进行训练，实际上，这可能来自标记和未标记数据的组合。因此，在本文中，我们提出了一个公平的半监督学习的预处理阶段的框架，包括伪标记，以预测标签的未标记的数据，重新采样的方法，以获得多个公平的数据集，最后，集成学习，以提高精度和减少歧视。对偏差、方差和噪声的理论分解分析突出了歧视的不同来源以及它们对半监督学习公平性的影响。一组真实世界和合成数据集上的实验表明，我们的方法能够使用未标记的数据，以实现更好的准确性和歧视之间的权衡。
2020-09-25 cs.LG stat.ML
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
Tel-Aviv University（特拉维夫大学）
我们提出了一个通用的方法，使用未标记的数据设计半监督学习（SSL）变种的经验风险最小化（ERM）学习过程。针对广义线性回归，分析了SSL方法在提高预测性能方面的有效性。关键思想是仔细考虑空模型作为竞争对手，并利用未标记的数据来确定信号噪声组合，其中SSL优于监督学习和空模型。然后，我们使用SSL的自适应方式的基础上估计的信号和噪声。在特殊的情况下，线性回归与高斯协变量，我们证明了非自适应SSL版本实际上是不能够同时提高两个监督估计和空模型，超过一个可以忽略不计的O（1/n）项。另一方面，在这项工作中提出的自适应模型，可以同时实现对两个竞争对手的大幅改善，在各种设置下。这通过大量的模拟经验地显示，并扩展到其他场景，如非高斯协变量，错误指定的线性回归，或广义线性回归与非线性链接函数。
2022-02-05 cs.LG stat.ME stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
半监督学习是一种具有标记和未标记数据的设置。在本调查中，我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时，包括未标记的数据实际上可能会降低性能。因此，研究这些方法，了解其背后的理论就显得尤为重要。在这篇综述中，我们收集了有关使用半监督学习时可能获得的收益的结果，以及有关此类方法的限制的结果。更确切地说，这篇综述收集了以下问题的答案：就改进监督方法而言，半监督学习的局限性是什么？不同方法的假设是什么？如果这些假设是真的，我们能得到什么？最后，我们还讨论了半监督学习的最大瓶颈，即它们所做的假设。
2020-07-30 cs.LG stat.ML
Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift
Jagiellonian University（雅盖隆大学）；Nomagic；New York University（纽约大学）
最近的研究表明，在半监督学习中使用未标记的数据并不总是有益的，甚至可能损害泛化，特别是当未标记和标记的示例之间存在类别不匹配时。我们在CIFAR-10和ImageNet数据集上研究了图像分类的这种现象，并应用了许多其他形式的域偏移（例如盐和胡椒噪声）。我们的主要贡献是分裂批量归一化（Split-BN），一种当额外的未标记数据来自移位分布时改善SSL的技术。我们实现它通过使用单独的批量归一化统计未标记的例子。由于其简单性，我们建议将其作为标准实践。最后，我们分析了域转移如何影响SSL训练过程。特别是，我们发现，在训练过程中，在未标记和标记的示例之间，后期层中隐藏激活的统计数据变得明显不同。
2019-04-06 cs.LG stat.ML
Semi-supervised learning method based on predefined evenly-distributed class centroids
ShangHai University（上海大学）
与监督学习相比，半监督学习减少了深度学习对大量标记样本的依赖。在这项工作中，我们使用少量的标记样本，并对未标记的样本进行数据增强，以实现图像分类。我们的方法通过相应的损失函数将所有样本约束到预定义的均匀分布类质心（PEDCC）。具体而言，标记样本的PEDCC损失，和未标记样本的最大平均差异损失，使特征分布更接近PEDCC的分布。我们的方法确保类间距离大，类内距离足够小，使不同类别之间的分类边界更清晰。同时，对于未标记样本，我们还使用KL散度来约束未标记样本和增强样本之间的网络预测的一致性。我们的半监督学习方法达到了最先进的结果，在CIFAR10上有4000个标记样本，在SVHN上有1000个标记样本，准确率分别为95.10%和97.58%。
2020-01-13 cs.LG stat.ML
Improving realistic semi-supervised learning with doubly robust estimation
Google DeepMind（谷歌DeepMind）
针对半监督学习中长尾分布导致伪标签方法在未标记数据上表现不佳的问题，提出使用双重稳健估计器显式估计未标记类别分布，以提升伪标记准确性及模型性能。
2025-02-01 cs.LG stat.ML
Reliable Semi-Supervised Learning when Labels are Missing at Random
Uppsala University（乌普萨拉大学）
半监督学习方法的动机是除了标记数据之外还具有未标记特征的大型数据集的可用性。然而，未标记的数据并不能保证提高分类性能，事实上，在某些情况下，已报告会损害性能。错误的一个基本来源来自于对未标记特征的限制性假设，这导致不可靠的分类器低估了它们的预测错误概率。在本文中，我们开发了一种半监督学习方法，放松这样的假设，并能够提供分类器，可靠地量化标签的不确定性。该方法适用于使用具有监督学习算法的任何生成模型。我们说明的方法，使用手写数字和布料分类数据的标签是随机缺失。
2019-10-24 cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反，因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明，它们可以实现显着更高的AUC比提升树，随机森林和逻辑回归时，未标记的例子。
2016-05-28 cs.LG stat.ML
Big Self-Supervised Models are Strong Semi-Supervised Learners
Google Research（谷歌研究院）
一种从少量标记的样本中学习，同时充分利用大量未标记数据的范例是无监督预训练，然后进行监督微调。虽然这种范式以任务不可知的方式使用未标记的数据，但与计算机视觉的半监督学习的常见方法相比，我们发现它对ImageNet上的半监督学习非常有效。我们方法的一个关键要素是在预训练和微调期间使用大（深和宽）网络。我们发现，标签越少，这种方法（无标签数据的任务不可知使用）从更大的网络中受益越多。在微调之后，可以通过第二次使用未标记的示例，但以特定于任务的方式，进一步改进大网络并将其提炼成一个更小的网络，而分类精度几乎没有损失。所提出的半监督学习算法可以概括为三个步骤：使用SimCLRv 2对大型ResNet模型进行无监督预训练，对一些标记的示例进行监督微调，以及使用未标记的示例进行提炼和转移特定于任务的知识。这个过程使用ResNet-50实现了73.9%的ImageNet top-1准确率，只有1%的标签（每个类别13个$\le$标记的图像），与之前的最先进技术相比，标签效率有了$10\times$的提高。使用10%的标签，使用我们的方法训练的ResNet-50实现了77.5%的top-1准确率，优于所有标签的标准监督训练。
2020-10-26 cs.CV cs.LG stat.ML
Realistic Evaluation of Deep Semi-Supervised Learning Algorithms
Google Brain（谷歌大脑）
半监督学习（SSL）提供了一个强大的框架，用于在标签有限或获取成本高昂时利用未标记的数据。基于深度神经网络的SSL算法最近在标准基准测试任务上被证明是成功的。然而，我们认为，这些基准未能解决这些算法在现实世界中的应用程序将面临的许多问题。在创建了各种广泛使用的SSL技术的统一重新实现后，我们在一系列旨在解决这些问题的实验中对其进行了测试。我们发现，不使用未标记数据的简单基线的性能往往被低估，SSL方法对标记和未标记数据量的敏感性不同，并且当未标记数据集包含类外示例时，性能会大幅降低。为了帮助引导SSL研究走向现实世界的适用性，我们公开了我们的统一重新实现和评估平台。
2019-06-17 cs.LG stat.ML
RoPAWS: Robust Semi-supervised Representation Learning from Uncurated Data
KAIST（韩国科学技术院）；NEC Laboratories America（美国NEC实验室）；Meta AI；McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）
半监督学习的目标是使用有限的标签训练模型。用于图像分类的最先进的半监督方法（例如PAWS）依赖于用大规模未标记但策划的数据学习的自监督表示。然而，PAWS在使用未经策划的真实世界未标记数据时通常不太有效，例如，包含类外数据。我们提出了RoPAWS，这是PAWS的一个强大扩展，可以处理真实世界的未标记数据。我们首先重新解释PAWS作为一个生成分类器，模型密度使用内核密度估计。从这个概率的角度来看，我们校准其预测的基础上标记和未标记的数据，这导致了一个简单的封闭形式的解决方案从贝叶斯规则的密度。我们证明了RoPAWS将未策划的Semi-iNat的PAWS显著提高了+5.3%，策划的ImageNet提高了+0.4%。
2023-02-28 cs.CV cs.LG stat.ML
Domain Generalization via Semi-supervised Meta Learning
Simon Fraser University（西蒙弗雷泽大学）
领域泛化的目标是从多个源领域中学习，在分布不一致的情况下泛化到未知的目标领域。目前在这一领域的最先进的方法是完全监督，但对于许多现实世界的问题，它几乎是不可能获得足够的标记样本。在本文中，我们提出了第一种利用未标记样本的领域泛化方法，将元学习的情景训练和半监督学习相结合，称为DGSML。DGSML采用基于熵的伪标记方法为未标记的样本分配标签，然后利用一种新的差异损失来确保标记未标记样本之前和之后的类质心彼此接近。为了学习域不变表示，它还利用一种新的对齐损失来确保在添加未标记样本后计算的类质心对之间的距离在不同的域中保持不变。DGSML通过元学习方法来训练，以模拟输入源域和看不见的目标域之间的分布偏移。在基准数据集上的实验结果表明，DGSML优于最先进的领域泛化和半监督学习方法。
2020-09-30 cs.LG stat.ML
Leveraging Semi-Supervised Learning for Fairness using Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）；Zillow Group（Zillow集团）
人们越来越关注基于机器学习的决策系统的公平性。标记数据的缺乏一直是基于机器学习的系统面临的一个挑战性问题。在这种情况下，半监督学习已被证明是一种有效的方法，利用未标记的数据，以提高模型的性能。值得注意的是，未标记的数据不包含标签信息，标签信息本身可能是训练机器学习系统中偏差的重要来源。这启发我们通过在半监督框架中制定问题来应对公平性的挑战。在本文中，我们提出了一个半监督算法，利用神经网络受益于未标记的数据，不仅提高了性能，而且还提高了决策过程的公平性。该模型称为SSFair，利用未标记数据中的信息来减轻训练数据中的偏差。
2019-12-31 cs.AI cs.LG stat.ML
Dash: Semi-Supervised Learning with Dynamic Thresholding
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
半监督学习（semi-supervised learning，SSL）由于成功地利用了未标记数据而在许多机器学习任务中受到了极大的关注，但现有的SSL算法在训练过程中要么使用所有未标记样本，要么使用具有固定高置信度预测的未标记样本。然而，有可能消除/选择了太多正确/错误的伪标记示例。在这项工作中，我们开发了一个简单而强大的框架，其核心思想是选择一个子集的训练样本从未标记的数据时，执行现有的SSL方法，使只有未标记的例子与伪标签相关的标记数据将被用于训练模型。在每次更新迭代时，通过仅保留损失小于给定阈值的示例来执行选择，该阈值通过迭代动态调整。我们提出的方法，短跑，享有其自适应性的未标记的数据选择和理论保证。具体来说，我们从非凸优化的角度，从理论上建立了Dash的收敛速度。最后，我们实证证明了所提出的方法的有效性与国家的最先进的基准比较。
2021-09-01 cs.CV cs.LG stat.ML
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题，本文主要研究半监督学习的统计性质。在标准的监督学习中，只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中，除了标记数据之外，还获得未标记数据。因此，在半监督学习中，利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下，一般认为未标记数据对提高估计精度没有作用。最近，有人透露，加权估计使用未标记的数据实现更好的预测精度相比，学习方法，仅使用标记的数据，特别是当判别概率模型是错误的。也就是说，当错误指定半参数模型时，在缺失数据的半参数模型下的改进是可能的。在本文中，我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是，所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论，我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明，我们的方法的实用性。
2012-04-18 stat.ML
RealMix: Towards Realistic Semi-Supervised Deep Learning Algorithms
Duke University（杜克大学）；Uizard Technologies（Uizard科技公司）
半监督学习（Semi-Supervised Learning，SSL）算法在有标记数据稀缺但无标记数据丰富的训练机制中显示出巨大的潜力。然而，我们的实验说明了几个缺点，以前的SSL算法遭受。特别是，当未标记和标记数据分布不同时，性能较差。为了解决这些问题，我们开发了RealMix，它在不同标记和未标记集大小的标准基准数据集上实现了最先进的结果，同时克服了上述挑战。值得注意的是，RealMix在CIFAR 10上实现了9.79%的出错率，有250个标签，并且是唯一一种在标记和未标记数据分布存在显著不匹配时能够超过基线性能的SSL测试方法。RealMix演示了如何在数据和计算访问受限的现实世界中使用SSL，并指导进一步研究SSL的实用性。
2019-12-18 cs.CV cs.LG stat.ML
Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
图卷积网络（GCN）为基于图的半监督任务提供了一种强有力的手段。然而，作为谱图卷积的局部一阶近似，经典的GCN不能充分利用未标记数据，特别是当未标记节点远离标记节点时。为了利用来自未标记节点的信息来促进GCN的训练，我们提出了一个名为Self-Ensembling GCN（SEGCN）的新框架，该框架将GCN与Mean Teacher -半监督学习中的另一个强大模型-结合在一起。SEGCN包含一个学生模型和一个教师模型。作为一名学生，它不仅学会正确地对标记的节点进行分类，而且在更具有挑战性的情况下，如高辍学率和图崩溃，它还试图在未标记的节点上与老师保持一致。作为教师，它会对学生模型权重进行平均，并生成更准确的预测来引导学生。在这种相互促进的过程中，标记和未标记的样本都可以充分利用反向传播的有效梯度训练GCN。在三个文章分类任务，即Citeseer，Cora和Pubmed中，我们验证了所提出的方法在分类精度上与最新技术相匹配。
2018-09-26 cs.AI cs.LG stat.ML
Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators
Department of Statistics（统计系）；Operation Research, Tel-Aviv university（运算研究，特拉维夫大学）
本文提出带混合参数的半监督学习框架，针对广义线性模型等证明非零无标签数据权重可提升回归预测性能，给出最优混合比例估计方法，通过仿真验证效果，并可拓展至深度神经网络等复杂模型。
2025-11-10 cs.LG stat.ME stat.ML
Generalization error bounds in semi-supervised classification under the cluster assumption
当部分可用数据未标记时，我们考虑半监督分类。当我们假设回归函数的行为与边缘分布的行为相关时，这些未标记的数据对于分类问题是有用的。Seeger（2000）提出了著名的“集群假设”。我们提出了一个数学公式的假设和方法的基础上密度水平集估计，利用它来实现快速的收敛速度都在未标记的例子和标记的例子的数量。
2006-04-11 cs.LG math.ST stat.TH
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
Modeling Multiple Annotator Expertise in the Semi-Supervised Learning Scenario
Northeastern University（东北大学）；Siemens Healthcare（西门子医疗）；IKM CAD and Knowledge Solutions（IKM CAD与知识解决方案）
学习算法通常假设每个数据点最多有一个注释或标签。然而，在某些场景中，例如医疗诊断和在线协作，可能会有多个注释可用。在这两种情况下，获取数据点的标签可能是昂贵和耗时的（在某些情况下，地面实况可能不存在）。半监督学习方法已经表明，在这些情况下，利用未标记的数据通常是有益的。本文提出了一种概率半监督模型和算法，允许在存在多个注释器的情况下从未标记和标记的数据中学习。我们假设已知哪个注释器标记了哪些数据点。所提出的方法产生注释器模型，使我们能够提供（1）真实标签的估计值和（2）标记和未标记数据的注释器变量专业知识。我们提供了各种情况下的数值比较，并与标准的半监督学习。实验表明，该方法提供了明显的优势，多注释方法，不使用未标记的数据和方法，不使用多标签信息。
2012-03-15 cs.AI cs.LG stat.ML
DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision
Saab AB（萨博集团）；Chalmers University of Technology（查尔姆斯理工大学）
随着监督学习的成功，半监督学习（SSL）现在变得越来越流行。SSL是一系列方法，除了标记的训练集外，还使用大量未标记的数据来拟合模型。最近大多数成功的SSL方法都是基于伪标签方法：让自信的模型预测作为训练标签。虽然这些方法在许多基准数据集上显示出令人印象深刻的结果，但这种方法的一个缺点是，在训练过程中并没有使用所有未标记的数据。我们提出了一种新的SSL算法DoubleMatch，它将伪标记技术与自监督损失相结合，使模型能够在训练过程中利用所有未标记的数据。我们表明，该方法在多个基准数据集上实现了最先进的精度，同时与现有的SSL方法相比还减少了训练时间。代码可在https://github.com/walline/doublematch上获得。
2022-05-11 cs.CV cs.LG stat.ML
Efficient Path Prediction for Semi-Supervised and Weakly Supervised Hierarchical Text Classification
Hong Kong University of Science and Technology（香港科技大学）
层次文本分类有许多实际应用。然而，标记大量文档是昂贵的。在实践中，我们可以使用半监督学习或弱监督学习（例如，无数据分类）以降低标记成本。在本文中，我们提出了一个路径成本敏感的学习算法，利用结构信息，并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量的未标记数据，并将路径约束引入到学习算法中，以结合类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径相关分数结合。由于我们把结构敏感的成本的学习算法，以约束与类层次结构一致的分类，不需要重建不同结构的特征向量，我们可以显着降低计算成本相比，结构输出学习。在两个层次文本分类基准上的实验结果表明，该方法不仅是有效的，而且是有效的处理半监督和弱监督的层次文本分类。
2019-02-25 cs.IR cs.LG stat.ML
Generative Semi-supervised Learning with Meta-Optimized Synthetic Samples
NTT（日本电报电话公司）；Kyoto University（京都大学）
针对真实无标签数据受法律限制难以获取的问题，提出以元学习优化生成式基础模型产生合成无标签样本，并结合无监督损失训练分类器，在极少标签场景下优于使用真实无标签数据的SSL。
2023-09-28 cs.AI cs.CV cs.LG
MixMatch: A Holistic Approach to Semi-Supervised Learning
Google Research（谷歌研究院）
半监督学习已被证明是利用未标记数据来减轻对大型标记数据集的依赖的强大范例。在这项工作中，我们统一了当前半监督学习的主要方法，以产生一种新的算法MixMatch，该算法通过猜测数据增强的未标记示例的低熵标签，并使用MixUp混合标记和未标记数据。我们表明，MixMatch在许多数据集和标记数据量上获得了最先进的结果。例如，在具有250个标签的CIFAR-10上，我们将出错率降低了4倍（从38%降低到11%），在STL-10上降低了2倍。我们还展示了MixMatch如何帮助实现差分隐私的更好的准确性和隐私权衡。最后，我们进行了一项消融研究，以梳理MixMatch的哪些组件对其成功最重要。
2019-10-23 cs.AI cs.CV cs.LG
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；Advanced Analytics Institute（高级分析研究所）；University of Technology Sydney（悉尼科技大学）
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例，要么从未标记的数据进行无监督学习。相反，我们在这里提出了一种基于深度强化学习的方法，该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常，同时连续地将所学习的异常扩展到新的异常类别（即，未知的异常），通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明，我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Dependable Exploitation of High-Dimensional Unlabeled Data in an Assumption-Lean Framework
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）
本文研究了在半监督学习中高维回归参数估计效率提升的条件，提出一种保证效率的新型估计器，通过模拟和实际数据验证了方法有效性。
2026-03-29 stat.ME
Semi-supervised learning using copula-based regression and model averaging
本文提出一种基于copula回归和模型平均的半监督学习方法，利用未标注数据改进边缘分布估计与预测风险估计，实现了比有监督方法更快的收敛速度。
2024-11-12 stat.ME
Semi-supervised linear regression: enhancing efficiency and robustness in high dimensions
本文挑战无标签样本仅在线性模型误设时有益的观点，提出面向高维稠密与稀疏情形的稳健半监督回归估计方法，以降低偏差并提升估计精度、推断稳健性和效率。
2025-09-02 stat.ME
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）
迄今为止开发的大多数半监督分类方法在特定的分布假设（如聚类假设）下使用未标记数据进行正则化。相比之下，最近开发的从阳性和未标记数据进行分类的方法（PU分类）使用未标记数据进行风险评估，即，直接从未标记的数据中提取标记信息。在本文中，我们扩展PU分类，也将负面数据，并提出了一种新的半监督分类方法。我们建立泛化误差的界限，我们的新方法，并表明，该界限相对于未标记的数据的数量减少，而不需要在现有的半监督分类方法的分布假设。通过实验，我们证明了所提出的方法的实用性。
2017-06-16 cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University（大阪大学）
本研究通过整合分布匹配技术，提升半监督对比学习中伪标签的利用效率，以提高图像分类性能。
2026-01-08 cs.AI cs.LG
OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set Unlabeled Data
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））
半监督学习（SSL）是一种强大的策略，可以在学习更好的表示时加入很少的标签。在本文中，我们专注于一个实际场景，即当未标记的数据可能包含类外样本时应用SSL-这些样本不能具有来自标签数据中的类的封闭集合的独热编码标签，即，未标记数据是开集。具体来说，我们介绍OpenCoS，一个简单的框架，用于处理这种现实的半监督学习的情况下，基于最近的框架，自我监督的视觉表示学习。我们首先观察到，在开集未标记数据集的类外样本可以有效地识别通过自监督对比学习。然后，OpenCoS利用这些信息来克服现有的最先进的半监督方法中的故障模式，通过分别为识别出的类内和类外未标记数据使用独热伪标签和软标签。我们广泛的实验结果显示了OpenCoS在类外样本存在下的有效性，修复了最先进的半监督方法，适用于涉及开放集未标记数据的各种场景。
2022-08-19 cs.CV cs.LG
Improving Semi-Supervised Support Vector Machines Through Unlabeled Instances Selection
Nanjing University（南京大学）
半监督支持向量机（S3 VMs）是一种利用未标记数据提高学习性能的方法。虽然S3 VM在许多情况下都很有用，但它们可能会降低性能，并且所得的泛化能力可能比仅使用标记数据更差。在本文中，我们试图减少S3 VM的性能退化的机会。我们的基本思想是，而不是利用所有未标记的数据，未标记的实例应该被选择，只有那些很可能是有用的被利用，而一些高风险的未标记的实例被避免。我们提出了S3 VM- \emph{us}方法，通过使用层次聚类来选择未标记的实例。在88种不同设置的大范围数据集上进行的实验表明，S3 VM- \emph{us}的性能退化几率远小于现有的S3 VM。
2011-05-09 cs.LG
Poisoning the Unlabeled Dataset of Semi-Supervised Learning
Google（谷歌公司）
半监督机器学习模型从一组（小）标记的训练样本和一组（大）未标记的训练样本中学习。最先进的模型可以达到完全监督训练的几个百分点，同时需要的标记数据减少100倍。我们研究了一类新的漏洞：修改未标记数据集的中毒攻击。为了有用，未标记的数据集比标记的数据集得到的审查要少得多，因此对手可以很容易地毒害它们。通过插入恶意制作的未标记的示例，其总数仅为数据集大小的0.1%，我们可以操纵在此中毒数据集上训练的模型，以便在测试时对任意示例进行错误分类（作为任何所需的标签）。我们的攻击在数据集和半监督学习方法中非常有效。我们发现，更准确的方法（因此更有可能被使用）更容易受到中毒攻击，因此更好的训练方法不太可能防止这种攻击。为了解决这个问题，我们探索了防御空间，并提出了两种方法来减轻我们的攻击。
2021-08-10 cs.CR cs.CV cs.LG
Not All Unlabeled Data Are Equal: Unlabeled Data Selection for Semi-Supervised QSAR Modeling with Large Chemical Repositories
Jožef Stefan Institute（约瑟夫斯蒂芬研究所）；University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息学院）
本研究针对半监督QSAR建模，通过系统实验发现大型化学库中未标记数据的组成比规模更重要，选择少量化学距离远的分子可提升模型，且至少一种SSL配置优于监督基线。
2026-10-16 cs.LG
Poisoning Semi-supervised Federated Learning via Unlabeled Data: Attacks and Defenses
City University of Hong Kong（香港城市大学）；Monash University（莫纳什大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
半监督联邦学习（SSFL）由于其实用性而受到广泛关注，即，客户端可以仅具有未标记的数据。在实践中，这些SSFL系统通过将“猜测”标签分配给标记数据附近的未标记数据来实现半监督训练，以将无监督问题转换为全监督问题。然而，这种半监督训练技术的固有属性创建了一个新的攻击面。在本文中，我们发现并揭示了一个简单而强大的中毒攻击SSFL。我们的攻击利用半监督学习的自然特性，通过毒害未标记的数据来使模型中毒。具体来说，攻击者只需要插入少量恶意制作的未标记样本（例如，仅为数据集的0.1\ %）以影响模型性能和误分类。大量的案例研究表明，我们的攻击是有效的不同的数据集和常见的半监督学习方法。为了减轻攻击，我们提出了一种辩护，即，基于极小极大优化的客户端选择策略，使服务器能够选择持有正确标签信息和高质量更新的客户端。我们的防御进一步采用了基于质量的聚合规则，以加强所选更新的贡献。在不同攻击条件下的评估表明，所提出的防御可以很好地减轻这种未标记的中毒攻击。我们的研究揭示了SSFL对未标记中毒攻击的脆弱性，并为社区提供了潜在的防御方法。
2022-05-07 cs.CR cs.DC cs.LG
InterLUDE: Interactions between Labeled and Unlabeled Data to Enhance Semi-Supervised Learning
Tufts University（塔夫茨大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
InterLUDE通过标记与未标记数据的嵌入融合和一致性正则化损失，增强半监督学习，在STL-10仅40标签时错误率降至3.2%，显著优于先前方法。
2024-03-15 cs.CV cs.LG
A Safe Semi-supervised Graph Convolution Network
Hubei University of Technology（湖北工业大学）；Hubei University（湖北大学）
在半监督学习领域，图卷积网络（GCN）作为GNN的变体模型，通过将卷积引入GNN，在非欧数据上取得了很好的效果。然而，GCN及其变体模型未能安全地使用风险未标记数据的信息，这将降低半监督学习的性能。因此，我们提出了一个安全的GCN框架（安全GCN），以提高学习性能。在Safe-GCN中，我们设计了一个迭代过程来标记未标记的数据。在每次迭代中，学习GCN及其监督版本（S-GCN）以找到具有高置信度的未标记数据。然后将高置信度的未标记数据及其伪标记添加到标记集中。最后，利用添加的未标记数据和已标记数据对S-GCN进行训练，实现了对风险未标记数据的安全探测，实现了对大量未标记数据的安全使用。在三个著名的引文网络数据集上对Safe-GCN的性能进行了评估，所得结果证明了所提出的框架在几种基于图的半监督学习方法上的有效性。
2022-07-05 cs.CV cs.LG
AuxMix: Semi-Supervised Learning with Unconstrained Unlabeled Data
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
半监督学习（SSL）在标记数据稀缺但未标记数据丰富的情况下取得了长足的进步。重要的是，最近的工作假设这样的未标记的数据是从相同的分布作为标记的数据。在这项工作中，我们表明，国家的最先进的SSL算法遭受性能下降的存在下，未标记的辅助数据，不一定具有相同的类分布的标记集。我们将这个问题称为非对称SSL，并提出了一种利用自监督学习任务来学习通用特征的算法，以屏蔽与标记集在语义上不相似的辅助数据。我们还建议通过最大化不同辅助样本的预测熵来正则化学习。当在CIFAR 10数据集上训练时，我们在ResNet-50模型上显示出比现有基线提高了5%，其中4k个标记样本，所有未标记数据都来自Tiny-ImageNet数据集。我们报告了几个数据集上的竞争结果，并进行消融研究。
2022-06-14 cs.AI cs.CV cs.LG
Accuracy Improvement of Semi-Supervised Segmentation Using Supervised ClassMix and Sup-Unsup Feature Discriminator
Meijo University（名城大学）
本文提出通过监督类混合和监督-无监督特征判别器提升半监督分割性能，实验显示在Chase和COVID-19数据集上mIoU平均提升2.07%。
2026-04-08 cs.CV cs.LG
Asymptotic Bayes risk for Gaussian mixture in a semi-supervised setting
INRIA-ENS（法国国家信息与自动化研究所-巴黎高等师范学院）
半监督学习（SSL）使用未标记的数据进行训练，并且与可用的标记数据上的监督方法相比，已被证明可以大大提高性能。这种说法既取决于可用的标记数据的数量，也取决于所使用的算法。在本文中，我们计算分析之间的差距最好的全监督方法，只使用标记的数据和最好的半监督方法，使用标记和未标记的数据。我们量化了由于未标记数据而获得的性能的最佳可能增加，即我们计算了由于未标记数据中包含的信息而导致的准确性增加。我们的工作涉及一个简单的高维高斯混合模型的数据在贝叶斯设置。我们严格的分析建立在最近的理论突破，在高维推理和大量的数学工具，从统计物理最初开发的自旋玻璃。
2019-09-28 cs.LG math.ST stat.ML
A Novel Semi-Supervised Data-Driven Method for Chiller Fault Diagnosis with Unlabeled Data
Nanyang Technological University（南洋理工大学）；Anhui Polytechnic University（安徽工程大学）；Zhejiang University（浙江大学）；Building and Construction Authority (BCA)（新加坡建设局）
在实际的冷水机组系统中，应用高效的故障诊断技术可以显著降低能耗，提高建筑物的能源利用效率。现有的冷水机组故障诊断方法的成功依赖于有足够的带标签数据用于训练的条件。然而，标签获取在实践中是费力且昂贵的。通常，标记数据的数量是有限的，并且大多数可用数据是未标记的。现有方法无法充分利用未标记数据中包含的信息，严重限制了冷水机组故障诊断性能的提高。为了有效利用未标记数据进一步提高故障诊断性能，降低对标记数据的依赖，提出了一种基于半生成对抗网络的冷水机组半监督数据驱动故障诊断方法。半生成对抗网络能够从未标记数据中学习到数据分布的信息，这些信息有助于显著提高诊断性能。通过仿真和实测数据处理验证了所提方法的有效性。在只有80个标记样本和16000个未标记样本的情况下，该方法可以将诊断准确率提高到84%，而有监督基线方法的诊断准确率最高只能达到65%。此外，当未标记样本数足够大时，该方法可以减少约60%的最小标记样本数.
2020-10-31 cs.LG cs.SY eess.SY
Re-Evaluating the Impact of Unseen-Class Unlabeled Data on Semi-Supervised Learning Model
Westlake University（西湖大学）；Shandong University（山东大学）；Nanjing University（南京大学）
本文指出以往评估无标签数据中未见类对SSL模型影响的方法违背了控制变量原则，通过严格保持已见类比例并沿五个维度改变未见类进行实验，发现未见类不一定会损害模型性能，特定条件下甚至能增强性能。
2025-03-02 cs.LG
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
University of California, San Diego（加利福尼亚大学圣迭戈分校）
深度神经网络通常在监督学习框架下进行训练，其中模型使用标记数据学习单个任务。从业者可以利用未标记或相关数据来提高模型性能，而不是仅仅依赖于标记数据，这些数据通常更容易访问和无处不在。用于迁移学习的自监督预训练正在成为一种越来越流行的技术，用于使用未标记数据来改善最先进的结果。它首先在大量未标记的数据上预训练模型，然后使模型适应感兴趣的目标任务。在这篇综述中，我们调查自监督学习方法及其应用程序中的顺序迁移学习框架。我们概述了自监督学习和迁移学习的分类，并强调了一些在不同领域设计预训练任务的突出方法。最后，我们讨论了最近的趋势，并建议未来的调查领域。
2020-07-01 cs.LG stat.ML
AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning
National Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
针对半监督学习中伪标签阈值局限及无标签样本丢弃问题，提出带类别自适应阈值与二分类一致性正则的AllMatch算法，实现无标签数据100%利用，在多基准上性能超越现有最优方法。
2024-07-09 cs.AI cs.LG
Robust Deep Semi-Supervised Learning: A Brief Introduction
半监督学习（SSL）是机器学习的一个分支，旨在通过在标签不足时利用未标记的数据来提高学习性能。最近，具有深度模型的SSL已被证明在标准基准测试任务上是成功的。然而，它们仍然容易受到各种鲁棒性的威胁，在现实世界中的应用程序，因为这些基准提供完美的未标记的数据，而在现实的情况下，未标记的数据可能会被损坏。许多研究人员指出，在利用损坏的未标记数据后，SSL会遇到严重的性能下降问题。因此，迫切需要开发SSL算法，可以与损坏的未标记的数据鲁棒地工作。为了充分了解健壮的SSL，我们进行了一项调查研究。我们首先从机器学习的角度阐明了健壮SSL的形式化定义。然后，我们将鲁棒性威胁分为三类：i）分发损坏，即，未标记的数据分布与标记的数据不匹配; ii）特征损坏，即，未标记的示例的特征受到对抗性攻击;以及iii）标记损坏，即，未标记数据的标记分布是不平衡的。在这个统一的分类，我们提供了一个彻底的审查和讨论最近的作品，专注于这些问题。最后，我们提出了鲁棒SSL中可能有前途的方向，为未来的研究提供见解。
2022-11-14 cs.LG
Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出自监督特征适应框架SSFA，通过解耦伪标签预测并引入自监督任务使特征提取器适应无标签数据分布，解决了有标签与无标签数据分布不一致导致的伪标签噪声累积问题，显著提升了半监督学习性能。
2024-05-31 cs.CV cs.LG
VCC-INFUSE: Towards Accurate and Efficient Selection of Unlabeled Examples in Semi-supervised Learning
Peking University（北京大学）；Google（谷歌公司）；National Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
本文提出VCC和INFUSE两种方法，通过变分自编码器校准置信度选择准确伪标签，并利用影响函数构建无标签样本核心数据集，有效降低分类错误率并大幅节省训练时间。
2024-04-21 cs.CV cs.LG
Exploiting Unlabeled Data to Enhance Ensemble Diversity
Southeast University（东南大学）；Nanjing University（南京大学）
包围学习的目的是通过使用多个基本学习器来提高泛化能力。众所周知，要构建一个好的集成，基础学习者应该是准确的，以及多样化。在本文中，未标记的数据被利用来促进集成学习，帮助增加基础学习器之间的多样性。具体地说，提出了一种半监督集成方法UDEED。与现有的半监督集成方法不同，在现有的半监督集成方法中，对未标记数据估计易出错的伪标签以扩大标记数据以提高准确性，UDEED的工作原理是最大限度地提高基础学习者对标记数据的准确性，同时最大限度地提高它们对未标记数据的多样性。实验表明，UDEED可以有效地利用未标记的数据集成学习，是非常有竞争力的成熟的半监督集成方法。
2010-09-25 cs.AI cs.LG
CSAL: Self-adaptive Labeling based Clustering Integrating Supervised Learning on Unlabeled Data
University of Technology Sydney（悉尼科技大学）
由于监督训练过程，监督分类方法可以预测未知数据的标签。分类的成功在很大程度上依赖于标记的训练数据。聚类是揭示未标记数据聚集性的有效方法，但大多数聚类方法的性能受到标记数据缺失的限制。然而，在实际应用中，获取标记数据是耗时的，有时甚至是不可能的。聚类和分类相结合是一种很有前途的方法，可以大大提高性能。在本文中，我们提出了一个创新的和有效的聚类框架的基础上，自适应标签（CSAL）集成的聚类和分类的未标记的数据。首先采用聚类方法对数据进行划分，并从聚类后的数据中选取一定比例的数据进行分类器训练。为了改进训练的分类器，期望最大化算法的迭代过程被设计到所提出的聚类框架CSAL。在公开数据集上进行实验，测试聚类算法和分类模型的不同组合以及各种训练数据标记方法。实验结果表明，我们的方法以及自适应方法优于其他方法。
2015-02-18 cs.LG
Semi-Supervised Treatment Effect Estimation with Unlabeled Covariates via Generalized Riesz Regression
The University of Tokyo（东京大学）；Osaka Metropolitan University（大阪 Metropolitan 大学）
本研究针对半监督处理效应估计问题，利用未标记辅助协变量，推导效率界并提出有效估计器，在单样本和双样本设置下均能降低效率界并减小估计器渐近方差。
2025-11-11 cs.LG econ.EM math.ST
