Pseudo-Representation Labeling Semi-Supervised Learning
Taiwan Evolutionary Intelligence Laboratory（台湾进化智能实验室）；National Taiwan University（国立台湾大学）
近年来，半监督学习（SSL）在利用未标记数据来提高深度学习模型的性能方面取得了巨大的成功，这大大降低了对大量标记数据的需求。已经提出了许多SSL技术，并在ImageNet和CIFAR-10等著名数据集上显示出良好的性能。然而，一些现有的技术（特别是基于数据增强的技术）不适合于经验上的工业应用。因此，这项工作提出了伪表示标记，一个简单而灵活的框架，利用伪标记技术迭代标记少量未标记的数据，并将它们作为训练数据。此外，我们的框架集成了自监督表示学习，使分类器从标记和未标记数据的表示学习中获益。该框架的实现不受具体模型结构的限制，而是一种改进现有模型的通用技术。与现有方法相比，伪表示标注更加直观，能够有效地解决现实世界中的实际问题。从经验上讲，它优于目前最先进的半监督学习方法在工业类型的分类问题，如WM-811 K晶圆图和MIT-BIH心律失常数据集。
2020-05-31 cs.CV cs.LG stat.ML
Self-Supervised Learning at the Edge: The Cost of Labeling
本文研究边缘端自监督学习的可行性与效率，分析其资源权衡及标注成本，证明定制策略可降低高达4倍资源消耗。
2025-07-09 cs.LG eess.SP
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Youtu Lab Tencent（腾讯优图实验室）
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的，并且涉及温度超参数，该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球，我们推导出一个新的损失函数，涉及到一个置信度的措施，量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明，这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Self-Supervised Learning with Probabilistic Density Labeling for Rainfall Probability Estimation
Seoul National University（首尔大学）；Korea Institute of Industrial Technology（韩国产业技术研究院）；Korea Institute of Atmospheric Prediction Systems（韩国大气预测系统研究院）
针对数值天气预报模型受极端天气非线性特征限制的问题，提出带概率密度标记的自监督后处理方法SSLPDL，通过掩码建模预训练学习变量依赖，结合概率密度标记解决类别不平衡，在区域降水预报和延长预报提前量上表现更优。
2024-12-08 cs.CV cs.LG
Large-Context Conversational Representation Learning: Self-Supervised Learning for Conversational Documents
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话公司媒体情报研究所）
本文提出了一种新的自监督学习方法，用于处理由人与人之间对话的转录文本组成的会话文档。理解会话文档的关键技术之一是话语级顺序标注，其中标签以逐个话语的方式从文档中估计。话语级顺序标记的主要问题是难以收集标记的会话文档，因为手动注释非常昂贵。为了解决这个问题，我们提出了大上下文会话表示学习（LC-CRL），一种专门用于会话文档的自监督学习方法。LC-CRL中的自监督学习任务涉及基于大上下文语言建模使用所有周围话语来估计话语。通过这种方式，LC-CRL使我们能够有效地利用未标记的会话文档，从而增强了话语级顺序标记。使用呼叫中心会话数据集进行场景分割的实验结果表明了该方法的有效性。
2021-02-16 cs.CL cs.LG
Reducing Label Dependency in Human Activity Recognition with Wearables: From Supervised Learning to Novel Weakly Self-Supervised Approaches
The University of Texas at Arlington（德克萨斯理工大学）
本文提出了一种新型弱自监督学习框架，通过减少标注依赖性提升可穿戴设备人体活动识别的性能和效率。
2025-12-15 cs.HC cs.LG
Revisiting Self-Training with Regularized Pseudo-Labeling for Tabular Data
Pusan National University（釜山国立大学）
半监督学习和自监督学习的最新进展打破了人们长期以来对机器学习需要大量标记数据和未标记数据无关性的看法。虽然它已经在各种数据中取得了成功，但没有可以推广到表格数据的主要半监督学习和自监督学习方法（即大多数现有方法需要适当的表格数据集和架构）。在本文中，我们重新审视自我训练，它可以应用于任何类型的算法，包括最广泛使用的架构，梯度提升决策树，并介绍课程伪标记（一个国家的最先进的伪标记技术的图像）的表格域。此外，现有的伪标签技术不保证集群假设时，计算的置信度分数的伪标签产生的未标记的数据。为了克服这个问题，我们提出了一种新的伪标签的方法，正则化的置信度分数的基础上的伪标签的可能性，使更可靠的伪标签，位于高密度区域可以得到。我们使用各种模型和表格数据集详尽地验证了我们的方法的优越性。
2023-03-13 cs.AI cs.LG
CSAL: Self-adaptive Labeling based Clustering Integrating Supervised Learning on Unlabeled Data
University of Technology Sydney（悉尼科技大学）
由于监督训练过程，监督分类方法可以预测未知数据的标签。分类的成功在很大程度上依赖于标记的训练数据。聚类是揭示未标记数据聚集性的有效方法，但大多数聚类方法的性能受到标记数据缺失的限制。然而，在实际应用中，获取标记数据是耗时的，有时甚至是不可能的。聚类和分类相结合是一种很有前途的方法，可以大大提高性能。在本文中，我们提出了一个创新的和有效的聚类框架的基础上，自适应标签（CSAL）集成的聚类和分类的未标记的数据。首先采用聚类方法对数据进行划分，并从聚类后的数据中选取一定比例的数据进行分类器训练。为了改进训练的分类器，期望最大化算法的迭代过程被设计到所提出的聚类框架CSAL。在公开数据集上进行实验，测试聚类算法和分类模型的不同组合以及各种训练数据标记方法。实验结果表明，我们的方法以及自适应方法优于其他方法。
2015-02-18 cs.LG
Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning
RIKEN Center for AIP（理化学研究所人工智能研究中心）；University of Tokyo（东京大学）
本文针对半监督多标签学习（SSMLL）中伪标签易出现假阳性或漏标问题，提出类感知伪标签标注方法（CAP），通过引入类感知阈值与类分布感知策略对齐伪标签与真实分布，并在理论上验证了估计分布正确性及泛化误差界，多基准实验证实其有效性。
2023-05-20 cs.LG
Weakly-Supervised Domain Adaptation with Proportion-Constrained Pseudo-Labeling
Kyushu University（九州大学）；Kyoto Second Red Cross Hospital（京都第二红十字医院）
提出一种利用目标域类别比例信息的弱监督域适应方法，通过比例约束伪标签提升未标注数据上的模型性能，实验证明其在低标注率和噪声比例下均优于半监督方法。
2025-06-27 cs.LG
TK-KNN: A Balanced Distance-Based Pseudo Labeling Approach for Semi-Supervised Intent Classification
University of Notre Dame（圣母大学）；ServiceNow Research（ServiceNow研究院）
本文提出TK-KNN方法，通过基于嵌入空间距离的伪标签技术和基于排序的类别平衡机制，解决半监督意图分类中伪标签样本不平衡问题，在标记数据稀缺时显著优于现有模型。
2023-10-17 cs.LG
Learning to Robustly Aggregate Labeling Functions for Semi-supervised Data Programming
Indian Institute of Technology Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research – Almaden（IBM阿尔马登研究院）
有监督机器学习的一个关键瓶颈是需要大量的标记数据，这是昂贵的和耗时的获得。然而，已经表明，少量的标记数据虽然不足以重新训练模型，但可以有效地用于生成人类可解释的标记函数（LF）。这些LF又被用来生成大量额外的噪声标记数据，这种模式现在通常被称为数据编程。然而，以前的自动生成LF的方法没有尝试进一步使用给定的标记数据进行模型训练，从而放弃了提高性能的机会。此外，由于LF是从相对较小的标记数据集生成的，因此它们容易有噪声，并且天真地聚合这些LF可能导致实际性能非常差。在这项工作中，我们提出了一个基于LF的重加权框架\ouralgo{}，以解决这两个关键的限制。我们的算法以半监督的方式在用于LF归纳的（相同）标记数据集以及任何未标记数据上学习联合模型，更重要的是，根据其优点重新加权每个LF，使用鲁棒的双层优化算法影响其对半监督损失的贡献。我们表明，我们的算法显着优于以前的方法在几个文本分类数据集。
2022-03-10 cs.LG
Asymptotic Bayes risk of semi-supervised learning with uncertain labeling
Laboratoire d’Informatique de Grenoble（格勒诺布尔计算机实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究高斯混合模型下带不确定标签的半监督分类问题，通过计算贝叶斯风险并与已知最佳算法进行比较，为该算法提供了新的见解。
2024-03-27 cs.LG stat.ML
The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning
EPFL（洛桑联邦理工学院）
该研究提出模型无关的无监督框架HUME，基于人类标注类别线性可分的特性，在固定预训练表示上训练线性分类器推断人类标注，在多个图像分类基准上取得了最优性能，为无监督学习提供了新视角。
2023-11-06 cs.LG
Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
University of Virginia（弗吉尼亚大学）
在本文中，我们重新审视伪标签的思想，在半监督学习的上下文中，学习算法可以访问一个小的一组标记的样本和一个大的未标记的样本。伪标记的工作原理是通过使用在标记样本和任何先前伪标记样本的组合上训练的模型将伪标记应用于未标记集合中的样本，并在自训练周期中迭代地重复该过程。当前的方法似乎已经放弃了这种方法，而倾向于一致性正则化方法，该方法在未标记样本上的不同类型的自监督损失和标记样本上的标准监督损失的组合下训练模型。我们的经验表明，伪标记实际上可以与最先进的竞争，同时对未标记集中的分布外样本更具弹性。我们确定了两个关键因素，使伪标签，以取得如此显着的结果（1）应用课程学习原则和（2）避免概念漂移，通过重新启动模型参数之前，每个自我训练周期。我们在CIFAR-10上仅使用4，000个标记样本获得了94.91%的准确度，在Imagenet-ILSVRC上仅使用10%的标记样本获得了68.87%的top-1准确度。代码可在https://github.com/uvavision/Curriculum-Labeling上获得
2020-12-10 cs.CV cs.LG stat.ML
Towards Easier and Faster Sequence Labeling for Natural Language Processing: A Search-based Probabilistic Online Learning Framework (SAPO)
Peking University（北京大学）
序列标记有两种主要方法。一种是基于概率梯度的方法，诸如条件随机场（CRF）和神经网络（例如，RNN），具有高精度但缺点：训练速度慢，不支持基于搜索的优化（这在许多情况下很重要）。另一种是基于搜索的学习方法，如结构化感知器和边缘注入松弛算法（MIRA），它们具有快速训练的优点，但也存在精度低，没有概率信息，以及在现实世界任务中不收敛等缺点。我们提出了一个新颖的和“简单”的解决方案，基于搜索的概率在线学习方法，以解决这些问题。该方法是“容易的”，因为在训练阶段的优化算法是一样简单的解码算法在测试阶段。该方法搜索输出候选，导出概率，并进行有效的在线学习。我们表明，这种方法具有快速的训练和理论保证的收敛性，易于实现，可以支持基于搜索的优化，并获得最高的精度。在已知任务上的实验表明，该方法具有比CRF和BiLSTM \footnote{The SAPO code is released at \url{https://github.com/lancopku/SAPO}.}更好的准确性。
2018-11-19 cs.AI cs.LG
Imbalanced Semi-supervised Learning with Bias Adaptive Classifier
Xi’an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）；City University of Hong Kong（香港城市大学）；Macau University of Science and Technology（澳门科技大学）；Peng Cheng Laboratory（鹏城实验室）
伪标记已被证明是一种很有前途的半监督学习（SSL）范式。现有的伪标记方法通常假设训练数据的类分布是平衡的。然而，这样的假设是远离现实的场景，从而严重限制了当前的伪标记方法的性能下的类不平衡。为了缓解这个问题，我们设计了一个偏置自适应分类器，目标是不平衡的SSL设置。其核心思想是通过一种新的偏差吸引子和原有的线性分类器组成的偏差自适应分类器，自动吸收类不平衡引起的训练偏差。偏置吸引子被设计为一个轻量级的残差网络，并通过双层学习框架进行优化。这种学习策略使得偏置自适应分类器能够拟合不平衡的训练数据，而线性分类器可以为每个类别提供无偏的标签预测。我们在各种不平衡半监督设置下进行了广泛的实验，结果表明我们的方法可以应用于不同的伪标记模型，并且优于当前最先进的方法。
2023-03-02 cs.LG
Semi-supervised Multitask Learning for Sequence Labeling
The ALTA Institute（ALTA研究院）
我们提出了一个序列标记框架，它有一个次要的训练目标，学习为数据集中的每个单词预测周围的单词。这种语言建模目标激励系统学习语义和句法组成的通用模式，这对于提高不同序列标记任务的准确性也很有用。该架构在一系列数据集上进行了评估，涵盖了学习者文本中的错误检测，命名实体识别，组块和POS标记的任务。新的语言建模目标在每个基准上提供了一致的性能改进，而不需要任何额外的注释或未注释的数据。
2017-04-24 cs.CL cs.LG cs.NE
Collaborative Learning of Semi-Supervised Clustering and Classification for Labeling Uncurated Data
The University of Tennessee（田纳西大学）
特定领域的图像集在科学和商业的各个领域都有潜在的价值，但通常没有经过精心策划，也没有任何方法可以轻松提取相关内容。为了对这样的图像数据采用当代的监督图像分析方法，必须首先对它们进行清理和组织，然后针对在特定领域中采用的术语进行手动标记，这是耗时且昂贵的努力。为了解决这个问题，我们设计并实现了Plud系统。Plud提供了一个迭代的半监督工作流程，以最大限度地减少专家的工作量，并处理逼真的大型图像集合。我们相信它可以支持标记数据集，无论其大小和类型如何。Plud是无监督聚类、人工辅助和监督分类的迭代序列。随着每次迭代，1）标记数据集增长，2）分类方法的通用性及其准确性增加，以及3）手动工作减少。我们评估了我们的系统的有效性，通过将其应用于超过一百万张记录人体分解的图像。在我们的实验中，我们将手动标记与在Plud支持下进行的标记进行了比较，我们发现它减少了标记数据所需的时间，并为这个新领域生成了高度准确的模型。
2020-03-09 cs.LG stat.ML
Constrained Labeling for Weakly Supervised Learning
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
大型全监督数据集的管理已经成为机器学习的主要障碍之一。弱监督提供了一种替代监督学习的方法，通过使用来自不同来源的廉价、嘈杂且可能相关的标记函数进行训练。弱监督学习的关键挑战是结合不同的弱监督信号，同时导航错误中的误导性相关性。在本文中，我们提出了一种简单的无数据方法，通过定义一个约束空间的弱信号的可能标签和训练与随机标签在这个约束空间内结合弱监督信号。我们的方法是有效的和稳定的，收敛后的几个迭代的梯度下降。我们证明了理论条件下，随机标签的最坏情况下的错误减少的秩的线性约束。我们的实验表明，我们的方法优于其他弱监督方法在各种文本和图像分类任务。
2021-05-29 cs.AI cs.LG stat.ML
Leveraging Labeling Representations in Uncertainty-based Semi-supervised Segmentation
ETS Montreal（蒙特利尔高等技术学院）
半监督分割通过利用未标记数据和少量标记数据来解决注释的稀缺性。利用未标记数据的一个突出方法是通过一致性训练，通常使用教师-学生网络，其中教师指导学生分割。未标记数据的预测是不可靠的，因此，已经提出了不确定性感知方法，以逐渐从有意义和可靠的预测中学习。然而，不确定性估计依赖于来自需要针对每个训练步骤计算的模型预测的多个推断，这在计算上是昂贵的。本文提出了一种新的方法来估计像素级的不确定性，利用标记表示的分割掩模。一方面，学习标记表示来表示可用的分割掩码。学习的标记表示用于将分割的预测映射到一组合理的掩码中。这种重建的分割掩模有助于估计引导分割网络的像素级不确定性。所提出的方法估计的不确定性与一个单一的推理标记表示，从而减少了总的计算。我们评估了我们的方法在MRI左心房的3D分割，我们表明，我们的不确定性估计从我们的标签表示提高了分割精度超过国家的最先进的方法。
2022-03-10 cs.CV cs.LG
Semi-supervised CAPP Transformer Learning via Pseudo-labeling
Simula Research Laboratory（Simula研究实验室）；National Technical University of Athens（希腊国家技术大学）
本文提出一种半监督学习方法，通过假设标签改进基于变换器的CAPP模型，提升数据稀缺环境下的制造过程规划准确性。
2026-09-01 cs.AI cs.LG
Classifier-Dependent Benefits of Pseudo-Labeling for Semi-Supervised Android Malware Attribution
North South University（南北大学）
本研究系统评估了六种分类器在CICMalDroid 2020数据集上的伪标签半监督学习效果，发现收益强依赖分类器类型，SVM增益最大，随机森林在低标注比例下受损，并指出约10%标注样本即可达到近最优性能。
2026-09-25 cs.LG
Learning Combinatorial Node Labeling Algorithms
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的神经架构来解决图优化问题，其中解决方案由任意节点标签组成，使我们能够解决像图着色这样的难题。我们使用强化学习来训练我们的模型，特别是策略梯度，它为我们提供了一个贪婪和概率策略。我们的架构建立在一个图形注意力网络，并使用几个归纳偏见，以提高解决方案的质量。我们学习的图着色的确定性算法比经典的基于度的贪婪算法给出了更好的解决方案，并且只需要几秒钟就可以应用于具有数万个顶点的图。此外，我们的概率策略优于所有贪婪的最先进的着色基线和机器学习基线。最后，我们表明，我们的方法也推广到其他问题，通过评估它的最小顶点覆盖和优于两个贪婪算法。
2022-05-10 cs.LG
Asymptotic Analysis of Generative Semi-Supervised Learning
Georgia Institute of Technology（佐治亚理工学院）
半监督学习已经成为一种流行的框架，用于提高建模精度，同时控制标记成本。基于扩展的随机复合似然，我们量化的渐进精度的生成半监督学习。在这样做的过程中，我们通过提供一个替代框架来衡量与不同标签政策相关的价值，并解决标记多少数据以及以何种方式标记的基本问题，从而补充了无分布分析。我们展示了我们的方法与模拟研究和现实世界的实验，使用朴素贝叶斯文本分类和MRF和CRF的结构化预测在NLP。
2010-02-26 cs.LG
FedTriNet: A Pseudo Labeling Method with Three Players for Federated Semi-supervised Learning
Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Georgia State University（佐治亚州立大学）
联邦学习在分布式数据利用和隐私保护方面显示出巨大的潜力。大多数现有的联邦学习方法都集中在监督设置上，这意味着存储在每个客户端中的所有数据都有标签。然而，在实际应用中，客户端数据不可能被完全标记。因此，如何有效利用未标记数据是联邦学习面临的新挑战。虽然有一些研究试图克服这一挑战，但它们可能会遭受信息泄漏或误导信息使用的问题。为了解决这些问题，在本文中，我们提出了一种新的联邦半监督学习方法命名为FedTriNet，它包括两个学习阶段。在第一阶段，我们使用FedAvg中的标记数据预训练FedTriNet。在第二阶段，我们的目标是让大部分未标记的数据来帮助模型学习。特别是，我们建议使用三个网络和一个动态质量控制机制来为未标记的数据生成高质量的伪标签，并将其添加到训练集中。最后，FedTriNet使用新的训练集重新训练模型。在三个公开数据集上的实验结果表明，所提出的FedTriNet在IID和Non-IID设置下的性能优于最先进的基线。
2021-12-11 cs.LG
CRMSP: A Semi-supervised Approach for Key Information Extraction with Class-Rebalancing and Merged Semantic Pseudo-Labeling
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对长尾分布下关键信息抽取的半监督学习挑战，提出CRMSP方法，通过类重平衡伪标签模块和合并语义伪标签模块增加对尾部类别的关注并聚类尾部特征，在多个基准上达到SOTA。
2024-07-19 cs.AI cs.LG
An interpretable semi-supervised classifier using two different strategies for amended self-labeling
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Queens University Belfast（英国女王大学贝尔法斯特分校）
在某些机器学习应用程序的上下文中，获取数据实例是一个相对容易的过程，但标记它们可能会变得非常昂贵或繁琐。这样的场景会导致数据集具有很少的标记实例和大量的未标记实例。半监督分类技术在学习阶段结合标记和未标记的数据，以提高分类器的泛化能力。遗憾的是，大多数成功的半监督分类器不允许解释其结果，因此表现得像黑匣子。然而，有越来越多的问题领域中，专家需要一个清晰的理解决策过程。在本文中，我们报告了一个扩展的实验研究，提出了一个可解释的自标记灰盒分类器，使用黑盒子来估计缺失的类标签和白盒子来解释最终的预测。两种不同的方法来修改自标记过程进行了探讨：第一个基于黑盒的信心，后者的基础上从粗糙集理论的措施。扩展实验研究的结果支持我们的分类器的透明性和简单性的手段的可解释性，同时获得优越的预测率相比，在文献中报道的最先进的自标记分类器。
2020-07-20 cs.LG stat.ML
Label-Efficient Dataset Pruning via Semi-Supervised Pseudo-Labeling
Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院）
提出 SemiPrune 框架，利用少量随机标注子集通过半监督学习生成伪标签，使监督剪枝方法可应用于未标注数据，基于伪标签训练动态估计样本难度并选择核心集，在领域特定、图像损坏和长尾数据集上达到最优性能。
2026-05-22 cs.LG
Exploring Probabilistic Models for Semi-supervised Learning
Linacre College（莱纳克学院）
本论文研究面向半监督学习任务的高级概率模型，兼顾理论基础与实际应用，通过快速可靠的不确定性估计提升AI系统安全性，并在自动驾驶和医学影像等安全关键领域取得有竞争力的效果。
2024-04-05 cs.LG
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
目前半监督学习的研究主要集中在基于一致性正则化的学习方法上，这些方法具有很好的性能。然而，它们严重依赖于特定领域的数据增强，这并不容易为所有数据模式生成。伪标记（PL）是一种通用的SSL方法，它没有这种约束，但在其原始公式中表现相对较差。我们认为PL表现不佳是由于校准不良的模型的错误高置信度预测;这些预测生成许多不正确的伪标签，导致噪声训练。我们提出了一个不确定性感知的伪标签选择（UPS）框架，通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性。此外，UPS概括了伪标签过程，允许创建负伪标签;这些负伪标签可用于多标签分类以及负学习以改进单标签分类。与最近的SSL方法相比，我们在CIFAR-10和CIFAR-100数据集上实现了强大的性能。此外，我们证明了我们的方法在视频数据集UCF-101和多标签数据集Pascal VOC上的多功能性。
2021-04-19 cs.CV cs.LG
On Pseudo-Labeling for Class-Mismatch Semi-Supervised Learning
Nanjing University（南京大学）
当存在来自其他类的未标记的分布外（OOD）数据时，半监督学习（SSL）方法遭受严重的性能下降，甚至比仅仅在标记数据上训练更差。在本文中，我们实证分析类不匹配的SSL中的伪标签（PL）。PL是一种简单而有代表性的SSL方法，它通过根据模型的预测为未标记的数据创建伪标签，将SSL问题转化为监督学习。我们的目标是回答两个主要问题：（1）OOD数据如何影响PL？(2)在PL中如何正确使用OOD数据？首先，我们表明，PL的主要问题是不平衡的伪标签OOD数据。其次，我们发现OOD数据可以帮助分类在分布（ID）数据给定其OOD地面真值标签。基于这些发现，我们提出了两个组件--重新平衡伪标记（RPL）和语义探索聚类（SEC）来改进类不匹配SSL中的PL。RPL重新平衡高置信度数据的伪标签，同时过滤OOD数据并解决不平衡问题。SEC在低置信度数据上使用平衡聚类来创建额外类的伪标签，模拟使用地面实况的训练过程。实验表明，我们的方法实现了稳定的改善监督基线和国家的最先进的性能下的所有类失配率在不同的基准。
2023-01-15 cs.AI cs.LG
SMART: An Open Source Data Labeling Platform for Supervised Learning
RTI International（RTI国际组织）
SMART是一个开源数据标注平台，通过直观界面、主动学习和评估者间信度统计，帮助高效构建监督学习训练数据集。
2018-12-11 cs.LG stat.ML
Probabilistic Neural Network Training for Semi-Supervised Classifiers
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在本文中，我们提出了另一个版本的帮助训练方法，采用概率神经网络（PNN），提高了性能的主要判别分类器的半监督策略。我们介绍了PNN训练算法，并使用它来训练支持向量机（SVM）与少量的标记数据和大量的未标记数据。我们尝试为未标记的数据找到最好的标签，然后使用SVM来提高分类率。我们测试我们的方法在两个著名的基准测试，并显示我们的方法与以往的方法相比，效率。
2015-09-03 cs.LG
Probabilistic Test-Time Generalization by Variational Neighbor-Labeling
University of Amsterdam（阿姆斯特丹大学）；TU Munich（慕尼黑工业大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）；Core42
针对严格源训练与目标测试下的域泛化问题，提出将测试时伪标签建模为概率分布并融合邻居信息的变分邻居标签方法，且通过元泛化训练模拟目标适配，实验验证其有效性。
2024-07-01 cs.AI cs.LG
Ground Truth Inference for Weakly Supervised Entity Matching
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
实体匹配（Entity Matching，EM）是指识别一个或多个关系表中引用现实世界中相同实体的数据记录对的问题。监督机器学习（ML）模型目前实现了最先进的匹配性能;然而，它们需要许多标记的示例，这些示例通常是昂贵的或不可行的。这启发了我们使用弱监督来处理EM的数据标记。特别是，我们使用由Snorkel推广的标签函数抽象，其中每个标签函数（LF）是用户提供的程序，可以快速廉价地生成许多嘈杂的匹配/非匹配标签。给定一组用户编写的LF，数据标记的质量取决于标记模型，以准确地推断地面实况标签。在这项工作中，我们首先提出了一个简单但功能强大的标记模型一般弱监督任务。然后，我们定制的标签模型，具体到实体匹配的任务，考虑EM特定的传递性。我们的标记模型的一般形式很简单，同时在十个一般弱监督数据集上的性能大大优于现有的最佳方法。为了定制EM的标签模型，我们制定了一种方法，以确保标签模型的最终预测满足EM中所需的传递性，在可能的情况下利用精确的解决方案，并在其余情况下使用基于ML的近似。在两个单表和九个双表真实世界EM数据集上，我们表明我们的标记模型比现有的最佳方法平均高出9%的F1分数。我们还表明，在我们的弱监督方法生成的标签上训练的深度学习EM最终模型（DeepMatcher）与使用数万个地面真实标签训练的最终模型相当，这表明我们的方法可以显着减少EM中所需的标记工作。
2022-11-13 cs.DB cs.LG
Reducing Labeling Costs in Sentiment Analysis via Semi-Supervised Learning
Georgia State University（佐治亚州立大学）
本研究提出基于流形假设的直推式标签传播方法，利用图方法生成伪标签并结合网络嵌入扩展标签，将未标记数据纳入监督学习以训练深度神经网络，有效降低了情感分析中的标注成本。
2024-10-15 cs.AI cs.CL cs.IR
Consistency-based Semi-supervised Active Learning: Towards Minimizing Labeling Cost
Google（谷歌）；Salesforce Research（Salesforce研究院）；University of Maryland（马里兰大学）；Google Cloud AI（谷歌云AI）；University of Washington（华盛顿大学）
主动学习（AL）结合了数据标记和模型训练，通过优先选择能够最好地提高模型性能的高价值数据来最小化标记成本。在基于池的主动学习中，可访问的未标记数据在大多数传统方法中不用于模型训练。在这里，我们建议将未标记的样本选择和模型训练统一起来，以最小化标记成本，并为此做出两个贡献。首先，我们利用标记和未标记的数据，使用半监督学习（SSL）在训练阶段从未标记的数据中提取信息。其次，我们提出了一个基于一致性的样本选择度量，该度量与训练目标一致，使得所选择的样本有效地提高模型性能。我们对图像分类任务进行了广泛的实验。在CIFAR-10、CIFAR-100和ImageNet上的实验结果表明，与现有方法以及替代的AL和SSL组合相比，我们提出的方法在有限的标记数据下具有优异的性能。此外，我们还研究了一个重要但尚未探索的问题--“我们什么时候可以开始基于学习的人工智能选择？".我们提出了一个措施，是经验相关的AL目标损失，并可能用于确定适当的起点，基于学习的AL方法。
2020-07-18 cs.CV cs.LG
Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition
MERL（三菱电机研究实验室）
伪标记（PL）已被证明是有效的半监督自动语音识别（ASR），其中一个基本模型是自我训练的伪标签从未标记的数据。虽然PL可以通过随着模型的发展迭代地更新伪标签来进一步改进，但大多数以前的方法都涉及模型的低效再训练或标签更新的复杂控制。我们提出了动量伪标记（MPL），一个简单而有效的策略半监督ASR。MPL由一对在线和离线模型组成，它们相互作用并相互学习，受到平均教师方法的启发。训练在线模型以预测离线模型动态生成的伪标签。离线模型保持在线模型的基于动量的移动平均值。MPL是在一个单一的训练过程中进行的，两个模型之间的互动有效地帮助他们相互加强，以提高ASR性能。我们将MPL应用于基于连接主义时间分类的端到端ASR模型。实验结果表明，MPL有效地改善了基础模型，并可扩展到不同的半监督场景与不同数量的数据或域不匹配。
2021-06-16 cs.LG cs.SD eess.AS
Semi-Supervised Regression with Heteroscedastic Pseudo-Labels
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）；Harvard University（哈佛大学）；Xidian University（西安电子科技大学）；Pazhou Laboratory (Huangpu)（黄埔实验室）
针对半监督回归中伪标签不可靠的问题，提出不确定性感知的伪标签框架，通过双层优化动态调整伪标签影响，在基准数据集上验证了鲁棒性和性能优势。
2025-10-17 cs.LG
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出JointMatch方法，通过自适应调整逐类阈值和双网络交叉标签互学习，解决半监督文本分类中的伪标签偏差与错误累积问题，在基准数据集上平均提升5.13%。
2023-10-23 cs.CL cs.LG
SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling
University of Southern California（南加州大学）；Emory University（埃默里大学）；Xidian University（西安电子科技大学）
联邦学习使移动电话和组织等多个客户端能够协作学习共享模型进行预测，同时保护本地数据隐私。然而，联邦学习的最新研究和应用假设所有客户端都有完全标记的数据，这在现实世界中是不切实际的。在这项工作中，我们专注于跨筒仓联邦学习的新场景，其中每个客户端的数据样本被部分标记。我们借鉴了半监督学习方法的思想，在这种方法中，尽管对标记示例的访问有限，但仍利用大量未标记数据来提高模型的准确性。我们提出了一个名为SemiFed的新框架，它统一了半监督学习的两种主要方法：一致性正则化和伪标记。SemiFed首先应用先进的数据增强技术来执行一致性正则化，然后在训练期间使用模型的预测生成伪标签。SemiFed利用了联邦的优势，因此对于给定的图像，只有当来自不同客户端的多个模型产生高置信度预测并同意相同的标签时，伪标签才有效。在两个图像基准上的大量实验证明了我们的方法在同质和异构数据分布设置下的有效性
2021-08-21 cs.CV cs.LG
Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning
Ball State University（波尔州立大学）
模仿学习有望解决具有挑战性的机器人任务，如自主导航。然而，它需要一个人类监督员来监督训练过程，并在没有反馈的情况下向机器人发送正确的控制命令，这总是容易出错，而且成本高昂。为了最大限度地减少人工参与和避免人工标记的数据在机器人自主导航与模仿学习，本文提出了一种新的半监督模仿学习解决方案的基础上的多传感器设计。该解决方案包括基于传感器融合的次优传感器策略，以自动标记机器人遇到的状态，以避免训练期间的人类监督。此外，开发了一种记录策略，以抑制从次优传感器策略中学习太多的对抗性影响。该解决方案允许机器人以自我监督的方式学习导航策略。通过在室内环境中的大量实验，该解决方案可以在大多数任务中实现接近人类的性能，甚至在硬件故障或人为操作错误等意外事件中超过人类的性能。据我们所知，这是第一个综合传感器融合和模仿学习的工作，使机器人自主导航在现实世界中没有人的监督。
2018-02-20 cs.LG cs.RO
InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
不平衡半监督学习（SSL）中的最新方法依赖于具有一致性正则化的基于置信度的伪标记。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的视角的伪标记不平衡的SSL。在不依赖于模型置信度的情况下，我们建议衡量未标记样本是否可能是“分布内”;即，接近当前的训练数据。为了确定未标记的样本是"分布内“还是"分布外”，我们采用来自分布外检测文献的能量分数。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实的类分布，以改进模型。实验表明，我们的基于能量的伪标记方法，\textbf{InPL}，虽然概念上简单，显着优于基于信心的方法不平衡的SSL基准。例如，它产生约3\%的绝对精度提高CIFAR 10-LT。当与最先进的长尾SSL方法相结合时，进一步的改进。特别是，在最具挑战性的场景之一，InPL实现了6.9\%的准确性比最好的竞争对手。
2023-03-13 cs.CV cs.LG
Evaluating approaches for supervised semantic labeling
Siemens（西门子）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
关系数据源仍然是存储企业或Web数据的最流行的方法之一，然而，关系模式的问题是缺乏定义良好的语义描述。公共本体提供了一种表示关系模式的含义的方法，并且可以促进域中异构数据源的集成。语义标记是通过将数据源的属性映射到本体中的类和属性来实现的。我们制定这个问题作为一个多类分类问题，以前标记的数据源被用来学习规则标记新的数据源。大多数现有的语义标记方法都集中在数据集成的挑战，如命名冲突和语义异构性。此外，机器学习方法通常存在类不平衡、缺少标记实例和属性相对重要性的问题。为了解决这些问题，我们开发了一个新的机器学习模型与工程功能，以及两个深度学习模型，不需要广泛的功能工程。我们用最先进的技术来评估我们的新方法。
2018-01-29 cs.AI cs.CL cs.LG
OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning
Southern University of Science and Technology（南方科技大学）；Hong Kong Polytechnic University（香港理工大学）
OwMatch提出结合条件自标记与开放世界层次阈值的框架，解决开放世界半监督学习中未见类别误分类问题，提升已知与未知类别的分类性能。
2024-11-04 cs.CV cs.LG stat.ML
Learning from Reduced Labels for Long-Tailed Data
China University of Mining and Technology（中国矿业大学）
针对长尾数据标注成本高且现有弱监督方法难以保留尾部样本监督信息的问题，提出精简标签（Reduced Label）标注设置及带理论保证的无偏框架，在ImageNet等数据集上性能优于现有最优弱监督方法。
2024-12-03 cs.CV cs.LG
Adapt, Agree, Aggregate: Semi-Supervised Ensemble Labeling for Graph Convolutional Networks
K. N. Toosi University of Technology（科霍·纳希尔·图西理工大学）；Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
本研究提出结合集成学习与增强图结构的半监督节点分类框架，通过多视图集成实现自适应阈值、动态样本选择与鲁棒伪标签提取，提升模型性能与泛化能力，经真实数据集实验验证有效。
2025-03-22 cs.AI cs.LG
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
半监督学习（SSL）中的最新方法将一致性正则化与基于置信度的伪标记相结合。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的伪标签视角：而不是依赖于模型置信度，我们而是衡量未标记的样本是否可能是“分布中”;即，接近当前的训练数据。为了分类未标记的样本是“分布内”还是“分布外”，我们采用来自分布外检测文献的能量得分。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实分布以改进模型。实验表明，我们的基于能量的伪标记方法，虽然概念上很简单，显着优于基于信心的方法不平衡的SSL基准，并实现类平衡数据的竞争力的表现。例如，当不平衡比高于50时，它会使CIFAR 10-LT的绝对精度提高4-6%。当与最先进的长尾SSL方法相结合时，可以得到进一步的改进。
2022-06-13 cs.AI cs.CV cs.LG
Weakly Supervised Action Labeling in Videos Under Ordering Constraints
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
我们给出了一组视频剪辑，每个视频剪辑都注释有{ \em ordered}动作列表，例如从关联的文本脚本中提取的“walk”（走）、“sit”（坐）、“answer phone”（接电话）。我们试图在时间上本地化每个片段中的各个动作，以及学习每个动作的判别分类器。我们制定的问题作为一个弱监督的时间分配的顺序约束。每个视频剪辑被划分成小的时间间隔，并且每个视频剪辑的每个时间间隔被分配一个动作标签，同时尊重动作标签在给定注释中出现的顺序。我们表明，动作标签分配可以确定与学习的分类器，为每个动作在一个有区别的方式。我们评估了一个新的和具有挑战性的数据集的937个视频剪辑，共787720帧，包含序列的16个不同的动作，从69部好莱坞电影所提出的模型。
2014-07-04 cs.CV cs.LG
Deep Anomaly Detection under Labeling Budget Constraints
University of California, Irvine（加州大学欧文分校）；Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）
本文针对标注预算受限的异常检测问题，提出最优数据覆盖标注策略和半监督学习框架，在图像、表格和视频数据上取得领先性能。
2023-07-04 cs.AI cs.LG
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限，提出基于排序的损失预测模块和半监督伪标签算法，在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
