Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Collaborative Learning of Semi-Supervised Clustering and Classification for Labeling Uncurated Data
The University of Tennessee（田纳西大学）
特定领域的图像集在科学和商业的各个领域都有潜在的价值，但通常没有经过精心策划，也没有任何方法可以轻松提取相关内容。为了对这样的图像数据采用当代的监督图像分析方法，必须首先对它们进行清理和组织，然后针对在特定领域中采用的术语进行手动标记，这是耗时且昂贵的努力。为了解决这个问题，我们设计并实现了Plud系统。Plud提供了一个迭代的半监督工作流程，以最大限度地减少专家的工作量，并处理逼真的大型图像集合。我们相信它可以支持标记数据集，无论其大小和类型如何。Plud是无监督聚类、人工辅助和监督分类的迭代序列。随着每次迭代，1）标记数据集增长，2）分类方法的通用性及其准确性增加，以及3）手动工作减少。我们评估了我们的系统的有效性，通过将其应用于超过一百万张记录人体分解的图像。在我们的实验中，我们将手动标记与在Plud支持下进行的标记进行了比较，我们发现它减少了标记数据所需的时间，并为这个新领域生成了高度准确的模型。
2020-03-09 cs.LG stat.ML
Semi-supervised CAPP Transformer Learning via Pseudo-labeling
Simula Research Laboratory（Simula研究实验室）；National Technical University of Athens（希腊国家技术大学）
本文提出一种半监督学习方法，通过假设标签改进基于变换器的CAPP模型，提升数据稀缺环境下的制造过程规划准确性。
2026-09-01 cs.AI cs.LG
CRMSP: A Semi-supervised Approach for Key Information Extraction with Class-Rebalancing and Merged Semantic Pseudo-Labeling
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对长尾分布下关键信息抽取的半监督学习挑战，提出CRMSP方法，通过类重平衡伪标签模块和合并语义伪标签模块增加对尾部类别的关注并聚类尾部特征，在多个基准上达到SOTA。
2024-07-19 cs.AI cs.LG
An interpretable semi-supervised classifier using two different strategies for amended self-labeling
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Queens University Belfast（英国女王大学贝尔法斯特分校）
在某些机器学习应用程序的上下文中，获取数据实例是一个相对容易的过程，但标记它们可能会变得非常昂贵或繁琐。这样的场景会导致数据集具有很少的标记实例和大量的未标记实例。半监督分类技术在学习阶段结合标记和未标记的数据，以提高分类器的泛化能力。遗憾的是，大多数成功的半监督分类器不允许解释其结果，因此表现得像黑匣子。然而，有越来越多的问题领域中，专家需要一个清晰的理解决策过程。在本文中，我们报告了一个扩展的实验研究，提出了一个可解释的自标记灰盒分类器，使用黑盒子来估计缺失的类标签和白盒子来解释最终的预测。两种不同的方法来修改自标记过程进行了探讨：第一个基于黑盒的信心，后者的基础上从粗糙集理论的措施。扩展实验研究的结果支持我们的分类器的透明性和简单性的手段的可解释性，同时获得优越的预测率相比，在文献中报道的最先进的自标记分类器。
2020-07-20 cs.LG stat.ML
Pseudo-Representation Labeling Semi-Supervised Learning
Taiwan Evolutionary Intelligence Laboratory（台湾进化智能实验室）；National Taiwan University（国立台湾大学）
近年来，半监督学习（SSL）在利用未标记数据来提高深度学习模型的性能方面取得了巨大的成功，这大大降低了对大量标记数据的需求。已经提出了许多SSL技术，并在ImageNet和CIFAR-10等著名数据集上显示出良好的性能。然而，一些现有的技术（特别是基于数据增强的技术）不适合于经验上的工业应用。因此，这项工作提出了伪表示标记，一个简单而灵活的框架，利用伪标记技术迭代标记少量未标记的数据，并将它们作为训练数据。此外，我们的框架集成了自监督表示学习，使分类器从标记和未标记数据的表示学习中获益。该框架的实现不受具体模型结构的限制，而是一种改进现有模型的通用技术。与现有方法相比，伪表示标注更加直观，能够有效地解决现实世界中的实际问题。从经验上讲，它优于目前最先进的半监督学习方法在工业类型的分类问题，如WM-811 K晶圆图和MIT-BIH心律失常数据集。
2020-05-31 cs.CV cs.LG stat.ML
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
On Pseudo-Labeling for Class-Mismatch Semi-Supervised Learning
Nanjing University（南京大学）
当存在来自其他类的未标记的分布外（OOD）数据时，半监督学习（SSL）方法遭受严重的性能下降，甚至比仅仅在标记数据上训练更差。在本文中，我们实证分析类不匹配的SSL中的伪标签（PL）。PL是一种简单而有代表性的SSL方法，它通过根据模型的预测为未标记的数据创建伪标签，将SSL问题转化为监督学习。我们的目标是回答两个主要问题：（1）OOD数据如何影响PL？(2)在PL中如何正确使用OOD数据？首先，我们表明，PL的主要问题是不平衡的伪标签OOD数据。其次，我们发现OOD数据可以帮助分类在分布（ID）数据给定其OOD地面真值标签。基于这些发现，我们提出了两个组件--重新平衡伪标记（RPL）和语义探索聚类（SEC）来改进类不匹配SSL中的PL。RPL重新平衡高置信度数据的伪标签，同时过滤OOD数据并解决不平衡问题。SEC在低置信度数据上使用平衡聚类来创建额外类的伪标签，模拟使用地面实况的训练过程。实验表明，我们的方法实现了稳定的改善监督基线和国家的最先进的性能下的所有类失配率在不同的基准。
2023-01-15 cs.AI cs.LG
SMART: An Open Source Data Labeling Platform for Supervised Learning
RTI International（RTI国际组织）
SMART是一个开源数据标注平台，通过直观界面、主动学习和评估者间信度统计，帮助高效构建监督学习训练数据集。
2018-12-11 cs.LG stat.ML
Reducing Labeling Costs in Sentiment Analysis via Semi-Supervised Learning
Georgia State University（佐治亚州立大学）
本研究提出基于流形假设的直推式标签传播方法，利用图方法生成伪标签并结合网络嵌入扩展标签，将未标记数据纳入监督学习以训练深度神经网络，有效降低了情感分析中的标注成本。
2024-10-15 cs.AI cs.CL cs.IR
Self-supervised Semi-supervised Learning for Data Labeling and Quality Evaluation
Apple（苹果公司）
随着深度学习技术在工业应用中的采用随着速度和规模的增加而增长，深度学习模型的成功部署通常取决于注释数据的可用性、数量和质量。在本文中，我们解决的问题，有效的数据标记和注释验证下的人在循环设置。我们展示了自监督视觉表示学习领域的最新进展可以带来有利于自然图像数据集的管理和工程的工具和方法，降低注释成本并提高注释质量。我们提出了一个统一的框架，利用自监督半监督学习，并使用它来构建工作流程的数据标记和注释验证任务。我们证明了我们的工作流程在现有方法上的有效性。在主动学习任务中，我们的方法在CIFAR 10上使用0.1%的注释数据达到97.0%的Top-1准确率，在CIFAR 100上使用10%的注释数据达到83.9%的Top-1准确率。当使用50%的错误标签进行学习时，我们的方法在CIFAR 10上达到了97.4%的Top-1准确率，在CIFAR 100上达到了85.5%的Top-1准确率。
2021-11-22 cs.CV cs.LG
Semi-supervised Multitask Learning for Sequence Labeling
The ALTA Institute（ALTA研究院）
我们提出了一个序列标记框架，它有一个次要的训练目标，学习为数据集中的每个单词预测周围的单词。这种语言建模目标激励系统学习语义和句法组成的通用模式，这对于提高不同序列标记任务的准确性也很有用。该架构在一系列数据集上进行了评估，涵盖了学习者文本中的错误检测，命名实体识别，组块和POS标记的任务。新的语言建模目标在每个基准上提供了一致的性能改进，而不需要任何额外的注释或未注释的数据。
2017-04-24 cs.CL cs.LG cs.NE
Evaluating approaches for supervised semantic labeling
Siemens（西门子）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
关系数据源仍然是存储企业或Web数据的最流行的方法之一，然而，关系模式的问题是缺乏定义良好的语义描述。公共本体提供了一种表示关系模式的含义的方法，并且可以促进域中异构数据源的集成。语义标记是通过将数据源的属性映射到本体中的类和属性来实现的。我们制定这个问题作为一个多类分类问题，以前标记的数据源被用来学习规则标记新的数据源。大多数现有的语义标记方法都集中在数据集成的挑战，如命名冲突和语义异构性。此外，机器学习方法通常存在类不平衡、缺少标记实例和属性相对重要性的问题。为了解决这些问题，我们开发了一个新的机器学习模型与工程功能，以及两个深度学习模型，不需要广泛的功能工程。我们用最先进的技术来评估我们的新方法。
2018-01-29 cs.AI cs.CL cs.LG
OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning
Southern University of Science and Technology（南方科技大学）；Hong Kong Polytechnic University（香港理工大学）
OwMatch提出结合条件自标记与开放世界层次阈值的框架，解决开放世界半监督学习中未见类别误分类问题，提升已知与未知类别的分类性能。
2024-11-04 cs.CV cs.LG stat.ML
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具，在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性，然而，对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例，模型可以欣赏，以产生合格的准确性相比，训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist，通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性，原始数据集被分成较小的批次，并且在每个批次上重复学习，有和没有借口预训练。结果表明，与普通监督学习相比，自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
Adapt, Agree, Aggregate: Semi-Supervised Ensemble Labeling for Graph Convolutional Networks
K. N. Toosi University of Technology（科霍·纳希尔·图西理工大学）；Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
本研究提出结合集成学习与增强图结构的半监督节点分类框架，通过多视图集成实现自适应阈值、动态样本选择与鲁棒伪标签提取，提升模型性能与泛化能力，经真实数据集实验验证有效。
2025-03-22 cs.AI cs.LG
CSAL: Self-adaptive Labeling based Clustering Integrating Supervised Learning on Unlabeled Data
University of Technology Sydney（悉尼科技大学）
由于监督训练过程，监督分类方法可以预测未知数据的标签。分类的成功在很大程度上依赖于标记的训练数据。聚类是揭示未标记数据聚集性的有效方法，但大多数聚类方法的性能受到标记数据缺失的限制。然而，在实际应用中，获取标记数据是耗时的，有时甚至是不可能的。聚类和分类相结合是一种很有前途的方法，可以大大提高性能。在本文中，我们提出了一个创新的和有效的聚类框架的基础上，自适应标签（CSAL）集成的聚类和分类的未标记的数据。首先采用聚类方法对数据进行划分，并从聚类后的数据中选取一定比例的数据进行分类器训练。为了改进训练的分类器，期望最大化算法的迭代过程被设计到所提出的聚类框架CSAL。在公开数据集上进行实验，测试聚类算法和分类模型的不同组合以及各种训练数据标记方法。实验结果表明，我们的方法以及自适应方法优于其他方法。
2015-02-18 cs.LG
EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
半监督学习（SSL）中的最新方法将一致性正则化与基于置信度的伪标记相结合。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的伪标签视角：而不是依赖于模型置信度，我们而是衡量未标记的样本是否可能是“分布中”;即，接近当前的训练数据。为了分类未标记的样本是“分布内”还是“分布外”，我们采用来自分布外检测文献的能量得分。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实分布以改进模型。实验表明，我们的基于能量的伪标记方法，虽然概念上很简单，显着优于基于信心的方法不平衡的SSL基准，并实现类平衡数据的竞争力的表现。例如，当不平衡比高于50时，它会使CIFAR 10-LT的绝对精度提高4-6%。当与最先进的长尾SSL方法相结合时，可以得到进一步的改进。
2022-06-13 cs.AI cs.CV cs.LG
Leveraging Labeling Representations in Uncertainty-based Semi-supervised Segmentation
ETS Montreal（蒙特利尔高等技术学院）
半监督分割通过利用未标记数据和少量标记数据来解决注释的稀缺性。利用未标记数据的一个突出方法是通过一致性训练，通常使用教师-学生网络，其中教师指导学生分割。未标记数据的预测是不可靠的，因此，已经提出了不确定性感知方法，以逐渐从有意义和可靠的预测中学习。然而，不确定性估计依赖于来自需要针对每个训练步骤计算的模型预测的多个推断，这在计算上是昂贵的。本文提出了一种新的方法来估计像素级的不确定性，利用标记表示的分割掩模。一方面，学习标记表示来表示可用的分割掩码。学习的标记表示用于将分割的预测映射到一组合理的掩码中。这种重建的分割掩模有助于估计引导分割网络的像素级不确定性。所提出的方法估计的不确定性与一个单一的推理标记表示，从而减少了总的计算。我们评估了我们的方法在MRI左心房的3D分割，我们表明，我们的不确定性估计从我们的标签表示提高了分割精度超过国家的最先进的方法。
2022-03-10 cs.CV cs.LG
Informative Pseudo-Labeling for Graph Neural Networks with Few Labels
University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
图神经网络（GNN）已经在图上的半监督节点分类方面取得了最先进的成果。然而，如何有效地学习具有很少标签的GNN的挑战仍然没有得到充分的探索。伪标记作为一种流行的半监督方法，已经被提出来显式地解决标签稀缺问题。它的目的是用具有高置信度的伪标记未标记节点来增强训练集，以便在自训练周期中重新训练监督模型。然而，现有的伪标记方法通常遭受两个主要缺点。首先，他们倾向于保守地扩展标签集，只选择高置信度的未标记节点，而不评估它们的信息量。不幸的是，这些高置信度节点通常会传递与给定标签重叠的信息，从而导致模型重新训练的微小改进。其次，这些方法将伪标签与真正的标签合并到相同的损失函数，忽略了它们对分类任务的不同贡献。在本文中，我们提出了一个新的信息伪标签框架，称为InfoGNN，以促进学习GNN与极少数标签。我们的核心思想是通过互信息最大化来伪标记最能代表局部邻域的信息量最大的节点。为了减轻潜在的标签噪声和伪标签引起的类不平衡问题，我们还仔细设计了一个广义交叉熵损失与类平衡正则化，以将生成的伪标签纳入模型重新训练。在六个真实世界的图数据集上进行的广泛实验表明，我们提出的方法显着优于最先进的基线和强大的自监督方法。
2022-01-20 cs.AI cs.LG
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong（香港大学）
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时，弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中，我们提出了一种新的弱监督课程学习管道多标签对象识别，检测和语义分割。在这个管道中，我们首先获得训练图像的中间对象定位和像素标记结果，然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成，包括训练图像中的对象定位，过滤和融合对象实例，训练图像的像素标记，以及特定任务的网络训练。为了在训练图像中获得干净的对象实例，我们提出了一种新的算法，用于过滤，融合和分类从多个解决方案机制收集的对象实例。在该算法中，我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明，我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果，在弱监督语义分割的MS-COCO，PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
CRUPL: A Semi-Supervised Cyber Attack Detection with Consistency Regularization and Uncertainty-aware Pseudo-Labeling in Smart Grid
Indian Institute of Technology Dharwad（印度达尔瓦德理工学院）；Rajiv Gandhi Institute of Technology（拉吉夫·甘地理工学院）
本文提出半监督方法CRUPL，利用一致性正则化、伪标签与课程学习处理智能电网未标签数据，在未知样本下将检测准确率提升至99%并显著减少误报。
2025-03-01 cs.AI cs.CR cs.LG
Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition
MERL（三菱电机研究实验室）
伪标记（PL）已被证明是有效的半监督自动语音识别（ASR），其中一个基本模型是自我训练的伪标签从未标记的数据。虽然PL可以通过随着模型的发展迭代地更新伪标签来进一步改进，但大多数以前的方法都涉及模型的低效再训练或标签更新的复杂控制。我们提出了动量伪标记（MPL），一个简单而有效的策略半监督ASR。MPL由一对在线和离线模型组成，它们相互作用并相互学习，受到平均教师方法的启发。训练在线模型以预测离线模型动态生成的伪标签。离线模型保持在线模型的基于动量的移动平均值。MPL是在一个单一的训练过程中进行的，两个模型之间的互动有效地帮助他们相互加强，以提高ASR性能。我们将MPL应用于基于连接主义时间分类的端到端ASR模型。实验结果表明，MPL有效地改善了基础模型，并可扩展到不同的半监督场景与不同数量的数据或域不匹配。
2021-06-16 cs.LG cs.SD eess.AS
Weakly-Supervised Domain Adaptation with Proportion-Constrained Pseudo-Labeling
Kyushu University（九州大学）；Kyoto Second Red Cross Hospital（京都第二红十字医院）
提出一种利用目标域类别比例信息的弱监督域适应方法，通过比例约束伪标签提升未标注数据上的模型性能，实验证明其在低标注率和噪声比例下均优于半监督方法。
2025-06-27 cs.LG
Reliable Weakly Supervised Learning: Maximize Gain and Maintain Safeness
Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
弱监督数据广泛存在，并引起了人们的广泛关注。然而，由于标签质量通常难以保证，有时使用弱监督数据会导致性能不理想，即，性能下降或性能增益差。此外，人工提高标签质量通常是不可行的，这导致弱监督学习有些难以依赖，针对这一关键问题，本文提出了一种简单新颖的弱监督学习框架。我们通过少量的验证数据来指导标签质量的优化，并确保性能的安全性，同时最大限度地提高性能。由于验证集是描述泛化风险的一个很好的近似，它可以有效地避免由于不正确的数据分布假设而导致的性能不佳。我们将这种潜在的考虑形式化为一种新的双层优化，并给出了一个有效的解决方案。大量的实验结果表明，新的框架取得了令人印象深刻的性能弱监督学习与少量的验证数据。
2019-04-22 cs.LG stat.ML
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
目前半监督学习的研究主要集中在基于一致性正则化的学习方法上，这些方法具有很好的性能。然而，它们严重依赖于特定领域的数据增强，这并不容易为所有数据模式生成。伪标记（PL）是一种通用的SSL方法，它没有这种约束，但在其原始公式中表现相对较差。我们认为PL表现不佳是由于校准不良的模型的错误高置信度预测;这些预测生成许多不正确的伪标签，导致噪声训练。我们提出了一个不确定性感知的伪标签选择（UPS）框架，通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性。此外，UPS概括了伪标签过程，允许创建负伪标签;这些负伪标签可用于多标签分类以及负学习以改进单标签分类。与最近的SSL方法相比，我们在CIFAR-10和CIFAR-100数据集上实现了强大的性能。此外，我们证明了我们的方法在视频数据集UCF-101和多标签数据集Pascal VOC上的多功能性。
2021-04-19 cs.CV cs.LG
Not All Data are Good Labels: On the Self-supervised Labeling for Time Series Forecasting
The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）；Space Information Research Institute, Hangzhou Dianzi University（杭州电子科技大学空间信息研究所）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Department of Computer Science, Aalborg university, Denmark（丹麦奥尔堡大学计算机科学系）
本文提出SCAM方法，通过自监督学习重新标记时间序列数据集，提升模型泛化能力。
2025-12-16 cs.AI cs.LG
Bandit Label Inference for Weakly Supervised Learning
University of California, Berkeley（加州大学伯克利分校）
在许多应用程序中，缺少以期望的粒度级别注释的数据是一个反复出现的问题。大量的努力已经投入到开发弱监督的方法，适合每一个人的设置，这往往是精心设计，以利用弱监督制度的特殊属性，现有数据的形式和手头的任务的先验知识。不幸的是，很难使这些方法适应新的任务和/或数据形式，这通常需要不同的弱监管制度或模型。我们提出了一个通用的方法，可以解决任何弱监督学习问题，无论弱监督制度或模型。所提出的方法把任何现成的强监督分类器到一个弱监督分类器，并允许用户指定任何任意的弱监督制度通过一个损失函数。我们将该方法应用于几个不同的弱监管制度，并证明竞争力的结果相比，专门为这些设置设计的方法。
2015-09-22 cs.LG stat.ML
A Weakly Supervised Learning Approach based on Spectral Graph-Theoretic Grouping
University of Waterloo（滑铁卢大学）
在这项研究中，弱监督分类的谱图论分组策略，其中有限数量的标记样本和较大的未标记样本集被用来构建一个更大的注释训练集组成的强标记和弱标记的样本。强标记样本集合与未标记样本集合之间的固有关系经由谱分组来建立，其中未标记样本随后基于相关联的谱组内的强标记样本进行弱注释。一些相似性图模型的光谱分组，包括两个新的相似性图模型在这项研究中介绍，探讨其性能的背景下，弱监督分类在处理不同类型的数据。使用基准数据集以及真实EMG数据集的实验结果表明，所提出的弱监督分类方法可以提供显着的分类性能的改善，并且所提出的相似性图模型可以导致最终的学习结果，其在弱监督分类的谱分组的背景下优于或等同于现有的相似性图模型。
2015-08-03 cs.AI cs.LG
Ground Truth Inference for Weakly Supervised Entity Matching
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
实体匹配（Entity Matching，EM）是指识别一个或多个关系表中引用现实世界中相同实体的数据记录对的问题。监督机器学习（ML）模型目前实现了最先进的匹配性能;然而，它们需要许多标记的示例，这些示例通常是昂贵的或不可行的。这启发了我们使用弱监督来处理EM的数据标记。特别是，我们使用由Snorkel推广的标签函数抽象，其中每个标签函数（LF）是用户提供的程序，可以快速廉价地生成许多嘈杂的匹配/非匹配标签。给定一组用户编写的LF，数据标记的质量取决于标记模型，以准确地推断地面实况标签。在这项工作中，我们首先提出了一个简单但功能强大的标记模型一般弱监督任务。然后，我们定制的标签模型，具体到实体匹配的任务，考虑EM特定的传递性。我们的标记模型的一般形式很简单，同时在十个一般弱监督数据集上的性能大大优于现有的最佳方法。为了定制EM的标签模型，我们制定了一种方法，以确保标签模型的最终预测满足EM中所需的传递性，在可能的情况下利用精确的解决方案，并在其余情况下使用基于ML的近似。在两个单表和九个双表真实世界EM数据集上，我们表明我们的标记模型比现有的最佳方法平均高出9%的F1分数。我们还表明，在我们的弱监督方法生成的标签上训练的深度学习EM最终模型（DeepMatcher）与使用数万个地面真实标签训练的最终模型相当，这表明我们的方法可以显着减少EM中所需的标记工作。
2022-11-13 cs.DB cs.LG
Weakly Supervised Action Labeling in Videos Under Ordering Constraints
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
我们给出了一组视频剪辑，每个视频剪辑都注释有{ \em ordered}动作列表，例如从关联的文本脚本中提取的“walk”（走）、“sit”（坐）、“answer phone”（接电话）。我们试图在时间上本地化每个片段中的各个动作，以及学习每个动作的判别分类器。我们制定的问题作为一个弱监督的时间分配的顺序约束。每个视频剪辑被划分成小的时间间隔，并且每个视频剪辑的每个时间间隔被分配一个动作标签，同时尊重动作标签在给定注释中出现的顺序。我们表明，动作标签分配可以确定与学习的分类器，为每个动作在一个有区别的方式。我们评估了一个新的和具有挑战性的数据集的937个视频剪辑，共787720帧，包含序列的16个不同的动作，从69部好莱坞电影所提出的模型。
2014-07-04 cs.CV cs.LG
Bounded Expectation of Label Assignment: Dataset Annotation by Supervised Splitting with Bias-Reduction Techniques
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
注释大型未标记数据集可能是机器学习应用程序的主要瓶颈。我们介绍了一个方案，用于推断标签的未标记的数据在一小部分的成本标记整个数据集。我们的计划，有界期望的标签分配（BELA），greenhouse查询的甲骨文（或人类labeler）和分区的数据集，以找到数据子集，大多具有相同的标签。然后，BELA可以通过每个子集中已知标签的多数投票来推断标签。BELA通过最大化正确标记示例的预期数量的下限来确定是否从子集中分割或标记。我们的方法与现有的分层标签方案不同，使用监督模型来划分数据，从而避免依赖可能无法按标签准确分组数据的无监督聚类方法。我们设计BELA的策略，以避免偏见，可以通过这种自适应分区。我们在三个数据集上评估了BELA，发现它优于现有的自适应标签策略。
2021-02-25 cs.LG stat.ML
Self-Supervised Learning at the Edge: The Cost of Labeling
本文研究边缘端自监督学习的可行性与效率，分析其资源权衡及标注成本，证明定制策略可降低高达4倍资源消耗。
2025-07-09 cs.LG eess.SP
Consistency-based Semi-supervised Active Learning: Towards Minimizing Labeling Cost
Google（谷歌）；Salesforce Research（Salesforce研究院）；University of Maryland（马里兰大学）；Google Cloud AI（谷歌云AI）；University of Washington（华盛顿大学）
主动学习（AL）结合了数据标记和模型训练，通过优先选择能够最好地提高模型性能的高价值数据来最小化标记成本。在基于池的主动学习中，可访问的未标记数据在大多数传统方法中不用于模型训练。在这里，我们建议将未标记的样本选择和模型训练统一起来，以最小化标记成本，并为此做出两个贡献。首先，我们利用标记和未标记的数据，使用半监督学习（SSL）在训练阶段从未标记的数据中提取信息。其次，我们提出了一个基于一致性的样本选择度量，该度量与训练目标一致，使得所选择的样本有效地提高模型性能。我们对图像分类任务进行了广泛的实验。在CIFAR-10、CIFAR-100和ImageNet上的实验结果表明，与现有方法以及替代的AL和SSL组合相比，我们提出的方法在有限的标记数据下具有优异的性能。此外，我们还研究了一个重要但尚未探索的问题--“我们什么时候可以开始基于学习的人工智能选择？".我们提出了一个措施，是经验相关的AL目标损失，并可能用于确定适当的起点，基于学习的AL方法。
2020-07-18 cs.CV cs.LG
Defect detection using weakly supervised learning
Democritus University of Thrace（德谟克利特色雷斯大学）；Athena Research Centre（雅典娜研究中心）
本文研究在缺陷检测任务中弱监督学习对标注数据的需求，通过实验对比弱监督与全监督分类器，证明前者可在标注数据显著减少时达到相当性能。
2023-03-27 cs.AI cs.CV cs.LG
BoostMIS: Boosting Medical Image Semi-supervised Learning with Adaptive Pseudo Labeling and Informative Active Annotation
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）；Zhejiang University（浙江大学）
本文提出了一种新的半监督学习（SSL）框架BoostMIS，该框架结合了自适应伪标记和信息主动标注，充分发挥了医学图像SSL模型的潜力：（1）BoostMIS能够根据当前学习状态自适应地利用聚类假设和未标记数据的一致性正则化。该策略可以自适应地生成从任务模型预测转换的独热“硬”标签，以更好地进行任务模型训练。(2)对于低置信度的未标记图像，我们引入了主动学习（AL）算法，通过利用虚拟对抗扰动和模型的密度感知熵来寻找信息样本作为注释候选。这些信息候选者随后被馈送到下一个训练周期，以更好地进行SSL标签传播。值得注意的是，自适应伪标记和信息主动注释形成了相互协作以提高医学图像SSL的学习闭环。为了验证所提出的方法的有效性，我们收集了转移性硬膜外脊髓压迫（MESCC）数据集，旨在优化MESCC诊断和分类，以改善专科转诊和治疗。我们在MESCC和另一个公共数据集COVIDx上对BoostMIS进行了广泛的实验研究。实验结果验证了我们的框架的有效性和普适性不同的医学图像数据集与各种国家的最先进的方法有显着的改善。
2022-03-21 cs.AI cs.CV cs.LG
KnowMAN: Weakly Supervised Multinomial Adversarial Networks
Volkswagen AG（大众汽车集团）；University of Vienna（维也纳大学）
缺乏用于训练神经模型的标记数据通常通过利用有关特定任务的知识来解决，从而产生启发式但嘈杂的标签。知识被捕获在标记函数中，标记函数检测训练样本中的某些特征或模式，并注释相应的标签以进行训练。这种弱监督训练的过程可能导致过度依赖标记函数捕获的信号，并阻碍模型利用其他信号或很好地泛化。我们提出了KnowMAN，这是一种对抗性方案，可以控制与特定标记功能相关的信号的影响。KnowMAN迫使网络学习对这些信号不变的表示，并拾取与输出标签更普遍相关的其他信号。与使用预训练的Transformer语言模型和基于特征的基线的直接弱监督学习相比，KnowMAN大大改善了结果。
2021-09-16 cs.CL cs.LG
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出JointMatch方法，通过自适应调整逐类阈值和双网络交叉标签互学习，解决半监督文本分类中的伪标签偏差与错误累积问题，在基准数据集上平均提升5.13%。
2023-10-23 cs.CL cs.LG
TK-KNN: A Balanced Distance-Based Pseudo Labeling Approach for Semi-Supervised Intent Classification
University of Notre Dame（圣母大学）；ServiceNow Research（ServiceNow研究院）
本文提出TK-KNN方法，通过基于嵌入空间距离的伪标签技术和基于排序的类别平衡机制，解决半监督意图分类中伪标签样本不平衡问题，在标记数据稀缺时显著优于现有模型。
2023-10-17 cs.LG
Rates of Convergence for Laplacian Semi-Supervised Learning with Low Labeling Rates
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Manchester（曼彻斯特大学）
我们在低标记率下研究基于图的拉普拉斯半监督学习。拉普拉斯学习使用图上的调和扩展来传播标签。在非常低的标记率下，拉普拉斯学习变得退化，并且解决方案在每个标记数据点处大致恒定，具有尖峰。以前的工作表明，这种退化发生在标记数据点的数量是有限的，而未标记的数据点的数量趋于无穷大。在这项工作中，我们允许标记的数据点的数量随着标签的数量增长到无穷大。结果表明，对于长度为$\varepsilon>0$，标号率为$β>0$的随机几何图，若$β\ll\varepsilon^2$，则解退化并形成尖峰;若$β\gg \varepsilon^2$，则Laplacian学习是适定的，且与连续Laplace方程一致.此外，在适定性设置，我们证明了定量误差估计的$O(\varepsilonβ^{-1/2})$的离散问题和连续PDE的解决方案之间的差异，对数因子。我们还研究了$p$ -Laplacian正则化，并证明了当$β\ll \varepsilon^p$ .我们的适定性结果的证明使用Laplacian学习和PDE参数的随机游动解释，而不适定性结果的证明使用变分法的$Γ$收敛工具。我们还提出了模拟和真实数据的数值结果来说明我们的结果。
2020-06-04 cs.LG math.ST stat.ML
DiCaP: Distribution-Calibrated Pseudo-labeling for Semi-Supervised Multi-Label Learning
DiCaP通过分布校准伪标签法，提升半监督多标签学习的性能，实现高达4.27%的提升。
2025-12-02 cs.LG
SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling
University of Southern California（南加州大学）；Emory University（埃默里大学）；Xidian University（西安电子科技大学）
联邦学习使移动电话和组织等多个客户端能够协作学习共享模型进行预测，同时保护本地数据隐私。然而，联邦学习的最新研究和应用假设所有客户端都有完全标记的数据，这在现实世界中是不切实际的。在这项工作中，我们专注于跨筒仓联邦学习的新场景，其中每个客户端的数据样本被部分标记。我们借鉴了半监督学习方法的思想，在这种方法中，尽管对标记示例的访问有限，但仍利用大量未标记数据来提高模型的准确性。我们提出了一个名为SemiFed的新框架，它统一了半监督学习的两种主要方法：一致性正则化和伪标记。SemiFed首先应用先进的数据增强技术来执行一致性正则化，然后在训练期间使用模型的预测生成伪标签。SemiFed利用了联邦的优势，因此对于给定的图像，只有当来自不同客户端的多个模型产生高置信度预测并同意相同的标签时，伪标签才有效。在两个图像基准上的大量实验证明了我们的方法在同质和异构数据分布设置下的有效性
2021-08-21 cs.CV cs.LG
Learning to Robustly Aggregate Labeling Functions for Semi-supervised Data Programming
Indian Institute of Technology Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research – Almaden（IBM阿尔马登研究院）
有监督机器学习的一个关键瓶颈是需要大量的标记数据，这是昂贵的和耗时的获得。然而，已经表明，少量的标记数据虽然不足以重新训练模型，但可以有效地用于生成人类可解释的标记函数（LF）。这些LF又被用来生成大量额外的噪声标记数据，这种模式现在通常被称为数据编程。然而，以前的自动生成LF的方法没有尝试进一步使用给定的标记数据进行模型训练，从而放弃了提高性能的机会。此外，由于LF是从相对较小的标记数据集生成的，因此它们容易有噪声，并且天真地聚合这些LF可能导致实际性能非常差。在这项工作中，我们提出了一个基于LF的重加权框架\ouralgo{}，以解决这两个关键的限制。我们的算法以半监督的方式在用于LF归纳的（相同）标记数据集以及任何未标记数据上学习联合模型，更重要的是，根据其优点重新加权每个LF，使用鲁棒的双层优化算法影响其对半监督损失的贡献。我们表明，我们的算法显着优于以前的方法在几个文本分类数据集。
2022-03-10 cs.LG
Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning
Ball State University（波尔州立大学）
模仿学习有望解决具有挑战性的机器人任务，如自主导航。然而，它需要一个人类监督员来监督训练过程，并在没有反馈的情况下向机器人发送正确的控制命令，这总是容易出错，而且成本高昂。为了最大限度地减少人工参与和避免人工标记的数据在机器人自主导航与模仿学习，本文提出了一种新的半监督模仿学习解决方案的基础上的多传感器设计。该解决方案包括基于传感器融合的次优传感器策略，以自动标记机器人遇到的状态，以避免训练期间的人类监督。此外，开发了一种记录策略，以抑制从次优传感器策略中学习太多的对抗性影响。该解决方案允许机器人以自我监督的方式学习导航策略。通过在室内环境中的大量实验，该解决方案可以在大多数任务中实现接近人类的性能，甚至在硬件故障或人为操作错误等意外事件中超过人类的性能。据我们所知，这是第一个综合传感器融合和模仿学习的工作，使机器人自主导航在现实世界中没有人的监督。
2018-02-20 cs.LG cs.RO
The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning
EPFL（洛桑联邦理工学院）
该研究提出模型无关的无监督框架HUME，基于人类标注类别线性可分的特性，在固定预训练表示上训练线性分类器推断人类标注，在多个图像分类基准上取得了最优性能，为无监督学习提供了新视角。
2023-11-06 cs.LG
InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
不平衡半监督学习（SSL）中的最新方法依赖于具有一致性正则化的基于置信度的伪标记。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的视角的伪标记不平衡的SSL。在不依赖于模型置信度的情况下，我们建议衡量未标记样本是否可能是“分布内”;即，接近当前的训练数据。为了确定未标记的样本是"分布内“还是"分布外”，我们采用来自分布外检测文献的能量分数。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实的类分布，以改进模型。实验表明，我们的基于能量的伪标记方法，\textbf{InPL}，虽然概念上简单，显着优于基于信心的方法不平衡的SSL基准。例如，它产生约3\%的绝对精度提高CIFAR 10-LT。当与最先进的长尾SSL方法相结合时，进一步的改进。特别是，在最具挑战性的场景之一，InPL实现了6.9\%的准确性比最好的竞争对手。
2023-03-13 cs.CV cs.LG
Efficient Path Prediction for Semi-Supervised and Weakly Supervised Hierarchical Text Classification
Hong Kong University of Science and Technology（香港科技大学）
层次文本分类有许多实际应用。然而，标记大量文档是昂贵的。在实践中，我们可以使用半监督学习或弱监督学习（例如，无数据分类）以降低标记成本。在本文中，我们提出了一个路径成本敏感的学习算法，利用结构信息，并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量的未标记数据，并将路径约束引入到学习算法中，以结合类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径相关分数结合。由于我们把结构敏感的成本的学习算法，以约束与类层次结构一致的分类，不需要重建不同结构的特征向量，我们可以显着降低计算成本相比，结构输出学习。在两个层次文本分类基准上的实验结果表明，该方法不仅是有效的，而且是有效的处理半监督和弱监督的层次文本分类。
2019-02-25 cs.IR cs.LG stat.ML
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI（谷歌人工智能）
我们描述了一种语法错误纠正（GEC）方法，该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌，并采用迭代解码策略，是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成，在CoNLL'14基准测试中得到58.3的F0.5，在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
Learning from Reduced Labels for Long-Tailed Data
China University of Mining and Technology（中国矿业大学）
针对长尾数据标注成本高且现有弱监督方法难以保留尾部样本监督信息的问题，提出精简标签（Reduced Label）标注设置及带理论保证的无偏框架，在ImageNet等数据集上性能优于现有最优弱监督方法。
2024-12-03 cs.CV cs.LG
Perturbation-based Graph Active Learning for Weakly-Supervised Belief Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对社交网络半监督信念表示学习中的标注预算分配问题，提出模型与应用无关的扰动图主动学习方法PerbALGraph，通过预测方差自动选择高价值消息标注。
2024-10-24 cs.LG
Imbalanced Semi-supervised Learning with Bias Adaptive Classifier
Xi’an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）；City University of Hong Kong（香港城市大学）；Macau University of Science and Technology（澳门科技大学）；Peng Cheng Laboratory（鹏城实验室）
伪标记已被证明是一种很有前途的半监督学习（SSL）范式。现有的伪标记方法通常假设训练数据的类分布是平衡的。然而，这样的假设是远离现实的场景，从而严重限制了当前的伪标记方法的性能下的类不平衡。为了缓解这个问题，我们设计了一个偏置自适应分类器，目标是不平衡的SSL设置。其核心思想是通过一种新的偏差吸引子和原有的线性分类器组成的偏差自适应分类器，自动吸收类不平衡引起的训练偏差。偏置吸引子被设计为一个轻量级的残差网络，并通过双层学习框架进行优化。这种学习策略使得偏置自适应分类器能够拟合不平衡的训练数据，而线性分类器可以为每个类别提供无偏的标签预测。我们在各种不平衡半监督设置下进行了广泛的实验，结果表明我们的方法可以应用于不同的伪标记模型，并且优于当前最先进的方法。
2023-03-02 cs.LG
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University（西北大学）；Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要，并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时，强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明，我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善，目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Semi-Supervised Representation Learning based on Probabilistic Labeling
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
在本文中，我们提出了一个新的算法，半监督表示学习。在该算法中，我们首先根据数据点在空间中的局部位置为数据点的标签找到一个向量表示。然后，我们使用线性变换将数据映射到低维空间，使得变换后的数据与分配的标签之间的依赖性最大化。事实上，我们试图找到一个尽可能有区别的映射。该方法将使用Hilber-Schmidt独立准则（HSIC）作为依赖性度量。我们还提出了一个内核化版本的算法，它允许非线性变换，并提供了更大的灵活性，在寻找适当的映射。使用未标记的数据来学习新的表示并不总是有益的，并且没有算法可以确定性地保证通过利用未标记的数据来提高性能。因此，我们还提出了一个边界上的算法的性能，可以用来确定使用的未标记的数据在算法中的有效性。我们证明了算法的能力，在寻找转换使用玩具的例子和现实世界的数据集。
2020-08-04 cs.LG
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限，提出基于排序的损失预测模块和半监督伪标签算法，在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
