Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise
São Paulo State University (UNESP)(圣保罗州立大学);University of São Paulo (USP)(圣保罗大学);Federal University of São Paulo (Unifesp)(圣保罗联邦大学)
半监督学习方法通常用于数据集的分类,其中只有一小部分数据项被标记。在这些场景中,标签噪声是一个至关重要的问题,因为噪声可能很容易传播到大部分甚至整个数据集,导致分类准确性大幅下降。因此,在半监督学习中,研究新的技术来降低标签噪声的影响是一个至关重要的问题。近年来,基于粒子竞争与合作的图基半监督学习方法被提出。在该模型中,粒子在由数据集构造的图中行走。竞争发生在代表不同类别标签的粒子之间,而合作发生在具有相同标签的粒子之间。本文提出了一种新的粒子竞争与合作算法,专门设计来增加对标签噪声存在的鲁棒性,提高其标签噪声容忍度。与其他方法不同的是,该方法不需要单独的技术来处理标签噪声。它在一个独特的过程中执行未标记节点的分类和受标签噪声影响的节点的重新分类。计算机模拟表明,当应用到一些人工和真实世界的数据集,其中我们引入了越来越多的标签噪声的分类精度所提出的方法。分类精度相比,以前的粒子竞争和合作算法和其他代表性的基于图的半监督学习方法使用相同的场景。结果表明了该方法的有效性。
2020-02-12 cs.LG stat.ML
Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
University of Virginia(弗吉尼亚大学)
在本文中,我们重新审视伪标签的思想,在半监督学习的上下文中,学习算法可以访问一个小的一组标记的样本和一个大的未标记的样本。伪标记的工作原理是通过使用在标记样本和任何先前伪标记样本的组合上训练的模型将伪标记应用于未标记集合中的样本,并在自训练周期中迭代地重复该过程。当前的方法似乎已经放弃了这种方法,而倾向于一致性正则化方法,该方法在未标记样本上的不同类型的自监督损失和标记样本上的标准监督损失的组合下训练模型。我们的经验表明,伪标记实际上可以与最先进的竞争,同时对未标记集中的分布外样本更具弹性。我们确定了两个关键因素,使伪标签,以取得如此显着的结果(1)应用课程学习原则和(2)避免概念漂移,通过重新启动模型参数之前,每个自我训练周期。我们在CIFAR-10上仅使用4,000个标记样本获得了94.91%的准确度,在Imagenet-ILSVRC上仅使用10%的标记样本获得了68.87%的top-1准确度。代码可在https://github.com/uvavision/Curriculum-Labeling上获得
2020-12-10 cs.CV cs.LG stat.ML
Big Self-Supervised Models are Strong Semi-Supervised Learners
Google Research(谷歌研究院)
一种从少量标记的样本中学习,同时充分利用大量未标记数据的范例是无监督预训练,然后进行监督微调。虽然这种范式以任务不可知的方式使用未标记的数据,但与计算机视觉的半监督学习的常见方法相比,我们发现它对ImageNet上的半监督学习非常有效。我们方法的一个关键要素是在预训练和微调期间使用大(深和宽)网络。我们发现,标签越少,这种方法(无标签数据的任务不可知使用)从更大的网络中受益越多。在微调之后,可以通过第二次使用未标记的示例,但以特定于任务的方式,进一步改进大网络并将其提炼成一个更小的网络,而分类精度几乎没有损失。所提出的半监督学习算法可以概括为三个步骤:使用SimCLRv 2对大型ResNet模型进行无监督预训练,对一些标记的示例进行监督微调,以及使用未标记的示例进行提炼和转移特定于任务的知识。这个过程使用ResNet-50实现了73.9%的ImageNet top-1准确率,只有1%的标签(每个类别13个$\le$标记的图像),与之前的最先进技术相比,标签效率有了$10\times$的提高。使用10%的标签,使用我们的方法训练的ResNet-50实现了77.5%的top-1准确率,优于所有标签的标准监督训练。
2020-10-26 cs.CV cs.LG stat.ML
Pseudo-Representation Labeling Semi-Supervised Learning
Taiwan Evolutionary Intelligence Laboratory(台湾进化智能实验室);National Taiwan University(国立台湾大学)
近年来,半监督学习(SSL)在利用未标记数据来提高深度学习模型的性能方面取得了巨大的成功,这大大降低了对大量标记数据的需求。已经提出了许多SSL技术,并在ImageNet和CIFAR-10等著名数据集上显示出良好的性能。然而,一些现有的技术(特别是基于数据增强的技术)不适合于经验上的工业应用。因此,这项工作提出了伪表示标记,一个简单而灵活的框架,利用伪标记技术迭代标记少量未标记的数据,并将它们作为训练数据。此外,我们的框架集成了自监督表示学习,使分类器从标记和未标记数据的表示学习中获益。该框架的实现不受具体模型结构的限制,而是一种改进现有模型的通用技术。与现有方法相比,伪表示标注更加直观,能够有效地解决现实世界中的实际问题。从经验上讲,它优于目前最先进的半监督学习方法在工业类型的分类问题,如WM-811 K晶圆图和MIT-BIH心律失常数据集。
2020-05-31 cs.CV cs.LG stat.ML
Label Efficient Semi-Supervised Learning via Graph Filtering
The Hong Kong Polytechnic University(香港理工大学);Zhejiang University(浙江大学)
基于图的方法已经被证明是半监督学习最有效的方法之一,因为它们可以利用标记和未标记数据样本之间的连接模式来提高学习性能。然而,现有的基于图的方法要么是有限的,在他们的能力,联合建模图结构和数据特征,如经典的标签传播方法,或需要大量的标记数据的训练和验证,由于高模型的复杂性,如最近的基于神经网络的方法。在本文中,我们解决标签有效的半监督学习从图过滤的角度。具体来说,我们提出了一个图形过滤框架,将图形相似性注入到数据特征中,将它们作为图形上的信号,并应用低通图形过滤器来提取有用的数据表示进行分类,其中可以通过方便地调整图形过滤器的强度来实现标签效率。有趣的是,这个框架统一了两种看似非常不同的方法--标签传播和图卷积网络。在图过滤框架下重新审视它们会带来新的见解,从而提高它们的建模能力并降低模型复杂性。在四个引文网络和一个知识图谱上的各种半监督分类任务和一个用于zero-shot图像识别的半监督回归任务上的实验验证了我们的发现和建议。
2019-06-28 cs.AI cs.LG stat.ML
Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism
半监督学习是一种利用未标记数据来改进机器学习模型的强大技术,但它可能会受到“信息”标签的影响,当某些类比其他类更有可能被标记时,就会出现这种情况。在缺失数据文献中,此类标签称为非随机缺失。在本文中,我们提出了一种新的方法来解决这个问题,估计的缺失数据机制,并使用逆倾向加权去偏任何SSL算法,包括那些使用数据增强。我们还提出了一个似然比检验,以评估是否标签确实是信息。最后,我们证明了所提出的方法在不同的数据集上的性能,特别是在两个医疗数据集上,我们设计了伪现实的缺失数据场景。
2023-02-15 stat.ML
Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates
School of Mathematics, University of Minnesota(明尼苏达大学数学学院);Department of Mathematics, University of Manchester(曼彻斯特大学数学系);Department of Mathematical Sciences, Carnegie Mellon University(卡内基梅隆大学数学科学系)
我们提出了一个新的框架,称为泊松学习,基于图的半监督学习在非常低的标签率。泊松学习的动机是需要解决拉普拉斯半监督学习在这一制度的退化。该方法用源和汇的放置代替训练点处的标签值的分配,并在图上求解所得的泊松方程。结果是可证明的更稳定和信息比拉普拉斯学习。泊松学习是有效的,简单的实现,我们提出的数值实验表明,该方法优于其他最近的半监督学习方法在MNIST,FashionMNIST和Cifar-10的低标签率。我们还提出了一种图切割增强泊松学习,称为泊松MBO,它提供了更高的准确性,并可以结合相对类大小的先验知识。
2020-08-14 cs.CV cs.LG cs.NA
On missing label patterns in semi-supervised learning
我们研究基于模型的分类与部分标记的训练数据。在许多生物统计应用中,标签由专家手动分配,由于类别的不确定性,他们可能会留下一些未标记的观察结果。我们分析半监督学习作为一个缺失数据的问题,并确定的情况下,缺失的标签模式是不可识别的极大似然估计的目的。特别是,我们发现,分类难度和缺失的标签模式之间的关系意味着一个不可分割的缺失机制。我们检查了一些真实的数据集,并得出结论,丢失标签的模式与分类的难度有关。我们提出了一个联合建模策略,涉及观测数据和缺失标签机制,以解释系统性缺失标签。包含缺失标签机制的全似然推理可以提高参数估计的效率,提高分类精度。
2019-04-05 math.ST stat.ME stat.TH
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway(挪威北极大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
噪声标记数据代表了丰富的信息源,这些信息通常很容易获得,而且获取成本很低,但如果不考虑标签噪声,也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而,很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记(半监督)并且每个高维样本与多个标签相关联的情况。在这项工作中,我们提出了一种新的半监督和多标签的降维方法,有效地利用信息,从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维(NMLSDR)方法,通过专门设计的标签传播算法对噪声多标签进行去噪,同时对未标记数据进行标记。然后,NMLSDR学习投影矩阵,通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性,并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Bounded Expectation of Label Assignment: Dataset Annotation by Supervised Splitting with Bias-Reduction Techniques
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
注释大型未标记数据集可能是机器学习应用程序的主要瓶颈。我们介绍了一个方案,用于推断标签的未标记的数据在一小部分的成本标记整个数据集。我们的计划,有界期望的标签分配(BELA),greenhouse查询的甲骨文(或人类labeler)和分区的数据集,以找到数据子集,大多具有相同的标签。然后,BELA可以通过每个子集中已知标签的多数投票来推断标签。BELA通过最大化正确标记示例的预期数量的下限来确定是否从子集中分割或标记。我们的方法与现有的分层标签方案不同,使用监督模型来划分数据,从而避免依赖可能无法按标签准确分组数据的无监督聚类方法。我们设计BELA的策略,以避免偏见,可以通过这种自适应分区。我们在三个数据集上评估了BELA,发现它优于现有的自适应标签策略。
2021-02-25 cs.LG stat.ML
Semi-Supervised Sparse Coding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
稀疏编码将数据样本近似为一些基本码字的稀疏线性组合,并使用稀疏码作为新的表示。在本文中,我们研究学习的区别稀疏码稀疏编码在半监督的方式,其中只有少量的训练样本被标记。通过使用标记和未标记样本的数据集所跨越的流形结构以及标记样本的标签所提供的约束,我们学习所有样本的变量类标签。此外,为了提高学习的稀疏代码的区分能力,我们假设可以直接使用线性分类器从稀疏代码预测类标签。通过在一个统一的目标函数中同时求解码本、稀疏码、类别标签和分类器参数,提出了一种半监督稀疏编码算法。两个真实世界的模式识别问题的实验表明,所提出的方法的优势,监督稀疏编码方法的部分标记的数据集。
2015-01-16 cs.LG stat.ML
Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labels
Peking University(北京大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分院);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
图卷积网络(Graph Convolutional Network,GCN)在图学习中发挥着重要作用,但在监督信号较少的情况下学习图嵌入仍然是一个难题。本文结合自监督学习方法,提出了一种新的图卷积网络训练算法--多阶段自监督(M3 S)训练算法,旨在提高GCN在标记节点较少的图上的泛化性能。首先,提出了一个多阶段训练框架,作为M3 S训练方法的基础。然后,我们利用DeepCluster技术,一种流行的自监督学习形式,并在嵌入空间上设计相应的对齐机制来细化多阶段训练框架,从而产生M3 S训练算法。最后,大量的实验结果验证了我们的算法的优越性能与其他国家的最先进的方法相比,在不同的标签率下的图与少数标记的节点。
2020-02-20 cs.LG stat.ML
Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
Baidu Inc.(百度公司)
图神经网络(GNN)和标签传播算法(LPA)都是消息传递算法,在半监督分类中取得了优异的性能。GNN通过神经网络执行特征传播来进行预测,而LPA使用跨图邻接矩阵的标签传播来获得结果。然而,目前还没有一种有效的方法将这两种算法直接结合起来。为了解决这个问题,我们提出了一种新的统一消息传递模型(UniMP),可以在训练和推理时将特征和标签传播。首先,UniMP采用Graph Transformer网络,将特征嵌入和标签嵌入作为传播的输入信息。其次,为了训练网络而不使自循环输入标签信息过拟合,UniMP引入了一种掩蔽标签预测策略,其中一定比例的输入标签信息被随机掩蔽,然后进行预测。UniMP在概念上统一了特征传播和标签传播,并且在经验上是强大的。它在Open Graph Benchmark(OGB)中获得了新的最先进的半监督分类结果。
2021-05-10 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland(昆士兰大学)
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时,提供的标签可能不等于地面真实标签,并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释,则相同的训练示例可以由不同的专家给予不同的类分配,这指示标签噪声。在基于模型的分类框架中,一个简单但关键的观察结果是,当使用类别成员的后验概率对手动标签进行采样时,噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型,用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是,当标签噪声和分类难度正相关时,逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是,当分类难度是标签错误的唯一来源时,与单组地面真实标签相比,多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
SMART: An Open Source Data Labeling Platform for Supervised Learning
RTI International(RTI国际组织)
SMART是一个开源数据标注平台,通过直观界面、主动学习和评估者间信度统计,帮助高效构建监督学习训练数据集。
2018-12-11 cs.LG stat.ML
Collaborative Learning of Semi-Supervised Clustering and Classification for Labeling Uncurated Data
The University of Tennessee(田纳西大学)
特定领域的图像集在科学和商业的各个领域都有潜在的价值,但通常没有经过精心策划,也没有任何方法可以轻松提取相关内容。为了对这样的图像数据采用当代的监督图像分析方法,必须首先对它们进行清理和组织,然后针对在特定领域中采用的术语进行手动标记,这是耗时且昂贵的努力。为了解决这个问题,我们设计并实现了Plud系统。Plud提供了一个迭代的半监督工作流程,以最大限度地减少专家的工作量,并处理逼真的大型图像集合。我们相信它可以支持标记数据集,无论其大小和类型如何。Plud是无监督聚类、人工辅助和监督分类的迭代序列。随着每次迭代,1)标记数据集增长,2)分类方法的通用性及其准确性增加,以及3)手动工作减少。我们评估了我们的系统的有效性,通过将其应用于超过一百万张记录人体分解的图像。在我们的实验中,我们将手动标记与在Plud支持下进行的标记进行了比较,我们发现它减少了标记数据所需的时间,并为这个新领域生成了高度准确的模型。
2020-03-09 cs.LG stat.ML
Semi-supervised Wrapper Feature Selection by Modeling Imperfect Labels
CNRS(法国国家科学研究中心);LIG/IMAG(格勒诺布尔信息学实验室/格勒诺布尔计算机应用数学研究所)
在本文中,我们提出了一种新的包装特征选择方法与部分标记的训练样本,其中未标记的意见是伪标记使用的预测标记的训练集上训练的初始分类器。该包装器由一个用于提出新特征子集的遗传算法和一个用于对不同特征子集进行评分的评价指标组成。特征子集的选择是通过为特征分配权重并递归地消除那些不相关的特征来完成的。选择标准是基于一个新的多类$\mathcal{C}$的约束,明确考虑到伪标签机制引起的错误标记的错误,使用概率误差模型。不同数据集上的实验结果表明,我们的框架相比,一些国家的最先进的半监督特征选择方法的有效性。
2020-03-10 cs.LG stat.ML
Weakly supervised clustering: Learning fine-grained signals from coarse labels
Stanford University(斯坦福大学);Google, Inc.(谷歌公司)
考虑一个分类问题,我们无法访问单个训练样本的标签,而只能获得子群体的平均标签。我们给出了这种设置的实际例子,并展示了如何将这样的分类任务有效地分析为弱监督聚类问题。我们提出了三种方法来解决弱监督聚类问题,包括在我们的实验中表现良好的潜变量模型。我们说明了我们的方法上的分析汇总的选举数据和行业数据集,这是本研究的原始动机。
2015-09-15 cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)(Relayr有限公司)
我们提出了一种新的风格的变分自编码器(VAE),无监督,半监督和全监督学习域之间无缝插值。我们表明,未标记的数据点不仅可以提高无监督任务,而且可以提高分类性能。反之亦然,每个标签不仅可以改进分类,还可以改进无监督任务。所提出的架构很简单:分类层连接到最顶层的编码器层,然后与解码器的重采样潜在层相结合。通常的证据下限(ELBO)损失补充了该分类层上的监督损失目标,仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下,我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Semi-supervised Classification: Cluster and Label Approach using Particle Swarm Optimization
分类使用在训练阶段学习的知识来预测对象的类别。这个过程需要从标记的样本中学习。然而,标记的样品通常是有限的。注释过程令人厌烦、乏味、昂贵,并且需要人类专家。同时,未标记的数据是可用的,几乎是免费的。半监督学习方法利用标记和未标记的数据。本文介绍了基于粒子群算法的半监督分类算法。粒子群优化算法是传统聚类算法无法比拟的。提出了一种新的局部最优粒子群算法对未标记数据进行聚类。可用的标记数据指导学习过程。实验使用四个国家的最先进的数据集从不同的领域进行。实验结果与流行的半监督分类器LabelPropagation和两种最先进的监督分类模型k-近邻和决策树进行了比较。实验结果表明了该模型的有效性。
2017-06-03 cs.LG
Revisiting Vicinal Risk Minimization for Partially Supervised Multi-Label Classification Under Data Scarcity
University of Oxford(牛津大学)
由于注释的人力成本很高,因此管理针对所有感兴趣类别完全标记的大规模医疗数据集是非常重要的。相反,从不同的匹配源收集多个小的部分标记的数据集将是方便的,其中医学图像可能仅针对感兴趣类别的子集被注释。本文提供了一个经验性的理解一个未充分探索的问题,即部分监督多标签分类(PSMLC),其中多标签分类器的训练,只有部分标记的医学图像。相对于完全监督,部分监督导致的医疗数据稀缺性对模型性能有不小的负面影响。一个潜在的补救措施可能是增加部分标签。虽然邻近风险最小化(VRM)是一个很有前途的解决方案,以提高模型的泛化能力,其应用到PSMLC仍然是一个悬而未决的问题。为了弥合方法上的差距,我们为PSMLC提供了第一个基于VRM的解决方案。实验结果也为数据稀缺下部分监督学习的未来研究方向提供了启示。
2022-04-19 cs.CV cs.LG stat.ML
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research(IBM研究院)
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比,我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中,我们探讨了使用多实例学习(MIL)设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子,我们建议重新使用最初为袋子级别分类训练的MIL模型,以产生单个实例的可靠预测,即,尺寸为$1$的袋子。为此,我们引入了一种新的正则化策略,基于虚拟对抗训练,以改善MIL训练,并随后开发了一种知识蒸馏技术,用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究,我们证明了所提出的方法可以产生高质量的实例级预测,并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Weakly Supervised Label Learning Flows
Motional(莫申公司);Northeast Normal University(东北师范大学);Google(谷歌公司);Snorkel AI(Snorkel AI公司)
本文提出基于归一化流的弱监督学习通用框架标签学习流(LLF),通过逆向训练条件流并在弱信号约束空间内优化所有可能标签的条件似然,避免显式估计标签,在三个弱监督任务上优于多个基线。
2024-11-25 cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息,从而降低泛化性能。自监督学习在没有标签的情况下工作,从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发,我们提出了一种简单而有效的方法,称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上,以正则化网络,从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较,并提供了大量的结果,表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong(香港大学)
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时,弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中,我们提出了一种新的弱监督课程学习管道多标签对象识别,检测和语义分割。在这个管道中,我们首先获得训练图像的中间对象定位和像素标记结果,然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成,包括训练图像中的对象定位,过滤和融合对象实例,训练图像的像素标记,以及特定任务的网络训练。为了在训练图像中获得干净的对象实例,我们提出了一种新的算法,用于过滤,融合和分类从多个解决方案机制收集的对象实例。在该算法中,我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明,我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果,在弱监督语义分割的MS-COCO,PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Self-supervised Label Augmentation via Input Transformations
KAIST(韩国科学技术院);AITRICS
自监督学习通过仅给定输入信号来构造人工标签来学习,近来对于学习具有未标记数据集的表示获得了相当大的关注,即,在没有任何人类注释监督的情况下学习。在本文中,我们证明了即使在完全标记的数据集下,这种技术也可以显着提高模型的准确性。我们的方案训练模型学习原始任务和自监督任务,但与传统的多任务学习框架不同,传统的多任务学习框架优化了相应损失的总和。我们的主要思想是学习一个关于原始标签和自监督标签的联合分布的统一任务,即,我们通过输入变换的自我监督来增强原始标签。这种简单而有效的方法允许通过在同时学习原始任务和自监督任务期间放松某个不变约束来更容易地训练模型。它还支持聚合推理,该聚合推理结合来自不同增强的预测以提高预测准确性。此外,我们提出了一种新的知识转移技术,我们称之为自蒸馏,具有聚合推理在一个单一的(更快)的推理效果。我们证明了我们的框架在各种全监督设置上的大精度改进和广泛适用性,例如,Few-Shot和不平衡分类场景。
2020-06-29 cs.CV cs.LG stat.ML
A Survey on Semi-Supervised Learning for Delayed Partially Labelled Data Streams
University of Waikato(怀卡托大学);Warsaw University of Technology(华沙工业大学);University of São Paulo(圣保罗大学);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Télécom Paris(巴黎电信学院)
未标记的数据出现在许多领域中,并且与流应用程序特别相关,即使数据丰富,标记的数据也很少。为了解决与这些数据相关的学习问题,可以忽略未标记的数据,只关注标记的数据(监督学习);使用标记的数据并尝试利用未标记的数据(半监督学习);或者假设一些标签将根据请求提供(主动学习)。第一种方法是最简单的,但可用的标记数据量将限制预测性能。第二个依赖于发现和利用数据分布的基本特征。第三个依赖于外部代理商及时提供所需的标签。这项调查特别关注在半监督环境中利用未标记数据的方法。我们还讨论了延迟标记问题,它影响了完全监督和半监督方法。我们提出了一个统一的问题设置,讨论了学习的保证和现有的方法,解释相关的问题设置之间的差异。最后,我们回顾了当前的基准测试实践,并提出了改进建议。
2021-06-16 cs.LG
More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation
University College London(伦敦大学学院);InstaDeep(InstaDeep公司)
改进半监督图像分割任务可以选择添加更多未标记的图像,标记未标记的图像或组合两者,因为在大多数临床应用中,图像采集和专家标记都不是微不足道的。腹腔镜肝脏图像分割应用程序,我们调查的性能影响,通过改变标记和未标记的训练数据的数量,使用半监督分割算法的基础上的平均教师学习范式。我们首先报告了一个显着更高的分割精度,与监督学习相比。有趣的是,这种比较表明,除了添加的未标记数据之外,半监督算法中采用的训练策略也是这种观察到的改进的原因。然后,我们比较了不同的组合的标记和未标记的数据集大小训练半监督分割网络,提供了一个定量的例子,这两个数据规划策略之间的实际有用的权衡在这个手术指导应用。
2019-08-20 cs.CV cs.LG eess.IV
Why the pseudo label based semi-supervised learning algorithm is effective?
Peking University(北京大学);Moqi Technology(墨奇科技)
近年来,基于伪标签的半监督学习在许多领域取得了巨大的成功。基于伪标签的半监督学习算法的核心思想是使用在标记数据上训练的模型来生成未标记数据上的伪标签,然后训练模型来拟合先前生成的伪标签。本文从理论上分析了基于伪标签的半监督学习的有效性。我们主要比较了在两种设置下训练的模型的泛化误差:(1)有N个标记数据。(2)有N个未标记的数据和一个合适的初始模型。分析表明,当未标记数据量趋于无穷大时,基于伪标记的半监督学习算法可以得到与标记数据量趋于无穷大时正常训练得到的模型具有相同泛化误差上界的模型。更重要的是,我们证明了当未标记数据量足够大时,基于伪标记的半监督学习算法得到的模型泛化误差上界能够以线性收敛速度收敛到最优上界。我们还给出了采样复杂度的下界,以达到线性收敛速度。我们的分析有助于理解基于伪标签的半监督学习的经验成功。
2023-01-25 cs.AI cs.LG
Reducing Label Dependency in Human Activity Recognition with Wearables: From Supervised Learning to Novel Weakly Self-Supervised Approaches
The University of Texas at Arlington(德克萨斯理工大学)
本文提出了一种新型弱自监督学习框架,通过减少标注依赖性提升可穿戴设备人体活动识别的性能和效率。
2025-12-15 cs.HC cs.LG
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具,在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性,然而,对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例,模型可以欣赏,以产生合格的准确性相比,训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist,通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性,原始数据集被分成较小的批次,并且在每个批次上重复学习,有和没有借口预训练。结果表明,与普通监督学习相比,自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
SPADE: Semi-supervised Anomaly Detection under Distribution Mismatch
Google Cloud AI(谷歌云人工智能)
半监督异常检测是一个常见的问题,因为包含异常的数据集通常是部分标记的。我们提出了一个规范的框架:半监督的伪标签异常检测与集成(SPADE),它不受标记和未标记数据来自相同分布的假设的限制。事实上,在许多应用中,这一假设经常被违反-例如,标记数据可能只包含与未标记数据不同的异常,或者未标记数据可能包含不同类型的异常,或者标记数据可能只包含“易于标记”的样本。SPADE利用一类分类器的集成作为伪标记器,以提高伪标记对分布失配的鲁棒性。提出了部分匹配方法,在没有验证数据的情况下自动选择伪标记的关键超参数,这对于有限的标记数据至关重要。SPADE在表格和图像域中具有分布不匹配的各种场景中显示了最先进的半监督异常检测性能。在一些常见的现实环境中,例如面对新类型的未标记异常的模型,SPADE的平均性能优于最先进的替代品5%的AUC。
2022-11-30 cs.LG
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier
University of São Paulo(圣保罗大学)
半监督学习受到了研究人员的关注,因为它允许人们利用未标记数据的结构来实现具有竞争力的分类结果,并且标签比监督方法少得多。局部和全局一致性(LGC)算法是最著名的基于图的半监督(GSSL)分类器之一。值得注意的是,它的解可以写成已知标签的线性组合。该线性组合的系数取决于参数$α$,该参数确定在随机游走中到达标记顶点时奖励随时间的衰减。在这项工作中,我们讨论了如何去除标记实例的自影响可能是有益的,以及它如何与留一错误相关。此外,我们建议使用自动微分来最小化这种留一损失。在这个框架内,我们提出了方法来估计标签的可靠性和扩散率。优化扩散速率是更有效地完成与光谱表示。结果表明,标签的可靠性方法与强大的L1-范数方法的竞争,删除对角条目降低过拟合的风险,并导致合适的标准参数选择。
2022-01-10 cs.LG
Accuracy Improvement of Semi-Supervised Segmentation Using Supervised ClassMix and Sup-Unsup Feature Discriminator
Meijo University(名城大学)
本文提出通过监督类混合和监督-无监督特征判别器提升半监督分割性能,实验显示在Chase和COVID-19数据集上mIoU平均提升2.07%。
2026-04-08 cs.CV cs.LG
Semi-Supervised Multi-Label Feature Selection with Consistent Sparse Graph Learning
Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));University of Science and Technology of China(中国科学技术大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Communication University of China(中国传媒大学);Hangzhou Normal University(杭州师范大学)
针对半监督多标签特征选择中标签相关性评估不足和图结构次优的问题,提出SGMFS方法,通过一致稀疏图学习保持空间一致性并自适应学习相似度图,提升特征选择性能。
2025-05-23 cs.LG
Contrastive Credibility Propagation for Reliable Semi-Supervised Learning
Palo Alto Networks, AI Research(Palo Alto Networks 人工智能研究部)
本文提出对比可信度传播(CCP)算法,通过迭代直推式伪标签精炼统一半监督学习与噪声标签学习,在少标签、开放集、噪声标签及类别分布不平衡/错位等五种场景下均可靠超越监督基线。
2024-04-02 cs.LG
RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations
Southeast University(东南大学)
本文提出 RankMatch,通过弱增强集成平均生成伪标签分布并引入 PRR 损失建模标签相关性,在半监督标签分布学习中取得理论保证与优于现有方法的性能。
2023-12-11 cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University(大阪大学)
本研究通过整合分布匹配技术,提升半监督对比学习中伪标签的利用效率,以提高图像分类性能。
2026-01-08 cs.AI cs.LG
Semi-Supervised Regression with Heteroscedastic Pseudo-Labels
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);Harvard University(哈佛大学);Xidian University(西安电子科技大学);Pazhou Laboratory (Huangpu)(黄埔实验室)
针对半监督回归中伪标签不可靠的问题,提出不确定性感知的伪标签框架,通过双层优化动态调整伪标签影响,在基准数据集上验证了鲁棒性和性能优势。
2025-10-17 cs.LG
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas(坎皮纳斯大学)
虽然卷积神经网络需要大的标记集来训练图像,但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合,以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而,这样的解决方案需要许多监督图像进行验证。我们提出了一个循环,其中深度神经网络(VGG-16)是从一组具有更正确标记的样本中训练出来的,这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的,在这个嵌入空间中,使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进,它改进了神经网络的特征。我们表明,这可以显着提高分类结果的测试数据(仅使用1\%至5\%的监督样本)的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Label-Efficient Dataset Pruning via Semi-Supervised Pseudo-Labeling
Graduate School of AI, KAIST(人工智能研究生院,韩国科学技术院)
提出 SemiPrune 框架,利用少量随机标注子集通过半监督学习生成伪标签,使监督剪枝方法可应用于未标注数据,基于伪标签训练动态估计样本难度并选择核心集,在领域特定、图像损坏和长尾数据集上达到最优性能。
2026-05-22 cs.LG
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
尽管图神经网络(GNN)在各种应用上取得了成功,但当监督信号的量(即,标记节点的数量是有限的,这是预期的,因为GNN仅基于从标记节点获得的监督来训练。另一方面,最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN,并且已经证明它甚至优于用很少标记节点训练的GNN。然而,自监督方法的一个主要缺点是,由于在训练期间没有利用标记信息,因此它们无法学习类判别节点表示。为此,我们提出了一种新的图的半监督方法GraFN,它利用很少的标记节点来确保属于同一类的节点被分组在一起,从而实现半监督和自监督方法的最佳效果。具体来说,GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后,它最小化两个预测类分布之间的差异,这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明,GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
Semi-supervised learning by selective training with pseudo labels via confidence estimation
Sony Corporation(索尼公司)
我们提出了一种新的半监督学习(SSL)方法,采用选择性训练与伪标签。在我们的方法中,我们生成硬伪标签,并估计它们的置信度,这表示每个伪标签正确的可能性。然后,我们显式地选择应该使用哪些伪标记数据来更新模型。具体地,假设错误伪标记数据的损失相对于数据增强敏感地增加,我们选择与应用数据增强之后的相对小的损失相对应的数据。置信度不仅用于筛选待选择的伪标记数据的候选者,而且用于自动地决定在小批量内应该选择多少伪标记数据。由于准确估计的信心是至关重要的,在我们的方法中,我们还提出了一个新的数据增强方法,称为MixConf,使我们能够获得信心校准模型,即使当训练数据的数量很小。几个基准数据集的实验结果验证了我们的SSL方法以及MixConf的优势。
2021-03-15 cs.LG
CSAL: Self-adaptive Labeling based Clustering Integrating Supervised Learning on Unlabeled Data
University of Technology Sydney(悉尼科技大学)
由于监督训练过程,监督分类方法可以预测未知数据的标签。分类的成功在很大程度上依赖于标记的训练数据。聚类是揭示未标记数据聚集性的有效方法,但大多数聚类方法的性能受到标记数据缺失的限制。然而,在实际应用中,获取标记数据是耗时的,有时甚至是不可能的。聚类和分类相结合是一种很有前途的方法,可以大大提高性能。在本文中,我们提出了一个创新的和有效的聚类框架的基础上,自适应标签(CSAL)集成的聚类和分类的未标记的数据。首先采用聚类方法对数据进行划分,并从聚类后的数据中选取一定比例的数据进行分类器训练。为了改进训练的分类器,期望最大化算法的迭代过程被设计到所提出的聚类框架CSAL。在公开数据集上进行实验,测试聚类算法和分类模型的不同组合以及各种训练数据标记方法。实验结果表明,我们的方法以及自适应方法优于其他方法。
2015-02-18 cs.LG
Weakly Supervised Classification Using Group-Level Labels
University of Minnesota(明尼苏达大学);University of Pittsburgh(匹兹堡大学)
在许多应用中,找到足够的标记数据来训练预测模型是一个重大挑战。在这项工作中,我们提出了使用组级二进制标签作为弱监督训练实例级二进制分类模型的方法。聚合标签在几个领域中很常见,在这些领域中,在组级别上进行注释可能更便宜,或者可能是提供注释数据而不侵犯隐私的唯一方法。我们将组级标签建模为单个实例的类条件噪声(CCN)标签,并使用噪声标签来正则化在强标记实例上训练的模型的预测。我们的实验在现实世界中的土地覆盖映射的应用表明,所提出的方法在利用组级标签的效用,无论是在存在和不存在类的不平衡。
2021-08-16 cs.LG
XMix: Combating Extremely Noisy Labels via Local Smoothness in Self-Supervised Feature Space
McMaster University(麦克马斯特大学);École de Technologie Supérieure(高等技术学院)
针对监督学习中噪声标签问题,提出XMix框架,利用自监督特征空间的局部平滑性,估计噪声率,识别干净样本并平衡类别选择,生成可靠伪标签,在极端噪声环境下性能优于现有方法。
2026-07-28 cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
基于监督式深度学习的方法可为医学图像分割提供准确的结果。然而,它们需要大型标记数据集,并且获得它们是一项艰巨的任务,需要临床专业知识。基于半/自监督学习的方法通过利用未标记的数据以及有限的注释数据来解决这个限制。最近的自监督学习方法使用对比损失从未标记图像中学习良好的全局水平表示,并在流行的自然图像数据集(如ImageNet)上实现高性能的分类任务。在像素级预测任务(如分割)中,学习良好的局部表示和全局表示以实现更好的准确性至关重要。然而,现有的本地对比损失为基础的方法的影响仍然有限的学习良好的本地表示,因为相似和不相似的本地区域的定义基于随机扩增和空间接近,而不是基于本地区域的语义标签,由于缺乏大规模的专家注释在半/自我监督设置。在本文中,我们提出了一个本地对比损失学习良好的像素级功能,通过利用语义标签信息,从伪标签的未标记的图像旁边有限的注释图像分割有用。特别地,我们定义了建议的损失,以鼓励具有相同伪标签/标签的像素的类似表示,同时与数据集中具有不同伪标签/标签的像素的表示不同。我们执行基于伪标签的自训练和训练网络,通过联合优化建议的对比损失的标记和未标记的集和分割损失的有限的标记集。我们在三个公共心脏和前列腺数据集上进行了评估,并获得了较高的分割性能。
2021-12-17 cs.AI cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction
Carnegie Mellon University(卡内基梅隆大学)
标记序列转换是将一个序列转换成另一个序列的任务,该序列满足由一组标记指定的要求。在本文中,我们提出了多空间变分编码器-解码器,一个新的模型,标记序列转导半监督学习。生成模型可以使用神经网络来处理离散和连续潜在变量以利用数据的各种特征。实验表明,我们的模型不仅提供了一个强大的监督框架,而且可以有效地利用未标记的数据。在SIGMORPHON形态变化基准测试中,我们的模型在大多数语言中的表现都大大优于单一模型的最新结果。
2017-08-17 cs.CL cs.LG
Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出自监督特征适应框架SSFA,通过解耦伪标签预测并引入自监督任务使特征提取器适应无标签数据分布,解决了有标签与无标签数据分布不一致导致的伪标签噪声累积问题,显著提升了半监督学习性能。
2024-05-31 cs.CV cs.LG