Weak Supervision for Real World Graphs
McGill University（麦吉尔大学）
本文提出弱监督图对比学习框架 WSNET，利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习，在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
Self-supervised Spatiotemporal Representation Learning by Exploiting Video Continuity
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Manitoba（曼尼托巴大学）
最近的自我监督视频表示学习方法已经发现了显着的成功，通过探索视频的基本属性，例如速度，时间顺序等。这项工作利用了一个重要的，但未充分探索的视频，视频连续性，以获得监督信号的自我监督表示学习。具体来说，我们制定了三个新的连续性相关的借口任务，即连续性的理由，不连续性本地化，缺失部分近似，共同监督视频表示学习的共享骨干。这种自我监督的方法，被称为连续性感知网络（CPNet），解决了这三个任务，并鼓励骨干网络学习本地和远程运动和上下文表示。它在多个下游任务上优于现有技术，例如动作识别，视频检索和动作定位。此外，视频连续性可以与用于表示学习的其他粗粒度视频属性互补，并且将所提出的借口任务集成到现有技术可以产生很大的性能增益。
2022-01-12 cs.CV cs.LG
Improving a Named Entity Recognizer Trained on Noisy Data with a Few Clean Instances
University of Virginia（弗吉尼亚大学）；Adobe Research（Adobe研究院）
针对低质量标注产生的噪声标签导致 NER 性能下降的问题，提出在少量干净实例指导下训练判别器模型重新校准样本权重以去噪，在公开数据集上持续提升性能。
2023-10-25 cs.AI cs.CL cs.LG
Less or More From Teacher: Exploiting Trilateral Geometry For Knowledge Distillation
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；City University of Hong Kong（香港城市大学）；Concordia University（康考迪亚大学）；Western University（西安大略大学）
本文提出一种自适应样本级知识融合比例方法，通过构建学生预测、教师预测与真实标签间的样本内三角几何关系及跨样本全局关系，利用双层优化学习融合比例，在图像分类、攻击检测和点击率预测任务上取得一致提升。
2024-02-19 cs.LG
Lifting Weak Supervision To Structured Prediction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
弱监督（WS）是一组丰富的技术，通过聚合容易获得的，但潜在的噪声标签估计从各种来源产生伪标签。WS在理论上被很好地理解为二进制分类，其中简单的方法使得能够一致地估计伪标记噪声率。使用这个结果，已经表明，在伪标签上训练的下游模型具有与在干净标签上训练的模型几乎相同的泛化保证。虽然这是令人兴奋的，但用户通常希望使用WS进行结构化预测，其中输出空间由不止一个二进制或多类标签集组成：例如排名，图形，流形等。WS对于二元分类的有利理论性质是否提升到这种设置？我们对这个问题的回答是肯定的，在广泛的情况下。对于在有限度量空间中取值的标签，我们引入了基于伪欧几里德嵌入和张量分解的弱监督新技术，提供了一个近乎一致的噪声率估计。对于常曲率黎曼流形中的标签，我们引入了新的不变量，也产生一致的噪声率估计。在这两种情况下，当使用所产生的伪标签与灵活的下游模型相结合时，我们获得的泛化保证几乎与在干净数据上训练的模型相同。我们的几个结果，这可以被视为结构化预测与噪声标签的鲁棒性保证，可能是独立的利益。实证评估验证了我们的主张，并显示所提出的方法的优点。
2022-11-24 cs.AI cs.LG stat.ML
FedRN: Exploiting k-Reliable Neighbors Towards Robust Federated Learning
KAIST（韩国科学技术院）；NAVER Shopping（NAVER购物）；POSTECH（浦项科技大学）；NAVER Corp.（NAVER公司）
健壮性正在成为联邦学习的另一个重要挑战，因为每个客户端中的数据汇集过程自然伴随着嘈杂的标签。然而，由于客户端的数据异质性和噪音程度不同，这更加复杂和具有挑战性，加剧了客户端与客户端之间的性能差异。在这项工作中，我们提出了一个强大的联邦学习方法称为FedRN，它利用k-可靠的邻居与高数据专业知识或相似性。我们的方法通过仅使用一组选定的干净示例进行训练，帮助缩小低性能和高性能客户端之间的差距，这些示例由其集成的混合模型识别。我们通过对三个真实世界或合成基准数据集的广泛评估证明了FedRN的优越性。与现有的鲁棒训练方法相比，实验结果表明，FedRN显著提高了噪声标签存在时的测试准确率。
2022-09-19 cs.LG
CHEF: A Cheap and Fast Pipeline for Iteratively Cleaning Label Uncertainties (Technical Report)
University of Pennsylvania（宾夕法尼亚大学）
对于许多机器学习任务，例如医学图像分类任务，获得高质量的标签是昂贵的。因此，由弱监督工具产生的概率（弱）标签被用于播种一个过程，在该过程中，具有弱标签的有影响力的样本被几个人类注释者识别和清理，以提高模型性能。为了降低这个过程的总体成本和计算开销，我们提出了一种名为CHEF（CHEap和Fast label cleaning）的解决方案，它由以下三个部分组成。首先，为了降低人工注释器的成本，我们使用了Infl，它优先考虑最有影响力的训练样本进行清理，并提供清理后的标签，以节省人工注释器的成本。其次，为了加速样本选择器阶段和模型构造器阶段，我们使用Increm-Infl来增量地生成有影响力的样本，使用DeltaGrad-L来增量地更新模型。第三，我们重新设计了典型的标签清洗管道，以便人类注释者迭代地清洗较小批次的样本，而不是一个大批次的样本。这会产生更好的所有模型性能，并使可能的提前终止时，预期的模型性能已经实现。大量的实验表明，我们的方法提供了良好的模型预测性能，同时实现显着的速度提升。
2021-07-24 cs.DB cs.LG
Spatial Attention Supervision for Defect Localization: Exploiting Ground-Truth Masks as Training Signal in Diffusion-Augmented Defect Detection
Actual Reality Technologies
本文提出利用地面真值缺陷掩码作为空间监督信号，通过注意力对齐损失引导CNN特征图聚焦缺陷区域，结合DDPM增强，在MVTec-AD上显著提升定位性能，且不影响分类精度。
2026-09-09 cs.CV cs.LG eess.IV
Learning from Rules Generalizing Labeled Exemplars
在许多应用中，标记的数据并不容易获得，并且需要通过痛苦的人类监督来收集。我们提出了一个规则范例的方法来收集人类的监督，结合规则的效率与实例标签的质量。监督是耦合的，使得它对人类来说是自然的，对学习来说是协同的。我们提出了一种训练算法，通过潜在的覆盖变量联合去噪规则，并通过覆盖和标签变量的软隐含损失来训练模型。去噪后的规则和训练后的模型联合用于推理。对五个不同任务的实证评估表明：（1）我们的算法比现有的几种从干净和有噪声的监督中学习的方法更准确，（2）耦合规则-样本监督在去噪规则方面是有效的。
2020-05-15 cs.CL cs.LG stat.ML
Deep Self-Learning From Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
ConvNets在从干净的数据中训练时取得了良好的效果，但从嘈杂的标签中学习会显着降低性能，并且仍然具有挑战性。与以前的作品受到许多条件的限制，使其不适用于真实的噪声情况不同，这项工作提出了一种新的深度自学习框架，可以在没有额外监督的情况下在真实的噪声数据集上训练一个健壮的网络。所提出的方法有几个吸引人的好处。(1)与大多数现有的工作不同，它不依赖于任何假设的噪声标签的分布，使其具有鲁棒性的真实噪声。(2)它不需要额外的清洁监督或辅助网络来帮助培训。(3)提出了一种自学习框架，以迭代的端到端的方式对网络进行训练，这是有效和高效的。在具有挑战性的基准，如Clothing 1 M和Food 101-N的广泛实验表明，我们的方法优于其同行在所有的经验设置。
2019-08-20 cs.CV cs.LG
Robust Training of Graph Neural Networks via Noise Governance
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Baidu Research（百度研究院）；University of Notre Dame（圣母大学）
图神经网络（GNNs）已经成为半监督学习的广泛使用的模型。然而，在存在标签噪声的情况下，GNN的鲁棒性仍然是一个很大程度上未被探索的问题。在本文中，我们考虑了一个重要的，但具有挑战性的情况下，标签的图的节点不仅是嘈杂的，而且稀缺。在这种情况下，由于标签噪声传播和学习不足，GNN的性能容易下降。为了解决这些问题，我们提出了一种新的RTGNN（通过噪声治理的图神经网络的鲁棒训练）框架，通过学习显式地治理标签噪声来实现更好的鲁棒性。更具体地说，我们引入自增强和一致性正则化作为补充监督。自我强化监督的灵感来自于深度神经网络的记忆效应，旨在纠正嘈杂的标签。此外，一致性正则化防止GNN通过视图间和视图内视角中的模仿损失而过拟合到噪声标签。为了利用这种监督，我们将标签分为干净和嘈杂的类型，纠正不准确的标签，并进一步在未标记的节点上生成伪标签。然后自适应地选择具有不同类型标签的节点的监督。这使得能够从干净的标签中进行充分的学习，同时限制嘈杂标签的影响。我们进行了大量的实验来评估我们的RTGNN框架的有效性，结果验证了它在两种类型的标签噪声和各种噪声率下的性能优于最先进的方法。
2023-02-26 cs.AI cs.LG
Estimating Instance-dependent Bayes-label Transition Matrix using a Deep Neural Network
University of Technology Sydney（悉尼科技大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Sydney（悉尼大学）
在标签噪声学习中，估计转移矩阵是一个热门话题，因为矩阵在构建统计一致的分类器中起着重要作用。传统上，从干净标签到有噪声标签的转变（即，干净标签转移矩阵（CLTM））已经被广泛地用于通过采用噪声数据来学习干净标签分类器。受分类器大多输出贝叶斯最优标签进行预测的启发，在本文中，我们研究直接建模从贝叶斯最优标签到噪声标签的过渡（即，贝叶斯标签转换矩阵（BLTM）），并学习分类器来预测贝叶斯最优标签。注意，仅给定噪声数据，估计CLTM或BLTM是不适定的。但有利的是，贝叶斯最优标签与干净标签相比具有更小的不确定性，即，贝叶斯最优标签的类后验是独热向量，而干净标签的类后验不是独热向量。这使得能够实现估计BLTM的两个优点，即，(a)可以从噪声数据中收集具有理论上保证的贝叶斯最优标签的一组示例;（b）可行解空间小得多。通过利用这些优势，我们通过采用深度神经网络参数化地估计BLTM，从而获得更好的泛化能力和卓越的分类性能。
2022-07-14 cs.LG
WALNUT: A Benchmark on Semi-weakly Supervised Learning for Natural Language Understanding
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）
为自然语言理解（NLU）任务构建机器学习模型在很大程度上依赖于标记数据。当大量标记数据不可用或获取成本高昂时，弱监督已被证明是有价值的。现有的研究NLU弱监督的工作大多集中在特定的任务或模拟弱监督信号从地面实况标签。因此，如果没有一个统一而系统的基准，不同的任务和现实世界的弱标签规则，就很难比较不同的方法并评估弱监管的好处。在本文中，我们提出了这样一个基准，命名为WALNUT（半Weakly监督学习自然语言理解测试床），倡导和促进弱监督NLU的研究。WALNUT由不同类型的NLU任务组成，包括文档级和令牌级预测任务。WALNUT是NLU的第一个半弱监督学习基准，其中每个任务包含由多个真实世界弱源生成的弱标签，以及一小组干净标签。我们对WALNUT进行基线评估，以系统地评估各种弱监督方法和模型架构的有效性。我们的研究结果证明了弱监督对低资源NLU任务的好处，并突出了跨任务的有趣模式。我们预计WALNUT将刺激对方法的进一步研究，以更有效地利用薄弱的监管。基准测试和基准代码可在\url{aka.ms/walnut_benchmark}上获得。
2022-05-23 cs.CL cs.LG
BioCAP: Exploiting Synthetic Captions Beyond Labels in Biological Foundation Models
The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）；Boston University（波士顿大学）
BioCAP通过生成合成描述性注释提升生物基础模型的性能，实现物种分类和文本-图像检索的高准确率。
2026-03-01 cs.CL cs.CV cs.LG
Revisiting Meta-Learning with Noisy Labels: Reweighting Dynamics and Theoretical Guarantees
University of California, San Diego（加州大学圣地亚哥分校）
本文对元学习重加权在标签噪声下的训练动力学进行三阶段理论分析，并提出轻量级替代方法，在合成和真实基准上优于强基线。
2025-10-14 cs.AI cs.LG
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题，提出TRACE双源可靠性评估框架，分别评估观测标签与伪目标，提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising
Department of Mathematics Syracuse University（数学系苏利文大学）；Department of Mathematics & Statistics Old Dominion University（数学与统计学系老 Dominion 大学）
该研究提出HyperDn，一种单配置条件预测器，通过聚合源配置的Oracle监督，预测新的去噪器-噪声配置的异质超参数，展示了在跨范式实验中，从相对便宜的TV/TGV变分源转移到更昂贵的扩散模型DiffPIR时，通过少量或无目标Oracle标签实现接近Oracle性能的成果。
2026-05-19 cs.CV cs.LG
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Learning What to Trust in Multimodal Learning under Noisy Supervision
University of Science and Technology of China（中国科学技术大学）
针对实际场景中多模态学习的噪声标签问题，提出多模态标签噪声检测框架REFINE，通过分析表示结构与噪声检测能力的关系，联合融合与单模态表示检测噪声，提升模型泛化性能。
2026-10-09 cs.CV cs.LG
PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation
Ebenworks Systems（埃本工程系统公司）
研究基础模型半监督语义分割中伪标签信任问题，提出PixCon框架，通过维护按类别的内存库保证正集无污染，分析监督InfoNCE梯度，在多数据集上匹配或改进基于DINOv2的基线。
2026-11-05 cs.AI cs.CV cs.LG
Utilization of Neighbor Information for Image Classification with Different Levels of Supervision
University of Maryland（马里兰大学）
提出UNIC框架，通过正负邻居采样清洗及邻居聚类损失微调骨干，并利用标签样本作为真值邻居，统一图像聚类与GCD，在多个基准上取得SOTA提升。
2025-03-18 cs.CV cs.LG
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI（谷歌云人工智能）；Google Brain（谷歌大脑）
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取，现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签，以便将它们重新用于监督训练。我们提出了一个整体框架，以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平，并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如，在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上，我们的方法实现了$80.2{\pm}0.3\%$分类精度，其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外，增加噪声比的$80\%$，我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$，相比以前的最佳精度$48.2\%$。源代码：https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review
King’s College London（伦敦国王学院）；University of Luxembourg（卢森堡大学）；Tongji University（同济大学）；Shanghai Institute of Intelligent Science and Technology, Tongji University（同济大学上海智能科学与技术研究院）
本综述探讨了多任务学习在部分监督设置下如何应对复杂优化和高标注要求的挑战，系统分析了参数共享、任务分组及部分监督方法，并提供了相关数据集与基准测试结果。
2024-08-28 cs.AI cs.CV cs.LG
Self-Supervised Contextual Bandits in Computer Vision
Microsoft Ads（微软广告）；Microsoft AI & Research（微软人工智能与研究院）
上下文强盗是机器学习从业者在从假设检验到产品推荐等不同领域面临的一个常见问题。已经有很多方法在利用丰富的数据表示的上下文强盗问题不同程度的成功。自监督学习是一种很有前途的方法，可以找到丰富的数据表示，而无需显式标签。在典型的自监督学习方案中，主要任务由问题目标定义（例如聚类、分类、嵌入生成等）。并且次要任务由自监督目标（例如，旋转预测、邻域中的单词、着色等）定义。在通常的自我监督中，我们从次要任务的训练数据中学习隐式标签。然而，在上下文强盗设置中，由于在学习的初始阶段缺乏数据，我们没有获得隐式标签的优势。我们提供了一种新的方法来解决这个问题，结合上下文的强盗目标与自我监督的目标。通过增强上下文强盗学习与自我监督，我们得到了更好的累积奖励。我们在八个流行的计算机视觉数据集上的结果显示，累积奖励有了很大的提高。我们提供的情况下，所提出的计划不执行最佳，并在这些情况下更好地学习提供替代方法。
2020-03-18 cs.CV cs.LG stat.ML
