Weak Supervision for Label Efficient Visual Bug Detection
Xbox Studios QuAIL
本文提出利用未标注游戏数据和领域增强构建自监督目标的弱监督方法，在极低标注数据条件下显著提升第一人称穿模/碰撞缺陷检测性能，并展示了向更广泛游戏图像与视频任务扩展的潜力。
2023-09-20 cs.AI cs.CV cs.LG
TreeMIL: A Multi-instance Learning Framework for Time Series Anomaly Detection with Inexact Supervision
Zhejiang University（浙江大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对非精确监督下时间序列集体异常难以检测的问题，本文提出 TreeMIL，用 N 叉树建模多尺度子序列并聚合特征生成点级异常分数，在七个数据集上显著优于八个基线。
2024-01-20 cs.AI cs.LG
Weak Supervision for Improved Precision in Search Systems
LinkedIn Corporation（领英公司）
本文提出一种弱监督方法，通过推断查询-文档对质量并集成到Learning to Rank框架中，以低成本提升大规模搜索系统的精度。
2025-03-10 cs.AI cs.IR cs.LG
Robust Audio Tagging under Class-wise Supervision Unreliability
Machine Learning Research Group, Engineering Science, University of Oxford（牛津大学机器学习研究组）；GISP, Harbin Engineering University（哈尔滨工程大学GISP）；EECS, KTH Royal Institute of Technology（皇家理工学院电子工程与计算机科学系）；CVSSP, University of Surrey（萨里大学计算机视觉与模式识别实验室）
本文针对音频标签任务中类依赖性的监督不可靠性问题，提出了一种新的框架CSU，通过在训练过程中控制类级别的监督强度，提高了模型在不同架构和不同监督不可靠性源下的鲁棒性。
2026-05-17 cs.SD eess.AS
OpenEnded: An Open-Response Speech Corpus for Speaking Proficiency Assessment with Human Annotations and ALM Supervision
Columbia University（哥伦比亚大学）
针对自动口语评估数据稀缺问题，构建开放式英语口语语料库OpenEnded，提供语句级多维评分，并验证ALM伪标注及VoxPA基线模型的有效性。
2026-09-15 cs.SD eess.AS
Learning from Hard Labels with Additional Supervision on Non-Hard-Labeled Classes
Waseda University（早稻田大学）
本文研究硬标签之外何种额外监督有益，提出将硬标签与额外监督作概率分布并仿射组合成软标签的理论框架，证明非硬标签类别分布信息是关键，并通过泛化误差分析与实验验证其可提升分类准确率。
2025-07-24 cs.LG
Data efficient deep learning for medical image analysis: A survey
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文综述了医学图像分析中的数据高效深度学习方法，按监督程度分类，并总结了常用数据集与未来方向。
2023-10-10 cs.CV cs.LG eess.IV
HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
由于标记节点的成本，在保持预测精度的同时对稀疏标记图中的节点进行分类值得关注。算法的关键是如何从多个不同跳距的邻居节点中学习到足够的信息。本研究首先提出一个跳感知的注意力监督机制的节点分类任务。然后采用模拟退火学习策略来平衡两个学习任务，节点分类和跳感知注意系数，沿训练时间轴。实验结果表明，与现有模型相比，所提出的HopGAT模型具有更好的性能.特别是对于蛋白质-蛋白质相互作用网络，在40%标记图中，与完全标记图相比，性能损失仅为3.9%，从98.5%到94.6%。大量的实验也证明了监督注意系数和学习策略的有效性。
2020-04-09 cs.LG stat.ML
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类（即，元训练类）然后推广到具有有限标记节点的类（即，元测试类）。然而，在现实世界的图，它通常是很难获得丰富的标记节点的许多类。在实践中，每个元训练类只能由几个标记节点组成，称为极弱监督问题。在Few-Shot节点分类中，由于用于元训练的标记节点非常有限，元训练和元测试之间的泛化差距将变得更大，从而导致次优性能。为了解决这个问题，我们研究了一个新的问题，Few-Shot节点分类与极弱的监督，并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说，我们的目标是在极弱的监督下，在不同的元训练任务中积累元知识，并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战，我们提出了两个基本模块来获取伪标签节点作为额外的参考，并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验，以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision
Nokia Bell Labs Cambridge, UK（诺基亚贝尔实验室（剑桥，英国））；University of Washington, USA（华盛顿大学（美国））；University of Glasgow, UK（格拉斯哥大学（英国））
针对IMU数据预训练方法研究不足、域外评估缺失的问题，提出结合自监督、多模态与近邻监督的PRIMUS预训练方法，可在少标注场景下显著提升下游任务准确率，相关代码已开源。
2025-11-17 cs.LG
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
Learning from Rules Generalizing Labeled Exemplars
在许多应用中，标记的数据并不容易获得，并且需要通过痛苦的人类监督来收集。我们提出了一个规则范例的方法来收集人类的监督，结合规则的效率与实例标签的质量。监督是耦合的，使得它对人类来说是自然的，对学习来说是协同的。我们提出了一种训练算法，通过潜在的覆盖变量联合去噪规则，并通过覆盖和标签变量的软隐含损失来训练模型。去噪后的规则和训练后的模型联合用于推理。对五个不同任务的实证评估表明：（1）我们的算法比现有的几种从干净和有噪声的监督中学习的方法更准确，（2）耦合规则-样本监督在去噪规则方面是有效的。
2020-05-15 cs.CL cs.LG stat.ML
Recent advances in weakly supervised learning: New supervision paradigms, assumption relaxations, and practical solutions
该文针对弱监督学习领域的实际需求，提出置信度差异分类的解决方法、更宽松假设下的互补标签学习方案，并给出部分标签学习的公平评估框架，推动了该领域的发展。
2026-08-12 cs.LG
Training Subset Selection for Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northwestern University（西北大学）
现有的弱监测方法使用弱信号覆盖的所有数据来训练分类器。我们从理论和经验上表明，这并不总是最佳的。直觉上，弱标签数据的数量和弱标签的精度之间存在权衡。我们通过将预训练的数据表示与切割统计相结合来探索这种权衡（Muhlenbach等人，2004）来选择（希望）弱标记训练数据的高质量子集。子集选择适用于任何标签模型和分类器，并且非常简单地插入到现有的弱监督管道中，只需要几行代码。我们展示了我们的子集选择方法提高了广泛的标签模型，分类器和数据集的弱监督性能。使用较少的弱标记数据可以将弱监督管道的准确性提高19%（绝对值）。
2023-03-06 cs.AI cs.LG stat.ML
A Decision-Support Audit Protocol for Supervision Drift in Proxy-Labeled Credit-Risk Prediction
University of Central Florida（中佛罗里达大学）；Northeastern University（东北大学）
本研究提出一个锁定、多信号的审计协议，用于检测代理标签信用风险预测中的监督漂移，通过五层诊断在LendingClub数据上验证，识别出患病率与概率尺度不匹配为主要时间信号。
2026-09-16 cs.AI cs.LG
Convergence Behavior of an Adversarial Weak Supervision Method
University of California, San Diego（加州大学圣迭戈分校）
本研究分析对抗性弱监督方法在对数损失下的收敛行为，刻画解的形式、与逻辑回归的联系、一致性和收敛速率，并指出概率方法可能不一致，实验验证了理论结果。
2024-05-25 cs.LG
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision
Technische Universität Berlin（柏林工业大学）
随着云操作的规模和复杂性不断增加，自动检测日志等监控数据中的异常将成为管理未来IT基础设施的重要组成部分。然而，许多基于人工智能的方法，如监督式深度学习模型，需要大量标记的训练数据才能表现良好。在实践中，这些数据很少可用，因为标记日志数据是昂贵的，耗时的，并且需要深入了解底层系统。我们提出了LogLAB，一种新的建模方法，自动标记的日志消息，而不需要手动工作的专家。我们的方法依赖于监测系统提供的估计故障时间窗口，以在回顾中产生精确的标记数据集。它基于注意力机制，并使用自定义目标函数用于弱监督深度学习技术，该技术考虑了不平衡的数据。我们的评估表明，LogLAB在三个不同的数据集上始终优于九种基准方法，即使在大的故障时间窗口下，F1分数也保持在0.98以上。
2021-11-25 cs.LG
Neural Duplicate Question Detection without Labeled Training Data
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）
在社区问答（cQA）中对神经模型进行监督训练以进行重复问题检测需要大量的标记问题对，这是昂贵的。为了最大限度地减少这种成本，最近的工作因此经常使用替代方法，例如，对抗性领域自适应。在这项工作中，我们提出了两个新的方法：（1）自动生成重复的问题，（2）弱监督使用的标题和身体的问题。我们表明，这两种方法都可以提高性能，即使它们不需要任何标记的数据。我们对流行的训练策略进行了全面的比较，这为如何在不同的场景中最好地训练模型提供了重要的见解。我们表明，我们提出的方法在许多情况下更有效，因为它们可以利用来自cQA论坛的大量未标记数据。最后，我们还表明，我们提出的方法弱监督的问题标题和身体信息也是一个有效的方法训练cQA答案选择模型没有直接的答案监督。
2020-09-19 cs.CL cs.LG
How to Train Text Summarization Model with Weak Supervisions
School of Computer Science and Technology, North University of China（中北大学计算机科学与技术学院）；School of Semiconductor and Physics, North University of China（中北大学半导体与物理学院）
本文提出一种将复杂目标分解为简单子任务并生成弱监督信号的方法，实现无标签端到端训练主题摘要模型，在CNN和DailyMail数据集上取得优异效果。
2024-08-27 cs.CL cs.LG
Dual GNNs: Graph Neural Network Learning with Limited Supervision
Carleton University（卡尔顿大学）
图神经网络（GNN）需要相对大量的标记节点和可靠/未损坏的图连接结构，以便在半监督节点分类任务上获得良好的性能。GNN的性能会随着标记节点数量的减少或图连接结构被对抗攻击破坏或由于数据测量/收集中的噪声而显著降低。因此，重要的是要开发GNN模型，当监督知识有限时，能够实现良好的性能-一些标记的节点和嘈杂的图结构。在本文中，我们提出了一种新的双GNN学习框架来解决这一挑战性任务。该框架有两个基于GNN的节点预测模块。主模块使用输入图结构来诱导具有常规GNN基线的常规节点嵌入和预测，而辅助模块通过细粒度谱聚类构建新的图结构并学习新的节点嵌入和预测。通过将这两个模块集成到双GNN学习框架中，我们以端到端的方式进行联合学习。这一总体框架可以应用于许多GNN基线模型。实验结果表明，当标记节点较少且图连通结构有噪声时，所提出的对偶GNN框架可以大大优于GNN基线方法。
2021-06-29 cs.AI cs.LG
Domain Constraint Approximation based Semi Supervision
University of Akron（阿克伦大学）；NASA Glenn Research Center（美国国家航空航天局格伦研究中心）
用于监督学习的深度学习在各种机器学习应用中取得了惊人的性能。然而，带注释的数据既昂贵又稀有。实际上，只有一小部分数据样本被注释。基于伪集成的方法已经在计算机视觉相关任务中取得了最先进的结果。然而，它仍然依赖于由标记数据构建的初始模型的质量。较少的标记数据可能会大大降低模型性能。域约束是另一种正则化后验的方法，但也存在一定的局限性。本文提出了一种基于模糊域约束的框架，它放弃了传统约束学习的要求，提高了半监督模型的质量。仿真结果表明了该设计的有效性。
2019-06-24 cs.LG stat.ML
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题，提出GNN-CFGD，通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性，并基于置信度细粒度划分提供精细监督，实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
Predictive Inference with Weak Supervision
Stanford University（斯坦福大学）
在大规模统计机器学习中获取标签的费用使得部分和弱标记数据具有吸引力，尽管如何利用这些数据进行模型拟合或验证并不总是显而易见的。我们提出了一种方法来弥合部分监督和验证之间的差距，开发一个共形预测框架，提供有效的预测置信集-集，覆盖一个真正的标签与规定的概率，独立于底层的分布-使用弱标记的数据。为此，我们引入了一个（必要的）新概念的覆盖率和预测有效性，然后开发几个应用场景，提供有效的算法分类和几个大规模的结构化预测问题。我们证实的假设，新的覆盖定义允许更紧密，更翔实（但有效）的信心集通过几个实验。
2022-02-09 cs.LG stat.ML
Learning with Inadequate and Incorrect Supervision
Nanjing University of Science and Technology（南京理工大学）；University of Sydney（悉尼大学）
在实际应用中，我们常常面临这样的困境：现有的标记数据不足以训练出可靠的分类器，更严重的是，由于人为因素的影响，一些标记数据可能被错误地标记。因此，本文提出了一种新的半监督学习范式，可以处理标签不足和标签不准确。为了解决标签不足的问题，我们使用一个图来桥接数据点，以便标签信息可以沿着图的边缘从稀缺的标记示例传播到未标记的示例。为了解决标签不准确的问题，采用图趋势滤波（GTF）和平滑特征基追踪（SEP）来过滤掉初始噪声标签。GTF惩罚图中连通样本之间标签差异的l_0范数，并且比传统的基于l_2范数的Laplacian平滑器具有更好的局部自适应性。SEP通过强调与小特征值相关联的拉普拉斯矩阵的前导特征向量来重建正确的标签，因为这些特征向量反映了真实的标签平滑度并携带丰富的类别分离线索。我们把我们的算法称为“不充分和不正确监督下的半监督学习”（SIIS）。在图像分类、文本分类和语音识别上的实验结果表明，该方法在标签错误纠正方面是有效的，在标签噪声和标签稀缺的情况下，其性能优于现有的方法。
2019-02-20 cs.LG stat.ML
Learning from Noisy Similar and Dissimilar Data
University of Pennsylvania（宾夕法尼亚大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
随着机器学习在分类中的广泛使用，能够对难以获得标准标记数据的任务使用较弱类型的监督变得越来越重要。一种这样的监督是成对提供的-以相似（S）对（如果两个示例属于同一类）和不相似（D）对（如果两个示例属于不同类）的形式。这种监督在隐私敏感领域是现实的。虽然这个问题最近得到了关注，但目前还不清楚如何从标签噪音下的监督中学习，这在监督是众包时非常常见。在本文中，我们缩小了这一差距，并演示了如何从嘈杂的S和D标记数据中学习分类器。我们在两个现实的噪声模型下对此问题进行了详细的研究，并提出了两种从噪声S-D数据中学习的算法。我们还展示了从这种成对监督数据中学习和从普通类标记数据中学习之间的重要联系。最后，我们在合成和真实世界的数据集上进行了实验，并表明我们的噪声通知算法在从噪声成对数据中学习时优于噪声盲基线。
2020-02-03 cs.LG stat.ML
Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization
Nanjing University（南京大学）；Southeast University（东南大学）
多实例学习（MIL）处理表示为实例袋的对象，并可以从袋级监督中预测实例标签。然而，显着的性能差距之间存在的实例级MIL算法和监督学习者，因为实例标签是不可用的MIL。大多数现有的MIL算法解决这个问题，处理多实例袋有害的歧义和预测实例标签，通过减少监督不准确。本文从一个新的角度研究MIL，将袋子作为辅助信息，并利用它从袋子级弱监督中识别实例级因果表示。我们提出了CauseMIL算法，它不仅擅长于实例标签预测，但也提供了鲁棒性的分布变化，协同集成MIL与可识别的变分自编码器。我们的方法是基于一个实际的和一般的假设：先验分布的实例潜在的表示属于非因式分解的指数族条件的多实例袋。在合成数据集和真实数据集上的实验表明，我们的方法在实例标签预测和分布外泛化任务上的性能明显优于各种基线。
2022-10-05 cs.LG
SepLL: Separating Latent Class Labels from Weak Supervision Noise
University of Vienna（维也纳大学）；UniVie Doctoral School Computer Science（维也纳大学计算机科学博士学院）
在弱监督学习范例中，标记函数自动为数据样本分配启发式的，通常是嘈杂的标签。在这项工作中，我们提供了一种从弱标签中学习的方法，通过分离与标签函数相关的两种类型的互补信息：与目标标签相关的信息和仅与一个标签函数相关的信息。这两种类型的信息在不同程度上被所有标记的实例所反映。与之前旨在纠正或删除错误标记实例的工作相比，我们学习了一个分支深度模型，该模型使用所有数据，但在潜在空间中分割标记函数信息。具体来说，我们提出了端到端的模型SepLL扩展了Transformer分类器，通过引入一个潜在的空间标记功能特定和任务特定的信息。学习信号仅由标记函数匹配给出，不需要预处理或标记模型。值得注意的是，任务预测是在没有任何直接任务信号的情况下从潜在层进行的。Wrench文本分类任务的实验表明，我们的模型是具有竞争力的国家的最先进的，并产生一个新的最佳平均性能。
2022-10-25 cs.LG
Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision
HKUST（香港科技大学）
基于神经网络的产品评论方面和观点词抽取的主要瓶颈是缺乏标注的训练数据。为了缓解这个问题，我们首先提出了一个算法，自动挖掘提取规则，从现有的训练样本的基础上依存句法分析的结果。然后将挖掘出的规则应用于标记大量辅助数据。最后，我们研究了训练过程，训练一个神经模型，该模型可以从规则自动标记的数据和少量人工精确标注的数据中学习。实验结果表明，虽然挖掘出的规则本身由于其有限的灵活性而表现不佳，但人类注释数据和规则标记辅助数据的组合可以改善神经模型，并使其实现比当前最先进的性能更好或与之相当的性能。
2019-07-07 cs.CL cs.LG stat.ML
Ontology-driven weak supervision for clinical entity classification in electronic health records
Stanford University（斯坦福大学）
在电子健康记录中，使用临床记录来识别诸如疾病及其时间性（例如，事件相对于时间索引的顺序）之类的实体可以为许多重要的分析提供信息。然而，为临床实体任务创建训练数据是耗时的，并且由于隐私问题，共享标记数据是具有挑战性的。COVID-19大流行的信息需求凸显了对训练临床笔记机器学习模型的敏捷方法的需求。我们提出了Trove，一个弱监督实体分类框架，使用医学本体和专家生成的规则。与手工标记的笔记不同，我们的方法易于共享和修改，同时提供与从手动标记的训练数据中学习相当的性能。在这项工作中，我们在六个基准任务上验证了我们的框架，并展示了Trove分析因COVID-19出现症状和风险因素而前往斯坦福医疗中心急诊科的患者记录的能力。
2021-04-06 cs.CL cs.LG
GDM: Dual Mixup for Graph Classification with Limited Supervision
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
本文提出图双重混合方法GDM，通过同时混合图的结构嵌入和节点特征生成新的带标签图样本，并设计均衡图采样策略，在标签稀缺时显著提升图分类性能。
2023-09-18 cs.AI cs.LG
Weak Supervision for Real World Graphs
McGill University（麦吉尔大学）
本文提出弱监督图对比学习框架 WSNET，利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习，在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
OPERA: Omni-Supervised Representation Learning with Hierarchical Supervisions
Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
现代计算机视觉中的预训练-微调范例促进了自监督学习的成功，其倾向于实现比监督学习更好的可移植性。然而，随着大量标记数据的可用性，一个自然的问题出现了：如何训练一个更好的模型与自我和全监督信号？在本文中，我们提出了全方位监督的表示学习与层次监督（OPERA）作为解决方案。我们提供了一个统一的角度监督标记和未标记的数据，并提出了一个统一的框架，完全监督和自监督学习。我们为每个图像提取一组分层代理表示，并对相应的代理表示施加自监督和全监督。在卷积神经网络和视觉Transformer上的大量实验证明了OPERA在图像分类、分割和目标检测方面的优越性。代码可从以下网址获得：https://github.com/wangck20/OPERA。
2022-11-29 cs.AI cs.CV cs.LG
Training Complex Models with Multi-Task Weak Supervision
Stanford University（斯坦福大学）
随着机器学习模型的复杂性不断增加，收集大量人工标记的训练集已成为实践中最大的障碍之一。相反，经常使用较弱的监管形式，提供更嘈杂但更便宜的标签。然而，这些弱监督源具有不同的和未知的准确性，可以输出相关的标签，并且可以标记不同的任务或以不同的粒度级别应用。我们提出了一个框架，将这些弱监督源视为一个问题的不同相关子任务的标签，我们称之为多任务弱监督设置的整合和建模。我们表明，通过解决矩阵完成式问题，我们可以恢复这些多任务源的准确性，因为它们的依赖结构，但没有任何标记的数据，从而导致更高质量的监督训练最终模型。从理论上讲，我们证明了用这种方法训练的模型的泛化误差随着未标记数据点的数量而提高，并表征了任务和依赖结构的缩放。在三个细粒度分类问题上，我们表明，我们的方法比传统的监督方法平均提高了20.2分的准确性，比多数投票基线提高了6.8分，比以前提出的单独建模任务的弱监督方法提高了4.1分。
2018-12-07 cs.LG stat.ML
Improving Semi-Supervised Learning for Remaining Useful Lifetime Estimation Through Self-Supervision
Technische Universität Berlin（柏林工业大学）；IAV GmbH（IAV公司）
RUL估计受到服务器数据不平衡的影响，其中来自接近其生命周期结束的机器的数据很少。此外，机器产生的数据只能在机器故障后才能标记。半监督学习（SSL）可以合并尚未失败的机器产生的未标记数据。以前的SSL工作评估他们的方法在不切实际的条件下，接近失败的数据仍然可用。即便如此，也只有适度的改善。提出了一种基于自监督预训练的SSL方法。该方法可以优于两个竞争的方法，从文献和监督基线在现实条件下的NASA C-MAPSS数据集。
2021-08-26 cs.LG
Strength from Weakness: Fast Learning Using Weak Supervision
Massachusetts Institute of Technology（麻省理工学院）
研究了弱监督学习的泛化性质。也就是说，学习只有少数“强”标签（我们预测的实际目标）存在，但更多的“弱”标签可用。特别是，我们表明，访问弱标签可以显着加快强任务的学习率，达到$\mathcal{O}(\nicefrac1n)$的快速速度，其中$n$表示强标签数据点的数量。即使强标记数据本身只允许较慢的$\mathcal{O}(\nicefrac{1}{\sqrt{n}})$速率，这种加速也会发生。实际的加速持续依赖于可用的弱标签的数量，以及两个任务之间的关系。我们的理论结果在一系列任务中得到了经验性的反映，并说明了弱标签如何加速强任务的学习。
2020-02-19 cs.LG stat.ML
Learning Discriminative and Generalizable Anomaly Detector for Dynamic Graph with Limited Supervision
University of Science and Technology of China（中国科学技术大学）
针对动态图异常检测中标注异常稀缺的问题，提出一个结合残差表示编码、限制损失和双边界优化的模型无关框架，从正常/未标注数据中学习可判别边界，同时利用有限标注异常并保持对未见异常的泛化能力。
2026-05-29 cs.AI cs.LG
ScriptoriumWS: A Code Generation Assistant for Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 ScriptoriumWS，利用代码生成模型辅助编写弱监督来源，并通过多层提示及手写与生成来源结合，在保持准确率的同时显著提高覆盖率。
2025-02-17 cs.LG
Integrated Weak Learning
University College London（伦敦大学学院）；Humanloop
我们介绍了集成弱学习，这是一个将弱监督集成到机器学习模型训练过程中的原则性框架。我们的方法联合训练了端模型和标签模型，该模型聚合了多个弱监管源。我们引入了一个标签模型，它可以学习为不同的数据点聚合不同的弱监督源，并在训练过程中考虑端模型的性能。我们证明了我们的方法在一组6个基准分类数据集上优于现有的弱学习技术。当存在少量标记数据和弱监督时，性能的提高既一致又大，与非集成方法相比，可靠地获得2-5分的测试F1得分增益。
2022-06-19 cs.LG
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University（萨尔兰大学）；Heidelberg University（海德堡大学）
缺乏标记的训练数据限制了自然语言处理工具的开发，例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以（半）自动方式创建标记数据。此外，为了减轻自动注释中错误的一些负面影响，可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现，模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好，但我们想研究它们在低资源场景中的表现。在这项工作中，我们执行命名实体识别的豪萨语和Yorkebá，两种语言，广泛使用在几个发展中国家。我们评估了不同的嵌入方法，并表明远程监督可以成功地利用在一个现实的低资源的情况下，它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data
Georgia Institute of Technology（佐治亚理工学院）；Amazon.com Inc（亚马逊公司）
弱监督在许多自然语言处理任务中表现出良好的效果，例如命名实体识别（NER）。现有的工作主要集中在学习只有弱监督的深度NER模型，即，没有任何人类注释，并表明，通过仅仅使用弱标记的数据，可以实现良好的性能，虽然仍然表现不佳的完全监督NER与手动/强标记的数据。在本文中，我们考虑一个更实际的场景，其中我们有少量的强标记数据和大量的弱标记数据。不幸的是，我们观察到弱标记数据不一定会改善，甚至会恶化模型性能（由于弱标记中的大量噪声），当我们在强标记和弱标记数据的简单或加权组合上训练深度NER模型时。为了解决这个问题，我们提出了一个新的多阶段计算框架-- NEEDLE，它有三个基本组成部分：（1）弱标签完成，（2）噪声感知损失函数，（3）对强标签数据进行最终微调。通过对电子商务查询NER和生物医学NER的实验，我们证明了NEEDLE可以有效地抑制弱标签的噪声，并优于现有的方法。特别是，我们在3个生物医学NER数据集上实现了新的SOTA F1评分：BC 5CDR-化学93.74，BC 5CDR-疾病90.69，NCBI-疾病92.28。
2021-08-01 cs.AI cs.CL cs.LG
Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基础模型提供了一个令人兴奋的新范例，用于构建具有开箱即用嵌入和一些标记示例的模型。然而，如何在没有标记数据的情况下最好地应用基础模型尚不清楚。一种潜在的方法是将基础模型与弱监督框架相融合，该框架使用弱标签源-预训练模型，人工智能，人群工作者-来构建伪标签。挑战是建立一个组合，最好地利用基础模型和弱源中的信号。我们提出了Liger，这是一种组合，它使用基础模型嵌入来改善现有弱监管技术的两个关键要素。首先，我们通过划分嵌入空间和学习每部分源精度来产生弱源质量的更精细估计。其次，我们通过扩展嵌入空间中的源投票来提高源覆盖率。尽管基础模型的黑盒性质，我们证明了我们的方法如何提高性能的特征，并表明电梯规模与嵌入空间中的标签分布的平滑度。在六个基准NLP和视频任务中，Liger的表现优于vanilla弱监督14.1分，弱监督kNN和适配器11.8分，传统手工标签监督kNN和适配器7.2分。
2022-08-01 cs.LG stat.ML
AnchorMixGAN: Anchor-Aligned Generative Semi-Supervision for DDoS Detection in Cloud-Integrated IoT Networks
针对云集成物联网中标记数据稀缺的DDoS检测，提出AnchorMixGAN生成式半监督框架，通过锚定对齐目标构建和MixUp混合，在三个基准上超越MixGAN。
2026-09-29 cs.CR cs.LG
Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision
研究针对抗体表达排序中标记数据稀缺问题，提出基于偏好的学习框架，结合定量表达与弱监督，通过改进DPO适用于蛋白质语言模型，在多样数据集上评估，该方法优于基线，为抗体可表达性优化提供可扩展方案。
2026-07-21 cs.CE cs.LG q-bio.QM
Implicit supervision for fault detection and segmentation of emerging fault types with Deep Variational Autoencoders
ETH Zurich（苏黎世联邦理工学院）
安全关键系统的数据驱动故障诊断通常面临完全缺乏与故障系统状况相关联的标记数据的挑战（即，故障类型）。由于在部署过程中可能出现未知数量和性质的故障类型，因此这种情况下的数据驱动故障诊断是一个开集学习问题。开集诊断的大多数算法是一类分类和无监督算法，其不利用学习算法中所有可用的标记和未标记数据。因此，它们的故障检测和分段性能（即，识别和分离不同类型的故障）是次优的。有了这项工作，我们提出了一个变分自编码器（VAE）与标记和未标记的样本，同时诱导隐含的监督健康状况的潜在代表。这一点，连同修改后的采样过程中的VAE，创建一个紧凑的和信息丰富的潜在表示，允许使用现有的一类和聚类算法，看不见的故障类型的良好的检测和分割。我们将所提出的方法称为“具有自适应采样的知识诱导的变分自编码器”（KIL-AdaVAE）。所提出的方法的故障检测和分割能力证明了在一个新的模拟案例研究，使用先进的齿轮传动涡扇30000（AGTF 30）在真实的飞行条件下的动力学模型。在广泛的比较中，我们证明了所提出的方法优于其他学习策略（监督学习，嵌入式监督学习和半监督学习）和深度学习算法，在故障检测和故障分割方面产生了显着的性能改进。
2020-09-29 cs.LG stat.ML
NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model
Zhongguancun Laboratory（中关村实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Nanyang Technological University (NTU)（南洋理工大学）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学香槟分校计算机科学系）
NanoNet通过参数高效学习和知识蒸馏，实现轻量文本挖掘模型在有限监督下的高效训练与推理
2026-02-05 cs.AI cs.LG
Multi-Resolution Weak Supervision for Sequential Data
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
由于手动标记训练数据缓慢且昂贵，最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而，现有的弱监督方法无法对序列数据（如视频）的多分辨率源进行建模，这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战，这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong，这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架，可以为训练数据分配概率标签。在理论上，我们证明了儒艮，在温和的条件下，可以唯一地恢复未观察到的精度和相关参数，并使用参数共享，以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库，帮助超过传统监督36.8 F1点，并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言，在几个视频和传感器分类任务中，Dugong比传统监督方法提高了16.0 F1点，比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
CASS: Cross Architectural Self-Supervision for Medical Image Analysis
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）；Colton Center for Autoimmunity（科尔顿自身免疫中心）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
深度学习和计算机视觉的最新进展减少了自动医学图像分析的许多障碍，使算法能够处理无标签图像并提高性能。然而，现有的技术具有极端的计算要求，并且随着批量大小或训练时期的减少而降低了很多性能。本文提出了跨架构自监督（CASS），一种新的自监督学习方法，同时利用Transformer和CNN。与现有的最先进的自监督学习方法相比，我们的经验表明，在四个不同的数据集上，CASS训练的CNN和Transformers在1%标记数据的情况下平均获得3.8%，在10%标记数据的情况下平均获得5.9%，在100%标记数据的情况下平均获得10.13%，同时花费的时间减少了69%。我们还表明，CASS对批量大小和训练时期的变化更加鲁棒。值得注意的是，其中一个测试数据集包括自身免疫性疾病的组织病理学切片，这是一种在医学成像中数据很少的疾病。代码是开源的，可以在GitHub上找到。
2022-11-19 cs.AI cs.CV cs.LG
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
尽管图神经网络（GNN）在各种应用上取得了成功，但当监督信号的量（即，标记节点的数量是有限的，这是预期的，因为GNN仅基于从标记节点获得的监督来训练。另一方面，最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN，并且已经证明它甚至优于用很少标记节点训练的GNN。然而，自监督方法的一个主要缺点是，由于在训练期间没有利用标记信息，因此它们无法学习类判别节点表示。为此，我们提出了一种新的图的半监督方法GraFN，它利用很少的标记节点来确保属于同一类的节点被分组在一起，从而实现半监督和自监督方法的最佳效果。具体来说，GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后，它最小化两个预测类分布之间的差异，这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明，GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
Efficient Representation Learning for Healthcare with Cross-Architectural Self-Supervision
New York University（纽约大学）
针对医疗场景中自监督表示学习受计算、批量与轮次限制性能下降的问题，提出协同Transformer与CNN的孪生自监督方法CASS，在多医疗数据集上性能更优且大幅缩短预训练时间。
2023-08-19 cs.AI cs.CV cs.LG
RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision
National University of Defense Technology（国防科技大学）；Singapore Management University（新加坡管理大学）
针对半监督异常检测中异常污染误导学习、离散监督信息利用不足的问题，提出RoSAS方法，通过质量插值生成连续异常度样本并加入特征学习约束，在11个数据集上AUC-PR较SOTA提升20%-30%，鲁棒性更优。
2023-07-25 cs.AI cs.LG
Rethinking Weak Supervision in Anomaly Detection: A Comprehensive Benchmark
Shanghai University of Finance and Economics（上海金融学院）；Ant Group（蚂蚁集团）；Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济交叉学科重点实验室）
提出WSADBench，首个统一评估不完全、不精确和不准确三种弱监督异常检测场景的基准，通过系统变化标签数量、粒度和质量，揭示36种算法在4种模态上的性能边界，并发现弱监督场景间存在强相关性、专用WSAD算法仅在极端标签稀缺时占优等关键洞察。
2026-05-30 cs.AI cs.LG
STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对NLP领域主动学习在类别不平衡冷启动场景下的稀有类优化难题，提出基于子模互信息与文本样例的STENCIL弱监督方法，可显著提升整体准确率与稀有类F-1分数。
2024-07-12 cs.CL cs.LG
Supervision by Denoising for Medical Image Segmentation
Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）；CONICET（国家科学技术研究委员会）
针对医学图像标注稀缺且变异性大的问题，提出半监督框架“去噪监督”（SUD），利用模型自身去噪输出作为软标签，在时空去噪框架下交替去噪与权重更新，显著提升了3D脑部重建与2D皮质分割的重建效果。
2024-01-04 cs.CV cs.LG eess.IV
