A Unified and Stable Risk Minimization Framework for Weakly Supervised Learning with Theoretical Guarantees
提出一个统一的弱监督学习框架，通过直接构建基于弱监督数据结构的稳定替代风险，避免事后修正，并给出泛化界和可识别性条件。
2026-07-01 cs.AI cs.LG
Dense Retrieval as Indirect Supervision for Large-space Decision Making
University of Southern California（南加州大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出稠密决策检索（DDR），将大标签空间NLU任务重构为学习检索任务，通过双编码器从决策词库中检索预测，利用间接监督提升泛化能力，并在多标签分类、实体类型标注和少样本意图分类上显著优于基线。
2023-10-28 cs.AI cs.CL cs.IR
Improving Distantly Supervised Relation Extraction by Natural Language Inference
Iowa State University（爱荷华州立大学）
为了减少关系抽取（RE）任务的人工注释，已经提出了远程监督方法，同时与低性能作斗争。在这项工作中，我们提出了一种新的DSRE-NLI框架，它既考虑了来自现有知识库的远程监督，也考虑了来自其他任务的预训练语言模型的间接监督。DSRE-NLI通过半自动关系动词化（SARV）机制激活现成的自然语言推理（NLI）引擎，以提供间接监督，并进一步整合远程注释，使多分类RE模型受益。基于NLI的间接监督只从人类获取一个关系动词化模板作为每个关系的语义通用模板，然后通过从远距离标注语料库中自动挖掘的高质量文本模式来丰富模板集。通过两种简单有效的数据整合策略，训练数据的质量得到了显著提高。大量实验表明，该框架显着提高了远程监督RE基准数据集上的SOTA性能（高达F1的7.73%）。
2022-07-31 cs.CL cs.LG
Unsupervised Creation of Parameterized Avatars
Facebook AI Research（Facebook人工智能研究院）；Tel Aviv University（特拉维夫大学）
我们研究的问题，输入图像映射到一个捆绑对组成的参数向量和使用图形引擎从参数向量创建的图像。映射的目标是使输出图像尽可能与输入图像相似。在培训期间，没有以匹配输入和输出的形式进行监督。该学习问题扩展了两个文献问题：无监督领域自适应和跨领域迁移。我们定义了一个泛化的界限，是基于差异，并采用GAN实现网络的解决方案，对应于这个界限。实验表明，我们的方法可以解决自动创建化身的问题。
2017-07-09 cs.CV cs.LG
Weak Supervision in Convolutional Neural Network for Semantic Segmentation of Diffuse Lung Diseases Using Partially Annotated Dataset
Graduate School of Medicine, Osaka University（大阪大学医学院）
弥漫性肺疾病（DLDs）的计算机辅助诊断系统是客观评价肺部疾病的必要手段。在本文中，我们开发了5种DLD的语义分割模型。本研究中考虑的DLD包括实变、毛玻璃样阴影、蜂窝样改变、肺气肿和正常。卷积神经网络（CNN）是机器学习算法中最有前途的语义分割技术之一。虽然创建用于语义分割的注释数据集是费力且耗时的，但创建部分注释数据集（其中每个图像仅注释一个选定的类）更容易，因为注释器在注释任务期间一次仅需要关注一类。在本文中，我们提出了一种新的弱监督技术，有效地利用部分注释的数据集。使用部分注释的数据集组成的372 CT图像的实验表明，我们提出的方法显着提高分割精度。
2020-03-26 cs.LG eess.IV stat.ML
Data Augmentation is a Hyperparameter: Cherry-picked Self-Supervision for Unsupervised Anomaly Detection is Creating the Illusion of Success
Heinz College of Information Systems and Public Policy（海因茨信息系统与公共政策学院）；Carnegie Mellon University（卡内基梅隆大学）；School of Architecture（建筑学院）
本文通过3个模型和420个任务的实验，证明数据增强与异常生成机制的对齐是基于图像的自监督异常检测成功的关键，否则可能损害准确率，并指出这是该领域的首次元分析。
2023-07-28 cs.AI cs.LG
Detecting Online Hate Speech: Approaches Using Weak Supervision and Network Embedding Models
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Oklahoma State University（俄克拉荷马州立大学）；Brown University（布朗大学）
无处不在的社交媒体改变了个人之间的在线互动。尽管有积极的影响，但它也允许反社会分子在其他社交媒体环境中团结起来（例如，社交媒体）。Gab.com）前所未有的。使用自动化技术检测这种仇恨言论可以让社交媒体平台调整其内容，并防止仇恨言论传播等邪恶活动。在这项工作中，我们提出了一个弱监督深度学习模型-（i）定量发现仇恨用户和（ii）提出一种新的定性分析，以发现间接仇恨对话。该模型在交互层面上对内容进行评分，而不是帖子或用户层面，并允许对最频繁参与仇恨对话的用户进行表征。我们在1920万个帖子上评估了我们的模型，结果表明，我们的弱监督模型在识别间接仇恨互动方面优于基线模型。我们还分析了一个多层网络，从两种类型的用户交互在加布（报价和回复）和弱监督模型的边缘权重的交互分数，预测可恨的用户。我们利用多层网络嵌入方法来生成预测任务的特征，并且我们表明考虑来自多个网络的用户上下文有助于更好地预测Gab中的仇恨用户。与单层或同构网络嵌入模型相比，我们获得了高达7%的性能增益。
2020-07-24 cs.LG cs.SI
Weak Supervision for Real World Graphs
McGill University（麦吉尔大学）
本文提出弱监督图对比学习框架 WSNET，利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习，在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming
University of Washington（华盛顿大学）；Snorkel AI, Inc.（Snorkel AI公司）
弱监督（WS）技术允许用户通过编程方式用启发式监督源标记数据来有效地创建大型训练数据集。虽然WS的成功在很大程度上依赖于所提供的标记策略，但在实践中如何创建这些策略的过程仍然未得到充分探索。在这项工作中，我们正式的开发过程中，标签的启发式的互动过程，围绕现有的工作流程，用户从一组选定的开发数据设计的启发式的来源。与形式主义，我们研究了两个核心问题，如何战略性地选择开发数据，以指导用户在有效地创建信息的统计，以及如何利用开发过程中的信息，以上下文和更好地学习结果的统计。建立在两种新的方法，有效地解决各自考虑的问题，我们提出了尼莫，一个端到端的交互式系统，提高了WS学习管道的整体生产力平均20%（和高达47%，在一个任务）相比，流行的WS方法。
2022-10-24 cs.LG stat.ML
Weak Supervision for Improved Precision in Search Systems
LinkedIn Corporation（领英公司）
本文提出一种弱监督方法，通过推断查询-文档对质量并集成到Learning to Rank框架中，以低成本提升大规模搜索系统的精度。
2025-03-10 cs.AI cs.IR cs.LG
Generative Modeling Helps Weak Supervision (and Vice Versa)
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin（威斯康星大学）；Stanford University（斯坦福大学）
监督机器学习的许多有前途的应用在获取足够数量和质量的标记数据方面面临障碍，这造成了昂贵的瓶颈。为了克服这些限制，人们研究了不依赖于地面真实标签的技术，包括弱监督和生成式建模。虽然这些技术似乎可以协同使用，相互改进，但如何在它们之间构建接口还没有得到很好的理解。在这项工作中，我们提出了一个模型融合程序化弱监督和生成对抗网络，并提供了激励这种融合的理论依据。所提出的方法捕捉离散的潜变量的数据，以及弱监督派生的标签估计。两者的对齐允许更好地建模弱监督源的样本相关精度，提高未观察到的标签的估计。这是第一种通过弱监督合成图像和伪标记实现数据增强的方法。此外，其学习的潜变量可以定性地检查。该模型在多类图像分类数据集上的性能优于基线弱监督标签模型，提高了生成图像的质量，并通过合成样本的数据增强进一步提高了最终模型的性能。
2023-03-11 cs.AI cs.CV cs.LG
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Masking: A New Perspective of Noisy Supervision
University of Technology Sydney（悉尼科技大学）；RIKEN（理化学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）；University of Tokyo（东京大学）
在给定带有噪声标签的训练数据的情况下，学习各种类型的分类器非常重要。在迄今为止最流行的噪声模型中，噪声标签被未知的噪声转移矩阵从地面真实标签中破坏。因此，通过估计这个矩阵，分类器可以避免过度拟合那些嘈杂的标签。然而，由于两步方法的间接性质，或者没有足够大的数据来提供端到端的方法，这种估计实际上是困难的。在本文中，我们提出了一种称为掩蔽的人工辅助方法，它传达了人类对无效类转换的认知，并自然地推测了噪声转换矩阵的结构。为此，我们推导出一个结构感知的概率模型，结合结构先验，并解决了结构提取和结构对齐的挑战。由于掩蔽，我们只估计未掩蔽的噪声转移概率，估计的负担大大减少。我们在三种噪声结构的CIFAR-10和CIFAR-100以及不可知噪声结构的工业级Clothing 1 M上进行了大量的实验，结果表明掩蔽可以显著提高分类器的鲁棒性。
2018-10-31 cs.LG stat.ML
Ontology-driven weak supervision for clinical entity classification in electronic health records
Stanford University（斯坦福大学）
在电子健康记录中，使用临床记录来识别诸如疾病及其时间性（例如，事件相对于时间索引的顺序）之类的实体可以为许多重要的分析提供信息。然而，为临床实体任务创建训练数据是耗时的，并且由于隐私问题，共享标记数据是具有挑战性的。COVID-19大流行的信息需求凸显了对训练临床笔记机器学习模型的敏捷方法的需求。我们提出了Trove，一个弱监督实体分类框架，使用医学本体和专家生成的规则。与手工标记的笔记不同，我们的方法易于共享和修改，同时提供与从手动标记的训练数据中学习相当的性能。在这项工作中，我们在六个基准任务上验证了我们的框架，并展示了Trove分析因COVID-19出现症状和风险因素而前往斯坦福医疗中心急诊科的患者记录的能力。
2021-04-06 cs.CL cs.LG
Unsupervised Hyperalignment for Multilingual Word Embeddings
Facebook AI Research（脸书人工智能研究院）；CREST ENSAE, Institut Polytechnique de Paris（巴黎理工学院ENSAE经济与统计研究中心）；Google Brain（谷歌大脑）
我们考虑的问题，对齐连续的单词表示，学习多种语言，一个共同的空间。最近的研究表明，在两种语言的情况下，可以在没有监督的情况下学习这种映射。本文将这一工作扩展到将多种语言对齐到一个公共空间的问题。一种解决方案是将所有语言独立地映射到一个pivot语言。不幸的是，这降低了间接单词翻译的质量。因此，我们提出了一种新的配方，确保组合映射，导致更好的对齐。我们评估我们的方法，联合对齐词向量在11种语言，表现出一致的改善与间接映射，同时保持竞争力的表现直接词翻译。
2019-06-04 cs.CL cs.LG
Data Programming: Creating Large Training Sets, Quickly
Stanford University（斯坦福大学）
大型标记训练集是监督学习方法的关键构建块，也是深度学习技术的关键推动因素。对于某些应用程序，创建标记的训练集是应用机器学习中最耗时和最昂贵的部分。因此，我们提出了一个范例的编程创建的训练集称为数据编程，其中用户表示弱监督策略或域的标记功能，这是程序的标签子集的数据，但嘈杂，可能会发生冲突。我们表明，通过明确地将此训练集标记过程表示为生成模型，我们可以对生成的训练集进行“降噪”，并从理论上建立我们可以在少数设置中恢复这些生成模型的参数。然后，我们展示了如何修改判别损失函数以使其具有噪声感知能力，并在一系列判别模型（包括逻辑斯谛回归和LSTM）上演示了我们的方法。在2014年的TAC-KBP Slot Filling挑战赛中，我们通过实验证明了数据编程会带来一个新的获胜分数，并且还证明了将数据编程应用于LSTM模型会使TAC-KBP的分数比最先进的LSTM基线高出近6个F1点（并在比赛中获得第二名）。此外，在最初的用户研究中，我们观察到，当训练数据有限或不可用时，数据编程可能是非专家创建机器学习模型的更简单方法。
2017-01-08 cs.AI cs.LG stat.ML
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题，提出基于音符直方图监督的CountEM框架，无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
Learning Stable Predictors from Weak Supervision under Distribution Shift
University of Central Florida（中央佛罗里达大学）
本文研究了在分布偏移下从弱监督中学习稳定预测器的问题，通过CRISPR-Cas13d转录组扰动实验，探讨了监督漂移现象，并展示了弱监督在域内学习和部分跨细胞系迁移中的有效性，同时揭示了时间迁移中的失败源于监督漂移而非模型容量或简单协变量偏移。
2026-05-19 cs.AI cs.LG
Recognizing Nested Entities from Flat Supervision: A New NER Subtask, Feasibility and Challenges
HwaMei Hospital, University of Chinese Academy of Sciences（中国科学院大学华美医院）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）
近年来，许多命名实体识别（NER）的研究批评了平面NER的非重叠假设，并转向研究嵌套NER。然而，现有的嵌套NER模型严重依赖于用嵌套实体注释的训练数据，而标记这样的数据是昂贵的。这项研究提出了一个新的子任务，嵌套从平面NER，这对应于一个现实的应用场景：给定的数据注释与平面实体，人们可能仍然希望训练的模型能够识别嵌套实体。为了解决这个任务，我们训练基于跨度的模型，并故意忽略嵌套在标记实体内的跨度，因为这些跨度可能是未标记的实体。当从训练数据中删除嵌套实体后，我们的模型在ACE 2004、ACE 2005和GENIA上的实体内的跨度子集上分别获得了54.8%、54.2%和41.1%的F1分数。这表明我们的方法的有效性和任务的可行性。此外，该模型在平面实体上的性能完全不受影响。我们进一步手动注释的嵌套实体在测试集的CoNLL 2003，创建一个嵌套从平面NER基准。分析结果表明，主要的挑战来自于平面和嵌套实体之间的数据和注释不一致。
2022-11-01 cs.CL cs.LG
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta（阿尔伯塔大学）
针对弱监督组织病理学图像分割难题，提出基于MIL伪标签的迭代融合知识蒸馏框架，通过师生模型动态角色互换与加权损失优化，在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
Multimodal Information Retrieval for Open World with Edit Distance Weak Supervision
Department of Computer Science Purdue University West Lafayette, IN 47906, USA（计算机科学系 帕克森大学 西拉法叶市，印第安纳州 47906，美国）
本文提出FemmIR框架，利用图编辑距离弱监督重用预训练编码器，在无需相似性标签的情况下实现多模态按需检索，并构建MuQNOL数据集验证其有效性。
2025-06-25 cs.IR cs.LG cs.MM
A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training
Stanford University（斯坦福大学）；New York University（纽约大学）
研究针对大语言模型智能体，将基于策略的数据构建视为预算分配问题，通过特定方式形式化设计空间，在多个任务中实验表明少量教师步骤在学习者诱导情境下更具成本效益。
2026-09-01 cs.AI cs.LG
