WeaNF: Weak Supervision with Normalizing Flows
University of Vienna（维也纳大学）
一个流行的方法，以减少需要昂贵的人工注释的大型数据集是弱监督，这引入了噪声标签，覆盖和偏见的问题。克服这些问题的方法要么依赖于判别模型，用特定于弱监督的成本函数进行训练，要么依赖于最近的生成模型，试图对自动注释过程的输出进行建模。在这项工作中，我们探索了弱监督生成建模的一个新方向：不是对注释过程的输出（标签函数匹配）进行建模，而是对标签函数覆盖的输入端数据分布（特征空间）进行生成建模。具体来说，我们通过使用归一化流来估计每个弱标记源或标记函数的密度。我们的方法的一个组成部分是多个同时匹配的标记函数的基于流的建模，因此捕获了标记函数重叠和相关性等现象。我们分析了各种常用的弱监督数据集上的有效性和建模能力，并表明弱监督规范化流与标准弱监督基线相比是有利的。
2022-05-02 cs.CL cs.LG
Weak Supervision with Incremental Source Accuracy Estimation
Stanford University（斯坦福大学）
出于生成实时数据标签的愿望，我们开发了一种方法来估计依赖结构和精度的弱监督源增量。我们的方法首先估计与监督源相关的依赖结构，然后使用它来迭代更新估计的源精度，因为收到了新的数据。使用现成的分类模型训练使用公开可用的数据集和启发式函数作为监督源，我们表明，我们的方法生成的概率标签的准确性匹配现有的离线方法。
2022-05-11 cs.LG stat.AP
CONFER: Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision in Multimodal Emotion Recognition
本文提出CONFER框架，针对多模态情感识别中跨模态冲突与自我报告标签不可靠问题，通过图结构的冲突感知证据协商实现弱标签校准，在多数据集严格LOSO协议下取得具竞争力的情感识别准确率，提升了对弱标签损坏的鲁棒性。
2026-08-11 cs.LG
Convergence Behavior of an Adversarial Weak Supervision Method
University of California, San Diego（加州大学圣迭戈分校）
本研究分析对抗性弱监督方法在对数损失下的收敛行为，刻画解的形式、与逻辑回归的联系、一致性和收敛速率，并指出概率方法可能不一致，实验验证了理论结果。
2024-05-25 cs.LG
Training Subset Selection for Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northwestern University（西北大学）
现有的弱监测方法使用弱信号覆盖的所有数据来训练分类器。我们从理论和经验上表明，这并不总是最佳的。直觉上，弱标签数据的数量和弱标签的精度之间存在权衡。我们通过将预训练的数据表示与切割统计相结合来探索这种权衡（Muhlenbach等人，2004）来选择（希望）弱标记训练数据的高质量子集。子集选择适用于任何标签模型和分类器，并且非常简单地插入到现有的弱监督管道中，只需要几行代码。我们展示了我们的子集选择方法提高了广泛的标签模型，分类器和数据集的弱监督性能。使用较少的弱标记数据可以将弱监督管道的准确性提高19%（绝对值）。
2023-03-06 cs.AI cs.LG stat.ML
Training Complex Models with Multi-Task Weak Supervision
Stanford University（斯坦福大学）
随着机器学习模型的复杂性不断增加，收集大量人工标记的训练集已成为实践中最大的障碍之一。相反，经常使用较弱的监管形式，提供更嘈杂但更便宜的标签。然而，这些弱监督源具有不同的和未知的准确性，可以输出相关的标签，并且可以标记不同的任务或以不同的粒度级别应用。我们提出了一个框架，将这些弱监督源视为一个问题的不同相关子任务的标签，我们称之为多任务弱监督设置的整合和建模。我们表明，通过解决矩阵完成式问题，我们可以恢复这些多任务源的准确性，因为它们的依赖结构，但没有任何标记的数据，从而导致更高质量的监督训练最终模型。从理论上讲，我们证明了用这种方法训练的模型的泛化误差随着未标记数据点的数量而提高，并表征了任务和依赖结构的缩放。在三个细粒度分类问题上，我们表明，我们的方法比传统的监督方法平均提高了20.2分的准确性，比多数投票基线提高了6.8分，比以前提出的单独建模任务的弱监督方法提高了4.1分。
2018-12-07 cs.LG stat.ML
Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy
Verily Life Sciences（Verily生命科学公司）
我们提出了一个两阶段的无监督的方法来解析视频成阶段。我们使用运动线索将视频分成粗略的片段。然后，噪声段标签用于弱监督基于外观的分类器。我们展示了该方法在结肠镜视频中相位检测的有效性。
2022-10-16 cs.CV cs.LG
Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods
Stanford University（斯坦福大学）
弱监督是构建机器学习模型而不依赖于地面实况注释的流行方法。相反，它通过估计多个噪声标记源的准确性来生成概率训练标签（例如，工人（crowd workers）。现有的方法使用潜变量估计来对噪声源进行建模，但是这些方法在计算上可能是昂贵的，在数据中超线性地缩放。在这项工作中，我们证明了，对于一类高度适用于弱监督的潜变量模型，我们可以找到模型参数的封闭形式解，从而避免了像随机梯度下降（SGD）这样的迭代解。我们利用这一见解来构建FlyingSquid，这是一个弱监督框架，比以前的弱监督方法运行速度快几个数量级，并且需要更少的假设。特别是，我们证明了泛化误差的界限，而无需假设潜在变量模型可以精确地参数化底层数据分布。从经验上讲，我们在基准弱监督数据集上验证了FlyingSquid，并发现与以前的方法相比，它实现了相同或更高的质量，而无需调整SGD程序，恢复模型参数的速度平均快170倍，并实现了新的视频分析和在线学习应用。
2020-07-15 cs.LG stat.ML
WALNUT: A Benchmark on Semi-weakly Supervised Learning for Natural Language Understanding
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）
为自然语言理解（NLU）任务构建机器学习模型在很大程度上依赖于标记数据。当大量标记数据不可用或获取成本高昂时，弱监督已被证明是有价值的。现有的研究NLU弱监督的工作大多集中在特定的任务或模拟弱监督信号从地面实况标签。因此，如果没有一个统一而系统的基准，不同的任务和现实世界的弱标签规则，就很难比较不同的方法并评估弱监管的好处。在本文中，我们提出了这样一个基准，命名为WALNUT（半Weakly监督学习自然语言理解测试床），倡导和促进弱监督NLU的研究。WALNUT由不同类型的NLU任务组成，包括文档级和令牌级预测任务。WALNUT是NLU的第一个半弱监督学习基准，其中每个任务包含由多个真实世界弱源生成的弱标签，以及一小组干净标签。我们对WALNUT进行基线评估，以系统地评估各种弱监督方法和模型架构的有效性。我们的研究结果证明了弱监督对低资源NLU任务的好处，并突出了跨任务的有趣模式。我们预计WALNUT将刺激对方法的进一步研究，以更有效地利用薄弱的监管。基准测试和基准代码可在\url{aka.ms/walnut_benchmark}上获得。
2022-05-23 cs.CL cs.LG
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Data Selection for training Semantic Segmentation CNNs with cross-dataset weak supervision
Eindhoven University of Technology（埃因霍温理工大学）
训练具有强（每像素）和弱（每边界框）监督的语义分割的卷积网络需要大量弱标记数据。我们提出了两种方法来选择最相关的数据与弱监管。第一种方法是为了寻找视觉上相似的图像，而不需要标签，是基于高斯混合模型（GMM）的图像表示建模。作为GMM建模的副产品，我们提出了有用的见解，表征数据生成分布。第二种方法的目的是寻找具有高对象多样性的图像，并且仅需要限界框标签。这两种方法都是在自动驾驶的背景下开发的，并在Cityscapes和Open Images数据集上进行了实验。我们通过将所使用的弱标记图像的数量减少到Open Images的100倍和Cityscapes的20倍来展示性能提升。
2019-07-16 cs.CV cs.LG
A General Framework for Learning from Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；William & Mary（威廉玛丽学院）；Singapore University of Technology and Design（新加坡科技设计大学）；Peking University（北京大学）；RIKEN AIP（理化学研究所人工智能项目）；The University of Tokyo（东京大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出从弱监督中学习的通用框架GLWS，通过EM公式和NFA前向-后向算法将时间复杂度降至线性，在11个场景中表现优异。
2024-06-05 cs.AI cs.LG
Reliable Programmatic Weak Supervision with Confidence Intervals for Label Probabilities
Massachusetts Institute of Technology (MIT)（麻省理工学院）；BCAM-Basque Center for Applied Mathematics（BCAM应用数学巴斯克中心）；IKERBASQUE-Basque Foundation for Science（IKERBASQUE巴斯克科学基金会）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种程序化弱监督方法，通过分布不确定性集合为标签概率提供置信区间，提升预测可靠性，并在多个基准数据集上验证了其优于现有技术。
2025-08-05 cs.LG stat.ML
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Disambiguation of weak supervision with exponential convergence rates
Institut National de Recherche en Informatique et en Automatique（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
通过监督学习进行的机器学习需要昂贵的数据注释。这激发了弱监督学习，其中数据用不完整但有区别的信息进行注释。在本文中，我们专注于部分标签，一个弱监督的例子，从一个给定的输入，我们给出了一组潜在的目标。我们回顾了从弱监管中恢复完全监管的消歧原则，并提出了一个经验消歧算法。我们证明了我们的算法在经典的可学习性假设下的指数收敛速度，我们说明了我们的方法的实用性的实际例子。
2021-07-15 cs.AI cs.LG stat.ML
Policy Learning Using Weak Supervision
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Northwestern University（西北大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
大多数现有的策略学习解决方案需要学习代理接收高质量的监督信号，例如强化学习（RL）中精心设计的奖励或行为克隆（BC）中的高质量专家演示。在实践中，这些质量监督通常是不可行的，或者是昂贵得令人望而却步。我们的目标是一个统一的框架，利用现有的廉价的弱监督，有效地执行策略学习。为了处理这个问题，我们把“弱监督”作为来自对等代理的不完美信息，并根据与对等代理的政策（而不是简单的协议）的“相关协议”来评估学习代理的政策。我们的方法明确地惩罚了过度适应弱监管的政策。除了理论上的保证，广泛的评估任务，包括RL与嘈杂的奖励，BC与弱示范，和标准的政策共同训练表明，我们的方法导致了显着的性能改善，特别是当学习环境的复杂性或噪音是高的。
2021-11-02 cs.AI cs.LG stat.ML
Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat
Comcast Applied AI Research（康卡斯特应用人工智能研究院）
之前使用弱监督的情感分析工作主要集中在不同的评论上，如电影（IMDB），餐馆（Yelp），产品（亚马逊）。在这方面，由于缺乏免费的公共数据，一个未充分开发的领域是客户支持中客户-代理聊天的客户聊天数据。在这里，我们使用内部数据集的弱监督对客户聊天进行情感分析。我们使用弱监督来微调预训练的语言模型（LM）RoBERTa作为情感分类器。我们的贡献如下：1）我们表明，通过使用弱情感分类器以及特定领域的基于词典的规则作为标签功能（LF），我们可以训练一个相当准确的客户聊天情感分类器使用弱监督。2)我们将我们的定制训练模型的性能与现成的Google Cloud NLP API进行情感分析。我们表明，通过使用LF注入特定于领域的知识，即使监督较弱，我们也可以训练模型，使其比现成的Google Cloud NLP API更好地处理某些特定于领域的用例。3)我们还分析了聊天中的客户情绪与问题解决方案的关系。
2021-11-30 cs.AI cs.CL cs.LG
Learning Dependency Structures for Weak Supervision Models
Stanford University（斯坦福大学）
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源，估计其准确性，而无需访问地面真相标签;然而，估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构，建立改进的理论恢复率，并优于现有的方法在各种现实世界的任务。在一定条件下，我们表明，所需的未标记的数据量可以缩放次线性，甚至与源$m$的数量，改善了以前的努力，忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中，比假设条件独立源的弱监督方法高出4.64个F1点，比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach
Georgia Institute of Technology（佐治亚理工学院）
微调预训练语言模型（LM）在许多自然语言处理（NLP）任务中取得了巨大的成功，但在微调阶段仍然需要大量的标记数据。我们研究了仅使用弱监督而不使用任何标记数据来微调预训练LM的问题。这个问题是具有挑战性的，因为LM的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这个问题，我们开发了一个对比的自我训练框架，COSINE，使微调LM与弱监督。在对比正则化和基于置信度的重新加权的基础上，这种对比自训练框架可以逐步改善模型拟合，同时有效地抑制误差传播。在序列、标记和句子对分类任务上的实验表明，该模型在6个任务的7个基准测试中大幅优于最强基线，并在全监督微调方法下取得了有竞争力的性能。
2021-03-31 cs.CL cs.LG
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI；Stanford University（斯坦福大学）；Brown University（布朗大学）
我们提出了一种新的策略，当标记的训练数据有限时，将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型，我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器，我们首先提示模型回答关于一个例子的多个不同的查询，并定义如何将可能的响应映射到标签和弃权的投票。然后，我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明，在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中，这种方法可以显著提高超过zero-shot的性能，平均减少19.5%的错误。我们还发现，这种方法产生的分类器具有可比或更高的准确性，从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
Neuro-symbolic Weak Supervision: Theory and Semantics
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）
研究多实例部分标签学习中神经符号框架语义，通过集成归纳逻辑编程用关系约束构建该框架，定义标签转换假设空间等，研究两项归纳任务，便于约束规范等。
2026-07-07 cs.AI cs.LG
Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基础模型提供了一个令人兴奋的新范例，用于构建具有开箱即用嵌入和一些标记示例的模型。然而，如何在没有标记数据的情况下最好地应用基础模型尚不清楚。一种潜在的方法是将基础模型与弱监督框架相融合，该框架使用弱标签源-预训练模型，人工智能，人群工作者-来构建伪标签。挑战是建立一个组合，最好地利用基础模型和弱源中的信号。我们提出了Liger，这是一种组合，它使用基础模型嵌入来改善现有弱监管技术的两个关键要素。首先，我们通过划分嵌入空间和学习每部分源精度来产生弱源质量的更精细估计。其次，我们通过扩展嵌入空间中的源投票来提高源覆盖率。尽管基础模型的黑盒性质，我们证明了我们的方法如何提高性能的特征，并表明电梯规模与嵌入空间中的标签分布的平滑度。在六个基准NLP和视频任务中，Liger的表现优于vanilla弱监督14.1分，弱监督kNN和适配器11.8分，传统手工标签监督kNN和适配器7.2分。
2022-08-01 cs.LG stat.ML
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类（即，元训练类）然后推广到具有有限标记节点的类（即，元测试类）。然而，在现实世界的图，它通常是很难获得丰富的标记节点的许多类。在实践中，每个元训练类只能由几个标记节点组成，称为极弱监督问题。在Few-Shot节点分类中，由于用于元训练的标记节点非常有限，元训练和元测试之间的泛化差距将变得更大，从而导致次优性能。为了解决这个问题，我们研究了一个新的问题，Few-Shot节点分类与极弱的监督，并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说，我们的目标是在极弱的监督下，在不同的元训练任务中积累元知识，并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战，我们提出了两个基本模块来获取伪标签节点作为额外的参考，并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验，以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Bandit Label Inference for Weakly Supervised Learning
University of California, Berkeley（加州大学伯克利分校）
在许多应用程序中，缺少以期望的粒度级别注释的数据是一个反复出现的问题。大量的努力已经投入到开发弱监督的方法，适合每一个人的设置，这往往是精心设计，以利用弱监督制度的特殊属性，现有数据的形式和手头的任务的先验知识。不幸的是，很难使这些方法适应新的任务和/或数据形式，这通常需要不同的弱监管制度或模型。我们提出了一个通用的方法，可以解决任何弱监督学习问题，无论弱监督制度或模型。所提出的方法把任何现成的强监督分类器到一个弱监督分类器，并允许用户指定任何任意的弱监督制度通过一个损失函数。我们将该方法应用于几个不同的弱监管制度，并证明竞争力的结果相比，专门为这些设置设计的方法。
2015-09-22 cs.LG stat.ML
Improving the performance of weak supervision searches using data augmentation
National Taiwan University（台湾大学）；National Center for Theoretical Sciences（国家理论科学中心）
针对弱监督训练神经网络需过量信号数据的问题，提出使用受物理启发的数据增强方法（如$p_{\ ext{T}}$涂抹和jet旋转）增加数据规模与多样性，显著提升了弱监督性能并减少数据需求。
2024-11-29 cs.LG hep-ex hep-ph
Multi-Resolution Weak Supervision for Sequential Data
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
由于手动标记训练数据缓慢且昂贵，最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而，现有的弱监督方法无法对序列数据（如视频）的多分辨率源进行建模，这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战，这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong，这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架，可以为训练数据分配概率标签。在理论上，我们证明了儒艮，在温和的条件下，可以唯一地恢复未观察到的精度和相关参数，并使用参数共享，以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库，帮助超过传统监督36.8 F1点，并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言，在几个视频和传感器分类任务中，Dugong比传统监督方法提高了16.0 F1点，比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
RACH-Space: Reconstructing Adaptive Convex Hull Space with Applications in Weak Supervision
本研究提出RACH-Space弱监督标注算法，基于弱信号张成空间的几何解释构建，无需严格假设，通过凸包与标签准确率的理论分析关联几何与机器学习，实验证明其性能优于现有最优弱监督标签模型。
2024-02-02 cs.LG math.OC
Predictive Inference with Weak Supervision
Stanford University（斯坦福大学）
在大规模统计机器学习中获取标签的费用使得部分和弱标记数据具有吸引力，尽管如何利用这些数据进行模型拟合或验证并不总是显而易见的。我们提出了一种方法来弥合部分监督和验证之间的差距，开发一个共形预测框架，提供有效的预测置信集-集，覆盖一个真正的标签与规定的概率，独立于底层的分布-使用弱标记的数据。为此，我们引入了一个（必要的）新概念的覆盖率和预测有效性，然后开发几个应用场景，提供有效的算法分类和几个大规模的结构化预测问题。我们证实的假设，新的覆盖定义允许更紧密，更翔实（但有效）的信心集通过几个实验。
2022-02-09 cs.LG stat.ML
Mitigating Source Bias for Fairer Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究弱监督中的公平性问题，提出基于反事实公平性的源偏置缓解方法，可同时提升准确率与公平性，并在多个数据集上取得显著效果。
2023-11-29 cs.CY cs.LG stat.ML
Data Consistency for Weakly Supervised Learning
Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系）
在许多应用中，训练机器学习模型涉及使用大量人工注释的数据。为数据获取精确的标签是昂贵的。相反，监督不力的培训提供了一种低成本的替代方案。我们提出了一种新的弱监督算法，处理噪声标签，即，弱信号，同时还考虑训练数据的特征以产生用于训练的准确标签。我们的方法搜索数据表示的分类器，以找到合理的标签。我们称这种范式为数据一致性弱监督。我们的框架的一个关键方面是，我们能够估计标签的数据示例低或没有覆盖的弱监督。此外，我们对弱信号和数据的真实标签的联合分布没有任何假设。相反，我们使用弱信号和数据特征来解决约束优化问题，以确保我们生成的标签之间的数据一致性。我们的方法在不同数据集上的实证评估表明，它显着优于国家的最先进的弱监督方法的文本和图像分类任务。
2022-02-08 cs.LG stat.ML
Creating Training Sets via Weak Indirect Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）；Snorkel AI, Inc.（Snorkel AI公司）
创建标记的训练集已经成为机器学习的主要障碍之一。为了解决这个问题，最近的\emph{Weak Supervision (WS)}框架综合训练标签从多个潜在的噪声监督源。然而，现有的框架仅限于共享相同的输出空间作为目标任务的监督源。为了扩展可用源的范围，我们制定了弱间接监督（WIS），一个新的研究问题，自动合成训练标签的基础上，间接监督源，具有不同的输出标签空间。为了克服输出空间不匹配的挑战，我们开发了一种概率建模方法PLRM，它使用用户提供的标签关系来建模和利用间接监督源。此外，我们提供了一个理论上的原则测试PLRM的可扩展性看不见的标签，随着推广界。在图像和文本分类任务以及工业广告应用中，我们通过超过基线2%-9%的幅度展示了PLRM的优势。
2022-03-14 cs.LG stat.AP stat.ML
Strength from Weakness: Fast Learning Using Weak Supervision
Massachusetts Institute of Technology（麻省理工学院）
研究了弱监督学习的泛化性质。也就是说，学习只有少数“强”标签（我们预测的实际目标）存在，但更多的“弱”标签可用。特别是，我们表明，访问弱标签可以显着加快强任务的学习率，达到$\mathcal{O}(\nicefrac1n)$的快速速度，其中$n$表示强标签数据点的数量。即使强标记数据本身只允许较慢的$\mathcal{O}(\nicefrac{1}{\sqrt{n}})$速率，这种加速也会发生。实际的加速持续依赖于可用的弱标签的数量，以及两个任务之间的关系。我们的理论结果在一系列任务中得到了经验性的反映，并说明了弱标签如何加速强任务的学习。
2020-02-19 cs.LG stat.ML
A Survey on Programmatic Weak Supervision
University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Snorkel AI, Inc.（斯耐克尔人工智能公司）
标记训练数据已成为使用机器学习的主要障碍之一。在各种弱监督范式中，程序化弱监督（PWS）通过程序化地合成来自多个潜在噪声监督源的训练标签，在缓解手动标记瓶颈方面取得了显着的成功。本文介绍了PWS的最新进展的全面调查。特别是，我们简要介绍了PWS的学习范式，并审查PWS的学习工作流程中的每个组件的代表性方法。此外，我们还讨论了用于处理有限标记数据场景的补充学习范式，以及这些相关方法如何与PWS结合使用。最后，我们确定了几个关键的挑战，仍然在该领域的探索不足，希望能激发该领域未来的研究方向。
2022-02-14 cs.AI cs.LG stat.AP
DeepOPG: Improving Orthopantomogram Finding Summarization with Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Chung Shan Medical University（中山医学大学）
从曲面断层摄影或牙科全景X光片的临床发现摘要，有显着的潜力，以改善患者的沟通和加快临床判断。虽然曲面断层摄影是牙科检查的第一线工具，但现有的工作还没有探索从它总结的结果。一个发现摘要必须在成像研究中找到牙齿，并用几种类型的过去治疗标记牙齿。为了解决这个问题，我们开发了DeepOPG，它将摘要过程分解为功能分割和牙齿定位，后者通过一个新的牙齿连贯性模块进一步细化。我们还利用弱监督标签来改善强化学习场景中的检测结果。实验表明，DeepOPG在发现总结方面具有很高的效率，在检测六种类型的发现时，总体AUC达到88.2%。所提出的牙科一致性和弱监督都显示出通过将AP@IoU=0.5增加5.9%和0.4%来改善DeepOPG。
2021-07-06 cs.CV cs.LG
HiLWS: A Human-in-the-Loop Weak Supervision Framework for Curating Clinical and Home Video Data for Neurological Assessment
Pacific Parkinson Research Centre, University of British Columbia, Vancouver, BC, Canada（太平洋帕金森研究中心，不列颠哥伦比亚大学）；School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，塔里斯坦大学）
提出级联人在回路弱监督框架HiLWS，通过质量过滤、姿态估计和两阶段弱监督整理临床与家庭手部运动视频，揭示了家庭数据失败模式并强调上下文敏感策略对鲁棒医疗视频分析的重要性。
2025-09-09 cs.LG q-bio.NC
Label Propagation with Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种利用先验概率假设标签的经典标签传播算法（LPA）新分析，给出结合图几何与先验质量的误差界限，并构建整合多噪声源的弱监督框架，在多个基准任务上优于现有方法。
2023-04-09 cs.LG stat.ML
A Weak Supervision Approach to Detecting Visual Anomalies for Automated Testing of Graphics Units
Intel（英特尔）
我们提出了一个深度学习系统，通过检测视频中的新视觉损坏来测试图形单元。与以前的工作中，手动标记需要收集标记的训练数据，我们的弱监督方法是全自动的，不需要人工标记。这是通过复制增加生成损坏概率的驱动程序错误，并利用多实例学习（MIL）设置的思想和方法来实现的。在我们的实验中，我们的表现明显优于基于GAN的模型等无监督方法，并发现了基线未检测到的新腐败，同时遵守对实时系统准确性和效率的严格要求。
2021-08-09 cs.LG stat.ML
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
Generative Modeling Helps Weak Supervision (and Vice Versa)
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin（威斯康星大学）；Stanford University（斯坦福大学）
监督机器学习的许多有前途的应用在获取足够数量和质量的标记数据方面面临障碍，这造成了昂贵的瓶颈。为了克服这些限制，人们研究了不依赖于地面真实标签的技术，包括弱监督和生成式建模。虽然这些技术似乎可以协同使用，相互改进，但如何在它们之间构建接口还没有得到很好的理解。在这项工作中，我们提出了一个模型融合程序化弱监督和生成对抗网络，并提供了激励这种融合的理论依据。所提出的方法捕捉离散的潜变量的数据，以及弱监督派生的标签估计。两者的对齐允许更好地建模弱监督源的样本相关精度，提高未观察到的标签的估计。这是第一种通过弱监督合成图像和伪标记实现数据增强的方法。此外，其学习的潜变量可以定性地检查。该模型在多类图像分类数据集上的性能优于基线弱监督标签模型，提高了生成图像的质量，并通过合成样本的数据增强进一步提高了最终模型的性能。
2023-03-11 cs.AI cs.CV cs.LG
Multi-Source Deep Domain Adaptation with Weak Supervision for Time-Series Sensor Data
Washington State University（华盛顿州立大学）
领域自适应（DA）为新问题域的数据和模型重用提供了一种有价值的手段。然而，强大的技术尚未被认为是时间序列数据与不同数量的数据可用性。在本文中，我们做了三个主要贡献，以填补这一空白。首先，我们提出了一种新的时间序列数据卷积深度领域自适应模型（CoDATS），该模型在现实世界传感器数据基准测试中显着提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据，我们增加了CoDATS的有用性，以进一步提高先前单源方法的准确性，特别是在域之间具有高度可变性的复杂时间序列数据集上。其次，我们提出了一种新的领域自适应与弱监督（DA-WS）方法，利用弱监督的形式，目标域标签分布，这可能是更容易收集比额外的数据标签。第三，我们在不同的真实世界数据集上进行综合实验，以评估我们的领域自适应和弱监督方法的有效性。结果表明，单源DA的CoDATS显着提高了最先进的方法，我们实现了额外的提高精度使用来自多个源域和弱监督信号的数据。代码可在：https://github.com/floft/codats
2020-05-22 cs.LG stat.ML
Learning to Learn from Weak Supervision by Full Supervision
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
在本文中，我们提出了一种方法来训练神经网络时，我们有一个大的数据集与弱标签和少量的数据与真正的标签。在我们提出的模型中，我们训练两个神经网络：目标网络，学习者和置信网络，元学习者。目标网络被优化以执行给定的任务，并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数来控制目标网络的梯度更新的大小，该置信度网络是在少量监督数据上训练的。因此，我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。
2017-11-30 cs.AI cs.CL cs.LG
Weakly Supervised Disentanglement with Guarantees
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
学习与真实世界数据中的变化因素相对应的解纠缠表示对于可解释和人类可控的机器学习至关重要。最近，人们对以纯粹无监督的方式学习解缠表示的可行性的担忧促使人们转向弱监督。然而，目前还没有一种形式主义来确定何时以及如何通过监管不力来保证脱钩。为了解决这个问题，我们提供了一个理论框架，以协助分析解纠缠的保证（或缺乏）时，再加上基于分布匹配的学习算法的弱监督。我们实证验证了几种弱监督方法（限制标签，匹配配对和排名配对）的保证和限制，展示了我们的理论框架的预测能力和实用性。
2020-04-10 cs.LG stat.ML
Leveraging Large Language Models for Structure Learning in Prompted Weak Supervision
Cornell University（康奈尔大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）
本研究提出结构精炼模块，利用LLM提示相似性学习弱监督中标注函数的依赖结构，通过LaRe和CosGen提升PromptedWS流程性能，在基准任务上最高提升12.7个百分点。
2024-02-02 cs.CL cs.LG
Alfred: A System for Prompted Weak Supervision
Brown University（布朗大学）
Alfred 是首个基于提示的程序化弱监督系统，通过自然语言提示替代专家编程来创建训练数据，并提供高效后端与优化批处理，将查询吞吐量提升 2.9 倍。
2023-05-29 cs.CL cs.LG
skweak: Weak Supervision Made Easy for NLP
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
我们介绍了skweak，一个多功能的，基于Python的软件工具包，使NLP开发人员能够将弱监督应用于广泛的NLP任务。弱监督是一种新兴的机器学习范式，它基于一个简单的想法：我们使用来自领域知识的标签函数来自动获取给定数据集的注释，而不是手动标记数据点。然后，将得到的标签与生成模型聚合，该生成模型估计每个标签函数的准确性（和可能的混淆）。skweak工具包可以很容易地在文本数据上实现大量的标签功能（如分类、地名词典、神经模型或语言约束），将它们应用于语料库，并以完全无监督的方式聚合它们的结果。skweak是专门为促进弱监督用于NLP任务而设计的，例如文本分类和序列标签。我们说明了使用skweak的NER和情感分析。skweak是在开放源码许可下发布的，可在https://github.com/NorskRegnesentral/skweak上获得
2021-04-19 cs.AI cs.CL cs.LG
Learning Stable Predictors from Weak Supervision under Distribution Shift
University of Central Florida（中央佛罗里达大学）
本文研究了在分布偏移下从弱监督中学习稳定预测器的问题，通过CRISPR-Cas13d转录组扰动实验，探讨了监督漂移现象，并展示了弱监督在域内学习和部分跨细胞系迁移中的有效性，同时揭示了时间迁移中的失败源于监督漂移而非模型容量或简单协变量偏移。
2026-05-19 cs.AI cs.LG
Unified Semantic Parsing with Weak Supervision
IBM Research AI（IBM研究AI）
在多个知识库上的语义解析使得解析器能够利用跨多个域的程序的结构相似性。然而，根本的挑战在于获得高质量的注释（话语，程序）对跨各种域需要训练这样的模型。为了克服这一点，我们提出了一个新的框架来建立一个统一的多域启用语义解析器训练只有弱监督（表示）。弱监督训练特别困难，因为程序搜索空间在多域设置中呈指数级增长。为了解决这个问题，我们纳入了一个多政策蒸馏机制，我们首先训练领域特定的语义解析器（教师）使用弱监督的情况下，地面实况节目，其次是培训一个统一的解析器（学生）从这些教师获得的领域特定的政策。所得到的语义分析器不仅紧凑，而且更好地概括，并生成更准确的程序。它还不需要用户在查询时提供域标签。在标准的隔夜数据集（包含多个域）上，我们证明了该模型在表示精度方面比基线技术提高了20%。
2019-06-12 cs.CL cs.LG
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
Artificial Perceptual Learning: Image Categorization with Weak Supervision
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Goddard Space Flight Center（戈达德太空飞行中心）；NASA（美国国家航空航天局）
机器学习在监督学习任务中取得了很大的成功，具有大量标注良好的训练样本。然而，在许多实际情况下，由于昂贵且劳动密集的标记过程，由训练数据提供的这种强有力且高质量的监督是不可用的。自动识别和识别大量未标记图像中的对象类别，并且监督较弱，仍然是计算机视觉中一个重要但尚未解决的挑战。在本文中，我们提出了一个新的机器学习框架，人工感知学习（APL），以解决弱监督图像分类的问题。拟议的APL框架构建使用国家的最先进的机器学习算法作为积木，模仿认知发展过程中被称为婴儿分类。我们开发和说明了拟议的框架，通过实施一个广泛的领域细粒度的生态调查的树种超过8,000公顷的面积的El Yunque雨林在波多黎各。它是基于未标记的高分辨率空中图像的树冠。这些图像中只有不到1%的图像有错误的地面标签，这是这个学习框架唯一薄弱的监督。我们使用一小组具有高质量人类注释的图像来验证所提出的框架，并表明所提出的框架达到了人类水平的认知经济。
2021-06-02 cs.CV cs.LG
Detecting Online Hate Speech: Approaches Using Weak Supervision and Network Embedding Models
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Oklahoma State University（俄克拉荷马州立大学）；Brown University（布朗大学）
无处不在的社交媒体改变了个人之间的在线互动。尽管有积极的影响，但它也允许反社会分子在其他社交媒体环境中团结起来（例如，社交媒体）。Gab.com）前所未有的。使用自动化技术检测这种仇恨言论可以让社交媒体平台调整其内容，并防止仇恨言论传播等邪恶活动。在这项工作中，我们提出了一个弱监督深度学习模型-（i）定量发现仇恨用户和（ii）提出一种新的定性分析，以发现间接仇恨对话。该模型在交互层面上对内容进行评分，而不是帖子或用户层面，并允许对最频繁参与仇恨对话的用户进行表征。我们在1920万个帖子上评估了我们的模型，结果表明，我们的弱监督模型在识别间接仇恨互动方面优于基线模型。我们还分析了一个多层网络，从两种类型的用户交互在加布（报价和回复）和弱监督模型的边缘权重的交互分数，预测可恨的用户。我们利用多层网络嵌入方法来生成预测任务的特征，并且我们表明考虑来自多个网络的用户上下文有助于更好地预测Gab中的仇恨用户。与单层或同构网络嵌入模型相比，我们获得了高达7%的性能增益。
2020-07-24 cs.LG cs.SI
Snorkel DryBell: A Case Study in Deploying Weak Supervision at Industrial Scale
Brown University（布朗大学）；Google（谷歌）；Stanford University（斯坦福大学）
标记训练数据是开发基于机器学习的应用程序中成本最高的瓶颈之一。我们提出了一个第一的同类研究显示如何现有的知识资源，从整个组织可以被用来作为弱监督，以使开发时间和成本下降了一个数量级，并介绍了Snorkel DryBell，一个新的弱监督管理系统，这种设置。Snorkel DryBell建立在Snorkel框架的基础上，在三个关键方面对其进行了扩展：灵活的，基于模板的各种组织知识的摄取，跨功能的生产服务，以及可扩展的，无采样的执行。在Google的三个分类任务中，我们发现Snorkel DryBell创建的分类器的质量与使用数万个手工标记的示例训练的分类器相当，将不可服务的组织资源转换为可服务的模型，平均性能提高了52%，并在数十分钟内执行了数百万个数据点。
2019-06-03 cs.LG stat.ML
How to Train Text Summarization Model with Weak Supervisions
School of Computer Science and Technology, North University of China（中北大学计算机科学与技术学院）；School of Semiconductor and Physics, North University of China（中北大学半导体与物理学院）
本文提出一种将复杂目标分解为简单子任务并生成弱监督信号的方法，实现无标签端到端训练主题摘要模型，在CNN和DailyMail数据集上取得优异效果。
2024-08-27 cs.CL cs.LG
WeShap: Weak Supervision Source Evaluation with Shapley Values
University of Toronto（多伦多大学）
本文提出 WeShap，利用 Shapley 值和动态规划评估弱监督源贡献，可筛选标注函数、纠错并改进 PWS，使下游准确率平均提升 5.0 点。
2025-03-15 cs.GT cs.LG
Learning Hyper Label Model for Programmatic Weak Supervision
Georgia Tech（佐治亚理工学院）；University of Washington（华盛顿大学）
为了减少人工注释工作，程序化弱监督（PWS）范式将弱监督源抽象为标签函数（LF），并涉及一个标签模型来聚合多个LF的输出以产生训练标签。大多数现有的标签模型需要对每个数据集进行参数学习。在这项工作中，我们提出了一个超标签模型，该模型（一旦学习）可以在单个前向传递中推断每个数据集的真实标签，而无需特定于数据集的参数学习。超标签模型近似于地面实况标签的最佳分析（但在计算上难以处理）解决方案。我们在生成的合成数据上对模型进行训练，以确保模型逼近分析最优解，并在图神经网络（GNN）上构建模型，以确保模型预测对LF（或数据点）的排列不变（或等变）。在14个真实世界的数据集上，我们的超标签模型在准确性（平均1.4分）和效率（平均6倍）方面都优于现有的最佳方法。我们的代码可在https://github.com/wurenzhi/hyper_label_model上获得
2023-03-08 cs.DB cs.LG
