Learning from Multiple Noisy Partial Labelers
Brown University（布朗大学）；UC Berkeley（加州大学伯克利分校）
程序化弱监督通过组合启发式标记器的输出来创建没有手工标记的训练数据的模型。现有的框架做出了限制性的假设，即标签器输出单个类标签。允许用户创建部分标签器，输出可能的类标签的子集，将大大扩展编程式弱监督的表达能力。我们通过定义一个概率生成模型来引入这种能力，该模型可以估计多个嘈杂的部分标签的潜在精度，而无需地面真实标签。我们展示了如何扩展学习，例如在一分钟内学习10万个示例，与简单的实现相比，速度提高了300倍。我们还证明了这类模型是一般可识别的标签交换在温和的条件下。我们评估我们的框架上的三个文本分类和六个对象分类任务。在文本任务中，添加部分标签可以将平均准确率提高8.6个百分点。在图像任务中，我们表明，部分标签，使我们能够接近一些zero-shot对象分类问题的程序性弱监督使用类属性作为部分标签。在这些任务上，我们的框架具有与最近基于嵌入的零样本学习方法相当的准确性，同时仅使用预训练的属性检测器。
2022-03-25 cs.LG stat.ML
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
Generative Modeling Helps Weak Supervision (and Vice Versa)
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin（威斯康星大学）；Stanford University（斯坦福大学）
监督机器学习的许多有前途的应用在获取足够数量和质量的标记数据方面面临障碍，这造成了昂贵的瓶颈。为了克服这些限制，人们研究了不依赖于地面真实标签的技术，包括弱监督和生成式建模。虽然这些技术似乎可以协同使用，相互改进，但如何在它们之间构建接口还没有得到很好的理解。在这项工作中，我们提出了一个模型融合程序化弱监督和生成对抗网络，并提供了激励这种融合的理论依据。所提出的方法捕捉离散的潜变量的数据，以及弱监督派生的标签估计。两者的对齐允许更好地建模弱监督源的样本相关精度，提高未观察到的标签的估计。这是第一种通过弱监督合成图像和伪标记实现数据增强的方法。此外，其学习的潜变量可以定性地检查。该模型在多类图像分类数据集上的性能优于基线弱监督标签模型，提高了生成图像的质量，并通过合成样本的数据增强进一步提高了最终模型的性能。
2023-03-11 cs.AI cs.CV cs.LG
Weak Supervision Performance Evaluation via Partial Identification
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对无真实标签时弱监督模型难以评估的问题，提出将评估建模为部分识别问题、用Fréchet界结合凸优化估计性能边界的方法，可高效得到多指标的可靠边界，提升弱监督学习实用性。
2024-10-31 cs.AI cs.LG stat.ME
Label Augmentation with Reinforced Labeling for Weak Supervision
NEC Laboratories Europe（NEC欧洲实验室）
弱监督（WS）是传统监督学习的替代方案，以解决对基础事实的需求。数据编程是一种实用的WS方法，它允许使用标签函数（LF）编程标记数据样本，而不是手动标记每个数据点。然而，现有的方法未能充分利用领域知识编码到LF，特别是当LF的覆盖率低。这是由于公共数据编程流水线忽略了在生成过程期间利用数据特征。本文提出了一种新的方法，称为强化标记（RL）。给定一个未标记的数据集和一组LF，RL基于样本之间的相似性将LF的输出增加到LF未覆盖的情况。因此，RL可以导致用于训练最终分类器的更高的标记覆盖率。在几个领域（YouTube评论分类、葡萄酒质量和天气预测）的实验都取得了相当大的成果。与最先进的数据编程方法相比，新方法产生了显着的性能改进，准确性高达+21点，F1分数为+61点。
2022-04-13 cs.LG
Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming
University of Washington（华盛顿大学）；Snorkel AI, Inc.（Snorkel AI公司）
弱监督（WS）技术允许用户通过编程方式用启发式监督源标记数据来有效地创建大型训练数据集。虽然WS的成功在很大程度上依赖于所提供的标记策略，但在实践中如何创建这些策略的过程仍然未得到充分探索。在这项工作中，我们正式的开发过程中，标签的启发式的互动过程，围绕现有的工作流程，用户从一组选定的开发数据设计的启发式的来源。与形式主义，我们研究了两个核心问题，如何战略性地选择开发数据，以指导用户在有效地创建信息的统计，以及如何利用开发过程中的信息，以上下文和更好地学习结果的统计。建立在两种新的方法，有效地解决各自考虑的问题，我们提出了尼莫，一个端到端的交互式系统，提高了WS学习管道的整体生产力平均20%（和高达47%，在一个任务）相比，流行的WS方法。
2022-10-24 cs.LG stat.ML
Weak Supervision with Incremental Source Accuracy Estimation
Stanford University（斯坦福大学）
出于生成实时数据标签的愿望，我们开发了一种方法来估计依赖结构和精度的弱监督源增量。我们的方法首先估计与监督源相关的依赖结构，然后使用它来迭代更新估计的源精度，因为收到了新的数据。使用现成的分类模型训练使用公开可用的数据集和启发式函数作为监督源，我们表明，我们的方法生成的概率标签的准确性匹配现有的离线方法。
2022-05-11 cs.LG stat.AP
An Adaptive Method for Weak Supervision with Drifting Data
Brown University（布朗大学）
针对非平稳环境下弱监督源准确率随时间漂移的问题，提出一种无需先验假设、通过动态调整窗口大小自适应估计弱监督源准确率的方法，在合成与真实数据上验证了其有效性。
2025-05-01 cs.LG
Training Subset Selection for Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northwestern University（西北大学）
现有的弱监测方法使用弱信号覆盖的所有数据来训练分类器。我们从理论和经验上表明，这并不总是最佳的。直觉上，弱标签数据的数量和弱标签的精度之间存在权衡。我们通过将预训练的数据表示与切割统计相结合来探索这种权衡（Muhlenbach等人，2004）来选择（希望）弱标记训练数据的高质量子集。子集选择适用于任何标签模型和分类器，并且非常简单地插入到现有的弱监督管道中，只需要几行代码。我们展示了我们的子集选择方法提高了广泛的标签模型，分类器和数据集的弱监督性能。使用较少的弱标记数据可以将弱监督管道的准确性提高19%（绝对值）。
2023-03-06 cs.AI cs.LG stat.ML
Alfred: A System for Prompted Weak Supervision
Brown University（布朗大学）
Alfred 是首个基于提示的程序化弱监督系统，通过自然语言提示替代专家编程来创建训练数据，并提供高效后端与优化批处理，将查询吞吐量提升 2.9 倍。
2023-05-29 cs.CL cs.LG
A General Framework for Learning from Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；William & Mary（威廉玛丽学院）；Singapore University of Technology and Design（新加坡科技设计大学）；Peking University（北京大学）；RIKEN AIP（理化学研究所人工智能项目）；The University of Tokyo（东京大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出从弱监督中学习的通用框架GLWS，通过EM公式和NFA前向-后向算法将时间复杂度降至线性，在11个场景中表现优异。
2024-06-05 cs.AI cs.LG
Neuro-symbolic Weak Supervision: Theory and Semantics
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）
研究多实例部分标签学习中神经符号框架语义，通过集成归纳逻辑编程用关系约束构建该框架，定义标签转换假设空间等，研究两项归纳任务，便于约束规范等。
2026-07-07 cs.AI cs.LG
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类（即，元训练类）然后推广到具有有限标记节点的类（即，元测试类）。然而，在现实世界的图，它通常是很难获得丰富的标记节点的许多类。在实践中，每个元训练类只能由几个标记节点组成，称为极弱监督问题。在Few-Shot节点分类中，由于用于元训练的标记节点非常有限，元训练和元测试之间的泛化差距将变得更大，从而导致次优性能。为了解决这个问题，我们研究了一个新的问题，Few-Shot节点分类与极弱的监督，并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说，我们的目标是在极弱的监督下，在不同的元训练任务中积累元知识，并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战，我们提出了两个基本模块来获取伪标签节点作为额外的参考，并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验，以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Disambiguation of weak supervision with exponential convergence rates
Institut National de Recherche en Informatique et en Automatique（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
通过监督学习进行的机器学习需要昂贵的数据注释。这激发了弱监督学习，其中数据用不完整但有区别的信息进行注释。在本文中，我们专注于部分标签，一个弱监督的例子，从一个给定的输入，我们给出了一组潜在的目标。我们回顾了从弱监管中恢复完全监管的消歧原则，并提出了一个经验消歧算法。我们证明了我们的算法在经典的可学习性假设下的指数收敛速度，我们说明了我们的方法的实用性的实际例子。
2021-07-15 cs.AI cs.LG stat.ML
Policy Learning Using Weak Supervision
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Northwestern University（西北大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
大多数现有的策略学习解决方案需要学习代理接收高质量的监督信号，例如强化学习（RL）中精心设计的奖励或行为克隆（BC）中的高质量专家演示。在实践中，这些质量监督通常是不可行的，或者是昂贵得令人望而却步。我们的目标是一个统一的框架，利用现有的廉价的弱监督，有效地执行策略学习。为了处理这个问题，我们把“弱监督”作为来自对等代理的不完美信息，并根据与对等代理的政策（而不是简单的协议）的“相关协议”来评估学习代理的政策。我们的方法明确地惩罚了过度适应弱监管的政策。除了理论上的保证，广泛的评估任务，包括RL与嘈杂的奖励，BC与弱示范，和标准的政策共同训练表明，我们的方法导致了显着的性能改善，特别是当学习环境的复杂性或噪音是高的。
2021-11-02 cs.AI cs.LG stat.ML
Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat
Comcast Applied AI Research（康卡斯特应用人工智能研究院）
之前使用弱监督的情感分析工作主要集中在不同的评论上，如电影（IMDB），餐馆（Yelp），产品（亚马逊）。在这方面，由于缺乏免费的公共数据，一个未充分开发的领域是客户支持中客户-代理聊天的客户聊天数据。在这里，我们使用内部数据集的弱监督对客户聊天进行情感分析。我们使用弱监督来微调预训练的语言模型（LM）RoBERTa作为情感分类器。我们的贡献如下：1）我们表明，通过使用弱情感分类器以及特定领域的基于词典的规则作为标签功能（LF），我们可以训练一个相当准确的客户聊天情感分类器使用弱监督。2)我们将我们的定制训练模型的性能与现成的Google Cloud NLP API进行情感分析。我们表明，通过使用LF注入特定于领域的知识，即使监督较弱，我们也可以训练模型，使其比现成的Google Cloud NLP API更好地处理某些特定于领域的用例。3)我们还分析了聊天中的客户情绪与问题解决方案的关系。
2021-11-30 cs.AI cs.CL cs.LG
Creating Training Sets via Weak Indirect Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）；Snorkel AI, Inc.（Snorkel AI公司）
创建标记的训练集已经成为机器学习的主要障碍之一。为了解决这个问题，最近的\emph{Weak Supervision (WS)}框架综合训练标签从多个潜在的噪声监督源。然而，现有的框架仅限于共享相同的输出空间作为目标任务的监督源。为了扩展可用源的范围，我们制定了弱间接监督（WIS），一个新的研究问题，自动合成训练标签的基础上，间接监督源，具有不同的输出标签空间。为了克服输出空间不匹配的挑战，我们开发了一种概率建模方法PLRM，它使用用户提供的标签关系来建模和利用间接监督源。此外，我们提供了一个理论上的原则测试PLRM的可扩展性看不见的标签，随着推广界。在图像和文本分类任务以及工业广告应用中，我们通过超过基线2%-9%的幅度展示了PLRM的优势。
2022-03-14 cs.LG stat.AP stat.ML
Learning Stable Predictors from Weak Supervision under Distribution Shift
University of Central Florida（中央佛罗里达大学）
本文研究了在分布偏移下从弱监督中学习稳定预测器的问题，通过CRISPR-Cas13d转录组扰动实验，探讨了监督漂移现象，并展示了弱监督在域内学习和部分跨细胞系迁移中的有效性，同时揭示了时间迁移中的失败源于监督漂移而非模型容量或简单协变量偏移。
2026-05-19 cs.AI cs.LG
skweak: Weak Supervision Made Easy for NLP
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
我们介绍了skweak，一个多功能的，基于Python的软件工具包，使NLP开发人员能够将弱监督应用于广泛的NLP任务。弱监督是一种新兴的机器学习范式，它基于一个简单的想法：我们使用来自领域知识的标签函数来自动获取给定数据集的注释，而不是手动标记数据点。然后，将得到的标签与生成模型聚合，该生成模型估计每个标签函数的准确性（和可能的混淆）。skweak工具包可以很容易地在文本数据上实现大量的标签功能（如分类、地名词典、神经模型或语言约束），将它们应用于语料库，并以完全无监督的方式聚合它们的结果。skweak是专门为促进弱监督用于NLP任务而设计的，例如文本分类和序列标签。我们说明了使用skweak的NER和情感分析。skweak是在开放源码许可下发布的，可在https://github.com/NorskRegnesentral/skweak上获得
2021-04-19 cs.AI cs.CL cs.LG
Universalizing Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种可适用于任意标签类型的通用弱监督技术，并将其成功应用于学习排序、回归和双曲空间学习等此前未覆盖的问题，兼具灵活性与理论保证。
2023-11-29 cs.AI cs.LG
When Can LLMs Learn to Reason with Weak Supervision?
University of California, Los Angeles（加州大学洛杉矶分校）；New York University（纽约大学）；Google（谷歌）
研究探讨了在弱监督下大语言模型推理能力的提升条件，发现训练奖励饱和动态决定泛化能力，通过分离预训练和微调发现显式推理轨迹的监督微调是关键。
2026-04-20 cs.AI cs.LG
Learning to Learn from Weak Supervision by Full Supervision
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
在本文中，我们提出了一种方法来训练神经网络时，我们有一个大的数据集与弱标签和少量的数据与真正的标签。在我们提出的模型中，我们训练两个神经网络：目标网络，学习者和置信网络，元学习者。目标网络被优化以执行给定的任务，并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数来控制目标网络的梯度更新的大小，该置信度网络是在少量监督数据上训练的。因此，我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。
2017-11-30 cs.AI cs.CL cs.LG
Removing Sandbagging in LLMs by Training with Weak Supervision
University of Oxford（牛津大学）；Redwood Research（红木研究）
研究通过结合监督微调与强化学习，发现弱监督训练能有效消除模型虚报行为，但需确保训练与部署不可区分。
2026-05-01 cs.AI cs.LG
LLM as an Algorithmist: Enhancing Anomaly Detectors via Programmatic Synthesis
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；CUHK-Shenzhen（香港中文大学（深圳））；Department of DSAI, Monash University（莫纳什大学数据科学与人工智能系）；KAUST（阿卜杜拉国王科技大学）；International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动人机智能工程研究中心）
本文提出LLM-DAS框架，将LLM从数据处理者转变为算法家，通过程序合成生成对抗性异常，提升检测器鲁棒性。
2026-03-30 cs.LG
Weak Supervision for Improved Precision in Search Systems
LinkedIn Corporation（领英公司）
本文提出一种弱监督方法，通过推断查询-文档对质量并集成到Learning to Rank框架中，以低成本提升大规模搜索系统的精度。
2025-03-10 cs.AI cs.IR cs.LG
Inferring Generative Model Structure with Static Analysis
Stanford University（斯坦福大学）
获得足够的标记数据来健壮地训练复杂的判别模型是机器学习管道中的主要瓶颈。一个流行的解决方案是使用生成模型将多个弱监督源结合起来。这些模型的结构会影响训练标签的质量，但在没有任何基础事实标签的情况下很难学习。相反，我们依赖于这些弱监督源，这些源通过编程编码而具有某种结构。我们提出了珊瑚，一个范例，推断生成模型的结构，通过静态分析代码，这些算法，从而减少所需的数据学习结构显着。我们证明了珊瑚的样本复杂度的规模与数量的prostitics和数量的关系发现，提高了标准样本的复杂性，这是指数在$n$识别$n^{\textrm{th}}$度关系。在实验中，Coral匹配或优于传统的结构学习方法高达3.81 F1点。使用Coral对依赖关系进行建模，而不是假设独立性，当使用统计学标记放射学数据而不使用地面真实标签时，其性能比完全监督模型好3.07个准确点。
2017-09-07 cs.AI cs.LG stat.ML
Weak Supervision for Affordable Modeling of Electrocardiogram Data
Carnegie Mellon University（卡内基梅隆大学）
分析心电图（ECG）是诊断心脏病的一种廉价，非侵入性，但功能强大的方法。到目前为止，使用机器学习自动检测异常心跳的ECG研究依赖于大型手动注释的数据集。虽然收集大量未标记的数据可以很简单，但对异常心跳进行逐点注释是繁琐和昂贵的。我们探索使用多个弱监督源来通过人类设计的算法学习异常心跳的诊断模型，而不使用单个数据点上的地面真值标签。我们的工作是第一个直接在时间序列数据上定义弱监督源的工作。结果表明，只有六个直观的时间序列分类，我们能够推断出高质量的概率标签估计超过100，000心跳，很少的人力，并使用估计的标签训练竞争力的分类器上举行的测试数据评估。
2022-01-09 cs.AI cs.LG eess.SP
WeaNF: Weak Supervision with Normalizing Flows
University of Vienna（维也纳大学）
一个流行的方法，以减少需要昂贵的人工注释的大型数据集是弱监督，这引入了噪声标签，覆盖和偏见的问题。克服这些问题的方法要么依赖于判别模型，用特定于弱监督的成本函数进行训练，要么依赖于最近的生成模型，试图对自动注释过程的输出进行建模。在这项工作中，我们探索了弱监督生成建模的一个新方向：不是对注释过程的输出（标签函数匹配）进行建模，而是对标签函数覆盖的输入端数据分布（特征空间）进行生成建模。具体来说，我们通过使用归一化流来估计每个弱标记源或标记函数的密度。我们的方法的一个组成部分是多个同时匹配的标记函数的基于流的建模，因此捕获了标记函数重叠和相关性等现象。我们分析了各种常用的弱监督数据集上的有效性和建模能力，并表明弱监督规范化流与标准弱监督基线相比是有利的。
2022-05-02 cs.CL cs.LG
Weakly Supervised Learning Creates a Fusion of Modeling Cultures
Columbia University（哥伦比亚大学）
在过去的二十年里，Breiman等人（2001）提出的算法建模框架取得了巨大的成功。然而，这些黑盒模型的出色预测性能在很大程度上依赖于强有力的监督，即大量准确和精确的地面实况标签。在实践中，强监督可能是不可用的或昂贵的，这需要弱监督下的建模技术。在这篇评论中，我们总结了弱监督学习的关键概念，并讨论了该领域的一些最新进展。在弱监督下单独使用算法建模可能会导致不稳定和误导性的结果。一个有前途的方向是将数据建模文化集成到这样的框架中。
2021-06-02 cs.LG stat.AP stat.ML
Weak Supervision for Real World Graphs
McGill University（麦吉尔大学）
本文提出弱监督图对比学习框架 WSNET，利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习，在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
End-to-End Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）；Technical University of Darmstadt（达姆施塔特工业大学）
聚合多个弱监督源（WS）可以通过取代繁琐的地面真实标签的手动收集来缓解许多机器学习应用中普遍存在的数据标签瓶颈。然而，不使用任何标记的训练数据的现有技术方法需要两个单独的建模步骤：基于WS源学习概率潜在变量模型-做出在实践中很少成立的假设-然后进行下游模型训练。重要的是，建模的第一步不考虑下游模型的性能。为了解决这些问题，我们提出了一种端到端的方法，直接学习下游模型，通过最大限度地提高其与概率标签的协议，通过重新参数化以前的概率后验与神经网络。我们的研究结果表明，在下游测试集上的最终模型性能方面，以及在对弱监督源之间的依赖关系的鲁棒性方面，比以前的工作性能有所提高。
2021-11-30 cs.AI cs.LG stat.ML
ScriptoriumWS: A Code Generation Assistant for Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 ScriptoriumWS，利用代码生成模型辅助编写弱监督来源，并通过多层提示及手写与生成来源结合，在保持准确率的同时显著提高覆盖率。
2025-02-17 cs.LG
WRENCH: A Comprehensive Benchmark for Weak Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的弱监督（WS）方法通过合成来自多个潜在噪声监督源的标签，在缓解标记机器学习的训练数据的瓶颈方面取得了广泛的成功。然而，对这些方法进行适当的衡量和分析仍然是一个挑战。首先，现有作品中使用的数据集通常是私有和/或自定义的，限制了标准化。其次，具有相同名称和基础数据的WS数据集通常在标签和使用的弱监督源方面有所不同，这是评估方差的一个重要“隐藏”来源。最后，WS研究通常在评价方案和所用消融方面存在分歧。为了解决这些问题，我们引入了一个基准平台，扳手，彻底和标准化的WS方法的评估。它由22个用于分类和序列标记的不同真实世界数据集组成;一系列真实的，合成的和程序生成的弱监督源;以及用于WS评估的模块化，可扩展的框架，包括流行WS方法的实现。我们使用WRENCH对120多种方法变体进行了广泛的比较，以证明其作为基准平台的有效性。该代码可在https://github.com/JieyuZ2/wrench上获得。
2021-10-11 cs.AI cs.CL cs.LG
Constrained Labeling for Weakly Supervised Learning
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
大型全监督数据集的管理已经成为机器学习的主要障碍之一。弱监督提供了一种替代监督学习的方法，通过使用来自不同来源的廉价、嘈杂且可能相关的标记函数进行训练。弱监督学习的关键挑战是结合不同的弱监督信号，同时导航错误中的误导性相关性。在本文中，我们提出了一种简单的无数据方法，通过定义一个约束空间的弱信号的可能标签和训练与随机标签在这个约束空间内结合弱监督信号。我们的方法是有效的和稳定的，收敛后的几个迭代的梯度下降。我们证明了理论条件下，随机标签的最坏情况下的错误减少的秩的线性约束。我们的实验表明，我们的方法优于其他弱监督方法在各种文本和图像分类任务。
2021-05-29 cs.AI cs.LG stat.ML
WeShap: Weak Supervision Source Evaluation with Shapley Values
University of Toronto（多伦多大学）
本文提出 WeShap，利用 Shapley 值和动态规划评估弱监督源贡献，可筛选标注函数、纠错并改进 PWS，使下游准确率平均提升 5.0 点。
2025-03-15 cs.GT cs.LG
Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
获取大的带注释的数据集对于训练成功的机器学习模型至关重要，并且它通常是实践中的瓶颈。弱监督提供了一种有前途的替代方案，通过使用多个噪声分类生成概率标签来生成没有地面实况注释的标记数据集。这个过程可以扩展到大型数据集，并在医疗保健和电子商务等不同领域展示了最先进的性能。从用户生成的知识库中学习的一个实际问题是，它们的创建需要手工制作它们的人的创造力，远见和领域专业知识，这是一个繁琐和主观的过程。我们开发了第一个框架，互动式弱监督的方法，提出了启发式和学习用户反馈给每个建议的启发式。我们的实验表明，只需要少量的反馈迭代训练模型，实现高度竞争力的测试集性能，而无需访问地面真实训练标签。我们进行了用户研究，结果表明用户能够有效地提供启发式反馈，并且测试集结果跟踪模拟预言机的性能。
2021-01-25 cs.AI cs.LG stat.ML
The Weak Supervision Landscape
University of Bristol（布里斯托大学）；Universidad Carlos III of Madrid（马德里卡洛斯三世大学）
在实践中存在许多为机器学习分类任务注释数据集的方法，这些方法超出了通常的类标签。这些是令人感兴趣的，因为它们可以简化或促进注释的收集，同时不会极大地影响所得到的机器学习模型。其中许多属于弱标签或注释的保护范围。然而，不同的替代品之间的关系并不总是很清楚。在本文中，我们提出了一个弱监督设置分类框架，目的是：（1）帮助数据集所有者或注释者在规定注释过程时浏览弱监督中的可用选项，以及（2）向机器学习从业者描述数据集的现有注释，以便我们允许他们理解学习过程的含义。为此，我们确定的关键因素，消除薄弱的监督，并设计了一系列的尺寸，分类大多数现有的方法。我们将展示如何在文献中常见的设置适合的框架内，并讨论其在实践中可能的用途。
2022-03-30 cs.LG
Training Complex Models with Multi-Task Weak Supervision
Stanford University（斯坦福大学）
随着机器学习模型的复杂性不断增加，收集大量人工标记的训练集已成为实践中最大的障碍之一。相反，经常使用较弱的监管形式，提供更嘈杂但更便宜的标签。然而，这些弱监督源具有不同的和未知的准确性，可以输出相关的标签，并且可以标记不同的任务或以不同的粒度级别应用。我们提出了一个框架，将这些弱监督源视为一个问题的不同相关子任务的标签，我们称之为多任务弱监督设置的整合和建模。我们表明，通过解决矩阵完成式问题，我们可以恢复这些多任务源的准确性，因为它们的依赖结构，但没有任何标记的数据，从而导致更高质量的监督训练最终模型。从理论上讲，我们证明了用这种方法训练的模型的泛化误差随着未标记数据点的数量而提高，并表征了任务和依赖结构的缩放。在三个细粒度分类问题上，我们表明，我们的方法比传统的监督方法平均提高了20.2分的准确性，比多数投票基线提高了6.8分，比以前提出的单独建模任务的弱监督方法提高了4.1分。
2018-12-07 cs.LG stat.ML
Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy
Verily Life Sciences（Verily生命科学公司）
我们提出了一个两阶段的无监督的方法来解析视频成阶段。我们使用运动线索将视频分成粗略的片段。然后，噪声段标签用于弱监督基于外观的分类器。我们展示了该方法在结肠镜视频中相位检测的有效性。
2022-10-16 cs.CV cs.LG
Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods
Stanford University（斯坦福大学）
弱监督是构建机器学习模型而不依赖于地面实况注释的流行方法。相反，它通过估计多个噪声标记源的准确性来生成概率训练标签（例如，工人（crowd workers）。现有的方法使用潜变量估计来对噪声源进行建模，但是这些方法在计算上可能是昂贵的，在数据中超线性地缩放。在这项工作中，我们证明了，对于一类高度适用于弱监督的潜变量模型，我们可以找到模型参数的封闭形式解，从而避免了像随机梯度下降（SGD）这样的迭代解。我们利用这一见解来构建FlyingSquid，这是一个弱监督框架，比以前的弱监督方法运行速度快几个数量级，并且需要更少的假设。特别是，我们证明了泛化误差的界限，而无需假设潜在变量模型可以精确地参数化底层数据分布。从经验上讲，我们在基准弱监督数据集上验证了FlyingSquid，并发现与以前的方法相比，它实现了相同或更高的质量，而无需调整SGD程序，恢复模型参数的速度平均快170倍，并实现了新的视频分析和在线学习应用。
2020-07-15 cs.LG stat.ML
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题，但通常限于可微记忆，因此不能扩展到小的合成任务之外。在这项工作中，我们提出了管理员-程序员-计算机框架，它集成了神经网络与不可微的内存，以支持抽象的，可扩展的和精确的操作，通过一个友好的神经计算机接口。具体来说，我们介绍了一个神经符号机，其中包含一个序列到序列的神经“程序员”，和一个不可微的“计算机”，这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练，我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP，一个具有挑战性的语义解析数据集，与弱监督。与以前的方法相比，NSM是端到端的，因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
提出多模态提示学习范式，通过同时学习图提示和文本提示将图嵌入大型语言模型空间，在极弱文本监督下实现GNN的少样本、跨域适应及零样本分类。
2025-06-01 cs.AI cs.LG cs.SI
WALNUT: A Benchmark on Semi-weakly Supervised Learning for Natural Language Understanding
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）
为自然语言理解（NLU）任务构建机器学习模型在很大程度上依赖于标记数据。当大量标记数据不可用或获取成本高昂时，弱监督已被证明是有价值的。现有的研究NLU弱监督的工作大多集中在特定的任务或模拟弱监督信号从地面实况标签。因此，如果没有一个统一而系统的基准，不同的任务和现实世界的弱标签规则，就很难比较不同的方法并评估弱监管的好处。在本文中，我们提出了这样一个基准，命名为WALNUT（半Weakly监督学习自然语言理解测试床），倡导和促进弱监督NLU的研究。WALNUT由不同类型的NLU任务组成，包括文档级和令牌级预测任务。WALNUT是NLU的第一个半弱监督学习基准，其中每个任务包含由多个真实世界弱源生成的弱标签，以及一小组干净标签。我们对WALNUT进行基线评估，以系统地评估各种弱监督方法和模型架构的有效性。我们的研究结果证明了弱监督对低资源NLU任务的好处，并突出了跨任务的有趣模式。我们预计WALNUT将刺激对方法的进一步研究，以更有效地利用薄弱的监管。基准测试和基准代码可在\url{aka.ms/walnut_benchmark}上获得。
2022-05-23 cs.CL cs.LG
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Improving the performance of weak supervision searches using data augmentation
National Taiwan University（台湾大学）；National Center for Theoretical Sciences（国家理论科学中心）
针对弱监督训练神经网络需过量信号数据的问题，提出使用受物理启发的数据增强方法（如$p_{\ ext{T}}$涂抹和jet旋转）增加数据规模与多样性，显著提升了弱监督性能并减少数据需求。
2024-11-29 cs.LG hep-ex hep-ph
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
利用神经网络的统计能力来执行语言理解和符号推理是困难的，当它需要对大型知识库执行有效的离散操作时。在这项工作中，我们介绍了一个神经符号机，它包含（a）一个神经“程序员”，即，将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型（b）符号“计算机”，即，一个Lisp解释器，执行程序执行，并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性，我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时，NSM在Websites SP数据集上的表现优于最先进的技术，而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Multi-Resolution Weak Supervision for Sequential Data
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
由于手动标记训练数据缓慢且昂贵，最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而，现有的弱监督方法无法对序列数据（如视频）的多分辨率源进行建模，这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战，这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong，这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架，可以为训练数据分配概率标签。在理论上，我们证明了儒艮，在温和的条件下，可以唯一地恢复未观察到的精度和相关参数，并使用参数共享，以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库，帮助超过传统监督36.8 F1点，并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言，在几个视频和传感器分类任务中，Dugong比传统监督方法提高了16.0 F1点，比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
Integrated Weak Learning
University College London（伦敦大学学院）；Humanloop
我们介绍了集成弱学习，这是一个将弱监督集成到机器学习模型训练过程中的原则性框架。我们的方法联合训练了端模型和标签模型，该模型聚合了多个弱监管源。我们引入了一个标签模型，它可以学习为不同的数据点聚合不同的弱监督源，并在训练过程中考虑端模型的性能。我们证明了我们的方法在一组6个基准分类数据集上优于现有的弱学习技术。当存在少量标记数据和弱监督时，性能的提高既一致又大，与非集成方法相比，可靠地获得2-5分的测试F1得分增益。
2022-06-19 cs.LG
Data Selection for training Semantic Segmentation CNNs with cross-dataset weak supervision
Eindhoven University of Technology（埃因霍温理工大学）
训练具有强（每像素）和弱（每边界框）监督的语义分割的卷积网络需要大量弱标记数据。我们提出了两种方法来选择最相关的数据与弱监管。第一种方法是为了寻找视觉上相似的图像，而不需要标签，是基于高斯混合模型（GMM）的图像表示建模。作为GMM建模的副产品，我们提出了有用的见解，表征数据生成分布。第二种方法的目的是寻找具有高对象多样性的图像，并且仅需要限界框标签。这两种方法都是在自动驾驶的背景下开发的，并在Cityscapes和Open Images数据集上进行了实验。我们通过将所使用的弱标记图像的数量减少到Open Images的100倍和Cityscapes的20倍来展示性能提升。
2019-07-16 cs.CV cs.LG
Mitigating Source Bias for Fairer Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究弱监督中的公平性问题，提出基于反事实公平性的源偏置缓解方法，可同时提升准确率与公平性，并在多个数据集上取得显著效果。
2023-11-29 cs.CY cs.LG stat.ML
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Learning Dependency Structures for Weak Supervision Models
Stanford University（斯坦福大学）
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源，估计其准确性，而无需访问地面真相标签;然而，估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构，建立改进的理论恢复率，并优于现有的方法在各种现实世界的任务。在一定条件下，我们表明，所需的未标记的数据量可以缩放次线性，甚至与源$m$的数量，改善了以前的努力，忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中，比假设条件独立源的弱监督方法高出4.64个F1点，比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach
Georgia Institute of Technology（佐治亚理工学院）
微调预训练语言模型（LM）在许多自然语言处理（NLP）任务中取得了巨大的成功，但在微调阶段仍然需要大量的标记数据。我们研究了仅使用弱监督而不使用任何标记数据来微调预训练LM的问题。这个问题是具有挑战性的，因为LM的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这个问题，我们开发了一个对比的自我训练框架，COSINE，使微调LM与弱监督。在对比正则化和基于置信度的重新加权的基础上，这种对比自训练框架可以逐步改善模型拟合，同时有效地抑制误差传播。在序列、标记和句子对分类任务上的实验表明，该模型在6个任务的7个基准测试中大幅优于最强基线，并在全监督微调方法下取得了有竞争力的性能。
2021-03-31 cs.CL cs.LG
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI；Stanford University（斯坦福大学）；Brown University（布朗大学）
我们提出了一种新的策略，当标记的训练数据有限时，将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型，我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器，我们首先提示模型回答关于一个例子的多个不同的查询，并定义如何将可能的响应映射到标签和弃权的投票。然后，我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明，在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中，这种方法可以显著提高超过zero-shot的性能，平均减少19.5%的错误。我们还发现，这种方法产生的分类器具有可比或更高的准确性，从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
