Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat
Comcast Applied AI Research（康卡斯特应用人工智能研究院）
之前使用弱监督的情感分析工作主要集中在不同的评论上，如电影（IMDB），餐馆（Yelp），产品（亚马逊）。在这方面，由于缺乏免费的公共数据，一个未充分开发的领域是客户支持中客户-代理聊天的客户聊天数据。在这里，我们使用内部数据集的弱监督对客户聊天进行情感分析。我们使用弱监督来微调预训练的语言模型（LM）RoBERTa作为情感分类器。我们的贡献如下：1）我们表明，通过使用弱情感分类器以及特定领域的基于词典的规则作为标签功能（LF），我们可以训练一个相当准确的客户聊天情感分类器使用弱监督。2)我们将我们的定制训练模型的性能与现成的Google Cloud NLP API进行情感分析。我们表明，通过使用LF注入特定于领域的知识，即使监督较弱，我们也可以训练模型，使其比现成的Google Cloud NLP API更好地处理某些特定于领域的用例。3)我们还分析了聊天中的客户情绪与问题解决方案的关系。
2021-11-30 cs.AI cs.CL cs.LG
Learning Stable Predictors from Weak Supervision under Distribution Shift
University of Central Florida（中央佛罗里达大学）
本文研究了在分布偏移下从弱监督中学习稳定预测器的问题，通过CRISPR-Cas13d转录组扰动实验，探讨了监督漂移现象，并展示了弱监督在域内学习和部分跨细胞系迁移中的有效性，同时揭示了时间迁移中的失败源于监督漂移而非模型容量或简单协变量偏移。
2026-05-19 cs.AI cs.LG
Universalizing Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种可适用于任意标签类型的通用弱监督技术，并将其成功应用于学习排序、回归和双曲空间学习等此前未覆盖的问题，兼具灵活性与理论保证。
2023-11-29 cs.AI cs.LG
When Can LLMs Learn to Reason with Weak Supervision?
University of California, Los Angeles（加州大学洛杉矶分校）；New York University（纽约大学）；Google（谷歌）
研究探讨了在弱监督下大语言模型推理能力的提升条件，发现训练奖励饱和动态决定泛化能力，通过分离预训练和微调发现显式推理轨迹的监督微调是关键。
2026-04-20 cs.AI cs.LG
A Survey on Programmatic Weak Supervision
University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Snorkel AI, Inc.（斯耐克尔人工智能公司）
标记训练数据已成为使用机器学习的主要障碍之一。在各种弱监督范式中，程序化弱监督（PWS）通过程序化地合成来自多个潜在噪声监督源的训练标签，在缓解手动标记瓶颈方面取得了显着的成功。本文介绍了PWS的最新进展的全面调查。特别是，我们简要介绍了PWS的学习范式，并审查PWS的学习工作流程中的每个组件的代表性方法。此外，我们还讨论了用于处理有限标记数据场景的补充学习范式，以及这些相关方法如何与PWS结合使用。最后，我们确定了几个关键的挑战，仍然在该领域的探索不足，希望能激发该领域未来的研究方向。
2022-02-14 cs.AI cs.LG stat.AP
Removing Sandbagging in LLMs by Training with Weak Supervision
University of Oxford（牛津大学）；Redwood Research（红木研究）
研究通过结合监督微调与强化学习，发现弱监督训练能有效消除模型虚报行为，但需确保训练与部署不可区分。
2026-05-01 cs.AI cs.LG
skweak: Weak Supervision Made Easy for NLP
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
我们介绍了skweak，一个多功能的，基于Python的软件工具包，使NLP开发人员能够将弱监督应用于广泛的NLP任务。弱监督是一种新兴的机器学习范式，它基于一个简单的想法：我们使用来自领域知识的标签函数来自动获取给定数据集的注释，而不是手动标记数据点。然后，将得到的标签与生成模型聚合，该生成模型估计每个标签函数的准确性（和可能的混淆）。skweak工具包可以很容易地在文本数据上实现大量的标签功能（如分类、地名词典、神经模型或语言约束），将它们应用于语料库，并以完全无监督的方式聚合它们的结果。skweak是专门为促进弱监督用于NLP任务而设计的，例如文本分类和序列标签。我们说明了使用skweak的NER和情感分析。skweak是在开放源码许可下发布的，可在https://github.com/NorskRegnesentral/skweak上获得
2021-04-19 cs.AI cs.CL cs.LG
Rethinking Weak Supervision in Anomaly Detection: A Comprehensive Benchmark
Shanghai University of Finance and Economics（上海金融学院）；Ant Group（蚂蚁集团）；Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济交叉学科重点实验室）
提出WSADBench，首个统一评估不完全、不精确和不准确三种弱监督异常检测场景的基准，通过系统变化标签数量、粒度和质量，揭示36种算法在4种模态上的性能边界，并发现弱监督场景间存在强相关性、专用WSAD算法仅在极端标签稀缺时占优等关键洞察。
2026-05-30 cs.AI cs.LG
Generative Modeling Helps Weak Supervision (and Vice Versa)
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin（威斯康星大学）；Stanford University（斯坦福大学）
监督机器学习的许多有前途的应用在获取足够数量和质量的标记数据方面面临障碍，这造成了昂贵的瓶颈。为了克服这些限制，人们研究了不依赖于地面真实标签的技术，包括弱监督和生成式建模。虽然这些技术似乎可以协同使用，相互改进，但如何在它们之间构建接口还没有得到很好的理解。在这项工作中，我们提出了一个模型融合程序化弱监督和生成对抗网络，并提供了激励这种融合的理论依据。所提出的方法捕捉离散的潜变量的数据，以及弱监督派生的标签估计。两者的对齐允许更好地建模弱监督源的样本相关精度，提高未观察到的标签的估计。这是第一种通过弱监督合成图像和伪标记实现数据增强的方法。此外，其学习的潜变量可以定性地检查。该模型在多类图像分类数据集上的性能优于基线弱监督标签模型，提高了生成图像的质量，并通过合成样本的数据增强进一步提高了最终模型的性能。
2023-03-11 cs.AI cs.CV cs.LG
Learning to Learn from Weak Supervision by Full Supervision
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
在本文中，我们提出了一种方法来训练神经网络时，我们有一个大的数据集与弱标签和少量的数据与真正的标签。在我们提出的模型中，我们训练两个神经网络：目标网络，学习者和置信网络，元学习者。目标网络被优化以执行给定的任务，并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数来控制目标网络的梯度更新的大小，该置信度网络是在少量监督数据上训练的。因此，我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。
2017-11-30 cs.AI cs.CL cs.LG
Weak Supervision for Real World Graphs
McGill University（麦吉尔大学）
本文提出弱监督图对比学习框架 WSNET，利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习，在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
WeaNF: Weak Supervision with Normalizing Flows
University of Vienna（维也纳大学）
一个流行的方法，以减少需要昂贵的人工注释的大型数据集是弱监督，这引入了噪声标签，覆盖和偏见的问题。克服这些问题的方法要么依赖于判别模型，用特定于弱监督的成本函数进行训练，要么依赖于最近的生成模型，试图对自动注释过程的输出进行建模。在这项工作中，我们探索了弱监督生成建模的一个新方向：不是对注释过程的输出（标签函数匹配）进行建模，而是对标签函数覆盖的输入端数据分布（特征空间）进行生成建模。具体来说，我们通过使用归一化流来估计每个弱标记源或标记函数的密度。我们的方法的一个组成部分是多个同时匹配的标记函数的基于流的建模，因此捕获了标记函数重叠和相关性等现象。我们分析了各种常用的弱监督数据集上的有效性和建模能力，并表明弱监督规范化流与标准弱监督基线相比是有利的。
2022-05-02 cs.CL cs.LG
Weak Supervision for Improved Precision in Search Systems
LinkedIn Corporation（领英公司）
本文提出一种弱监督方法，通过推断查询-文档对质量并集成到Learning to Rank框架中，以低成本提升大规模搜索系统的精度。
2025-03-10 cs.AI cs.IR cs.LG
ScriptoriumWS: A Code Generation Assistant for Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 ScriptoriumWS，利用代码生成模型辅助编写弱监督来源，并通过多层提示及手写与生成来源结合，在保持准确率的同时显著提高覆盖率。
2025-02-17 cs.LG
Weak Supervision for Affordable Modeling of Electrocardiogram Data
Carnegie Mellon University（卡内基梅隆大学）
分析心电图（ECG）是诊断心脏病的一种廉价，非侵入性，但功能强大的方法。到目前为止，使用机器学习自动检测异常心跳的ECG研究依赖于大型手动注释的数据集。虽然收集大量未标记的数据可以很简单，但对异常心跳进行逐点注释是繁琐和昂贵的。我们探索使用多个弱监督源来通过人类设计的算法学习异常心跳的诊断模型，而不使用单个数据点上的地面真值标签。我们的工作是第一个直接在时间序列数据上定义弱监督源的工作。结果表明，只有六个直观的时间序列分类，我们能够推断出高质量的概率标签估计超过100，000心跳，很少的人力，并使用估计的标签训练竞争力的分类器上举行的测试数据评估。
2022-01-09 cs.AI cs.LG eess.SP
Weak Supervision with Incremental Source Accuracy Estimation
Stanford University（斯坦福大学）
出于生成实时数据标签的愿望，我们开发了一种方法来估计依赖结构和精度的弱监督源增量。我们的方法首先估计与监督源相关的依赖结构，然后使用它来迭代更新估计的源精度，因为收到了新的数据。使用现成的分类模型训练使用公开可用的数据集和启发式函数作为监督源，我们表明，我们的方法生成的概率标签的准确性匹配现有的离线方法。
2022-05-11 cs.LG stat.AP
End-to-End Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）；Technical University of Darmstadt（达姆施塔特工业大学）
聚合多个弱监督源（WS）可以通过取代繁琐的地面真实标签的手动收集来缓解许多机器学习应用中普遍存在的数据标签瓶颈。然而，不使用任何标记的训练数据的现有技术方法需要两个单独的建模步骤：基于WS源学习概率潜在变量模型-做出在实践中很少成立的假设-然后进行下游模型训练。重要的是，建模的第一步不考虑下游模型的性能。为了解决这些问题，我们提出了一种端到端的方法，直接学习下游模型，通过最大限度地提高其与概率标签的协议，通过重新参数化以前的概率后验与神经网络。我们的研究结果表明，在下游测试集上的最终模型性能方面，以及在对弱监督源之间的依赖关系的鲁棒性方面，比以前的工作性能有所提高。
2021-11-30 cs.AI cs.LG stat.ML
The Weak Supervision Landscape
University of Bristol（布里斯托大学）；Universidad Carlos III of Madrid（马德里卡洛斯三世大学）
在实践中存在许多为机器学习分类任务注释数据集的方法，这些方法超出了通常的类标签。这些是令人感兴趣的，因为它们可以简化或促进注释的收集，同时不会极大地影响所得到的机器学习模型。其中许多属于弱标签或注释的保护范围。然而，不同的替代品之间的关系并不总是很清楚。在本文中，我们提出了一个弱监督设置分类框架，目的是：（1）帮助数据集所有者或注释者在规定注释过程时浏览弱监督中的可用选项，以及（2）向机器学习从业者描述数据集的现有注释，以便我们允许他们理解学习过程的含义。为此，我们确定的关键因素，消除薄弱的监督，并设计了一系列的尺寸，分类大多数现有的方法。我们将展示如何在文献中常见的设置适合的框架内，并讨论其在实践中可能的用途。
2022-03-30 cs.LG
An Adaptive Method for Weak Supervision with Drifting Data
Brown University（布朗大学）
针对非平稳环境下弱监督源准确率随时间漂移的问题，提出一种无需先验假设、通过动态调整窗口大小自适应估计弱监督源准确率的方法，在合成与真实数据上验证了其有效性。
2025-05-01 cs.LG
Constrained Labeling for Weakly Supervised Learning
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
大型全监督数据集的管理已经成为机器学习的主要障碍之一。弱监督提供了一种替代监督学习的方法，通过使用来自不同来源的廉价、嘈杂且可能相关的标记函数进行训练。弱监督学习的关键挑战是结合不同的弱监督信号，同时导航错误中的误导性相关性。在本文中，我们提出了一种简单的无数据方法，通过定义一个约束空间的弱信号的可能标签和训练与随机标签在这个约束空间内结合弱监督信号。我们的方法是有效的和稳定的，收敛后的几个迭代的梯度下降。我们证明了理论条件下，随机标签的最坏情况下的错误减少的秩的线性约束。我们的实验表明，我们的方法优于其他弱监督方法在各种文本和图像分类任务。
2021-05-29 cs.AI cs.LG stat.ML
WRENCH: A Comprehensive Benchmark for Weak Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的弱监督（WS）方法通过合成来自多个潜在噪声监督源的标签，在缓解标记机器学习的训练数据的瓶颈方面取得了广泛的成功。然而，对这些方法进行适当的衡量和分析仍然是一个挑战。首先，现有作品中使用的数据集通常是私有和/或自定义的，限制了标准化。其次，具有相同名称和基础数据的WS数据集通常在标签和使用的弱监督源方面有所不同，这是评估方差的一个重要“隐藏”来源。最后，WS研究通常在评价方案和所用消融方面存在分歧。为了解决这些问题，我们引入了一个基准平台，扳手，彻底和标准化的WS方法的评估。它由22个用于分类和序列标记的不同真实世界数据集组成;一系列真实的，合成的和程序生成的弱监督源;以及用于WS评估的模块化，可扩展的框架，包括流行WS方法的实现。我们使用WRENCH对120多种方法变体进行了广泛的比较，以证明其作为基准平台的有效性。该代码可在https://github.com/JieyuZ2/wrench上获得。
2021-10-11 cs.AI cs.CL cs.LG
Training Complex Models with Multi-Task Weak Supervision
Stanford University（斯坦福大学）
随着机器学习模型的复杂性不断增加，收集大量人工标记的训练集已成为实践中最大的障碍之一。相反，经常使用较弱的监管形式，提供更嘈杂但更便宜的标签。然而，这些弱监督源具有不同的和未知的准确性，可以输出相关的标签，并且可以标记不同的任务或以不同的粒度级别应用。我们提出了一个框架，将这些弱监督源视为一个问题的不同相关子任务的标签，我们称之为多任务弱监督设置的整合和建模。我们表明，通过解决矩阵完成式问题，我们可以恢复这些多任务源的准确性，因为它们的依赖结构，但没有任何标记的数据，从而导致更高质量的监督训练最终模型。从理论上讲，我们证明了用这种方法训练的模型的泛化误差随着未标记数据点的数量而提高，并表征了任务和依赖结构的缩放。在三个细粒度分类问题上，我们表明，我们的方法比传统的监督方法平均提高了20.2分的准确性，比多数投票基线提高了6.8分，比以前提出的单独建模任务的弱监督方法提高了4.1分。
2018-12-07 cs.LG stat.ML
Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy
Verily Life Sciences（Verily生命科学公司）
我们提出了一个两阶段的无监督的方法来解析视频成阶段。我们使用运动线索将视频分成粗略的片段。然后，噪声段标签用于弱监督基于外观的分类器。我们展示了该方法在结肠镜视频中相位检测的有效性。
2022-10-16 cs.CV cs.LG
Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods
Stanford University（斯坦福大学）
弱监督是构建机器学习模型而不依赖于地面实况注释的流行方法。相反，它通过估计多个噪声标记源的准确性来生成概率训练标签（例如，工人（crowd workers）。现有的方法使用潜变量估计来对噪声源进行建模，但是这些方法在计算上可能是昂贵的，在数据中超线性地缩放。在这项工作中，我们证明了，对于一类高度适用于弱监督的潜变量模型，我们可以找到模型参数的封闭形式解，从而避免了像随机梯度下降（SGD）这样的迭代解。我们利用这一见解来构建FlyingSquid，这是一个弱监督框架，比以前的弱监督方法运行速度快几个数量级，并且需要更少的假设。特别是，我们证明了泛化误差的界限，而无需假设潜在变量模型可以精确地参数化底层数据分布。从经验上讲，我们在基准弱监督数据集上验证了FlyingSquid，并发现与以前的方法相比，它实现了相同或更高的质量，而无需调整SGD程序，恢复模型参数的速度平均快170倍，并实现了新的视频分析和在线学习应用。
2020-07-15 cs.LG stat.ML
Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
获取大的带注释的数据集对于训练成功的机器学习模型至关重要，并且它通常是实践中的瓶颈。弱监督提供了一种有前途的替代方案，通过使用多个噪声分类生成概率标签来生成没有地面实况注释的标记数据集。这个过程可以扩展到大型数据集，并在医疗保健和电子商务等不同领域展示了最先进的性能。从用户生成的知识库中学习的一个实际问题是，它们的创建需要手工制作它们的人的创造力，远见和领域专业知识，这是一个繁琐和主观的过程。我们开发了第一个框架，互动式弱监督的方法，提出了启发式和学习用户反馈给每个建议的启发式。我们的实验表明，只需要少量的反馈迭代训练模型，实现高度竞争力的测试集性能，而无需访问地面真实训练标签。我们进行了用户研究，结果表明用户能够有效地提供启发式反馈，并且测试集结果跟踪模拟预言机的性能。
2021-01-25 cs.AI cs.LG stat.ML
WALNUT: A Benchmark on Semi-weakly Supervised Learning for Natural Language Understanding
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）
为自然语言理解（NLU）任务构建机器学习模型在很大程度上依赖于标记数据。当大量标记数据不可用或获取成本高昂时，弱监督已被证明是有价值的。现有的研究NLU弱监督的工作大多集中在特定的任务或模拟弱监督信号从地面实况标签。因此，如果没有一个统一而系统的基准，不同的任务和现实世界的弱标签规则，就很难比较不同的方法并评估弱监管的好处。在本文中，我们提出了这样一个基准，命名为WALNUT（半Weakly监督学习自然语言理解测试床），倡导和促进弱监督NLU的研究。WALNUT由不同类型的NLU任务组成，包括文档级和令牌级预测任务。WALNUT是NLU的第一个半弱监督学习基准，其中每个任务包含由多个真实世界弱源生成的弱标签，以及一小组干净标签。我们对WALNUT进行基线评估，以系统地评估各种弱监督方法和模型架构的有效性。我们的研究结果证明了弱监督对低资源NLU任务的好处，并突出了跨任务的有趣模式。我们预计WALNUT将刺激对方法的进一步研究，以更有效地利用薄弱的监管。基准测试和基准代码可在\url{aka.ms/walnut_benchmark}上获得。
2022-05-23 cs.CL cs.LG
Integrated Weak Learning
University College London（伦敦大学学院）；Humanloop
我们介绍了集成弱学习，这是一个将弱监督集成到机器学习模型训练过程中的原则性框架。我们的方法联合训练了端模型和标签模型，该模型聚合了多个弱监管源。我们引入了一个标签模型，它可以学习为不同的数据点聚合不同的弱监督源，并在训练过程中考虑端模型的性能。我们证明了我们的方法在一组6个基准分类数据集上优于现有的弱学习技术。当存在少量标记数据和弱监督时，性能的提高既一致又大，与非集成方法相比，可靠地获得2-5分的测试F1得分增益。
2022-06-19 cs.LG
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题，但通常限于可微记忆，因此不能扩展到小的合成任务之外。在这项工作中，我们提出了管理员-程序员-计算机框架，它集成了神经网络与不可微的内存，以支持抽象的，可扩展的和精确的操作，通过一个友好的神经计算机接口。具体来说，我们介绍了一个神经符号机，其中包含一个序列到序列的神经“程序员”，和一个不可微的“计算机”，这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练，我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP，一个具有挑战性的语义解析数据集，与弱监督。与以前的方法相比，NSM是端到端的，因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
提出多模态提示学习范式，通过同时学习图提示和文本提示将图嵌入大型语言模型空间，在极弱文本监督下实现GNN的少样本、跨域适应及零样本分类。
2025-06-01 cs.AI cs.LG cs.SI
Weak Supervision Performance Evaluation via Partial Identification
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对无真实标签时弱监督模型难以评估的问题，提出将评估建模为部分识别问题、用Fréchet界结合凸优化估计性能边界的方法，可高效得到多指标的可靠边界，提升弱监督学习实用性。
2024-10-31 cs.AI cs.LG stat.ME
Improving the performance of weak supervision searches using data augmentation
National Taiwan University（台湾大学）；National Center for Theoretical Sciences（国家理论科学中心）
针对弱监督训练神经网络需过量信号数据的问题，提出使用受物理启发的数据增强方法（如$p_{\ ext{T}}$涂抹和jet旋转）增加数据规模与多样性，显著提升了弱监督性能并减少数据需求。
2024-11-29 cs.LG hep-ex hep-ph
Multi-Resolution Weak Supervision for Sequential Data
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
由于手动标记训练数据缓慢且昂贵，最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而，现有的弱监督方法无法对序列数据（如视频）的多分辨率源进行建模，这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战，这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong，这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架，可以为训练数据分配概率标签。在理论上，我们证明了儒艮，在温和的条件下，可以唯一地恢复未观察到的精度和相关参数，并使用参数共享，以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库，帮助超过传统监督36.8 F1点，并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言，在几个视频和传感器分类任务中，Dugong比传统监督方法提高了16.0 F1点，比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
利用神经网络的统计能力来执行语言理解和符号推理是困难的，当它需要对大型知识库执行有效的离散操作时。在这项工作中，我们介绍了一个神经符号机，它包含（a）一个神经“程序员”，即，将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型（b）符号“计算机”，即，一个Lisp解释器，执行程序执行，并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性，我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时，NSM在Websites SP数据集上的表现优于最先进的技术，而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Data Selection for training Semantic Segmentation CNNs with cross-dataset weak supervision
Eindhoven University of Technology（埃因霍温理工大学）
训练具有强（每像素）和弱（每边界框）监督的语义分割的卷积网络需要大量弱标记数据。我们提出了两种方法来选择最相关的数据与弱监管。第一种方法是为了寻找视觉上相似的图像，而不需要标签，是基于高斯混合模型（GMM）的图像表示建模。作为GMM建模的副产品，我们提出了有用的见解，表征数据生成分布。第二种方法的目的是寻找具有高对象多样性的图像，并且仅需要限界框标签。这两种方法都是在自动驾驶的背景下开发的，并在Cityscapes和Open Images数据集上进行了实验。我们通过将所使用的弱标记图像的数量减少到Open Images的100倍和Cityscapes的20倍来展示性能提升。
2019-07-16 cs.CV cs.LG
Reliable Programmatic Weak Supervision with Confidence Intervals for Label Probabilities
Massachusetts Institute of Technology (MIT)（麻省理工学院）；BCAM-Basque Center for Applied Mathematics（BCAM应用数学巴斯克中心）；IKERBASQUE-Basque Foundation for Science（IKERBASQUE巴斯克科学基金会）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种程序化弱监督方法，通过分布不确定性集合为标签概率提供置信区间，提升预测可靠性，并在多个基准数据集上验证了其优于现有技术。
2025-08-05 cs.LG stat.ML
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?
Amazon（亚马逊公司）；Michigan State University（密歇根州立大学）
本文研究了在弱监督和强监督下潜在推理方法的表现，发现存在捷径行为和潜在空间探索问题，并揭示了监督强度与推理能力之间的权衡。
2026-02-25 cs.AI cs.CL cs.LG
Learning Dependency Structures for Weak Supervision Models
Stanford University（斯坦福大学）
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源，估计其准确性，而无需访问地面真相标签;然而，估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构，建立改进的理论恢复率，并优于现有的方法在各种现实世界的任务。在一定条件下，我们表明，所需的未标记的数据量可以缩放次线性，甚至与源$m$的数量，改善了以前的努力，忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中，比假设条件独立源的弱监督方法高出4.64个F1点，比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
Mitigating Source Bias for Fairer Weak Supervision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究弱监督中的公平性问题，提出基于反事实公平性的源偏置缓解方法，可同时提升准确率与公平性，并在多个数据集上取得显著效果。
2023-11-29 cs.CY cs.LG stat.ML
Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach
Georgia Institute of Technology（佐治亚理工学院）
微调预训练语言模型（LM）在许多自然语言处理（NLP）任务中取得了巨大的成功，但在微调阶段仍然需要大量的标记数据。我们研究了仅使用弱监督而不使用任何标记数据来微调预训练LM的问题。这个问题是具有挑战性的，因为LM的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这个问题，我们开发了一个对比的自我训练框架，COSINE，使微调LM与弱监督。在对比正则化和基于置信度的重新加权的基础上，这种对比自训练框架可以逐步改善模型拟合，同时有效地抑制误差传播。在序列、标记和句子对分类任务上的实验表明，该模型在6个任务的7个基准测试中大幅优于最强基线，并在全监督微调方法下取得了有竞争力的性能。
2021-03-31 cs.CL cs.LG
Creating Training Sets via Weak Indirect Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）；Snorkel AI, Inc.（Snorkel AI公司）
创建标记的训练集已经成为机器学习的主要障碍之一。为了解决这个问题，最近的\emph{Weak Supervision (WS)}框架综合训练标签从多个潜在的噪声监督源。然而，现有的框架仅限于共享相同的输出空间作为目标任务的监督源。为了扩展可用源的范围，我们制定了弱间接监督（WIS），一个新的研究问题，自动合成训练标签的基础上，间接监督源，具有不同的输出标签空间。为了克服输出空间不匹配的挑战，我们开发了一种概率建模方法PLRM，它使用用户提供的标签关系来建模和利用间接监督源。此外，我们提供了一个理论上的原则测试PLRM的可扩展性看不见的标签，随着推广界。在图像和文本分类任务以及工业广告应用中，我们通过超过基线2%-9%的幅度展示了PLRM的优势。
2022-03-14 cs.LG stat.AP stat.ML
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI；Stanford University（斯坦福大学）；Brown University（布朗大学）
我们提出了一种新的策略，当标记的训练数据有限时，将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型，我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器，我们首先提示模型回答关于一个例子的多个不同的查询，并定义如何将可能的响应映射到标签和弃权的投票。然后，我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明，在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中，这种方法可以显著提高超过zero-shot的性能，平均减少19.5%的错误。我们还发现，这种方法产生的分类器具有可比或更高的准确性，从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基础模型提供了一个令人兴奋的新范例，用于构建具有开箱即用嵌入和一些标记示例的模型。然而，如何在没有标记数据的情况下最好地应用基础模型尚不清楚。一种潜在的方法是将基础模型与弱监督框架相融合，该框架使用弱标签源-预训练模型，人工智能，人群工作者-来构建伪标签。挑战是建立一个组合，最好地利用基础模型和弱源中的信号。我们提出了Liger，这是一种组合，它使用基础模型嵌入来改善现有弱监管技术的两个关键要素。首先，我们通过划分嵌入空间和学习每部分源精度来产生弱源质量的更精细估计。其次，我们通过扩展嵌入空间中的源投票来提高源覆盖率。尽管基础模型的黑盒性质，我们证明了我们的方法如何提高性能的特征，并表明电梯规模与嵌入空间中的标签分布的平滑度。在六个基准NLP和视频任务中，Liger的表现优于vanilla弱监督14.1分，弱监督kNN和适配器11.8分，传统手工标签监督kNN和适配器7.2分。
2022-08-01 cs.LG stat.ML
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对弱监督信息能否直接用于对比学习的问题，本文建立统一理论框架，通过谱聚类相似度图与误差界分析，揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
Bandit Label Inference for Weakly Supervised Learning
University of California, Berkeley（加州大学伯克利分校）
在许多应用程序中，缺少以期望的粒度级别注释的数据是一个反复出现的问题。大量的努力已经投入到开发弱监督的方法，适合每一个人的设置，这往往是精心设计，以利用弱监督制度的特殊属性，现有数据的形式和手头的任务的先验知识。不幸的是，很难使这些方法适应新的任务和/或数据形式，这通常需要不同的弱监管制度或模型。我们提出了一个通用的方法，可以解决任何弱监督学习问题，无论弱监督制度或模型。所提出的方法把任何现成的强监督分类器到一个弱监督分类器，并允许用户指定任何任意的弱监督制度通过一个损失函数。我们将该方法应用于几个不同的弱监管制度，并证明竞争力的结果相比，专门为这些设置设计的方法。
2015-09-22 cs.LG stat.ML
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
RACH-Space: Reconstructing Adaptive Convex Hull Space with Applications in Weak Supervision
本研究提出RACH-Space弱监督标注算法，基于弱信号张成空间的几何解释构建，无需严格假设，通过凸包与标签准确率的理论分析关联几何与机器学习，实验证明其性能优于现有最优弱监督标签模型。
2024-02-02 cs.LG math.OC
Predictive Inference with Weak Supervision
Stanford University（斯坦福大学）
在大规模统计机器学习中获取标签的费用使得部分和弱标记数据具有吸引力，尽管如何利用这些数据进行模型拟合或验证并不总是显而易见的。我们提出了一种方法来弥合部分监督和验证之间的差距，开发一个共形预测框架，提供有效的预测置信集-集，覆盖一个真正的标签与规定的概率，独立于底层的分布-使用弱标记的数据。为此，我们引入了一个（必要的）新概念的覆盖率和预测有效性，然后开发几个应用场景，提供有效的算法分类和几个大规模的结构化预测问题。我们证实的假设，新的覆盖定义允许更紧密，更翔实（但有效）的信心集通过几个实验。
2022-02-09 cs.LG stat.ML
Data Consistency for Weakly Supervised Learning
Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系）
在许多应用中，训练机器学习模型涉及使用大量人工注释的数据。为数据获取精确的标签是昂贵的。相反，监督不力的培训提供了一种低成本的替代方案。我们提出了一种新的弱监督算法，处理噪声标签，即，弱信号，同时还考虑训练数据的特征以产生用于训练的准确标签。我们的方法搜索数据表示的分类器，以找到合理的标签。我们称这种范式为数据一致性弱监督。我们的框架的一个关键方面是，我们能够估计标签的数据示例低或没有覆盖的弱监督。此外，我们对弱信号和数据的真实标签的联合分布没有任何假设。相反，我们使用弱信号和数据特征来解决约束优化问题，以确保我们生成的标签之间的数据一致性。我们的方法在不同数据集上的实证评估表明，它显着优于国家的最先进的弱监督方法的文本和图像分类任务。
2022-02-08 cs.LG stat.ML
Strength from Weakness: Fast Learning Using Weak Supervision
Massachusetts Institute of Technology（麻省理工学院）
研究了弱监督学习的泛化性质。也就是说，学习只有少数“强”标签（我们预测的实际目标）存在，但更多的“弱”标签可用。特别是，我们表明，访问弱标签可以显着加快强任务的学习率，达到$\mathcal{O}(\nicefrac1n)$的快速速度，其中$n$表示强标签数据点的数量。即使强标记数据本身只允许较慢的$\mathcal{O}(\nicefrac{1}{\sqrt{n}})$速率，这种加速也会发生。实际的加速持续依赖于可用的弱标签的数量，以及两个任务之间的关系。我们的理论结果在一系列任务中得到了经验性的反映，并说明了弱标签如何加速强任务的学习。
2020-02-19 cs.LG stat.ML
DeepOPG: Improving Orthopantomogram Finding Summarization with Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Chung Shan Medical University（中山医学大学）
从曲面断层摄影或牙科全景X光片的临床发现摘要，有显着的潜力，以改善患者的沟通和加快临床判断。虽然曲面断层摄影是牙科检查的第一线工具，但现有的工作还没有探索从它总结的结果。一个发现摘要必须在成像研究中找到牙齿，并用几种类型的过去治疗标记牙齿。为了解决这个问题，我们开发了DeepOPG，它将摘要过程分解为功能分割和牙齿定位，后者通过一个新的牙齿连贯性模块进一步细化。我们还利用弱监督标签来改善强化学习场景中的检测结果。实验表明，DeepOPG在发现总结方面具有很高的效率，在检测六种类型的发现时，总体AUC达到88.2%。所提出的牙科一致性和弱监督都显示出通过将AP@IoU=0.5增加5.9%和0.4%来改善DeepOPG。
2021-07-06 cs.CV cs.LG
HiLWS: A Human-in-the-Loop Weak Supervision Framework for Curating Clinical and Home Video Data for Neurological Assessment
Pacific Parkinson Research Centre, University of British Columbia, Vancouver, BC, Canada（太平洋帕金森研究中心，不列颠哥伦比亚大学）；School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，塔里斯坦大学）
提出级联人在回路弱监督框架HiLWS，通过质量过滤、姿态估计和两阶段弱监督整理临床与家庭手部运动视频，揭示了家庭数据失败模式并强调上下文敏感策略对鲁棒医疗视频分析的重要性。
2025-09-09 cs.LG q-bio.NC
Improving the performance of weak supervision searches using transfer and meta-learning
National Center for Theoretical Sciences（国家理论科学中心）；National Taiwan University（台湾大学）
针对弱监督搜索训练需大量信号的问题，本文提出先在模拟数据上进行迁移学习或元学习、再在实验数据上训练的方法，显著减少了所需信号并提升搜索性能。
2024-03-01 cs.LG hep-ex hep-ph
