Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming
University of Washington（华盛顿大学）；Snorkel AI, Inc.（Snorkel AI公司）
弱监督（WS）技术允许用户通过编程方式用启发式监督源标记数据来有效地创建大型训练数据集。虽然WS的成功在很大程度上依赖于所提供的标记策略，但在实践中如何创建这些策略的过程仍然未得到充分探索。在这项工作中，我们正式的开发过程中，标签的启发式的互动过程，围绕现有的工作流程，用户从一组选定的开发数据设计的启发式的来源。与形式主义，我们研究了两个核心问题，如何战略性地选择开发数据，以指导用户在有效地创建信息的统计，以及如何利用开发过程中的信息，以上下文和更好地学习结果的统计。建立在两种新的方法，有效地解决各自考虑的问题，我们提出了尼莫，一个端到端的交互式系统，提高了WS学习管道的整体生产力平均20%（和高达47%，在一个任务）相比，流行的WS方法。
2022-10-24 cs.LG stat.ML
Developing A Visual-Interactive Interface for Electronic Health Record Labeling: An Explainable Machine Learning Approach
Sriphat Medical Center, Faculty of Medicine, Chiang Mai University（清迈大学医学院诗里帕医院）
本文提出可视化交互标注工具 XLabel，利用可解释提升机 EBM 分类并展示解释热力图，辅助电子健康记录的 NCD 标注，实验证明其可减少操作、保持高准确率并具备强抗错误标注能力。
2023-06-02 cs.HC cs.LG stat.AP
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision
Technische Universität Berlin（柏林工业大学）
随着云操作的规模和复杂性不断增加，自动检测日志等监控数据中的异常将成为管理未来IT基础设施的重要组成部分。然而，许多基于人工智能的方法，如监督式深度学习模型，需要大量标记的训练数据才能表现良好。在实践中，这些数据很少可用，因为标记日志数据是昂贵的，耗时的，并且需要深入了解底层系统。我们提出了LogLAB，一种新的建模方法，自动标记的日志消息，而不需要手动工作的专家。我们的方法依赖于监测系统提供的估计故障时间窗口，以在回顾中产生精确的标记数据集。它基于注意力机制，并使用自定义目标函数用于弱监督深度学习技术，该技术考虑了不平衡的数据。我们的评估表明，LogLAB在三个不同的数据集上始终优于九种基准方法，即使在大的故障时间窗口下，F1分数也保持在0.98以上。
2021-11-25 cs.LG
A Cyber Manufacturing IoT System for Adaptive Machine Learning Model Deployment by Interactive Causality Enabled Self-Labeling
California Institute for Telecommunications and Information Technology, University of California, Irvine（加州大学欧文分校加州电信与信息技术学院）
针对制造场景中 ML 模型部署后遭遇数据分布偏移的问题，提出含数据流、ML 集成与因果自标注服务的 AdaptIoT，并通过现场演示验证其可靠性。
2024-04-09 cs.LG cs.SY eess.SY
Dependency Structure Misspecification in Multi-Source Weak Supervision Models
Technical University of Darmstadt（达姆施塔特工业大学）；Carnegie Mellon University（卡内基梅隆大学）
数据编程（DP）已被证明是一种有吸引力的替代昂贵的手工标记的数据。在DP中，用户将领域知识编码为\emph{labeling functions}（LF），即对数据子集进行噪声标记并可能具有复杂依赖关系的分类。然后将标签模型拟合到LF以产生未知类别标签的估计。深入研究了标签模型误设定对下游分类器测试集性能的影响。这给从业人员带来了严重的认识差距，特别是因为在DP的实地应用中经常忽略了LF之间的依赖结构。我们分析了建模误差，由于结构过规格。我们推导出新的理论界的建模误差和经验表明，这种错误可以是巨大的，即使在建模一个看似合理的结构。
2021-06-18 cs.AI cs.LG stat.ML
VILOD: A Visual Interactive Labeling Tool for Object Detection
Masters Degree Project（硕士学位项目）
VILOD是一种利用t-SNE投影、不确定性热力图等视觉组件的交互式标注工具，通过人在回路主动学习工作流，使目标检测标注过程更透明、可控且有效。
2025-08-29 cs.AI cs.CV cs.HC
Snorkel: Rapid Training Data Creation with Weak Supervision
Stanford University（斯坦福大学）
标记训练数据日益成为部署机器学习系统的最大瓶颈。我们介绍了Snorkel，这是一个首创的系统，使用户能够训练最先进的模型，而无需手动标记任何训练数据。相反，用户编写的标签函数表示任意的精确度，这可能具有未知的准确性和相关性。Snorkel通过结合我们最近提出的机器学习范例数据编程的第一个端到端实现，在不访问地面实况的情况下对其输出进行降噪。我们提出了一个灵活的接口层，用于编写标签功能的基础上，我们的经验，在过去的一年中与公司，机构和研究实验室合作。在一项用户研究中，主题专家构建模型的速度提高了2.8倍，预测性能平均提高了45.5%，而人工标记时间为7小时。我们研究了这种新设置中的建模权衡，并提出了一个优化器，用于自动化权衡决策，使每个管道执行的加速高达1.8倍。在与美国退伍军人事务部和美国食品和药物管理局的两次合作中，以及在代表其他部署的四个开源文本和图像数据集上，Snorkel提供了132%的平均预测性能改进，比以前的启发式方法平均提高了3.60%的预测性能。
2017-11-28 cs.LG stat.ML
SepLL: Separating Latent Class Labels from Weak Supervision Noise
University of Vienna（维也纳大学）；UniVie Doctoral School Computer Science（维也纳大学计算机科学博士学院）
在弱监督学习范例中，标记函数自动为数据样本分配启发式的，通常是嘈杂的标签。在这项工作中，我们提供了一种从弱标签中学习的方法，通过分离与标签函数相关的两种类型的互补信息：与目标标签相关的信息和仅与一个标签函数相关的信息。这两种类型的信息在不同程度上被所有标记的实例所反映。与之前旨在纠正或删除错误标记实例的工作相比，我们学习了一个分支深度模型，该模型使用所有数据，但在潜在空间中分割标记函数信息。具体来说，我们提出了端到端的模型SepLL扩展了Transformer分类器，通过引入一个潜在的空间标记功能特定和任务特定的信息。学习信号仅由标记函数匹配给出，不需要预处理或标记模型。值得注意的是，任务预测是在没有任何直接任务信号的情况下从潜在层进行的。Wrench文本分类任务的实验表明，我们的模型是具有竞争力的国家的最先进的，并产生一个新的最佳平均性能。
2022-10-25 cs.LG
A Survey on Programmatic Weak Supervision
University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Snorkel AI, Inc.（斯耐克尔人工智能公司）
标记训练数据已成为使用机器学习的主要障碍之一。在各种弱监督范式中，程序化弱监督（PWS）通过程序化地合成来自多个潜在噪声监督源的训练标签，在缓解手动标记瓶颈方面取得了显着的成功。本文介绍了PWS的最新进展的全面调查。特别是，我们简要介绍了PWS的学习范式，并审查PWS的学习工作流程中的每个组件的代表性方法。此外，我们还讨论了用于处理有限标记数据场景的补充学习范式，以及这些相关方法如何与PWS结合使用。最后，我们确定了几个关键的挑战，仍然在该领域的探索不足，希望能激发该领域未来的研究方向。
2022-02-14 cs.AI cs.LG stat.AP
Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education
University of Virginia（弗吉尼亚大学）；Curry School of Education, University of Virginia（弗吉尼亚大学柯里教育学院）；James Madison University（詹姆斯麦迪逊大学）
应用于会话代理开发的自然语言处理（NLP）组件的机器学习技术显示出有希望的结果，以提高会话代理可以提供的反馈的准确性和质量。开发特定于教育场景的对话代理所需的工作非常耗时，因为它需要领域专家对课堂视频等嘈杂数据源进行标记和注释。以前的注释建模方法依赖于标记数千个示例并计算注释者之间的一致性和多数投票，以便对必要的场景进行建模。这种方法虽然被证明是成功的，但忽略了标注数据点的个体注释者的优势，并且没有充分利用那些没有多数投票支持标注的示例。我们建议使用多任务弱监督方法结合主动学习来解决这些问题。这种方法比传统方法需要更少的标记，并且在精度，效率和时间要求方面比多数投票方法有显着提高（Ratner 2019）。我们证明了这种方法在谷歌拼图数据集的有效性，然后提出了一个方案，应用这种方法使用教学质量评估（IQA）来定义标签的类别。我们建议使用概率建模的注释器标记生成主动学习的例子，以进一步标记的数据。主动学习能够迭代地提高原始分类模型的训练性能和准确性。这种方法结合了最先进的弱监督和主动学习的标记技术，以优化教育领域的结果，并可进一步用于通过迁移学习减少教育领域内扩展场景的数据要求。
2020-10-23 cs.CL cs.CY cs.LG
Ground Truth Inference for Weakly Supervised Entity Matching
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
实体匹配（Entity Matching，EM）是指识别一个或多个关系表中引用现实世界中相同实体的数据记录对的问题。监督机器学习（ML）模型目前实现了最先进的匹配性能;然而，它们需要许多标记的示例，这些示例通常是昂贵的或不可行的。这启发了我们使用弱监督来处理EM的数据标记。特别是，我们使用由Snorkel推广的标签函数抽象，其中每个标签函数（LF）是用户提供的程序，可以快速廉价地生成许多嘈杂的匹配/非匹配标签。给定一组用户编写的LF，数据标记的质量取决于标记模型，以准确地推断地面实况标签。在这项工作中，我们首先提出了一个简单但功能强大的标记模型一般弱监督任务。然后，我们定制的标签模型，具体到实体匹配的任务，考虑EM特定的传递性。我们的标记模型的一般形式很简单，同时在十个一般弱监督数据集上的性能大大优于现有的最佳方法。为了定制EM的标签模型，我们制定了一种方法，以确保标签模型的最终预测满足EM中所需的传递性，在可能的情况下利用精确的解决方案，并在其余情况下使用基于ML的近似。在两个单表和九个双表真实世界EM数据集上，我们表明我们的标记模型比现有的最佳方法平均高出9%的F1分数。我们还表明，在我们的弱监督方法生成的标签上训练的深度学习EM最终模型（DeepMatcher）与使用数万个地面真实标签训练的最终模型相当，这表明我们的方法可以显着减少EM中所需的标记工作。
2022-11-13 cs.DB cs.LG
Train and You'll Miss It: Interactive Model Iteration with Weak Supervision and Pre-Trained Embeddings
我们的目标是使机器学习系统能够进行交互式训练。这就需要模型表现良好，训练迅速，而不需要大量手工标记的数据。我们通过借鉴弱监督（WS）在这个方向上向前迈出了一步，其中模型可以用噪声信号源而不是手工标记的数据进行训练。但WS依赖于训练下游深度网络来推断看不见的数据点，这可能需要数小时或数天。预训练的嵌入可以消除这一要求。我们不像迁移学习（TL）那样使用嵌入作为特征，这需要进行微调以获得高性能，而是使用它们来定义数据上的距离函数，并将WS源投票扩展到附近的点。从理论上讲，我们提供了一系列的结果，研究性能如何尺度的变化，在源覆盖，源的准确性，和Lipschitzness的标签分布在嵌入空间，并比较这个速度标准WS没有扩展和TL没有微调。在六个基准NLP和视频任务上，我们的方法比没有扩展的WS高出4.1分，比没有微调的TL高出12.8分，比传统监督的深度网络高出13.1分，比最先进的弱监督深度网络低0.7分，而训练时间不到半秒。
2020-06-26 cs.LG stat.ML
Learning to Contextually Aggregate Multi-Source Supervision for Sequence Labeling
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
序列标记是解决各种自然语言处理问题的基本框架。它的性能在很大程度上受到监督学习场景中标注质量和数量的影响，并且获得地面真值标签通常是昂贵的。在许多情况下，地面真值标签并不存在，但是可以访问噪声注释或来自不同域的注释。在本文中，我们提出了一个新的框架共识网络（ConNet），可以在来自多个来源的注释上进行训练（例如，群组注释、跨域数据.）。它学习每个源的个体表示，并通过上下文感知注意模块动态地聚合特定于源的知识。最后，它导致一个模型，反映了多个来源之间的协议（共识）。我们在两个实际的多源学习环境中评估了所提出的框架：人群注释学习和无监督跨领域模型自适应。大量的实验结果表明，我们的模型在这两种设置中实现了显着的改进，比现有的方法。我们还表明，该方法可以适用于各种任务，并应付不同的编码器。
2020-04-16 cs.CL cs.LG
Reliable Programmatic Weak Supervision with Confidence Intervals for Label Probabilities
Massachusetts Institute of Technology (MIT)（麻省理工学院）；BCAM-Basque Center for Applied Mathematics（BCAM应用数学巴斯克中心）；IKERBASQUE-Basque Foundation for Science（IKERBASQUE巴斯克科学基金会）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种程序化弱监督方法，通过分布不确定性集合为标签概率提供置信区间，提升预测可靠性，并在多个基准数据集上验证了其优于现有技术。
2025-08-05 cs.LG stat.ML
HQColon: A Hybrid Interactive Machine Learning Pipeline for High Quality Colon Labeling and Segmentation
University of Copenhagen（哥本哈根大学）；Copenhagen University Hospital（哥本哈根大学医院）
针对TotalSegmentator在结肠分割上的不足，提出首个全自动高分辨率结肠分割方法，结合区域生长与交互式机器学习构建数据集并训练nnU-Net，精度显著优于现有工具，并开源模型与代码。
2025-02-28 cs.CV cs.LG
TagRuler: Interactive Tool for Span-Level Data Programming by Demonstration
Megagon Labs（Megagon实验室）；Sigma Computing（Sigma计算公司）
尽管机器学习研究领域发展迅速，但为监督学习收集高质量标签仍然是许多应用的瓶颈。由于NLP任务的最新模型变得越来越深入和复杂，甚至为了进行微调，通常需要增加训练数据的数量，这一困难就更加严重了。包括数据编程在内的弱监管方法解决了这个问题，并通过使用嘈杂的标签源进行监管来降低标签收集的成本。然而，直到最近，数据编程还只能由知道如何编程的用户访问。为了弥补这一差距，提出了基于演示的数据编程框架，以促进基于领域专家标记的几个示例的标记函数的自动创建。该框架已被证明是成功的，为文档分类生成高精度的标签模型。在这项工作中，我们将DPBD框架扩展到跨度级别的注释任务，可以说是最耗时的NLP标记任务之一。我们构建了一个新颖的工具，TagRuler，它使注释者可以轻松地构建跨度级别的标签函数，而无需编程，并鼓励他们探索不同标签模型和主动学习策略之间的权衡。我们的经验表明，注释器可以实现更高的F1分数使用所提出的工具相比，手动标记不同的跨度级注释任务。
2021-06-24 cs.CL cs.DB cs.HC
MONAI Label: A framework for AI-assisted Interactive Labeling of 3D Medical Images
School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院）；NVIDIA（英伟达）；Department of Medical Physics and Biomedical Engineering, University College London（伦敦大学学院医学物理与生物医学工程系）
针对医学图像人工标注耗时且昂贵的问题，提出开源框架MONAI Label，支持AI辅助交互式标注与主动学习，显著降低3D医学图像的标注时间。
2023-04-28 cs.CV cs.HC cs.LG
Perseus: Interactive Time Series Segmentation with Sparse Supervision via Stateful Memory
Computer Science National Yang Ming Chiao Tung University（计算机科学 国立阳明交通大学）；Control Engineering National Yang Ming Chiao Tung University（控制工程 国立阳明交通大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有交互式时间序列分割方法无法保留用户交互历史的问题，提出 Perseus 框架，通过写-读架构实现异步状态管理，在多粒度设置中准确率提升最高达 85%。
2026-08-24 cs.AI cs.LG
Fast Interactive Object Annotation with Curve-GCN
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
通过跟踪对象的边界来手动标记对象是一个费力的过程。在Polygon-RNN++中，作者提出了Polygon-RNN，它使用CNN-RNN架构以递归方式生成多边形注释，允许通过人工循环进行交互式校正。我们提出了一个新的框架，通过使用图卷积网络（GCN）同时预测所有顶点，来描述Polygon-RNN的顺序性质。我们的模型是端到端训练的。它支持通过多边形或样条线进行对象注释，从而提高基于线的对象和弯曲对象的标注效率。我们表明，Curve-GCN在自动模式下优于所有现有方法，包括功能强大的PSP-DeepLab，并且在交互方式下比Polygon-RNN++更有效。我们的模型在自动模式下运行时间为29.3 ms，在交互方式下运行时间为2.6 ms，比Polygon-RNN++快10倍和100倍。
2019-03-16 cs.CV cs.LG
Salient Object Detection via Bounding-box Supervision
Australian National University（澳大利亚国立大学）；Southwest University of Science and Technology（西南科技大学）
全监督显著性检测模型的成功取决于大量的逐像素标记。在本文中，我们工作的限界框为基础的弱监督显著性检测，以减轻标签的努力。给定限界框注释，我们观察到限界框内的像素可能包含大量的标签噪声。然而，由于大量的背景被排除，前景限界框区域包含较不复杂的背景，使得可以仅利用裁剪的前景区域来执行手工制作的基于特征的显著性检测。由于传统的手工特征不具有足够的代表性，导致噪声显着图，我们进一步引入结构感知的自监督损失来正则化预测的结构。进一步地，我们认为在限界框外的像素应该是背景，因此可以使用部分交叉熵损失函数来精确地定位精确的背景区域。在六个基准RGB显着性数据集上的实验结果表明了该模型的有效性。
2022-05-11 cs.CV cs.LG
Teachable Reinforcement Learning via Advice Distillation
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
训练自动化代理在交互式环境中完成复杂任务是具有挑战性的：强化学习需要仔细手工设计奖励函数，模仿学习需要专门的基础设施和访问人类专家，从中间形式的监督（如二元偏好）中学习是耗时的，并且从每次人类干预中提取的信息很少。我们能否通过构建从丰富的交互式反馈中学习的智能体来克服这些挑战？我们提出了一个新的监督模式，互动学习的基础上“可教”的决策系统，从外部教师提供的结构化建议。我们首先正式一类人在循环决策问题，其中多种形式的教师提供的建议是提供给学习者。然后，我们描述了一个简单的学习算法，这些问题，首先学习解释的意见，然后从意见，即使在没有人的监督下完成任务。在解谜，导航和运动领域，我们表明，从建议中学习的代理可以获得新的技能，与标准的强化学习算法相比，人工监督明显减少，而且往往少于模仿学习。
2023-02-18 cs.AI cs.LG
Provable Interactive Learning with Hindsight Instruction Feedback
Microsoft Research（微软研究院）；Boston University（波士顿大学）
该研究针对事后指令反馈的交互式学习场景，率先开展理论分析，给出一般场景的遗憾下界，提出低秩假设下的LORIL算法实现与响应空间规模无关的√T级遗憾，实验验证其在低秩假设不成立时仍优于基线。
2024-04-14 cs.AI cs.CL cs.LG
DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision
Saab AB（萨博集团）；Chalmers University of Technology（查尔姆斯理工大学）
随着监督学习的成功，半监督学习（SSL）现在变得越来越流行。SSL是一系列方法，除了标记的训练集外，还使用大量未标记的数据来拟合模型。最近大多数成功的SSL方法都是基于伪标签方法：让自信的模型预测作为训练标签。虽然这些方法在许多基准数据集上显示出令人印象深刻的结果，但这种方法的一个缺点是，在训练过程中并没有使用所有未标记的数据。我们提出了一种新的SSL算法DoubleMatch，它将伪标记技术与自监督损失相结合，使模型能够在训练过程中利用所有未标记的数据。我们表明，该方法在多个基准数据集上实现了最先进的精度，同时与现有的SSL方法相比还减少了训练时间。代码可在https://github.com/walline/doublematch上获得。
2022-05-11 cs.CV cs.LG stat.ML
XPASC: Measuring Generalization in Weak Supervision by Explainability and Association
University of Vienna（维也纳大学）；Volkswagen AG（大众汽车集团）；CAPE Analytics（CAPE分析公司）
弱监督在广泛的领域和任务中得到利用，因为它能够创建大量的标记数据，只需要很少的手动工作。标准方法使用标记函数来指定与标记相关的信号。已经证明，弱监督模型过度依赖于这些信号，因此会出现过拟合。为了验证这一假设，我们引入了一种新的方法，XPASC（eXPlainability-Association SCore），用于测量用弱监督数据集训练的模型的泛化。考虑到数据集中特征、类和标签函数的出现，XPASC考虑了每个特征与模型预测的相关性，以及特征与类和标签函数的关联。XPASC中的关联可以用两种变体来测量：XPASC-CHI SQAURE测量相对于其统计显著性的关联，而XPASC-PPMI更普遍地测量关联强度。我们使用XPASC来分析KnowMAN，这是一种对抗性架构，旨在控制标签函数的泛化程度，从而减轻过拟合问题。一方面，我们证明了KnowMAN能够通过超参数控制泛化程度。另一方面，结果和定性分析表明，泛化和性能并不一一相关，最高程度的泛化并不一定意味着最好的性能。因此，允许控制泛化量的方法可以实现适当程度的良性过拟合。我们在这项研究中的贡献是：i）XPASC得分，以衡量弱监督模型中的泛化能力; ii）跨数据集和模型评估XPASC; iii）发布XPASC实现。
2022-11-22 cs.LG cs.PF
AutoWS-Bench-101: Benchmarking Automated Weak Supervision with 100 Labels
University of Wisconsin（威斯康星大学）
本文提出AutoWS-Bench-101基准框架，评估在100个标签下自动化弱监督技术相比零样本或少样本等简单基线的表现，发现结合基础模型信号是超越基线的关键。
2023-11-25 cs.AI cs.CV cs.LG
Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；School of Economics and Finance, Huaqiao University（华侨大学经济与金融学院）
尽管深度学习方法在各种任务上表现出色，但大多数前沿模型严重依赖于大规模带注释的训练样本，而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高，特别是在医学图像分割中，这通常需要密集的像素/体素标记。因此，从有限的监督（包括有限数量的注释、稀疏注释和不准确的注释）中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而，由于其固有的困难，有限监督的分割是具有挑战性的，需要特定的模型设计和/或学习策略。在本文中，我们提供了一个系统的和最新的审查上述解决方案，总结和评论的方法。我们还强调了在这一领域的几个问题，讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG
Label-Efficient Interactive Time-Series Anomaly Detection
Tsinghua University（清华大学）；Microsoft（微软）；University of Washington（华盛顿大学）；Peking University（北京大学）
时间序列异常检测是一项重要的研究课题，在工业界有着广泛的应用。由于人工数据标注成本高且效率低，大多数应用程序采用无监督的异常检测方法，但结果通常是次优的，最终客户不满意。弱监督是一种以低成本方式获得大量标签的有前途的范例，它使客户能够通过编写启发式规则来标记数据，而不是单独注释每个实例。然而，在时间序列领域，由于时间序列数据在数值上是连续的，难以理解，人们很难写出合理的标记函数。在本文中，我们提出了一个标签高效的交互式时间序列异常检测（LEIAD）系统，它使用户能够通过执行只有少量的交互系统，以提高无监督的异常检测的结果。为了实现这一目标，该系统集成了弱监督和主动学习协作，同时自动生成标记功能，只使用少量的标记数据。所有这些技术都是相辅相成的，可以相互促进。我们在三个时间序列异常检测数据集上进行了实验，证明了所提出的系统在弱监督和主动学习方面都优于现有的解决方案。该系统已在实际的工业场景中进行了测试，以证明其实用性。
2022-12-30 cs.AI cs.LG
On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?
University of California, Riverside（加州大学河滨分校）
主动学习是一组用于智能标记大型未标记数据集以减少标记工作的技术。同时，自监督和半监督学习（S4 L）的最新发展提供了基于数据增强、对比学习和自训练的强大技术，这些技术能够更好地利用未标记的数据，从而显著减少标准机器学习基准测试中所需的标记。一个自然的问题是，这些范式是否可以统一起来，以获得更好的结果。为此，本文提出了一种新的算法框架，集成自监督预训练，主动学习，一致性正则化的自我训练。我们在CIFAR 10和CIFAR 100数据集上对我们的框架进行了广泛的实验。这些实验使我们能够分离和评估使用最先进的方法（例如~ Core-Set、VAAL、simple、FixMatch）。我们的实验揭示了两个关键的见解：（i）自监督预训练显着提高了半监督学习，特别是在少标签制度，（ii）主动学习的好处是破坏和S4 L技术的包容。具体来说，我们没有观察到任何额外的好处，国家的最先进的主动学习算法时，结合国家的最先进的S4 L技术。
2020-11-16 cs.LG
FracAug: Fractional Augmentation boost Graph-level Anomaly Detection under Limited Supervision
The Chinese University of Hong Kong（香港中文大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出FracAug，一种即插即用的分数增强框架，通过生成语义一致的图变体和相互验证的伪标注，在有限监督下提升图级异常检测性能，实验显示在多种GNNs和数据集上显著提升AUROC、AUPRC和F1分数。
2025-09-25 cs.AI cs.LG
PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning
Georgia Tech（佐治亚理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
弱监督学习（WSL）在解决许多NLP任务的标签稀缺性方面表现出了良好的效果，但手动设计一个全面的，高质量的标签规则集是繁琐和困难的。我们研究了交互式弱监督学习-迭代和自动地从数据中发现新的标记规则以改进WSL模型的问题。我们提出的模型，名为PRBoost，通过迭代的基于规则的规则发现和模型提升来实现这一目标。它使用boosting来识别大错误实例，然后通过提示具有规则模板的预训练LM来从中发现候选规则。候选规则由人类专家判断，接受的规则用于生成互补的弱标签并增强当前模型。对四个任务的实验表明，PRBoost的性能优于最先进的WSL基线高达7.1%，并与完全监督模型弥合了差距。我们的实施可在\url{https://github.com/rz-zhang/PRBoost}上获得。
2022-03-18 cs.CL cs.LG
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT（麻省理工学院）；Microsoft Research（微软研究院）
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑（DPL）是用于自监督学习的统一框架，其将未知标签表示为潜在变量，并使用概率逻辑来结合多样的自监督，以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督，但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中，我们提出了自我监督的自我监督（S4），它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始，S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加（一种结构化的自我训练形式），要么由人类专家验证（如基于特征的主动学习）。实验表明，S4能够自动提出准确的自我监督，并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
Indian Institute of Technology, Gandhinagar（甘地讷格尔印度理工学院）
在过去的十年里，我们见证了监督学习范式的巨大增长。监督学习需要大量的标记数据来达到最先进的性能。然而，标记样本需要大量的人工注释。为了避免标记数据的成本，提出了自监督方法来利用大量可用的未标记数据。本研究对特征表征的自我监督范式的最新发展进行了全面而深入的调查和分析。在本文中，我们调查的因素影响的有用性，自我监督在不同的设置。我们提出了一些关于自我监督，生成和对比方法的两种不同方法的关键见解。我们还研究了监督对抗训练的局限性，以及自我监督如何帮助克服这些局限性。然后，我们继续讨论有效地使用视觉任务的自我监督的局限性和挑战。最后，我们强调了一些开放的问题，并指出未来的研究方向。
2021-11-03 cs.CV cs.LG
CaptchaArena: A Large-Scale, Fine-Grained Dataset for Training Computer-Use Agents on Interactive CAPTCHAs
针对交互式验证码对计算机使用智能体的挑战，提出大规模细粒度数据集CaptchaArena，训练单一9B策略CaptchaAgent，通过监督微调和强化学习提升求解性能。
2026-09-29 cs.AI cs.CV cs.LG
Learning Dependency Structures for Weak Supervision Models
Stanford University（斯坦福大学）
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源，估计其准确性，而无需访问地面真相标签;然而，估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构，建立改进的理论恢复率，并优于现有的方法在各种现实世界的任务。在一定条件下，我们表明，所需的未标记的数据量可以缩放次线性，甚至与源$m$的数量，改善了以前的努力，忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中，比假设条件独立源的弱监督方法高出4.64个F1点，比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
Weakly Supervised Disentanglement with Guarantees
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
学习与真实世界数据中的变化因素相对应的解纠缠表示对于可解释和人类可控的机器学习至关重要。最近，人们对以纯粹无监督的方式学习解缠表示的可行性的担忧促使人们转向弱监督。然而，目前还没有一种形式主义来确定何时以及如何通过监管不力来保证脱钩。为了解决这个问题，我们提供了一个理论框架，以协助分析解纠缠的保证（或缺乏）时，再加上基于分布匹配的学习算法的弱监督。我们实证验证了几种弱监督方法（限制标签，匹配配对和排名配对）的保证和限制，展示了我们的理论框架的预测能力和实用性。
2020-04-10 cs.LG stat.ML
All Labels Are Not Created Equal: Enhancing Semi-supervision via Label Grouping and Co-training
Monash University（莫纳什大学）；University of Adelaide（阿德莱德大学）
伪标记是半监督学习（SSL）的关键组成部分。它依赖于迭代地使用模型来为未标记的数据生成人工标签，以进行训练。它的各种方法的一个共同特性是，它们只依赖于模型的预测来做出标记决策，而不考虑任何关于类之间视觉相似性的先验知识。在本文中，我们证明了这会降低伪标签的质量，因为它在伪标签数据池中表现不佳。我们提出了SemCo，一种利用标签语义和协同训练来解决这个问题的方法。我们训练两个分类器的类标签的两个不同的视图：一个分类器使用标签的独热视图，并忽略类之间的任何潜在的相似性，而另一个使用标签的分布式视图，并将潜在相似的类分组在一起。然后，我们共同训练这两个分类器，根据它们的分歧进行学习。我们表明，我们的方法在各种SSL任务中实现了最先进的性能，包括在具有1000个标记示例的Mini-ImageNet数据集上提高了5.6%的准确率。我们还表明，我们的方法需要更小的批量和更少的训练迭代才能达到最佳性能。我们在https://github.com/islam-nassar/semco上提供我们的代码。
2021-04-12 cs.CV cs.LG
Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
从原始图像中学习视觉概念而没有强有力的监督是一项具有挑战性的任务。在这项工作中，我们展示了原型表征的优势，用于理解和修改神经概念学习者的潜在空间。为此，我们引入了交互式概念交换网络（iCSNs），一个新的框架，通过弱监督和隐式原型表示学习概念接地表示。iCSN通过交换成对图像的潜在表示来学习将概念信息绑定到特定的原型插槽。这种语义上接地和离散的潜在空间有利于人类的理解和人机交互。我们支持这一主张进行实验，我们的新数据集“基本概念推理”（ECR），专注于视觉概念共享的几何对象。
2022-03-29 cs.CV cs.LG
Steering LLMs via Scalable Interactive Oversight
Fudan University（复旦大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海齐济智峰有限公司）；Shanghai Innovation Institute（上海创新研究院）
本文提出可扩展的交互监督框架，通过递归决策树提升人类对AI任务的引导能力，实现非专家生成高质量产品需求文档，并通过强化学习优化
2026-02-06 cs.AI cs.LG
Leveraging Large Language Models for Structure Learning in Prompted Weak Supervision
Cornell University（康奈尔大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）
本研究提出结构精炼模块，利用LLM提示相似性学习弱监督中标注函数的依赖结构，通过LaRe和CosGen提升PromptedWS流程性能，在基准任务上最高提升12.7个百分点。
2024-02-02 cs.CL cs.LG
Binary Classification with Positive Labeling Sources
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；Snorkel AI, Inc.（Snorkel AI公司）
为了有效和高效地为机器学习模型创建大量的训练标签，研究人员转向了弱监督（WS），它使用编程标记源而不是手动注释。现有的工作WS的二进制分类通常假设存在的标签源，能够分配积极和消极的标签，以大致平衡的比例数据。然而，对于许多感兴趣的任务，其中存在少数正面类，负面示例可能过于多样化，以至于开发人员无法生成指示性标记源。因此，在这项工作中，我们研究的应用WS的二元分类任务，只有积极的标签来源。我们提出了WEAPO，一个简单而有竞争力的WS方法，用于在没有负面标签源的情况下生成训练标签。在10个基准数据集上，我们表明WEAPO在合成标签的质量和用这些标签监督的最终分类器的性能方面都达到了最高的平均性能。我们将\method的实现整合到WRENCH（一个现有的基准测试平台）中。
2022-08-02 cs.LG
Self-Labeling in Multivariate Causality and Quantification for Adaptive Machine Learning
California Institute for Telecommunications and Information Technology（加州电信与信息技术学院）；University of California, Irvine（加州大学欧文分校）
本文扩展自标注框架至多元因果图，利用四类基本因果关系实现自主领域适配，并定量分析ITM与ESD非理想性能的影响，且通过仿真实验验证理论。
2024-04-08 cs.AI cs.LG stat.ME
Labeled Interactive Topic Models
University of Maryland（马里兰大学）
本文提出一种带标签的交互式神经主题模型，允许用户为主题分配单词标签以引导模型更新，并通过人类研究证明该方法能改善文档排名得分，帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Making Efficient Use of a Domain Expert's Time in Relation Extraction
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所 IAIS）
标记数据的稀缺性是机器学习中最常见的问题之一。这在文本挖掘中的关系抽取中尤其如此，其中在许多应用领域中存在大型文本语料库，而文本数据的标记需要专家投入大量时间来阅读文档。总的来说，最先进的模型，如本文中使用的卷积神经网络，在足够大量的标记数据上训练时会取得很好的效果。然而，从实际的角度来看，如果考虑到专家的体力劳动，这是否是最有效的办法，这就产生了一个问题。在本文中，我们报告了一种替代方法，我们首先构建一个关系抽取模型，使用远程监督，只有后来利用一个领域的专家来完善的结果。远程监督提供了一种在知识库中给定已知关系的情况下对数据进行标记的方法，但是它受到噪声标记的影响。我们引入了一个基于主动学习的扩展，它允许我们的神经网络将专家反馈和报告的第一个结果在一个复杂的数据集。
2018-07-12 cs.CL cs.LG stat.ML
Interactive user interface based on Convolutional Auto-encoders for annotating CT-scans
Örebro University（厄勒布鲁大学）
高分辨率计算机断层扫描（HRCT）是间质性肺疾病最重要的成像方式，放射科医生感兴趣的是确定某些模式，以及它们的体积和区域分布。机器学习的使用可以通过执行语义分割来帮助放射科医生完成这两项任务。在本文中，我们提出了一个互动的注释工具，语义分割，协助放射科医生在标记CT扫描。由六位放射科医师和放射科住院医师对注释工具进行评估，将健康肺部和HRCT图像中的网状模式进行分类。通过系统可用性评分（SUS）和使用工具注释CT容积的阅片师的交互信息评价系统的可用性。结果发现，体验到的可用性以及用户与系统的交互方式在用户之间存在差异。较高的SUS分数是由用户给出的，这些用户将学习速度优先于模型准确性，并且在手动标记上花费的时间较少，而是利用GUI提供的建议。对阅片者之间注释差异的分析显示，肺纤维化中健康和受累肺实质的分类基本一致（Cohen kappa=0.69）。读者之间的差异是对地面实况定义的挑战。
2019-04-26 cs.CV cs.HC cs.LG
CubeDAgger: Interactive Imitation Learning for Dynamic Systems with Efficient yet Low-risk Interaction
National Institute of Informatics（国立信息研究所）；The Graduate University for Advanced Studies（Graduate University for Advanced Studies）
本文提出CubeDAgger方法，通过改进EnsembleDAgger基线，提升动态任务中控制策略的鲁棒性，减少动态稳定性损失，并通过仿真和真实机器人实验验证其有效性。
2026-04-22 cs.LG cs.RO
Customer Sentiment Analysis using Weak Supervision for Customer-Agent Chat
Comcast Applied AI Research（康卡斯特应用人工智能研究院）
之前使用弱监督的情感分析工作主要集中在不同的评论上，如电影（IMDB），餐馆（Yelp），产品（亚马逊）。在这方面，由于缺乏免费的公共数据，一个未充分开发的领域是客户支持中客户-代理聊天的客户聊天数据。在这里，我们使用内部数据集的弱监督对客户聊天进行情感分析。我们使用弱监督来微调预训练的语言模型（LM）RoBERTa作为情感分类器。我们的贡献如下：1）我们表明，通过使用弱情感分类器以及特定领域的基于词典的规则作为标签功能（LF），我们可以训练一个相当准确的客户聊天情感分类器使用弱监督。2)我们将我们的定制训练模型的性能与现成的Google Cloud NLP API进行情感分析。我们表明，通过使用LF注入特定于领域的知识，即使监督较弱，我们也可以训练模型，使其比现成的Google Cloud NLP API更好地处理某些特定于领域的用例。3)我们还分析了聊天中的客户情绪与问题解决方案的关系。
2021-11-30 cs.AI cs.CL cs.LG
Learning in the Wild with Incremental Skeptical Gaussian Processes
University of Trento（特伦托大学）；Jilin University（吉林大学）；University of Trento, Italy（特伦托大学，意大利）
从人类监督中学习的能力是个人助理和其他人工智能交互应用的基础。在野外部署交互式学习器的两个主要挑战是监督的不可靠性和预测任务的复杂性。我们解决了一个简单但有代表性的设置，增量分类在野外，监督是嘈杂的，类的数量随着时间的推移而增长。为了解决这个问题，我们提出了一个以高斯过程（GPs）为中心的怀疑学习的重新设计。怀疑学习是最近的一种交互式策略，如果机器足够确信一个例子被错误标记，它会要求注释者重新考虑她的反馈。在许多情况下，这往往足以获得干净的监督。我们的重新设计，被称为ISGP，利用GP提供的不确定性估计，以更好地分配标签和矛盾查询，特别是在存在噪声的情况下。我们对合成数据和真实数据的实验表明，虽然怀疑学习的原始公式会产生过度自信的模型，但在野外可能会完全失败，ISGP在不同的噪声水平下以及观察到新的类时都能很好地工作。
2020-11-02 cs.LG
Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision
University of Washington（华盛顿大学）；Waseda University（早稻田大学）
程序化弱监督（PWS）已经成为一种广泛的范式，以有效地综合训练标签。PWS的核心组成部分是标签模型，它通过聚合抽象为标签函数（LF）的多个噪声监督源的输出来推断真实标签。现有的统计标签模型通常只依赖于LF的输出，在对底层生成过程建模时忽略了实例特征。在本文中，我们试图通过建议的FABLE将实例特征纳入统计标签模型。特别是，它建立在贝叶斯标签模型的混合物上，每个模型对应于一个全局相关模式，并且混合成分的系数由基于实例特征的高斯过程分类器预测。我们采用一种基于辅助变量的变分推理算法来解决高斯过程和贝叶斯标签模型之间的非共轭问题。对11个基准数据集的广泛实证比较显示，FABLE在9个基线上实现了最高的平均性能。
2022-10-09 cs.LG stat.ME stat.ML
Structured Tuning for Semantic Role Labeling
University of Utah（犹他大学）；University of Colorado（科罗拉多大学）
最近的神经网络驱动的语义角色标注（SRL）系统在F1分数方面表现出令人印象深刻的改善。这些改进是由于富有表现力的输入表示，至少在表面上，与帮助线性SRL模型的知识丰富的约束解码机制正交。引入结构的好处来为神经模型提供信息是一个方法上的挑战。在本文中，我们提出了一个结构化的调整框架，以改善模型使用软化的约束，只有在训练时。我们的框架利用了神经网络的表达能力，并提供了结构化损失组件的监督。我们从一个强大的基线（RoBERTa）开始验证我们的方法的影响，并表明我们的框架通过学习遵守声明性约束来超越基线。此外，我们对较小训练规模的实验表明，我们可以在低资源场景下实现一致的改进。
2020-05-05 cs.CL cs.LG
Scaled Supervision is an Implicit Lipschitz Regularizer
Dartmouth College（达特茅斯学院）
针对CTR预测中二值标签监督丰富度不足导致的模型过拟合问题，本研究提出拓宽监督带宽的方法，证明其可作为隐式Lipschitz正则化器提升CTR模型泛化性，且无需额外超参数调优。
2025-03-19 cs.IR cs.LG
The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning
EPFL（洛桑联邦理工学院）
该研究提出模型无关的无监督框架HUME，基于人类标注类别线性可分的特性，在固定预训练表示上训练线性分类器推断人类标注，在多个图像分类基准上取得了最优性能，为无监督学习提供了新视角。
2023-11-06 cs.LG
Linking data separation, visual separation, and classifier performance using pseudo-labeling by contrastive learning
University of Campinas（坎皮纳斯大学）；Utrecht University（乌得勒支大学）
缺乏监督数据是训练深度神经网络（DNN）时的一个问题，主要是在考虑监督成本高昂的医学和生物数据时。最近，嵌入式伪标签（EPL）通过使用从DNN的特征空间到2D空间的非线性投影（t-SNE），然后使用基于连接性的方法（OPFSemi）进行半监督标签传播来解决这个问题。我们认为，最终分类器的性能取决于数据分离存在于潜在空间和视觉分离存在于投影。我们首先提出使用对比学习产生的潜在空间EPL的两种方法（Simplified和SupCon）和它们的组合，其次通过显示，通过一组广泛的实验，上述数据分离，视觉分离和分类器性能之间的相关性。我们证明了我们的研究结果的分类，只有1%的监督样本的人类肠道寄生虫的五个现实世界的挑战性的图像数据集。
2023-02-06 cs.LG
Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours
Carnegie Mellon University（卡内基梅隆大学）
目前基于学习的机器人抓取方法利用人类标记的数据集来训练模型。然而，这种方法存在两个问题：（a）由于每个对象可以以多种方式抓取，因此手动标记抓取位置不是一项微不足道的任务;（b）人类标记受语义影响。虽然已经尝试使用试错实验来训练机器人，但是在这样的实验中使用的数据量仍然相当低，因此使得学习器易于过度拟合。在本文中，我们采取的飞跃增加可用的训练数据到40倍以上，比以前的工作，导致超过700小时的机器人抓取尝试收集的数据集大小为50 K的数据点。这使我们能够训练卷积神经网络（CNN）来预测抓取位置，而不会出现严重的过拟合。在我们的公式中，我们将回归问题转换为图像块上的18路二进制分类。我们还提出了一种多阶段学习方法，其中在一个阶段中训练的CNN用于在后续阶段中收集硬否定。我们的实验清楚地表明了使用大规模数据集（和多阶段训练）进行抓取任务的好处。我们还比较了几个基线，并显示了最先进的性能概括为看不见的物体抓。
2015-09-23 cs.CV cs.LG cs.RO
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI；Stanford University（斯坦福大学）；Brown University（布朗大学）
我们提出了一种新的策略，当标记的训练数据有限时，将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型，我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器，我们首先提示模型回答关于一个例子的多个不同的查询，并定义如何将可能的响应映射到标签和弃权的投票。然后，我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明，在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中，这种方法可以显著提高超过zero-shot的性能，平均减少19.5%的错误。我们还发现，这种方法产生的分类器具有可比或更高的准确性，从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
