Improving Semi-Supervised Learning for Remaining Useful Lifetime Estimation Through Self-Supervision
Technische Universität Berlin(柏林工业大学);IAV GmbH(IAV公司)
RUL估计受到服务器数据不平衡的影响,其中来自接近其生命周期结束的机器的数据很少。此外,机器产生的数据只能在机器故障后才能标记。半监督学习(SSL)可以合并尚未失败的机器产生的未标记数据。以前的SSL工作评估他们的方法在不切实际的条件下,接近失败的数据仍然可用。即便如此,也只有适度的改善。提出了一种基于自监督预训练的SSL方法。该方法可以优于两个竞争的方法,从文献和监督基线在现实条件下的NASA C-MAPSS数据集。
2021-08-26 cs.LG
DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision
Saab AB(萨博集团);Chalmers University of Technology(查尔姆斯理工大学)
随着监督学习的成功,半监督学习(SSL)现在变得越来越流行。SSL是一系列方法,除了标记的训练集外,还使用大量未标记的数据来拟合模型。最近大多数成功的SSL方法都是基于伪标签方法:让自信的模型预测作为训练标签。虽然这些方法在许多基准数据集上显示出令人印象深刻的结果,但这种方法的一个缺点是,在训练过程中并没有使用所有未标记的数据。我们提出了一种新的SSL算法DoubleMatch,它将伪标记技术与自监督损失相结合,使模型能够在训练过程中利用所有未标记的数据。我们表明,该方法在多个基准数据集上实现了最先进的精度,同时与现有的SSL方法相比还减少了训练时间。代码可在https://github.com/walline/doublematch上获得。
2022-05-11 cs.CV cs.LG stat.ML
Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Faculty of IT, Monash University(莫纳什大学信息技术学院)
基于图的半监督学习(SSL)旨在通过图将少量标记数据的标记转移到剩余的大量未标记数据。图卷积网络(Graph Convolutional Networks,GCN)是一种基于图的SSL方法,它将神经网络的良好表达能力与图结构相结合,取得了显著的进展。然而,现有的基于图的方法没有直接解决SSL的核心问题,即,监管力度不够,绩效还很有限。为了解决这个问题,本文提出了一种新的基于GCN的SSL算法,通过利用数据相似性和图结构来丰富监督信号。首先,通过设计半监督对比损失,可以通过最大化相同数据或来自同一类的数据的不同视图之间的一致性来生成改进的节点表示。因此,丰富的未标记数据和稀缺但有价值的标记数据可以共同为学习区分性节点表示提供丰富的监督信息,这有助于改善后续的分类结果。其次,通过使用与输入特征相关的图生成损失,提取数据特征与输入图拓扑之间的潜在决定性关系作为SSL的补充监督信号。在多种真实数据集上的实验结果表明,该算法与其他最先进的方法相比是有效的。
2020-09-19 cs.LG stat.ML
Label Propagation with Weak Supervision
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种利用先验概率假设标签的经典标签传播算法(LPA)新分析,给出结合图几何与先验质量的误差界限,并构建整合多噪声源的弱监督框架,在多个基准任务上优于现有方法。
2023-04-09 cs.LG stat.ML
Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning
University of Warwick(沃里克大学);University of Cambridge(剑桥大学)
提出半监督思维链学习框架Semi-CoT,利用未标注问题通过熵门控选择低熵伪思维链作为可靠监督信号,实验显示高精度但部分任务效果有限。
2026-07-03 cs.AI cs.LG
n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation
AI Clearing, Inc.(AI清算公司);Semantic Technology Institute, Department of Computer Science, University of Innsbruck(因斯布鲁克大学语义技术研究所);Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
我们提出了n-CPS -最近国家的最先进的交叉伪监督(CPS)的方法的半监督语义分割的任务的概括。在n-CPS中,有n个同时训练的子网络,它们通过one-hot编码扰动和一致性正则化相互学习。我们还表明,应用于子网络输出的集成技术可以显着提高性能。据我们所知,n-CPS搭配CutMix的性能优于CPS,并为Pascal VOC 2012设定了最新的技术水平(1/16,1/8,1/4和1/2监督制度)和Cityscapes(1/16监督)。
2022-04-11 cs.AI cs.CV cs.LG
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在表示学习中,学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中,我们专注于半监督解纠缠学习,并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.(2019)的工作。具体来说,在训练过程中,只要可用,我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发,该框架自然地激励了现有半监督VAE中常用的监督术语(但不用于解纠缠学习)。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
WALNUT: A Benchmark on Semi-weakly Supervised Learning for Natural Language Understanding
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Illinois Institute of Technology(伊利诺伊理工学院)
为自然语言理解(NLU)任务构建机器学习模型在很大程度上依赖于标记数据。当大量标记数据不可用或获取成本高昂时,弱监督已被证明是有价值的。现有的研究NLU弱监督的工作大多集中在特定的任务或模拟弱监督信号从地面实况标签。因此,如果没有一个统一而系统的基准,不同的任务和现实世界的弱标签规则,就很难比较不同的方法并评估弱监管的好处。在本文中,我们提出了这样一个基准,命名为WALNUT(半Weakly监督学习自然语言理解测试床),倡导和促进弱监督NLU的研究。WALNUT由不同类型的NLU任务组成,包括文档级和令牌级预测任务。WALNUT是NLU的第一个半弱监督学习基准,其中每个任务包含由多个真实世界弱源生成的弱标签,以及一小组干净标签。我们对WALNUT进行基线评估,以系统地评估各种弱监督方法和模型架构的有效性。我们的研究结果证明了弱监督对低资源NLU任务的好处,并突出了跨任务的有趣模式。我们预计WALNUT将刺激对方法的进一步研究,以更有效地利用薄弱的监管。基准测试和基准代码可在\url{aka.ms/walnut_benchmark}上获得。
2022-05-23 cs.CL cs.LG
Continual Semi-Supervised Learning through Contrastive Interpolation Consistency
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
持续学习(CL)研究如何在任务流上训练深度网络而不会导致遗忘。文献中提出的CL设置假设每个传入的示例都与地面实况注释配对。然而,这与许多现实世界的应用程序相冲突:收集标记数据,这本身是乏味和昂贵的,当数据流作为流时变得不可行。这项工作探讨了连续半监督学习(CSSL):在这里,只有一小部分标记的输入示例显示给学习者。我们评估当前CL方法(例如:EWC,LwF,iCaRL,ER,GDumb,DER)在这个新颖而具有挑战性的场景中表现出色,其中过拟合纠缠着遗忘。随后,我们设计了一种新型的CSSL方法,该方法利用度量学习和一致性正则化来在学习时利用未标记的示例。我们表明,我们的建议表现出更高的弹性,减少监督,更令人惊讶的是,仅依靠25%的监督足以优于SOTA方法训练下的全面监督。
2022-08-29 cs.LG stat.ML
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Relaxed Oracles for Semi-Supervised Clustering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
成对“同簇”查询是半监督聚类中最广泛使用的监督形式之一。然而,要求人类神谕正确回答每个查询是不切实际的。在本文中,我们研究的影响,允许“不确定”的答案从一个弱的预言,并提出了一个有效的算法来处理这种不确定性的查询响应。两个现实的弱预言模型被认为是在回答的歧义取决于两点之间的距离。我们表明,一个小的查询复杂度是足够的有效聚类的概率高,提供更好的对弱预言。合成和真实数据的实验结果表明,我们的方法在克服监督的不确定性,产生高质量的集群的有效性。
2017-11-20 cs.LG stat.ML
Synergy-Guided Regional Supervision of Pseudo Labels for Semi-Supervised Medical Image Segmentation
Fuzhou University(福州大学);Macao Polytechnic University(澳门理工大学)
针对半监督医学图像分割中伪标签的噪声污染问题,提出SGRS-Net框架,基于mean teacher网络结合Mix Augmentation模块和Region Loss Evaluation模块对伪标签进行区域划分与损失评估,在LA数据集上取得优于SOTA的性能。
2024-11-13 cs.CV cs.LG
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对弱监督信息能否直接用于对比学习的问题,本文建立统一理论框架,通过谱聚类相似度图与误差界分析,揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
ContraCluster: Learning to Classify without Labels by Contrastive Self-Supervision and Prototype-Based Semi-Supervision
Samsung SDS(三星SDS)
ContraCluster 提出一种结合对比自监督预训练、对比原型采样和基于原型的半监督微调三阶段的无监督图像分类方法,在 CIFAR-10 等基准上以 90.8% 准确率显著超越现有方法,逼近监督学习性能。
2023-04-19 cs.CV cs.LG
Semi-supervised Sequential Generative Models
University of Oxford(牛津大学);MIT(麻省理工学院);University of British Columbia(不列颠哥伦比亚大学);Montréal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所)
我们引入了一个新的目标,用于训练具有离散潜变量的深度生成时间序列模型,其中监督仅稀疏可用。这种半监督学习的实例对于现有方法是具有挑战性的,因为可能的离散潜在配置的指数数量导致高方差梯度估计。我们首先通过使用重新加权的唤醒-睡眠扩展标准的半监督生成建模目标来克服这个问题。然而,我们发现,当训练序列之间可用标签的频率不同时,这种方法仍然会受到影响。最后,我们引入了一个统一的目标启发教师强迫,并表明这种方法是强大的可变长度的监督。我们称这种方法为含咖啡因的唤醒-睡眠(CWS),以强调其对真实数据的额外依赖。我们证明了它的有效性MNIST,手写,果蝇轨迹数据的实验。
2020-06-30 cs.LG stat.ML
Constraint-Based Clustering Selection
KU Leuven(鲁汶大学)
半监督聚类方法在聚类过程中加入了有限的监督。通常,这种监督由用户以成对约束的形式提供。现有的方法使用这样的约束在以下方式之一:他们适应他们的聚类过程,他们的相似性度量,或两者兼而有之。所有这些方法都在各个聚类算法的范围内运行。相比之下,我们建议使用约束条件来选择非常不同的无监督聚类算法生成的聚类,运行不同的参数设置。我们的经验表明,这种简单的方法往往优于现有的半监督聚类方法。
2016-09-23 cs.LG stat.ML
Semi-Automatic Data Annotation guided by Feature Space Projection
Institute of Computing, University of Campinas(坎皮纳斯大学计算研究所);Department of Information and Computing Sciences, Faculty of Science, Utrecht University(乌得勒支大学理学院信息与计算科学系)
使用每个训练样本的视觉检查(监督)进行数据注释可能很费力。交互式解决方案通过帮助专家仅基于特征空间投影的视觉分析(没有进一步的样本监督)将标签从少数监督样本传播到未标记样本来缓解这一问题。我们提出了一种基于合适的特征空间投影和半监督标签估计的半自动数据标注方法。我们在流行的MNIST数据集和有无粪便杂质的人类肠道寄生虫图像上验证了我们的方法,这是一个庞大而多样的数据集,使得分类非常困难。我们评估了潜在和投影空间的两种半监督学习方法,以选择最能减少用户注释工作并提高对未知数据的分类准确性的方法。我们的研究结果证明了可视化分析工具的附加价值,这些工具结合了人类和机器的互补能力,以实现更有效的机器学习。
2020-07-27 cs.LG stat.ML
Edge-Based Self-Supervision for Semi-Supervised Few-Shot Microscopy Image Cell Segmentation
Universität Ulm(乌尔姆大学);Ulm University Medical Center(乌尔姆大学医学中心);The University of Adelaide(阿德莱德大学);Otto von Guericke University(奥托·冯·格里克大学)
深度神经网络目前为显微图像细胞分割提供了有希望的结果,但它们需要大规模的标记数据库,这是一个昂贵且耗时的过程。在这项工作中,我们放宽了标签的要求,结合自监督与半监督学习。我们提出了基于边缘的地图的预测,用于自监督未标记图像的训练,它与少量标记图像的监督训练相结合,用于学习分割任务。在我们的实验中,我们评估了一个Few-Shot显微图像细胞分割基准,并表明只有少量的注释图像,例如原始训练集的10%,就足以让我们的方法达到与1到10个镜头的完全注释数据库相似的性能。我们的代码和训练模型是公开的
2022-08-03 cs.CV cs.LG
Learning with Inadequate and Incorrect Supervision
Nanjing University of Science and Technology(南京理工大学);University of Sydney(悉尼大学)
在实际应用中,我们常常面临这样的困境:现有的标记数据不足以训练出可靠的分类器,更严重的是,由于人为因素的影响,一些标记数据可能被错误地标记。因此,本文提出了一种新的半监督学习范式,可以处理标签不足和标签不准确。为了解决标签不足的问题,我们使用一个图来桥接数据点,以便标签信息可以沿着图的边缘从稀缺的标记示例传播到未标记的示例。为了解决标签不准确的问题,采用图趋势滤波(GTF)和平滑特征基追踪(SEP)来过滤掉初始噪声标签。GTF惩罚图中连通样本之间标签差异的l_0范数,并且比传统的基于l_2范数的Laplacian平滑器具有更好的局部自适应性。SEP通过强调与小特征值相关联的拉普拉斯矩阵的前导特征向量来重建正确的标签,因为这些特征向量反映了真实的标签平滑度并携带丰富的类别分离线索。我们把我们的算法称为“不充分和不正确监督下的半监督学习”(SIIS)。在图像分类、文本分类和语音识别上的实验结果表明,该方法在标签错误纠正方面是有效的,在标签噪声和标签稀缺的情况下,其性能优于现有的方法。
2019-02-20 cs.LG stat.ML
Semi-supervised Stance Detection of Tweets Via Distant Network Supervision
Jadavpur University(贾达普大学);IIIT-Delhi(印度德里信息技术学院);IIT Bombay(印度理工学院孟买分校)
在社交媒体文本中检测和标记立场的强烈动机是仇恨言论检测,民意调查预测,参与预测和协调宣传检测。当今最好的神经立场检测器需要大量的训练数据,考虑到社交媒体文本和用户意见的快速变化,这是很难策划的。社交网络上的同质属性提供了粗粒度用户级立场的强烈信号。但是,用于tweet-level立场检测的半监督方法未能正确利用同质性。有鉴于此,我们提出了SANDS,一种新的半监督立场检测器。SANDS从很少的标签推文开始。它构建了tweets的多个深度特征视图。它还使用来自社交网络的远程监督信号来向组件学习器提供替代丢失信号。我们准备了两个新的推文数据集,包括来自两个人口统计数据(美国和印度)的超过87,000名用户发布的236,000条带有政治色彩的推文,他们的追随者-追随者图,以及语言学家注释的8,000多条推文。在基于美国(印度)的数据集上,SANDS的宏观F1得分为0.55(0.49),大大优于17个基线(包括SANDS的变体),特别是对于少数立场标签和嘈杂文本。在SANDS上进行的大量消融实验解开了文本和网络传播的立场信号的动态。
2022-01-05 cs.CL cs.LG cs.SI
Semi-Supervised Clustering with Inaccurate Pairwise Annotations
Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学);CIRRELT;Polytechnique Montréal(蒙特利尔理工学院)
成对关系信息是在难以获取类标签的领域中提供部分监督的有用方法。这项工作提出了一个聚类模型,该模型以必须链接和不能链接关系的形式合并成对注释,并考虑可能的注释不准确性(即,当专家提供成对监督时的常见设置)。我们提出了一个生成模型,假设高斯分布的数据样本以及随机块模型产生的必须链接和不能链接的关系。我们采用了最大似然方法,并证明,即使当监督是薄弱和不准确的,占关系信息显着提高聚类性能。关系信息还有助于检测现实世界数据集中不符合原始数据分布假设的有意义的组。此外,我们扩展了模型,以整合专家的准确性先验知识,并讨论在何种情况下使用这些知识是有益的。
2021-04-05 cs.LG
A-SFS: Semi-supervised Feature Selection based on Multi-task Self-supervision
Central South University(中南大学)
特征选择是机器学习中的一个重要过程。它通过选择对预测目标贡献最大的特征来构建一个可解释的和鲁棒的模型。然而,大多数成熟的特征选择算法,包括监督和半监督,未能充分利用特征之间的复杂潜在结构。我们相信这些结构对于特征选择过程是非常重要的,特别是当标签缺乏并且数据有噪声时。为此,我们创新性地将基于深度学习的自监督机制引入到特征选择问题中,即基于批量注意力的自监督特征选择(A-SFS)。首先,设计了一个多任务自监督自动编码器,在两个托词任务的支持下,揭示特征之间的隐藏结构。在多自监督学习模型的综合信息指导下,设计了一种批量注意力机制,根据批量特征选择模式生成特征权重,以减轻少量噪声数据带来的影响。该方法与14个主要的强大基准进行了比较,包括LightGBM和XGBoost。实验结果表明,A-SFS在大多数数据集上都达到了最高的准确率。此外,这种设计大大降低了对标签的依赖,仅需1/10的标记数据即可实现与最新基线相同的性能。结果表明,A-SFS对噪声和缺失数据也具有很强的鲁棒性。
2022-07-19 cs.AI cs.LG
Semi-Supervised Data Programming with Subset Selection
IIT Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
数据编程的范式,它使用弱监督的形式的规则/标签功能,和半监督学习,它增加了大量的未标记的数据集少量的标记数据,在几个文本分类的情况下,显示出很大的希望。在这项工作中,我们认为,通过不使用任何标记的数据,基于数据编程的方法可以产生次优性能,特别是当标签函数是嘈杂的。这项工作的第一个贡献是引入一个框架,\model,这是一个半监督的数据编程范式,学习\emph{joint model},有效地使用规则/标签功能以及半监督损失函数的特征空间。接下来,我们还研究了\modelss,它在联合半监督数据编程目标和\emph{selects}的基础上进行子集选择,这是一组可以用作\model标记集的示例。\modelss的目标是确保标记的数据可以通过\emph{complement}标记功能,从而受益于数据编程以及适当选择的人类标记数据。我们证明,通过有效地结合半监督,数据编程和子集选择范式,我们显着优于目前的最先进的七个公开可用的数据集。\footnote{The source code is available at \url{https://github.com/ayushbits/Semi-Supervised-LFs-Subset-Selection}}
2021-06-12 cs.LG stat.ML
Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)(伦敦大学学院(UCL));Google Inc.(谷歌公司)
我们提出了一种新的生成模型,结合了最先进的神经文本到语音(TTS)与半监督概率潜变量模型。通过对一些潜在变量提供部分监督,我们能够迫使它们具有一致和可解释的目的,这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性,例如影响和说话速度,只需1%(30分钟)的监督。即使在如此低的监督水平下,我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
SEVEN: Deep Semi-supervised Verification Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学);Lehigh University(理海大学)
验证确定两个样本是否属于同一个类,并且具有重要的应用,例如人脸和指纹验证,其中存在数千或数百万个类别,但每个类别都具有稀缺的标记示例,这对现有的深度学习模型提出了两个主要挑战。我们提出了一个名为SEmi监督的VErification网络(SEVEN)的深度半监督模型来解决这些挑战。该模型由两个互补的部分组成。生成组件通过从跨类别的大量数据中学习一般的显着结构来解决每个类别中缺乏监督的问题。判别组件利用学习到的一般特征来减轻类别内缺乏监督的情况,并且还指导生成组件找到整个数据流形的更多信息结构。这两个组成部分在SEVEN中联系在一起,以便对这两个组成部分进行端到端的培训。在四个验证任务上的大量实验表明,当标记数据短缺时,SEVEN显著优于其他最先进的深度半监督技术。此外,SEVEN与使用大量标记数据训练的完全监督基线相比具有竞争力。指出生成成分在SEVEN中的重要性。
2017-06-14 cs.LG stat.ML
AnoOnly: Semi-Supervised Anomaly Detection with the Only Loss on Anomalies
University of Electronic Science and Technology of China(电子科技大学);Juntendo University(顺天堂大学);RIKEN(理化学研究所)
AnoOnly提出一种仅对异常进行损失监督的半监督异常检测框架,通过暂停对正常数据的严格监督并利用批归一化实现弱监督,以平衡数据不平衡,提升检测性能并增强对标签噪声的鲁棒性。
2023-09-06 cs.AI cs.LG
RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision
National University of Defense Technology(国防科技大学);Singapore Management University(新加坡管理大学)
针对半监督异常检测中异常污染误导学习、离散监督信息利用不足的问题,提出RoSAS方法,通过质量插值生成连续异常度样本并加入特征学习约束,在11个数据集上AUC-PR较SOTA提升20%-30%,鲁棒性更优。
2023-07-25 cs.AI cs.LG
All Labels Are Not Created Equal: Enhancing Semi-supervision via Label Grouping and Co-training
Monash University(莫纳什大学);University of Adelaide(阿德莱德大学)
伪标记是半监督学习(SSL)的关键组成部分。它依赖于迭代地使用模型来为未标记的数据生成人工标签,以进行训练。它的各种方法的一个共同特性是,它们只依赖于模型的预测来做出标记决策,而不考虑任何关于类之间视觉相似性的先验知识。在本文中,我们证明了这会降低伪标签的质量,因为它在伪标签数据池中表现不佳。我们提出了SemCo,一种利用标签语义和协同训练来解决这个问题的方法。我们训练两个分类器的类标签的两个不同的视图:一个分类器使用标签的独热视图,并忽略类之间的任何潜在的相似性,而另一个使用标签的分布式视图,并将潜在相似的类分组在一起。然后,我们共同训练这两个分类器,根据它们的分歧进行学习。我们表明,我们的方法在各种SSL任务中实现了最先进的性能,包括在具有1000个标记示例的Mini-ImageNet数据集上提高了5.6%的准确率。我们还表明,我们的方法需要更小的批量和更少的训练迭代才能达到最佳性能。我们在https://github.com/islam-nassar/semco上提供我们的代码。
2021-04-12 cs.CV cs.LG
AnchorMixGAN: Anchor-Aligned Generative Semi-Supervision for DDoS Detection in Cloud-Integrated IoT Networks
针对云集成物联网中标记数据稀缺的DDoS检测,提出AnchorMixGAN生成式半监督框架,通过锚定对齐目标构建和MixUp混合,在三个基准上超越MixGAN。
2026-09-29 cs.CR cs.LG
Weakly- and Semi-supervised Evidence Extraction
Carnegie Mellon University(卡内基梅隆大学)
对于许多预测任务,利益相关者不仅需要预测,还需要支持人类可以用来验证其正确性的证据。然而,在实践中,标记支持证据的附加注释可能仅可用于少数训练样本(如果有的话)。在本文中,我们提出了新的方法,结合少量的证据注释(强半监督)与丰富的文档级标签(弱监督)的证据提取任务。评估两个分类任务的特点证据注释,我们发现,我们的方法优于基线适应我们的任务的可解释性文献。我们的方法产生了巨大的收益,只有几百个证据注释。用于复制我们工作的代码和数据集可在https://github.com/danishpruthi/evidence-extraction上获得。
2020-11-03 cs.CL cs.LG
Semi-Supervised Multi-Organ Segmentation through Quality Assurance Supervision
Vanderbilt University(范德堡大学);Sigma Technologies(12西格玛技术公司);Vanderbilt University Medical Center(范德堡大学医学中心)
人在环质量保证(QA)通常在医学图像分割之后执行,以确保系统按预期执行,以及识别和排除离群值。通过对大规模的、先前未标记的测试数据进行QA,可以生成分类QA分数。在本文中,我们提出了一种半监督多器官分割深度神经网络,由传统的分割模型生成器和QA参与的神经网络组成。使用2027个体积的大规模数据集来训练生成器,其2-D蒙太奇图像和具有QA分数的分割掩模用于训练生成器。为了生成QA评分,手动审查了2-D导联图像,并编码为0(成功)、1(与已发表性能一致的错误)和2(严重失败)。然后,ResNet-18网络使用所有三个代码标签均匀分布的1623个蒙太奇图像进行训练,并在测试队列中保留404个蒙太奇图像的情况下实现了94%的分类预测准确度。为了评估使用QA监督的性能,在多器官分割流水线中使用损失函数。QA损失函数的纳入将未标记测试数据集的性能从基线模型的714例患者提高到951例患者。此外,失效数量从606例(29.90%)降至402例(19.83%)。所提出的方法的贡献是三方面的:我们证明了:(1)QA得分可以用作损失函数来对未标记数据进行半监督学习,(2)训练好的训练集可以通过QA得分而不是传统的真/假来学习,以及(3)在未标记数据集上的多器官分割的性能可以是精细的-与原始基线方法相比,该方法具有更强的鲁棒性和更高的精度。
2019-11-12 cs.CV cs.LG eess.IV
GraphX$^{NET}-$ Chest X-Ray Classification Under Extreme Minimal Supervision
Universite de Bordeaux(波尔多大学);National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学);Stanford University(斯坦福大学);Yale-NUS College(耶鲁-新加坡国立大学学院)
X射线数据分类的任务是一个理论和临床感兴趣的问题。虽然有监督的深度学习方法依赖于大量的标记数据,但在极少量标记数据可用时实现良好分类准确性的关键问题尚未得到解决。在这项工作中,我们介绍了一种新的半监督框架的X射线分类,这是基于图为基础的优化模型。据我们所知,这是第一种利用基于图的半监督学习进行X射线数据分类的方法。此外,我们引入了一个新的多类分类功能,精心挑选的类先验,它允许一个平滑的解决方案,加强了有限数量的标签和大量的未标记数据之间的协同作用。我们证明,通过一组数值和视觉实验,我们的方法产生极具竞争力的结果胸部X射线14数据集,同时大大减少了注释数据的需要。
2020-07-03 cs.CV cs.LG eess.IV
Supervision by Denoising for Medical Image Segmentation
Harvard Medical School(哈佛医学院);MIT(麻省理工学院);CONICET(国家科学技术研究委员会)
针对医学图像标注稀缺且变异性大的问题,提出半监督框架“去噪监督”(SUD),利用模型自身去噪输出作为软标签,在时空去噪框架下交替去噪与权重更新,显著提升了3D脑部重建与2D皮质分割的重建效果。
2024-01-04 cs.CV cs.LG eess.IV
Learning to Approximate Uniform Facility Location via Graph Neural Networks
RWTH Aachen University, Germany(亚琛工业大学,德国);Technical University of Munich, Germany(慕尼黑技术大学,德国);Massachusetts Institute of Technology, USA(麻省理工学院,美国);University of Cologne, Germany(科隆大学,德国)
本文提出一种可微的图神经网络,结合近似算法原理,在无需求解器监督或离散松弛的情况下,提供可证明的近似保证,并在实践中优于传统近似算法,缩小与整数线性规划的差距。
2026-09-24 cs.DS cs.LG cs.NE
Avoiding Your Teacher's Mistakes: Training Neural Networks with Controlled Weak Supervision
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
训练深度神经网络需要大量的训练数据,但对于许多任务来说,只有有限的标记数据可用。这使得弱监督具有吸引力,使用弱或噪声信号,如探试法的输出或用户点击数据进行训练。在半监督设置中,我们可以使用带有弱标签的大数据集来预训练神经网络,然后使用带有真实标签的少量数据来微调参数。这在直观上感觉是次优的,因为这两个独立的阶段使模型不知道不同的标签质量。如果我们能以某种方式告知模型标签的质量呢?在本文中,我们提出了一种半监督学习方法,我们训练两个神经网络在多任务的方式:“目标网络”和“信心网络”。目标网络被优化以执行给定的任务,并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数对目标网络的梯度更新进行加权,该置信度网络是在少量监督数据上训练的。因此,我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。我们在两个不同的任务上评估我们的学习策略:文档排序和情感分类。结果表明,与基线相比,我们的方法不仅提高了性能,而且加快了从弱标签的学习过程。
2017-12-07 cs.CL cs.LG cs.NE
Deep Co-Training with Task Decomposition for Semi-Supervised Domain Adaptation
University of Maryland(马里兰大学);Cornell University(康奈尔大学);Salesforce Research(Salesforce研究院);Ohio State University(俄亥俄州立大学);Facebook AI(Facebook人工智能)
半监督领域自适应(SSDA)的目的是将从标记源域训练的模型适应到不同但相关的目标域,从该目标域提供未标记数据和少量标记数据。现有的方法不加区别地对待源监督和目标监督,忽视了它们之间的内在差异,导致源主导模型没有有效地利用目标监督。在本文中,我们认为,标记的目标数据需要区分有效的SSDA,并提出明确分解的SSDA任务分为两个子任务:一个半监督学习(SSL)的目标域任务和无监督领域自适应(UDA)跨域任务。通过这样做,这两个子任务可以更好地利用相应的监督,从而产生非常不同的分类器。为了整合这两个分类器的优势,我们应用了成熟的联合训练框架,在这个框架中,两个分类器交换它们的高置信度预测,以迭代地“互相教导”,这样两个分类器都可以在目标领域表现出色。我们将这种方法称为深度协同训练与任务分解(DeCoTa)。DeCoTa不需要对抗训练,易于实现。此外,DeCoTa是有充分依据的理论条件时,共同训练会成功。因此,DeCoTa在几个SSDA数据集上实现了最先进的结果,在DomainNet上的表现明显优于现有技术的4%。代码可在https://github.com/LoyoYang/DeCoTa上获得
2021-09-22 cs.CV cs.LG
Convergence Behavior of an Adversarial Weak Supervision Method
University of California, San Diego(加州大学圣迭戈分校)
本研究分析对抗性弱监督方法在对数损失下的收敛行为,刻画解的形式、与逻辑回归的联系、一致性和收敛速率,并指出概率方法可能不一致,实验验证了理论结果。
2024-05-25 cs.LG
SPEAR : Semi-supervised Data Programming in Python
Indian Institute of Technology Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个开源的Python库,用于半监督的数据编程。该软件包实现了几种最新的数据编程方法,包括以编程方式标记和构建训练数据的工具。SPECTRA以分类(或规则)的形式促进弱监督,并将噪声标签与训练数据集相关联。这些噪声标签被聚合以将标签分配给下游任务的未标记数据。我们已经实现了几种标签聚合方法,聚合的噪声标签,然后训练使用噪声标记的集合在级联的方式。我们的实现还包括联合聚合和训练文本分类任务的模型的其他方法。因此,在我们的python包中,我们集成了几种级联和联合数据编程方法,同时还通过让用户定义标记函数或规则来提供数据编程的便利。代码和教程笔记本可以在https://github.com/decile-team/spear上找到。此外,可以在https://spear-decile.readthedocs.io/上找到大量文档。演示我们软件包使用方法的视频教程可在此处获得。我们还介绍了SPECTRA的一些真实用例。
2022-10-05 cs.LG
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart(Flipkart公司);IIT Bombay(印度理工学院孟买分校);Quadeye(Quadeye公司);IBM India Research Lab(IBM印度研究实验室)
针对数学应用题求解需全量方程标注成本高的问题,提出仅用最终答案监督的弱监督模型WARM,先学生成方程再训练求解器,性能优于现有弱监督方法,还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models
University of Queensland(昆士兰大学);University of Adelaide(阿德莱德大学)
本文提出 Label-Agnostic Forgetting(LAF),通过变分表示分布近似与对比损失实现无需标签的深度模型机器遗忘,并在多种任务上达到接近全监督方法的效果。
2024-05-07 cs.LG
A versatile anomaly detection method for medical images with a flow-based generative model in semi-supervision setting
The University of Tokyo Hospital(东京大学医院);The University of Tokyo(东京大学);RIKEN(理化学研究所)
医学图像中的监督是一个关键问题,并且期望医学图像的及时报告。因此,强烈需要一种能够检测给定图像中几乎所有类型的病变/疾病的通用异常检测方法。然而,很少有商业上可用的和通用的异常检测方法的医学图像已经提供到目前为止。最近,基于深度学习方法的异常检测方法迅速普及,这些方法似乎为问题提供了合理的解决方案。然而,标记深度学习训练所需的图像的工作量仍然很大。在这项研究中,我们提出了一个异常检测方法的基础上,两个训练流为基础的生成模型。使用这种方法,后验概率可以计算为任何给定图像的正态性度量。生成模型的训练需要两组图像:一组仅包含正常图像,另一组包含正常和异常图像,没有任何标签。在后一组中,每个样本不必被标记为正常或异常;因此,图像的任何混合(例如,医院中的所有病例)可以用作数据集,而无需繁琐的手动标记。两种类型的医学图像的方法进行了验证:胸部X射线摄影(CXR)和脑计算机断层扫描(BCT)。CXR(肺炎样阴影为0.868)和BCT(梗死为0.904)的对数后验概率的受试者工作特征曲线下面积与先前使用其他异常检测方法的研究中的受试者工作特征曲线下面积相当。这一结果显示了我们的方法的通用性。
2020-10-20 cs.CV cs.LG eess.IV
Learning Multimodal VAEs through Mutual Supervision
University of Oxford(牛津大学);University of Durham(杜伦大学);Improbable(Improbable公司);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
多模态VAE试图对异质数据(例如,视觉、语言),同时还捕获跨这些模态的共享表示。先前的工作通常通过直接在识别模型中通过显式产品,混合物或其他此类因子分解来协调特质表示来组合来自模态的信息。在这里,我们介绍了一种新的替代方案,MEME,避免这种明确的组合,通过重新利用半监督VAE,通过相互监督隐式地结合模态之间的信息。这种表述自然允许从部分观察到的数据中学习,其中一些模态可能完全缺失-大多数现有方法要么无法处理,要么在有限的程度上这样做。我们证明了MEME在MNIST-SVHN(图像-图像)和CUB(图像-文本)数据集上的部分和完整观察方案中的标准指标上优于基线。我们还对比了通过相互监督与标准方法学习的表示的质量,并观察到其捕获数据之间相关性的能力的有趣趋势。
2022-12-16 cs.CV cs.LG
Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision
研究针对抗体表达排序中标记数据稀缺问题,提出基于偏好的学习框架,结合定量表达与弱监督,通过改进DPO适用于蛋白质语言模型,在多样数据集上评估,该方法优于基线,为抗体可表达性优化提供可扩展方案。
2026-07-21 cs.CE cs.LG q-bio.QM
Semi-Supervised Few-Shot Learning for Dual Question-Answer Extraction
Zhejiang University(浙江大学);University of California, Irvine(加州大学欧文分校)
本文研究了从句子中提取关键短语的问题。现有的最先进的监督方法需要大量的注释数据,以实现良好的性能和泛化。然而,收集标记数据通常是昂贵的。在本文中,我们重新定义的问题,问答提取,并提出了SAMIE:自我询问模型的信息提取,一个半监督模型,双重学习问和回答问题本身。简单地说,给定一个句子$s$和一个答案$a$,模型需要选择最合适的问题$\hat q$ ;同时,对于给定的句子$s$和在上一步中选择的相同问题$\hat q$,模型将预测一个答案$\hat a$。该模型可以在非常有限的监督下支持少样本学习。它也可以用来执行聚类分析时,没有监督提供。实验结果表明,该方法优于典型的监督方法,特别是在少量标记数据的情况下。
2019-04-08 cs.AI cs.CL cs.LG
Semi-supervised Pathology Segmentation with Disentangled Representations
University of Edinburgh(爱丁堡大学);University of California(加利福尼亚大学);Cedars-Sinai Medical Center(西达赛奈医疗中心);University of Essex(埃塞克斯大学);The Alan Turing Institute(艾伦·图灵研究所)
自动病理分割仍然是临床实践中有价值的诊断工具。然而,收集训练数据是一项挑战。半监督方法通过结合标记和未标记的数据可以提供数据稀缺的解决方案。半监督学习的方法依赖于重建目标(作为自我监督目标),其以联合方式学习任务的合适表示。在这里,我们提出了解剖-病理解缠网络(APD-Net),这是一种病理分割模型,首次尝试联合学习:解剖,模态和病理的解缠。该模型以半监督的方式进行训练,新的重建损失直接旨在改善具有有限注释的病理分割。此外,提出了一种联合优化策略,以充分利用可用的注释。我们评估我们的方法与两个私人心肌梗死分割数据集与LGE-MRI扫描。APD-Net可以使用很少的注释执行病理分割,在不同的监督量下保持性能,并优于相关的深度学习方法。
2020-09-05 cs.CV cs.LG eess.IV
Data efficient deep learning for medical image analysis: A survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本文综述了医学图像分析中的数据高效深度学习方法,按监督程度分类,并总结了常用数据集与未来方向。
2023-10-10 cs.CV cs.LG eess.IV
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University(萨尔兰大学);Heidelberg University(海德堡大学)
缺乏标记的训练数据限制了自然语言处理工具的开发,例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以(半)自动方式创建标记数据。此外,为了减轻自动注释中错误的一些负面影响,可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现,模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好,但我们想研究它们在低资源场景中的表现。在这项工作中,我们执行命名实体识别的豪萨语和Yorkebá,两种语言,广泛使用在几个发展中国家。我们评估了不同的嵌入方法,并表明远程监督可以成功地利用在一个现实的低资源的情况下,它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model
Zhongguancun Laboratory(中关村实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Nanyang Technological University (NTU)(南洋理工大学);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学香槟分校计算机科学系)
NanoNet通过参数高效学习和知识蒸馏,实现轻量文本挖掘模型在有限监督下的高效训练与推理
2026-02-05 cs.AI cs.LG
Learning Discriminative and Generalizable Anomaly Detector for Dynamic Graph with Limited Supervision
University of Science and Technology of China(中国科学技术大学)
针对动态图异常检测中标注异常稀缺的问题,提出一个结合残差表示编码、限制损失和双边界优化的模型无关框架,从正常/未标注数据中学习可判别边界,同时利用有限标注异常并保持对未见异常的泛化能力。
2026-05-29 cs.AI cs.LG
Low-supervision urgency detection and transfer in short crisis messages
Information Sciences Institute University of Southern California Marina del Rey, CA
近年来,由于气候变化和难民危机等社会政治局势的影响,人道主义灾难不断增加。在发生自然灾害时,技术可以用来最好地调动食物和水等资源,方法是半自动地将推文和短信标记为紧急需求。这一问题之所以具有挑战性,不仅是因为灾后的数据稀缺,而且还因为发展中国家灾害的特点各不相同(很难只对一个系统进行训练),以及社交媒体上的噪音和怪癖。在本文中,我们提出了一个强大的,低监督的社会媒体紧急系统,适应任意的危机,利用标记和未标记的数据在集成设置。该系统还能够适应新的危机,未标记的背景语料库可能还没有通过利用一个简单而有效的迁移学习方法。实验表明,我们的迁移学习和低监督方法在无数灾害数据集上的表现优于可行的基线。
2019-07-15 cs.CL cs.LG cs.SI
A Semi-Supervised Learning Approach for Ranging Error Mitigation Based on UWB Waveform
Tsinghua University(清华大学);BCAM-Basque Center for Applied Mathematics(巴斯克应用数学中心);IKERBASQUE-Basque Foundation for Science(巴斯克科学基金会)
针对UWB测距中NLOS误差抑制需要大量标注数据的问题,本文提出基于变分贝叶斯的半监督学习方法,结合深度学习与统计工具利用无标签数据,在低监督率下仍优于全监督方法。
2023-05-23 cs.AI cs.LG eess.SP