Learning from Clinical Judgments: Semi-Markov-Modulated Marked Hawkes Processes for Risk Prognosis
University of California, Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学)
普通病房的重症患者容易发生意外不良事件,需要立即转移到重症监护室(ICU)。为了使恶化的患者的准确预后,我们开发了一种新的连续时间概率模型的监测患者的生理数据的时间序列。我们的模型捕获“信息采样”患者事件:临床医生关于何时观察住院患者的生命体征和实验室检查的决定由标记的Hawkes过程表示,强度参数由患者的潜在临床状态调制,并且可观察到的生理数据(标记过程)建模为切换多任务高斯过程。此外,我们的模型捕捉“信息审查”患者的情节,代表患者的潜在临床状态作为一个吸收半马尔可夫跳跃过程。通过基于EM的算法从电子健康记录中的离线患者事件学习模型参数。对一个大型医疗中心收治的一组患者进行的为期3年的实验表明,基于我们模型的风险预测显著优于目前部署的医疗风险评分和其他基线机器学习算法。
2017-05-15 cs.LG
Good Semi-supervised Learning that Requires a Bad GAN
基于生成对抗网络(GANs)的半监督学习方法获得了强有力的经验结果,但尚不清楚1)如何从与生成器的联合训练中受益,以及2)为什么不能同时获得良好的半监督分类性能和良好的生成器。从理论上讲,我们表明,给定的目标,良好的半监督学习确实需要一个坏的发电机,并提出了一个首选发电机的定义。从经验上讲,我们根据我们的分析推导出一种新的公式,该公式大大改善了特征匹配GANs,在多个基准数据集上获得了最先进的结果。
2017-11-03 cs.AI cs.LG
Why the pseudo label based semi-supervised learning algorithm is effective?
Peking University(北京大学);Moqi Technology(墨奇科技)
近年来,基于伪标签的半监督学习在许多领域取得了巨大的成功。基于伪标签的半监督学习算法的核心思想是使用在标记数据上训练的模型来生成未标记数据上的伪标签,然后训练模型来拟合先前生成的伪标签。本文从理论上分析了基于伪标签的半监督学习的有效性。我们主要比较了在两种设置下训练的模型的泛化误差:(1)有N个标记数据。(2)有N个未标记的数据和一个合适的初始模型。分析表明,当未标记数据量趋于无穷大时,基于伪标记的半监督学习算法可以得到与标记数据量趋于无穷大时正常训练得到的模型具有相同泛化误差上界的模型。更重要的是,我们证明了当未标记数据量足够大时,基于伪标记的半监督学习算法得到的模型泛化误差上界能够以线性收敛速度收敛到最优上界。我们还给出了采样复杂度的下界,以达到线性收敛速度。我们的分析有助于理解基于伪标签的半监督学习的经验成功。
2023-01-25 cs.AI cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University(蔚蓝海岸大学);Orange Labs(Orange实验室)
在本文中,我们提出了一种新的方法来解决半监督分类任务的生物医学应用,涉及监督自动编码器网络。我们创建了一个网络架构,将标签编码到自动编码器的潜在空间中,并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器(SSAE)。然后,我们使用学习的网络对未标记的样本进行分类,这要归功于应用于潜在空间的softmax分类器,该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法,用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法(SSAE)与经典的半监督方法,如标签传播和标签扩散,并与全连接神经网络(FCNN)。实验表明,SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文综述了近期深度半监督学习方法,基于流形、聚类和连续性假设对现有工作进行分类,并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney(悉尼大学);North University of China(中北大学);University of Technology Sydney(悉尼科技大学)
针对医学图像标注数据稀缺问题,提出将自监督BYOL集成到半监督模型的方法,经无标注预训练、伪标与标注数据合并训练及迭代微调,在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM(马恩拉瓦莱信息与数学实验室)
我们研究在线持续学习与缺失标签,并提出SemiCon,一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率,该方法在未标记的数据流上进行训练,其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时,我们的方法优于现有的半监督方法,并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下,获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
DeepHeart: Semi-Supervised Sequence Learning for Cardiovascular Risk Prediction
Cardiogram;University of California(加利福尼亚大学)
我们对来自现成可穿戴心率传感器的57,675人周数据进行了训练和验证半监督多任务LSTM,在检测多种医疗状况时显示出很高的准确性,包括糖尿病(0.8451),高胆固醇(0.7441),高血压(0.8086)和睡眠呼吸暂停(0.8298)。我们比较了两种半监督训练- ing方法,半监督序列学习和启发式预训练,并显示它们优于来自医学文献的手工设计的生物标志物。我们相信,我们的工作提出了一种新的患者风险分层方法,该方法基于Fitbit、Apple Watch或Android Wear等流行可穿戴设备的心血管风险评分。
2018-02-07 cs.AI cs.LG stat.ML
COBRAS-TS: A new approach to Semi-Supervised Clustering of Time Series
KU Leuven(鲁汶大学)
聚类在数据分析中是普遍存在的,包括对时间序列的分析。它本质上是主观的:不同的用户可能喜欢对特定数据集进行不同的聚类。半监督聚类通过允许用户提供应该(不应该)在同一个集群中的实例的示例来解决这个问题。本文研究了时间序列的半监督聚类问题。我们表明,COBRAS,一个国家的最先进的半监督聚类方法,可以适应这种设置。我们将这种方法称为COBRAS-TS。广泛的实验评估支持以下声明:(1)COBRAS-TS在时间序列的半监督聚类方面远远优于当前的技术水平,因此为该领域提供了一个新的基线;(2)COBRAS-TS可以识别具有分离分量的聚类;(3)COBRAS-TS可以识别以小的局部模式为特征的聚类;(4)少量的半监督可以大大提高时间序列的聚类质量;(5)聚类算法的选择很重要(与文献中的早期权利要求相反)。
2018-05-02 cs.AI cs.LG stat.ML
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)(脸书人工智能研究院)
我们提出了一个多视图伪标记的方法来视频学习,一个新的框架,使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签,以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图,但它仍然训练了一个跨外观和运动输入共享的模型,因此,通过设计,在推理时不会产生额外的计算开销。在多个视频识别数据集上,我们的方法大大优于其监督对应,并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)(Relayr有限公司)
我们提出了一种新的风格的变分自编码器(VAE),无监督,半监督和全监督学习域之间无缝插值。我们表明,未标记的数据点不仅可以提高无监督任务,而且可以提高分类性能。反之亦然,每个标签不仅可以改进分类,还可以改进无监督任务。所提出的架构很简单:分类层连接到最顶层的编码器层,然后与解码器的重采样潜在层相结合。通常的证据下限(ELBO)损失补充了该分类层上的监督损失目标,仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下,我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich(慕尼黑大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注,但其在时间序列域中的适用性研究有限。在这项工作中,我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整,特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整,我们探索深度半监督学习在时间序列分类的背景下,通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑,这是尚未在该领域缺乏。我们发现,这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益,特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域,有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整,或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系)
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中,我们研究了多个对抗性示例的对抗性训练,以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明,对抗训练提供了对监督模型的改进,并且在半监督训练情况下也有效地涉及未标记数据。此外,我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis
FPT University(FPT大学)
本研究提出多模态半监督学习方法SemiMemes,结合自编码器与分类任务利用未标记数据,在两个数据集上优于现有最先进模型,有效解决模因有害内容审查的标注难题。
2023-05-16 cs.AI cs.CL cs.CV
Exponential Family Hybrid Semi-Supervised Learning
School of Computing(计算学院);University of Utah(犹他大学)
我们提出了一种基于指数族特征的半监督学习方法。我们的方法概括了以前的工作耦合先验混合生成/歧视模型。我们的模型比以前的方法更灵活和自然。在几个数据集上的实验结果表明,我们的方法在实践中也表现得更好。
2010-03-02 cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario(西安大略大学)
半监督分类是一个有趣的想法,其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域,它与监督分类相比有许多优点。例如,监督分类只利用昂贵的标记数据,这些数据通常难以获得,数量不足,并且需要人类专家进行注释。另一方面,未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用,但由于其性能水平在经验上与监督分类一样好,因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上,该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合,使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中,符号向量耦合,生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域,如图像,文本和表格数据。实验结果表明,该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
In-Context Semi-Supervised Learning
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
本文提出上下文半监督学习方法,通过结合少量标记示例和大量未标记上下文,提升Transformer在低标签场景下的表现。
2026-01-29 cs.LG
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Method for Predicting Cancer Survival Using Incomplete Clinical Data
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
预测癌症患者的存活率是一个开放的研究领域。然而,这些研究中的许多都集中在具有大量患者的数据集上。我们提出了一种新的方法,专门用于解决数据稀缺的挑战,这通常是癌症数据集的情况。我们的方法是能够使用未标记的数据,通过采用半监督训练方法来学习集成分类器,以提高分类。将我们的方法应用于三个癌症数据集的结果显示了半监督学习预测癌症生存率的前景。
2015-09-29 cs.LG
Semi-supervised Learning with Regularized Laplacian
Inria(法国国家信息与自动化研究所);Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences(俄罗斯科学院特拉佩兹尼科夫控制科学研究所);St. Petersburg State University(圣彼得堡国立大学)
研究了一种基于相似图和正则拉普拉斯算子的半监督学习方法。我们给出了正则化拉普拉斯方法的方便的优化公式,并建立了它的各种性质。特别是,我们表明,该方法的内核可以解释在离散和连续时间的随机游动,并拥有几个重要的属性的邻近措施。最优化和线性代数方法都可以用于分类函数的有效计算。我们在数值例子中证明了正则化拉普拉斯方法相对于其他最先进的半监督学习方法是有竞争力的。
2015-08-20 cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence(嵌入式智能公司)
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查,这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明,影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架,针对半监督学习方法,以更好地理解和利用其局限性,并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University(女王大学)
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面,标记EEG数据通常昂贵且耗时。为了解决这个问题,并减少在基于EEG的情感识别的背景下对输出标签的需求,我们提出了一个半监督管道,以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性,而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架,并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器,即使在训练期间输出标签的小子集(3%,5%和10%)可用时,也始终优于基准方法,从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics(国家研究型高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex School of Data Analysis(Yandex数据分析学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);University of Amsterdam(阿姆斯特丹大学)
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上,该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML