Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Active Semi-supervised Transfer Learning (ASTL) for Offline BCI Calibration
DataNova
脑电信号事件相关电位的单次分类是脑机接口(BCI)的一个重要研究方向。由于个体差异,通常需要一些特定于受试者的校准数据来为每个受试者定制分类器。迁移学习已被广泛用于通过利用来自类似/相关主体/任务的辅助数据来减少这种校准数据要求。然而,所有以前的研究都假设所有辅助数据都已标记。本文考虑了一个更一般的场景,其中部分辅助数据可以是未标记的。提出了一种基于主动半监督迁移学习(ASTL)的脑机接口离线校准方法,该方法集成了主动学习、半监督学习和迁移学习。使用视觉诱发电位古怪的任务和三种不同的EEG耳机,我们证明,ASTL可以实现一致的良好性能,跨学科和耳机,它优于一些国家的最先进的方法在文献中。
2018-05-12 cs.HC cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics(国家研究型高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex School of Data Analysis(Yandex数据分析学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);University of Amsterdam(阿姆斯特丹大学)
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上,该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
深度神经网络证明了它们在广泛的监督学习任务(例如,图像分类)在大量的标记数据集合上训练时(例如,ImageNet)。然而,创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下,这些资源可能不可用,从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时,对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加,以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中,我们对深度半监督学习进行了全面的概述,首先介绍了该领域,然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego(加州大学圣地亚哥分校)
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反,因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明,它们可以实现显着更高的AUC比提升树,随机森林和逻辑回归时,未标记的例子。
2016-05-28 cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Deep Bayesian Active Semi-Supervised Learning
Bergische Universiatät Wuppertal(伍珀塔尔贝吉施大学)
在许多应用中,生成标签信息的过程是昂贵且耗时的。我们提出了一种结合主动和半监督深度学习的新方法,以尽可能少的已知标签从深度卷积神经网络实现高泛化性能。在少量标记数据和大量未标记数据可用的情况下,我们的方法首先学习标记数据集。该初始化之后是期望最大化算法,其中进一步的训练通过以与标记数据一致的低熵拟合为目标来降低未标记数据上的分类熵。此外,该算法要求在一个特定的频率的预言机的标签的数据与熵高于一定的熵分位数。使用这个主动学习组件,我们获得了一个敏捷的标签过程,实现了高精度,但只需要少量的已知标签。对于MNIST数据集,我们报告仅使用300个标签的出错率为2.06%,使用1000个标签的错误率为1.06%。这些结果是在不采用任何特殊的网络结构或数据增强的情况下获得的。
2018-03-03 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
From Weakly Supervised Learning to Active Learning
École Normale Supérieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所);DI ENS(巴黎高等师范学院信息学系);PSL(巴黎文理研究大学);Paderborn University(帕德博恩大学);ENSAE(法国国家统计与经济管理学院);NYU(纽约大学)
自从最近监督学习的成功以来,应用数学和机器计算已经带来了很多希望。许多行业从业者一直在尝试从旧范式转向机器学习。有趣的是,这些数据科学家花费更多的时间来清理,注释和清理数据,而不是微调模型。本论文的动机是以下问题:我们可以得到一个更通用的框架比之监督学习,以学习从杂乱的数据?这个问题是通过弱监督学习的镜头,假设数据汇集的瓶颈在于注释。我们将弱监管模型化为给出一组目标候选人,而不是一个唯一的目标。我们认为,应该寻找一个“乐观”的功能,匹配大多数的意见。这使我们能够推导出消除部分标签歧义的原则。我们还讨论了将无监督学习技术纳入我们的框架的优点,特别是通过扩散技术进行的流形正则化,为此我们推导出一种新的算法,该算法比基线方法更好地与输入维度相结合。最后,我们从被动转向主动弱监督学习,引入"主动标记“框架,在该框架中,从业者可以查询有关所选数据的弱信息。其中,我们利用这样一个事实,即不需要完整的信息来访问随机梯度和执行随机梯度下降。
2022-09-23 cs.LG math.ST stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络(DCN)在监督任务中取得了巨大的成功,因此在半监督学习中得到了广泛的应用。在本文中,我们利用最近开发的深度渲染混合模型(DRMM),一个概率生成模型,模型潜在的滋扰变化,其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下,我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之,我们的工作为监督,无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology(KTH皇家理工学院);School of Computer Science(计算机科学学院)
我们提出了一种半监督学习方法的应用,以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反,我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见,基于帧的音素分类的TIMIT数据库。我们的实验表明,该方法优于标准的监督训练等量的标记数据,并提供有竞争力的错误率相比,最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Unifying Active Learning and Semi-Supervised Learning for Medical Image Segmentation
Weill Cornell Medicine(威尔康乃尔医学院);Cornell University(康奈尔大学)
针对医学图像分割标注数据有限问题,提出RegAL统一框架,通过共享拓扑感知帕累托优化,结合样本获取与未标注数据利用,沿三个互补轴评估图像,在多数据集上于极端标注稀缺时表现稳定且优于基线。
2026-07-29 cs.CV stat.ML
Semi-Supervised Radio Signal Identification
Virginia Tech(弗吉尼亚理工大学);Oklahoma State University(俄克拉荷马州立大学)
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的,很容易从天线获得,但标记和策划的数据往往是稀缺的,使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外,允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号,用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题,本文主要研究半监督学习的统计性质。在标准的监督学习中,只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中,除了标记数据之外,还获得未标记数据。因此,在半监督学习中,利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下,一般认为未标记数据对提高估计精度没有作用。最近,有人透露,加权估计使用未标记的数据实现更好的预测精度相比,学习方法,仅使用标记的数据,特别是当判别概率模型是错误的。也就是说,当错误指定半参数模型时,在缺失数据的半参数模型下的改进是可能的。在本文中,我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是,所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论,我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明,我们的方法的实用性。
2012-04-18 stat.ML
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计,鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界,并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计,可以达到这个下限,从而提高了监督估计,条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的,因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich(慕尼黑工业大学);Helmholtz AI(亥姆霍兹人工智能研究院)
在计算病理学中,我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习,它通常分为自我监督的借口任务和随后的模型微调。在这里,我们通过引入S5 CL将这两个阶段的训练压缩为一个,S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失,S5 CL可以学习反映距离关系层次的特征表示:相似图像和增强嵌入最接近,其次是同一类的不同外观图像,而来自不同类的图像具有最大的距离。此外,S5 CL允许我们灵活地组合这些损失,以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示,在稀疏标签的情况下,我们的框架有了很大的改进:对于H& E染色的结直肠癌数据集,与监督交叉熵损失相比,准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集,F1分数提高了6%。
2022-03-14 cs.CV stat.ML
An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
半监督学习中的一个常见假设是,标记数据、未标记数据和测试数据来自相同的分布。然而,这一假设在许多应用中并不满足。在许多情况下,数据是顺序收集的(例如,医疗保健),并且数据的分布可能随时间变化,通常表现出所谓的协变量偏移。在本文中,我们提出了一种半监督学习算法,能够解决这个问题的方法。我们的框架还恢复了一些流行的方法,包括熵最小化和伪标记。我们提供了新的信息理论为基础的泛化误差上界启发我们的新框架。我们的界限适用于一般的半监督学习和协变量偏移的情况。最后,我们数值表明,我们的方法优于以前的方法提出的半监督学习下的协变量偏移。
2022-02-24 cs.IT math.IT stat.ML
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中,我们分析了基于图的方法,半监督学习下的流形假设。我们采用贝叶斯的角度来看,并证明,对于一个合适的选择之前构建了足够多的未标记的数据,后验合同周围的真理在一个速率,是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company(好奇人工智能公司)
我们考虑半监督的Few-Shot分类问题,其中分类器需要使用几个标记的示例和(可能是许多)未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类,并使用少数标记示例指导聚类过程。我们注意到,在许多实际应用中,通过用户反馈请求少量标签,可以显著提高自适应性能。我们展示了良好的性能,使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
Semi-supervised Batch Active Learning via Bilevel Optimization
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
主动学习是一种通过提高数据效率来降低标注成本的有效技术。在这项工作中,我们提出了一种新的批量采集策略的主动学习在设置中的模型训练是在半监督的方式进行。我们制定了我们的方法作为一个数据汇总问题,通过双层优化,其中查询批次由最好的总结未标记的数据池的点。我们表明,我们的方法是非常有效的关键字检测任务的制度时,只有少数标记的样本。
2020-10-19 cs.LG cs.SD stat.ML
Making Better Use of Unlabelled Data in Bayesian Active Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
针对贝叶斯主动学习中全监督模型忽视无标签信息的问题,提出一种简单的半监督贝叶斯主动学习框架,其性能优于传统方法且更易扩展,强调了模型与数据获取方法联合研究的重要性。
2024-04-26 cs.LG stat.ML
Weakly Supervised Active Learning with Cluster Annotation
University of Campinas(坎皮纳斯大学);EPFL(洛桑联邦理工学院)
在这项工作中,我们引入了一个新的框架,该框架采用聚类注释,通过减少训练深度神经网络所需的人类交互次数来促进主动学习。人类也可以标记聚类,而不是单独注释单个样本,从而以较小的标记错误为代价产生更多数量的注释样本。我们的实验表明,与完全监督训练相比,所提出的框架在CIFAR-10和EuroSAT数据集上分别需要减少82%和87%的人类交互,同时在测试集上保持相似的性能。
2019-01-25 cs.CV cs.LG stat.ML
Active Feature Acquisition with Supervised Matrix Completion
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);RIKEN Center for AIP(理化学研究所人工智能项目中心);University of Tokyo(东京大学)
特征缺失是许多应用中的一个严重问题,它可能导致低质量的训练数据并进一步显著降低学习性能。虽然特征获取通常涉及特殊的设备或复杂的过程,但获取整个数据集的所有特征值是昂贵的。另一方面,特征可以彼此相关,并且一些值可以从其他值恢复。因此,重要的是要决定哪些功能是最翔实的恢复其他功能,以及提高学习性能。在本文中,我们试图训练一个有效的分类模型,最小的收购成本,联合执行主动特征查询和监督矩阵完成。在完成特征矩阵时,提出了一种新的目标函数,以同时最小化观测条目上的重建误差和训练数据上的监督损失。当查询特征值时,基于先前迭代的方差主动选择最不确定的条目。此外,当特征承担不同的获取成本时,提出了一种基于成本意识的主动选择的双目标优化方法。理论分析和实验研究均验证了该方法的有效性。
2018-06-05 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge(剑桥大学)
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法,但迄今为止的研究都集中在平均准确度作为主要指标。然而,要用模型取代昂贵的关键任务实验,高平均精度是不够的:离群值可能会破坏发现活动,因此模型需要可靠地预测何时会失败,即使训练数据有偏差;实验是昂贵的,因此模型需要数据高效,并使用主动学习建议信息丰富的训练集。我们表明,不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样,以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离,在低数据限制下保持不确定性估计的准确性,并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Active Metric Learning for Supervised Classification
ExxonMobil Corporate Strategic Research(埃克森美孚企业战略研究院);Lehigh University(利哈伊大学)
聚类和分类主要依赖于距离度量,这些距离度量提供了数据点之间有意义的比较。我们提出了混合整数优化方法来找到最佳的距离度量,推广了文献中广泛研究的马氏度量。此外,我们通过消除对预先指定的“目标邻居”、“三元组”和“相似性对”的依赖来概括和改进领先的方法。“我们的方法的另一个显著特点是它能够通过在计算出最佳度量后推荐精确的区域来进行主动学习,以提高分类性能。这种有针对性的获取可以通过确保训练数据完整性、代表性和经济性来显著减少计算负担。我们通过几个简单直观的例子展示了算法的分类和计算性能,然后是真实图像和医疗数据集的结果。
2018-03-28 cs.LG stat.ML
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Zero-shot Active Learning Using Self Supervised Learning
Stanford University(斯坦福大学)
本文提出一种模型无关且无需迭代的零样本主动学习方法,利用自监督学习在无标注情况下提取特征表示,在固定标注预算下提升深度学习模型的泛化性能。
2024-01-03 cs.LG
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
SEAL: Semi-supervised Adversarial Active Learning on Attributed Graphs
University of Technology Sydney(悉尼科技大学)
属性图上的主动学习随着图结构数据的普及而受到越来越多的关注。虽然AL已被广泛研究,以减轻标签稀疏问题与传统的非相关数据,如何使其有效的属性图仍然是一个开放的研究问题。现有的图上AL算法试图重用经典的AL查询策略设计的非相关数据。然而,它们受到两个主要限制。首先,在不同的评分空间中计算的不同AL查询策略通常被天真地组合以确定要标记哪些节点。其次,人工智能查询引擎和分类器的学习被视为两个分离的过程,导致性能不令人满意。在本文中,我们提出了一个基于属性图的SEMI监督对抗主动学习(SEAL)框架,该框架充分利用了深度神经网络的表示能力,并以对抗的方式设计了一种新的AL查询策略。我们的框架学习了两个对抗性组件:一个图嵌入网络,它将未标记和标记的节点编码到一个潜在空间中,期望欺骗网络将所有节点视为已经标记的节点,以及一个半监督网络,它将潜在空间中的未标记节点与现有标记节点区分开来。发散度分数,产生的一个统一的潜在空间中,作为信息量的措施,积极选择最翔实的节点标记的预言。这两个对抗成分形成一个闭环,以相互和同时相互加强,以提高主动学习性能。在四个真实网络上进行的大量实验验证了SEAL框架的有效性,其性能优于最先进的基线。
2020-08-06 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在表示学习中,学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中,我们专注于半监督解纠缠学习,并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.(2019)的工作。具体来说,在训练过程中,只要可用,我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发,该框架自然地激励了现有半监督VAE中常用的监督术语(但不用于解纠缠学习)。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage
University of Sydney(悉尼大学);Norwegian University of Science and Technology(挪威科技大学)
针对自监督模型上主动学习相变点提前、策略难选的问题,提出NTKCPL,利用NTK近似、伪标签与聚类生成更准确估计经验风险,并在五个数据集上验证其优势。
2023-06-07 cs.LG
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Semi-Supervised Active Learning for Semantic Segmentation in Unknown Environments Using Informative Path Planning
University of Bonn(波恩大学);University of Oxford(牛津大学)
针对未知环境下预训练语义分割模型性能受限、现有主动学习方法标注成本高的问题,提出结合信息路径规划的半监督主动学习方法,融合人工标注与伪标签,在降低标注量的同时实现接近全监督的分割性能。
2024-01-26 cs.LG cs.RO
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
How To Overcome Confirmation Bias in Semi-Supervised Image Classification By Active Learning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
针对类间不平衡、类内不平衡和类间相似性导致SSL产生确认偏差的问题,本文通过模拟实验证明AL可克服该偏差,而随机采样无法缓解,凸显主动半监督学习在现实有限标签场景中的价值。
2023-08-16 cs.CV cs.LG
Contrastive Pessimistic Likelihood Estimation for Semi-Supervised Classification
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督分类器的改进保证目前只能在数据的限制条件下给出。我们提出了一种通用的方法来执行半监督参数估计的似然为基础的分类器,在完整的训练集,估计永远不会比监督的解决方案的对数似然。此外,我们认为,在特定情况下,我们可以期望这些解决方案能够真正改善监督分类器。在LDA的一个例子中,我们进一步证明了它的半监督版本严格优于其监督版本。形成我们估计原则核心的两个新概念是对比和悲观。前者指的是我们的目标函数考虑了监督估计,使半监督解决方案能够显式控制对该估计的潜在改进。后者指的是我们的估计是保守的,因此弹性的任何形式的真实标签的未标记的数据takeson.Experiments证明的改善,在独立的测试集上的对数似然和分类错误率。
2015-05-10 cs.LG stat.ME stat.ML