Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney(悉尼大学);North University of China(中北大学);University of Technology Sydney(悉尼科技大学)
针对医学图像标注数据稀缺问题,提出将自监督BYOL集成到半监督模型的方法,经无标注预训练、伪标与标注数据合并训练及迭代微调,在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich(慕尼黑大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注,但其在时间序列域中的适用性研究有限。在这项工作中,我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整,特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整,我们探索深度半监督学习在时间序列分类的背景下,通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑,这是尚未在该领域缺乏。我们发现,这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益,特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域,有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整,或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
Video Violence Recognition and Localization Using a Semi-Supervised Hard Attention Model
Amirkabir University of Technology(阿米尔卡比尔理工大学)
监控摄像机网络的显著增长需要可扩展的AI解决方案来有效分析这些网络产生的大量视频数据。视频暴力检测作为对监控录像进行分析的一种典型方法,近年来受到了广泛的关注。大多数研究集中在使用监督方法改进现有方法,很少关注半监督学习方法。在这项研究中,一个强化学习模型,可以通过半监督的方法优于现有的模型。该方法的主要创新之处在于引入了半监督硬注意力机制。使用硬注意力,视频的重要区域被识别并与数据的非信息部分分离。通过去除冗余数据并以更高的分辨率关注有用的视觉信息来提高模型的准确性。使用半监督强化学习算法实现硬注意力机制消除了对视频暴力数据集中注意力注释的需要,从而使它们易于应用。该模型利用预训练的I3D骨干来加速和稳定训练过程。该模型在RWF和Hockey数据集上分别实现了90.4%和98.7%的最新准确度。
2022-09-05 cs.CV cs.LG
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University(西北大学);Bosch Research and Technology Center(博世研究与技术中心)
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要,并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时,强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明,我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善,目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Attention-Based Self-Supervised Feature Learning for Security Data
Purdue University(普渡大学);Micro Focus Inc.(微焦点公司)
虽然机器学习在网络安全中的应用迅速增长,但大多数模型都使用手动构建的特征。这种手动方法容易出错,需要领域专业知识。在本文中,我们设计了一个自我监督的序列到序列模型,并注意学习网络安全应用中经常使用的数据的嵌入。该方法在两个真实世界的公共数据集上进行了验证。学习的特征用于异常检测模型中,并且比来自基线方法的学习特征表现得更好。
2020-03-24 cs.CR cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Reinforcement Learning with Attention that Works: A Self-Supervised Approach
注意力模型在一系列任务中对深度学习产生了显著的积极影响。然而,之前将注意力与强化学习相结合的尝试未能产生显着的改善。我们提出了自注意力和强化学习的第一个组合,能够产生显着的改进,包括在街机学习环境中的最先进的新成果。与以前尝试中使用的选择性注意力模型不同,它通过先入为主的重要性概念来限制注意力,我们的实现利用了状态输入中固有的马尔可夫特性。我们的方法产生了一个忠实的可视化的政策,专注于代理的行为。我们的实验表明,经过训练的策略同时使用多个注意力焦点,并且能够随着时间的推移调整注意力,以处理部分可观察性的情况。
2019-04-06 cs.LG stat.ML
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系)
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中,我们研究了多个对抗性示例的对抗性训练,以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明,对抗训练提供了对监督模型的改进,并且在半监督训练情况下也有效地涉及未标记数据。此外,我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-supervised Classification for Natural Language Processing
University of Western Ontario(西安大略大学)
半监督分类是一个有趣的想法,其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域,它与监督分类相比有许多优点。例如,监督分类只利用昂贵的标记数据,这些数据通常难以获得,数量不足,并且需要人类专家进行注释。另一方面,未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用,但由于其性能水平在经验上与监督分类一样好,因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Hikvision Research Institute(海康威视研究院);University of Southern California(南加利福尼亚大学)
远程监督利用知识库来自动标记实例,从而允许我们训练关系提取器而无需人工注释。然而,生成的训练数据通常包含大量噪声,并且可能导致普通监督学习的性能较差。在本文中,我们提出了一种新的交叉关系交叉袋选择性注意(C $^2$ SA)进行多示例学习,这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言,我们采用了双水平的选择性注意,以减少噪音或不匹配的句子的影响,而关系之间的相关性被捕获,以提高注意力的权重的质量。此外,我们试图更多地关注具有更高质量的实体对,而不是平等地对待所有实体对。同样,我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性,而进一步的消融研究验证了我们的直觉,并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Keep It SimPool: Who Said Supervised Transformers Suffer from Attention Deficit?
National Technical University of Athens(雅典国立技术大学);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
针对监督视觉Transformer注意力图质量低的问题,提出通用基于注意力的池化机制SimPool,无需修改架构或显式损失,即可在监督和自监督下提升性能并生成高质量物体边界注意力图。
2023-09-13 cs.CV cs.LG
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
Self-supervised Monocular Trained Depth Estimation using Self-attention and Discrete Disparity Volume
Australian Institute for Machine Learning(澳大利亚机器学习研究所);School of Computer Science, University of Adelaide(阿德莱德大学计算机科学学院)
单目深度估计已经成为计算机视觉中研究最多的应用之一,其中最准确的方法是基于完全监督学习模型。然而,获取准确且大型的地面实况数据集来对这些完全监督的方法进行建模是该地区进一步发展的重大挑战。由于训练数据的广泛可用性,用单目视频训练的自监督方法构成了缓解上述挑战的最有前途的方法之一。因此,它们被深入研究,其中探索的主要思想包括不同类型的模型架构,损失函数和遮挡掩模,以解决非刚性运动。在本文中,我们提出了两个新的想法,以改善自我监督的单眼训练深度估计:1)自我注意,和2)离散视差预测。与通常的局部卷积操作相比,自我注意可以探索更一般的上下文信息,该上下文信息允许在图像的非连续区域处推断类似的视差值。除了能够估计深度不确定性之外,已经通过完全监督的方法示出了离散视差预测提供比更常见的连续视差预测更鲁棒和更锐利的深度估计。我们证明,通过这两个想法扩展最先进的自监督单目训练深度估计器Monodepth 2,使我们能够设计一个在KITTI 2015和Make3D中产生最佳结果的模型,缩小了自监督立体声训练和完全监督方法之间的差距。
2020-03-31 cs.CV cs.LG
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Weakly Supervised One-Shot Detection with Attention Similarity Networks
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
不以类身份为条件的神经网络模型被证明有助于类之间的知识转移,并且非常适合一次性学习任务。基于这一动机,我们进一步探索和建立了这样的模型,并提出了一种新的神经网络架构的弱监督单次检测的任务。我们的模型只以一个看不见的类的单个样本和一个更大的目标示例为条件,该目标示例可能包含也可能不包含与样本相同的类的实例。通过将暹罗相似性网络与注意力机制配对,我们设计了一个模型,该模型能够同时识别和定位在训练时看不到的类的实例。在计算机视觉和音频领域的数据集的实验中,所提出的方法大大优于弱监督单次检测任务的基线方法。
2018-06-27 cs.LG stat.ML
Improving BERT with Self-Supervised Attention
Peking University(北京大学)
应用大型预训练NLP模型(如BERT)的最流行的范例之一是在较小的数据集上对其进行微调。然而,一个挑战仍然存在,因为微调的模型往往在较小的数据集上过度拟合。这种现象的一个症状是,句子中不相关或误导性的单词,这是很容易理解的人类,可以大大降低这些微调BERT模型的性能。在本文中,我们提出了一种新的技术,称为自我监督注意力(SSA),以帮助促进这种泛化的挑战。具体来说,SSA通过探测上一次迭代中的微调模型,迭代地自动生成弱的标记级注意力标签。我们调查两种不同的方式集成SSA到BERT,并提出了一种混合的方法来结合他们的好处。从经验上讲,通过各种公共数据集,我们说明了显着的性能改善使用我们的SSA增强的BERT模型。
2021-10-22 cs.CL cs.LG
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University(朱拉隆功大学)
我们提出了一个半监督降维流形学习的一般框架,自然地概括了现有的监督和无监督学习框架,适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子,并能够处理复杂的问题,数据形成单独的簇的流形。我们的框架提供了简单的视图,解释了现有框架之间的关系,并提供了进一步的扩展,可以改善现有的算法。此外,提出了一种新的半监督核化框架,称为“KPCA技巧”,以处理非线性问题。
2009-07-29 cs.AI cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence(嵌入式智能公司)
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查,这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明,影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架,针对半监督学习方法,以更好地理解和利用其局限性,并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学)
弱监督目标检测(WSOD)已经成为一种有效的工具,训练对象检测器使用的图像级类别标签。然而,如果没有对象级别的标签,WSOD检测器很容易检测到显着的对象,聚类对象和歧视性的对象部分的边界框。此外,图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题,我们提出了一个全面的注意力自我蒸馏(CASD)训练方法的WSOD。为了平衡所有对象实例之间的特征学习,CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督,CASD在WSOD网络上进行自蒸馏,使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics(国家研究型高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex School of Data Analysis(Yandex数据分析学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);University of Amsterdam(阿姆斯特丹大学)
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上,该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
深度神经网络证明了它们在广泛的监督学习任务(例如,图像分类)在大量的标记数据集合上训练时(例如,ImageNet)。然而,创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下,这些资源可能不可用,从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时,对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加,以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中,我们对深度半监督学习进行了全面的概述,首先介绍了该领域,然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School(萨拉托加高中)
半监督学习已经获得关注,因为它允许执行图像分析任务,例如使用有限的标记数据进行分类。使用生成对抗网络(GANs)进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而,这可能需要模型为每个任务收敛到单独的数据分布,这可能会降低整体性能。虽然半监督学习已经取得了进展,但小规模的全监督任务却很少得到解决,即使是未标记的数据也无法获得。因此,我们提出了一种新的GAN模型,即外部分类器GAN(EC-GAN),它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说,我们将外部分类器(因此命名为EC-GAN)附加到GAN的生成器,而不是与GAN共享架构。我们的实验表明,EC-GAN的性能与共享架构方法相当,远优于标准的数据增强和基于正则化的方法,并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Muffled Semi-Supervised Learning
University of California, San Diego(加州大学圣地亚哥分校)
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反,因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明,它们可以实现显着更高的AUC比提升树,随机森林和逻辑回归时,未标记的例子。
2016-05-28 cs.LG stat.ML
LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University(波士顿大学);University of California, Berkeley(加州大学伯克利分校)
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段,而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而,虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系,但在给定查询的语义上下文的情况下,对视频帧之间的关系上下文建模的强调较少。因此,建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制,我们提出了一个潜在的图形共同注意力网络(LoGAN),利用细粒度的逐词交互帧之间的对应关系的原因,给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性,它比当前最先进的(SOTA)弱监督方法有很大的优势。值得注意的是,它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
Semi-supervised Training for Knowledge Base Graph Self-attention Networks on Link Prediction
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University of Finance and Economics(南京财经大学)
链接预测的任务旨在解决由于难以从现实世界中收集事实而导致的知识不完整的问题。基于GCN的模型由于其复杂性而被广泛应用于解决链接预测问题,但基于GCN的模型在结构和训练过程中存在两个问题。1)在基于GCN的知识表示模型中,GCN各层的转换方法变得越来越复杂; 2)由于知识图谱收集过程的不完备性,在已标注的否定样本中存在大量未收集的真事实。为此,本文研究了GAT结构中相邻节点的信息聚集系数(自注意力)特性,并重新设计了GAT结构的自注意力机制。同时,受人类思维习惯的启发,我们设计了一种基于预训练模型的半监督自训练方法。在FB 15 k-237和WN 18 RR数据集上的实验结果表明,本文提出的自注意力机制和半监督自训练方法能够有效提高链接预测任务的性能.例如,如果您查看FB 15 k-237,则所提出的方法将Hits@1提高了约30%。
2022-09-03 cs.AI cs.LG
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Scaling Up Semi-supervised Learning with Unconstrained Unlabelled Data
Queen’s University(女王大学)
本文提出UnMixMatch半监督学习框架,通过强增强有监督学习、对比一致性正则化和自监督损失三个组件,有效利用无约束无标签数据,在4个数据集上实现4.79%的性能提升。
2024-01-13 cs.CV cs.LG
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在表示学习中,学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中,我们专注于半监督解纠缠学习,并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.(2019)的工作。具体来说,在训练过程中,只要可用,我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发,该框架自然地激励了现有半监督VAE中常用的监督术语(但不用于解纠缠学习)。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML