An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在表示学习中,学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中,我们专注于半监督解纠缠学习,并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.(2019)的工作。具体来说,在训练过程中,只要可用,我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发,该框架自然地激励了现有半监督VAE中常用的监督术语(但不用于解纠缠学习)。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Good Semi-supervised Learning that Requires a Bad GAN
基于生成对抗网络(GANs)的半监督学习方法获得了强有力的经验结果,但尚不清楚1)如何从与生成器的联合训练中受益,以及2)为什么不能同时获得良好的半监督分类性能和良好的生成器。从理论上讲,我们表明,给定的目标,良好的半监督学习确实需要一个坏的发电机,并提出了一个首选发电机的定义。从经验上讲,我们根据我们的分析推导出一种新的公式,该公式大大改善了特征匹配GANs,在多个基准数据集上获得了最先进的结果。
2017-11-03 cs.AI cs.LG
Supervised and Semi-supervised Deep Probabilistic Models for Indoor Positioning Problems
Université Bourgogne Franche-Comté(弗朗什-孔泰大学);UTBM(贝尔福-蒙贝利亚技术大学);Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用实验室);CNRS(法国国家科学研究中心)
利用WiFi指纹预测智能手机用户的位置是近年来的一个热门研究课题。在这项工作中,我们提出了两个新的基于深度学习的模型,卷积混合密度递归神经网络和基于VAE的半监督学习模型。结合卷积神经网络、递归神经网络和混合密度网络的优点,设计了一种用于路径预测的卷积混合密度递归神经网络。此外,由于大多数真实世界的数据集没有标记,我们设计了基于VAE的半监督学习任务的模型。为了验证所提出的模型,我们在真实世界的数据集上进行了验证实验。最后的结果验证了我们的方法的有效性,并显示出优于其他现有的方法。
2021-03-16 cs.LG stat.ML
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab(GIPSA实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIG-lab(LIG实验室)
本文考虑高斯混合模型(GMM)上的半监督多任务学习。使用统计物理学的方法,我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维,从中我们分析的任务相似性在学习中的作用和评估的性能增益时,任务一起学习,而不是分开。在监督的情况下,我们得到一个简单的算法,达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
Semi-supervised Logistic Learning Based on Exponential Tilt Mixture Models
Rutgers University(罗格斯大学)
考虑用于分类的半监督学习,其中标记和未标记的数据都可用于训练。我们的目标是利用这两个数据集来实现更高的预测精度,而不仅仅是使用标记数据。通过扩展逻辑斯谛回归和指数倾斜模型之间的统计等价性,提出了一种基于指数倾斜混合模型的半监督逻辑学习方法.我们研究了极大非参数似然估计,并导出了新的目标函数,证明了它们是Fisher相容的。我们还提出了正则化估计和构造简单和高度可解释的期望最大化算法。最后,我们提出的数值结果表明,所提出的方法相比,现有的方法的优势。
2019-06-19 cs.LG stat.ML
Generalizing semi-supervised generative adversarial networks to regression using feature contrasting
The City College, The City University of New York(纽约城市大学城市学院);The Graduate Center, The City University of New York(纽约城市大学研究生中心);Borough of Manhattan Community College, The City University of New York(纽约城市大学曼哈顿社区学院)
在这项工作中,我们将半监督生成对抗网络(GANs)从分类问题推广到回归问题。在过去的几年中,使用半监督训练来改进神经网络的训练的重要性已经被证明用于分类问题。我们提出了一种新的损失函数,称为特征对比,从而在一个机器人,它可以区分假的和真实的数据特征统计的基础上。这种方法避免了替代方法的潜在偏差和局限性。将半监督GANs推广到回归问题的机制,使其可以用于无数应用,并为更深入地了解GANs的功能提供了一条途径。我们首先在一个玩具数据集上展示了半监督回归GANs的功能,这使得我们可以详细了解它们在各种情况下的操作方式。该玩具数据集为半监督回归GAN提供了理论基础。然后,我们将半监督回归GANs应用于许多现实世界的计算机视觉应用:年龄估计,驾驶转向角预测和来自单个图像的人群计数。我们对大幅减少注释数据可以达到的准确性进行了广泛的测试。通过理论示例和现实场景的结合,我们展示了半监督GANs如何推广到回归问题。
2019-09-03 cs.CV cs.LG stat.ML
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上,该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合,使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中,符号向量耦合,生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域,如图像,文本和表格数据。实验结果表明,该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School(萨拉托加高中)
半监督学习已经获得关注,因为它允许执行图像分析任务,例如使用有限的标记数据进行分类。使用生成对抗网络(GANs)进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而,这可能需要模型为每个任务收敛到单独的数据分布,这可能会降低整体性能。虽然半监督学习已经取得了进展,但小规模的全监督任务却很少得到解决,即使是未标记的数据也无法获得。因此,我们提出了一种新的GAN模型,即外部分类器GAN(EC-GAN),它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说,我们将外部分类器(因此命名为EC-GAN)附加到GAN的生成器,而不是与GAN共享架构。我们的实验表明,EC-GAN的性能与共享架构方法相当,远优于标准的数据增强和基于正则化的方法,并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Semi-Supervised Learning with GANs for Device-Free Fingerprinting Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
无设备无线室内定位是物联网(IoT)的关键使能技术。基于指纹的室内定位技术是一种常用的解决方案。提出了一种基于半监督生成对抗网络(GAN)的无设备指纹室内定位系统。所提出的系统使用少量的标记数据和大量的未标记数据(即,半监督),从而大大减少了昂贵的数据标记工作。实验结果表明,与最先进的监督计划相比,所提出的半监督系统实现了相当的性能与相等,足够量的标记数据,并显着优越的性能与相等,高度有限的标记数据量。此外,所提出的半监督系统在广泛的标记数据量范围内保持其性能。所提出的基于GAN的系统的生成器,神经网络和分类器模型之间的相互作用进行了可视化检查和讨论。所提出的系统的数学描述。
2020-08-17 cs.LG eess.SP
DeepHeart: Semi-Supervised Sequence Learning for Cardiovascular Risk Prediction
Cardiogram;University of California(加利福尼亚大学)
我们对来自现成可穿戴心率传感器的57,675人周数据进行了训练和验证半监督多任务LSTM,在检测多种医疗状况时显示出很高的准确性,包括糖尿病(0.8451),高胆固醇(0.7441),高血压(0.8086)和睡眠呼吸暂停(0.8298)。我们比较了两种半监督训练- ing方法,半监督序列学习和启发式预训练,并显示它们优于来自医学文献的手工设计的生物标志物。我们相信,我们的工作提出了一种新的患者风险分层方法,该方法基于Fitbit、Apple Watch或Android Wear等流行可穿戴设备的心血管风险评分。
2018-02-07 cs.AI cs.LG stat.ML
COBRAS-TS: A new approach to Semi-Supervised Clustering of Time Series
KU Leuven(鲁汶大学)
聚类在数据分析中是普遍存在的,包括对时间序列的分析。它本质上是主观的:不同的用户可能喜欢对特定数据集进行不同的聚类。半监督聚类通过允许用户提供应该(不应该)在同一个集群中的实例的示例来解决这个问题。本文研究了时间序列的半监督聚类问题。我们表明,COBRAS,一个国家的最先进的半监督聚类方法,可以适应这种设置。我们将这种方法称为COBRAS-TS。广泛的实验评估支持以下声明:(1)COBRAS-TS在时间序列的半监督聚类方面远远优于当前的技术水平,因此为该领域提供了一个新的基线;(2)COBRAS-TS可以识别具有分离分量的聚类;(3)COBRAS-TS可以识别以小的局部模式为特征的聚类;(4)少量的半监督可以大大提高时间序列的聚类质量;(5)聚类算法的选择很重要(与文献中的早期权利要求相反)。
2018-05-02 cs.AI cs.LG stat.ML
Semi-Supervised Learning with Declaratively Specified Entropy Constraints
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种技术声明指定策略的半监督学习(SSL)。所提出的方法可用于指定半监督学习的集成,以及这些学习者之间的协议约束和熵正则化约束,并且可用于对诸如协同训练之类的著名算法和新颖的特定领域算法进行建模。除了代表个人SSL的安全策略,我们表明,多个安全策略也可以自动结合使用贝叶斯优化方法。我们表现出一致的改进,一套良好的研究SSL基准,包括一个新的国家的最先进的结果,一个困难的关系抽取任务。
2018-05-18 cs.AI cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
深度神经网络证明了它们在广泛的监督学习任务(例如,图像分类)在大量的标记数据集合上训练时(例如,ImageNet)。然而,创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下,这些资源可能不可用,从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时,对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加,以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中,我们对深度半监督学习进行了全面的概述,首先介绍了该领域,然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego(加州大学圣地亚哥分校)
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反,因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明,它们可以实现显着更高的AUC比提升树,随机森林和逻辑回归时,未标记的例子。
2016-05-28 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology(以色列理工学院维特比电气与电子工程学院)
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而,他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展,以及新的重建损失,为自动编码器提供泛化界。据我们所知,这是第一次这样的约束。我们进一步表明,在适当的假设下,具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.(首选网络公司);Kyoto University(京都大学);ATR Cognitive Mechanisms Laboratories(ATR认知机制实验室);Ritsumeikan University(立命馆大学)
我们提出了一种新的正则化方法的基础上虚拟对抗损失:一个新的措施,局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同,我们的方法定义了没有标签信息的对抗方向,因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗,我们称我们的方法为虚拟对抗训练(VAT)。增值税的计算成本相对较低。对于神经网络,虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中,我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强,我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Counterfactual Propagation for Semi-Supervised Individual Treatment Effect Estimation
Kyoto University(京都大学)
个体治疗效果(ITE)是指对特定目标采取特定措施后预期的治疗效果改善,在各个领域的决策中起着重要作用。然而,其估计问题是困难的,因为干预研究收集关于所应用的治疗的信息(即,行动),其结果往往是相当昂贵的时间和金钱成本。在这项研究中,我们考虑了一个半监督ITE估计问题,利用更容易获得的未标记的实例,以提高ITE估计的性能,使用小的标记数据。我们结合因果推理和半监督学习的两个想法,即匹配和标签传播,分别提出反事实传播,这是第一个半监督ITE估计方法。半真实数据集的实验表明,该方法可以成功地缓解ITE估计中的数据稀缺问题。
2020-05-11 cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Analysis of Semi-Supervised Learning with the Yarowsky Algorithm
Yarowsky算法是一种基于规则的半监督学习算法,已成功地应用于计算语言学中的一些问题。该算法在数学上没有得到很好的理解,直到(Abney 2004)分析了该算法的一些特定变体,并提出了一些新的自举算法。在本文中,我们延长Abney的工作,并表明,他提出的一些算法实际上优化(上界)的目标函数的基础上的一个新的定义的交叉熵是基于一个特定的实例化的概率分布之间的Bregman距离。此外,我们提出了一些新的算法,基于规则的半监督学习和基于图的半监督学习与调和函数和最小多路割的连接。
2012-06-20 cs.LG stat.ML
A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability
Ben-Gurion University(本古里安大学);Purdue University(普渡大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文刻画了半监督PAC模型下对抗鲁棒学习的样本复杂度,证明充足未标注数据可使已标注样本需求任意减小,并给出几乎匹配的上下界,揭示了半监督鲁棒学习相较监督学习的显著优势。
2024-05-05 cs.LG stat.ML
Semi-supervised Fréchet Regression
School of Statistics, East China Normal University(华东师范大学统计学院);National University of Singapore(新加坡国立大学)
针对非欧标签获取成本高的问题,本文提出两种基于图距离的半监督Fréchet回归方法,推导了其收敛速率,实验证明性能优于监督式方法,填补了相关研究空白。
2024-04-16 cs.LG math.ST stat.ML
Dual Teaching: A Practical Semi-supervised Wrapper Method
Beijing Institute of Technology(北京理工大学);North China University of Technology(北方工业大学)
半监督包装器方法关注的是从部分标记的数据中构建有效的监督分类器。虽然以前的工作已经在某些领域取得了成功,它仍然是难以应用到实践中的半监督包装方法,因为这些方法所依赖的假设往往是不切实际的。为了实用,本文提出了一种新的半监督包装方法,对偶教学,其假设是很容易成立的。双元教学采用两个外部分类器来估计基本学习者的假阳性和假阴性。只有当每个外部分类器的查全率大于零且查准率之和大于1时,双教学才能从部分标记数据中训练基本学习者,就像完全标记数据训练的分类器一样有效。理论和实践都证明了“双元教学”的有效性。
2016-11-12 cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络(DCN)在监督任务中取得了巨大的成功,因此在半监督学习中得到了广泛的应用。在本文中,我们利用最近开发的深度渲染混合模型(DRMM),一个概率生成模型,模型潜在的滋扰变化,其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下,我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之,我们的工作为监督,无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Contrastive Pessimistic Likelihood Estimation for Semi-Supervised Classification
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督分类器的改进保证目前只能在数据的限制条件下给出。我们提出了一种通用的方法来执行半监督参数估计的似然为基础的分类器,在完整的训练集,估计永远不会比监督的解决方案的对数似然。此外,我们认为,在特定情况下,我们可以期望这些解决方案能够真正改善监督分类器。在LDA的一个例子中,我们进一步证明了它的半监督版本严格优于其监督版本。形成我们估计原则核心的两个新概念是对比和悲观。前者指的是我们的目标函数考虑了监督估计,使半监督解决方案能够显式控制对该估计的潜在改进。后者指的是我们的估计是保守的,因此弹性的任何形式的真实标签的未标记的数据takeson.Experiments证明的改善,在独立的测试集上的对数似然和分类错误率。
2015-05-10 cs.LG stat.ME stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology(KTH皇家理工学院);School of Computer Science(计算机科学学院)
我们提出了一种半监督学习方法的应用,以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反,我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见,基于帧的音素分类的TIMIT数据库。我们的实验表明,该方法优于标准的监督训练等量的标记数据,并提供有竞争力的错误率相比,最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
A generalized linear joint trained framework for semi-supervised learning of sparse features
University Carlos III of Madrid(马德里卡洛斯三世大学);UC3M-BS Santander Big Data Institute(马德里卡洛斯三世大学-桑坦德银行大数据研究所);Technical University of Denmark(丹麦技术大学)
弹性网络是最广泛使用的正则化算法之一,通常与通过惩罚极大似然的监督广义线性模型估计问题相关联。它的优良特性源自于$\ell_1$和$\ell_2$范数的组合,这赋予了该方法考虑变量之间的相关性来选择变量的能力。在过去的几年里,半监督方法,使用标记和未标记的数据,已成为统计研究的一个重要组成部分。然而,尽管有这种兴趣,很少有研究调查半监督弹性网络扩展。本文介绍了一种新的解决方案,稀疏特征的半监督学习的背景下,广义线性模型估计:广义半监督弹性网络(s2网),它扩展了监督弹性网络方法,具有一般的数学公式,涵盖,但不限于,回归和分类问题。我们在R中开发了一个灵活而快速的s2net实现,并使用真实和合成数据集来说明其优势。
2020-10-02 cs.LG stat.CO stat.ML
Semi-Supervised Learning with Ladder Networks
The Curious AI Company(好奇人工智能公司);Nokia Labs(诺基亚实验室);Aalto University(阿尔托大学)
我们在深度神经网络中将监督学习与无监督学习相结合。该模型通过反向传播训练,同时最小化监督和非监督成本函数的总和,避免了逐层预训练的需要。我们的工作建立在Valpola(2015)提出的梯形网络的基础上,我们通过将模型与监督相结合来扩展该网络。我们表明,所得到的模型达到最先进的性能,在半监督MNIST和CIFAR-10分类,除了置换不变的MNIST分类与所有标签。
2015-11-24 cs.LG cs.NE stat.ML
Supervised, semi-supervised and unsupervised inference of gene regulatory networks
从表达数据中推断基因调控网络是一项具有挑战性的任务。许多方法已被开发到这一目的,但一个全面的评价,包括无监督,半监督和监督的方法,并提供指导方针,其实际应用,是缺乏的。我们进行了广泛的评估模拟表达数据的推理方法。结果显示,无监督技术的预测精度非常低,但敲除数据的z得分方法除外。在所有其他情况下,监督的方法实现了最高的准确性,甚至在半监督设置只有少量的阳性样本,优于无监督的技术。
2013-01-07 q-bio.MN q-bio.QM stat.ML
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Semi-Supervised Translation with MMD Networks
Yale University(耶鲁大学)
本文通过引入一种混合监督和无监督代价函数来改进神经网络结构中的半监督学习。无监督组件使用网络输出和目标数据集之间的最大平均离散(MMD)距离的可微估计器进行训练。我们介绍了一个$n$通道网络的概念和几种方法来提高这些网络的性能的基础上监督预初始化,多尺度内核。这项工作调查的有效性,这些方法对语言翻译的质量很少是已知的\textit{a priori}。我们还提出了一个彻底的调查超参数空间的这种方法的合成数据。
2018-10-28 cs.CL cs.LG stat.ML
Semi-Supervised Radio Signal Identification
Virginia Tech(弗吉尼亚理工大学);Oklahoma State University(俄克拉荷马州立大学)
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的,很容易从天线获得,但标记和策划的数据往往是稀缺的,使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外,允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号,用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Semi-Supervised Prediction of Gene Regulatory Networks Using Machine Learning Algorithms
New Jersey Institute of Technology(新泽西理工学院)
使用计算方法从基因表达数据预测基因调控网络(GRNs)是一项具有挑战性的任务。许多研究已经进行了使用无监督的方法来完成任务,然而,这样的方法通常会产生低的预测精度,由于缺乏训练数据。在这篇文章中,我们提出了半监督方法GRN预测利用两个机器学习算法,即支持向量机(SVM)和随机森林(RF)。半监督方法利用未标记的数据进行训练。我们研究了归纳和转导学习方法,这两种方法都采用迭代过程从未标记数据中获得可靠的负训练数据。然后,我们将我们的半监督方法应用于大肠杆菌和酿酒酵母的基因表达数据,并使用表达数据评估我们的方法的性能。我们的分析表明,转导学习方法优于归纳学习方法的两种生物。然而,在SVM和RF的性能方面没有确定的差异。实验结果还表明,所提出的半监督方法比现有的监督方法更好地为这两种生物。
2016-08-11 cs.LG q-bio.QM stat.ML
More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation
University College London(伦敦大学学院);InstaDeep(InstaDeep公司)
改进半监督图像分割任务可以选择添加更多未标记的图像,标记未标记的图像或组合两者,因为在大多数临床应用中,图像采集和专家标记都不是微不足道的。腹腔镜肝脏图像分割应用程序,我们调查的性能影响,通过改变标记和未标记的训练数据的数量,使用半监督分割算法的基础上的平均教师学习范式。我们首先报告了一个显着更高的分割精度,与监督学习相比。有趣的是,这种比较表明,除了添加的未标记数据之外,半监督算法中采用的训练策略也是这种观察到的改进的原因。然后,我们比较了不同的组合的标记和未标记的数据集大小训练半监督分割网络,提供了一个定量的例子,这两个数据规划策略之间的实际有用的权衡在这个手术指导应用。
2019-08-20 cs.CV cs.LG eess.IV
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题,本文主要研究半监督学习的统计性质。在标准的监督学习中,只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中,除了标记数据之外,还获得未标记数据。因此,在半监督学习中,利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下,一般认为未标记数据对提高估计精度没有作用。最近,有人透露,加权估计使用未标记的数据实现更好的预测精度相比,学习方法,仅使用标记的数据,特别是当判别概率模型是错误的。也就是说,当错误指定半参数模型时,在缺失数据的半参数模型下的改进是可能的。在本文中,我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是,所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论,我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明,我们的方法的实用性。
2012-04-18 stat.ML