Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics(国家研究型高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex School of Data Analysis(Yandex数据分析学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);University of Amsterdam(阿姆斯特丹大学)
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上,该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
深度神经网络证明了它们在广泛的监督学习任务(例如,图像分类)在大量的标记数据集合上训练时(例如,ImageNet)。然而,创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下,这些资源可能不可用,从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时,对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加,以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中,我们对深度半监督学习进行了全面的概述,首先介绍了该领域,然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego(加州大学圣地亚哥分校)
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反,因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明,它们可以实现显着更高的AUC比提升树,随机森林和逻辑回归时,未标记的例子。
2016-05-28 cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology(以色列理工学院维特比电气与电子工程学院)
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而,他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展,以及新的重建损失,为自动编码器提供泛化界。据我们所知,这是第一次这样的约束。我们进一步表明,在适当的假设下,具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Supervised and Semi-supervised Deep Probabilistic Models for Indoor Positioning Problems
Université Bourgogne Franche-Comté(弗朗什-孔泰大学);UTBM(贝尔福-蒙贝利亚技术大学);Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用实验室);CNRS(法国国家科学研究中心)
利用WiFi指纹预测智能手机用户的位置是近年来的一个热门研究课题。在这项工作中,我们提出了两个新的基于深度学习的模型,卷积混合密度递归神经网络和基于VAE的半监督学习模型。结合卷积神经网络、递归神经网络和混合密度网络的优点,设计了一种用于路径预测的卷积混合密度递归神经网络。此外,由于大多数真实世界的数据集没有标记,我们设计了基于VAE的半监督学习任务的模型。为了验证所提出的模型,我们在真实世界的数据集上进行了验证实验。最后的结果验证了我们的方法的有效性,并显示出优于其他现有的方法。
2021-03-16 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.(首选网络公司);Kyoto University(京都大学);ATR Cognitive Mechanisms Laboratories(ATR认知机制实验室);Ritsumeikan University(立命馆大学)
我们提出了一种新的正则化方法的基础上虚拟对抗损失:一个新的措施,局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同,我们的方法定义了没有标签信息的对抗方向,因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗,我们称我们的方法为虚拟对抗训练(VAT)。增值税的计算成本相对较低。对于神经网络,虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中,我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强,我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Submodular Optimization for Efficient Semi-supervised Support Vector Machines
University of Louisville(路易斯维尔大学)
在这项工作中,我们提出了一个二次规划近似的半监督支持向量机(S3 VM)的问题,即近似QP-S3 VM,可以有效地解决使用现成的优化包。我们证明,这种近似的配方建立之间的关系的低密度分离和基于图的模型的半监督学习(SSL),这是重要的半监督学习方法开发一个统一的框架。此外,我们提出了新的想法表示SSL问题的子模块集函数,并使用有效的子模块优化算法来解决它们。使用这个新的想法,我们开发了一个表示的近似QP-S3 VM作为一个子模块集函数的最大化,这使得它可以使用有效的贪心算法进行优化。我们证明了所提出的方法是准确的,并提供了显着的改善,在时间复杂度的最先进的文献。
2011-08-23 cs.AI cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
PLATINUM: Semi-Supervised Model Agnostic Meta-Learning using Submodular Mutual Information
University of Texas at Dallas(德克萨斯大学达拉斯分校)
Few-Shot分类(FSC)要求每个类使用几个(通常为一到五个)数据点来训练模型。元学习已被证明能够通过对各种其他分类任务进行训练来学习FSC的参数化模型。在这项工作中,我们提出了PLATINUM(半监督模型不可知元学习使用子模块互信息),一种新的半监督模型不可知元学习框架,使用子模块互信息(SMI)功能,以提高FSC的性能。PLATINUM在元训练期间使用SMI函数在内外循环中利用未标记的数据,并为元测试获得更丰富的元学习参数化。我们研究了PLATINUM在两种情况下的性能- 1)未标记的数据点属于与某个事件的标记集相同的类集,以及2)存在不属于标记集的分布外类。我们在miniImageNet,tieredImageNet和Fewshot-CIFAR 100数据集上的各种设置上评估了我们的方法。我们的实验表明,PLATINUM优于MAML和半监督方法,如半监督FSC的伪标记,特别是对于每个类的标记样本比例很小。
2022-07-05 cs.LG
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络(DCN)在监督任务中取得了巨大的成功,因此在半监督学习中得到了广泛的应用。在本文中,我们利用最近开发的深度渲染混合模型(DRMM),一个概率生成模型,模型潜在的滋扰变化,其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下,我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之,我们的工作为监督,无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology(KTH皇家理工学院);School of Computer Science(计算机科学学院)
我们提出了一种半监督学习方法的应用,以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反,我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见,基于帧的音素分类的TIMIT数据库。我们的实验表明,该方法优于标准的监督训练等量的标记数据,并提供有竞争力的错误率相比,最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题,本文主要研究半监督学习的统计性质。在标准的监督学习中,只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中,除了标记数据之外,还获得未标记数据。因此,在半监督学习中,利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下,一般认为未标记数据对提高估计精度没有作用。最近,有人透露,加权估计使用未标记的数据实现更好的预测精度相比,学习方法,仅使用标记的数据,特别是当判别概率模型是错误的。也就是说,当错误指定半参数模型时,在缺失数据的半参数模型下的改进是可能的。在本文中,我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是,所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论,我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明,我们的方法的实用性。
2012-04-18 stat.ML
Semi-Supervised Radio Signal Identification
Virginia Tech(弗吉尼亚理工大学);Oklahoma State University(俄克拉荷马州立大学)
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的,很容易从天线获得,但标记和策划的数据往往是稀缺的,使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外,允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号,用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Structured sparsity-inducing norms through submodular functions
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室)
用于监督学习的稀疏方法旨在从尽可能少的变量中找到良好的线性预测器,即,他们的支持者基数很小。这个组合选择问题通常通过用其凸包络(最紧凸下界)(在这种情况下为L1范数)替换基数函数而转化为凸优化问题。在本文中,我们调查更一般的集函数比基数,可能会纳入先验知识或结构约束,这是常见的在许多应用中:即,我们表明,非减次模集函数,相应的凸包络可以从它的\lova扩展,一个常见的工具,在次模分析。这定义了一个家庭的多面体规范,我们提供通用的算法工具(次梯度和邻近运营商)和理论结果(支持恢复或高维推理的条件)。通过选择特定的子模函数,我们可以给出一个新的解释已知的规范,如基于秩统计或分组规范与潜在的重叠组;我们还定义了新的规范,特别是那些可以用作非阶乘先验的监督学习。
2010-11-12 cs.LG math.OC stat.ML
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich(慕尼黑工业大学);Helmholtz AI(亥姆霍兹人工智能研究院)
在计算病理学中,我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习,它通常分为自我监督的借口任务和随后的模型微调。在这里,我们通过引入S5 CL将这两个阶段的训练压缩为一个,S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失,S5 CL可以学习反映距离关系层次的特征表示:相似图像和增强嵌入最接近,其次是同一类的不同外观图像,而来自不同类的图像具有最大的距离。此外,S5 CL允许我们灵活地组合这些损失,以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示,在稀疏标签的情况下,我们的框架有了很大的改进:对于H& E染色的结直肠癌数据集,与监督交叉熵损失相比,准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集,F1分数提高了6%。
2022-03-14 cs.CV stat.ML
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计,鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界,并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计,可以达到这个下限,从而提高了监督估计,条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的,因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
半监督学习中的一个常见假设是,标记数据、未标记数据和测试数据来自相同的分布。然而,这一假设在许多应用中并不满足。在许多情况下,数据是顺序收集的(例如,医疗保健),并且数据的分布可能随时间变化,通常表现出所谓的协变量偏移。在本文中,我们提出了一种半监督学习算法,能够解决这个问题的方法。我们的框架还恢复了一些流行的方法,包括熵最小化和伪标记。我们提供了新的信息理论为基础的泛化误差上界启发我们的新框架。我们的界限适用于一般的半监督学习和协变量偏移的情况。最后,我们数值表明,我们的方法优于以前的方法提出的半监督学习下的协变量偏移。
2022-02-24 cs.IT math.IT stat.ML
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中,我们分析了基于图的方法,半监督学习下的流形假设。我们采用贝叶斯的角度来看,并证明,对于一个合适的选择之前构建了足够多的未标记的数据,后验合同周围的真理在一个速率,是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Fast Semidifferential-based Submodular Function Optimization
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个实用的和强大的新框架,无约束和有约束的子模函数优化的基础上离散半微分(次和超微分)。由此产生的算法,重复计算,然后有效地优化次模半梯度,提供新的和推广许多旧的方法,次模优化。此外,我们的方法,采取措施,提供一个统一的范式,适用于子模块最小化和最大化,历史上已经处理的问题相当明显。我们的算法的实用性是很重要的,因为在子模块化的兴趣,由于其自然和广泛的适用性,最近在机器学习内的优势。我们分析了我们的算法的理论性质的最小化和最大化,并表明,许多国家的最先进的最大化算法的特殊情况。最后,我们补充我们的理论分析与支持实证实验。
2013-08-05 cs.DM cs.DS cs.LG
Consistency of semi-supervised learning, stochastic tug-of-war games, and the p-Laplacian
University of Minnesota(明尼苏达大学);Louisiana State University(路易斯安那州立大学)
本文概述了偏微分方程与基于图的半监督学习的交叉领域,聚焦PDE连续统极限证明算法适定性,并利用p-Laplacian的随机拔河博弈解释提出了其半监督学习一致性的新结果,辅以数值实验说明。
2024-06-03 cs.LG cs.NA math.AP
Learning with Submodular Functions: A Convex Optimization Perspective
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
子模函数与机器学习相关至少有两个原因:(1)一些问题可以直接表示为子模函数的优化,以及(2)子模函数的lovasz扩展为监督学习和无监督学习提供了一组有用的正则化函数。在这本专著中,我们提出了理论的次模函数从凸分析的角度来看,提出了紧密的联系,某些多面体,组合优化和凸优化问题。特别是,我们展示了次模函数最小化是如何等价于解决各种各样的凸优化问题。这使得新的高效算法的近似和精确的子模函数最小化的理论保证和良好的实际性能的推导。通过列出许多子模块函数的例子,我们回顾了机器学习的各种应用,如聚类,实验设计,传感器放置,图形模型结构学习或子集选择,以及一个家庭的结构稀疏诱导规范,可以派生和使用的子模块函数。
2013-10-08 cs.LG math.OC
Submodularity In Machine Learning and Artificial Intelligence
University of Washington(华盛顿大学)
在这篇手稿中,我们提供了一个温和的审查子模和超模及其性质。我们提供了大量的次模定义;一个完整的描述了一些例子次模函数和它们的推广;例子离散约束;讨论最大化,最小化和其他操作的基本算法;连续次模扩展的简要概述;和一些历史应用。然后,我们转向子模块化在机器学习和人工智能中是如何有用的。这包括总结,我们提供了一个完整的帐户之间的差异和共性之间的素描,核心集,提取和抽象的总结在NLP,数据蒸馏和冷凝,数据子集选择和特征选择。我们讨论了产生对机器学习有用的子模块函数的各种方式,包括启发式手工制作、学习或近似学习子模块函数或其方面,以及使用子模块函数作为核心集产生器的一些优点。我们讨论子模块组合信息函数,以及子模块如何用于聚类、数据划分、并行机器学习、主动和半监督学习、概率建模以及结构化规范和损失函数。
2022-10-04 cs.AI cs.LG
Max-Sum Diversification, Monotone Submodular Functions and Semi-metric Spaces
Sharif University of Technology(谢里夫理工大学)
在许多应用中,如基于Web的搜索,文档摘要,设施定位和其他应用中,结果是最好的是既有代表性的和多样化的文档子集。本研究的目标是选择一个良好的“质量”,有界大小的子集的一组给定的项目,同时保持其多样性相对于一个半度量距离函数。这个问题首先由Borodin等人\cite{borodin}研究,但在他们的证明中使用的一个关键性质是三角不等式。在这个修改的证明中,我们想放松三角不等式,并将最大和多样化问题的逼近比与问题的范式中的放松三角不等式的参数联系起来(即,一个均匀拟阵)和任意拟阵。
2015-11-07 cs.LG
Global Reinforcement Learning: Beyond Linear and Convex Rewards via Submodular Semi-gradient Methods
ETHZ(苏黎世联邦理工学院)
针对经典强化学习加性目标无法建模状态间相互作用的局限,提出奖励在轨迹上全局定义的全局强化学习,结合子模优化设计可转化为经典RL序列问题的算法,提供近似保证与难度结果并验证有效性。
2024-07-13 cs.LG
Streaming Adaptive Submodular Maximization
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);Department of Computer Science, University of North Texas(北德克萨斯大学计算机科学系)
许多序贯决策问题可以表述为一个自适应子模极大化问题。然而,大多数现有的研究在这一领域集中在基于池的设置,其中一个可以选择项目以任何顺序,并有一些研究的基于流的设置项目到达任意顺序,必须立即决定是否选择一个项目或不在其到来。在本文中,我们引入了一类新的效用函数,半策略次模函数。我们开发了一系列有效的算法,以最大化一个半策略的子模函数下基于流的设置。
2022-08-17 cs.AI cs.LG
Large-Margin Learning of Submodular Summarization Methods
Cornell University(康奈尔大学)
在本文中,我们提出了一个监督学习的方法来训练子模块评分函数提取多文档摘要。通过采取结构化的预测方法,我们提供了一个大的利润率的方法,直接优化所需的性能指标的凸松弛。该学习方法适用于所有子模块化摘要方法,我们证明了它的有效性,两个成对以及基于覆盖的评分功能在多个数据集上。与手动调整的最先进的功能相比,我们的方法显着提高了性能,并使高保真模型的参数数量远远超过可以合理地手动调整。
2011-10-13 cs.AI cs.CL cs.LG
Submodular Rank Aggregation on Score-based Permutations for Distributed Automatic Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Universidad San Pablo-CEU(圣巴布洛CEU大学)
分布式自动语音识别(ASR)需要聚合基于分布式深度神经网络(DNN)的模型的输出。这项工作研究了使用子模块功能来设计一个基于分数的排列,它可以用于分布式ASR系统在监督和无监督模式的秩聚合。具体地说,我们构造了一个聚合秩函数的基础上的Lovasz Bregman分歧,建立线性结构的凸和嵌套结构的凹函数。该算法是基于随机梯度下降(SGD),可以获得良好的训练聚集模型。在分布式自动语音识别系统上的实验表明,与Adaboost等传统聚合方法相比,子模秩聚合方法可以获得更高的语音识别准确率。代码可在线获取~ \footnote{https://github.com/uwjunqi/Subrank}。
2020-01-27 cs.LG cs.NE cs.SD
A Parameterized Family of Meta-Submodular Functions
Georgia Tech(佐治亚理工学院);ETH Zurich(苏黎世联邦理工学院);UBC(不列颠哥伦比亚大学)
Submodular function maximization has found a wealth of new applications in machine learning models during the past years. The related supermodular maximization models (submodular minimization) also offer an abundance of applications, but they appeared to be highly intractable even under simple cardinality constraints. Hence, while there are well-developed tools for maximizing a submodular function subject to a matroid constraint, there is much less work on the corresponding supermodular maximization problems. We give a broad parameterized family of monotone functions which includes submodular …
2020-06-23 cs.CG cs.DM cs.DS
STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对NLP领域主动学习在类别不平衡冷启动场景下的稀有类优化难题,提出基于子模互信息与文本样例的STENCIL弱监督方法,可显著提升整体准确率与稀有类F-1分数。
2024-07-12 cs.CL cs.LG
Unified Projection-Free Algorithms for Adversarial DR-Submodular Optimization
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
本文提出统一的Frank-Wolfe型无投影算法用于对抗性连续DR-次模优化,覆盖全信息与(半)赌博机反馈、单调与非单调函数及多种约束,在非单调设置中首次获得次线性α-遗憾界,在单调设置8个案例中7个达到最优水平。
2024-04-26 cs.AI cs.CC cs.LG
SCoRe: Submodular Combinatorial Representation Learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Google Research(谷歌研究院);IBM Research(IBM研究院)
本文提出 SCoRe 框架,通过基于子模信息测度的组合损失函数同时减小类内方差和类间偏差,并在多个长尾分类与检测任务上取得显著提升。
2024-06-06 cs.CV cs.LG
Decentralized Projection-free Online Upper-Linearizable Optimization with Applications to DR-Submodular Optimization
Purdue University(普渡大学);Mila - Quebec AI Institute/McGill University(魁北克AI研究所/麦吉尔大学)
本文提出了一种去中心化投影自由优化框架,用于解决DR-子模优化问题,并在不同反馈模型下实现了高效的算法性能。
2026-10-01 cs.CC cs.LG math.OC
Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
Washington State University(华盛顿州立大学)
我们研究了在组合空间上优化昂贵的黑盒函数的问题(例如,集合、序列、树和图)。BOCS(Baptista和Poloczek,2018)是一种用于易处理统计模型的最先进的贝叶斯优化方法,它执行基于半定规划的获取函数优化(AFO)来选择下一个结构进行评估。不幸的是,BOCS规模不佳,大量的二进制和/或分类变量。基于求解二次规划的子模块松弛(Ito and Fujimaki,2016)的最新进展,我们研究了一种称为参数化子模块松弛(PSR)的方法,以提高求解BOCS模型AFO问题的可扩展性和准确性。PSR方法依赖于两个关键思想。首先,将AFO问题转化为带未知参数的次模松弛问题,利用最小图割算法可以有效地求解该问题。第二,构造一个优化问题来估计与真实目标非常接近的未知参数。在不同的基准问题上的实验表明,PSR对BOCS模型有显著的改进。源代码可在https://github.com/aryandeshwal/Submodular_Relaxation_BOCS上获得。
2020-08-18 cs.LG math.OC stat.ML
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
An Improved Semi-Supervised VAE for Learning Disentangled Representations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在表示学习中,学习可解释的、可分解的表征是一项重要而又具有挑战性的任务。在这项工作中,我们专注于半监督解纠缠学习,并通过引入另一种我们称为标签替换的监督源来扩展Locatello et al.(2019)的工作。具体来说,在训练过程中,只要可用,我们就用其地面真实表示替换与数据点相关的推断表示。我们的扩展在理论上受到我们提出的VAE背景下的半监督解纠缠学习的一般框架的启发,该框架自然地激励了现有半监督VAE中常用的监督术语(但不用于解纠缠学习)。在合成和真实数据集上进行的广泛实验从数量和质量上证明了我们的扩展能够在非常有限的监督下显着且一致地改善解纠缠。
2020-06-22 cs.LG stat.ML
Counterfactual Propagation for Semi-Supervised Individual Treatment Effect Estimation
Kyoto University(京都大学)
个体治疗效果(ITE)是指对特定目标采取特定措施后预期的治疗效果改善,在各个领域的决策中起着重要作用。然而,其估计问题是困难的,因为干预研究收集关于所应用的治疗的信息(即,行动),其结果往往是相当昂贵的时间和金钱成本。在这项研究中,我们考虑了一个半监督ITE估计问题,利用更容易获得的未标记的实例,以提高ITE估计的性能,使用小的标记数据。我们结合因果推理和半监督学习的两个想法,即匹配和标签传播,分别提出反事实传播,这是第一个半监督ITE估计方法。半真实数据集的实验表明,该方法可以成功地缓解ITE估计中的数据稀缺问题。
2020-05-11 cs.LG stat.ML
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Contrastive Pessimistic Likelihood Estimation for Semi-Supervised Classification
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督分类器的改进保证目前只能在数据的限制条件下给出。我们提出了一种通用的方法来执行半监督参数估计的似然为基础的分类器,在完整的训练集,估计永远不会比监督的解决方案的对数似然。此外,我们认为,在特定情况下,我们可以期望这些解决方案能够真正改善监督分类器。在LDA的一个例子中,我们进一步证明了它的半监督版本严格优于其监督版本。形成我们估计原则核心的两个新概念是对比和悲观。前者指的是我们的目标函数考虑了监督估计,使半监督解决方案能够显式控制对该估计的潜在改进。后者指的是我们的估计是保守的,因此弹性的任何形式的真实标签的未标记的数据takeson.Experiments证明的改善,在独立的测试集上的对数似然和分类错误率。
2015-05-10 cs.LG stat.ME stat.ML