Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification
Beijing Institute of Technology(北京理工大学)
针对现有图神经网络受同质性假设限制、忽略有向边导致性能受限的问题,提出AMUD方法自适应建模有向图,搭配ADPA新型有向图学习范式,在16个基准数据集上性能较基线提升3.96。
2024-03-11 cs.AI cs.LG cs.SI
Revisiting Graph-Based Fraud Detection in Sight of Heterophily and Spectrum
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学)
针对欺诈图异配性与标签利用不足问题,提出SEC-GFD,通过频谱混合滤波和局部环境约束提升半监督图欺诈检测性能。
2024-07-08 cs.AI cs.LG cs.SI
Hetero$^2$Net: Heterophily-aware Representation Learning on Heterogenerous Graphs
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团)
针对异构图的异质性问题,提出异质性感知的Hetero$^2$Net,结合掩码元路径与标签预测任务,有效处理同质与异质异构图,在节点分类任务上优于强基线。
2023-10-18 cs.AI cs.LG
Addressing Graph Heterogeneity and Heterophily from A Spectral Perspective
Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学);Beihang University(北京航空航天大学);Hangzhou Dianzi University(杭州电子科技大学)
本文提出异质异配谱图神经网络H2SGNN,通过局部独立滤波与全局混合滤波分别建模不同同配性下的节点表示并利用高阶邻居学习更多元路径,在四个数据集上以更少参数和内存取得优越性能。
2025-04-11 cs.LG
Robust Graph Structure Learning under Heterophily
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对现有图学习方法多假设同配、忽略异配且易受噪声稀疏影响的问题,提出结合高通滤波、自适应范数与新正则项的鲁棒图结构学习方法,在异配图的聚类和半监督分类任务上验证了有效性。
2024-03-06 cs.LG
Disentangling Homophily and Heterophily in Multimodal Graph Clustering
University of Electronic Science and Technology of China(电子科技大学);Southwestern University of Finance and Economics(西南财经大学)
本文提出 DMGC 框架,将多模态图分解为同质性增强图和异质性感知图,并通过多模态双频融合机制与自监督对齐实现无监督聚类,在多个数据集上取得最优性能。
2025-07-21 cs.AI cs.LG cs.SI
The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges
McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Westlake University(西湖大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Yale University(耶鲁大学);HEC Montreal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学);Massachusetts Institute of Technology(麻省理工学院);TU Munich(慕尼黑工业大学)
本综述全面回顾异配图学习最新进展,涵盖基准数据集、学习方法分类、理论分析及应用,首次将异配数据集分为三类并提出未来挑战与方向。
2024-07-12 cs.LG cs.SI
NCGNN: Node-Level Capsule Graph Neural Network for Semisupervised Classification
Shanghai Jiao Tong University(上海交通大学)
消息传递已经发展成为设计图神经网络(GNN)的有效工具。然而,大多数现有的消息传递方法只是简单地求和或平均所有相邻的功能,以更新节点表示。它们受到两个问题的限制,即,(i)缺乏可解释性来识别对GNN的预测有重要意义的节点特征,以及(ii)特征过度混合,导致在捕获长范围依赖关系时的过度平滑问题,并且无法处理异质性或低同质性下的图。在本文中,我们提出了一个节点级胶囊图神经网络(NCGNN),以解决这些问题,改进的消息传递方案。具体来说,NCGNN将节点表示为节点级胶囊组,其中每个胶囊提取其对应节点的独特特征。对于每个节点级胶囊,一种新的动态路由过程的开发,以自适应地选择合适的胶囊聚合从所设计的图过滤器确定的子图。NCGNN只聚集有利的胶囊,并抑制不相关的消息,以避免过度混合功能的交互节点。因此,它可以缓解过度平滑的问题,并学习有效的节点表示的同胚或异质图。此外,我们提出的消息传递方案是固有的可解释性和免除复杂的事后解释,作为图过滤器和动态路由过程中确定的一个子集的节点功能,是最重要的模型预测从提取的子图。在合成图和真实图上的大量实验表明,NCGNN可以很好地解决过度平滑问题,并为半监督节点分类产生更好的节点表示。它在同质性和异质性下的表现都优于现有技术。
2022-06-16 cs.LG
SCGC : Self-Supervised Contrastive Graph Clustering
University of Queensland(昆士兰大学)
图聚类发现网络中的群体或社区。自动编码器(AE)等深度学习方法可以提取有效的聚类和下游表示,但无法包含丰富的结构信息。虽然图神经网络(GNN)在编码图结构方面取得了巨大成功,但基于卷积或注意力变体的典型GNN遭受过平滑、噪声、异质性,计算成本高,并且通常需要存在完整的图。相反,我们提出了自监督对比图聚类(SCGC),它通过对比损失信号来施加图结构,以学习有区别的节点表示和迭代改进的软聚类标签。我们还提出了SCGC*,具有更有效,新颖的影响增强对比度(IAC)损失,以融合更丰富的结构信息,并将原始模型参数减半。SCGC(*)使用简单的线性单元更快,完全消除了传统GNN的卷积和注意力,但有效地结合了结构。它不受层深度的影响,对过度平滑、不正确的边缘和异质性具有鲁棒性。它是可扩展的,在许多以前的GNN模型的限制,和平凡的并行化。我们在广泛的基准图数据集上获得了最先进的显着改进,包括图像,传感器数据,文本和引文网络。具体来说,对于DBLP,ARI上减少了20%,NMI上减少了18%;总体上减少了55%的训练时间,总体上减少了81%的推理时间。我们的代码可在:https://github.com/gayanku/SCGC
2022-04-27 cs.CV cs.LG cs.MM
Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了图神经网络在半监督节点分类任务中在异质或低同质情况下的表示能力,即,在网络中,连接的节点可能具有不同的类标签和不同的特征。许多流行的GNN未能推广到这种设置,甚至被忽略图结构的模型(例如,多层感知器)。出于这种限制,我们确定了一组关键设计-自我和邻居嵌入分离,高阶邻域和中间表示的组合-促进从异质性下的图结构中学习。我们将它们组合成一个图神经网络,H2 GCN,我们使用的基本方法来经验评估所确定的设计的有效性。超越了具有强同质性的传统基准,我们的实证分析表明,在具有异质性的合成和真实网络上,所识别的设计分别将GNN的准确性提高了40%和27%,并在同质性下产生了具有竞争力的性能。
2020-10-23 cs.LG stat.ML
Steering Graph Neural Networks with Pinning Control
Southwest Petroleum University(西南石油大学);City University of Hong Kong(香港城市大学)
本文提出基于牵制控制的PCGCN模型,利用标记数据原型作为控制目标,为每个节点学习最优反馈控制器,以解决半监督图学习中标签稀缺和强异质性下的不连续信息传输问题,实验证明其性能优于现有方法。
2023-05-06 cs.LG
Simplified PCNet with Robustness
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Western University(西安大略大学)
针对图神经网络难以适配不同同配程度真实图的问题,本文简化PCNet并增强其鲁棒性,通过扩展滤波器阶数、减少参数、设计自适应邻域变体,经理论与半监督学习实验验证了其鲁棒性与有效性。
2024-03-06 cs.LG
Beyond the Academic Monoculture: A Unified Framework and Industrial Perspective for Attributed Graph Clustering
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Ant Group(蚂蚁集团);Westlake University(西湖大学);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院)
本文提出统一框架和工业视角,分析属性图聚类在学术与工业需求间的差距,探讨评价标准、工程策略及未来研究方向。
2026-03-21 cs.LG
Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks
Seoul National University(首尔国立大学);University of Michigan(密歇根大学);Amazon Web Services(亚马逊云科技)
异构图神经网络(GNN)在半监督学习环境中实现了节点分类任务的强大性能。然而,与更简单的同构GNN情况一样,基于消息传递的异构GNN可能难以在抵抗深度模型中可能发生的过度平滑和捕获图结构数据的长期依赖性之间取得平衡。此外,这种权衡的复杂性在异构图的情况下,由于不同类型的节点之间的不同的异质性关系。为了解决这些问题,我们提出了一种新的异构GNN架构,其中层来自优化步骤,下降一个新的关系感知能量函数。相应的最小化是完全可微的能量函数参数,这样可以应用双层优化来有效地学习函数形式,其最小值为后续的分类任务提供最佳的节点表示。特别是,这种方法使我们能够模拟不同节点类型之间的各种异质关系,同时避免过度平滑的影响。在8个异构图基准测试上的实验结果表明,该方法能够获得有竞争力的节点分类精度
2022-10-21 cs.AI cs.LG
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg(卢森堡大学);Criteo(科韬)
图神经网络(GNN)在图学习任务中占主导地位;然而,最近的研究表明,一种著名的图算法,标签传播(LP),结合浅层神经网络,可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中,我们表明,这种方法不符合低同伦图,其中节点往往连接到节点的相反类。为了克服这一点,我们精心设计了一个基础预测与LP算法,享有一个封闭的形式的解决方案,以及收敛保证的组合。我们的算法首先学习类兼容性矩阵,然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准,我们表明,我们的方法实现了领先的性能与各种层次的同质性图。同时,它具有数量级更少的参数,需要更少的执行时间。经验评估表明,简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich(慕尼黑大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注,但其在时间序列域中的适用性研究有限。在这项工作中,我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整,特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整,我们探索深度半监督学习在时间序列分类的背景下,通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑,这是尚未在该领域缺乏。我们发现,这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益,特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域,有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整,或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
Progressive Feature Upgrade in Semi-supervised Learning on Tabular Domain
Old Dominion University(欧道明大学)
最近的半监督和自我监督的方法已经显示出巨大的成功,在图像和文本领域利用增强技术。尽管取得了这样的成功,但将这种成功转移到表格域并不容易。由于表格域中混合了不同的数据类型(连续数据和分类数据),因此不容易适应从图像和语言到表格数据的特定域转换。在表格领域有一些半监督的工作,专注于提出新的表格数据增强技术。这些方法可能在分类数据中具有低基数的数据集上显示出一些改进。然而,根本性的挑战尚未得到解决。所提出的方法要么不适用于具有高基数的数据集,要么不使用分类数据的有效编码。我们建议使用条件概率表示和一个有效的渐进式功能升级框架,以有效地学习表示表格数据在半监督应用程序。大量的实验表明,该框架的优越性能和潜在的应用在半监督设置。
2022-12-01 cs.LG
Exponential Family Hybrid Semi-Supervised Learning
School of Computing(计算学院);University of Utah(犹他大学)
我们提出了一种基于指数族特征的半监督学习方法。我们的方法概括了以前的工作耦合先验混合生成/歧视模型。我们的模型比以前的方法更灵活和自然。在几个数据集上的实验结果表明,我们的方法在实践中也表现得更好。
2010-03-02 cs.LG
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上,该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合,使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中,符号向量耦合,生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域,如图像,文本和表格数据。实验结果表明,该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
A Semi-Supervised Method for Predicting Cancer Survival Using Incomplete Clinical Data
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
预测癌症患者的存活率是一个开放的研究领域。然而,这些研究中的许多都集中在具有大量患者的数据集上。我们提出了一种新的方法,专门用于解决数据稀缺的挑战,这通常是癌症数据集的情况。我们的方法是能够使用未标记的数据,通过采用半监督训练方法来学习集成分类器,以提高分类。将我们的方法应用于三个癌症数据集的结果显示了半监督学习预测癌症生存率的前景。
2015-09-29 cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系)
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中,我们研究了多个对抗性示例的对抗性训练,以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明,对抗训练提供了对监督模型的改进,并且在半监督训练情况下也有效地涉及未标记数据。此外,我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-supervised Classification for Natural Language Processing
University of Western Ontario(西安大略大学)
半监督分类是一个有趣的想法,其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域,它与监督分类相比有许多优点。例如,监督分类只利用昂贵的标记数据,这些数据通常难以获得,数量不足,并且需要人类专家进行注释。另一方面,未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用,但由于其性能水平在经验上与监督分类一样好,因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的,它包括的方法,并评论它们的使用和实现。然后,我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University(朱拉隆功大学)
我们提出了一个半监督降维流形学习的一般框架,自然地概括了现有的监督和无监督学习框架,适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子,并能够处理复杂的问题,数据形成单独的簇的流形。我们的框架提供了简单的视图,解释了现有框架之间的关系,并提供了进一步的扩展,可以改善现有的算法。此外,提出了一种新的半监督核化框架,称为“KPCA技巧”,以处理非线性问题。
2009-07-29 cs.AI cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence(嵌入式智能公司)
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查,这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明,影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架,针对半监督学习方法,以更好地理解和利用其局限性,并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna(博洛尼亚大学)
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是,强制平滑的输出变化,同时呈现视频序列中的时间闭合帧,被证明是一种有效的策略。在本文中,我们证明了半监督增量调谐的时间相干性的功效。我们表明,如果暴露于未标记数据的视频序列,一个深度架构,只要以监督的方式进行温和的训练,就可以逐步提高其分类准确性。在某些情况下,半监督调优允许提高分类准确性(接近监督的)的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University(女王大学)
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面,标记EEG数据通常昂贵且耗时。为了解决这个问题,并减少在基于EEG的情感识别的背景下对输出标签的需求,我们提出了一个半监督管道,以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性,而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架,并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器,即使在训练期间输出标签的小子集(3%,5%和10%)可用时,也始终优于基准方法,从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics(国家研究型高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex School of Data Analysis(Yandex数据分析学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);University of Amsterdam(阿姆斯特丹大学)
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上,该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类,已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中,我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法,并提出了一种新的原则性方法,半监督线性判别分析,使用所谓的隐式约束。我们探讨这些方法之间的关系,并考虑的问题,如果在什么意义上,我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒,并且在未见过对象的对数似然性方面,可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology(格拉茨技术大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);University of Cambridge(剑桥大学)
在一些领域中,获取类注释是昂贵的,而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设,但最近的工作已经成功地在非限制性机制中学习半监督模型。然而,到目前为止,这样的方法只提出了线性模型。在这项工作中,我们介绍了和积网络(SPN)的半监督参数学习。SPN是深度概率模型,允许在线性时间内推理网络边缘的数量。我们的方法有几个优点,因为它(1)允许生成和判别式半监督学习,(2)保证添加未标记数据可以增加,但不会降低性能(安全),(3)计算效率高,不会对数据分布进行限制性假设。我们在各种数据集上表明,与最先进的方法相比,使用SPN的安全半监督学习具有竞争力,并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
深度神经网络证明了它们在广泛的监督学习任务(例如,图像分类)在大量的标记数据集合上训练时(例如,ImageNet)。然而,创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下,这些资源可能不可用,从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时,对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加,以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中,我们对深度半监督学习进行了全面的概述,首先介绍了该领域,然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG