Contrastive Credibility Propagation for Reliable Semi-Supervised Learning
Palo Alto Networks, AI Research(Palo Alto Networks 人工智能研究部)
本文提出对比可信度传播(CCP)算法,通过迭代直推式伪标签精炼统一半监督学习与噪声标签学习,在少标签、开放集、噪声标签及类别分布不平衡/错位等五种场景下均可靠超越监督基线。
2024-04-02 cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven(鲁汶大学)
本研究提出深度图卷积核机器GCKM用于半监督节点分类,由无监督邻域传播核层与半监督分类核模块构成,设计了对偶域端到端训练方案,在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Meta Propagation Networks for Graph Few-shot Semi-supervised Learning
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学)
受深度学习广泛成功的启发,图神经网络(GNN)已被提出来学习表达性节点表示,并在各种图学习任务中表现出良好的性能。然而,现有的努力主要集中在传统的半监督设置,其中提供了相对丰富的黄金标记的节点。虽然它通常是不切实际的,因为事实上,数据标记是难以忍受的费力,需要密集的领域知识,特别是当考虑到图结构数据的异构性。在Few-Shot半监督环境下,大多数现有GNN的性能不可避免地受到过拟合和过平滑问题的影响,这主要是由于标记数据的短缺。在本文中,我们提出了一个解耦的网络架构配备了一种新的元学习算法来解决这个问题。从本质上讲,我们的框架Meta-PN通过元学习的标签传播策略在未标记的节点上推断出高质量的伪标签,这有效地增加了稀缺的标记数据,同时在训练过程中实现了大的感受野。大量的实验表明,我们的方法提供了简单和大量的性能增益相比,现有的技术在各种基准数据集。
2022-04-01 cs.LG
Counterfactual Propagation for Semi-Supervised Individual Treatment Effect Estimation
Kyoto University(京都大学)
个体治疗效果(ITE)是指对特定目标采取特定措施后预期的治疗效果改善,在各个领域的决策中起着重要作用。然而,其估计问题是困难的,因为干预研究收集关于所应用的治疗的信息(即,行动),其结果往往是相当昂贵的时间和金钱成本。在这项研究中,我们考虑了一个半监督ITE估计问题,利用更容易获得的未标记的实例,以提高ITE估计的性能,使用小的标记数据。我们结合因果推理和半监督学习的两个想法,即匹配和标签传播,分别提出反事实传播,这是第一个半监督ITE估计方法。半真实数据集的实验表明,该方法可以成功地缓解ITE估计中的数据稀缺问题。
2020-05-11 cs.LG stat.ML
Semi-supervised learning with Bayesian Confidence Propagation Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
不使用标签或使用少量标签从数据中学习内部表示对于机器学习研究非常有用,因为它允许使用大量未标记的数据。在这项工作中,我们使用贝叶斯置信传播神经网络(BCPNN)模型开发的生物学上合理的模型的皮层。最近的工作表明,这些网络可以使用局部贝叶斯-赫布学习规则从数据中学习有用的内部表示。在这项工作中,我们将展示如何在半监督设置中,通过引入和比较不同的分类器,利用这种表示。我们还评估和比较这些网络与其他流行的半监督分类器。
2021-06-29 cs.LG cs.NE
Exhaustive and Efficient Constraint Propagation: A Semi-Supervised Learning Perspective and Its Applications
Peking University(北京大学)
本文提出了一种新的成对约束传播方法,通过将具有挑战性的约束传播问题分解为一组独立的半监督学习子问题,可以使用基于k-近邻图的标签传播在二次时间内解决。考虑到这个时间成本与所有可能的成对约束的数量成比例,我们的方法实际上提供了一个有效的解决方案,用于在整个数据集中穷举传播成对约束。传播成对约束的穷举集进一步用于调整约束谱聚类的相似性矩阵。除了传统的单源数据上的约束传播,我们的方法还扩展到更具挑战性的多源数据上的约束传播,其中每个成对约束定义在来自不同源的一对数据点上。这种多源约束传播在跨模态多媒体检索中有重要的应用。大量的结果表明,我们的方法的优越性能。
2011-09-22 cs.AI cs.LG
Understanding and Guiding Weakly Supervised Entity Alignment with Potential Isomorphism Propagation
Beijing University of Posts and Telecommunications(北京邮电大学);Huawei Co. LTD(华为公司)
本文从传播视角分析弱监督实体对齐,证明潜在对齐实体具有同构子图,并提出PipEA框架通过潜在同构传播算子提升各类聚合模型的准确率。
2024-10-12 cs.IR cs.LG
DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
Missouri University of Science and Technology(密苏里科技大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出DynLP算法,通过仅更新必要的子图实现高效标签传播,提升大规模数据集处理效率,实现13至102倍的速度提升。
2026-04-08 cs.DC cs.LG
Label Propagation Adaptive Resonance Theory for Semi-supervised Continuous Learning
Seoul National University(首尔大学);LG Electronics(LG电子)
半监督学习和持续学习是人类智能的基本范式。为了处理现实世界中的问题,很少给出标签,访问相同数据的机会有限,有必要以联合的方式应用这两个范例。在本文中,我们提出了标签传播自适应共振理论(LPART)的半监督连续学习。LPART使用在线标签传播机制来执行分类,并随着观察数据的积累逐渐提高其准确性。我们通过调整标记和未标记数据的比例,在视觉(MNIST,SVHN,CIFAR-10)和音频(NSynth)数据集上评估了所提出的模型。当使用标记和未标记数据时,准确率要高得多,这表明LPART在数据标签稀缺的环境中具有显著的优势。
2020-04-16 cs.CV cs.LG
Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
Baidu Inc.(百度公司)
图神经网络(GNN)和标签传播算法(LPA)都是消息传递算法,在半监督分类中取得了优异的性能。GNN通过神经网络执行特征传播来进行预测,而LPA使用跨图邻接矩阵的标签传播来获得结果。然而,目前还没有一种有效的方法将这两种算法直接结合起来。为了解决这个问题,我们提出了一种新的统一消息传递模型(UniMP),可以在训练和推理时将特征和标签传播。首先,UniMP采用Graph Transformer网络,将特征嵌入和标签嵌入作为传播的输入信息。其次,为了训练网络而不使自循环输入标签信息过拟合,UniMP引入了一种掩蔽标签预测策略,其中一定比例的输入标签信息被随机掩蔽,然后进行预测。UniMP在概念上统一了特征传播和标签传播,并且在经验上是强大的。它在Open Graph Benchmark(OGB)中获得了新的最先进的半监督分类结果。
2021-05-10 cs.LG stat.ML
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
More Is Better: Large Scale Partially-supervised Sentiment Classification - Appendix
我们描述了一种自举算法,从部分标记的数据中学习,以及一项实证研究的结果,使用它来提高情感分类的性能,使用多达1500万未标记的亚马逊产品评论。我们的实验涵盖了半监督学习、领域自适应和弱监督学习。在某些情况下,我们的方法能够使用如此大量的数据将测试误差减少一半以上。注意:这只是补充材料。
2012-09-27 cs.LG
Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency
Brown University(布朗大学);Preferred Networks, Inc.(优选网络公司);Toyota Research Institute (TRI)(丰田研究院)
用于语义分割的深度学习模型依赖于昂贵的、大规模的、手动注释的数据集。标记是一个繁琐的过程,每张图像可能需要数小时。通过在时间上传播稀疏标记的帧来自动注释视频序列是一种更具可扩展性的替代方案。在这项工作中,我们提出了一种新的标签传播方法,称为Warp-Refine传播,结合语义线索与几何线索,有效地自动标记视频。我们的方法学习优化几何扭曲的标签,并通过利用跨时间的周期一致性,在半监督设置中将学习到的语义先验注入其中。我们定量地表明,我们的方法在ApolloScape数据集上提高了13.1 mIoU的标签传播。此外,通过使用自动标记的帧进行训练,我们在三个语义分割基准上获得了有竞争力的结果,在NYU-V2和KITTI上将最先进的水平提高了1.8和3.61 mIoU,同时匹配了Cityscapes上当前的最佳结果。
2021-09-28 cs.CV cs.LG
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas(坎皮纳斯大学)
虽然卷积神经网络需要大的标记集来训练图像,但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合,以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而,这样的解决方案需要许多监督图像进行验证。我们提出了一个循环,其中深度神经网络(VGG-16)是从一组具有更正确标记的样本中训练出来的,这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的,在这个嵌入空间中,使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进,它改进了神经网络的特征。我们表明,这可以显着提高分类结果的测试数据(仅使用1\%至5\%的监督样本)的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani(皮拉尼伯拉技术与科学学院)
半监督学习方法在当今世界已经获得了重要性,因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中,在每一步SVM的训练,以尽量减少误差,从而提高预测质量。实验采用支持向量机(SVM)和逻辑回归(Logreg)进行。结果表明,SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试,范围从1000到10000的顺序。结果表明,该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本,分析表明,并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG
Label Propagation for Deep Semi-supervised Learning
Czech Technical University in Prague(布拉格捷克理工大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所)
半监督学习正变得越来越重要,因为它可以将人类仔细标记的数据与大量未标记的数据相结合,以训练深度神经网络。半监督学习的经典方法专注于转导学习,但在现代深度学习遵循的归纳框架中尚未得到充分利用。这同样适用于流形假设--相似的例子应该得到相同的预测。在这项工作中,我们采用了一种基于流形假设的转换标签传播方法来对整个数据集进行预测,并使用这些预测来为未标记的数据生成伪标签,并训练深度神经网络。转换方法的核心是我们基于同一网络的嵌入创建的数据集的最近邻图。因此,我们的学习过程在这两个步骤之间迭代。我们提高了几个数据集的性能,特别是在少数标签制度,并表明我们的工作是补充目前的最先进的。
2019-04-09 cs.CV cs.LG
Label Propagation with Weak Supervision
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种利用先验概率假设标签的经典标签传播算法(LPA)新分析,给出结合图几何与先验质量的误差界限,并构建整合多噪声源的弱监督框架,在多个基准任务上优于现有方法。
2023-04-09 cs.LG stat.ML
Local Label Propagation for Large-Scale Semi-Supervised Learning
Stanford University(斯坦福大学)
训练深度神经网络以解决监督学习任务的一个重要问题是需要大量标记的数据点。半监督学习的目标是利用无处不在的未标记数据以及少量的标记数据来实现高任务性能。虽然最近在开发对相对较小的数据集有效的半监督算法方面取得了重大进展,但这些技术中的许多技术并不容易扩展到现实世界应用程序的大型(未标记)数据集。在本文中,我们介绍了一种新的方法,可扩展的半监督学习,称为本地标签传播(LLP)。LLP扩展了最近关于无监督嵌入学习的工作的想法,首先使用深度神经网络将标记和其他数据点嵌入到公共潜在空间中。然后,它传播伪标签从已知到未知的数据点的方式,取决于嵌入的局部几何形状,同时考虑到点间距离和局部数据密度作为加权的传播可能性。然后训练深度嵌入的参数,以同时最大化伪标签分类性能以及每个伪标签组内的数据点聚类的度量,迭代地交替网络训练和标签传播的阶段。我们说明了LLP方法在ImageNet数据集上的实用性,实现了在各种各样的训练机制中始终优于先前最先进的可扩展半监督学习算法的结果。我们还表明,使用LLP学习的特征表示可以很好地转移到Places 205数据集中的场景识别。
2019-05-28 cs.AI cs.CV cs.LG
MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning
本研究提出MAG框架,通过将未标记多模态数据用于半监督传播的演示选择,提升多模态大语言模型的上下文学习性能,在8个基准的标签稀缺场景下优于强基线。
2026-08-14 cs.LG
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
我们使用反向传播(即,BP-sLDA),其最大化给定输入文档的预测变量的后验概率。与传统的变分学习或吉布斯采样方法不同,所提出的学习方法应用(i)镜像下降算法进行最大后验推理,以及(ii)在深度架构上的反向传播以及随机梯度/镜像下降进行模型参数估计,从而实现模型的可扩展和端到端的判别学习。作为副产品,我们还应用该技术为传统的无监督LDA模型开发了一种新的学习方法(即,BP-LDA)。三个真实世界的回归和分类任务的实验结果表明,所提出的方法显着优于以前的监督主题模型,神经网络,并与深度神经网络。
2015-11-01 cs.LG
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
WV-Net: A foundation model for SAR WV-mode satellite imagery trained using contrastive self-supervised learning on 10 million images
University of Hawai‘i at Mānoa(夏威夷大学马诺阿分校);University of Washington(华盛顿大学);University of New Hampshire(新罕布什尔大学);Univ. Brest(布雷斯特大学);CNRS(法国国家科学研究中心);IRD(法国发展研究所);Ifremer(法国海洋开发研究院);IUEM(欧洲海洋科学研究所)
本研究利用近1000万张SAR WV模式图像和对比自监督学习训练了基础模型WV-Net,在波高估计、气温预测和现象分类等下游任务中优于基于ImageNet预训练的模型,为地球物理研究提供了便捷的嵌入支持。
2024-06-26 cs.AI cs.CV cs.LG
Self-Supervised Learning via Conditional Motion Propagation
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
智能代理自然地从运动中学习。各种自监督算法已经利用运动线索来学习有效的视觉表示。这里的障碍是,运动是模糊和复杂的,使以前的作品要么遭受降低学习效率,或诉诸于对象运动的强假设。在这项工作中,我们设计了一个新的从运动中学习的范例来弥合这些差距。而不是明确建模的运动概率,我们设计的借口任务作为一个有条件的运动传播问题。给定一个输入图像和几个稀疏的流引导向量,我们的框架试图恢复完整的图像运动。与其他替代方案相比,我们的框架具有几个吸引人的特性:(1)在训练期间使用稀疏流指导解决了固有的运动模糊性,从而简化了特征学习。(2)解决有条件运动传播的借口任务鼓励了具有更大表达能力的运动学声音表示的出现。大量的实验表明,我们的框架学习结构和连贯的功能,并实现了最先进的自我监督性能的几个下游任务,包括语义分割,实例分割,和人类解析。此外,我们的框架被成功地扩展到几个有用的应用程序,如半自动像素级注释。项目页面:“http://mmlab.ie.cuhk.edu.hk/projects/CMP/“。
2019-04-25 cs.CV cs.LG
Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Hong Kong Polytechnic University(香港理工大学)
受无监督领域自适应(UDA)和半监督学习(SSL)之间的问题相关性的激励,许多现有技术的UDA方法采用SSL原理(例如,集群假设)作为他们的学习成分。然而,他们往往忽视了UDA的域转移本质。在这项工作中,我们采取进一步研究适当的扩展SSL技术的UDA。以标签传播算法为例,分析了UDA采用标签传播算法所面临的挑战,并从理论上分析了亲和图/亲和矩阵的构造条件,以实现真实标签向未标记实例的更好传播。我们的分析提出了一种新的具有增强的标签传播(A $^2$ LP)的标签传播算法,该算法可以通过生成未标记的虚拟实例(即,增强的锚)与高置信度标签预测。为了使拟议的一个$^2$ LP有用的UDA,我们提出了经验方案来生成这样的虚拟实例。所提出的方案还通过经由A $^2$ LP的伪标记和域不变特征学习之间的交替来解决UDA的域移位挑战。实验表明,这样一个简单的SSL扩展改进了域不变特征学习的代表性UDA方法,并可以在基准UDA数据集上授权两种最先进的方法。我们的研究结果表明SSL技术的UDA问题的进一步研究的价值。
2020-07-15 cs.LG stat.ML
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院);National Institute of Health Data Science, Peking University(北京大学健康医疗大数据国家研究院)
无监督/自监督图表示学习对于下游节点和图级分类任务至关重要。图的全局结构有助于区分表示,现有方法主要通过施加额外的监督来利用全局结构。然而,它们的全局语义通常对于所有节点/图是不变的,并且它们未能显式地嵌入全局语义以丰富表示。在本文中,我们提出了全粒度自我语义传播自监督图表示学习(OEPG)。具体来说,我们引入实例自适应全局感知自我语义描述符,利用每个节点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。描述符可以作为新的邻居节点显式地集成到局部图卷积中。此外,我们设计了一个全粒度的规范化的整个规模和层次的自我语义分配注意力的权重,每个描述符从全粒度的角度。专门的借口任务和交叉迭代动量更新进一步发展为本地-全球相互适应。在下游任务中,OEPG在跨尺度和跨领域的多个数据集上始终获得最佳性能,精度增益为2%~6%。值得注意的是,OEPG还推广到数量和拓扑不平衡的场景。
2022-05-31 cs.AI cs.CV cs.LG
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa(亚马逊Alexa)
家庭场景中的说话人辨识(例如,对于智能说话者)通常仅基于几个登记话语,但是基于大得多的未标记数据集,这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下,利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反,这项工作专注于说话人标签推理(评分)。给定一个预先训练的嵌入提取器,基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点,我们表示成对的话语相似性得分作为边权重。每个家庭构建图,并将扬声器身份传播到未标记的节点,以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明,与两种最先进的评分方法及其基于伪标签的半监督变体相比,这种方法有效地利用了未标记的数据,提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Feature propagation as self-supervision signals on graphs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学-巴塞罗那理工(UPC))
针对图自监督学习中对比学习开销大且增广可能改变语义的问题,提出RGI框架,通过最大化节点嵌入与特征传播的互信息训练图神经网络,非对比且无需增广,在基准上达到最先进性能。
2023-09-04 cs.LG
Weakly Supervised Point Cloud Segmentation via Conservative Propagation of Scene-level Labels
提出一种弱监督点云分割方法,通过二分匹配保守传播场景级标签至相关点,在ScanNet和S3DIS上大幅超越现有技术。
2025-06-13 cs.CV cs.LG
Deep Clustering with Measure Propagation
Interactions LLC(Interactions 有限责任公司)
深度模型改进了监督学习和无监督学习的最新技术。例如,深度嵌入式聚类(DEC)通过使用堆叠式自动编码器进行表示学习,极大地提高了无监督聚类的性能。然而,深度建模的一个弱点是原始空间中的局部邻域结构不一定保留在潜在空间中。为了保持局部几何形状,在监督和半监督学习文献中已经提出了各种方法(例如,谱聚类和标签传播)。在本文中,我们将深度表示学习的强度与测量传播(MP)相结合,MP是一种最初用于半监督场景的基于KL发散的图正则化方法。MP的主要假设是,如果两个数据点在原始空间中接近,则它们可能属于同一类,通过类成员分布的KL-散度来衡量。通过在无监督学习场景中采取相同的假设,我们提出了我们的深度嵌入式聚类辅助测量传播(DECAMP)模型。我们在短文本聚类任务上评估了DECAMP。在三个公共数据集上,DECAMP的表现与其他最先进的基线具有竞争力,包括使用额外数据生成聚类过程中使用的词嵌入的基线。例如,在Stackoverflow数据集上,DECAMP实现了79%的聚类准确率,比所有现有基线高出约5%。这些实验结果表明,DECAMP是一种非常有效的无监督学习方法。
2021-04-26 cs.CL cs.LG
Pairwise Constraint Propagation on Multi-View Data
Renmin University of China(中国人民大学);Peking University(北京大学)
提出了一种基于图的多视图数据成对约束传播的学习方法。虽然成对约束传播已经被广泛研究,但是成对约束通常被定义在来自单个视图的数据点对上,即,对于多视图任务只考虑视图内约束传播。事实上,很少有人注意到视图间约束传播,这是更具挑战性的,因为成对约束现在被定义在来自不同视图的数据点对上。在本文中,我们提出了具有挑战性的视图间约束传播问题分解成半监督学习子问题,使他们可以有效地解决基于图的标签传播的基础上。据我们所知,这是第一次尝试从半监督学习的角度给出视图间约束传播的有效解决方案。此外,由于基于图的标签传播已被采用的基本优化,我们开发了两个约束图构建方法采访约束传播,不同的是如何利用内视图成对约束。跨视图检索的实验结果表明,我们的跨视图约束传播的良好性能。
2015-01-18 cs.CV cs.LG
Nonlinear Correct and Smooth for Semi-Supervised Learning
Florida State University(佛罗里达州立大学)
针对高阶图中未联合利用标签与特征的半监督学习问题,提出引入非线性与高阶表示的NLCS后处理方法,在6个常用数据集上相较基础预测和最优后处理方法分别取得13.71%与2.16%的平均提升。
2023-10-09 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Weakly Supervised Segmentation of Vertebral Bodies with Iterative Slice-propagation
Cooperative Medianet Innovation Center(合作媒体创新中心);Shanghai Jiao Tong University(上海交通大学);Shanghai Jiao Tong University Affiliated Sixth People’s Hospital(上海交通大学附属第六人民医院)
提出弱监督迭代脊柱分割方法WISS,仅用单切片四个角点弱标签实现椎体自动体积分割,在公开数据集上取得较高Dice系数并大幅节省标注成本。
2024-02-14 cs.CV cs.LG
Learning Graph Representations with Embedding Propagation
NEC Labs Europe(NEC欧洲实验室)
我们提出了嵌入传播(EP),一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成,例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少,EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
LaMM: Semi-Supervised Pre-Training of Large-Scale Materials Models
Fujitsu Limited(富士通株式会社)
提出LaMM半监督预训练方法,结合改进去噪自监督学习与负载均衡算法,利用约3亿半标注样本高效训练单一NNP模型,提升了微调速度与准确性。
2025-05-28 cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University(蔚蓝海岸大学);Orange Labs(Orange实验室)
在本文中,我们提出了一种新的方法来解决半监督分类任务的生物医学应用,涉及监督自动编码器网络。我们创建了一个网络架构,将标签编码到自动编码器的潜在空间中,并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器(SSAE)。然后,我们使用学习的网络对未标记的样本进行分类,这要归功于应用于潜在空间的softmax分类器,该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法,用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法(SSAE)与经典的半监督方法,如标签传播和标签扩散,并与全连接神经网络(FCNN)。实验表明,SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation
Google India(谷歌印度);Google Research India(谷歌印度研究院)
提出一种基于置信度传播的迭代算法框架,通过伪标记和嵌入优化步骤解决从标签比例中学习的问题,在表格和图像数据上性能显著提升且计算开销极小。
2024-03-20 cs.AI cs.LG
Semi-Supervised Learning with Heterophily
Carnegie Mellon University(卡内基梅隆大学)
我们推导出一个家庭的线性推理算法,推广现有的基于图形的标签传播算法,允许他们传播广义的假设之间的“吸引力”或“兼容性”类的相邻节点(特别是那些涉及异性之间的节点,其中“异性相吸”)。因此,我们称之为半监督学习与异质性(SSLH),并显示它是如何推广和改进最近提出的方法称为线性置信传播(LinBP)。重要的是,我们的框架使我们能够减少估计节点之间的相对兼容性的问题,从部分标记图到一个简单的优化问题。结果是一个非常快速的算法,尽管它很简单,但却令人惊讶地有效:我们可以在与LinBP相同的时间内对同一图中的未标记节点进行分类,但具有更高的准确性,尽管我们的算法不知道兼容性。
2016-12-28 cs.DB cs.LG
Label Propagation Techniques for Artifact Detection in Imbalanced Classes using Photoplethysmogram Signals
CHU Sainte-Justine Research Center(圣贾斯汀医院研究中心);CHU Sainte-Justine Hospital(圣贾斯汀医院);University of Montreal(蒙特利尔大学)
本研究针对PPG信号伪影检测的类别不平衡与数据有限问题,对比半监督标签传播算法与多种监督分类器,证明其在伪影检测上表现更优,可提升PPG健康监测准确率。
2024-05-23 cs.LG eess.SP
Dhvani: A Weakly-supervised Phonemic Error Detection and Personalized Feedback System for Hindi
Plaksha University(普拉克斯大学)
本文提出面向印地语的弱监督CAPT系统Dhvani,结合发音错误合成语音生成与个性化反馈方法,利用印地语音位正字法实现发音错误检测与纠正指导。
2025-06-02 cs.AI cs.LG eess.AS
Probability-density-aware Semi-supervised Learning
Tencent Youtu Laboratory(腾讯优图实验室);East China Normal University(华东师范大学)
针对半监督学习忽视簇假设的问题,提出概率密度感知度量PM及PMLP标签传播算法,并证明伪标签是其特例,实验性能优异。
2025-01-07 cs.LG stat.ML
Learning from Limited Labels: Transductive Graph Label Propagation for Indian Music Analysis
Department of Electrical Engineering(电气工程系);Department of Chemical Engineering(化学工程系);Indian Institution of Technology, Kanpur(印度理工学院坎浦尔分校);Katholieke Universiteit Leuven(卢森堡大学)
本文提出利用图标签传播技术,在有限标签条件下实现印度音乐的旋律识别与乐器分类,通过构建音频嵌入相似性图,提升标注效率与质量。
2026-01-07 cs.LG eess.AS
Self-Supervised Graph Transformer on Large-Scale Molecular Data
Tencent AI Lab(腾讯人工智能实验室);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
如何获得分子的信息表示是人工智能驱动的药物设计和发现的关键先决条件。最近的研究将分子抽象为图,并使用图神经网络(GNNs)进行分子表示学习。然而,有两个问题阻碍了GNN在真实场景中的使用:(1)用于监督训练的标记分子不足;(2)对新合成分子的泛化能力差。为了解决这两个问题,我们提出了一个新的框架,格罗弗,它代表图表示从自我监督mEssage通过Transformer。通过精心设计的节点、边和图形级别的自监督任务,格罗弗可以从大量未标记的分子数据中学习分子的丰富结构和语义信息。相反,为了编码如此复杂的信息,GROVER将消息传递网络集成到Transformer风格的架构中,以提供一类更具表达力的分子编码器。GROVER的灵活性使其能够在大规模分子数据集上有效地训练,而无需任何监督,从而对上述两个问题免疫。我们在1000万个未标记的分子上用1亿个参数对GROVER进行了预训练--这是分子表征学习中最大的GNN和最大的训练数据集。然后,我们利用预先训练的GROVER进行分子性质预测,然后进行特定任务的微调,在11个具有挑战性的基准测试中,我们观察到目前最先进的方法有了巨大的改进(平均超过6%)。我们获得的见解是,精心设计的自我监督损失和大量表达的预训练模型在性能提升方面具有巨大的潜力。
2020-10-29 cs.LG q-bio.BM
Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of New South Wales(新南威尔士大学)
各种机器学习应用期望从有限数量的标记数据中实现快速学习。然而,当前大多数模型的成功是大数据大量训练的结果。元学习通过提取跨不同任务的共同知识来解决这个问题,这些知识可以快速适应新任务。然而,他们没有充分探索弱监督的信息,这通常是免费或廉价的collect. In本文中,我们表明,弱标记的数据可以显着提高性能的元学习Few-Shot分类。我们提出了原型传播网络(PPN)训练的Few-Shot任务与粗标签标注的数据。给定目标细类和一些弱标记粗类的类别图,PPN学习注意力机制,该注意力机制将图上的一个类的原型传播到另一个类,使得在传播的原型上定义的K-最近邻(KNN)分类器在不同的Few-Shot任务中具有高精度。训练任务由子图抽样生成,训练目标由子图上的分层分类损失累积得到。生成的原型图可以不断地重用和更新,以用于新的任务和类。我们还介绍了两个实际的测试/推理设置,根据测试任务是否可以利用任何弱监督信息进行训练而有所不同。在两个基准测试中,PPN在不同的设置中显着优于最新的少样本学习方法,即使它们也被允许在弱标记数据上进行训练。
2019-06-02 cs.CV cs.LG cs.NE
Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney(悉尼科技大学);Southeast University(东南大学)
图对比学习是最先进的无监督图表示学习框架,并已显示出与监督方法相当的性能。然而,评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题,因为大多数现有的图对抗攻击都是有监督的模型,这意味着它们严重依赖于标签,并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法,在真实场景中获取标签比较困难,使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中,我们提出了一种新的无监督的基于梯度的对抗攻击,不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度,并使用梯度上升翻转边缘以最大化对比损失。通过这种方式,我们可以充分利用由图对比学习模型生成的多个视图,并在不知道其标签的情况下选择信息量最大的边,因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明,我们的攻击优于无监督的基线攻击,并具有相当的性能与监督攻击在多个下游任务,包括节点分类和链接预测。我们进一步表明,我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
Deep Metric Transfer for Label Propagation with Limited Annotated Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们研究对象识别的约束下,每个对象类只表示非常少的意见。半监督学习、迁移学习和Few-Shot识别都关注用很少的标记数据实现快速泛化。在本文中,我们提出了一个通用的框架,利用未标记的数据,以帮助概括所有三个任务。我们的方法是创建更多的训练数据,通过标签传播从少数标记的例子,以大量的未注释的图像。本文的主要贡献是,我们表明这样的标签传播方案可以是非常有效的,当用于传播的相似性度量是从其他相关领域转移。我们使用各种标签传播算法测试了监督和无监督度量学习方法的各种组合。我们发现,我们的框架是非常通用的,而不敏感的任何特定的技术。通过以这种方式利用未标记的数据,我们在所有三个任务上都取得了显着的改进。
2019-07-29 cs.AI cs.CV cs.LG
Attention-based Graph Neural Network for Semi-supervised Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Inc.(谷歌公司)
最近流行的图神经网络在基于图的半监督学习的许多标准基准数据集上实现了最先进的精度,比现有方法有显着改进。这些架构在聚合局部邻域的隐藏状态的传播层和全连接层之间交替。也许令人惊讶的是,我们表明,一个线性模型,删除所有的中间完全连接层,仍然能够实现性能媲美的国家的最先进的模型。这大大减少了参数的数量,这对于标记示例数量较少的半监督学习至关重要。这反过来又为设计更创新的传播层提供了空间。基于这种见解,我们提出了一种新的图神经网络,删除所有中间的全连接层,并取代传播层的注意力机制,尊重图的结构。注意力机制允许我们学习邻域的动态和自适应局部摘要,以实现更准确的预测。在基准引用网络数据集上的一些实验中,我们证明了我们的方法优于竞争方法。通过研究邻居之间的注意力权重,我们表明,我们的模型提供了一些有趣的见解邻居如何相互影响。
2018-03-10 cs.AI cs.LG stat.ML
LOSS-GAT: Label Propagation and One-Class Semi-Supervised Graph Attention Network for Fake News Detection
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
本文提出了一种用于假新闻检测的半监督单类图注意力网络 LOSS-GAT,通过两步标签传播和结构增强技术,在仅使用少量标注假新闻的情况下,性能显著提升甚至超越二分类标注模型。
2024-02-13 cs.AI cs.LG cs.SI
Semi-Supervised Semantic Mapping through Label Propagation with Semantic Texture Meshes
University of Bonn(波恩大学)
场景理解是机器人在非结构化环境中的一项重要能力。虽然大多数SLAM方法提供场景的几何表示,但语义地图对于与周围环境的更复杂交互是必要的。当前的方法将语义图视为几何的一部分,这限制了可扩展性和准确性。我们建议表示的语义地图作为一个几何网格和语义纹理耦合在独立的分辨率。其关键思想是,在许多环境中的几何形状可以大大简化,而不会失去保真度,而语义信息可以存储在一个更高的分辨率,独立的网格。我们构建了一个网格深度传感器来表示场景的几何形状和融合信息到语义纹理从分割的各个RGB视图的场景。使语义持久化在一个全球性的网格,使我们能够执行时间和空间的一致性的个人视图预测。为此,我们提出了一种有效的方法,通过迭代地重新训练语义分割与存储在地图中的信息,并使用重新训练的分割拒绝融合的语义之间建立共识的个人分割。我们证明了我们的方法的准确性和可扩展性重建语义地图的场景从NYUv2和场景跨越大型建筑物。
2019-06-17 cs.CV cs.LG cs.RO
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg(卢森堡大学);Criteo(科韬)
图神经网络(GNN)在图学习任务中占主导地位;然而,最近的研究表明,一种著名的图算法,标签传播(LP),结合浅层神经网络,可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中,我们表明,这种方法不符合低同伦图,其中节点往往连接到节点的相反类。为了克服这一点,我们精心设计了一个基础预测与LP算法,享有一个封闭的形式的解决方案,以及收敛保证的组合。我们的算法首先学习类兼容性矩阵,然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准,我们表明,我们的方法实现了领先的性能与各种层次的同质性图。同时,它具有数量级更少的参数,需要更少的执行时间。经验评估表明,简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI
Learning Condensed and Aligned Features for Unsupervised Domain Adaptation Using Label Propagation
Seoul National University(首尔国立大学)
为了解决监督学习中的标记问题,特别是在实际中难以获得大量标记数据的情况下,出现了无监督领域自适应,其目的是使用另一个领域的数据来学习一个领域的特定任务。现有的方法通过减少两个域的嵌入特征之间的差异而取得了成功,但是与监督学习方案相比,性能仍然不能令人满意。这是由于嵌入的特征彼此围绕,但不能完美地对齐,并建立明确可分离的集群。提出了一种基于标签传播和循环一致性的领域自适应方法,使两个领域的特征聚类准确重叠,并变得清晰,从而提高了分类精度。具体来说,我们引入循环一致性来加强每个簇之间的关系,并利用标签传播来实现数据之间的关联,从流形结构的角度来看,而不是一对一的关系。因此,我们成功地形成了对齐的和有区别的集群。我们提出了我们的方法为各种领域自适应方案的实证结果和可视化的嵌入式功能,以证明我们的方法是更好的领域自适应的关键。
2019-03-12 cs.LG stat.ML
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语学院)
为了从多个视图中挖掘潜在的互补信息,本文提出了一种新的潜在多视图半监督分类(LMSSC)方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同,我们的方法寻求一个潜在的潜在表示,并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性,潜在表示比单个视图更能全面地描述数据,从而使图更准确、更鲁棒。最后,LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中,使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
User-level Weibo Recommendation incorporating Social Influence based on Semi-Supervised Algorithm
Tsinghua University(清华大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学);Tencent Company(腾讯公司)
腾讯微博作为中国最受欢迎的微博服务之一,吸引了数百万用户,每天产生3000万至6000万条微博(类似于Twitter中的tweet)。随着用户生成内容的过载问题,腾讯用户发现在第一时间浏览和发现有价值的信息越来越困难。本文提出了一种基于因子图的微博推荐算法TSI-WR(Topic-Level Social Influence based Weibo Recommendation),该算法可以帮助腾讯用户找到最合适的信息。本文的主要创新之处在于基于社会平衡理论,从话题层面考虑了直接和间接的社会影响。采用该策略的主要优点在于:首先可以更准确地描述两个弱连接用户之间的潜在关系,有助于解决数据稀疏性问题;其次可以从更大范围内为某个用户提供更准确的推荐。其他有意义的上下文信息也加入到我们的模型中,包括:用户的个人资料,用户的影响力,微博的内容,微博的主题信息等,我们还设计了一个半监督算法,以进一步减少数据稀疏的影响。实验结果表明,所有选择的变量都是重要的,所提出的模型优于几个基线方法。
2012-10-26 cs.CY cs.LG cs.SI