Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
Baidu Inc.(百度公司)
图神经网络(GNN)和标签传播算法(LPA)都是消息传递算法,在半监督分类中取得了优异的性能。GNN通过神经网络执行特征传播来进行预测,而LPA使用跨图邻接矩阵的标签传播来获得结果。然而,目前还没有一种有效的方法将这两种算法直接结合起来。为了解决这个问题,我们提出了一种新的统一消息传递模型(UniMP),可以在训练和推理时将特征和标签传播。首先,UniMP采用Graph Transformer网络,将特征嵌入和标签嵌入作为传播的输入信息。其次,为了训练网络而不使自循环输入标签信息过拟合,UniMP引入了一种掩蔽标签预测策略,其中一定比例的输入标签信息被随机掩蔽,然后进行预测。UniMP在概念上统一了特征传播和标签传播,并且在经验上是强大的。它在Open Graph Benchmark(OGB)中获得了新的最先进的半监督分类结果。
2021-05-10 cs.LG stat.ML
Bridging Domain Adaptation and Graph Neural Networks: A Tensor-Based Framework for Effective Label Propagation
Dartmouth College(达特茅斯学院);New York University(纽约大学);University of California, Riverside(加州大学河滨分校)
针对GNN在单域监督训练下标签需求高、表示迁移性差的问题,提出LP-TGNN框架,以张量架构提取图拓扑信息并通过标签传播减少域差异,兼容通用GNN和域适应技术,在真实基准上显著优于基线。
2025-02-15 cs.LG
Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University(北京大学);Apple(苹果公司)
图神经网络(GNN)在各种任务中取得了巨大的成功,但它们的性能高度依赖于大量的标记节点,这通常需要相当大的人力。提出了基于GNN的主动学习(AL)方法,通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类,因此只关注节点的选择。然而,这样一个精确的标签任务是昂贵的,特别是当分类是出了域的个人专家(oracle)。本文更进一步,提出了一个软标签的方法,以AL上的GNNs。我们的主要创新是:i)放松查询,其中领域专家(Oracle)仅判断预测标签的正确性(二元问题)而不是识别确切的类(多类问题),以及ii)对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明,我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
LOSS-GAT: Label Propagation and One-Class Semi-Supervised Graph Attention Network for Fake News Detection
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
本文提出了一种用于假新闻检测的半监督单类图注意力网络 LOSS-GAT,通过两步标签传播和结构增强技术,在仅使用少量标注假新闻的情况下,性能显著提升甚至超越二分类标注模型。
2024-02-13 cs.AI cs.LG cs.SI
Multi-Label Node Classification with Label Influence Propagation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Capital One;GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
提出标签影响传播(LIP)模型,通过分解GNN的消息传递为传播和变换操作,量化标签间影响,构建标签影响图传播高阶影响,动态调整学习过程,在多标签节点分类任务上超越现有方法。
2026-07-02 cs.AI cs.LG
Meta Propagation Networks for Graph Few-shot Semi-supervised Learning
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学)
受深度学习广泛成功的启发,图神经网络(GNN)已被提出来学习表达性节点表示,并在各种图学习任务中表现出良好的性能。然而,现有的努力主要集中在传统的半监督设置,其中提供了相对丰富的黄金标记的节点。虽然它通常是不切实际的,因为事实上,数据标记是难以忍受的费力,需要密集的领域知识,特别是当考虑到图结构数据的异构性。在Few-Shot半监督环境下,大多数现有GNN的性能不可避免地受到过拟合和过平滑问题的影响,这主要是由于标记数据的短缺。在本文中,我们提出了一个解耦的网络架构配备了一种新的元学习算法来解决这个问题。从本质上讲,我们的框架Meta-PN通过元学习的标签传播策略在未标记的节点上推断出高质量的伪标签,这有效地增加了稀缺的标记数据,同时在训练过程中实现了大的感受野。大量的实验表明,我们的方法提供了简单和大量的性能增益相比,现有的技术在各种基准数据集。
2022-04-01 cs.LG
Oldie but Goodie: Re-illuminating Label Propagation on Graphs with Partially Observed Features
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);National Institute of Advanced Industrial Science(国家先进工业科学研究院);Institute of Science Tokyo(东京科学研究院)
针对图节点特征部分缺失问题,提出GOODIE框架,融合标签传播与特征传播,利用结构-特征注意力和伪标签对比学习,在少量特征下超越现有方法。
2025-08-02 cs.AI cs.LG
Efficient Recommendations via Graph Coarsening and Label Propagation
Sapienza University of Rome(罗马第一大学);TIM S.p.A.(意大利电信股份公司)
研究基于图的推荐在大规模下的效率问题,提出结合图粗化与多步标签传播的两阶段扩散框架,在电信数据集实验中,该方法在可扩展性、延迟和推荐质量间实现平衡,不同阶段采用不同模型有不同提升效果。
2026-07-27 cs.LG
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
China Telecom Research Institute(中国电信研究院)
在大规模图上直接实现图神经网络(GNNs)是一个困难的问题。除了现有的邻居采样技术,可扩展的方法解耦图卷积和其他可学习的转换到预处理和后分类器允许正常的小批量训练。通过用注意力机制代替SIGN中的冗余连接操作,提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地收集不同跳之间的邻域信息。为了进一步提高半监督学习任务的可扩展性模型,提出了结合自训练方法和标签深度传播的自标签增强(Self-Label-Enhance,SLE)框架。我们在基础模型中增加了一个可扩展的节点标签模块。然后,我们迭代的训练模型和增强训练集在几个阶段。为了生成节点标签模块的输入,我们直接应用基于独热编码标签向量的标签传播,而无需内部随机掩蔽。我们发现,经验上的标签泄漏已被有效地缓解后,图卷积。增强训练集中的硬伪标签与真标签一起参与标签传播。在归纳数据集和转换数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN获得了更好或相当的结果,SLE可以进一步提高性能。
2021-07-01 cs.AI cs.LG
Label Propagation on K-partite Graphs with Heterophily
Univ. of Southern California(南加州大学);Fudan University(复旦大学);Information Sciences Institute(信息科学研究所)
本文首次在异质性假设下研究了异质图中的标号传播问题。同构标签传播(即,两个连通节点共享相似标号)的问题已经得到了广泛的研究。不幸的是,现实生活中的网络是异构的,它们包含不同类型的顶点(例如,用户、图像、文本)和关系(例如,友谊、共同标记),并允许每个节点向其邻居传播相同和相反的标签副本。我们提出了一个$\mathcal{K}$ -partite标签传播模型来处理异构节点/关系和异构传播的神秘组合。在此基础上,我们提出了一种新的标签推理算法框架,该框架具有近线性时间复杂度的更新规则。由于真实网络随时间而变化,我们设计了一种增量方法,该方法支持新数据和证据的快速更新(例如,Ground truth labels),保证效率。我们还提供了一个效用函数,以自动确定是否是增量或重新建模的方法是有利的。在真实数据集上的大量实验验证了该方法的有效性和效率,以及其优于最先进的标签传播方法的优势。
2017-01-21 cs.AI cs.LG cs.SI
On The Complexity of Sparse Label Propagation
Aalto University(阿尔托大学)
本文研究了最近提出的用于处理网络结构化数据的稀疏标签传播算法的计算复杂度。稀疏标签传播相当于一个凸优化问题,可以被认为是从稀疏向量到网络结构数据集的基追踪的扩展。使用一个标准的一阶预言机模型,我们的特点稀疏标签传播的迭代次数,以达到规定的精度。特别是,我们推导出达到一定精度所需的迭代次数的上限,并表明该上限对于具有链结构的数据集是尖锐的(例如,时间序列)。
2018-05-29 cs.LG stat.ML
DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
Missouri University of Science and Technology(密苏里科技大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出DynLP算法,通过仅更新必要的子图实现高效标签传播,提升大规模数据集处理效率,实现13至102倍的速度提升。
2026-04-08 cs.DC cs.LG
Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks
Elliptic;The University of Sheffield(谢菲尔德大学);Telecom SudParis(南巴黎电信学院);Polytechnic Institute of Paris(巴黎综合理工学院)
我们表明,修改的第一层的图卷积网络(GCN)可以用来有效地传播标签信息的邻居节点,二进制和多类分类问题。这是通过在GCN的训练阶段选择性地消除标签特征的自循环来完成的。GCN架构在其他方面没有变化,没有任何额外的超参数,并且可以用于转导和归纳设置。我们通过几个实验表明,根据推理阶段有多少标签可用,与标准GCN方法相比,这种策略可以导致模型性能的大幅改善,包括不平衡数据集。
2021-04-05 cs.LG
Improved Spectral Clustering via Embedded Label Propagation
谱聚类是机器学习和数据采掘领域的一个重要研究课题。现有的谱聚类算法大多建立在高斯-拉普拉斯矩阵上,而高斯-拉普拉斯矩阵对参数敏感。我们提出了一种新的参数自由,距离一致的局部线性嵌入。提出的距离一致LLE保证了距离较近的数据点之间的边具有更大的权值,并提出了一种基于嵌入标签传播的改进谱聚类算法。我们的算法建立在现有技术的两个进步基础上:1)标签传播,它根据邻近节点的距离将节点标签传播到相邻节点; 2)流形学习,它已被广泛用于利用数据点的流形结构。首先,我们对原始数据进行标准谱聚类,并将每个聚类分配给k个最近的数据点。接下来,我们通过密集的未标记的数据区域传播标签。大量的实验与各种数据集验证了该算法的优越性相比,目前最先进的光谱算法。
2015-10-06 cs.LG
Label Propagation Through Optimal Transport
Université Sorbonne Paris Nord(索邦巴黎北大学);Université Clermont Auvergne(克莱蒙奥弗涅大学)
在本文中,我们解决了转导半监督学习的问题,目的是获得标签预测给定的未标记的数据点,根据Vapnik的原则。我们提出的方法基于最优传输,这是一种已成功用于解决各种机器学习问题的数学理论,并开始吸引半监督学习社区的新兴趣。所提出的方法,最佳传输传播(OTP),在一个增量的过程中,标签传播通过一个完整的二分边加权图,其亲和矩阵是从最佳的运输计划之间的经验措施定义的标记和未标记的数据。OTP通过使用基于香农熵的确定性得分来控制传播过程,从而确保高度的预测确定性。我们还提供了我们的算法的收敛性分析。实验任务表明,所提出的方法的优越性比国家的最先进的。我们公开我们的代码。
2021-10-01 cs.LG
On the Equivalence of Decoupled Graph Convolution Network and Label Propagation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);North Carolina State University(北卡罗来纳州立大学);Tsinghua University(清华大学)
图卷积网络(GCN)的原始设计耦合了特征变换和邻域聚合,用于节点表示学习。最近,一些工作表明耦合不如解耦,它更好地支持深度图传播,并已成为GCN的最新范式(例如,APPNP和SGCN)。尽管有效,解耦的GCN的工作机制还没有得到很好的理解。在本文中,我们探讨了解耦的GCN半监督节点分类从一个新的和基本的角度-标签传播。我们进行了深入的理论分析,证明了解耦的GCN本质上是相同的两步标签传播:第一,传播已知的标签沿图生成伪标签的未标记的节点,第二,训练正常的神经网络分类器上的增强的伪标记的数据。更有趣的是,我们揭示了解耦GCN的有效性:超越传统的标签传播,它可以自动分配结构和模型感知的权重的伪标签数据。这解释了为什么解耦的GCN对结构噪声和过平滑具有相对鲁棒性,但对标签噪声和模型初始化敏感。基于这一认识,我们提出了一种新的标签传播方法命名为传播然后自适应训练(PTA),它克服了解耦GCN的缺陷与动态和自适应加权策略。我们的PTA是简单的,但更有效和强大的解耦GCN。我们在四个基准数据集上实证验证了我们的发现,证明了我们方法的优势。该代码可在www.example.com上获得。
2021-02-15 cs.LG stat.ML
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Label Propagation Adaptive Resonance Theory for Semi-supervised Continuous Learning
Seoul National University(首尔大学);LG Electronics(LG电子)
半监督学习和持续学习是人类智能的基本范式。为了处理现实世界中的问题,很少给出标签,访问相同数据的机会有限,有必要以联合的方式应用这两个范例。在本文中,我们提出了标签传播自适应共振理论(LPART)的半监督连续学习。LPART使用在线标签传播机制来执行分类,并随着观察数据的积累逐渐提高其准确性。我们通过调整标记和未标记数据的比例,在视觉(MNIST,SVHN,CIFAR-10)和音频(NSynth)数据集上评估了所提出的模型。当使用标记和未标记数据时,准确率要高得多,这表明LPART在数据标签稀缺的环境中具有显著的优势。
2020-04-16 cs.CV cs.LG
Label Propagation for Learning with Label Proportions
University of Bristol(布里斯托大学)
标签比例学习(LLP)是当数据以袋子的形式呈现时,恢复给定数据集的底层真实标签的问题。该范例特别适合于提供单个标记物昂贵并且更容易获得标记物聚集体的情况。在医疗保健领域,对患者来说,记录他们日常生活的详细日记是一种负担,但他们通常会提供更高级别的日常行为摘要。我们提出了一种新的和有效的基于图形的算法,鼓励当地的平滑度和利用的数据的全球结构,同时保持每个包的“质量”。
2018-10-24 cs.LG stat.ML
Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency
Brown University(布朗大学);Preferred Networks, Inc.(优选网络公司);Toyota Research Institute (TRI)(丰田研究院)
用于语义分割的深度学习模型依赖于昂贵的、大规模的、手动注释的数据集。标记是一个繁琐的过程,每张图像可能需要数小时。通过在时间上传播稀疏标记的帧来自动注释视频序列是一种更具可扩展性的替代方案。在这项工作中,我们提出了一种新的标签传播方法,称为Warp-Refine传播,结合语义线索与几何线索,有效地自动标记视频。我们的方法学习优化几何扭曲的标签,并通过利用跨时间的周期一致性,在半监督设置中将学习到的语义先验注入其中。我们定量地表明,我们的方法在ApolloScape数据集上提高了13.1 mIoU的标签传播。此外,通过使用自动标记的帧进行训练,我们在三个语义分割基准上获得了有竞争力的结果,在NYU-V2和KITTI上将最先进的水平提高了1.8和3.61 mIoU,同时匹配了Cityscapes上当前的最佳结果。
2021-09-28 cs.CV cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
GraphHop: An Enhanced Label Propagation Method for Node Classification
University of Southern California(南加州大学)
提出了一种基于图结构数据的可扩展半监督节点分类方法GraphHop。该图包含所有节点的属性,但少数节点的标签。经典的标签传播(LP)方法和新兴的图卷积网络(GCN)是两个流行的半监督解决方案,这个问题。LP方法在对节点属性和标签进行联合建模时效果不佳,或者在大规模图上收敛速度较慢。GraphHop是针对其缺点提出的。通过适当的初始标签向量嵌入,GraphHop的每次迭代都包含两个步骤:1)标签聚合和2)标签更新。在步骤1中,每个节点聚合在先前迭代中获得的其邻居的标签向量。在步骤2中,基于节点自身的标签和在步骤1中获得的聚合标签信息,为每个节点预测新的标签向量。这个迭代过程利用了邻近信息,使GraphHop能够在极小的标签速率设置中表现良好,并能够很好地扩展到非常大的图形。实验结果表明,GraphHop在广泛的任务(例如,引文网络、社会图和商品消费图上的多标签和多类别分类)。我们的代码可在GitHub上公开获取(https://github.com/TianXieUSC/GraphHop)。
2021-01-07 cs.LG
Deep Metric Transfer for Label Propagation with Limited Annotated Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们研究对象识别的约束下,每个对象类只表示非常少的意见。半监督学习、迁移学习和Few-Shot识别都关注用很少的标记数据实现快速泛化。在本文中,我们提出了一个通用的框架,利用未标记的数据,以帮助概括所有三个任务。我们的方法是创建更多的训练数据,通过标签传播从少数标记的例子,以大量的未注释的图像。本文的主要贡献是,我们表明这样的标签传播方案可以是非常有效的,当用于传播的相似性度量是从其他相关领域转移。我们使用各种标签传播算法测试了监督和无监督度量学习方法的各种组合。我们发现,我们的框架是非常通用的,而不敏感的任何特定的技术。通过以这种方式利用未标记的数据,我们在所有三个任务上都取得了显着的改进。
2019-07-29 cs.AI cs.CV cs.LG
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago(芝加哥大学)
最近的机器学习和超图数据挖掘算法的发展兴趣的启发,我们调查在本文中的半监督学习算法的传播“软标签”(例如概率分布,类成员分数)超图,通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014],我们将标签传播过程重新制定为消息传递算法,这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外,在PAC学习框架中,我们通过建立所提出的半监督学习算法的\textit{algorithmic stability},提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Low-rank Label Propagation for Semi-supervised Learning with 100 Millions Samples
University of Minnesota Twin Cities(明尼苏达大学双城分校)
半监督学习的成功关键取决于对大量未标记数据的可扩展性,这些数据是捕获底层流形结构以进行更好分类所需的。由于在大多数种类的输入数据中计算训练数据之间的成对相似性是非常昂贵的,因此目前,没有通用的现成的半监督学习方法/工具可用于学习数千万或更多的数据点。本文采用了两种低秩标签传播算法GLNP(Global Linear Neighborhood Propagation)和核Nyström Approximation的思想,实现了这两种算法的并行化版本,并使用Nesterov的加速投影梯度下降算法对大数据标签传播(BigLP)进行加速。并行算法在5个实际数据集上进行了测试,数据集的大小从7000到10,000,000,以及100,000,000个样本的模拟数据集。在实验中,该实现可以扩展到具有100,000,000个样本和数百个特征的数据集,并且当只有很小比例的数据被标记时,该算法也显着提高了预测精度。结果表明,BigLP实现是高度可扩展的大数据和有效地利用未标记的数据进行半监督学习。
2017-02-28 cs.LG
Cross-Domain Label Propagation for Domain Adaptation with Discriminative Graph Self-Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanjing University of Science and Technology(南京理工大学)
领域自适应设法将良好标记的源数据的知识转移到未标记的目标数据。许多最近的努力集中在提高目标伪标记的预测准确性以减少条件分布偏移。本文提出了一种新的领域自适应方法,该方法通过跨领域标签传播来推断目标伪标签,从而可以探索两个领域数据的底层流形结构。与现有的跨域标签传播方法不同,将域不变特征学习,亲和矩阵构建和目标标签推断分为三个独立的阶段,我们建议将它们集成到一个统一的优化框架中。通过这种方式,这三个部分可以从迭代优化的角度相互促进,从而实现更有效的知识转移。此外,为了构造高质量的亲和矩阵,提出了一种判别图自学习策略,该策略不仅能够自适应地捕获两个领域数据的内在相似性,而且能够有效地利用良好标记的源数据和伪标记的目标数据中所包含的判别信息.设计了一个有效的迭代优化算法来求解我们提出的目标函数。值得注意的是,所提出的方法可以以简单但有效的方式扩展到半监督领域自适应,并且可以用相同的算法来解决相应的优化问题。在六个标准数据集上的实验验证了该方法在无监督和半监督领域自适应环境下的显著优越性。
2023-02-17 cs.LG
Label Propagation for Physics-Informed Neural Networks and Physics-Informed Gaussian Processes
Illinois Institute of Technology(伊利诺伊理工学院);Binghamton University(宾汉姆顿大学)
本文提出利用半监督标签传播技术训练物理信息神经网络和高斯过程,并通过协同训练整合两者,以改善边界和初始条件信息向物理域传播的问题,实验验证了其有效性。
2026-09-22 cs.LG
Instance Relation Learning Network with Label Knowledge Propagation for Few-shot Multi-label Intent Detection
Key Lab of High Confidence Software Technologies (MOE), School of Computer Science, Peking University, Beijing, China(高可信软件技术重点实验室(教育部)、计算机科学学院、北京大学,北京,中国);Research Center for Computational Social Science, Peking University, Beijing, China(计算社会科学研究中心、北京大学,北京,中国);Institute of Computational Social Science, Peking University, Qingdao, China(计算社会科学研究院、北京大学,青岛,中国);Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong, Hong Kong, China(系统工程与工程管理系、香港中文大学,香港,中国)
针对少样本多标签意图检测中的错误传播问题,提出端到端实例关系学习网络,通过标签知识传播和双关系增强损失,在1-shot场景下平均提升AUC 9.54%、Macro-F1 11.19%。
2025-10-09 cs.CL cs.LG
Combining Self-labeling with Selective Sampling
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
由于数据是驱动机器学习模型的燃料,并且访问标记数据通常很昂贵,因此半监督方法一直很受欢迎。它们能够在不需要太多专家标签的情况下获取大型数据集。这项工作结合了自我标记技术与主动学习在一个选择性的抽样方案。我们提出了一种新的方法,建立一个集成分类器。基于对于给定观察的个体基础分类器的决策的不一致性的评估,做出关于是否请求新标签或使用自标签的决策。在初步研究中,我们表明,天真的自我标记的应用程序可以通过引入对选定的类的偏见,从而导致倾斜的类分布损害性能。因此,我们也提出了减少这种现象的机制。实验结果表明,该方法与现有的选择性采样方法相比,具有更好的效果。
2023-01-11 cs.LG
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani(皮拉尼伯拉技术与科学学院)
半监督学习方法在当今世界已经获得了重要性,因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中,在每一步SVM的训练,以尽量减少误差,从而提高预测质量。实验采用支持向量机(SVM)和逻辑回归(Logreg)进行。结果表明,SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试,范围从1000到10000的顺序。结果表明,该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本,分析表明,并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG
Label Efficient Regularization and Propagation for Graph Node Classification
University of Southern California(南加州大学);U.S. Army Research Lab(美国陆军研究实验室)
最近提出了一种称为GraphHop的增强标签传播(LP)方法。它在各种网络的半监督节点分类任务中优于图卷积网络(GCN)。虽然GraphHop的性能直观地解释了关节节点属性和标签信号平滑,但缺乏严格的数学处理。在本文中,我们提出了一个标签有效的正则化和传播(LERP)框架的图节点分类,并提出了一个替代的优化过程,其解决方案。此外,我们表明,GraphHop只提供了一个近似的解决方案,这个框架,有两个缺点。首先,它在分类器训练中包括所有节点,而在标签更新步骤中不考虑伪标签节点的可靠性。其次,它提供了一个粗略的近似最佳的子问题的标签聚合步骤。基于LERP框架,我们提出了一种新的方法,命名为LERP方法,以解决这两个缺点。LERP在交替优化期间自适应地确定可靠的伪标签,并提供更好的近似最优值,同时具有计算效率。保证了LERP的理论收敛性。大量的实验证明了LERP的有效性和效率。也就是说,LERP在五个测试数据集和一个对象识别任务上以极低的标签率(即,每类1、2、4、8、16和20个标记样本)。
2022-10-31 cs.AI cs.LG
Combining self-labeling and demand based active learning for non-stationary data streams
Bielefeld University(比勒费尔德大学)
从非平稳数据流中学习是一个研究方向,随着越来越多的流形式的数据变得可用,例如来自社交媒体,智能手机或工业过程监控的数据,该方向越来越受到关注。大多数方法都假设样本的真实情况变得可用(可能有一些延迟),并在测试然后训练方案中执行监督在线学习。虽然此假设在某些情况下可能有效,但它并不适用于所有设置。在这项工作中,我们专注于几乎没有标记的数据流,并探索自标记在逐渐漂移的数据流中的潜力。我们正式这个设置,并提出了一种新的在线$k$分类器,结合自标记和基于需求的主动学习。
2023-02-08 cs.LG
Contrastive Credibility Propagation for Reliable Semi-Supervised Learning
Palo Alto Networks, AI Research(Palo Alto Networks 人工智能研究部)
本文提出对比可信度传播(CCP)算法,通过迭代直推式伪标签精炼统一半监督学习与噪声标签学习,在少标签、开放集、噪声标签及类别分布不平衡/错位等五种场景下均可靠超越监督基线。
2024-04-02 cs.LG
Label Propagation with Weak Supervision
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种利用先验概率假设标签的经典标签传播算法(LPA)新分析,给出结合图几何与先验质量的误差界限,并构建整合多噪声源的弱监督框架,在多个基准任务上优于现有方法。
2023-04-09 cs.LG stat.ML
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan(IBM日本公司)
在自然语言处理中,对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接,并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失,熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Simple Interactive Image Segmentation using Label Propagation through kNN graphs
许多交互式图像分割技术都是基于半监督学习的。用户可以标记来自每个对象的一些像素,并且SSL算法将标签从标记的像素传播到未标记的像素,从而找到对象边界。本文提出了一种新的基于SSL图的交互式图像分割方法,使用无向和无权kNN图,其中未标记的节点接收来自其他节点(标记或未标记)的贡献。它比许多其他技术更简单,但它仍然在图像分割任务中实现了显着的分类精度。计算机模拟使用从Microsoft GrabCut数据集提取的一些真实世界图像进行。分割结果表明了该方法的有效性。
2020-02-13 cs.LG stat.ML
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University(斯坦福大学)
标签传播(LPA)和图卷积神经网络(GCN)都是图上的消息传递算法。两者都解决了节点分类的任务,但LPA在图的边缘传播节点标签信息,而GCN传播和转换节点特征信息。然而,虽然在概念上相似,但LPA和GCN之间的理论关系尚未被研究。在这里,我们从两个方面研究LPA和GCN之间的关系:(1)特征/标签平滑,我们分析一个节点的特征/标签如何在其邻居上传播;以及(2)特征/标签影响,即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析,我们提出了一个端到端的模型,统一GCN和LPA的节点分类。在我们的统一模型中,边缘权重是可学习的,LPA作为正则化来帮助GCN学习适当的边缘权重,从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重,这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中,我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
Learning Condensed and Aligned Features for Unsupervised Domain Adaptation Using Label Propagation
Seoul National University(首尔国立大学)
为了解决监督学习中的标记问题,特别是在实际中难以获得大量标记数据的情况下,出现了无监督领域自适应,其目的是使用另一个领域的数据来学习一个领域的特定任务。现有的方法通过减少两个域的嵌入特征之间的差异而取得了成功,但是与监督学习方案相比,性能仍然不能令人满意。这是由于嵌入的特征彼此围绕,但不能完美地对齐,并建立明确可分离的集群。提出了一种基于标签传播和循环一致性的领域自适应方法,使两个领域的特征聚类准确重叠,并变得清晰,从而提高了分类精度。具体来说,我们引入循环一致性来加强每个簇之间的关系,并利用标签传播来实现数据之间的关联,从流形结构的角度来看,而不是一对一的关系。因此,我们成功地形成了对齐的和有区别的集群。我们提出了我们的方法为各种领域自适应方案的实证结果和可视化的嵌入式功能,以证明我们的方法是更好的领域自适应的关键。
2019-03-12 cs.LG stat.ML
Learning Graph Representations with Embedding Propagation
NEC Labs Europe(NEC欧洲实验室)
我们提出了嵌入传播(EP),一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成,例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少,EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
Joint Inference of Multiple Label Types in Large Networks
Facebook Inc.(脸书公司)
我们解决了在部分标记图中推断节点标签的问题,其中图中的每个节点具有多个标签类型,并且每个标签类型具有大量可能的标签。我们的主要示例,也是本文的重点,是对通过社交网络连接的用户的标签类型(如家乡、当前城市和雇主)的联合推断。标准标签传播没有考虑标签类型的属性以及它们之间的交互。我们提出的方法,称为EdgeExplain,明确地模拟这些,同时仍然使分布式消息传递架构下的可扩展推理。在Facebook社交网络的十亿节点子集上,EdgeExplain在几种标签类型上的表现明显优于标签传播,recall@1的提升率高达120%,recall@3的提升率高达60%。
2014-01-30 cs.LG cs.SI stat.ML
Label Propagation for Deep Semi-supervised Learning
Czech Technical University in Prague(布拉格捷克理工大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所)
半监督学习正变得越来越重要,因为它可以将人类仔细标记的数据与大量未标记的数据相结合,以训练深度神经网络。半监督学习的经典方法专注于转导学习,但在现代深度学习遵循的归纳框架中尚未得到充分利用。这同样适用于流形假设--相似的例子应该得到相同的预测。在这项工作中,我们采用了一种基于流形假设的转换标签传播方法来对整个数据集进行预测,并使用这些预测来为未标记的数据生成伪标签,并训练深度神经网络。转换方法的核心是我们基于同一网络的嵌入创建的数据集的最近邻图。因此,我们的学习过程在这两个步骤之间迭代。我们提高了几个数据集的性能,特别是在少数标签制度,并表明我们的工作是补充目前的最先进的。
2019-04-09 cs.CV cs.LG
LPOSS: Label Propagation Over Patches and Pixels for Open-vocabulary Semantic Segmentation
Czech Technical University in Prague(布拉格捷克理工大学);NAVER LABS Europe(NAVER LABS 欧洲)
提出无需训练的开放词汇语义分割方法LPOSS+,利用视觉模型结合图块与像素级标签传播优化VLMs预测,在多种数据集上达到SOTA。
2025-06-25 cs.CV cs.LG
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas(坎皮纳斯大学)
虽然卷积神经网络需要大的标记集来训练图像,但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合,以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而,这样的解决方案需要许多监督图像进行验证。我们提出了一个循环,其中深度神经网络(VGG-16)是从一组具有更正确标记的样本中训练出来的,这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的,在这个嵌入空间中,使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进,它改进了神经网络的特征。我们表明,这可以显着提高分类结果的测试数据(仅使用1\%至5\%的监督样本)的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Local Label Propagation for Large-Scale Semi-Supervised Learning
Stanford University(斯坦福大学)
训练深度神经网络以解决监督学习任务的一个重要问题是需要大量标记的数据点。半监督学习的目标是利用无处不在的未标记数据以及少量的标记数据来实现高任务性能。虽然最近在开发对相对较小的数据集有效的半监督算法方面取得了重大进展,但这些技术中的许多技术并不容易扩展到现实世界应用程序的大型(未标记)数据集。在本文中,我们介绍了一种新的方法,可扩展的半监督学习,称为本地标签传播(LLP)。LLP扩展了最近关于无监督嵌入学习的工作的想法,首先使用深度神经网络将标记和其他数据点嵌入到公共潜在空间中。然后,它传播伪标签从已知到未知的数据点的方式,取决于嵌入的局部几何形状,同时考虑到点间距离和局部数据密度作为加权的传播可能性。然后训练深度嵌入的参数,以同时最大化伪标签分类性能以及每个伪标签组内的数据点聚类的度量,迭代地交替网络训练和标签传播的阶段。我们说明了LLP方法在ImageNet数据集上的实用性,实现了在各种各样的训练机制中始终优于先前最先进的可扩展半监督学习算法的结果。我们还表明,使用LLP学习的特征表示可以很好地转移到Places 205数据集中的场景识别。
2019-05-28 cs.AI cs.CV cs.LG
Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Hong Kong Polytechnic University(香港理工大学)
受无监督领域自适应(UDA)和半监督学习(SSL)之间的问题相关性的激励,许多现有技术的UDA方法采用SSL原理(例如,集群假设)作为他们的学习成分。然而,他们往往忽视了UDA的域转移本质。在这项工作中,我们采取进一步研究适当的扩展SSL技术的UDA。以标签传播算法为例,分析了UDA采用标签传播算法所面临的挑战,并从理论上分析了亲和图/亲和矩阵的构造条件,以实现真实标签向未标记实例的更好传播。我们的分析提出了一种新的具有增强的标签传播(A $^2$ LP)的标签传播算法,该算法可以通过生成未标记的虚拟实例(即,增强的锚)与高置信度标签预测。为了使拟议的一个$^2$ LP有用的UDA,我们提出了经验方案来生成这样的虚拟实例。所提出的方案还通过经由A $^2$ LP的伪标记和域不变特征学习之间的交替来解决UDA的域移位挑战。实验表明,这样一个简单的SSL扩展改进了域不变特征学习的代表性UDA方法,并可以在基准UDA数据集上授权两种最先进的方法。我们的研究结果表明SSL技术的UDA问题的进一步研究的价值。
2020-07-15 cs.LG stat.ML
Semi-Supervised Learning via Sparse Label Propagation
Aalto University(阿尔托大学);The University of Michigan(密歇根大学)
本文提出了一种新的基于部分标记的海量网络结构数据集的半监督学习方法,网络上的大数据我们对底层假设进行建模,该假设将数据点与标签联系起来,作为图形信号,定义在数据集固有的某些图形(网络)结构上。遵循监督学习的关键原则,即,相似的输入产生相似的输出,我们要求由标签引起的图信号具有小的总变化。因此,我们将学习数据点标签的问题公式化为非光滑凸优化问题,其相当于在经验损失之间进行平衡,即,与某些部分可用的标签信息的差异,以及由所学习的图形信号的总变化量化的平滑度。我们解决这个优化问题,呼吁最近提出的预处理变形流行的原始-对偶方法的Pock和Chambolle,这导致在一个稀疏的标签传播算法。这种学习算法允许高度可伸缩的实现,如在底层数据图上传递消息。通过将压缩感知的概念应用于学习问题,我们还能够提供底层网络结构的透明充分条件,从而可以准确学习标签。我们还提出了一个实现的消息传递公式允许在大数据框架中的高度可扩展的实现。
2017-05-15 cs.LG stat.ML
Robust Triple-Matrix-Recovery-Based Auto-Weighted Label Propagation for Classification
School of Computer Science, Nanjing University of Science and Technology(南京理工大学计算机学院)
基于图的半监督标签传播算法提供了令人印象深刻的分类结果。然而,估计的软标签通常包含混合的符号和噪声,由于缺乏合适的约束,这会导致不准确的预测。此外,可用的方法通常计算权重并估计原始输入空间中的标签,原始输入空间通常包含噪声和损坏。因此,编码的相似性和流形平滑度对于标签估计可能是不准确的。本文针对这些问题提出了有效的解决方案,并提出了一种新的鲁棒半监督分类算法,即基于三重矩阵恢复的鲁棒自动加权标签传播框架(ALP-TMR)。我们的ALP-TMR引入了一个三重矩阵恢复机制,从估计的软标签中去除噪声或混合符号,并在分配权重和同时预测标签的步骤中提高对噪声和离群值的鲁棒性。我们的方法可以通过将原始数据,预测的软标签或权重分解为干净的部分加上误差部分,通过拟合噪声,联合重新覆盖底层的干净数据,干净的标签和干净的权重空间。此外,ALP-TMR通过最小化恢复的干净数据和干净软标签上的重建误差来集成自动加权过程,这可以更准确地编码权重,以改善数据表示和分类。通过对恢复的干净标签和权重空间中的样本进行分类,可以潜在地改善标签预测结果。大量的实验结果表明,我们的ALP-TMR令人满意的性能。
2019-11-20 cs.LG stat.ML
On anisotropic diffusion equations for label propagation
University of Cambridge(剑桥大学);University of Warwick(华威大学);Austrian Academy of Sciences(奥地利科学院)
在数据分类的许多问题中,人们希望为点云中的点分配标签,其中一定数量的点已经被正确标记。在本文中,我们提出了一个微观的ODE方法,在该方法中,正确的标签的信息传播到相邻的点。它的动力学是基于对齐机制,这是常用的大型互动代理系统的共识形成。我们推导出相应的连续描述,它对应于一个各向异性的扩散方程与反应项。有界域上的连续体模型的解继承了底层点云的某些性质。我们讨论了这些分析性质,并将结果与微观和宏观模拟。
2020-12-22 cs.LG cs.NA math.AP
Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation
Google India(谷歌印度);Google Research India(谷歌印度研究院)
提出一种基于置信度传播的迭代算法框架,通过伪标记和嵌入优化步骤解决从标签比例中学习的问题,在表格和图像数据上性能显著提升且计算开销极小。
2024-03-20 cs.AI cs.LG
Learning from Limited Labels: Transductive Graph Label Propagation for Indian Music Analysis
Department of Electrical Engineering(电气工程系);Department of Chemical Engineering(化学工程系);Indian Institution of Technology, Kanpur(印度理工学院坎浦尔分校);Katholieke Universiteit Leuven(卢森堡大学)
本文提出利用图标签传播技术,在有限标签条件下实现印度音乐的旋律识别与乐器分类,通过构建音频嵌入相似性图,提升标注效率与质量。
2026-01-07 cs.LG eess.AS
Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels
Google Research(谷歌研究院)
我们提出使用基于主动学习的技术来进一步改进最先进的半监督学习MixMatch算法。我们对几种主动学习和基线方法进行了全面的实证评估,这些方法成功地证明了基准CIFAR-10,CIFAR-100和SVHN数据集的显着改进(绝对准确率高达1.5%)。我们还提供了一个实证分析的成本权衡之间的增量收集更多的标记与未标记的数据。这种分析可以用来测量标记/未标记数据在学习曲线不同点的相对值,我们发现,尽管标记数据的增量值可以高达未标记数据的20倍,但一旦观察到超过2,000个标记示例,它就会迅速减少到不到3倍。代码可以在https://github.com/google-research/mma上找到。
2019-12-03 cs.LG stat.ML
Efficient inference in stochastic block models with vertex labels
Eindhoven University of Technology(埃因霍温理工大学);Microsoft Research - INRIA joint centre(微软研究院-法国国家信息与自动化研究所联合中心)
我们研究了两个社区的随机块模型,其中顶点包含边信息的形式的顶点标签。这些顶点标签可以具有任意的标签分布,这取决于社区成员。我们分析了流行的信念传播算法的线性化版本。我们表明,该算法实现了最高的精度可能的网络参数的某个函数有一个唯一的固定点。每当该函数具有多个固定点时,置信传播算法可能不会最佳地执行。我们发现,增加顶点标签中的信息可能会减少不动点的数量,从而导致最优的信念传播。
2018-08-17 cs.LG math.PR stat.ML
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University(北京交通大学);Hangzhou Dianzi University(杭州电子科技大学)
部分标签学习(PLL)旨在从数据中学习,其中每个训练实例与一组候选标签相关联,其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中,我们提出了一种新的PLL方法,称为HERA,它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度,同时训练模型。具体地说,异构损失综合了成对排序损失和逐点重构损失的优点,为标签识别提供了有用的标签排序和重构信息,而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩,以探索整个训练数据之间的全局标签相关性,从而改进了学习模型。在人工和真实世界数据集上的大量实验表明,我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML