Conformal Prediction Adaptive to Unknown Subpopulation Shifts
University of Southern California(南加州大学)
本文针对测试环境子群体混合比例未知且标签需推断的分布偏移问题,提出可证明适应未知子群体偏移的共形预测方法,无需显式群体结构即可保证覆盖率,并在视觉和语言基准上验证了其有效性。
2025-11-06 cs.AI cs.LG stat.ML
Learning with Noisy Labels over Imbalanced Subpopulations
Nanjing University(南京大学);Tencent AI Lab(腾讯人工智能实验室)
带噪声标签的学习(LNL)已经引起了研究界的极大关注。许多最近的LNL方法依赖于这样的假设,即干净的样品往往具有“小损失”。然而,这个假设总是不能推广到一些现实世界的情况下,不平衡的亚群,即,训练样本大小或识别难度不同的子群体。因此,最近的LNL方法面临着错误分类那些“信息”样本的风险(例如,硬样本或尾子群中的样本)转化为噪声样本,导致较差的泛化性能。为了解决上述问题,我们提出了一种新的LNL方法,同时处理噪声标签和不平衡的子种群。它首先利用样本相关性来估计样本的干净概率以进行标签校正,然后利用校正后的标签进行分布鲁棒优化(DRO)以进一步提高鲁棒性。具体来说,与之前使用分类损失作为选择标准的工作相反,我们引入了一种基于特征的度量,该度量考虑了样本相关性来估计样本的干净概率。然后,我们使用估计的干净概率和来自模型预测的伪标签对噪声标签进行重新分类。通过翻新标签,我们使用DRO来训练模型,使其对亚群失衡具有鲁棒性。在广泛的基准测试上进行的大量实验表明,我们的技术可以持续改进当前最先进的鲁棒学习范式,特别是在遇到不平衡的子群体时。
2022-11-16 cs.CV cs.LG
Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Hong Kong Polytechnic University(香港理工大学)
受无监督领域自适应(UDA)和半监督学习(SSL)之间的问题相关性的激励,许多现有技术的UDA方法采用SSL原理(例如,集群假设)作为他们的学习成分。然而,他们往往忽视了UDA的域转移本质。在这项工作中,我们采取进一步研究适当的扩展SSL技术的UDA。以标签传播算法为例,分析了UDA采用标签传播算法所面临的挑战,并从理论上分析了亲和图/亲和矩阵的构造条件,以实现真实标签向未标记实例的更好传播。我们的分析提出了一种新的具有增强的标签传播(A $^2$ LP)的标签传播算法,该算法可以通过生成未标记的虚拟实例(即,增强的锚)与高置信度标签预测。为了使拟议的一个$^2$ LP有用的UDA,我们提出了经验方案来生成这样的虚拟实例。所提出的方案还通过经由A $^2$ LP的伪标记和域不变特征学习之间的交替来解决UDA的域移位挑战。实验表明,这样一个简单的SSL扩展改进了域不变特征学习的代表性UDA方法,并可以在基准UDA数据集上授权两种最先进的方法。我们的研究结果表明SSL技术的UDA问题的进一步研究的价值。
2020-07-15 cs.LG stat.ML
Semi-Supervised Learning via Sparse Label Propagation
Aalto University(阿尔托大学);The University of Michigan(密歇根大学)
本文提出了一种新的基于部分标记的海量网络结构数据集的半监督学习方法,网络上的大数据我们对底层假设进行建模,该假设将数据点与标签联系起来,作为图形信号,定义在数据集固有的某些图形(网络)结构上。遵循监督学习的关键原则,即,相似的输入产生相似的输出,我们要求由标签引起的图信号具有小的总变化。因此,我们将学习数据点标签的问题公式化为非光滑凸优化问题,其相当于在经验损失之间进行平衡,即,与某些部分可用的标签信息的差异,以及由所学习的图形信号的总变化量化的平滑度。我们解决这个优化问题,呼吁最近提出的预处理变形流行的原始-对偶方法的Pock和Chambolle,这导致在一个稀疏的标签传播算法。这种学习算法允许高度可伸缩的实现,如在底层数据图上传递消息。通过将压缩感知的概念应用于学习问题,我们还能够提供底层网络结构的透明充分条件,从而可以准确学习标签。我们还提出了一个实现的消息传递公式允许在大数据框架中的高度可扩展的实现。
2017-05-15 cs.LG stat.ML
Optimal Transport Reweighting for Robust Learning under Spurious Correlations and Label Noise
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对虚假相关与标签噪声下的子群体偏移问题,提出基于最优传输的POTER重加权框架,通过传输几何度量样本重要性,仅需单阶段ERM训练,在标准基准上实现最先进的组内最差精度。
2026-10-02 cs.AI cs.LG
Label Propagation Through Optimal Transport
Université Sorbonne Paris Nord(索邦巴黎北大学);Université Clermont Auvergne(克莱蒙奥弗涅大学)
在本文中,我们解决了转导半监督学习的问题,目的是获得标签预测给定的未标记的数据点,根据Vapnik的原则。我们提出的方法基于最优传输,这是一种已成功用于解决各种机器学习问题的数学理论,并开始吸引半监督学习社区的新兴趣。所提出的方法,最佳传输传播(OTP),在一个增量的过程中,标签传播通过一个完整的二分边加权图,其亲和矩阵是从最佳的运输计划之间的经验措施定义的标记和未标记的数据。OTP通过使用基于香农熵的确定性得分来控制传播过程,从而确保高度的预测确定性。我们还提供了我们的算法的收敛性分析。实验任务表明,所提出的方法的优越性比国家的最先进的。我们公开我们的代码。
2021-10-01 cs.LG
GraphHop: An Enhanced Label Propagation Method for Node Classification
University of Southern California(南加州大学)
提出了一种基于图结构数据的可扩展半监督节点分类方法GraphHop。该图包含所有节点的属性,但少数节点的标签。经典的标签传播(LP)方法和新兴的图卷积网络(GCN)是两个流行的半监督解决方案,这个问题。LP方法在对节点属性和标签进行联合建模时效果不佳,或者在大规模图上收敛速度较慢。GraphHop是针对其缺点提出的。通过适当的初始标签向量嵌入,GraphHop的每次迭代都包含两个步骤:1)标签聚合和2)标签更新。在步骤1中,每个节点聚合在先前迭代中获得的其邻居的标签向量。在步骤2中,基于节点自身的标签和在步骤1中获得的聚合标签信息,为每个节点预测新的标签向量。这个迭代过程利用了邻近信息,使GraphHop能够在极小的标签速率设置中表现良好,并能够很好地扩展到非常大的图形。实验结果表明,GraphHop在广泛的任务(例如,引文网络、社会图和商品消费图上的多标签和多类别分类)。我们的代码可在GitHub上公开获取(https://github.com/TianXieUSC/GraphHop)。
2021-01-07 cs.LG
Manifold Regularization Classification Model Based On Improved Diffusion Map
Dalian University of Technology(大连理工大学);Leceister Institution(莱斯特机构)
本文针对流形正则化模型局限于局部区域的问题,提出基于标签传播模型的改进方法,通过优化Diffusion Map的概率转移矩阵构建标签传播函数,并将其扩展至整个数据流形以作为分类器,实验验证了该改进模型的优越性。
2024-03-24 cs.LG math.OC stat.ML
Low-rank Label Propagation for Semi-supervised Learning with 100 Millions Samples
University of Minnesota Twin Cities(明尼苏达大学双城分校)
半监督学习的成功关键取决于对大量未标记数据的可扩展性,这些数据是捕获底层流形结构以进行更好分类所需的。由于在大多数种类的输入数据中计算训练数据之间的成对相似性是非常昂贵的,因此目前,没有通用的现成的半监督学习方法/工具可用于学习数千万或更多的数据点。本文采用了两种低秩标签传播算法GLNP(Global Linear Neighborhood Propagation)和核Nyström Approximation的思想,实现了这两种算法的并行化版本,并使用Nesterov的加速投影梯度下降算法对大数据标签传播(BigLP)进行加速。并行算法在5个实际数据集上进行了测试,数据集的大小从7000到10,000,000,以及100,000,000个样本的模拟数据集。在实验中,该实现可以扩展到具有100,000,000个样本和数百个特征的数据集,并且当只有很小比例的数据被标记时,该算法也显着提高了预测精度。结果表明,BigLP实现是高度可扩展的大数据和有效地利用未标记的数据进行半监督学习。
2017-02-28 cs.LG
Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Agency for Science, Technology and Research (A*STAR)(新加坡科学、技术与研究局);University of Washington(华盛顿大学)
针对亚群偏移问题,本文提出群体鲁棒样本重加权(GSR)方法,利用少量群体标签数据作为目标集,通过影响函数优化无标签数据权重并迭代微调模型最后一层,以高效提升模型鲁棒性。
2025-03-10 cs.AI cs.CV cs.LG
Doubly-stochastic mining for heterogeneous retrieval
Google Research(谷歌研究院)
现代检索问题的特征是具有潜在数十亿个标签的训练集以及亚群之间的异构数据分布(例如,检索系统的用户可能来自不同的国家),其中每一个都提出了挑战。第一个挑战涉及可扩展性:对于大量标签,即使在单个示例上也很难优化标准损失。第二个挑战涉及一致性:理想情况下,希望每个子群体都有良好的性能。虽然已经提出了若干解决办法来应对第一个挑战,但第二个挑战受到的关注相对较少。在本文中,我们提出了双随机挖掘(S2M),一种随机优化技术,可以解决这两个挑战。在S2M的每次迭代中,我们基于最难标签的子集计算每个示例的损失,然后基于最难的示例计算小批量损失。我们从理论上和经验上表明,通过关注最难的例子,S2M确保所有数据子群体都能很好地建模。
2020-04-23 cs.LG stat.ML
Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors
New York University(纽约大学);Meta FAIR
本文提出组感知先验(GAP)方法,通过利用少量带组信息的数据训练模型,显著提升模型在子群体偏移下的鲁棒性,并达到最先进性能。
2024-03-14 cs.AI cs.LG stat.ME
SAGE: Subpopulation-Aware Generative Enhancement for Mitigating Spurious Correlations
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Smart Farm Technologies and Systems(智慧农场技术与系统国家重点实验室)
SAGE是两阶段生成增强框架,通过生成合成数据缓解虚假关联,在Waterbirds等三个数据集上的最差群体准确率优于无群体标签基线,提升最多7.7个百分点。
2026-09-02 cs.CV cs.LG
Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Henry Ford Health(亨利·福特健康);University of Connecticut(康涅狄格大学);University of Waterloo(滑铁卢大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了在源域中存在不可观测子群体的无监督领域适应问题,提出通过分布匹配方法估计子群体比例,并理论保证了预测误差上界,实验表明方法在合成和真实数据集上优于传统基准。
2026-04-12 cs.LG stat.ME stat.ML
Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift
Pohang University of Science and Technology(浦项科技大学)
针对子群体偏移下表格基础模型对弱势群体表现不佳的问题,提出无需真实群体标注的参数高效鲁棒适应框架DR-TFM,仅更新0.016%参数,在多个基准上显著提升最差群体准确率。
2026-10-02 cs.AI cs.LG
Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
针对子群体偏移问题,提出基于置信度的模型选择方法CosMoS,自适应选择模型,无需标签或群体注释,在四个数据集上平均遗憾降低2-5%。
2023-06-19 cs.AI cs.LG
Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
Baidu Inc.(百度公司)
图神经网络(GNN)和标签传播算法(LPA)都是消息传递算法,在半监督分类中取得了优异的性能。GNN通过神经网络执行特征传播来进行预测,而LPA使用跨图邻接矩阵的标签传播来获得结果。然而,目前还没有一种有效的方法将这两种算法直接结合起来。为了解决这个问题,我们提出了一种新的统一消息传递模型(UniMP),可以在训练和推理时将特征和标签传播。首先,UniMP采用Graph Transformer网络,将特征嵌入和标签嵌入作为传播的输入信息。其次,为了训练网络而不使自循环输入标签信息过拟合,UniMP引入了一种掩蔽标签预测策略,其中一定比例的输入标签信息被随机掩蔽,然后进行预测。UniMP在概念上统一了特征传播和标签传播,并且在经验上是强大的。它在Open Graph Benchmark(OGB)中获得了新的最先进的半监督分类结果。
2021-05-10 cs.LG stat.ML
On the Equivalence of Decoupled Graph Convolution Network and Label Propagation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);North Carolina State University(北卡罗来纳州立大学);Tsinghua University(清华大学)
图卷积网络(GCN)的原始设计耦合了特征变换和邻域聚合,用于节点表示学习。最近,一些工作表明耦合不如解耦,它更好地支持深度图传播,并已成为GCN的最新范式(例如,APPNP和SGCN)。尽管有效,解耦的GCN的工作机制还没有得到很好的理解。在本文中,我们探讨了解耦的GCN半监督节点分类从一个新的和基本的角度-标签传播。我们进行了深入的理论分析,证明了解耦的GCN本质上是相同的两步标签传播:第一,传播已知的标签沿图生成伪标签的未标记的节点,第二,训练正常的神经网络分类器上的增强的伪标记的数据。更有趣的是,我们揭示了解耦GCN的有效性:超越传统的标签传播,它可以自动分配结构和模型感知的权重的伪标签数据。这解释了为什么解耦的GCN对结构噪声和过平滑具有相对鲁棒性,但对标签噪声和模型初始化敏感。基于这一认识,我们提出了一种新的标签传播方法命名为传播然后自适应训练(PTA),它克服了解耦GCN的缺陷与动态和自适应加权策略。我们的PTA是简单的,但更有效和强大的解耦GCN。我们在四个基准数据集上实证验证了我们的发现,证明了我们方法的优势。该代码可在www.example.com上获得。
2021-02-15 cs.LG stat.ML
Label Propagation for Learning with Label Proportions
University of Bristol(布里斯托大学)
标签比例学习(LLP)是当数据以袋子的形式呈现时,恢复给定数据集的底层真实标签的问题。该范例特别适合于提供单个标记物昂贵并且更容易获得标记物聚集体的情况。在医疗保健领域,对患者来说,记录他们日常生活的详细日记是一种负担,但他们通常会提供更高级别的日常行为摘要。我们提出了一种新的和有效的基于图形的算法,鼓励当地的平滑度和利用的数据的全球结构,同时保持每个包的“质量”。
2018-10-24 cs.LG stat.ML
Label Propagation on K-partite Graphs with Heterophily
Univ. of Southern California(南加州大学);Fudan University(复旦大学);Information Sciences Institute(信息科学研究所)
本文首次在异质性假设下研究了异质图中的标号传播问题。同构标签传播(即,两个连通节点共享相似标号)的问题已经得到了广泛的研究。不幸的是,现实生活中的网络是异构的,它们包含不同类型的顶点(例如,用户、图像、文本)和关系(例如,友谊、共同标记),并允许每个节点向其邻居传播相同和相反的标签副本。我们提出了一个$\mathcal{K}$ -partite标签传播模型来处理异构节点/关系和异构传播的神秘组合。在此基础上,我们提出了一种新的标签推理算法框架,该框架具有近线性时间复杂度的更新规则。由于真实网络随时间而变化,我们设计了一种增量方法,该方法支持新数据和证据的快速更新(例如,Ground truth labels),保证效率。我们还提供了一个效用函数,以自动确定是否是增量或重新建模的方法是有利的。在真实数据集上的大量实验验证了该方法的有效性和效率,以及其优于最先进的标签传播方法的优势。
2017-01-21 cs.AI cs.LG cs.SI
Multi-Label Node Classification with Label Influence Propagation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Capital One;GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
提出标签影响传播(LIP)模型,通过分解GNN的消息传递为传播和变换操作,量化标签间影响,构建标签影响图传播高阶影响,动态调整学习过程,在多标签节点分类任务上超越现有方法。
2026-07-02 cs.AI cs.LG
Label Efficient Regularization and Propagation for Graph Node Classification
University of Southern California(南加州大学);U.S. Army Research Lab(美国陆军研究实验室)
最近提出了一种称为GraphHop的增强标签传播(LP)方法。它在各种网络的半监督节点分类任务中优于图卷积网络(GCN)。虽然GraphHop的性能直观地解释了关节节点属性和标签信号平滑,但缺乏严格的数学处理。在本文中,我们提出了一个标签有效的正则化和传播(LERP)框架的图节点分类,并提出了一个替代的优化过程,其解决方案。此外,我们表明,GraphHop只提供了一个近似的解决方案,这个框架,有两个缺点。首先,它在分类器训练中包括所有节点,而在标签更新步骤中不考虑伪标签节点的可靠性。其次,它提供了一个粗略的近似最佳的子问题的标签聚合步骤。基于LERP框架,我们提出了一种新的方法,命名为LERP方法,以解决这两个缺点。LERP在交替优化期间自适应地确定可靠的伪标签,并提供更好的近似最优值,同时具有计算效率。保证了LERP的理论收敛性。大量的实验证明了LERP的有效性和效率。也就是说,LERP在五个测试数据集和一个对象识别任务上以极低的标签率(即,每类1、2、4、8、16和20个标记样本)。
2022-10-31 cs.AI cs.LG
Deep Metric Transfer for Label Propagation with Limited Annotated Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们研究对象识别的约束下,每个对象类只表示非常少的意见。半监督学习、迁移学习和Few-Shot识别都关注用很少的标记数据实现快速泛化。在本文中,我们提出了一个通用的框架,利用未标记的数据,以帮助概括所有三个任务。我们的方法是创建更多的训练数据,通过标签传播从少数标记的例子,以大量的未注释的图像。本文的主要贡献是,我们表明这样的标签传播方案可以是非常有效的,当用于传播的相似性度量是从其他相关领域转移。我们使用各种标签传播算法测试了监督和无监督度量学习方法的各种组合。我们发现,我们的框架是非常通用的,而不敏感的任何特定的技术。通过以这种方式利用未标记的数据,我们在所有三个任务上都取得了显着的改进。
2019-07-29 cs.AI cs.CV cs.LG
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University(斯坦福大学)
标签传播(LPA)和图卷积神经网络(GCN)都是图上的消息传递算法。两者都解决了节点分类的任务,但LPA在图的边缘传播节点标签信息,而GCN传播和转换节点特征信息。然而,虽然在概念上相似,但LPA和GCN之间的理论关系尚未被研究。在这里,我们从两个方面研究LPA和GCN之间的关系:(1)特征/标签平滑,我们分析一个节点的特征/标签如何在其邻居上传播;以及(2)特征/标签影响,即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析,我们提出了一个端到端的模型,统一GCN和LPA的节点分类。在我们的统一模型中,边缘权重是可学习的,LPA作为正则化来帮助GCN学习适当的边缘权重,从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重,这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中,我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
Learning Condensed and Aligned Features for Unsupervised Domain Adaptation Using Label Propagation
Seoul National University(首尔国立大学)
为了解决监督学习中的标记问题,特别是在实际中难以获得大量标记数据的情况下,出现了无监督领域自适应,其目的是使用另一个领域的数据来学习一个领域的特定任务。现有的方法通过减少两个域的嵌入特征之间的差异而取得了成功,但是与监督学习方案相比,性能仍然不能令人满意。这是由于嵌入的特征彼此围绕,但不能完美地对齐,并建立明确可分离的集群。提出了一种基于标签传播和循环一致性的领域自适应方法,使两个领域的特征聚类准确重叠,并变得清晰,从而提高了分类精度。具体来说,我们引入循环一致性来加强每个簇之间的关系,并利用标签传播来实现数据之间的关联,从流形结构的角度来看,而不是一对一的关系。因此,我们成功地形成了对齐的和有区别的集群。我们提出了我们的方法为各种领域自适应方案的实证结果和可视化的嵌入式功能,以证明我们的方法是更好的领域自适应的关键。
2019-03-12 cs.LG stat.ML
Robust Triple-Matrix-Recovery-Based Auto-Weighted Label Propagation for Classification
School of Computer Science, Nanjing University of Science and Technology(南京理工大学计算机学院)
基于图的半监督标签传播算法提供了令人印象深刻的分类结果。然而,估计的软标签通常包含混合的符号和噪声,由于缺乏合适的约束,这会导致不准确的预测。此外,可用的方法通常计算权重并估计原始输入空间中的标签,原始输入空间通常包含噪声和损坏。因此,编码的相似性和流形平滑度对于标签估计可能是不准确的。本文针对这些问题提出了有效的解决方案,并提出了一种新的鲁棒半监督分类算法,即基于三重矩阵恢复的鲁棒自动加权标签传播框架(ALP-TMR)。我们的ALP-TMR引入了一个三重矩阵恢复机制,从估计的软标签中去除噪声或混合符号,并在分配权重和同时预测标签的步骤中提高对噪声和离群值的鲁棒性。我们的方法可以通过将原始数据,预测的软标签或权重分解为干净的部分加上误差部分,通过拟合噪声,联合重新覆盖底层的干净数据,干净的标签和干净的权重空间。此外,ALP-TMR通过最小化恢复的干净数据和干净软标签上的重建误差来集成自动加权过程,这可以更准确地编码权重,以改善数据表示和分类。通过对恢复的干净标签和权重空间中的样本进行分类,可以潜在地改善标签预测结果。大量的实验结果表明,我们的ALP-TMR令人满意的性能。
2019-11-20 cs.LG stat.ML
Oldie but Goodie: Re-illuminating Label Propagation on Graphs with Partially Observed Features
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);National Institute of Advanced Industrial Science(国家先进工业科学研究院);Institute of Science Tokyo(东京科学研究院)
针对图节点特征部分缺失问题,提出GOODIE框架,融合标签传播与特征传播,利用结构-特征注意力和伪标签对比学习,在少量特征下超越现有方法。
2025-08-02 cs.AI cs.LG
Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation
Google India(谷歌印度);Google Research India(谷歌印度研究院)
提出一种基于置信度传播的迭代算法框架,通过伪标记和嵌入优化步骤解决从标签比例中学习的问题,在表格和图像数据上性能显著提升且计算开销极小。
2024-03-20 cs.AI cs.LG
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan(IBM日本公司)
在自然语言处理中,对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接,并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失,熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Improving Out-of-Distribution Robustness via Selective Augmentation
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Renmin University of China(中国人民大学);Rutgers University(罗格斯大学)
机器学习算法通常假设训练和测试示例来自相同的分布。然而,分布偏移在实际应用中是一个常见的问题,并且可能导致模型在测试时表现得非常差。在本文中,我们特别考虑了亚群转移的问题(例如,不平衡数据)和域转移。虽然先前的工作通常寻求明确地将模型的内部表示或预测因子正则化为域不变,但我们的目标是在不限制模型的内部表示或预测因子的情况下学习不变预测因子。这导致了一种简单的基于混合的技术,该技术通过称为LISA的选择性增强来学习不变预测器。LISA选择性地内插具有相同标记但不同结构域或具有相同结构域但不同标记的样品。从经验上讲,我们研究了LISA在9个基准上的有效性,从亚群转移到域转移,我们发现LISA始终优于其他最先进的方法,并导致更多的不变预测。我们进一步分析了线性设置,并从理论上展示了LISA如何导致更小的最坏组误差。
2022-06-19 cs.LG
Cyclic Label Propagation for Graph Semi-supervised Learning
Alibaba Group(阿里巴巴集团);Monash University(莫纳什大学);Central South University(中南大学);Zhejiang University(浙江大学)
图神经网络(GNN)已经成为图分析的有效方法,特别是在半监督学习的情况下。尽管GNN取得了成功,但它经常遭受过平滑和过拟合问题,这影响了它在节点分类任务上的性能。我们分析了一种替代方法,标签传播算法(LPA),避免了上述问题,因此它是一个有前途的选择图半监督学习。然而,LPA在特征开发和关系建模方面的固有局限性使得标签传播变得不那么有效。为了克服这些限制,我们引入了一种新的图半监督学习框架,称为循环标签传播(CycProp),它将GNN以循环和相互加强的方式集成到标签传播过程中,以利用GNN和LPA的优势。特别地,我们提出的CycProp使用标签传播的增强信息更新GNN模块学习的节点嵌入,同时依次在节点嵌入的帮助下微调标签传播的加权图。在模型收敛后,分别使用LPA和GNN模块获得可靠的预测标签和信息节点嵌入。在各种真实数据集上进行了大量的实验,实验结果表明,所提出的CycProp模型可以实现相对显着的收益比国家的最先进的方法。
2020-11-24 cs.LG
DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
Missouri University of Science and Technology(密苏里科技大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出DynLP算法,通过仅更新必要的子图实现高效标签传播,提升大规模数据集处理效率,实现13至102倍的速度提升。
2026-04-08 cs.DC cs.LG
Local Label Propagation for Large-Scale Semi-Supervised Learning
Stanford University(斯坦福大学)
训练深度神经网络以解决监督学习任务的一个重要问题是需要大量标记的数据点。半监督学习的目标是利用无处不在的未标记数据以及少量的标记数据来实现高任务性能。虽然最近在开发对相对较小的数据集有效的半监督算法方面取得了重大进展,但这些技术中的许多技术并不容易扩展到现实世界应用程序的大型(未标记)数据集。在本文中,我们介绍了一种新的方法,可扩展的半监督学习,称为本地标签传播(LLP)。LLP扩展了最近关于无监督嵌入学习的工作的想法,首先使用深度神经网络将标记和其他数据点嵌入到公共潜在空间中。然后,它传播伪标签从已知到未知的数据点的方式,取决于嵌入的局部几何形状,同时考虑到点间距离和局部数据密度作为加权的传播可能性。然后训练深度嵌入的参数,以同时最大化伪标签分类性能以及每个伪标签组内的数据点聚类的度量,迭代地交替网络训练和标签传播的阶段。我们说明了LLP方法在ImageNet数据集上的实用性,实现了在各种各样的训练机制中始终优于先前最先进的可扩展半监督学习算法的结果。我们还表明,使用LLP学习的特征表示可以很好地转移到Places 205数据集中的场景识别。
2019-05-28 cs.AI cs.CV cs.LG
Forest Fire Clustering for Single-cell Sequencing with Iterative Label Propagation and Parallelized Monte Carlo Simulation
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Irvine(加州大学欧文分校)
在单细胞测序时代,越来越需要使用聚类方法从数据中提取见解。在这里,我们介绍森林火灾聚类,一种有效的和可解释的方法,从单细胞数据的细胞类型发现。森林火灾聚类使得最小的先验假设,并且与当前方法不同,计算每个细胞被分配细胞类型标签的非参数后验概率。这些后验分布允许评估每个细胞的标签置信度,并能够计算“标签熵”,突出显示沿发育轨迹的过渡。此外,我们表明,森林火灾聚类可以在在线学习环境中进行鲁棒的归纳推理,并且可以轻松扩展到数百万个单元格。最后,我们证明了我们的方法优于国家的最先进的聚类方法在不同的基准模拟和实验数据。总体而言,森林火灾聚类是一个有用的工具,在大规模的单细胞分析中发现罕见的细胞类型。
2022-05-26 cs.LG stat.ML
Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
使用图神经网络(GNN)的节点分类已经广泛应用于各种现实场景中。然而,近年来,令人信服的证据表明,基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化,例如随机连接或对抗攻击。已经提出了各种解决方案,例如拓扑去噪方法和机制设计方法,以开发鲁棒的基于GNN的节点分类器,但是这些工作都不能完全解决与拓扑扰动相关的问题。最近,贝叶斯标签转换模型被提出来解决这个问题,但其收敛速度慢,可能会导致性能较差。在这项工作中,我们提出了一个新的标签推理模型,即LInDT,它集成了贝叶斯标签转换和基于拓扑的标签传播,以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法,因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测,从而更好地收敛标签推理。此外,LIndT采用非对称狄利克雷分布作为先验,这也有助于它改进标签推理。在五个图数据集上的大量实验表明,在三种拓扑扰动情况下,LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
F\textsuperscript{2}LP-AP: Fast \& Flexible Label Propagation with Adaptive Propagation Kernel
Beijing University of Technology(北京理工大学)
本文提出F²LP-AP,一种无需训练的高效标签传播框架,通过几何中位数构建类别原型并动态调整传播参数,适应局部图拓扑,有效建模同质和异质图结构,实验表明其在准确性和计算效率上优于现有方法。
2026-04-22 cs.LG
Resurrecting Label Propagation for Graphs with Heterophily and Label Noise
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
本文针对任意异配性图上的标签噪声问题,提出迭代算法 $R^{2}LP$,通过图重建恢复同配性、标签传播纠正噪声及高置信度标签筛选,在多个基准数据集上取得优于典型基线的节点分类性能。
2024-06-12 cs.AI cs.LG
Scalable Label Propagation for Multi-relational Learning on the Tensor Product of Graphs
University of Minnesota Twin Cities(明尼苏达大学双城分校)
知识图谱上的多关系学习推断跨图的实体之间的高阶关系。该学习任务可以通过在知识图谱的张量积上的标签传播来解决,以学习作为张量的高阶关系。在本文中,我们推广了广泛使用的标签传播模型的归一化张量积图,并提出了一个优化配方和可扩展的基于低秩张量的标签传播算法(LowrankTLP)推断多关系的两个学习任务,超链接预测和多图对齐。优化配方最大限度地减少噪音张量估计误差的上界多图对齐,通过学习与归一化张量积图的频谱中的特征对的子集。我们还提供了一个数据依赖的二进制超链接预测的转导Rademacher绑定。我们加速LowrankTLP与并行张量计算,使标签传播的张量积的100个图,每个大小为1000在不到半小时的模拟。LowrankTLP还被应用于预测出版记录中的作者-论文-地点超链接,多达26个CT扫描图像的分割区域的对齐以及多个物种的蛋白质-蛋白质相互作用网络的对齐。实验表明,LowrankTLP确实很好地近似原始标签传播,具有更好的可扩展性和准确性。
2020-05-18 cs.LG
Efficient inference in stochastic block models with vertex labels
Eindhoven University of Technology(埃因霍温理工大学);Microsoft Research - INRIA joint centre(微软研究院-法国国家信息与自动化研究所联合中心)
我们研究了两个社区的随机块模型,其中顶点包含边信息的形式的顶点标签。这些顶点标签可以具有任意的标签分布,这取决于社区成员。我们分析了流行的信念传播算法的线性化版本。我们表明,该算法实现了最高的精度可能的网络参数的某个函数有一个唯一的固定点。每当该函数具有多个固定点时,置信传播算法可能不会最佳地执行。我们发现,增加顶点标签中的信息可能会减少不动点的数量,从而导致最优的信念传播。
2018-08-17 cs.LG math.PR stat.ML
Non-iterative Label Propagation in Optimal Leading Forest
Guizhou University of Engineering Science(贵州工程应用技术学院);Chongqing University of Posts and Telecommunications(重庆邮电大学)
基于图的半监督学习(GSSL)具有直观的表示形式,并可通过矩阵计算加以改进。然而,它必须执行迭代优化,以实现一个预设的目标,这通常会导致低效率。GSSL的另一个不便之处在于,当新数据到来时,必须重新进行图的构建和优化。我们提出了一个合理的假设,认为:相邻的数据点不是对等的关系,但在局部密度和数据之间的距离诱导偏序关系;和中心的标签可以被视为其追随者的贡献。从这个假设出发,我们开发了一个高效的非迭代标签传播算法的基础上命名为最佳领先森林(LaPOLeaF)的新的数据结构。传统的GSSL的主要弱点是解决这项研究。我们进一步扩展LaPOLeaF,以适应大数据,利用块距离矩阵技术,并行计算,和局部敏感哈希(LSH)。在大数据集上的实验表明,所提出的方法具有良好的效果。
2019-02-12 cs.AI cs.LG
Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks
Elliptic;The University of Sheffield(谢菲尔德大学);Telecom SudParis(南巴黎电信学院);Polytechnic Institute of Paris(巴黎综合理工学院)
我们表明,修改的第一层的图卷积网络(GCN)可以用来有效地传播标签信息的邻居节点,二进制和多类分类问题。这是通过在GCN的训练阶段选择性地消除标签特征的自循环来完成的。GCN架构在其他方面没有变化,没有任何额外的超参数,并且可以用于转导和归纳设置。我们通过几个实验表明,根据推理阶段有多少标签可用,与标准GCN方法相比,这种策略可以导致模型性能的大幅改善,包括不平衡数据集。
2021-04-05 cs.LG
Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
China Telecom Research Institute(中国电信研究院)
在大规模图上直接实现图神经网络(GNNs)是一个困难的问题。除了现有的邻居采样技术,可扩展的方法解耦图卷积和其他可学习的转换到预处理和后分类器允许正常的小批量训练。通过用注意力机制代替SIGN中的冗余连接操作,提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地收集不同跳之间的邻域信息。为了进一步提高半监督学习任务的可扩展性模型,提出了结合自训练方法和标签深度传播的自标签增强(Self-Label-Enhance,SLE)框架。我们在基础模型中增加了一个可扩展的节点标签模块。然后,我们迭代的训练模型和增强训练集在几个阶段。为了生成节点标签模块的输入,我们直接应用基于独热编码标签向量的标签传播,而无需内部随机掩蔽。我们发现,经验上的标签泄漏已被有效地缓解后,图卷积。增强训练集中的硬伪标签与真标签一起参与标签传播。在归纳数据集和转换数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN获得了更好或相当的结果,SLE可以进一步提高性能。
2021-07-01 cs.AI cs.LG
Label Propagation Adaptive Resonance Theory for Semi-supervised Continuous Learning
Seoul National University(首尔大学);LG Electronics(LG电子)
半监督学习和持续学习是人类智能的基本范式。为了处理现实世界中的问题,很少给出标签,访问相同数据的机会有限,有必要以联合的方式应用这两个范例。在本文中,我们提出了标签传播自适应共振理论(LPART)的半监督连续学习。LPART使用在线标签传播机制来执行分类,并随着观察数据的积累逐渐提高其准确性。我们通过调整标记和未标记数据的比例,在视觉(MNIST,SVHN,CIFAR-10)和音频(NSynth)数据集上评估了所提出的模型。当使用标记和未标记数据时,准确率要高得多,这表明LPART在数据标签稀缺的环境中具有显著的优势。
2020-04-16 cs.CV cs.LG
Optimal Inference in Crowdsourced Classification via Belief Propagation
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众包系统在解决低收入工人的大规模标签任务方面很受欢迎。我们研究了在流行的Dawid-Skene模型下从可能错误的众包标签中恢复真实标签的问题。为了解决这个推理问题,最近已经提出了几种算法,但最好的已知保证仍然显着大于基本限制。我们通过在基本极限上引入更严格的下限并证明置信传播(BP)完全匹配这个下限来缩小这一差距。保证BP的最优性是最强的,在这个意义上,它是信息理论上不可能的任何其他算法正确地标记一个更大的部分的任务。实验结果表明,BP是接近最佳的所有制度的考虑,并提高竞争的最先进的算法。
2017-01-12 cs.LG stat.ML
Improved Spectral Clustering via Embedded Label Propagation
谱聚类是机器学习和数据采掘领域的一个重要研究课题。现有的谱聚类算法大多建立在高斯-拉普拉斯矩阵上,而高斯-拉普拉斯矩阵对参数敏感。我们提出了一种新的参数自由,距离一致的局部线性嵌入。提出的距离一致LLE保证了距离较近的数据点之间的边具有更大的权值,并提出了一种基于嵌入标签传播的改进谱聚类算法。我们的算法建立在现有技术的两个进步基础上:1)标签传播,它根据邻近节点的距离将节点标签传播到相邻节点; 2)流形学习,它已被广泛用于利用数据点的流形结构。首先,我们对原始数据进行标准谱聚类,并将每个聚类分配给k个最近的数据点。接下来,我们通过密集的未标记的数据区域传播标签。大量的实验与各种数据集验证了该算法的优越性相比,目前最先进的光谱算法。
2015-10-06 cs.LG
Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency
Brown University(布朗大学);Preferred Networks, Inc.(优选网络公司);Toyota Research Institute (TRI)(丰田研究院)
用于语义分割的深度学习模型依赖于昂贵的、大规模的、手动注释的数据集。标记是一个繁琐的过程,每张图像可能需要数小时。通过在时间上传播稀疏标记的帧来自动注释视频序列是一种更具可扩展性的替代方案。在这项工作中,我们提出了一种新的标签传播方法,称为Warp-Refine传播,结合语义线索与几何线索,有效地自动标记视频。我们的方法学习优化几何扭曲的标签,并通过利用跨时间的周期一致性,在半监督设置中将学习到的语义先验注入其中。我们定量地表明,我们的方法在ApolloScape数据集上提高了13.1 mIoU的标签传播。此外,通过使用自动标记的帧进行训练,我们在三个语义分割基准上获得了有竞争力的结果,在NYU-V2和KITTI上将最先进的水平提高了1.8和3.61 mIoU,同时匹配了Cityscapes上当前的最佳结果。
2021-09-28 cs.CV cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP,可在不共享数据的前提下实现联邦学习下的标签传播,在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Bridging Domain Adaptation and Graph Neural Networks: A Tensor-Based Framework for Effective Label Propagation
Dartmouth College(达特茅斯学院);New York University(纽约大学);University of California, Riverside(加州大学河滨分校)
针对GNN在单域监督训练下标签需求高、表示迁移性差的问题,提出LP-TGNN框架,以张量架构提取图拓扑信息并通过标签传播减少域差异,兼容通用GNN和域适应技术,在真实基准上显著优于基线。
2025-02-15 cs.LG
Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University(北京大学);Apple(苹果公司)
图神经网络(GNN)在各种任务中取得了巨大的成功,但它们的性能高度依赖于大量的标记节点,这通常需要相当大的人力。提出了基于GNN的主动学习(AL)方法,通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类,因此只关注节点的选择。然而,这样一个精确的标签任务是昂贵的,特别是当分类是出了域的个人专家(oracle)。本文更进一步,提出了一个软标签的方法,以AL上的GNNs。我们的主要创新是:i)放松查询,其中领域专家(Oracle)仅判断预测标签的正确性(二元问题)而不是识别确切的类(多类问题),以及ii)对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明,我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
LOSS-GAT: Label Propagation and One-Class Semi-Supervised Graph Attention Network for Fake News Detection
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
本文提出了一种用于假新闻检测的半监督单类图注意力网络 LOSS-GAT,通过两步标签传播和结构增强技术,在仅使用少量标注假新闻的情况下,性能显著提升甚至超越二分类标注模型。
2024-02-13 cs.AI cs.LG cs.SI
Instance Relation Learning Network with Label Knowledge Propagation for Few-shot Multi-label Intent Detection
Key Lab of High Confidence Software Technologies (MOE), School of Computer Science, Peking University, Beijing, China(高可信软件技术重点实验室(教育部)、计算机科学学院、北京大学,北京,中国);Research Center for Computational Social Science, Peking University, Beijing, China(计算社会科学研究中心、北京大学,北京,中国);Institute of Computational Social Science, Peking University, Qingdao, China(计算社会科学研究院、北京大学,青岛,中国);Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong, Hong Kong, China(系统工程与工程管理系、香港中文大学,香港,中国)
针对少样本多标签意图检测中的错误传播问题,提出端到端实例关系学习网络,通过标签知识传播和双关系增强损失,在1-shot场景下平均提升AUC 9.54%、Macro-F1 11.19%。
2025-10-09 cs.CL cs.LG
Cross-Domain Label Propagation for Domain Adaptation with Discriminative Graph Self-Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanjing University of Science and Technology(南京理工大学)
领域自适应设法将良好标记的源数据的知识转移到未标记的目标数据。许多最近的努力集中在提高目标伪标记的预测准确性以减少条件分布偏移。本文提出了一种新的领域自适应方法,该方法通过跨领域标签传播来推断目标伪标签,从而可以探索两个领域数据的底层流形结构。与现有的跨域标签传播方法不同,将域不变特征学习,亲和矩阵构建和目标标签推断分为三个独立的阶段,我们建议将它们集成到一个统一的优化框架中。通过这种方式,这三个部分可以从迭代优化的角度相互促进,从而实现更有效的知识转移。此外,为了构造高质量的亲和矩阵,提出了一种判别图自学习策略,该策略不仅能够自适应地捕获两个领域数据的内在相似性,而且能够有效地利用良好标记的源数据和伪标记的目标数据中所包含的判别信息.设计了一个有效的迭代优化算法来求解我们提出的目标函数。值得注意的是,所提出的方法可以以简单但有效的方式扩展到半监督领域自适应,并且可以用相同的算法来解决相应的优化问题。在六个标准数据集上的实验验证了该方法在无监督和半监督领域自适应环境下的显著优越性。
2023-02-17 cs.LG
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani(皮拉尼伯拉技术与科学学院)
半监督学习方法在当今世界已经获得了重要性,因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中,在每一步SVM的训练,以尽量减少误差,从而提高预测质量。实验采用支持向量机(SVM)和逻辑回归(Logreg)进行。结果表明,SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试,范围从1000到10000的顺序。结果表明,该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本,分析表明,并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG