Attention-based Graph Neural Network for Semi-supervised Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Inc.（谷歌公司）
最近流行的图神经网络在基于图的半监督学习的许多标准基准数据集上实现了最先进的精度，比现有方法有显着改进。这些架构在聚合局部邻域的隐藏状态的传播层和全连接层之间交替。也许令人惊讶的是，我们表明，一个线性模型，删除所有的中间完全连接层，仍然能够实现性能媲美的国家的最先进的模型。这大大减少了参数的数量，这对于标记示例数量较少的半监督学习至关重要。这反过来又为设计更创新的传播层提供了空间。基于这种见解，我们提出了一种新的图神经网络，删除所有中间的全连接层，并取代传播层的注意力机制，尊重图的结构。注意力机制允许我们学习邻域的动态和自适应局部摘要，以实现更准确的预测。在基准引用网络数据集上的一些实验中，我们证明了我们的方法优于竞争方法。通过研究邻居之间的注意力权重，我们表明，我们的模型提供了一些有趣的见解邻居如何相互影响。
2018-03-10 cs.AI cs.LG stat.ML
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg（卢森堡大学）；Criteo（科韬）
图神经网络（GNN）在图学习任务中占主导地位;然而，最近的研究表明，一种著名的图算法，标签传播（LP），结合浅层神经网络，可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中，我们表明，这种方法不符合低同伦图，其中节点往往连接到节点的相反类。为了克服这一点，我们精心设计了一个基础预测与LP算法，享有一个封闭的形式的解决方案，以及收敛保证的组合。我们的算法首先学习类兼容性矩阵，然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准，我们表明，我们的方法实现了领先的性能与各种层次的同质性图。同时，它具有数量级更少的参数，需要更少的执行时间。经验评估表明，简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI
LOSS-GAT: Label Propagation and One-Class Semi-Supervised Graph Attention Network for Fake News Detection
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
本文提出了一种用于假新闻检测的半监督单类图注意力网络 LOSS-GAT，通过两步标签传播和结构增强技术，在仅使用少量标注假新闻的情况下，性能显著提升甚至超越二分类标注模型。
2024-02-13 cs.AI cs.LG cs.SI
Cyclic Boosting -- an explainable supervised machine learning algorithm
Blue Yonder GmbH（蓝扬德有限公司）；IUBH Internationale Hochschule（IUBH国际大学）
受监督的机器学习算法已经取得了惊人的进步，并在广泛的特定应用中超越了人类水平的性能。然而，使用复杂的集成或深度学习算法通常会导致黑箱模型，其中无法详细跟踪导致个体预测的路径。为了解决这个问题，我们提出了新的“循环提升”机器学习算法，它允许有效地执行准确的回归和分类任务，同时允许详细了解每个预测是如何进行的。
2021-01-05 cs.LG stat.ML
Cyclic Functional Mapping: Self-supervised correspondence between non-isometric deformable shapes
Tel Aviv University（特拉维夫大学）
我们提出了第一个完全自我监督的网络，用于非等距形状之间的密集对应映射。非欧区域的对齐问题是计算机视觉中最基本、最关键的问题之一。由于3D扫描仪可以生成高度复杂和密集的模型，因此在这些模型之间找到密集映射的任务至关重要。我们的解决方案的新颖性是基于度量空间之间的循环映射，其中一对点之间的距离在整个循环之后应该保持不变。由于生成逐点描述符的相同可学习规则适用于两个方向，因此网络在处理非等距变形的同时学习没有任何标签的不变结构。与已知的自监督和监督方法相比，我们在这里展示了各种任务的最先进的结果。
2019-12-03 cs.CG cs.CV cs.LG
Contrastive Credibility Propagation for Reliable Semi-Supervised Learning
Palo Alto Networks, AI Research（Palo Alto Networks 人工智能研究部）
本文提出对比可信度传播（CCP）算法，通过迭代直推式伪标签精炼统一半监督学习与噪声标签学习，在少标签、开放集、噪声标签及类别分布不平衡/错位等五种场景下均可靠超越监督基线。
2024-04-02 cs.LG
Low-rank Label Propagation for Semi-supervised Learning with 100 Millions Samples
University of Minnesota Twin Cities（明尼苏达大学双城分校）
半监督学习的成功关键取决于对大量未标记数据的可扩展性，这些数据是捕获底层流形结构以进行更好分类所需的。由于在大多数种类的输入数据中计算训练数据之间的成对相似性是非常昂贵的，因此目前，没有通用的现成的半监督学习方法/工具可用于学习数千万或更多的数据点。本文采用了两种低秩标签传播算法GLNP（Global Linear Neighborhood Propagation）和核Nyström Approximation的思想，实现了这两种算法的并行化版本，并使用Nesterov的加速投影梯度下降算法对大数据标签传播（BigLP）进行加速。并行算法在5个实际数据集上进行了测试，数据集的大小从7000到10，000，000，以及100，000，000个样本的模拟数据集。在实验中，该实现可以扩展到具有100，000，000个样本和数百个特征的数据集，并且当只有很小比例的数据被标记时，该算法也显着提高了预测精度。结果表明，BigLP实现是高度可扩展的大数据和有效地利用未标记的数据进行半监督学习。
2017-02-28 cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Counterfactual Propagation for Semi-Supervised Individual Treatment Effect Estimation
Kyoto University（京都大学）
个体治疗效果（ITE）是指对特定目标采取特定措施后预期的治疗效果改善，在各个领域的决策中起着重要作用。然而，其估计问题是困难的，因为干预研究收集关于所应用的治疗的信息（即，行动），其结果往往是相当昂贵的时间和金钱成本。在这项研究中，我们考虑了一个半监督ITE估计问题，利用更容易获得的未标记的实例，以提高ITE估计的性能，使用小的标记数据。我们结合因果推理和半监督学习的两个想法，即匹配和标签传播，分别提出反事实传播，这是第一个半监督ITE估计方法。半真实数据集的实验表明，该方法可以成功地缓解ITE估计中的数据稀缺问题。
2020-05-11 cs.LG stat.ML
Semi-supervised learning with Bayesian Confidence Propagation Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）
不使用标签或使用少量标签从数据中学习内部表示对于机器学习研究非常有用，因为它允许使用大量未标记的数据。在这项工作中，我们使用贝叶斯置信传播神经网络（BCPNN）模型开发的生物学上合理的模型的皮层。最近的工作表明，这些网络可以使用局部贝叶斯-赫布学习规则从数据中学习有用的内部表示。在这项工作中，我们将展示如何在半监督设置中，通过引入和比较不同的分类器，利用这种表示。我们还评估和比较这些网络与其他流行的半监督分类器。
2021-06-29 cs.LG cs.NE
Exhaustive and Efficient Constraint Propagation: A Semi-Supervised Learning Perspective and Its Applications
Peking University（北京大学）
本文提出了一种新的成对约束传播方法，通过将具有挑战性的约束传播问题分解为一组独立的半监督学习子问题，可以使用基于k-近邻图的标签传播在二次时间内解决。考虑到这个时间成本与所有可能的成对约束的数量成比例，我们的方法实际上提供了一个有效的解决方案，用于在整个数据集中穷举传播成对约束。传播成对约束的穷举集进一步用于调整约束谱聚类的相似性矩阵。除了传统的单源数据上的约束传播，我们的方法还扩展到更具挑战性的多源数据上的约束传播，其中每个成对约束定义在来自不同源的一对数据点上。这种多源约束传播在跨模态多媒体检索中有重要的应用。大量的结果表明，我们的方法的优越性能。
2011-09-22 cs.AI cs.LG
Understanding and Guiding Weakly Supervised Entity Alignment with Potential Isomorphism Propagation
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Co. LTD（华为公司）
本文从传播视角分析弱监督实体对齐，证明潜在对齐实体具有同构子图，并提出PipEA框架通过潜在同构传播算子提升各类聚合模型的准确率。
2024-10-12 cs.IR cs.LG
DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning
Missouri University of Science and Technology（密苏里科技大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出DynLP算法，通过仅更新必要的子图实现高效标签传播，提升大规模数据集处理效率，实现13至102倍的速度提升。
2026-04-08 cs.DC cs.LG
Label Propagation Adaptive Resonance Theory for Semi-supervised Continuous Learning
Seoul National University（首尔大学）；LG Electronics（LG电子）
半监督学习和持续学习是人类智能的基本范式。为了处理现实世界中的问题，很少给出标签，访问相同数据的机会有限，有必要以联合的方式应用这两个范例。在本文中，我们提出了标签传播自适应共振理论（LPART）的半监督连续学习。LPART使用在线标签传播机制来执行分类，并随着观察数据的积累逐渐提高其准确性。我们通过调整标记和未标记数据的比例，在视觉（MNIST，SVHN，CIFAR-10）和音频（NSynth）数据集上评估了所提出的模型。当使用标记和未标记数据时，准确率要高得多，这表明LPART在数据标签稀缺的环境中具有显著的优势。
2020-04-16 cs.CV cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
MixCycle: Unsupervised Speech Separation via Cyclic Mixture Permutation Invariant Training
Boğaziçi University（博阿齐奇大学）；MEF University（MEF大学）
我们介绍了两种无监督的源分离方法，这涉及到自监督的训练，从单通道两个源的语音混合。我们的第一种方法，混合置换不变训练（MixPIT），能够学习神经网络模型，该模型通过具有挑战性的代理任务分离底层源，而无需来自参考源的监督。我们的第二种方法，循环混合置换不变训练（MixCycle），使用MixPIT作为连续学习的循环方式的构建块。MixCycle逐渐将问题从分离混合物的混合物转化为分离单一混合物。我们将我们的方法与常见的监督和无监督基线进行比较：动态混合的排列不变训练（PIT-DM）和混合不变训练（MixIT）。我们表明，MixCycle优于MixIT，并达到了非常接近监督基线（PIT-DM）的性能水平，同时规避了MixIT的过度分离问题。此外，我们提出了一种受MixCycle启发的自我评估技术，该技术在不利用任何参考源的情况下估计模型性能。我们表明，它产生的结果与参考源（LibriMix）的评价一致，也与现实生活中的混合数据集（REAL-M）进行的非正式听力测试。
2023-01-06 cs.LG cs.SD eess.AS
Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency
Brown University（布朗大学）；Preferred Networks, Inc.（优选网络公司）；Toyota Research Institute (TRI)（丰田研究院）
用于语义分割的深度学习模型依赖于昂贵的、大规模的、手动注释的数据集。标记是一个繁琐的过程，每张图像可能需要数小时。通过在时间上传播稀疏标记的帧来自动注释视频序列是一种更具可扩展性的替代方案。在这项工作中，我们提出了一种新的标签传播方法，称为Warp-Refine传播，结合语义线索与几何线索，有效地自动标记视频。我们的方法学习优化几何扭曲的标签，并通过利用跨时间的周期一致性，在半监督设置中将学习到的语义先验注入其中。我们定量地表明，我们的方法在ApolloScape数据集上提高了13.1 mIoU的标签传播。此外，通过使用自动标记的帧进行训练，我们在三个语义分割基准上获得了有竞争力的结果，在NYU-V2和KITTI上将最先进的水平提高了1.8和3.61 mIoU，同时匹配了Cityscapes上当前的最佳结果。
2021-09-28 cs.CV cs.LG
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas（坎皮纳斯大学）
虽然卷积神经网络需要大的标记集来训练图像，但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合，以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而，这样的解决方案需要许多监督图像进行验证。我们提出了一个循环，其中深度神经网络（VGG-16）是从一组具有更正确标记的样本中训练出来的，这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的，在这个嵌入空间中，使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进，它改进了神经网络的特征。我们表明，这可以显着提高分类结果的测试数据（仅使用1\%至5\%的监督样本）的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning
本研究提出MAG框架，通过将未标记多模态数据用于半监督传播的演示选择，提升多模态大语言模型的上下文学习性能，在8个基准的标签稀缺场景下优于强基线。
2026-08-14 cs.LG
Hybrid Approach for Inductive Semi Supervised Learning using Label Propagation and Support Vector Machine
BITS, Pilani（皮拉尼伯拉技术与科学学院）
半监督学习方法在当今世界已经获得了重要性，因为人类专家标记未标记数据所涉及的大量费用和时间。提出的混合方法使用SVM和标签传播标记的未标记的数据。在这个过程中，在每一步SVM的训练，以尽量减少误差，从而提高预测质量。实验采用支持向量机（SVM）和逻辑回归（Logreg）进行。结果表明，SVM的性能大大优于Logreg。该方法使用12个不同大小的数据集进行测试，范围从1000到10000的顺序。结果表明，该方法优于标签传播的一个很大的保证金与F-措施的平均几乎两倍。设计并实现了该方法的并行版本，分析表明，并行版本的训练时间大大减少。
2015-12-02 cs.DC cs.LG
Label Propagation for Deep Semi-supervised Learning
Czech Technical University in Prague（布拉格捷克理工大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）
半监督学习正变得越来越重要，因为它可以将人类仔细标记的数据与大量未标记的数据相结合，以训练深度神经网络。半监督学习的经典方法专注于转导学习，但在现代深度学习遵循的归纳框架中尚未得到充分利用。这同样适用于流形假设--相似的例子应该得到相同的预测。在这项工作中，我们采用了一种基于流形假设的转换标签传播方法来对整个数据集进行预测，并使用这些预测来为未标记的数据生成伪标签，并训练深度神经网络。转换方法的核心是我们基于同一网络的嵌入创建的数据集的最近邻图。因此，我们的学习过程在这两个步骤之间迭代。我们提高了几个数据集的性能，特别是在少数标签制度，并表明我们的工作是补充目前的最先进的。
2019-04-09 cs.CV cs.LG
Label Propagation with Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种利用先验概率假设标签的经典标签传播算法（LPA）新分析，给出结合图几何与先验质量的误差界限，并构建整合多噪声源的弱监督框架，在多个基准任务上优于现有方法。
2023-04-09 cs.LG stat.ML
Label Propagation Through Optimal Transport
Université Sorbonne Paris Nord（索邦巴黎北大学）；Université Clermont Auvergne（克莱蒙奥弗涅大学）
在本文中，我们解决了转导半监督学习的问题，目的是获得标签预测给定的未标记的数据点，根据Vapnik的原则。我们提出的方法基于最优传输，这是一种已成功用于解决各种机器学习问题的数学理论，并开始吸引半监督学习社区的新兴趣。所提出的方法，最佳传输传播（OTP），在一个增量的过程中，标签传播通过一个完整的二分边加权图，其亲和矩阵是从最佳的运输计划之间的经验措施定义的标记和未标记的数据。OTP通过使用基于香农熵的确定性得分来控制传播过程，从而确保高度的预测确定性。我们还提供了我们的算法的收敛性分析。实验任务表明，所提出的方法的优越性比国家的最先进的。我们公开我们的代码。
2021-10-01 cs.LG
Local Label Propagation for Large-Scale Semi-Supervised Learning
Stanford University（斯坦福大学）
训练深度神经网络以解决监督学习任务的一个重要问题是需要大量标记的数据点。半监督学习的目标是利用无处不在的未标记数据以及少量的标记数据来实现高任务性能。虽然最近在开发对相对较小的数据集有效的半监督算法方面取得了重大进展，但这些技术中的许多技术并不容易扩展到现实世界应用程序的大型（未标记）数据集。在本文中，我们介绍了一种新的方法，可扩展的半监督学习，称为本地标签传播（LLP）。LLP扩展了最近关于无监督嵌入学习的工作的想法，首先使用深度神经网络将标记和其他数据点嵌入到公共潜在空间中。然后，它传播伪标签从已知到未知的数据点的方式，取决于嵌入的局部几何形状，同时考虑到点间距离和局部数据密度作为加权的传播可能性。然后训练深度嵌入的参数，以同时最大化伪标签分类性能以及每个伪标签组内的数据点聚类的度量，迭代地交替网络训练和标签传播的阶段。我们说明了LLP方法在ImageNet数据集上的实用性，实现了在各种各样的训练机制中始终优于先前最先进的可扩展半监督学习算法的结果。我们还表明，使用LLP学习的特征表示可以很好地转移到Places 205数据集中的场景识别。
2019-05-28 cs.AI cs.CV cs.LG
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
我们使用反向传播（即，BP-sLDA），其最大化给定输入文档的预测变量的后验概率。与传统的变分学习或吉布斯采样方法不同，所提出的学习方法应用（i）镜像下降算法进行最大后验推理，以及（ii）在深度架构上的反向传播以及随机梯度/镜像下降进行模型参数估计，从而实现模型的可扩展和端到端的判别学习。作为副产品，我们还应用该技术为传统的无监督LDA模型开发了一种新的学习方法（即，BP-LDA）。三个真实世界的回归和分类任务的实验结果表明，所提出的方法显着优于以前的监督主题模型，神经网络，并与深度神经网络。
2015-11-01 cs.LG
Semi-Supervised Learning via Sparse Label Propagation
Aalto University（阿尔托大学）；The University of Michigan（密歇根大学）
本文提出了一种新的基于部分标记的海量网络结构数据集的半监督学习方法，网络上的大数据我们对底层假设进行建模，该假设将数据点与标签联系起来，作为图形信号，定义在数据集固有的某些图形（网络）结构上。遵循监督学习的关键原则，即，相似的输入产生相似的输出，我们要求由标签引起的图信号具有小的总变化。因此，我们将学习数据点标签的问题公式化为非光滑凸优化问题，其相当于在经验损失之间进行平衡，即，与某些部分可用的标签信息的差异，以及由所学习的图形信号的总变化量化的平滑度。我们解决这个优化问题，呼吁最近提出的预处理变形流行的原始-对偶方法的Pock和Chambolle，这导致在一个稀疏的标签传播算法。这种学习算法允许高度可伸缩的实现，如在底层数据图上传递消息。通过将压缩感知的概念应用于学习问题，我们还能够提供底层网络结构的透明充分条件，从而可以准确学习标签。我们还提出了一个实现的消息传递公式允许在大数据框架中的高度可扩展的实现。
2017-05-15 cs.LG stat.ML
Self-Supervised Learning via Conditional Motion Propagation
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
智能代理自然地从运动中学习。各种自监督算法已经利用运动线索来学习有效的视觉表示。这里的障碍是，运动是模糊和复杂的，使以前的作品要么遭受降低学习效率，或诉诸于对象运动的强假设。在这项工作中，我们设计了一个新的从运动中学习的范例来弥合这些差距。而不是明确建模的运动概率，我们设计的借口任务作为一个有条件的运动传播问题。给定一个输入图像和几个稀疏的流引导向量，我们的框架试图恢复完整的图像运动。与其他替代方案相比，我们的框架具有几个吸引人的特性：（1）在训练期间使用稀疏流指导解决了固有的运动模糊性，从而简化了特征学习。(2)解决有条件运动传播的借口任务鼓励了具有更大表达能力的运动学声音表示的出现。大量的实验表明，我们的框架学习结构和连贯的功能，并实现了最先进的自我监督性能的几个下游任务，包括语义分割，实例分割，和人类解析。此外，我们的框架被成功地扩展到几个有用的应用程序，如半自动像素级注释。项目页面：“http://mmlab.ie.cuhk.edu.hk/projects/CMP/“。
2019-04-25 cs.CV cs.LG
Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
受无监督领域自适应（UDA）和半监督学习（SSL）之间的问题相关性的激励，许多现有技术的UDA方法采用SSL原理（例如，集群假设）作为他们的学习成分。然而，他们往往忽视了UDA的域转移本质。在这项工作中，我们采取进一步研究适当的扩展SSL技术的UDA。以标签传播算法为例，分析了UDA采用标签传播算法所面临的挑战，并从理论上分析了亲和图/亲和矩阵的构造条件，以实现真实标签向未标记实例的更好传播。我们的分析提出了一种新的具有增强的标签传播（A $^2$ LP）的标签传播算法，该算法可以通过生成未标记的虚拟实例（即，增强的锚）与高置信度标签预测。为了使拟议的一个$^2$ LP有用的UDA，我们提出了经验方案来生成这样的虚拟实例。所提出的方案还通过经由A $^2$ LP的伪标记和域不变特征学习之间的交替来解决UDA的域移位挑战。实验表明，这样一个简单的SSL扩展改进了域不变特征学习的代表性UDA方法，并可以在基准UDA数据集上授权两种最先进的方法。我们的研究结果表明SSL技术的UDA问题的进一步研究的价值。
2020-07-15 cs.LG stat.ML
Feature propagation as self-supervision signals on graphs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学-巴塞罗那理工（UPC））
针对图自监督学习中对比学习开销大且增广可能改变语义的问题，提出RGI框架，通过最大化节点嵌入与特征传播的互信息训练图神经网络，非对比且无需增广，在基准上达到最先进性能。
2023-09-04 cs.LG
Graph-based Label Propagation for Semi-Supervised Speaker Identification
Amazon Alexa（亚马逊Alexa）
家庭场景中的说话人辨识（例如，对于智能说话者）通常仅基于几个登记话语，但是基于大得多的未标记数据集，这表明半监督学习可以改善说话者简档。我们提出了一种基于图的半监督学习方法的说话人辨识在家庭的情况下，利用未标记的语音样本。与大多数专注于说话人区分嵌入的说话人识别工作相反，这项工作专注于说话人标签推理（评分）。给定一个预先训练的嵌入提取器，基于图的学习允许我们整合有关标记和未标记话语的信息。考虑到每个话语作为一个图形节点，我们表示成对的话语相似性得分作为边权重。每个家庭构建图，并将扬声器身份传播到未标记的节点，以优化全局一致性标准。我们在VoxCeleb数据集上的实验表明，与两种最先进的评分方法及其基于伪标签的半监督变体相比，这种方法有效地利用了未标记的数据，提高了说话人辨识的准确性。
2021-06-15 cs.CL cs.LG cs.SD
Weakly Supervised Point Cloud Segmentation via Conservative Propagation of Scene-level Labels
提出一种弱监督点云分割方法，通过二分匹配保守传播场景级标签至相关点，在ScanNet和S3DIS上大幅超越现有技术。
2025-06-13 cs.CV cs.LG
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago（芝加哥大学）
最近的机器学习和超图数据挖掘算法的发展兴趣的启发，我们调查在本文中的半监督学习算法的传播“软标签”（例如概率分布，类成员分数）超图，通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014]，我们将标签传播过程重新制定为消息传递算法，这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外，在PAC学习框架中，我们通过建立所提出的半监督学习算法的\textit{algorithmic stability}，提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Deep Clustering with Measure Propagation
Interactions LLC（Interactions 有限责任公司）
深度模型改进了监督学习和无监督学习的最新技术。例如，深度嵌入式聚类（DEC）通过使用堆叠式自动编码器进行表示学习，极大地提高了无监督聚类的性能。然而，深度建模的一个弱点是原始空间中的局部邻域结构不一定保留在潜在空间中。为了保持局部几何形状，在监督和半监督学习文献中已经提出了各种方法（例如，谱聚类和标签传播）。在本文中，我们将深度表示学习的强度与测量传播（MP）相结合，MP是一种最初用于半监督场景的基于KL发散的图正则化方法。MP的主要假设是，如果两个数据点在原始空间中接近，则它们可能属于同一类，通过类成员分布的KL-散度来衡量。通过在无监督学习场景中采取相同的假设，我们提出了我们的深度嵌入式聚类辅助测量传播（DECAMP）模型。我们在短文本聚类任务上评估了DECAMP。在三个公共数据集上，DECAMP的表现与其他最先进的基线具有竞争力，包括使用额外数据生成聚类过程中使用的词嵌入的基线。例如，在Stackoverflow数据集上，DECAMP实现了79%的聚类准确率，比所有现有基线高出约5%。这些实验结果表明，DECAMP是一种非常有效的无监督学习方法。
2021-04-26 cs.CL cs.LG
Pairwise Constraint Propagation on Multi-View Data
Renmin University of China（中国人民大学）；Peking University（北京大学）
提出了一种基于图的多视图数据成对约束传播的学习方法。虽然成对约束传播已经被广泛研究，但是成对约束通常被定义在来自单个视图的数据点对上，即，对于多视图任务只考虑视图内约束传播。事实上，很少有人注意到视图间约束传播，这是更具挑战性的，因为成对约束现在被定义在来自不同视图的数据点对上。在本文中，我们提出了具有挑战性的视图间约束传播问题分解成半监督学习子问题，使他们可以有效地解决基于图的标签传播的基础上。据我们所知，这是第一次尝试从半监督学习的角度给出视图间约束传播的有效解决方案。此外，由于基于图的标签传播已被采用的基本优化，我们开发了两个约束图构建方法采访约束传播，不同的是如何利用内视图成对约束。跨视图检索的实验结果表明，我们的跨视图约束传播的良好性能。
2015-01-18 cs.CV cs.LG
Weakly Supervised Segmentation of Vertebral Bodies with Iterative Slice-propagation
Cooperative Medianet Innovation Center（合作媒体创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Jiao Tong University Affiliated Sixth People’s Hospital（上海交通大学附属第六人民医院）
提出弱监督迭代脊柱分割方法WISS，仅用单切片四个角点弱标签实现椎体自动体积分割，在公开数据集上取得较高Dice系数并大幅节省标注成本。
2024-02-14 cs.CV cs.LG
Root Cause Analysis of Outliers in Unknown Cyclic Graphs
Amazon Research Tübingen, Germany（亚马逊研究图宾根，德国）；Technical University of Munich, Germany（慕尼黑工业大学，德国）
针对线性结构方程循环因果图中的异常值传播，提出无需先验因果图知识即可识别潜在根因列表的方法，并在模拟和真实数据上验证。
2026-07-02 cs.LG stat.ME stat.ML
Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation
Google India（谷歌印度）；Google Research India（谷歌印度研究院）
提出一种基于置信度传播的迭代算法框架，通过伪标记和嵌入优化步骤解决从标签比例中学习的问题，在表格和图像数据上性能显著提升且计算开销极小。
2024-03-20 cs.AI cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University（蔚蓝海岸大学）；Orange Labs（Orange实验室）
在本文中，我们提出了一种新的方法来解决半监督分类任务的生物医学应用，涉及监督自动编码器网络。我们创建了一个网络架构，将标签编码到自动编码器的潜在空间中，并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器（SSAE）。然后，我们使用学习的网络对未标记的样本进行分类，这要归功于应用于潜在空间的softmax分类器，该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法，用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法（SSAE）与经典的半监督方法，如标签传播和标签扩散，并与全连接神经网络（FCNN）。实验表明，SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Semi-Supervised Learning with Heterophily
Carnegie Mellon University（卡内基梅隆大学）
我们推导出一个家庭的线性推理算法，推广现有的基于图形的标签传播算法，允许他们传播广义的假设之间的“吸引力”或“兼容性”类的相邻节点（特别是那些涉及异性之间的节点，其中“异性相吸”）。因此，我们称之为半监督学习与异质性（SSLH），并显示它是如何推广和改进最近提出的方法称为线性置信传播（LinBP）。重要的是，我们的框架使我们能够减少估计节点之间的相对兼容性的问题，从部分标记图到一个简单的优化问题。结果是一个非常快速的算法，尽管它很简单，但却令人惊讶地有效：我们可以在与LinBP相同的时间内对同一图中的未标记节点进行分类，但具有更高的准确性，尽管我们的算法不知道兼容性。
2016-12-28 cs.DB cs.LG
Label Propagation Techniques for Artifact Detection in Imbalanced Classes using Photoplethysmogram Signals
CHU Sainte-Justine Research Center（圣贾斯汀医院研究中心）；CHU Sainte-Justine Hospital（圣贾斯汀医院）；University of Montreal（蒙特利尔大学）
本研究针对PPG信号伪影检测的类别不平衡与数据有限问题，对比半监督标签传播算法与多种监督分类器，证明其在伪影检测上表现更优，可提升PPG健康监测准确率。
2024-05-23 cs.LG eess.SP
Flood Segmentation on Sentinel-1 SAR Imagery with Semi-Supervised Learning
Carted；NVIDIA（英伟达）；Frontier Development Lab（前沿发展实验室）；SpaceML
洪水在世界各地肆虐，造成数十亿美元的损失，并摧毁社区、生态系统和经济。NASA的Impact Flood Detection竞赛要求参与者在监督环境中使用合成孔径雷达（SAR）图像进行训练后预测淹没像素。我们提出了一个半监督学习伪标记方案，从U-Net集成中获得置信度估计，逐步提高准确性。具体地说，我们使用一种循环方法，涉及多个阶段：（1）使用提供的高置信度手工标记数据训练多个U-Net架构的集成模型，并在整个未标记的测试数据集上生成伪标签或低置信度标签，然后（2）过滤出质量生成的标签，（3）将生成的标签与先前可用的高置信度手工标记数据集相结合。该同化的数据集用于下一轮训练集合模型，并且重复循环过程，直到性能改善达到平台。我们使用条件随机场对结果进行后处理。我们的方法在Sentinel-1数据集上设置了一个新的最先进的状态，具有0.7654 IoU，比0.60 IoU基线有了令人印象深刻的改进。我们的方法与所有代码和模型一起发布，也可以用作Sentinel-1数据集的开放科学基准。
2021-10-25 cs.AI cs.CV cs.LG
Probability-density-aware Semi-supervised Learning
Tencent Youtu Laboratory（腾讯优图实验室）；East China Normal University（华东师范大学）
针对半监督学习忽视簇假设的问题，提出概率密度感知度量PM及PMLP标签传播算法，并证明伪标签是其特例，实验性能优异。
2025-01-07 cs.LG stat.ML
Learning from Limited Labels: Transductive Graph Label Propagation for Indian Music Analysis
Department of Electrical Engineering（电气工程系）；Department of Chemical Engineering（化学工程系）；Indian Institution of Technology, Kanpur（印度理工学院坎浦尔分校）；Katholieke Universiteit Leuven（卢森堡大学）
本文提出利用图标签传播技术，在有限标签条件下实现印度音乐的旋律识别与乐器分类，通过构建音频嵌入相似性图，提升标注效率与质量。
2026-01-07 cs.LG eess.AS
Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
图对比学习是最先进的无监督图表示学习框架，并已显示出与监督方法相当的性能。然而，评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题，因为大多数现有的图对抗攻击都是有监督的模型，这意味着它们严重依赖于标签，并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法，在真实场景中获取标签比较困难，使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中，我们提出了一种新的无监督的基于梯度的对抗攻击，不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度，并使用梯度上升翻转边缘以最大化对比损失。通过这种方式，我们可以充分利用由图对比学习模型生成的多个视图，并在不知道其标签的情况下选择信息量最大的边，因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明，我们的攻击优于无监督的基线攻击，并具有相当的性能与监督攻击在多个下游任务，包括节点分类和链接预测。我们进一步表明，我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
各种机器学习应用期望从有限数量的标记数据中实现快速学习。然而，当前大多数模型的成功是大数据大量训练的结果。元学习通过提取跨不同任务的共同知识来解决这个问题，这些知识可以快速适应新任务。然而，他们没有充分探索弱监督的信息，这通常是免费或廉价的collect. In本文中，我们表明，弱标记的数据可以显着提高性能的元学习Few-Shot分类。我们提出了原型传播网络（PPN）训练的Few-Shot任务与粗标签标注的数据。给定目标细类和一些弱标记粗类的类别图，PPN学习注意力机制，该注意力机制将图上的一个类的原型传播到另一个类，使得在传播的原型上定义的K-最近邻（KNN）分类器在不同的Few-Shot任务中具有高精度。训练任务由子图抽样生成，训练目标由子图上的分层分类损失累积得到。生成的原型图可以不断地重用和更新，以用于新的任务和类。我们还介绍了两个实际的测试/推理设置，根据测试任务是否可以利用任何弱监督信息进行训练而有所不同。在两个基准测试中，PPN在不同的设置中显着优于最新的少样本学习方法，即使它们也被允许在弱标记数据上进行训练。
2019-06-02 cs.CV cs.LG cs.NE
Deep Metric Transfer for Label Propagation with Limited Annotated Data
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们研究对象识别的约束下，每个对象类只表示非常少的意见。半监督学习、迁移学习和Few-Shot识别都关注用很少的标记数据实现快速泛化。在本文中，我们提出了一个通用的框架，利用未标记的数据，以帮助概括所有三个任务。我们的方法是创建更多的训练数据，通过标签传播从少数标记的例子，以大量的未注释的图像。本文的主要贡献是，我们表明这样的标签传播方案可以是非常有效的，当用于传播的相似性度量是从其他相关领域转移。我们使用各种标签传播算法测试了监督和无监督度量学习方法的各种组合。我们发现，我们的框架是非常通用的，而不敏感的任何特定的技术。通过以这种方式利用未标记的数据，我们在所有三个任务上都取得了显着的改进。
2019-07-29 cs.AI cs.CV cs.LG
Cascade-Aware Multi-Agent Routing: Spatio-Temporal Sidecars and Geometry-Switching
本文提出时空侧车模型，通过结合欧几里得和双曲评分器，解决路由几何结构感知问题，提升调度器在不同拓扑下的性能。
2026-03-24 cs.AI cs.LG
Semi-Supervised Semantic Mapping through Label Propagation with Semantic Texture Meshes
University of Bonn（波恩大学）
场景理解是机器人在非结构化环境中的一项重要能力。虽然大多数SLAM方法提供场景的几何表示，但语义地图对于与周围环境的更复杂交互是必要的。当前的方法将语义图视为几何的一部分，这限制了可扩展性和准确性。我们建议表示的语义地图作为一个几何网格和语义纹理耦合在独立的分辨率。其关键思想是，在许多环境中的几何形状可以大大简化，而不会失去保真度，而语义信息可以存储在一个更高的分辨率，独立的网格。我们构建了一个网格深度传感器来表示场景的几何形状和融合信息到语义纹理从分割的各个RGB视图的场景。使语义持久化在一个全球性的网格，使我们能够执行时间和空间的一致性的个人视图预测。为此，我们提出了一种有效的方法，通过迭代地重新训练语义分割与存储在地图中的信息，并使用重新训练的分割拒绝融合的语义之间建立共识的个人分割。我们证明了我们的方法的准确性和可扩展性重建语义地图的场景从NYUv2和场景跨越大型建筑物。
2019-06-17 cs.CV cs.LG cs.RO
Learning Condensed and Aligned Features for Unsupervised Domain Adaptation Using Label Propagation
Seoul National University（首尔国立大学）
为了解决监督学习中的标记问题，特别是在实际中难以获得大量标记数据的情况下，出现了无监督领域自适应，其目的是使用另一个领域的数据来学习一个领域的特定任务。现有的方法通过减少两个域的嵌入特征之间的差异而取得了成功，但是与监督学习方案相比，性能仍然不能令人满意。这是由于嵌入的特征彼此围绕，但不能完美地对齐，并建立明确可分离的集群。提出了一种基于标签传播和循环一致性的领域自适应方法，使两个领域的特征聚类准确重叠，并变得清晰，从而提高了分类精度。具体来说，我们引入循环一致性来加强每个簇之间的关系，并利用标签传播来实现数据之间的关联，从流形结构的角度来看，而不是一对一的关系。因此，我们成功地形成了对齐的和有区别的集群。我们提出了我们的方法为各种领域自适应方案的实证结果和可视化的嵌入式功能，以证明我们的方法是更好的领域自适应的关键。
2019-03-12 cs.LG stat.ML
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China（电子科技大学格拉斯哥学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语学院）
为了从多个视图中挖掘潜在的互补信息，本文提出了一种新的潜在多视图半监督分类（LMSSC）方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同，我们的方法寻求一个潜在的潜在表示，并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性，潜在表示比单个视图更能全面地描述数据，从而使图更准确、更鲁棒。最后，LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中，使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
Reducing Labeling Costs in Sentiment Analysis via Semi-Supervised Learning
Georgia State University（佐治亚州立大学）
本研究提出基于流形假设的直推式标签传播方法，利用图方法生成伪标签并结合网络嵌入扩展标签，将未标记数据纳入监督学习以训练深度神经网络，有效降低了情感分析中的标注成本。
2024-10-15 cs.AI cs.CL cs.IR
Manifold Graph with Learned Prototypes for Semi-Supervised Image Classification
Georgia Tech（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
半监督学习方法的最新进展依赖于使用在标记数据（伪标记）上训练的模型来估计未标记数据的类别，并使用未标记数据进行各种基于一致性的正则化。在这项工作中，我们建议明确地利用数据流形的结构的基础上构建的流形图在特征空间内的图像实例。具体来说，我们提出了一个架构的基础上，图网络，共同优化特征提取，图形连接，和特征传播和聚合到未标记的数据在一个端到端的方式。此外，我们提出了一种新的原型生成器，用于生成一组不同的原型，这些原型代表每个类别，支持特征传播。为了评估我们的方法，我们首先贡献了一个强大的基线，它结合了两个基于一致性的正则化器，这些正则化器已经实现了最先进的结果，特别是在标签较少的情况下。然后，我们表明，当结合这些正则化，所提出的方法有利于信息从生成的原型到图像数据的传播，以进一步改善结果。我们提供了广泛的定性和定量的实验结果，半监督基准证明了我们的设计所产生的改进，并表明我们的方法实现了最先进的性能相比，现有的方法使用单一的模型和可比的集成方法。具体来说，我们在SVHN上实现了3.35%的出错率，在CIFAR-10上实现了8.27%的错误率，在CIFAR-100上实现了33.83%的错误率。由于标签少得多，我们超过了最先进的水平，平均相对误差降低了41%。
2019-06-13 cs.CV cs.LG stat.ML
Label Efficient Semi-Supervised Learning via Graph Filtering
The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
基于图的方法已经被证明是半监督学习最有效的方法之一，因为它们可以利用标记和未标记数据样本之间的连接模式来提高学习性能。然而，现有的基于图的方法要么是有限的，在他们的能力，联合建模图结构和数据特征，如经典的标签传播方法，或需要大量的标记数据的训练和验证，由于高模型的复杂性，如最近的基于神经网络的方法。在本文中，我们解决标签有效的半监督学习从图过滤的角度。具体来说，我们提出了一个图形过滤框架，将图形相似性注入到数据特征中，将它们作为图形上的信号，并应用低通图形过滤器来提取有用的数据表示进行分类，其中可以通过方便地调整图形过滤器的强度来实现标签效率。有趣的是，这个框架统一了两种看似非常不同的方法--标签传播和图卷积网络。在图过滤框架下重新审视它们会带来新的见解，从而提高它们的建模能力并降低模型复杂性。在四个引文网络和一个知识图谱上的各种半监督分类任务和一个用于zero-shot图像识别的半监督回归任务上的实验验证了我们的发现和建议。
2019-06-28 cs.AI cs.LG stat.ML
