Transductive Model Selection under Prior Probability Shift
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche(信息科学与技术研究所,国家研究理事会)
针对直推式分类场景中先验概率偏移导致的模型选择难题,提出一种直接在目标未标注数据上优化超参数的方法,实验验证其优于基于标注数据交叉验证的传统方法。
2025-07-30 cs.LG
Hyperspectral classification of blood-like substances using machine learning methods combined with genetic algorithms in transductive and inductive scenarios
Cracow University of Technology(克拉科夫科技大学);Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息学研究所)
本研究将遗传算法应用于高光谱图像分类的模型和波段选择。我们使用一个受法医启发的数据集,其中包含7张高光谱图像,其中包含血液和5种视觉相似的物质,在两种情况下测试GA优化的分类器:当训练和测试数据来自同一图像时,以及当它们来自不同图像时,由于光谱差异显著,这是一项更具挑战性的任务。在我们的实验中,我们比较遗传算法与一个经典的模型优化,通过网格搜索。我们的研究结果表明,基于GA的模型优化可以减少波段的数量,并创建一个准确的分类器,优于基于GS的参考模型,提供了在模型优化过程中,它可以访问类似于测试数据的例子。我们用实验来说明这一点,强调验证集的重要性。
2020-11-04 cs.CV cs.LG cs.NE
Towards Inductive Robustness: Distilling and Fostering Wave-induced Resonance in Transductive GCNs Against Graph Adversarial Attacks
Sichuan University(四川大学);Chengdu University of Information Technology(成都信息工程大学);Huazhong University of Science and Technology(华中科技大学)
该研究发现转导式GCN的波致共振可提供固有鲁棒性,提出图共振强化网络GRN,通过学习共振子图的节点表示实现归纳式鲁棒学习,可泛化到未见过的节点且在扰动图上保持SOTA分类精度。
2023-12-14 cs.LG
Inductive Matrix Completion Based on Graph Neural Networks
Washington University in St. Louis(圣路易斯华盛顿大学);Facebook(脸书)
我们提出了一个不使用边信息的归纳矩阵完备化模型。通过将(评级)矩阵分解为行(用户)和列(项目)的低维潜在嵌入的乘积,大多数现有的矩阵完成方法都是直推的,因为学习的嵌入不能推广到看不见的行/列或新矩阵。为了使矩阵补全归纳,大多数以前的作品使用内容(边信息),如用户的年龄或电影的类型,进行预测。然而,高质量的内容并不总是可用的,并且很难提取。在除了要完成的矩阵之外没有任何边信息可用的极端设置下,我们仍然可以学习归纳矩阵完成模型吗?在本文中,我们提出了一个基于归纳图的矩阵完成(IGMC)模型来解决这个问题。IGMC训练一个图神经网络(GNN),纯粹基于1跳子图周围(用户,项目)从评级矩阵生成的对,并将这些子图映射到其相应的评级。它通过最先进的转换基线实现了极具竞争力的性能。此外,IGMC是归纳性的--它可以概括为在训练过程中看不到的用户/项目(假设他们的交互存在),甚至可以转移到新的任务。我们的迁移学习实验表明,从MovieLens数据集训练出来的模型可以直接用于预测豆瓣电影的评分,并且性能惊人。我们的工作表明:1)可以在不使用边信息的情况下训练归纳矩阵完成模型,同时实现与现有技术的转换方法类似或更好的性能; 2)(用户,项目)对周围的局部图形模式是该用户给予项目的评级的有效预测器;以及3)长范围依赖性对于建模推荐系统可能不是必需的。
2020-02-16 cs.IR cs.LG stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)(塞阿拉联邦学院);Federal University of Ceará (UFC)(塞阿拉联邦大学);Sigma Nova
提出基于重心蒸馏的归纳式框架,将转导式GW-MDS嵌入转化为显式神经映射,在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction
KAIST(韩国科学技术院);AITRICS
许多实际的图问题,如知识图谱构建和药物相互作用预测,需要处理多关系图。然而,使用图神经网络(GNN)处理现实世界的多关系图通常具有挑战性,因为它们的演化性质,随着时间的推移,新的实体(节点)可能会出现。此外,新出现的实体往往没有什么联系,这使得学习更加困难。出于这一挑战,我们引入了一个现实的问题,Few-Shot出图链接预测,在那里我们不仅预测看到的和看不见的节点之间的链接,在传统的知识外链接预测任务,但也看不见的节点之间,每个节点只有很少的边缘。我们用一个新的转导元学习框架来解决这个问题,我们称之为图外推网络(GEN)。GEN元学习用于归纳推理(seen-to-unseen)的节点嵌入网络和用于转导推理(unseen-to-unseen)的链接预测网络。对于直推式链接预测,我们进一步提出了一个随机嵌入层来模拟未知实体之间的链接预测中的不确定性。我们在多个基准数据集上验证了我们的模型,用于知识图谱完成和药物相互作用预测。结果表明,我们的模型显着优于相关基线的图外链接预测任务。
2020-10-29 cs.LG stat.ML
Task-Adaptive Pseudo Labeling for Transductive Meta-Learning
Inha University(仁荷大学)
针对元学习支持集有限导致的样本偏差,本文提出直推式任务自适应伪标签方法,利用标签传播为查询集生成伪标签,并在 5-way 1-shot 分类中超越 SOTA。
2023-04-21 cs.AI cs.LG
How Neural Processes Improve Graph Link Prediction
The University of Sydney(悉尼大学)
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上,但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中,我们提出了一个元学习方法与图神经网络的链接预测:神经过程图神经网络(NPGNN),它可以执行两个转导和归纳学习任务,并适应模式在一个大的新的图训练后,一个小的子图。在真实世界的图上进行实验来验证我们的模型,结果表明,与其他最先进的模型相比,所提出的方法具有更强的性能,同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London(帝国理工学院);University College London(伦敦大学学院);City University of London(伦敦城市大学)
我们提出了一个新的关系VAE半监督模型,能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面,在半监督表示上强制执行结构可以大大提高zero-shot转导传输,但可能不太有利,甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Inductive Graph Neural Networks for Moving Object Segmentation
La Rochelle Université(拉罗谢尔大学);Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院)
针对运动目标分割在现实部署中无法访问全部数据的直推式学习局限,提出基于图神经网络的GraphIMOS归纳算法,利用已训练模型对新数据帧进行预测,性能优于现有方法且更具通用性。
2023-05-16 cs.CV cs.LG
Node Masking: Making Graph Neural Networks Generalize and Scale Better
Facebook AI;Facebook
图神经网络(GNN)在最近一段时间受到了广泛的关注。从早期的光谱架构只能在无向图上操作的每一个转换学习范式到目前最先进的空间架构,可以归纳地应用于任意图,GNN已经看到了来自研究界的重大贡献。在本文中,我们利用一些理论工具来更好地可视化最先进的空间GNN执行的操作。我们分析了这些架构的内部工作原理,并引入了一个简单的概念,节点掩码,使它们能够更好地泛化和扩展。为了从经验上验证这一概念,我们在一些广泛使用的数据集上进行了几次实验,用于在转导和归纳设置中进行节点分类,从而为未来的研究奠定了强有力的基准。
2021-05-16 cs.AI cs.LG stat.ML
Link Stealing Attacks Against Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Hong Kong University of Science and Technology(香港科技大学);University of Birmingham(伯明翰大学);University of Lausanne(洛桑大学);Duke University(杜克大学)
本文从链接窃取攻击视角系统分析归纳式GNN隐私,提出仅后验与组合攻击,并在六个数据集上验证其有效性、鲁棒性及现有防御不足。
2024-05-09 cs.CR cs.LG
Revisiting Semi-Supervised Learning with Graph Embeddings
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个基于图嵌入的半监督学习框架。给定实例之间的图,我们训练每个实例的嵌入,以联合预测图中的类标签和邻域上下文。我们开发了我们的方法的转导和诱导变体。在我们方法的转换变体中,类标签由学习的嵌入和输入特征向量确定,而在归纳变体中,嵌入被定义为特征向量的参数函数,因此可以对训练期间未看到的实例进行预测。在大量不同的基准任务(包括文本分类、远程监督实体提取和实体分类)上,我们显示出比许多现有模型更好的性能。
2016-05-26 cs.LG
Benchmarking Sheaf Neural Networks for Inductive Tasks
本文通过首个层状神经网络设计空间的系统基准测试,在14个归纳式数据集上开展1890项实验,明确了层状神经网络在归纳任务中的表现及关键设计选择,为其实际应用提供了指导。
2026-08-04 cs.LG
Item Graph Convolution Collaborative Filtering for Inductive Recommendations
Insight Centre for Data Analytics(洞察数据分析中心)
图卷积网络(GCN)最近已被用作推荐系统算法的构建中的核心组件,解释用户项目的交互作为一个二分图的边缘。然而,在没有边信息的情况下,大多数现有模型采用随机初始化用户嵌入并在整个训练过程中对其进行优化的方法。这种策略使这些算法具有内在的传导性,从而削弱了它们为用户生成在训练时看不到的预测的能力。为了解决这个问题,我们提出了一个基于卷积的算法,这是归纳从用户的角度来看,而在同一时间,只依赖于隐式的用户项交互数据。我们建议通过二分交互网络的加权投影构建项目-项目图,并采用卷积将高阶关联注入项目嵌入,同时将用户表示构建为与其交互的项目的加权和。尽管没有为每个用户训练单独的嵌入,但我们的方法在四个真实世界数据集上的转换基线方面实现了最先进的推荐性能,同时显示了强大的归纳性能。
2023-03-28 cs.IR cs.LG
Trajectory Encoding Temporal Graph Networks
University of Manchester(曼彻斯特大学)
针对现有时序图网络(TGNs)在直推与归纳场景下的性能困境,提出轨迹编码TGN(TETGN),通过可扩展节点ID的时序位置特征与消息传递,平衡直推精度与归纳泛化能力,在动态图任务中显著优于基线模型。
2025-04-15 cs.AI cs.LG
MINT: Mutual Information based Transductive Feature Selection for Genetic Trait Prediction
IBM T.J. Watson Research(IBM T.J. 沃森研究中心);Limagrain Europe(利马格兰欧洲)
利用高密度基因分型芯片对复杂表型性状进行全基因组预测,由于其与动植物育种和遗传流行病学领域相关,因此引起了极大的关注。由于基因型的数量通常比样本的数量大得多,预测模型受到维数灾难的影响。维数灾难问题不仅影响特定基因组选择方法的计算效率,而且还可能导致性能不佳,这主要是由于标记之间的相关性。在这项工作中,我们提出了第一个直推特征选择方法的基础上MRMR(最大相关性和最小冗余)标准,我们称之为MINT。我们应用MINT遗传性状预测问题,并表明,在一般情况下,MINT是一个更好的特征选择方法比国家的最先进的归纳方法mRMR。
2013-10-07 cs.CE cs.LG
Multi-modal Graph Fusion for Inductive Disease Classification in Incomplete Datasets
Technical University of Munich (TUM)(慕尼黑工业大学);German Center for Vertigo and Balance Disorders (DSGZ), Ludwig-Maximilians-Universität (LMU)(路德维希-马克西米利安大学(LMU)德国眩晕与平衡障碍中心(DSGZ));Johns Hopkins University(约翰斯·霍普金斯大学)
临床诊断决策和基于人群的研究通常依赖于多模态数据,这些数据具有噪声和不完整性。最近,几项工作提出了几何深度学习方法来解决疾病分类,通过将患者建模为图中的节点,以及多模态特征的图信号处理。这些方法中的许多都受到假设模态和特征完整性以及转导推理的限制,这需要为每个新的测试样本重新训练整个模型。在这项工作中,我们提出了一种新的基于归纳图的方法,可以推广到样本外的患者,尽管每个患者的整个模式的功能缺失。我们提出了多模态图融合,它是训练端到端的节点级分类。我们证明了这种方法的基本工作原理上简化的MNIST玩具数据集。在医学数据的实验中,我们的方法优于单一的静态图方法在多模态疾病分类。
2019-05-08 cs.LG stat.ML
Trading off Quality for Efficiency of Community Detection: An Inductive Method across Graphs
HKUST(香港科技大学);Huawei(华为)
许多网络应用可以归结为社区发现(CD)的NP难组合优化问题。由于NP困难,平衡CD质量和效率仍然是一个挑战。大多数现有的CD方法是转导的,这是独立优化的CD上的一个单一的图形。这些方法中的一些使用先进的机器学习技术来获得高质量的CD结果,但通常具有高复杂性。其他方法使用快速启发式近似来确保较低的运行时间,但可能会出现质量下降的情况。与这些转换方法相比,我们提出了一种替代的感应社区发现(ICD)方法,通过系统或场景的图形来减轻NP难的挑战。ICD首先在历史图上进行对抗性双GNN的离线训练,以捕获系统的关键属性。然后,将训练好的模型直接推广到新的未见过的在线CD图,而无需额外的优化,可以在质量和效率之间实现更好的权衡。ICD还可以在离线训练中捕获置换不变社区标签,并在具有非固定数量节点和社区的新图上处理在线CD。在一组基准上的实验表明,ICD可以在各种基线上实现质量和效率之间的显着权衡。
2022-09-29 cs.LG cs.SI
GraphUniverse: Synthetic Graph Generation for Evaluating Inductive Generalization
Universitat Politècnica de Catalunya(巴塞罗那理工大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
GraphUniverse通过生成具有持久语义社区的合成图,系统评估了归纳泛化能力,揭示了强传递性表现与归纳泛化能力的关联性不足,以及分布偏移鲁棒性对模型架构和初始图阶段的敏感性。
2026-02-28 cs.AI cs.LG
Finding Needles in the Haystack: Transductive Active Labeling in Ecology
Massachusetts Institute of Technology(麻省理工学院)
本文提出转导式主动标注方法,通过发现稀有类样本解决生态数据长尾分布问题,并设计混合停止准则提升稀有类恢复。
2026-07-01 cs.LG
Inductive Representation Learning on Large Graphs
Stanford University(斯坦福大学)
大型图中节点的低维嵌入在各种预测任务中非常有用,从内容推荐到识别蛋白质功能。然而,大多数现有的方法要求在嵌入的训练期间图中的所有节点都存在;这些以前的方法本质上是转导的,并且不会自然地推广到看不见的节点。在这里,我们提出了GraphSAGE,一个通用的归纳框架,利用节点特征信息(例如,文本属性)来有效地生成先前未见过的数据的节点嵌入。我们不是为每个节点训练单独的嵌入,而是学习一个函数,该函数通过从节点的局部邻域中采样和聚合特征来生成嵌入。我们的算法在三个归纳节点分类基准上的性能优于强基线:我们根据引用和Reddit帖子数据对不断变化的信息图中的未见过节点的类别进行分类,并且我们表明我们的算法使用多图数据集推广到完全未见过的图蛋白质-蛋白质相互作用。
2018-09-10 cs.LG cs.SI stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
Inductive Graph Neural Networks for Spatiotemporal Kriging
McGill University(麦吉尔大学);HEC Montreal(蒙特利尔高等商学院)
时间序列预测和时空克立格法是时空数据分析中的两个最重要的任务。近年来,图神经网络在时间序列预测方面取得了很大的进展,但对Kriging问题(未采样位置/传感器的信号恢复)的研究却很少。大多数现有的可扩展克里金方法(例如,矩阵/张量完成)是可转换的,因此当我们有新的传感器要插值时,需要完全重新训练。在本文中,我们开发了一个归纳图神经网络克立格(IGNNK)模型,以恢复网络/图结构上的未采样传感器的数据。为了推广距离和可达性的影响,我们生成随机子图作为样本,并为每个样本重建相应的邻接矩阵。通过重构每个样本子图上的所有信号,IGNNK可以有效地学习空间消息传递机制。几个真实世界的时空数据集上的实证结果证明了我们的模型的有效性。此外,我们还发现,学习的模型可以成功地转移到一个看不见的数据集上的相同类型的克里金任务。我们的研究结果表明:1)GNN是空间克里金法的高效工具; 2)归纳GNN可以使用动态邻接矩阵进行训练; 3)经过训练的模型可以转换为新的图形结构; 4)IGNNK可以用于生成虚拟传感器。
2020-12-19 cs.LG stat.ML
Graph Transductive Defense: a Two-Stage Defense for Graph Membership Inference Attacks
Shanghai Jiao Tong University(上海交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Laboratory(上海人工智能实验室)
本文针对图直推学习下的成员推理攻击提出两阶段防御方法GTD,通过训练-测试交替调度与平坦化策略缩小损失分布差异,在降低攻击AUROC的同时提升模型效用。
2024-06-12 cs.AI cs.LG
Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective
Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
本文提出归纳式图对齐提示(IGAP),从图谱视角统一图预训练框架,通过在谱空间中使用可学习提示弥合图信号与结构差距,实现预训练模型在归纳式场景下的有效微调。
2024-02-21 cs.AI cs.LG
Semi-Supervised Prediction of Gene Regulatory Networks Using Machine Learning Algorithms
New Jersey Institute of Technology(新泽西理工学院)
使用计算方法从基因表达数据预测基因调控网络(GRNs)是一项具有挑战性的任务。许多研究已经进行了使用无监督的方法来完成任务,然而,这样的方法通常会产生低的预测精度,由于缺乏训练数据。在这篇文章中,我们提出了半监督方法GRN预测利用两个机器学习算法,即支持向量机(SVM)和随机森林(RF)。半监督方法利用未标记的数据进行训练。我们研究了归纳和转导学习方法,这两种方法都采用迭代过程从未标记数据中获得可靠的负训练数据。然后,我们将我们的半监督方法应用于大肠杆菌和酿酒酵母的基因表达数据,并使用表达数据评估我们的方法的性能。我们的分析表明,转导学习方法优于归纳学习方法的两种生物。然而,在SVM和RF的性能方面没有确定的差异。实验结果还表明,所提出的半监督方法比现有的监督方法更好地为这两种生物。
2016-08-11 cs.LG q-bio.QM stat.ML
Graphs, Entities, and Step Mixture
Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院);Naver Shopping, NAVER Corp.(NAVER公司NAVER购物)
现有的图神经网络的方法通常遭受过平滑问题,无论如何聚集邻域。大多数方法还专注于固定图的转换场景,导致未见过图的泛化能力较差。为了解决这些问题,我们提出了一个新的图神经网络,同时考虑基于边缘的邻域关系和基于节点的实体特征,即通过随机游走的步骤混合图实体(GESM)。GESM采用各种步骤的混合,通过随机游走,以减轻过度平滑的问题,注意动态反映依赖于节点信息的相互关系,和基于结构的正则化,以增强嵌入表示。通过大量的实验,我们表明,所提出的GESM实现了最先进的或相当的性能在8个基准图数据集,包括转导和归纳学习任务。此外,我们实证证明了考虑全球信息的重要性。
2020-06-24 cs.LG stat.ML
Balanced Anomaly-guided Ego-graph Diffusion Model for Inductive Graph Anomaly Detection
Renmin University of China(中国人民大学);Independent Researcher(独立研究者);Microsoft(微软);Nanjing University of Posts and Telecommunications(南京邮电大学);Cornell University(康奈尔大学)
本文提出一种平衡的异常引导自环图扩散模型,通过动态图建模和课程异常增强机制解决图异常检测中的动态性和类别不平衡问题。
2026-02-05 cs.AI cs.LG
Inductive Sparse Subspace Clustering
稀疏子空间聚类(SSC)通过在基于$\ell^{1}$范数的相似图上执行谱聚类来实现最先进的聚类质量。然而,SSC是一种转导方法,其不处理不用于构建图的数据(样本外数据)。对于每个新数据,SSC需要在O(n)变量中求解$n$优化问题,以在整个数据集上执行算法,其中$n$是数据点的数量。因此,它是低效的应用SSC在快速在线聚类和可扩展的图形。在这封信中,我们提出了一个归纳谱聚类算法,称为归纳稀疏子空间聚类(iSSC),这使得SSC可行的聚类样本外的数据。iSSC采用了这样的假设,即高维数据实际上位于低维流形上,使得样本外数据可以在从样本内数据学习的嵌入空间中分组。实验结果表明,iSSC是有前途的聚类样本外的数据。
2013-03-02 cs.LG
Sequential Experimental Design for Transductive Linear Bandits
University of Washington(华盛顿大学)
在本文中,我们介绍了直推线性强盗问题:给定一组测量向量$\mathcal{X}\subset \mathbb{R}^d$,一组项目$\mathcal{Z}\subset \mathbb{R}^d$,一个固定的信心$δ$,和一个未知的向量$θ^{\ast}\in \mathbb{R}^d$,目标是推断$\text{argmax}_{z\in \mathcal{Z}} z^\topθ^\ast$概率$1-δ$的形式$x^\topθ^{\ast}$尽可能少的顺序选择的噪声测量。当$\mathcal{X}=\mathcal{Z}$时,此设置概括线性Bandits,而当$\mathcal{X}$是标准基向量且$\mathcal{Z}\subset \{0,1\}^d$是组合Bandits时。当测量向量的集合由于诸如可用性或成本之类的因素而受到限制时,这种转换设置自然出现。例如,在药物发现中,由于成本或安全性原因,从业者可能愿意在实验室中体外评估的化合物和剂量$\mathcal{X}$可能与可以在体内安全地施用给患者的那些化合物和剂量$\mathcal{Z}$有很大不同。可替换地,在用于书籍的推荐系统中,用户被查询的书籍集合$\mathcal{X}$可以被限制为众所周知的畅销书,即使目标可能是推荐更深奥的标题$\mathcal{Z}$。在本文中,我们提供了依赖于实例的下限的转导设置,匹配这些对…
2019-06-20 cs.LG stat.ML
Conformal Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Cologne(科隆大学)
针对传统共形预测因消息传递导致校准分数偏移、无法用于归纳式图节点分类的问题,提出适配节点/边可交换图的方法,在保障统计效率的同时恢复标准覆盖保证,且保证与预测时间无关。
2024-07-12 cs.LG
Inductive Correlation Clustering with Graph Neural Networks
Sapienza University of Rome(罗马大学);Intesa Sanpaolo AI Research(裕信银行人工智能研究院);Bowling Green State University(鲍灵格林州立大学)
本研究针对关联聚类算法的直推式缺陷,提出基于图神经网络的归纳式关联聚类框架,可高效推广至新图,在归纳设置下推理时间大幅降低,还可作为图分类的高效池化层。
2026-08-28 cs.DS cs.LG
An Open Challenge for Inductive Link Prediction on Knowledge Graphs
Mila(米拉研究所);McGill University(麦吉尔大学);LMU Munich(慕尼黑大学);Harvard Medical School(哈佛医学院)
在知识图谱(KG)上的表示学习中的新兴趋势超越了在固定的已知实体集合上的转导链接预测任务,而倾向于归纳任务,该归纳任务意味着在一个图上进行训练并在具有未知实体的新图上执行推理。在归纳设置中,节点特征通常不可用,并且训练浅实体嵌入矩阵是没有意义的,因为它们不能在推理时与看不见的实体一起使用。尽管人们对归纳表示学习方法的兴趣越来越大,但还没有足够的基准来评估归纳学习方法。在这项工作中,我们介绍了ILPC 2022,KG归纳链接预测的一个新的开放的挑战。为此,我们基于Wikidata构建了两个新的数据集,其中包含各种大小的训练和推理图,比现有的归纳基准大得多。我们还提供了两个强大的基线,利用最近提出的归纳方法。我们希望这个挑战有助于简化社区在归纳图表示学习领域的工作。ILPC 2022遵循评估公平性和可重复性的最佳实践,可在https://github.com/pykeen/ilpc2022上获得。
2022-04-18 cs.AI cs.LG
Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time
MIT(麻省理工学院)
从CNN到注意力机制,将归纳偏差编码到神经网络中一直是机器学习改进的富有成效的来源。在主目标函数中添加辅助损失是编码偏差的一般方法,可以帮助网络学习更好的表示。然而,由于辅助损失仅在训练数据上最小化,因此它们遭受与常规任务损失相同的泛化间隙。此外,通过向损失函数添加一项,该模型优化了与我们关心的目标不同的目标。在这项工作中,我们解决了两个问题:首先,我们从\textit{transductive learning}中获得灵感,并注意到在接收输入后但在进行预测之前,我们可以对任何无监督损失进行微调。我们称这个过程为{ \em tailoring},因为我们为每个输入定制模型,以确保我们的预测满足归纳偏差。其次,我们制定{ \em元裁剪},一个嵌套的优化类似于元学习,并训练我们的模型,使其在使用无监督损失进行调整后,在任务目标上表现良好。裁剪和元裁剪的优点进行了理论讨论,并证明了经验上的一组不同的例子。
2021-09-06 cs.CV cs.LG stat.ML
Regularized Optimal Transport for Dynamic Semi-supervised Learning
Université Sorbonne Paris Nord(巴黎北索邦大学);LaMSN - La Maison des Sciences Numériques(数字科学之家)
半监督学习提供了一种有效的范例,可以利用未标记的数据来提高模型的性能。在提出的许多策略中,基于图的方法显示出优异的性能,特别是因为它们允许根据Vapnik的原理直接解决转导任务,并且它们可以有效地扩展为归纳任务。在本文中,我们提出了一种新的方法,使用一个完整的二分边加权图的转导半监督学习。所提出的方法使用正则化的最佳运输经验的措施之间定义的标记和未标记的数据点,以获得一个亲和矩阵的最佳运输计划。该矩阵还用于在增量过程中通过图的顶点传播标签,通过结合基于香农熵的确定性得分来确保预测的确定性。我们还分析了我们的方法的收敛性,我们得出了一个有效的方法来扩展它的样本外的数据。实验分析是用来比较所提出的方法与其他标签传播算法在12个基准数据集,我们超越了国家的最先进的结果。我们发布代码。
2021-03-25 cs.LG stat.ML
Reevaluation of Inductive Link Prediction
AIT Austrian Institute of Technology GmbH(奥地利技术研究院);University of Mannheim(曼海姆大学)
本文指出归纳式链接预测现有评估协议因负例采样规模过小存在严重缺陷,并在多个基准上采用直推式评估协议重新评估现有方法,同时提出改进的采样协议,发现评估结果与已有报告显著不同。
2024-09-30 cs.AI cs.LG
Universal Graph Transformer Self-Attention Networks
Oracle Labs(甲骨文实验室);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们引入了一个基于transformer的GNN模型,名为UGformer,来学习图形表示。特别是,我们提出了两种UGformer变体,其中第一种变体(于2019年9月发布)是在每个输入节点的一组采样邻居上利用Transformer,而第二种变体(于2021年5月发布)是在所有输入节点上利用Transformer。实验结果表明,第一个UGformer变体在归纳设置和无监督转换设置中的图分类的基准数据集上实现了最先进的精度;第二个UGformer变体获得了归纳文本分类的最先进的精度。代码可在以下网址获得:\url{https://github.com/daiquocnguyen/Graph-Transformer}。
2022-03-08 cs.CV cs.LG stat.ML
Inductive Representation Learning in Temporal Networks via Causal Anonymous Walks
Stanford University(斯坦福大学);Purdue University(普渡大学)
时态网络是许多现实世界动态系统的抽象。这些网络通常根据某些规律发展,例如三元闭合定律,这在社交网络中是普遍的。时态网络的归纳表示学习应该能够捕捉到这样的规律,并进一步应用于遵循相同规律但在训练阶段尚未发现的系统。以前的工作在这方面依赖于网络节点的身份或丰富的边缘属性,通常无法提取这些法律。在这里,我们提出了因果匿名散步(CAWs)归纳表示一个时间网络。CAW通过时间随机游走提取,并作为时间网络图案的自动检索来表示网络动态,同时避免了耗时的选择和计数这些图案。CAWs采用了一种新的匿名化策略,该策略基于一组采样的行走,用节点的命中计数代替节点身份,以保持方法的归纳性,同时建立motif之间的相关性。我们进一步提出了一个神经网络模型CAW-N来编码CAW,并将其与具有恒定内存和时间成本的CAW采样策略配对,以支持在线训练和推理。CAW-N被评估为预测6个实时网络上的链接,并且在归纳设置中平均10%的AUC增益均匀优于以前的SOTA方法。CAW-N在6个网络中的4个中也优于先前的方法。
2022-10-31 cs.LG cs.SI stat.ML
PAC-Bayesian Generalization Bounds for Graph Convolutional Networks on Inductive Node Classification
本文针对动态图上的归纳式节点分类,提出PAC-Bayesian分析,为一层和两层GCN推导依赖数据下的泛化界及收敛条件,奠定动态图泛化理论基础。
2025-09-08 cs.LG
Rethinking Open-World Semi-Supervised Learning: Distribution Mismatch and Inductive Inference
Yonsei University(延世大学)
本文指出现有开放世界半监督学习依赖类分布一致和直推式评估的局限,通过引入分布不匹配与归纳推理设置,提出更符合真实场景的泛化训练、评估与学习策略。
2024-05-31 cs.CV cs.LG
Label Propagation for Deep Semi-supervised Learning
Czech Technical University in Prague(布拉格捷克理工大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所)
半监督学习正变得越来越重要,因为它可以将人类仔细标记的数据与大量未标记的数据相结合,以训练深度神经网络。半监督学习的经典方法专注于转导学习,但在现代深度学习遵循的归纳框架中尚未得到充分利用。这同样适用于流形假设--相似的例子应该得到相同的预测。在这项工作中,我们采用了一种基于流形假设的转换标签传播方法来对整个数据集进行预测,并使用这些预测来为未标记的数据生成伪标签,并训练深度神经网络。转换方法的核心是我们基于同一网络的嵌入创建的数据集的最近邻图。因此,我们的学习过程在这两个步骤之间迭代。我们提高了几个数据集的性能,特别是在少数标签制度,并表明我们的工作是补充目前的最先进的。
2019-04-09 cs.CV cs.LG
Inductive detection of Influence Operations via Graph Learning
The George Washington University(乔治华盛顿大学)
本文提出一种基于图学习的归纳式检测框架,通过提取跨操作通用的内容与图指标并编码协调操纵的抽象特征,实现对源自俄、中、伊的新型影响力操作的有效泛化检测,弥补了直推式方法的不足。
2023-05-26 cs.CR cs.LG cs.SI
User Embedding based Neighborhood Aggregation Method for Inductive Recommendation
Microsoft Research India(微软印度研究院)
我们考虑在推荐设置中学习用户和项目的潜在特征(aka嵌入)的问题。只给出一个用户-项目交互图,目标是为每个用户推荐项目。传统的方法采用基于矩阵分解的协同过滤方法。最近的使用图卷积网络的方法(例如,LightGCN)实现最先进的性能。他们学习用户和项目嵌入。大多数现有方法的一个主要缺点是它们不是归纳的;它们不能概括在训练过程中看不到的用户和项目。此外,现有的网络模型相当复杂,难以训练和规模。受LightGCN的启发,提出了一种协同过滤CF-GCN的图卷积网络建模方法。我们只学习用户嵌入,并使用执行邻域聚合的轻变体CF-LGCN-U导出项目嵌入,由于降低了模型复杂度,因此具有可扩展性。CF-LGCN-U模型自然具有对新项目的归纳能力,我们提出了一个简单的解决方案来推广新用户。我们展示了所提出的模型是如何与LightGCN相关的。作为副产品,我们提出了一个简单的解决方案,使LightGCN感应。我们在几个基准数据集上进行了全面的实验,并证明了所提出的方法的能力。实验结果表明,类似的或更好的泛化性能是实现比最先进的方法在两个转导和归纳设置。
2021-02-16 cs.IR cs.LG
Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning
CAI, University of Technology Sydney(悉尼科技大学CAI);University of Oxford(牛津大学);AITRICS;KAIST(韩国科学技术院);Baidu Research(百度研究院)
少样本学习的目标是学习一个分类器,即使在每个类的训练实例数量有限的情况下也能很好地泛化。最近引入的元学习方法通过在大量多类分类任务中学习通用分类器并将模型推广到新任务来解决这个问题。然而,即使有了这样的元学习,新分类任务中的低数据问题仍然存在。在本文中,我们提出了一种新的元学习框架--直推传播网络(TPN),它可以对整个测试集进行一次分类,以缓解低数据问题。具体来说,我们建议通过学习利用数据中的流形结构的图构造模块来学习将标签从标记实例传播到未标记的测试实例。TPN以端到端的方式联合学习特征嵌入和图构造的参数。我们在多个基准数据集上验证了TPN,它在很大程度上优于现有的少样本学习方法,并取得了最先进的结果。
2019-02-08 cs.CV cs.LG cs.NE
Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation
Carleton University(卡尔顿大学);CIFAR AI Chair(CIFAR人工智能讲席);Amii(阿尔伯塔机器智能研究所)
无监督领域自适应通过将知识从源领域适应到目标领域来减少对深度学习中数据注释的依赖。出于隐私和效率考虑,无源领域自适应通过在不访问源数据的情况下将预训练的源模型适配到未标记的目标域来扩展无监督的领域自适应。然而,大多数现有的无源领域自适应方法集中在转导设置,其中目标训练集也是测试集。在本文中,我们解决无源领域自适应在更现实的归纳设置,目标训练和测试集是互斥的。提出了一种新的半监督微调方法--双滑动平均伪标记法(DMAPL),用于无源归纳领域自适应。我们首先根据预训练源模型的预测置信度得分将目标域中的未标记训练集分为伪标记置信子集和未标记置信度较低的子集。然后,我们提出了一个软标签的移动平均更新策略的基础上的移动平均原型分类器的未标记的子集,逐渐适应的源模型向目标域。实验表明,我们提出的方法达到了最先进的性能,并大大优于以前的方法。
2022-12-15 cs.CV cs.LG
TuneUp: A Simple Improved Training Strategy for Graph Neural Networks
Stanford University(斯坦福大学);Amazon(亚马逊公司);National University of Singapore(新加坡国立大学)
针对GNN传统均等训练策略的次优问题,提出两阶段课程学习训练策略TuneUp,通过合成尾节点数据优化难样本学习,理论证明并实验验证其在多架构多任务下显著提升尾节点乃至整体预测性能。
2023-08-26 cs.AI cs.LG stat.ML
Meta-Inductive Node Classification across Graphs
Singapore Management University(新加坡管理大学)
图上的半监督节点分类是一个重要的研究问题,在信息检索中有许多实际应用,例如社交网络上的内容分类和电子商务查询图上的查询意图分类。虽然传统的方法在很大程度上是传导性的,但最近的图神经网络(GNN)将节点特征与网络结构相结合,从而实现了可以应用于相同特征空间中的新节点甚至新图的归纳节点分类模型。然而,图间差异仍然存在于同一域内的图之间。因此,仅训练一个全局模型(例如,现有技术的GNN)来处理所有新的图,同时忽略图间差异,可能导致次优性能。本文研究了图上的归纳节点分类问题。与现有的一个模型适合所有的方法不同,我们提出了一种新的元归纳框架,称为MI-GNN,在元学习范式下为每个图定制归纳模型。也就是说,MI-GNN不直接学习归纳模型;它学习如何在新图上训练半监督节点分类模型的一般知识。为了处理图之间的差异,MI-GNN在图和任务级别都采用了双重自适应机制。更具体地说,我们在适应图级差异之前学习图,并且在适应以图为条件的任务级差异之前学习任务。对五个真实世界图集合的广泛实验证明了我们提出的模型的有效性。
2022-03-27 cs.LG cs.SI
Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
子空间聚类已经成为一种对高维数据进行聚类的最先进的方法。特别是,依赖于自我表达属性的方法最近被证明特别成功。然而,它们有两个主要缺点:第一,直接学习二次尺寸的系数矩阵,这阻止了这些方法扩展到小数据集之外。其次,经过训练的模型是传导性的,因此不能用于对训练期间未看到的样本外数据进行聚类。而不是学习自我表达系数直接,我们提出了一种新的度量学习方法来学习,而不是一个子空间的亲和函数使用连体神经网络架构。因此,我们的模型受益于恒定数量的参数和恒定大小的内存占用,使其能够扩展到相当大的数据集。此外,我们可以正式证明,我们的模型仍然能够准确地恢复子空间集群给定的独立性假设。连体架构结合一个新的几何分类器,进一步使我们的模型归纳,使其能够聚类样本外的数据。此外,通过简单地将自动编码器模块添加到架构中,可以检测非线性集群。然后,整个模型可以以自我监督的方式进行端到端的训练。这项正在进行的工作报告了MNIST数据集上有希望的初步结果。本着可复制研究的精神,我将所有代码公开。在未来的工作中,我们计划研究我们的模型的几个扩展,并扩大实验评估。
2020-12-18 cs.CV cs.LG stat.ML
Integrative conformal p-values for powerful out-of-distribution testing with labeled outliers
University of Southern California(南加州大学);Zhejiang University(浙江大学)
本文发展了新的共形方法,以测试是否一个新的观察是从相同的分布作为参考集采样。以创新的方式混合归纳和转换共形推理,所描述的方法可以以原则性的方式基于来自已知分布外数据的依赖侧信息来重新加权标准共形p值,并且可以自动利用来自任何一类和二进制分类器集合的最强大的模型。该解决方案可以通过样本分割或通过一种新的转导交叉验证+方案来实现,该方案也可以用于共形推理的其他应用中,因为与现有的交叉验证方法相比,它具有更严格的保证。在研究了错误发现率控制和功率与几个可能的离群值的多重检验框架内,所提出的解决方案,通过模拟以及图像识别和表格数据的应用程序优于标准的共形p值。
2022-08-23 cs.LG math.ST stat.ME
Hypergraph Pre-training with Graph Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
尽管超图在各种高影响力的应用中普遍存在,但关于超图表示学习的工作相对较少,其中大多数主要集中在超链接预测上,通常限于转导学习环境。其中,有效的超图表示学习的主要障碍在于节点和/或超边的标签稀缺性。为了解决这个问题,本文提出了一个端到端的,两个层次的预训练策略与图神经网络的超图。所提出的名为HyperGene的框架具有三个独特的优势。首先,它能够在可用时摄取标签信息,但更重要的是,它主要是以自我监督的方式设计的,这大大拓宽了它的适用性。其次,在心脏的建议HyperGene是两个精心设计的借口,一个在节点级别和其他的超边缘水平,这使我们能够编码本地和全球的背景下,在一个相互补充的方式。第三,所提出的框架可以在转换和归纳设置。当串联应用这两个提出的借口时,由于所提出的方法的双层性质,它可以加速知识从预训练模型到转换设置中的下游应用的适应。大量的实验结果表明:(1)HyperGene在超边缘分类方面实现了高达5.69%的改进,(2)平均提高了42.80%的预训练效率。
2021-05-23 cs.LG
Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization
Zhoukou Normal University(周口师范学院);South China University of Technology(华南理工大学);Georgia Southwestern State University(佐治亚西南州立大学);University of New South Wales(新南威尔士大学)
该研究针对图神经网络性能依赖损失函数选择但缺乏大规模协同评估的问题,通过7种GNN架构、30种损失组合在3个数据集上的实验,分析了不同设置下的最优组合,揭示了混合损失、GIN等的性能特点。
2025-06-17 cs.LG
Learning Functional Transduction
Artificial and Natural Intelligence Toulouse Institute(图卢兹人工智能与自然智能研究所);Universite de Toulouse(图卢兹大学);Carney Institute for Brain Science(卡尼脑科学研究所);Brown University(布朗大学);Centre de Recherche Cerveau & Cognition(脑与认知研究中心);CNRS(法国国家科学研究中心)
本文提出一种混合方法,通过梯度下降元学习直推回归原理,利用向量值再生核 Banach 空间理论构建高效的上下文神经逼近器,以极低计算成本在少量数据下对复杂物理系统进行快速函数关系建模。
2023-05-18 cs.LG cs.NE
Link Prediction with Non-Contrastive Learning
University of California, Riverside(加州大学河滨分校);University of Notre Dame(圣母大学);Snap Inc.(Snap公司)
图神经网络(GNNs)空间中最近的一个焦点领域是图自监督学习(SSL),其目的是在没有标记数据的情况下导出有用的节点表示。值得注意的是,许多最先进的图SSL方法是对比方法,其使用正样本和负样本的组合来学习节点表示。由于负采样的挑战(缓慢和模型敏感性),最近的文献介绍了非对比方法,而不是只使用正样本。虽然这些方法在节点级任务中表现出很好的性能,但它们对链接预测任务的适用性尚未得到探索,这些任务涉及预测节点对之间的链接存在(并且对推荐系统上下文具有广泛的适用性)。在这项工作中,我们广泛地评估现有的非对比方法的性能,链接预测在转导和感应设置。虽然大多数现有的非对比方法整体表现不佳,但我们发现,令人惊讶的是,BGRL通常在转导设置中表现良好。然而,它在更现实的归纳设置中表现不佳,在这种设置中,模型必须泛化到指向/来自看不见的节点的链接。我们发现非对比模型倾向于过拟合训练图,并使用此分析提出T-BGRL,这是一种新的非对比框架,它包含廉价的腐败以提高模型的泛化能力。这个简单的修改极大地提高了我们5/6数据集的归纳性能,在50次点击中提高了120%--所有这些都与其他非对比基线相当,比性能最好的对比基线快14倍。我们的工作为链接预测的非对比学习提供了有趣的发现,并为未来的研究人员进一步扩展这一领域铺平了道路。
2023-03-28 cs.LG cs.SI