Hyperbolic Graph Representation Learning for Differential Diagnosis on Biomedical Knowledge Graphs
Università degli Studi di Milano(米兰大学);Università della Svizzera italiana (USI)(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);Aalto University(阿尔托大学);FGV(杰图利奥·瓦加斯基金会)
本文研究双曲图表示学习在生物医学知识图谱中用于孟德尔疾病鉴别诊断,证明其在低维下优于欧几里得基线,并能利用层次结构支持诊断推理。
2026-09-17 cs.AI cs.LG
A Tutorial on Learning With Bayesian Networks
Microsoft Research(微软研究院)
贝叶斯网络是一种图形化模型,它对感兴趣的变量之间的概率关系进行编码。当与统计技术结合使用时,图形模型对数据分析有几个优点。第一,因为模型对所有变量之间的依赖关系进行了编码,所以它很容易处理某些数据录入丢失的情况。第二,贝叶斯网络可用于学习因果关系,因此可用于了解问题领域并预测干预的后果。第三,因为模型同时具有因果和概率语义,所以它是结合先验知识(通常以因果形式出现)和数据的理想表示。第四,贝叶斯统计方法结合贝叶斯网络提供了一种有效和原则性的方法来避免数据的过度拟合。在本文中,我们讨论了从先验知识构建贝叶斯网络的方法,并总结了贝叶斯统计方法,使用数据来改善这些模型。关于后一项任务,我们描述了学习贝叶斯网络的参数和结构的方法,包括使用不完整数据学习的技术。此外,我们将贝叶斯网络学习方法与监督和无监督学习技术联系起来。我们说明了图形建模方法使用现实世界的案例研究。
2022-01-10 cs.AI cs.LG stat.ML
Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University(南京大学);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加利福尼亚大学);Alibaba Group(阿里巴巴集团)
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱(KG)的关联,使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后,我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Node-Specific Space Selection via Localized Geometric Hyperbolicity in Graph Neural Networks
Nanyang Technological University(南洋理工大学)
已经开发了许多图神经网络来学习欧几里得或双曲空间中的图表示,其中所有节点的表示嵌入在单个空间中。然而,一个图可以在图的不同区域具有双曲和欧几里得几何。因此,将整个图无差别地嵌入单个空间是次优的。在本文中,我们探索和分析两个概念的局部双曲,描述了潜在的局部几何:几何(格罗莫夫)和基于模型,以确定每个节点的嵌入的首选空间。使用Wasserstein度量来对齐两个双曲性的分布,使得计算的几何双曲性指导学习的模型双曲性的选择。因此,我们的模型联合空间图神经网络(JSGNN)可以通过允许节点特定的几何空间选择,在学习过程中利用欧几里得和双曲空间。我们评估我们的模型上的节点分类和链接预测任务,并观察到有前途的性能相比,基线模型。
2023-03-03 cs.LG
Metapath-based Hyperbolic Contrastive Learning for Heterogeneous Graph Embedding
提出MHCL框架,利用多个双曲空间捕获异构图中多样幂律结构,通过对比学习增强元路径嵌入可区分性,实验证明其优于现有基线。
2025-06-20 cs.AI cs.LG cs.SI
Topology-Adaptive Hyperbolic Graph Attention Networks Guided by the Hyperbolic Sombor Index
提出HSO-GAT,利用双曲Sombor指数作为结构先验,实现拓扑自适应的双曲图注意力网络,在节点分类和链接预测上达到最先进性能。
2026-09-29 cs.LG
Hyperbolic Heterogeneous Graph Attention Networks
Chungnam National University(忠南大学)
针对欧氏空间表示异构图易失真的问题,提出结合元路径实例在双曲空间学习表示的HHGAT模型,在三个真实数据集的节点分类、聚类任务上性能超越现有最优模型。
2024-04-15 cs.LG
Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs
Beijing University of Posts and Telecommunications(北京邮电大学);Florida State University(佛罗里达州立大学);Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
学习图的表示在广泛的下游应用中发挥着关键作用。在本文中,我们总结了现有的工作的局限性在三个方面:表示空间,建模动力学和建模的不确定性。为了弥合这一差距,我们首次提出学习双曲空间中的动态图表示,旨在推断随机节点表示。利用双曲空间,我们提出了一种新的双曲变分图神经网络,简称HVGNN。特别是,为了对动态进行建模,我们引入了一种基于理论基础的时间编码方法的时间GNN(TGNN)。为了模拟的不确定性,我们设计了一个双曲线图变分自编码器建立在建议的TGNN生成随机节点表示的双曲正态分布。此外,我们引入了双曲正态分布的可重参数化采样算法,以实现HVGNN的基于梯度的学习。大量的实验表明,HVGNN在真实世界数据集上的性能优于最先进的基线。
2021-04-06 cs.LG cs.SI
Hyperbolic Graph Neural Networks
Facebook AI Research(脸书人工智能研究院)
从图结构数据中学习是机器学习和人工智能的一项重要任务,图神经网络(GNN)在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发,我们提出了一种新的GNN架构,用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性,比较欧几里德和双曲几何。在我们的实验中,我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network
Beihang University(北京航空航天大学);Macquarie University(麦考瑞大学);Central South University(中南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
图神经网络在各种图数据采掘任务中得到了广泛的研究。大多数现有的GNN将图数据嵌入到欧几里得空间中,因此在捕获现实世界网络中无处不在的层次结构方面效率较低。双曲图神经网络(HGNNs)将GNNs扩展到双曲空间,因此在节点表示学习中更有效地捕获图的层次结构。在双曲几何中,图的层次结构可以通过双曲空间的曲率来反映,并且不同的曲率可以模拟图的不同层次结构。然而,为了简单起见,大多数现有的HGNN手动将曲率设置为固定值,由于图的复杂和多样的层次结构,这实现了图学习的次优性能。为了解决这个问题,我们提出了一个自适应曲率探索双曲图神经网络命名为ACE-HGNN自适应学习最佳曲率根据输入图和下游任务。具体来说,ACE-HGNN利用多智能体强化学习框架,并包含两个代理,ACE-Agent和HGNN-Agent分别用于学习曲率和节点表示。两个智能体通过NashQ学习算法协同更新,寻求以曲率为索引的最优双曲空间。在多个真实世界图数据集上进行的大量实验表明,模型质量得到了显着和一致的性能改善,具有竞争力的性能和良好的泛化能力。
2021-10-15 cs.LG cs.SI
Hyperbolic Graph Attention Network
Beijing University of Posts and Telecommunications(北京邮电大学);West Virginia University(西弗吉尼亚大学)
图神经网络(GNN)在处理图方面表现出了优越的性能,近年来引起了广泛的研究关注。然而,大多数现有的GNN模型主要是针对欧几里得空间中的图设计的。最近的研究已经证明,图形数据表现出非欧几里德潜在的解剖。不幸的是,到目前为止,很少有研究GNN在非欧几里德设置。为了弥补这一缺陷,本文首次尝试在双曲空间中研究了具有注意力机制的GNN。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,因此向量运算(例如,向量加法、减法和标量乘法)不能被执行。为了解决这个问题,我们采用gyrovector空间,它提供了一个优雅的代数形式主义的双曲几何,变换的功能,在一个图,然后我们提出了双曲接近的注意力机制聚合的功能。此外,由于双曲空间中的数学运算可能比欧氏空间中的数学运算更复杂,我们进一步设计了一种新的加速策略,使用对数和指数映射来提高我们提出的模型的效率。在四个真实世界数据集上的综合实验结果表明,我们提出的双曲图注意力网络模型的性能,通过与其他国家的最先进的基线方法进行比较。
2019-12-06 cs.LG stat.ML
Shedding Light on Problems with Hyperbolic Graph Learning
Yale University(耶鲁大学)
该研究揭示双曲图学习声称的优势多源于基线不当、建模假设错误及几何度量误导,提出参数化基准数据集族以评估(双曲)图神经网络的真实适用性。
2025-02-25 cs.LG stat.ML
Time-aware Hyperbolic Graph Attention Network for Session-based Recommendation
Walmart Global Tech(沃尔玛全球技术);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
基于会话的推荐(SBR)是根据用户先前的浏览会话来预测用户下一个感兴趣的项目。现有方法将会话建模为图形或序列,以基于用户交互的项目来估计用户兴趣,从而进行推荐。近年来,基于图的方法在SBR上取得了优异的性能。然而,这些方法都没有考虑时间信息,这是SBR中的一个重要特征,因为它表明了时间性或时效性。此外,会话图呈现出层次结构,并被证明是适用于双曲几何。但在双曲空间中设计模型的文献还很少,这方面的研究还处于探索阶段。在本文中,我们提出了时间感知双曲图注意力网络(TA-HGAT)-一种新的双曲图神经网络框架,建立一个基于会话的推荐模型考虑时间信息。更具体地说,在TA-HGAT中有三个组成部分。首先,双曲投影模块将项目特征转换到双曲空间。第二,时间感知图形注意力模块对项目与用户当前兴趣之间的时间间隔进行建模。第三,在模型结束时的进化损失提供了基于给定时间戳的推荐项目的准确预测。TA-HGAT构建在双曲空间中,用于学习会话图的层次结构。实验结果表明,提出的TA-HGAT具有最好的性能相比,10个基线模型在两个真实世界的数据集。
2023-01-10 cs.IR cs.LG cs.SI
A tutorial on MDL hypothesis testing for graph analysis
VU University Amsterdam(阿姆斯特丹自由大学);University of Leiden(莱顿大学)
本文档提供了在复杂图形分析中使用MDL原理的教程描述。本文简要地总结了这些初步课题,并以分析图中最大团的大小为例,描述了基本原理。我们还讨论了如何解释这种分析的结果,注意到几个常见的陷阱。
2018-10-31 cs.LG stat.ML
Probabilistic Graphical Models: A Concise Tutorial
Cornell Tech(康奈尔科技校区);University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文是一篇概率图模型简明教程,介绍其概率论与图论基础,并系统讲解多元分布的图表示、参数与结构学习以及精确和近似推理算法。
2025-07-23 cs.LG
Tutorial on NLP-Inspired Network Embedding
Taiwan International Graduate Program(台湾国际研究生学程);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);National Tsing Hua University(国立清华大学)
本教程涵盖了网络嵌入领域的一些最新论文。网络嵌入是用于将图节点映射到多维空间中的实数向量的技术的集合术语。为了有用,一个好的嵌入应该保持图的结构。然后,这些向量可以用作各种网络和图形分析任务的输入,例如链接预测。本文讨论了这类嵌入的在线学习的开发方法,包括DeepWalk、LINE、node2vec、struct2vec和megapath2vec。网络嵌入的在线学习中的这些新方法和发展对于图形和网络的分析具有重要应用,包括在线社交网络。
2019-10-16 cs.LG cs.SI
A Tutorial on Graph Theory for Brain Signal Analysis
Imperial College London(伦敦帝国学院)
本教程涉及使用图论概念分析大脑信号。出于教学目的,它分为两个部分:理论和应用。在第一部分中,我们首先介绍了一些基本元素,从图论和词干算法工具,可以用于数据分析的目的。接下来,我们将描述这些概念是如何适应处理不断变化的连接,并获得深入了解网络重组。最后,信号驻留在一个给定的图形的概念进行了介绍,并从图形信号处理(GSP)的新兴领域提供的元素。第二部分作为前面描述的工具和技术的实用演示。它是基于分析包含来自视觉ERP范例的单次试验响应的多试验数据集。本文最后简要概述了即将在不久的将来塑造大脑信号处理的图论最新趋势,并对分析连续模式神经记录的图论方法的相关性进行了更一般的讨论。
2020-07-11 cs.LG eess.SP q-bio.NC
A Tutorial on the Spectral Theory of Markov Chains
Ruhr-Universität Bochum(波鸿鲁尔大学)
本教程深入介绍马尔可夫链及其与图、随机游走的关联,用线性代数和图论工具分析转移矩阵的谱性质,结合相关ML与数据挖掘方法,以直观方式面向多学科基础读者呈现已知成果与新概念。
2022-08-19 cs.LG
A Hyperbolic-to-Hyperbolic Graph Convolutional Network
Beijing Institute of Technology (BIT)(北京理工大学)
双曲图卷积网络(GCN)具有强大的表示能力,可以对具有层次结构的图进行建模。现有的双曲GCN借助于切空间来实现双曲流形上的图卷积,这是较差的,因为切空间只是流形的局部近似。在本文中,我们提出了一个双曲到双曲图卷积网络(H2 H-GCN),直接工作在双曲流形。具体来说,我们开发了一个流形保持图卷积,由双曲特征变换和双曲邻域聚合组成。双曲特征变换作为双曲流形上的线性变换。通过对变换子矩阵施加正交约束,保证变换后的节点表示仍位于双曲流形上。双曲邻域聚合通过爱因斯坦中点更新每个节点表示。H2 H-GCN避免了切空间近似引起的失真,保持了全局双曲结构。大量实验表明,H2 H-GCN在链接预测、节点分类和图分类任务上取得了实质性的改进。
2021-04-14 cs.LG
Hyperbolic Graph Diffusion Model
East China Normal University(华东师范大学);Information Engineering University(信息工程大学)
针对现实图数据的非欧几里得和层次特性,提出双曲图扩散模型(HGDM),利用双曲自编码器与潜在扩散模型提取层次分布并生成图,在高度层次结构的图生成质量上提升48%。
2024-01-03 cs.AI cs.LG q-bio.QM
A Tutorial on Online Supervised Learning with Applications to Node Classification in Social Networks
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们重温了T.封面'65,也许,并不像它应该的那样为更广泛的社区所熟知。本教程的第一个目标是解释-通过这个基本结果的棱镜-如何通过建模解决方案集而不是未知的数据生成机制来解决某些序列预测问题。我们扩大覆盖的观察在几个方向上,并专注于计算方面所提出的算法。几个例子,包括在网络中的节点分类的方法的适用性说明。本教程的第二个目的是证明以下现象:它是可能的预测以及组合的“基准”,我们有一定的乘法近似算法,即使精确计算的基准给定的所有数据是NP-难的。因此,所提出的预测方法,规避了一些计算困难与找到最佳模型给定的数据。当人们试图为基于图的问题或其他具有组合结构的问题开发概率模型时,这些困难会很快出现。
2016-08-31 cs.LG stat.ML
Lorentzian Graph Convolutional Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
图卷积网络(GCN)近年来受到了广泛的研究关注。大多数GCN学习欧几里得几何中的节点表示,但在嵌入具有无标度或分层结构的图的情况下,这可能会产生高度失真。最近,一些GCN被提出来处理非欧几何中的这个问题,例如,双曲几何虽然双曲GCN取得了令人满意的性能,但现有的双曲图操作实际上不能严格遵循双曲几何,这可能会限制双曲几何的能力,从而损害双曲GCN的性能。本文提出了一种新的双曲GCN--洛伦兹图卷积网络(LGCN),它严格保证了学习的节点特征遵循双曲几何。具体地说,我们用洛伦兹版本重建了双曲GCN的图运算,例如,特征变换和非线性激活。此外,一个优雅的邻域聚合方法设计的基础上的洛伦兹距离的质心。此外,我们还证明了所提出的一些图运算在不同类型的双曲几何中是等价的,这从根本上说明了它们的正确性。在六个数据集上的实验表明,LGCN的性能优于最先进的方法。与现有的双曲GCN相比,LGCN具有更低的失真来学习树状图的表示。我们还发现,一些双曲GCN的性能可以得到改善,通过简单地取代与我们在本文中定义的图操作。
2021-04-15 cs.LG
Enhancing Hyperbolic Graph Embeddings via Contrastive Learning
Harbin Institute of Technology(Shenzhen)(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学);Huawei Technologies co.ltd(华为技术有限公司);Shenzhen University(深圳大学)
最近,双曲空间已经成为半监督图表示学习的一个有前途的替代方案。已经做出了许多努力来设计神经网络操作的双曲线版本。然而,这种独特的几何形状的鼓舞人心的几何特性尚未得到充分的探索。由双曲空间驱动的图模型的潜力仍然在很大程度上被低估。此外,大量未标记样本所携带的丰富信息也没有得到很好的利用。受最近活跃的和新兴的自监督学习的启发,在本研究中,我们试图通过利用对比学习的优点来增强双曲图模型的表示能力。更具体地说,我们提出了一种新的双曲图对比学习(HGCL)框架,通过多个双曲空间学习节点表示,隐式地捕捉不同视图之间共享的层次结构。然后,我们设计了一个基于双曲距离和同伦假设的双曲位置一致性(HPC)约束,使对比学习适合于双曲空间。在多个真实数据集上的实验结果表明了所提出的HGCL的优越性,因为它在节点分类任务上始终优于竞争方法。
2022-01-21 cs.LG
Rotational Equivariance in Machine Learning: A Comprehensive Tutorial
Interdisciplinary Center for Scientific Computing (IWR), Heidelberg University(海德堡大学跨学科科学计算中心(IWR))
本教程系统介绍机器学习中旋转等变性的相关理论与方法,涵盖几何深度学习等基础,综述群卷积等融入策略,助力从业者掌握该领域并选择合适方法。
2026-09-01 cs.LG
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于Boltzmann Machine(BM)、Restricted Boltzmann Machine(RBM)和Deep Belief Network(DBN)的教程和综述论文。我们从概率图模型,马尔可夫随机场,吉布斯抽样,统计物理,伊辛模型和Hopfield网络的必要背景开始。然后,我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布,RBM中用于生成变量的Gibbs抽样,通过最大似然估计训练BM和RBM,以及对比发散。然后,我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后,我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Topological Methods in Machine Learning: A Tutorial for Practitioners
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Central Florida(中佛罗里达大学)
本文是一篇面向实践者的拓扑机器学习教程,系统介绍持续同调和Mapper算法两种核心技术,并通过数据驱动的实现与案例展示其在真实问题中的应用价值。
2024-09-04 cs.CG cs.LG math.AT
Hyperbolic Graph Convolutional Neural Networks
Stanford University(斯坦福大学)
图卷积神经网络(GCN)将图中的节点嵌入到欧几里得空间中,这已经被证明在嵌入具有无标度或层次结构的真实世界图时会产生很大的失真。双曲几何提供了一个令人兴奋的替代方案,因为它使嵌入具有更小的失真。然而,将GCN扩展到双曲几何提出了几个独特的挑战,因为不清楚如何在双曲空间中定义神经网络操作,例如特征变换和聚合。此外,由于输入特征通常是欧几里得的,因此不清楚如何将特征转换为具有适当曲率的双曲嵌入。在这里,我们提出了双曲图卷积神经网络(HGCN),第一个归纳双曲GCN,利用GCN和双曲几何的表达能力来学习分层和无标度图的归纳节点表示。在双曲空间的双曲面模型中推导出GCN运算,并将欧氏输入特征映射到每层具有不同可训练曲率的双曲空间中的嵌入。实验表明,HGCN学习保持层次结构的嵌入,并与欧几里得类似物相比,即使是非常低维的嵌入,也能提高性能:与最先进的GCN相比,HGCN在链接预测的ROC AUC中实现了高达63.1%的误差减少,在节点分类的F1得分中实现了高达47.5%的误差减少,同时也提高了Pubmed数据集的最新水平。
2019-10-28 cs.LG stat.ML
Gasper: GrAph Signal ProcEssing in R
本文介绍 R 语言 gasper 包,用于图信号处理,并提供 SuiteSparse 矩阵集合接口。
2023-12-28 cs.LG eess.SP stat.CO
FFHR: Fully and Flexible Hyperbolic Representation for Knowledge Graph Completion
University of Science and Technology of China(中国科学技术大学);meituan(美团);Sichuan University(四川大学)
知识图谱的双曲嵌入学习由于其在捕获层次结构方面的优势而受到越来越多的关注。然而,双曲空间中的一些重要运算仍然缺乏良好的定义,使得现有的方法无法充分利用双曲空间的优点。具体而言,它们受到两个主要限制:1)现有的双曲空间中的图卷积网络(GCN)方法依赖于切空间近似,这会在表示学习中产生近似误差; 2)由于双曲空间中缺乏内积运算定义,现有方法只能用双曲距离来度量事实(链接)的可扩展性,其难以捕获复杂的数据模式。在这项工作中,我们贡献:1)一个完整的庞加莱多关系GCN,实现了图信息传播在双曲空间,而不需要任何近似,和2)双曲推广的欧几里得内积,这是有益的,以捕捉层次和复杂的模式。在此基础上,我们进一步发展了一个\textbf{F} ully和\textbf{F} flexible \textbf{H}双曲\textbf{R}表示框架(\textbf{FFHR}),它能够将最近的基于欧几里得的进展转移到双曲空间。我们证明它通过实例化FFHR与四个代表性的KGC方法。在基准数据集上进行的大量实验验证了我们的FFHR比欧几里得算法以及最先进的双曲嵌入方法的优越性。
2023-02-07 cs.IR cs.LG
Topological Signal Processing: An Application-Oriented Tutorial
Neuro-X Institute, École Polytechnique Fédérale de Lausanne (EPFL), Geneva, Switzerland(神经-X研究所,瑞士洛桑联邦理工学院(EPFL),日内瓦);Department of Radiology and Medical Informatics, University of Geneva, Geneva, Switzerland(放射学与医学信息学系,日内瓦大学,日内瓦,瑞士)
本文提出拓扑信号处理(TSP)作为图信号处理(GSP)的推广,通过组合Hodge Laplacian将信号处理扩展到单纯复形上的高阶交互,并以脑成像数据案例展示其应用。
2026-05-18 cs.LG eess.SP q-bio.QM