Hyperbolic Graph Neural Networks
Facebook AI Research(脸书人工智能研究院)
从图结构数据中学习是机器学习和人工智能的一项重要任务,图神经网络(GNN)在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发,我们提出了一种新的GNN架构,用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性,比较欧几里德和双曲几何。在我们的实验中,我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
Hyperbolic Graph Convolutional Neural Networks
Stanford University(斯坦福大学)
图卷积神经网络(GCN)将图中的节点嵌入到欧几里得空间中,这已经被证明在嵌入具有无标度或层次结构的真实世界图时会产生很大的失真。双曲几何提供了一个令人兴奋的替代方案,因为它使嵌入具有更小的失真。然而,将GCN扩展到双曲几何提出了几个独特的挑战,因为不清楚如何在双曲空间中定义神经网络操作,例如特征变换和聚合。此外,由于输入特征通常是欧几里得的,因此不清楚如何将特征转换为具有适当曲率的双曲嵌入。在这里,我们提出了双曲图卷积神经网络(HGCN),第一个归纳双曲GCN,利用GCN和双曲几何的表达能力来学习分层和无标度图的归纳节点表示。在双曲空间的双曲面模型中推导出GCN运算,并将欧氏输入特征映射到每层具有不同可训练曲率的双曲空间中的嵌入。实验表明,HGCN学习保持层次结构的嵌入,并与欧几里得类似物相比,即使是非常低维的嵌入,也能提高性能:与最先进的GCN相比,HGCN在链接预测的ROC AUC中实现了高达63.1%的误差减少,在节点分类的F1得分中实现了高达47.5%的误差减少,同时也提高了Pubmed数据集的最新水平。
2019-10-28 cs.LG stat.ML
On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks
本文提出基于Poincaré Disc的Hyperbolic DCNN,分析非欧几里得域中的扩张卷积性质,提供其通用一致性的理论见解,实验证明其性能优于欧几里得架构。
2024-11-15 cs.LG stat.ML
Hyperbolic Manifold Constrained Tabular Neural Network
Newcastle University(纽卡斯尔大学)
针对表格分类中离散规则结构与欧氏空间DNN几何不匹配问题,提出HDE-Net,通过抽象特征为LDN并嵌入双曲空间,引入软决策路由机制和容量分配算法,在分类基准上取得最佳平均排名,优于其他方法。
2026-09-29 cs.LG stat.ML
Hyperbolic Convolution via Kernel Point Aggregation
University of California at Berkeley(加州大学伯克利分校);Duke Kunshan University(昆山杜克大学)
针对欧几里得卷积无法适配双曲空间、现有双曲神经网络忽略局部模式或缺失关键属性的问题,提出具备排列等变性与平行移动不变性的可训练双曲卷积HKConv,提升了多项任务的性能。
2023-06-15 cs.LG stat.ML
Neural Embeddings of Graphs in Hyperbolic Space
Imperial College London(伦敦帝国学院)
神经嵌入在自然语言处理(NLP)中已经取得了巨大的成功。它们提供紧凑的表示,封装单词相似性,并在一系列语言任务中获得最先进的性能。神经嵌入的成功促使人们对语言以外的领域进行了大量的研究。一个这样的领域是图结构数据,其中可以学习顶点的嵌入,封装顶点相似性并提高包括边缘预测和顶点标记在内的任务的性能。对于NLP和基于图的任务,嵌入都是在高维欧几里得空间中学习的。然而,最近的工作表明,适合嵌入复杂网络的等距空间不是平坦的欧几里得空间,而是负弯曲的双曲空间。我们提出了一个新的概念,利用这些最新的见解,并提出学习神经嵌入的图在双曲空间。我们提供的实验证据表明,在其自然几何结构中嵌入图形显着提高了几个真实世界的公共数据集的下游任务的性能。
2017-05-29 cs.LG stat.ML
Node-Specific Space Selection via Localized Geometric Hyperbolicity in Graph Neural Networks
Nanyang Technological University(南洋理工大学)
已经开发了许多图神经网络来学习欧几里得或双曲空间中的图表示,其中所有节点的表示嵌入在单个空间中。然而,一个图可以在图的不同区域具有双曲和欧几里得几何。因此,将整个图无差别地嵌入单个空间是次优的。在本文中,我们探索和分析两个概念的局部双曲,描述了潜在的局部几何:几何(格罗莫夫)和基于模型,以确定每个节点的嵌入的首选空间。使用Wasserstein度量来对齐两个双曲性的分布,使得计算的几何双曲性指导学习的模型双曲性的选择。因此,我们的模型联合空间图神经网络(JSGNN)可以通过允许节点特定的几何空间选择,在学习过程中利用欧几里得和双曲空间。我们评估我们的模型上的节点分类和链接预测任务,并观察到有前途的性能相比,基线模型。
2023-03-03 cs.LG
sHGCN: Simplified hyperbolic graph convolutional neural networks
Department of Artificial Intelligence(人工智能系);Nostrum Biodiscovery S.L.(诺斯特姆生物发现有限公司)
针对双曲神经网络计算效率低、高精度任务表现不佳的问题,提出简化核心运算的sHGCN,显著提升了运行速度与预测准确率,拓展了双曲神经网络的应用范围。
2025-06-17 cs.AI cs.LG
Fully Hyperbolic Neural Networks
Tsinghua University(清华大学);Tencent Inc(腾讯公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
双曲神经网络在复杂数据建模方面显示出巨大的潜力。然而,现有的双曲网络不是完全双曲的,因为它们在双曲空间中编码特征,但在双曲空间的原点处的切空间(欧几里得子空间)中形式化它们的大部分操作。这种混合方法极大地限制了网络的建模能力。在本文中,我们提出了一个全双曲线框架来建立双曲线网络的基础上的洛伦兹模型,通过调整洛伦兹变换(包括升压和旋转),形式化的神经网络的基本操作。此外,我们还证明了现有双曲网络所使用的正切空间中的线性变换是洛伦兹旋转的松弛,并且不包括提升,隐含地限制了现有双曲网络的能力。在四个NLP任务上的实验结果表明,该方法在构建浅层和深层网络时都具有更好的性能。我们的代码将被释放,以方便后续研究。
2022-03-16 cs.CL cs.LG
Autoencoding Hyperbolic Representation for Adversarial Generation
Duke Kunshan University(昆山杜克大学)
随着几何深度学习的最新进展,神经网络已被广泛用于非欧几里德域中的数据。特别地,双曲神经网络已经证明在处理数据的分层信息方面是成功的。然而,许多双曲神经网络在训练期间数值上不稳定,这妨碍了使用复杂的架构。这个关键问题使得很难为真实和复杂的数据建立双曲生成模型。在这项工作中,我们提出了一个双曲生成网络,在其中我们设计了新的架构和层,以提高训练的稳定性。我们提出的网络包含三个部分:第一,双曲自编码器(AE),为输入数据生成双曲嵌入;第二,双曲生成对抗网络(GAN),用于从简单噪声中生成AE的双曲潜在嵌入;第三,继承AE解码器和GAN生成器的生成器。我们称这个网络为双曲AE-GAN,简称HAEGAN。HAEGAN的架构促进了双曲空间中的表达,层的特定设计确保了数值稳定性。实验表明,HAEGAN能够生成具有最先进的结构相关性能的复杂数据。
2023-01-23 cs.LG q-bio.BM stat.ML
Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design
University of Florida(佛罗里达大学);National Taiwan University(国立台湾大学)
双曲神经网络由于能够有效地表示分层数据集而在最近的过去一直很流行。开发这些网络的挑战在于嵌入空间的非线性,即双曲空间。双曲空间是洛伦兹群的齐次黎曼流形。大多数现有的方法(有一些例外)使用局部线性化来定义各种操作,这些操作与欧几里得空间中传统深度神经网络中使用的操作并行。在本文中,我们提出了一种新的全双曲神经网络,它使用的概念,投影(嵌入),其次是一个内在的聚合和非线性都在双曲空间。这里的新颖之处在于投影,其目的是将数据投影到低维嵌入的双曲空间上,从而导致独立地用于降维的嵌套双曲空间表示。主要的理论贡献是证明了所提出的嵌入在洛伦兹变换下是等距的和等变的。这种投影在计算上是高效的,因为它可以通过简单的线性运算来表达,并且由于上述等方差属性,它允许权重共享。嵌套双曲空间表示是我们网络的核心组成部分,因此,我们首先将这种嵌套双曲空间表示与其他降维方法进行比较,如切线PCA,主测地线分析(PGA)和HoroPCA。基于这种等变嵌入,我们开发了一种新的全双曲图卷积神经网络结构来学习投影的参数。最后,我们提出的实验证明我们的网络在几个公开的数据集上的比较性能。
2021-12-03 cs.AI cs.LG stat.ML
Fully Hyperbolic Convolutional Neural Networks for Computer Vision
University of Hildesheim(希尔德斯海姆大学)
本文提出全双曲卷积神经网络HCNN,基于Lorentz模型推广CNN核心组件,在混合和全双曲设置下于标准视觉任务中展现良好性能,为更强大的双曲神经网络奠定基础。
2024-02-07 cs.CV cs.LG
Error analysis for deep neural network approximations of parametric hyperbolic conservation laws
ETH Zürich(苏黎世联邦理工学院)
我们推导出严格的边界上的误差所产生的近似的解决方案的参数双曲标量守恒律与ReLU神经网络。我们证明,近似误差可以通过克服维数灾难的ReLU神经网络来尽可能小。此外,我们提供了一个明确的上界的泛化误差的训练误差,训练样本的数量和神经网络的大小。数值实验验证了理论结果。
2022-07-15 cs.LG cs.NA math.NA
Hyperbolic-PDE GNN: Spectral Graph Neural Networks in the Perspective of A System of Hyperbolic Partial Differential Equations
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文将图神经网络的消息传递形式化为双曲偏微分方程系统,将节点表示映射到由拓扑特征向量张成的解空间,从而增强可解释性并显式提取拓扑特征,同时建立与谱图神经网络的联系,引入多项式逼近滤波函数,显著提升了多种谱图神经网络在图任务上的性能。
2025-05-29 cs.LG
Hyperbolic Graph Attention Network
Beijing University of Posts and Telecommunications(北京邮电大学);West Virginia University(西弗吉尼亚大学)
图神经网络(GNN)在处理图方面表现出了优越的性能,近年来引起了广泛的研究关注。然而,大多数现有的GNN模型主要是针对欧几里得空间中的图设计的。最近的研究已经证明,图形数据表现出非欧几里德潜在的解剖。不幸的是,到目前为止,很少有研究GNN在非欧几里德设置。为了弥补这一缺陷,本文首次尝试在双曲空间中研究了具有注意力机制的GNN。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,因此向量运算(例如,向量加法、减法和标量乘法)不能被执行。为了解决这个问题,我们采用gyrovector空间,它提供了一个优雅的代数形式主义的双曲几何,变换的功能,在一个图,然后我们提出了双曲接近的注意力机制聚合的功能。此外,由于双曲空间中的数学运算可能比欧氏空间中的数学运算更复杂,我们进一步设计了一种新的加速策略,使用对数和指数映射来提高我们提出的模型的效率。在四个真实世界数据集上的综合实验结果表明,我们提出的双曲图注意力网络模型的性能,通过与其他国家的最先进的基线方法进行比较。
2019-12-06 cs.LG stat.ML
Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations
Virginia Tech(弗吉尼亚理工大学)
双曲网络在涉及计算机视觉、图形分析和自然语言处理等各个领域的分层数据集的几个领域中,与欧几里得网络相比,表现出了显著的改进。然而,它们在实践中的采用仍然受到限制,这是由于(i)加速深度学习硬件上的不可扩展性,(ii)由于双曲空间的闭合而导致的梯度消失,以及(iii)由于局部切空间和全双曲空间之间的频繁映射而导致的信息丢失。为了解决这些问题,我们提出了使用泰勒级数展开的双曲算子的近似,这使得我们能够将计算昂贵的正切和余弦双曲函数重新公式化为更有效的多项式等变式。这使我们能够保留双曲空间的分层解剖结构的好处,同时保持当前加速深度学习基础设施的可扩展性。多项式公式还使我们能够利用欧几里得网络的进步,例如梯度裁剪和ReLU激活,以避免梯度消失并消除由于切线空间和双曲空间之间频繁切换而导致的错误。我们对图分析和计算机视觉领域标准基准的实证评估表明,我们的多项式公式在内存和时间复杂度方面与欧几里得架构一样可扩展,同时提供与双曲模型一样有效的结果。此外,由于我们对梯度消失和信息丢失的解决方案,我们的公式也比其基线有了相当大的改进。
2022-06-07 cs.LG
Lorentzian Residual Neural Networks
Yale University(耶鲁大学)
针对现有双曲残差网络复杂度高、数值不稳定等问题,提出基于加权洛伦兹质心的LResNet,可高效整合残差连接并保留层级表征能力,在图和视觉任务上性能优于现有欧氏及双曲方法。
2025-01-12 cs.LG
Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs
Beijing University of Posts and Telecommunications(北京邮电大学);Florida State University(佛罗里达州立大学);Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
学习图的表示在广泛的下游应用中发挥着关键作用。在本文中,我们总结了现有的工作的局限性在三个方面:表示空间,建模动力学和建模的不确定性。为了弥合这一差距,我们首次提出学习双曲空间中的动态图表示,旨在推断随机节点表示。利用双曲空间,我们提出了一种新的双曲变分图神经网络,简称HVGNN。特别是,为了对动态进行建模,我们引入了一种基于理论基础的时间编码方法的时间GNN(TGNN)。为了模拟的不确定性,我们设计了一个双曲线图变分自编码器建立在建议的TGNN生成随机节点表示的双曲正态分布。此外,我们引入了双曲正态分布的可重参数化采样算法,以实现HVGNN的基于梯度的学习。大量的实验表明,HVGNN在真实世界数据集上的性能优于最先进的基线。
2021-04-06 cs.LG cs.SI
ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network
Beihang University(北京航空航天大学);Macquarie University(麦考瑞大学);Central South University(中南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
图神经网络在各种图数据采掘任务中得到了广泛的研究。大多数现有的GNN将图数据嵌入到欧几里得空间中,因此在捕获现实世界网络中无处不在的层次结构方面效率较低。双曲图神经网络(HGNNs)将GNNs扩展到双曲空间,因此在节点表示学习中更有效地捕获图的层次结构。在双曲几何中,图的层次结构可以通过双曲空间的曲率来反映,并且不同的曲率可以模拟图的不同层次结构。然而,为了简单起见,大多数现有的HGNN手动将曲率设置为固定值,由于图的复杂和多样的层次结构,这实现了图学习的次优性能。为了解决这个问题,我们提出了一个自适应曲率探索双曲图神经网络命名为ACE-HGNN自适应学习最佳曲率根据输入图和下游任务。具体来说,ACE-HGNN利用多智能体强化学习框架,并包含两个代理,ACE-Agent和HGNN-Agent分别用于学习曲率和节点表示。两个智能体通过NashQ学习算法协同更新,寻求以曲率为索引的最优双曲空间。在多个真实世界图数据集上进行的大量实验表明,模型质量得到了显着和一致的性能改善,具有竞争力的性能和良好的泛化能力。
2021-10-15 cs.LG cs.SI
Klein Model for Hyperbolic Neural Networks
Duke Kunshan University(昆山杜克大学);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出基于克莱因模型的双曲神经网络框架,利用其直线测地线优势,证明切空间构造等价于爱因斯坦运算,并通过实验验证其性能与庞加莱球模型相当,为HNN提供第三种基础构建选择。
2024-10-22 cs.IT cs.LG math.IT
Hyperbolic Busemann Neural Networks
University of Trento(特伦托大学);MPI-IS(马克斯·普朗克研究所)
本文提出双曲Busemann神经网络,通过Busemann函数将MLR和FC层提升到双曲空间,提升图像分类、基因序列学习等任务的有效性和效率。
2026-02-24 cs.AI cs.CV cs.LG
A Hyperbolic-to-Hyperbolic Graph Convolutional Network
Beijing Institute of Technology (BIT)(北京理工大学)
双曲图卷积网络(GCN)具有强大的表示能力,可以对具有层次结构的图进行建模。现有的双曲GCN借助于切空间来实现双曲流形上的图卷积,这是较差的,因为切空间只是流形的局部近似。在本文中,我们提出了一个双曲到双曲图卷积网络(H2 H-GCN),直接工作在双曲流形。具体来说,我们开发了一个流形保持图卷积,由双曲特征变换和双曲邻域聚合组成。双曲特征变换作为双曲流形上的线性变换。通过对变换子矩阵施加正交约束,保证变换后的节点表示仍位于双曲流形上。双曲邻域聚合通过爱因斯坦中点更新每个节点表示。H2 H-GCN避免了切空间近似引起的失真,保持了全局双曲结构。大量实验表明,H2 H-GCN在链接预测、节点分类和图分类任务上取得了实质性的改进。
2021-04-14 cs.LG
A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks
Virginia Tech(弗吉尼亚理工大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对双曲 GNN 中多空间变换导致的泛化与扩展问题,本文提出基于 Poincaré disk 的双曲归一化层,将双曲模型统一为欧几里得模型级联该层,并在多类图基准上取得更优性能。
2023-06-06 cs.LG cs.NE
Neural Entropy-stable conservative flux form neural networks for learning hyperbolic conservation laws
Department of Mathematics, Dartmouth College(数学系,达特茅斯学院)
本文提出神经熵稳定守恒通量形式神经网络(NESCFN),通过联合学习数值通量和熵函数,在完全数据驱动下学习双曲守恒律,实现长期稳定守恒并准确捕捉激波速度。
2025-07-02 cs.LG cs.NA math-ph
Continuous Geometry-Aware Graph Diffusion via Hyperbolic Neural PDE
University of Liverpool(利物浦大学);Southeast University(东南大学)
本文提出将双曲图神经网络解耦为连续时间偏微分方程,并设计双曲图扩散方程 HGDE,以局部-全局扩散率函数建模低阶与高阶邻近性,在节点分类、链路预测和图像-文本分类任务上显著超越现有模型。
2024-06-07 cs.LG
Hyperbolic Generative Adversarial Network
Universidad Técnica Federico Santa María(费德里科·圣玛丽亚技术大学)
最近,非欧深度学习背景下的双曲空间由于其表示分层数据的能力而受到欢迎。我们建议,它是可能的,以利用存在于图像中的分层特性,通过使用双曲神经网络的GAN架构。在这项研究中,不同的配置使用全连接双曲层的GAN,CGAN,和WGAN进行了测试,在我们所谓的HGAN,HCGAN,和HW GAN,分别。使用MNIST数据集上的初始得分(IS)和Fréchet初始距离(FID)测量结果。根据不同的配置和空间曲率,更好的结果实现了每个建议的双曲版本比他们的欧几里得对应。
2021-02-10 cs.CV cs.LG stat.ML
Modeling Graphs Beyond Hyperbolic: Graph Neural Networks in Symmetric Positive Definite Matrices
Heidelberg Institute for Theoretical Studies(海德堡理论研究所);Heidelberg University(海德堡大学);University of San Francisco(旧金山大学)
针对现实图数据具有多种几何拓扑特征的问题,提出基于对称正定矩阵(SPD)黎曼对称空间的图神经网络,开发了相应基础模块库,在复杂图的节点和图分类任务中显著优于欧几里得和双曲空间方法。
2023-06-24 cs.LG
Hyperbolic Binary Neural Network
National Special Education Resource Center for Children with Autism, Zhejiang Normal University(浙江师范大学国家孤独症儿童特殊教育资源中心);Institute of Cyber-Systems and Control, Zhejiang University(浙江大学 cyber 系统与控制研究所);School of Computer Science and Technology, Zhejiang Normal University(浙江师范大学计算机科学与技术学院)
本文提出双曲二值神经网络HBNN,利用黎曼指数映射将约束优化转为无约束优化,并通过EPC提高权重翻转概率与信息增益,在多个图像分类基准上取得优于现有方法的性能。
2025-01-07 cs.CV cs.LG
Why are hyperbolic neural networks effective? A study on hierarchical representation capability
Anhui University(安徽大学)
本文通过提出HRC评估基准和大规模实验,揭示双曲神经网络无法达到理论最优嵌入,并提出预训练策略增强层级表示能力,显著提升下游任务性能。
2024-02-04 cs.AI cs.LG
Three Revisits to Node-Level Graph Anomaly Detection: Outliers, Message Passing and Hyperbolic Neural Networks
Duke Kunshan University(昆山杜克大学)
该研究从离群点注入、消息传递影响、双曲神经网络应用三方面重新审视无监督节点级图异常检测,发现消息传递会导致性能下降,明确了双曲网络的关键设计,为该领域方法优化提供了通用策略。
2024-03-06 cs.LG
Hyperbolic Graph Neural Networks Under the Microscope: The Role of Geometry-Task Alignment
University of Rome Tor Vergata(罗马大学Tor Vergata);University of Basel(巴塞尔大学);University of Rome Tor Vergata Harvard Medical School(罗马大学Tor Vergata哈佛医学院);Bocconi University Bocconi Institute for Data Science and Analytics(博科尼大学博科尼数据科学与分析研究所);UiT The Arctic University of Norway(UiT北极大学)
本文探讨了双曲图神经网络在任务对齐性上的表现,通过理论和实验证明其在回归任务中能恢复低失真表示,并在几何对齐任务中表现更优,但在非对齐任务中效果下降。
2026-11-06 cs.LG
wPINNs: Weak Physics informed neural networks for approximating entropy solutions of hyperbolic conservation laws
ETH Zürich(苏黎世联邦理工学院)
物理信息神经网络(PINN)需要基础PDE的解的正则性以保证精确的近似。因此,他们可能会失败的近似间断解的偏微分方程,如非线性双曲型方程。为了改善这一点,我们提出了一种新的变种PINNs,称为弱PINNs(wPINNs)的标量守恒律的熵解的精确近似。wPINN基于近似残差的最小-最大最优化问题的解,该最小-最优化问题根据Kruzkhov熵定义,以确定近似熵解的神经网络的参数以及检验函数。我们证明了严格的界限wPINNs所产生的误差,并说明其性能,通过数值实验表明,wPINNs可以近似熵解准确。
2022-07-18 cs.LG cs.NA math.AP
A Depth-Aware Comparative Study of Euclidean and Hyperbolic Graph Neural Networks on Bitcoin Transaction Systems
School of Computing Sciences and Computer Engineering(计算科学与计算机工程学院);University of Southern Mississippi(密西西比大学)
本文比较了欧几里得与双曲图神经网络在比特币交易网络中的节点分类性能,分析了嵌入空间差异及优化行为,揭示了嵌入几何与邻域深度对大规模交易网络建模的影响。
2026-03-17 cs.LG
Hyperbolic recurrent neural network as the first type of non-Euclidean neural quantum state ansatz
本研究提出双曲GRU作为第一种非欧几里得神经量子态近似式,用于量子多体系统基态能量的变分蒙特卡洛方法,展示了其在分层相互作用结构中的优越性能。
2026-02-25 cond-mat.dis-nn cs.LG physics.comp-ph
Hyperbolic Kernel Graph Neural Networks for Neurocognitive Decline Analysis from Multimodal Brain Imaging
Department of Radiology and Biomedical Research Imaging Center (BRIC), University of North Carolina at Chapel Hill(放射科与生物医学研究成像中心(BRIC)、北卡罗来纳大学教堂山分校)
本文提出双曲核图融合框架HKGF,利用双曲核图神经网络在双曲空间中编码多模态脑影像图,以保留脑网络层次结构并实现有效融合,在超过4000名受试者的神经认知衰退预测任务中优于现有方法。
2025-06-24 cs.AI cs.LG
HypNO: A Graph-Based Neural Operator with Physics-Informed Message Passing for Hyperbolic Conservation Laws
Laboratory of Computer Science (LIX), École Polytechnique(计算机科学实验室(LIX),巴黎综合理工学院);Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(电气工程与计算机科学系,加利福尼亚大学伯克利分校)
研究针对双曲守恒律,提出基于图的神经算子HypNO,通过邻接因子分解和物理信息消息传递,在时空图上运行,在LWR和ARZ交通流模型基准测试中,能准确预测解快照并捕捉激波和不连续性。
2026-07-24 cs.AI cs.LG
Hyperbolic Multiplex Network Embedding with Maps of Random Walk
Beihang University(北京航空航天大学)
最近的研究网络嵌入在双曲空间已被证明是成功的几个应用。然而,现实世界网络中的节点往往通过几个不同的通道进行交互。简单地汇总或忽视这种多样性将导致误导性的结果。另一方面,节点之间的不同交互模式之间存在冗余信息。最近的研究揭示了群落结构和双曲线坐标之间的相似性。为了在减少复用网络冗余的同时学习每个节点的有效嵌入表示,本文提出了一个将复用网络双曲嵌入和复用社区发现相结合的统一框架。直观的基本原理是,高阶节点嵌入方法有望减轻所观察到的网络的稀疏和噪声结构,这将有利于社区发现任务。相反,改进的社区结构也将指导节点嵌入任务。为了在保留信道间共同特征的同时,更好地融合信道间的共同特征,提出了一种在潜在多重双曲空间中遍历的随机游走方法来检测信道间的社区,并在节点嵌入和社区发现之间架起了一座桥梁。该框架使用不同的现实世界的数据集的几个网络任务进行评估。结果表明,我们的框架是有效的和效率相比,国家的最先进的方法。
2021-10-30 cs.LG cs.SI stat.ML
Clipped Hyperbolic Classifiers Are Super-Hyperbolic Classifiers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);Facebook AI Research(脸书人工智能研究院)
与欧几里得空间不同,双曲空间可以自然嵌入层次结构。双曲神经网络(HNN)通过将欧几里德特征提升到双曲空间进行分类来利用这种表示能力,在具有已知语义层次的数据集上优于欧几里德神经网络(ENN)。然而,HNN在标准基准测试中表现不佳,没有明确的层次结构,极大地限制了HNN在实践中的适用性。我们的关键见解是,HNN的一般分类性能较差,这是由于反向传播过程中梯度消失造成的,这是由于它们的混合架构将欧几里得特征连接到双曲分类器。我们提出了一种有效的解决方案,即在训练HNN时简单地裁剪欧几里得特征幅度。我们的实验表明,裁剪的HNN成为超双曲线分类器:它们不仅始终优于HNN,HNN在分层数据上的表现已经优于ENN,而且在MNIST,CIFAR10,CIFAR100和ImageNet基准测试中与ENN相当,具有更好的对抗鲁棒性和分布外检测。
2022-05-13 cs.CV cs.LG
Cell-average based neural network method for hyperbolic and parabolic partial differential equations
Iowa State University(爱荷华州立大学)
受有限体积格式的启发,提出了一种基于单元平均的神经网络方法。该方法是基于积分或弱制定的偏微分方程。一个简单的前馈网络被迫学习两个相邻时间步长之间的解的平均演化。离线监督训练,以获得最佳的网络参数集,它唯一地识别一个有限体积的神经网络方法。一旦训练好,网络方法被实现为有限体积方案,因此是网格相关的。与传统的数值方法不同,该方法可以摆脱显式格式CFL的限制,并且可以适应任意时间的步长进行解的演化。对于Heat方程,观察到一阶收敛,误差与空间网格步长有关,但与时间上的网格步长无关。基于单元平均的神经网络方法可以在几乎为零的数值扩散的情况下快速地演化接触不连续性。激波和稀疏波被很好地捕捉到的非线性双曲守恒律。
2021-07-02 cs.LG cs.NA math.NA
HGWaveNet: A Hyperbolic Graph Neural Network for Temporal Link Prediction
Nankai University(南开大学);China Mobile Communication Group Tianjin Co., Ltd(中国移动通信集团天津有限公司)
针对现有欧氏空间时序链路预测方法难以适配真实图幂律分布与层级结构的问题,提出基于双曲空间的HGWaveNet模型,通过双曲扩散图卷积与双曲膨胀因果卷积分别捕捉时空信息,在6个真实数据集上AUC较SOTA最高提升6.67%。
2023-05-03 cs.LG cs.SI
Random Laplacian Features for Learning with Hyperbolic Space
Cornell University(康奈尔大学)
由于其几何特性,双曲空间可以支持树和图结构数据的高保真嵌入,在此基础上开发了各种双曲网络。现有的双曲网络不仅对输入进行几何先验编码,而且在网络的每一层都进行几何先验编码。这种方法涉及到重复地映射到双曲空间和从双曲空间映射,这使得这些网络实现起来复杂,扩展计算成本高,并且训练在数值上不稳定。在本文中,我们提出了一种更简单的方法:学习输入的双曲嵌入,然后使用一种映射将其映射到欧几里得空间,该映射通过尊重双曲空间的等距来编码几何先验,并完成标准欧几里得网络。关键的见解是使用随机特征映射通过拉普拉斯算子的本征函数,我们可以近似任何等距不变的双曲空间的内核。我们的方法可以与任何图神经网络一起使用:即使使用线性图模型,在转换和归纳任务中,与其他双曲线基线相比,效率和性能都有显着提高。
2023-03-13 cs.LG
Supervised and Unsupervised Neural Network Solver for First Order Hyperbolic Nonlinear PDEs
University of California, Berkeley(加州大学伯克利分校);Rutgers University–Camden(罗格斯大学卡姆登分校)
本文提出了一种基于神经网络的求解器,用于高效求解一阶超几何非线性偏微分方程,并在交通预测任务中展示了其优越性。
2026-01-10 cs.LG cs.NA math.NA
Hyperbolic Graph Neural Networks: A Review of Methods and Applications
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Huawei Technologies Co., Ltd.(华为技术有限公司);The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
本文系统综述了双曲图学习方法,将其分为图嵌入、图神经网络和新兴范式三类,梳理了其在推荐、知识图谱等领域的应用,并指出了复杂结构处理、几何感知目标、可扩展实现及与大模型集成等关键挑战。
2025-08-22 cs.LG
Explaining Hyperbolic Neural Networks via Geometry-Aware Relevance Propagation
BIFOLD(柏林智能与数据科学基础研究所);Technische Universität Berlin(柏林工业大学);Nanyang Technological University(南洋理工大学);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);RIKEN Center for AIP(理化学研究所先进智能研究中心)
本文针对双曲神经网络提出几何感知相关性传播规则LRP-radial-all,满足几何表示不变性与零曲率一致性,在多个数据集上实现高效且保真的特征归因。
2026-09-29 cs.LG
Topology-Adaptive Hyperbolic Graph Attention Networks Guided by the Hyperbolic Sombor Index
提出HSO-GAT,利用双曲Sombor指数作为结构先验,实现拓扑自适应的双曲图注意力网络,在节点分类和链接预测上达到最先进性能。
2026-09-29 cs.LG
Hyperbolic Hypergraph Neural Networks for Multi-Relational Knowledge Hypergraph Representation
National Engineering Research Center for Big Data Technology and System(国家大数据技术与系统工程研究中心);School of Computer Science and Technology(计算机科学与技术学院);Huazhong University of Science and Technology(华中科技大学)
针对知识超图表示中信息损失问题,提出双曲超图神经网络H2GNN,采用超星消息传递捕获层次结构,在节点分类和链接预测上超越15个基线方法。
2024-12-11 cs.AI cs.LG
Approximating Numerical Fluxes Using Fourier Neural Operators for Hyperbolic Conservation Laws
Seoul National University(首尔大学)
本研究针对现有神经算子求解双曲守恒律时鲁棒性与泛化性不足的问题,结合传统数值格式设计损失函数,用傅里叶神经算子逼近数值通量,实现了更优的鲁棒性、分辨率不变性及分布外泛化能力。
2024-05-13 cs.LG cs.NA math.NA
Fourier Neural Operators with rank-1 lattice points and hyperbolic cross
University of New South Wales(新南威尔士大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克科学研究院)
通过用秩1格点替代空间张量积网格,并在参数空间精心构造第二个格点作为训练点,提高了傅里叶神经算子的泛化误差,实现了更少参数、更少空间点和训练样本下的高效逼近。
2026-06-07 cs.LG cs.NA math.NA
Improving Hyperbolic Representations via Gromov-Wasserstein Regularization
Wuhan University(武汉大学);University of Minnesota(明尼苏达大学);Duke Kunshan University(昆山杜克大学)
本文提出利用Gromov-Wasserstein距离作为双曲神经网络的正则化项,以保持嵌入后的几何结构,并在少样本图像分类、半监督图链接预测和节点分类任务上超越现有方法。
2024-07-15 cs.CV cs.LG
SA-HGNN: Sample-Adaptive Hyperbolic Graph Neural Network for EEG-Based Depression Recognition
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院)
提出SA-HGNN模型,通过样本自适应图构建、双曲图卷积和注意力池化模块,准确提取抑郁症脑网络的层次结构,在EEG数据集上优于现有方法。
2026-07-03 cs.AI cs.LG
Cartan Networks: Group theoretical Hyperbolic Deep Learning
Department of Physics University of Turin(物理学系,都灵大学);SISSA(SISSA研究所);Additati&Partners s.r.l(Additati&Partners公司)
本文提出基于双曲空间可解群结构与李群-黎曼流形双重性质构建的 Cartan networks,通过交替使用群同态与保度量微分同胚,在多个基准数据集上取得良好效果,为新型双曲深度学习架构开辟了道路。
2025-05-30 cs.LG
Hyperbolic Graph Neural Networks at Scale: A Meta Learning Approach
Virginia Tech(弗吉尼亚理工大学);Microsoft(微软)
本文提出双曲图元学习器 H-GRAM,通过从局部子图学习可迁移的双曲元梯度和标签质子网络,解决双曲图神经网络缺乏归纳偏置及难以扩展的问题,在少样本节点分类和链接预测中优于现有方法并支持大规模图数据。
2023-10-29 cs.LG cs.SI
Two-dimensional Hyperbolic RNN Neural Quantum State
构建二维洛伦兹RNN神经量子态,在横向场伊辛模型中证明其在临界点优于欧几里得RNN,并验证一维双曲NQS在二维系统中的优越性。
2026-10-14 cond-mat.dis-nn cs.LG physics.comp-ph
(U)NFV: Supervised and Unsupervised Neural Finite Volume Methods for Solving Hyperbolic PDEs
University of California, Berkeley(加州大学伯克利分校)
提出模块化神经网络架构(U)NFV,通过在扩展时空模板上学习更新规则并保持守恒结构,泛化有限体积方法求解双曲守恒律,支持有监督和无监督训练,在精度和可扩展性上显著优于传统方法。
2025-05-29 cs.LG cs.NA math.NA