Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Hyperbolic Entailment Cones for Learning Hierarchical Embeddings
ETH Zurich(苏黎世联邦理工学院)
在机器学习中,通过保持相关网络属性的低维嵌入来学习图表示是一类重要的问题。我们在这里提出了一种新的方法来嵌入有向无环图。在先前的工作之后,我们首先提倡使用双曲空间,它可以证明比欧几里得几何更好地模拟树状结构。其次,我们认为层次关系定义使用一个家庭的嵌套测地线凸锥的偏序。我们证明了这些蕴涵锥在欧氏空间和双曲空间中都有一个最优的形状,并具有一个封闭的形式表达式,并且它们规范地定义了嵌入学习过程。实验表明,我们的方法在代表能力和泛化能力方面都比最近的强基线有了显着的改进。
2018-06-06 cs.LG stat.ML
Neural Embeddings of Graphs in Hyperbolic Space
Imperial College London(伦敦帝国学院)
神经嵌入在自然语言处理(NLP)中已经取得了巨大的成功。它们提供紧凑的表示,封装单词相似性,并在一系列语言任务中获得最先进的性能。神经嵌入的成功促使人们对语言以外的领域进行了大量的研究。一个这样的领域是图结构数据,其中可以学习顶点的嵌入,封装顶点相似性并提高包括边缘预测和顶点标记在内的任务的性能。对于NLP和基于图的任务,嵌入都是在高维欧几里得空间中学习的。然而,最近的工作表明,适合嵌入复杂网络的等距空间不是平坦的欧几里得空间,而是负弯曲的双曲空间。我们提出了一个新的概念,利用这些最新的见解,并提出学习神经嵌入的图在双曲空间。我们提供的实验证据表明,在其自然几何结构中嵌入图形显着提高了几个真实世界的公共数据集的下游任务的性能。
2017-05-29 cs.LG stat.ML
Strain-Minimizing Hyperbolic Network Embeddings with Landmarks
TU Dresden(德累斯顿工业大学)
我们介绍L-水螅(地标双曲距离恢复和近似),一种方法嵌入网络或基于距离的数据到双曲空间,它只需要距离测量到几个“地标节点”。这个具有里程碑意义的启发式使L-水螅适用于大规模的图形,并改进了以前介绍的方法。作为一个数学的理由,我们表明,在d维双曲空间的点配置可以完美地恢复(等距)距离测量,只是d+1地标。我们还表明,L-hydra解决了两阶段的应变最小化问题,类似于我们以前的(无地标)方法'hydra'。在真实网络数据上的测试表明,L-hydra比现有的双曲嵌入方法快一个数量级,并且在节点数量上线性扩展。虽然L-hydra的嵌入误差高于现有方法的误差,但我们引入了一个扩展L-hydra+,它在运行时间和嵌入质量方面都优于现有方法。
2022-07-14 cs.LG math.MG stat.CO
Hyperbolic Graph Convolutional Neural Networks
Stanford University(斯坦福大学)
图卷积神经网络(GCN)将图中的节点嵌入到欧几里得空间中,这已经被证明在嵌入具有无标度或层次结构的真实世界图时会产生很大的失真。双曲几何提供了一个令人兴奋的替代方案,因为它使嵌入具有更小的失真。然而,将GCN扩展到双曲几何提出了几个独特的挑战,因为不清楚如何在双曲空间中定义神经网络操作,例如特征变换和聚合。此外,由于输入特征通常是欧几里得的,因此不清楚如何将特征转换为具有适当曲率的双曲嵌入。在这里,我们提出了双曲图卷积神经网络(HGCN),第一个归纳双曲GCN,利用GCN和双曲几何的表达能力来学习分层和无标度图的归纳节点表示。在双曲空间的双曲面模型中推导出GCN运算,并将欧氏输入特征映射到每层具有不同可训练曲率的双曲空间中的嵌入。实验表明,HGCN学习保持层次结构的嵌入,并与欧几里得类似物相比,即使是非常低维的嵌入,也能提高性能:与最先进的GCN相比,HGCN在链接预测的ROC AUC中实现了高达63.1%的误差减少,在节点分类的F1得分中实现了高达47.5%的误差减少,同时也提高了Pubmed数据集的最新水平。
2019-10-28 cs.LG stat.ML
Unit Ball Model for Embedding Hierarchical Structures in the Complex Hyperbolic Space
Hong Kong University of Science and Technology(香港科技大学);Ant Group(蚂蚁集团)
近年来,双曲空间中具有层次结构的数据的表示方法越来越受到人们的关注。由于恒定的负曲率,双曲空间类似于树度量,并自然地捕获了树的性质,这使得双曲嵌入优于传统的欧几里得模型。然而,许多现实世界的层次结构数据,如分类法和多树网络具有不同的局部结构,它们不是树,因此它们并不普遍匹配双曲空间的常曲率属性。为了解决双曲嵌入的这一局限性,我们探索了复双曲空间,它具有可变的负曲率,用于表示学习。具体来说,我们建议学习复杂双曲空间的单位球模型中分层结构数据的嵌入。基于单位球模型的嵌入具有更强的表示能力,可以捕捉各种层次结构。通过对合成数据和真实数据的实验,我们表明,我们的方法比双曲嵌入模型有显着改进。我们还探讨了复双曲几何在多重树结构和$1$ - $N$结构上的能力。
2022-02-18 cs.LG
Low-Dimensional Hyperbolic Knowledge Graph Embeddings
Stanford University(斯坦福大学);Google Research(谷歌研究院);Amazon Alexa(亚马逊Alexa)
知识图谱(KG)嵌入学习实体和关系的低维表示以预测缺失的事实。KG经常表现出层次和逻辑模式,必须在嵌入空间中保存。对于分层数据,双曲线嵌入方法已经显示出高保真和简约表示的前景。然而,现有的双曲嵌入方法没有考虑到KG中丰富的逻辑模式。在这项工作中,我们引入了一类双曲KG嵌入模型,同时捕获层次和逻辑模式。我们的方法结合了双曲反射和旋转,并注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数秩(MRR)上比以前基于欧几里得和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换推广到多个关系。在高维度上,我们的方法在WN 18 RR上产生了49.6%的最新MRR,在YAGO 3 -10上产生了57.7%的最新MRR。
2020-05-01 cs.AI cs.CL cs.LG
Hyperbolic Multiplex Network Embedding with Maps of Random Walk
Beihang University(北京航空航天大学)
最近的研究网络嵌入在双曲空间已被证明是成功的几个应用。然而,现实世界网络中的节点往往通过几个不同的通道进行交互。简单地汇总或忽视这种多样性将导致误导性的结果。另一方面,节点之间的不同交互模式之间存在冗余信息。最近的研究揭示了群落结构和双曲线坐标之间的相似性。为了在减少复用网络冗余的同时学习每个节点的有效嵌入表示,本文提出了一个将复用网络双曲嵌入和复用社区发现相结合的统一框架。直观的基本原理是,高阶节点嵌入方法有望减轻所观察到的网络的稀疏和噪声结构,这将有利于社区发现任务。相反,改进的社区结构也将指导节点嵌入任务。为了在保留信道间共同特征的同时,更好地融合信道间的共同特征,提出了一种在潜在多重双曲空间中遍历的随机游走方法来检测信道间的社区,并在节点嵌入和社区发现之间架起了一座桥梁。该框架使用不同的现实世界的数据集的几个网络任务进行评估。结果表明,我们的框架是有效的和效率相比,国家的最先进的方法。
2021-10-30 cs.LG cs.SI stat.ML
Complex Hyperbolic Knowledge Graph Embeddings with Fast Fourier Transform
Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达)
知识图谱(KG)嵌入的几何空间的选择对KG完成任务的性能有显著影响。双曲几何已被证明可以捕获层次模式,由于其树状度量,解决了欧几里德嵌入模型的局限性。最近对复杂双曲几何的探索进一步改进了双曲嵌入,以捕获各种层次结构。然而,双曲KG嵌入模型对非传递关系的性能仍然不令人满意,而复双曲嵌入不处理多关系。本文旨在利用复双曲几何在多关系KG嵌入中的表示能力。为了在复双曲空间中应用几何变换和注意力机制,我们提出用快速傅立叶变换(FFT)作为实双曲空间和复双曲空间之间的转换。在复空间中构造基于注意力的变换是非常具有挑战性的,而所提出的基于傅立叶变换的复双曲方法提供了一种简单有效的解决方案。实验结果表明,我们的方法优于基线,包括欧几里德和真正的双曲线嵌入模型。
2022-11-07 cs.AI cs.LG
Comparing Euclidean and Hyperbolic Embeddings on the WordNet Nouns Hypernymy Graph
Bloomberg(彭博)
Nickel和Kiela(2017)提出了一种在庞加莱球中嵌入树节点的新方法,并提出这些双曲嵌入在大型分层结构图(如WordNet名词上位树)中嵌入节点时比欧几里得嵌入更有效。这在低维度中尤其如此(Nickel和Kiela,2017,表1)。在这项工作中,我们试图重现他们的实验嵌入和重建WordNet名词上位图。相反,他们的报告,我们发现,欧几里德嵌入能够表示这棵树至少以及庞加莱嵌入,当允许至少50个维度。我们注意到,这并没有削弱他们的工作的重要性,因为双曲嵌入在非常低维的设置中有着令人印象深刻的性能。然而,考虑到他们的工作的广泛影响,我们在这里的目的是提出一个更新的和更准确的比较欧几里德和双曲嵌入。
2021-09-15 cs.CL cs.LG
Where are we in embedding spaces? A Comprehensive Analysis on Network Embedding Approaches for Recommender Systems
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学);The University of Queensland(昆士兰大学)
双曲空间和双曲嵌入成为推荐系统的一个热门研究领域。然而,在什么情况下应该考虑双曲空间还不清楚。为了填补这一空白,本文提供了理论分析和经验结果,何时以及在何处使用双曲空间和双曲嵌入的推荐系统。具体来说,我们回答了哪些类型的模型和数据集更适合双曲空间,以及选择哪种潜在大小的问题。我们通过比较欧氏空间和双曲空间在一般项目推荐领域和社会推荐领域的不同潜在空间模型上的性能来评估我们的答案,使用6个广泛使用的数据集和不同的潜在大小。此外,我们提出了一种新的基于度量学习的推荐方法SCML及其双曲线版本HSCML。我们评估我们的结论,双曲空间上SCML和显示的国家的最先进的性能,双曲空间比较HSCML与其他基线方法。
2021-05-19 cs.IR cs.LG
Balanced Hyperbolic Embeddings Are Natural Out-of-Distribution Detectors
University of Amsterdam(阿姆斯特丹大学)
针对深度学习中的分布外样本检测问题,本文提出平衡双曲学习方法,通过联合优化层级失真与子层级平衡构建双曲类别嵌入作为分类原型,在多数据集和评分函数上优于现有方法及对比学习SOTA,还支持层级化分布外泛化。
2025-06-11 cs.CV cs.LG
Embedding Text in Hyperbolic Spaces
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
自然语言文本在许多方面表现出层次结构。理想情况下,我们可以将这种层次结构的先验知识结合到处理文本数据的无监督学习算法中。Nickel & Kiela(2017)最近的工作提出使用双曲而不是欧几里得嵌入空间来表示分层数据,并在嵌入图形时展示了令人鼓舞的结果。在这项工作中,我们扩展了他们的方法与重新参数化技术,使我们能够学习任意参数化对象的双曲嵌入。我们应用这个框架学习词和句子嵌入在双曲空间中的无监督的方式从文本语料库。由此产生的嵌入似乎编码了某些直观的层次概念,如单词上下文频率和短语选区。然而,学习的双曲空间中的隐式连续层次结构使得询问模型的学习层次结构比学习项目之间的显式边缘的模型更困难。学习的双曲嵌入在一些(但不是所有)下游任务中显示出比欧几里得嵌入的改进,这表明分层组织对某些任务比其他任务更有用。
2018-06-12 cs.CL cs.LG
Minimizing Hyperbolic Embedding Distortion with LLM-Guided Hierarchy Restructuring
University of Amsterdam(阿姆斯特丹大学)
本文利用LLM引导重构层次结构,以优化双曲嵌入质量,提升嵌入效果和可解释性。
2025-11-16 cs.AI cs.LG
Learning phylogenetic trees as hyperbolic point configurations
Lateral GmbH(拉特纳尔有限责任公司)
我们提出了一种新的方法,利用双曲空间上的点配置作为其优化景观的系统发育树的推断。每个分类群对应于点构型的一个点,而分类群之间的进化距离由它们对应点之间的测地线距离表示。迭代修改点配置以增加目标函数,该目标函数相加地组合成对对数似然项。在收敛之后,使用标准的基于距离的方法从点间距离导出最终树。目标函数,这是模仿树空间上的对数似然,是一个可微函数的黎曼流形。因此,可以应用基于梯度的优化技术,避免了对树拓扑结构的组合重排的需要。
2021-06-04 cs.LG
Hyperbolic Distance Matrices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Basel(巴塞尔大学)
双曲空间是挖掘和可视化具有层次结构的数据的自然环境。为了从比较或相似性信息计算双曲嵌入,必须解决双曲距离几何问题。在本文中,我们提出了一个统一的框架来计算双曲嵌入从噪声度量和非度量数据的任意混合。我们的算法是基于半定规划和双曲距离矩阵的概念,在许多方面平行于其著名的欧几里德对应。我们提出的一个中心成分是双曲Gramian -洛伦兹内积矩阵的半定特征。这种特征使我们能够制定一个半定松弛有效地计算双曲嵌入在两个阶段:第一,我们完成和去噪观察到的双曲距离矩阵;第二,我们提出了一个谱分解方法来估计嵌入点的双曲距离矩阵。通过数值实验,我们展示了混合度量和非度量约束的灵活性如何使我们能够有效地从任意数据中计算嵌入。
2020-09-11 cs.LG eess.SP stat.ML
Embedding Node Structural Role Identity into Hyperbolic Space
Dartmouth College(达特茅斯学院);Stony Brook University(石溪大学);Jefferies Financial Group LLC(杰富瑞金融集团有限责任公司)
最近,人们对在双曲空间中嵌入网络很感兴趣,因为双曲空间已经被证明在捕获图/网络结构方面工作得很好,因为它可以自然地反映复杂网络的一些属性。然而,双曲空间中网络嵌入的研究主要集中在微观节点嵌入上。在这项工作中,我们是第一个提出了一个框架,嵌入到双曲空间节点的结构角色。我们的框架扩展了struct 2 vec,一个著名的结构角色保持嵌入方法,将其移动到一个双曲面模型。我们在四个真实世界和一个合成网络上评估了我们的方法。我们的研究结果表明,双曲空间是更有效的学习比欧几里得空间的节点的结构作用的潜在表示。
2020-11-03 cs.LG cs.SI
Hyperbolic Embeddings for Learning Options in Hierarchical Reinforcement Learning
分层强化学习处理将大任务分解为有意义的子任务的问题。这些子任务的自主发现仍然是一个具有挑战性的问题。我们提出了一种新的学习子任务的方法,通过结合范例的路由在计算机网络和基于图形的技能发现的选项框架内定义有意义的子目标。我们应用最近的进步学习嵌入使用黎曼优化在双曲空间中嵌入状态集到双曲空间,并创建一个模型的环境。在这样做的过程中,我们对状态强制执行全局拓扑,并能够利用此拓扑来学习有意义的子任务。我们实证表明,无论是在离散和连续域,这些嵌入如何可以提高有意义的子任务的学习。
2019-02-16 cs.AI cs.LG stat.ML
Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University(南京大学);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加利福尼亚大学);Alibaba Group(阿里巴巴集团)
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱(KG)的关联,使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后,我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin
Carnegie Mellon University(卡内基梅隆大学);Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院)
本文研究少样本分类中双曲嵌入与欧氏嵌入的对比,发现双曲嵌入在共同半径下表现最佳,但固定半径的欧氏编码器可取得更优性能。
2023-09-18 cs.CV cs.LG
Fitting trees to $\ell_1$-hyperbolic distances
本文研究将树拟合到距离的问题,通过定义双曲性向量的 $\ell_1$ 范数并提出算法 HCCRootedTreeFit,给出了树嵌入误差的紧致解析界,并揭示标准层次数据集与真正树状数据集的树拟合存在根本差异。
2024-09-02 cs.DS cs.LG math.MG
Multi-relational Poincaré Graph Embeddings
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
双曲嵌入最近在机器学习中受到关注,因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而,多关系知识图谱往往表现出多个同时的层次结构,目前的双曲线模型没有捕捉。为了解决这个问题,我们提出了一个模型,嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型(MuRP)通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明,本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法,特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Bridging Arbitrary and Tree Metrics via Differentiable Gromov Hyperbolicity
Université Bretagne Sud IRISA, UMR 6074, CNRS(勃艮第大学 IRISA 实验室,UMR 6074,CNRS);Université de Rennes IRMAR, UMR 6625, CNRS(雷恩大学 IRMAR 实验室,UMR 6625,CNRS);L’Institut Agro Rennes-Angers IRISA, UMR 6074, CNRS(农业研究所雷恩-昂热 IRISA 实验室,UMR 6074,CNRS);INRIA, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1 LIP, UMR 5668(INRIA,里昂大学,CNRS,里昂第一大学 LIP 实验室,UMR 5668)
本文提出 DeltaZero,一种利用 Gromov 双曲性平滑代理的可微优化框架,将任意度量桥接到最近树度量,在合成和真实数据上实现最先进失真度。
2025-09-25 cs.LG stat.ML
Hyperbolic Image Embeddings
Moscow Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院莫斯科数值数学研究所);Samsung AI Center Moscow(三星莫斯科人工智能中心);Yandex(扬德克斯)
计算机视觉任务,如图像分类,图像检索和少样本学习,目前主要是由欧几里德和球面嵌入,使最终决定类属性或相似度是使用线性超平面,欧几里德距离,或球面测地线距离(余弦相似性)。在这项工作中,我们证明了在许多实际情况下,双曲嵌入提供了一个更好的选择。
2020-03-30 cs.CV cs.LG
Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry
Facebook AI Research(Facebook人工智能研究院)
我们关心的是从大规模的非结构化相似性分数的层次关系的发现。为此,我们研究了双曲空间的不同模型,发现在洛伦兹模型中学习嵌入比在庞加莱球模型中更有效。我们表明,所提出的方法使我们能够学习高质量的嵌入的大型分类,从而产生改进庞加莱嵌入,特别是在低维。最后,我们应用我们的模型来发现两个真实世界的数据集的层次结构:我们表明,在双曲空间嵌入可以揭示公司的组织结构的重要方面,以及揭示语言家族之间的历史关系。
2018-07-08 cs.AI cs.LG stat.ML
Hyperbolic Diffusion Embedding and Distance for Hierarchical Representation Learning
Technion(以色列理工学院);Yale University(耶鲁大学);University of California San Diego(加州大学圣地亚哥分校)
本文提出一种结合扩散几何与双曲几何的层次数据嵌入与距离方法,通过构建多尺度密度并嵌入双曲空间乘积来恢复层次结构,并在图嵌入基准上验证了其优势。
2023-05-30 cs.LG
Generalization Error Bound for Hyperbolic Ordinal Embedding
University of Greenwich(格林威治大学);Kyushu Institute of Technology(九州工业大学);The Hong Kong Polytechnic University(香港理工大学);The University of Tokyo(东京大学)
双曲序数嵌入(HOE)将实体表示为双曲空间中的点,使得它们尽可能地符合给定的约束,其形式为实体i与实体j比与实体k更相似。实验表明,由于双曲空间的指数增长特性,HOE可以有效地获得知识库和引文网络等层次数据的表示。然而,它的理论分析一直局限于理想的无噪声设置,它的泛化误差补偿双曲空间的指数表示能力没有得到保证。困难在于,现有的基于Gramian矩阵的序数嵌入的泛化误差界导子在HOE中不起作用,因为双曲空间不是内积空间。本文通过对HOE的Lorentz Gramian矩阵分解的新刻画,首次给出了HOE的泛化误差界,其最大值与嵌入空间半径成指数关系.我们之间的界限HOE和欧几里德序数嵌入的比较表明,HOE的泛化误差是合理的,作为其指数表示能力的成本。
2021-05-21 cs.LG
From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Google Research, NY(谷歌研究院(纽约))
基于相似性的层次聚类(HC)是一种经典的无监督机器学习算法,传统上是用启发式算法如平均链接来解决的。最近,Dasgupta通过引入一个衡量给定树质量的全局成本函数,将HC重新定义为一个离散优化问题。在这项工作中,我们提供了第一个连续放松Dasgupta的离散优化问题,可证明的质量保证。我们的方法HypHC的关键思想是显示从离散树到连续表示的直接对应关系(通过其叶节点的双曲嵌入)和返回(通过将叶嵌入映射到树状图的解码算法),允许我们搜索离散二叉树的空间,并进行连续优化。树和双曲空间之间的类比的基础上,我们推导出一个连续的模拟的概念,最低的共同祖先,这导致连续放松达斯古普塔的离散目标。我们可以证明,在解码之后,我们的连续松弛的全局极小值产生了一个离散树,它具有Dasgupta最优树的(1 + 1)因子近似,其中1可以任意小,并控制优化挑战。我们实验评估HypHC的各种HC基准,并发现,即使是近似的解决方案,发现与梯度下降有更好的聚类质量比凝聚算法或其他基于梯度的算法。最后,我们强调了HypHC在下游分类任务中使用端到端训练的灵活性。
2020-10-01 cs.DS cs.LG stat.ML
Low-distortion and GPU-compatible Tree Embeddings in Hyperbolic Space
University of Amsterdam(阿姆斯特丹大学)
本文提出高度分离的Delaunay树嵌入(HS-DTE)和浮点扩展算术,解决双曲树嵌入中分离度差与GPU不兼容问题,实现低失真且加速硬件可用的嵌入。
2025-02-24 cs.AI cs.LG
Music Recommendations in Hyperbolic Space: An Application of Empirical Bayes and Hierarchical Poincaré Embeddings
iHeartRadio
矩阵分解(MF)是一种生成推荐的常用方法,其中嵌入空间中的用户或项目等实体的接近度表明它们彼此之间的相似性。虽然几乎所有的应用程序都隐式地使用欧几里得嵌入空间来表示两种实体类型,但最近的工作表明,双曲庞加莱球可能更适合表示多个实体类型,特别是层次结构。我们描述了一种新的方法来嵌入相关的音乐实体在双曲空间的层次结构。我们还描述了如何参数经验贝叶斯方法可以用来估计层次结构中的实体之间的链接可靠性。与欧几里德模型相比,将这些方法一起应用于为数字音乐服务中的用户构建个性化播放列表,在A/B测试期间产生了大量且统计学上显著的性能提高。
2019-07-24 cs.IR cs.LG stat.ML
A Geometry-Aware Algorithm to Learn Hierarchical Embeddings in Hyperbolic Space
Alibaba Inc.(阿里巴巴集团);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Purdue University(普渡大学)
针对双曲空间与欧氏空间几何差异导致层次数据双曲嵌入学习困难的问题,提出一种利用膨胀操作和传递闭包正则化解决三类病态问题的几何感知算法,实验证明其性能优越。
2024-07-23 cs.AI cs.LG
HyperAid: Denoising in hyperbolic spaces for tree-fitting and hierarchical clustering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于在自然语言处理、遗传学、癌症基因组学和涉及分层聚类的无数问题领域中的许多应用,通过树度量拟合距离的问题在理论计算机科学和机器学习社区中都受到了极大的关注。尽管存在几个可证明的精确算法的树度量拟合的数据,固有地服从树度量约束,少得多的是已知的如何最好地适合树度量的数据的结构适度(或实质上)不同于树。对于这样的噪声数据,大多数可用的算法表现不佳,并且通常在代表性树中产生负的边权重。此外,目前还不知道如何选择最合适的逼近目标的噪声拟合。我们的贡献如下。首先,我们提出了一种新的方法,树度量去噪(HyperAid)在双曲空间,将原始数据转换为数据,是“更多”树一样,当评估格罗莫夫的$δ$双曲。其次,我们进行了一项消融研究,涉及近似目标的两种选择,$\ell_p$标准和Dasgupta损失。第三,我们将HyperAid与强制执行非负边权重的计划相结合。因此,HyperAid平台优于文献中所有其他现有方法,包括Neighbor Joining(NJ),TreeRep和T-REX,无论是在合成数据还是真实数据上。合成数据由边增强树和最短距离度量表示,而真实世界的数据集包括Zoo、Iris、Glass、Segmentation和SpamBase;在这些数据集上,相对于NJ的平均改进为$125.94\%$。
2022-05-19 cs.LG
Metapath-based Hyperbolic Contrastive Learning for Heterogeneous Graph Embedding
提出MHCL框架,利用多个双曲空间捕获异构图中多样幂律结构,通过对比学习增强元路径嵌入可区分性,实验证明其优于现有基线。
2025-06-20 cs.AI cs.LG cs.SI
Accelerating hyperbolic t-SNE
TU Delft(代尔夫特理工大学)
针对双曲 t-SNE 计算成本随数据量二次增长的问题,本文提出基于极坐标四叉树的首个双曲嵌入加速结构,可在保持嵌入质量相近的同时显著缩短运行时间。
2024-01-23 cs.AI cs.HC cs.LG
HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
嵌入式主题模型能够学习可解释的主题,即使是大而重尾的词汇表。然而,他们通常持有欧几里得嵌入空间假设,导致在捕捉层次关系的基本限制。为此,我们提出了一个新的框架,引入双曲嵌入来表示单词和主题。利用双曲空间的类树特性,可以更好地利用词和主题之间的潜在语义层次来挖掘更多可解释的主题。此外,由于双曲几何在表示层次数据方面的优势,树结构知识也可以自然地注入,以指导主题层次的学习。因此,我们进一步开发了一个正则化项的基础上的对比学习的思想,有效地注入先验结构知识。主题分类发现和文档表示的实验表明,该框架实现了对现有的嵌入式主题模型的性能提高。
2022-10-16 cs.IR cs.LG
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们考虑的问题,多标签分类的标签位于一个层次结构。然而,与大多数现有的作品在分层多标签分类,我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功,这让我们受到鼓舞,我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势:i)分类器更好地泛化,因为它利用了标签上存在层次结构的先验知识,以及ii)除了标签同现信息之外,标签嵌入还可以受益于输入数据点的流形结构,从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明,联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外,建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习,并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Hyperbolic Vision Transformers: Combining Improvements in Metric Learning
University of Trento(特伦托大学);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Skoltech(斯科尔科沃科技学院);Yandex(杨德克斯);AIRI(人工智能研究所)
度量学习旨在学习一个高度区分的模型,鼓励相似类的嵌入在所选度量中接近,而不相似的嵌入则被推开。常见的方法是使用编码器提取嵌入,并使用基于距离的损失函数来匹配表示-通常使用欧几里得距离。对学习双曲数据嵌入的新兴趣表明,双曲几何对自然数据是有益的。在这条工作路线之后,我们提出了一个新的基于双曲线的度量学习模型。我们的方法的核心是一个视觉Transformer,其输出嵌入映射到双曲空间。这些嵌入直接优化使用修改的成对交叉熵损失。我们在四个数据集上使用六种不同的配方评估了所提出的模型,以实现新的最先进的性能。源代码可在https://github.com/htdt/hyp_metric上获得。
2022-03-22 cs.CV cs.LG
Fast hyperboloid decision tree algorithms
Columbia University(哥伦比亚大学);Barnard College(巴纳德学院)
针对双曲分类器计算成本高的问题,提出基于内积的双曲决策树hyperDT及双曲随机森林hyperRF,无需黎曼优化,保持常数决策复杂度,在多数据集上性能优异,提供高效易用的双曲数据分析工具。
2024-03-04 cs.LG
Incorporating Domain Knowledge into Health Recommender Systems using Hyperbolic Embeddings
Nova School of Business and Economics, Universidade NOVA de Lisboa(新里斯本大学商业与经济学院)
与许多其他领域相比,健康服务中的推荐系统可能特别受益于健康领域知识的整合,因为它有助于提供有意义的和个性化的推荐,以满足个人的健康需求。随着表示学习的最新进展,使健康知识的分层嵌入到双曲庞加莱空间,这项工作提出了一个基于内容的推荐系统,在初级保健的基础上,病人的健康档案,丰富的预训练庞加莱嵌入的ICD-9代码通过迁移学习。建议的模型优于传统的同行在推荐准确性方面,并有几个重要的商业影响,改善医患关系。
2021-06-14 cs.IR cs.LG
Enhancing Hyperbolic Graph Embeddings via Contrastive Learning
Harbin Institute of Technology(Shenzhen)(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学);Huawei Technologies co.ltd(华为技术有限公司);Shenzhen University(深圳大学)
最近,双曲空间已经成为半监督图表示学习的一个有前途的替代方案。已经做出了许多努力来设计神经网络操作的双曲线版本。然而,这种独特的几何形状的鼓舞人心的几何特性尚未得到充分的探索。由双曲空间驱动的图模型的潜力仍然在很大程度上被低估。此外,大量未标记样本所携带的丰富信息也没有得到很好的利用。受最近活跃的和新兴的自监督学习的启发,在本研究中,我们试图通过利用对比学习的优点来增强双曲图模型的表示能力。更具体地说,我们提出了一种新的双曲图对比学习(HGCL)框架,通过多个双曲空间学习节点表示,隐式地捕捉不同视图之间共享的层次结构。然后,我们设计了一个基于双曲距离和同伦假设的双曲位置一致性(HPC)约束,使对比学习适合于双曲空间。在多个真实数据集上的实验结果表明了所提出的HGCL的优越性,因为它在节点分类任务上始终优于竞争方法。
2022-01-21 cs.LG
Hyperbolic Graph Embeddings: a Survey and an Evaluation on Anomaly Detection
École nationale Supérieure d’Informatique(国家信息学院);Université de Lyon, CNRS, Université Lyon 1, LIRIS, UMR5205(里里士大学、法国国家科学研究中心、里里士大学第一大学、LIRIS、UMR5205)
本文综述了双曲图嵌入模型,并在异常检测任务中评估了其性能,展示了双曲空间在捕捉复杂结构方面的优势。
2025-12-21 cs.AI cs.LG
HEEGNet: Hyperbolic Embeddings for EEG
Advanced Telecommunications Research Institute International(先进电信研究所国际);RIKEN Center for Advanced Intelligence Project(RIKEN高级人工智能项目中心);University of Trento(特伦特大学);Nanyang Technological University(南洋理工大学)
HEEGNet通过结合欧几里得和双曲编码器,利用双曲几何提升EEG数据的泛化能力,实现领域不变的嵌入学习。
2026-02-08 cs.AI cs.LG
A Unified Framework of Hyperbolic Graph Representation Learning Methods
CSIC i+d project(西班牙国家科研委员会i+d项目)
本文提出一个统一的开源框架,整合多种常用嵌入方法,实现超几何嵌入的一致训练、可视化和评估,通过实验证讨超几何嵌入在现实网络中的表现,包括链接预测和节点分类任务。
2026-04-30 cs.LG
Hyperbolic Node Embedding for Signed Networks
Jilin University(吉林大学);University of Technology Sydney(悉尼科技大学);Nanjing Forestry University(南京林业大学)
符号网络嵌入方法旨在学习符号网络中节点的向量表示。然而,现有的算法只能设法将网络嵌入到低维欧氏空间,而许多内在的特征,签署的网络更适合于非欧氏空间。例如,以前的工作没有考虑网络的层次结构,这在现实世界的网络中是广泛存在的。在这项工作中,我们回答了一个开放的问题,双曲空间是否是一个更好的选择,以适应签署的网络和学习嵌入,可以保持相应的特殊特征。基于结构平衡理论和黎曼优化,提出了一种非欧符号网络嵌入方法,将符号网络嵌入到双曲空间的Poincaré球中.这个空间使我们的方法能够捕获签名网络中节点的底层层次结构,因为它可以被视为一个连续树。我们在七个真实世界的数据集上,在三个任务中将我们的方法与六个基于欧几里得的基线进行了实证比较,结果表明了我们的方法的有效性。
2020-08-31 cs.LG cs.SI physics.soc-ph
Fully Hyperbolic Rotation for Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);National and Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian(蒙古语智能信息处理技术国家地方联合工程研究中心);Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology(内蒙古多语言人工智能技术重点实验室)
针对现有双曲旋转模型仅部分利用双曲空间的问题,提出直接在洛伦兹模型下定义旋转的全双曲嵌入模型,以洛伦兹距离评分,在标准基准上以更少参数取得竞争性结果,并在CoDEx数据集上达到最优。
2024-11-07 cs.AI cs.LG
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre(国家生物标志物中心)
本文提出一种多关系模型,通过从词典定义中自动提取概念关系,在双曲空间中利用翻译框架学习词嵌入,实验证明其比欧几里得方法更优,且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
HCOE: Hyperbolic Clinical Ontology Embeddings from Biomedical Language Models
McGill University(麦吉尔大学);Northwestern University(西北大学);Ohio University(俄亥俄大学)
针对生物医学语言模型未显式保留医学代码层级的问题,提出双曲临床本体嵌入(HCOE),将BioBERT嵌入映射至庞加莱球,结合本体引导对比学习与路径聚合,在ICD/ATC关系预测及MIMIC-IV多项临床任务上取得最优性能。
2026-09-28 cs.AI cs.LG
Machine learning meets network science: dimensionality reduction for fast and efficient embedding of networks in the hyperbolic space
Technische Universität Dresden(德累斯顿工业大学);ALMA MATER STUDIORUM - Università di Bologna(博洛尼亚大学);Lipotype GmbH(Lipotype有限公司);Queen Mary University of London(伦敦玛丽女王大学)
复杂网络拓扑和双曲几何似乎是镜像连接的,而最近复杂网络理论中最吸引人和最具挑战性的问题之一就是将给定的网络映射到其双曲空间。目前,流行的相似性优化(PSO)模型代表了这一理论的顶峰。它表明,节点流行度和相似性之间的权衡是一种机制,可以解释复杂的网络拓扑如何从双曲几何的连续世界中出现-作为离散样本。双曲空间似乎适合于表示真实的复杂网络。事实上,它保留了它们的许多基本拓扑属性,并且可以用于实际应用,例如链接预测和社区检测等。在这里,我们第一次观察到基于拓扑的机器学习类算法-用于非线性无监督降维-可以直接将双曲模型的网络节点角坐标近似为二维空间,根据我们命名为角合并的类似拓扑组织。基于这一现象,我们提出了一类新的算法,提供了快速和准确的合并嵌入网络的双曲空间,即使是图与数千个节点。
2016-02-21 cond-mat.dis-nn cs.AI cs.LG