RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space
Peking University(北京大学);Université de Montréal(蒙特利尔大学);Mila-Quebec Institute for Learning Algorithms(米拉-魁北克学习算法研究所);HEC Montréal(蒙特利尔高等商学院)
我们研究的问题,学习表示的实体和关系的知识图谱预测丢失的链接。这种任务的成功在很大程度上依赖于建模和推断关系(或关系之间)的模式的能力。在本文中,我们提出了一种新的知识图谱嵌入方法称为RotatE,它能够建模和推断各种关系模式,包括:对称/反对称,反转,和组合。具体来说,RotatE模型将每个关系定义为复向量空间中从源实体到目标实体的旋转。此外,我们还提出了一种新的自对抗负采样技术,用于有效地训练RotatE模型。在多个基准知识图谱上的实验结果表明,所提出的RotatE模型不仅具有良好的可扩展性,而且能够对各种关系模式进行推理和建模,并在链接预测方面明显优于现有的最新模型.
2019-02-26 cs.CL cs.LG stat.ML
Quaternion Knowledge Graph Embeddings
Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);University of Oxford(牛津大学)
在这项工作中,我们超越了传统的复值表示,引入更具表现力的超复杂表示模型的实体和关系的知识图谱嵌入。更具体地,四元数嵌入,具有三个虚分量的超复值嵌入,用于表示实体。关系被建模为四元数空间中的旋转。该方法的优点是:(1)潜在的相互依赖性(2)四元数使四维空间中的旋转更有表现力,比复平面中的旋转有更多的自由度;(3)所提出的框架是ComplEx在超复杂空间上的推广,同时提供更好的几何解释,同时满足关系表示学习的关键要求(即,建模对称、反对称和反演)。实验结果表明,我们的方法达到了国家的最先进的性能在四个完善的知识图谱完成基准。
2019-10-31 cs.CL cs.LG stat.ML
5* Knowledge Graph Embeddings with Projective Transformations
University of Bonn(波恩大学);Nature-Inspired Machine Intelligence-InfAI(自然启发机器智能-InfAI);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
使用知识图谱嵌入模型进行链接预测已经成为知识图谱补全的流行方法。这样的模型采用变换函数,该变换函数经由边将节点映射到向量空间中,以便测量链接的可能性。在映射单个节点的同时,子图的结构也发生了变化。大多数在欧几里德几何中设计的嵌入模型通常支持单一的变换类型-通常是平移或旋转,这适合在相邻子图差异很小的图上学习。然而,多关系知识图谱通常在邻域中包括多个子图结构(例如,路径和循环结构的组合),当前嵌入模型不能很好地捕捉这些子图结构。为了解决这个问题,我们提出了一种新的KGE模型(5*E)在射影几何,它支持多个同时变换-具体的反转,反射,平移,旋转和homothety。该模型有几个有利的理论性质,并纳入现有的方法。它在最广泛使用的链接预测基准测试中的表现优于它们
2021-03-14 cs.AI cs.LG
Ultrahyperbolic Knowledge Graph Embeddings
University of Stuttgart(斯图加特大学);University of Bonn(波恩大学);Monash University(莫纳什大学);University of Southampton(南安普顿大学)
最近的知识图谱(KG)嵌入已经由双曲几何,由于其优越的能力,表示层次。然而,现实世界KG的拓扑结构是相当异构的,即,KG由多个不同的层次和非层次图结构组成。因此,一个均匀的(无论是欧几里德或双曲)几何是不足以公平地代表这样的异质结构。为了捕捉KG的拓扑异质性,我们提出了一个超双曲KG嵌入(UltraE)在超双曲(或伪黎曼)流形无缝交织双曲和球面流形。特别是,我们的模型每个关系作为一个伪正交变换,保持伪黎曼双线性形式。伪正交变换被分解成各种算子(即,圆形旋转、反射和双曲线旋转),允许同时对异构结构以及复杂的关系模式进行建模。三个标准KG上的实验结果表明,UltraE优于以前的欧几里德和双曲线为基础的方法。
2022-06-01 cs.AI cs.LG
Knowledge Graph Embedding with 3D Compound Geometric Transformations
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
受CompoundE和Rotate3D启发,提出利用3D复合几何变换(平移、旋转、缩放、反射和剪切)的KGE模型族CompoundE3D,其多变体集成在四个链接预测数据集上表现优异。
2023-04-01 cs.AI cs.LG
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs(甲骨文实验室);AEHRC, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性,给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标,这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明,我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得:\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
SpherE: Expressive and Interpretable Knowledge Graph Embedding for Set Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文首次研究知识图谱集合检索问题,提出将实体嵌入为球体的旋转嵌入模型 SpherE,以表达性建模多对多关系,在保持可解释性的同时实现精确集合检索并兼顾缺失事实预测能力。
2024-04-29 cs.AI cs.IR cs.LG
DensE: An Enhanced Non-commutative Representation for Knowledge Graph Embedding with Adaptive Semantic Hierarchy
Rutgers University(罗格斯大学)
获取关系的组成模式是知识图谱构建中的一项重要任务。它也是对学习知识进行多跳推理的基本步骤。以前,已经开发了几种基于旋转的平移方法,使用一系列复值对角矩阵的乘积来建模复合关系。然而,这些方法倾向于对复合关系做出几个过于简化的假设,例如,迫使它们是可交换的、独立于实体并且缺乏语义层次。为了系统地解决这些问题,我们已经开发了一种新的知识图谱嵌入方法,命名为DensE,提供了一个改进的建模方案的复杂组成模式的关系。特别地,我们的方法将每个关系分解为基于SO(3)群的旋转算子和三维(3-D)欧氏空间中的缩放算子。这种设计原则导致了我们的方法的几个优点:(1)对于复合关系,对应的对角关系矩阵可以是非交换的,反映了现实世界中的主要场景;(2)我们的模型保留了关系操作和实体嵌入之间的自然交互;(3)缩放操作为实体的内在语义层次结构提供了建模能力;(4)在参数大小和训练时间方面以高计算效率实现了DensE的增强的表达能力;(5)在欧几里得空间而不是四元数空间中建模实体保持了关系模式的直接几何解释。在多个基准知识图谱上的实验结果表明,DensE优于当前最先进的缺失链接预测模型,特别是在复合关系上。
2022-01-11 cs.AI cs.CL cs.LG
Low-Dimensional Hyperbolic Knowledge Graph Embeddings
Stanford University(斯坦福大学);Google Research(谷歌研究院);Amazon Alexa(亚马逊Alexa)
知识图谱(KG)嵌入学习实体和关系的低维表示以预测缺失的事实。KG经常表现出层次和逻辑模式,必须在嵌入空间中保存。对于分层数据,双曲线嵌入方法已经显示出高保真和简约表示的前景。然而,现有的双曲嵌入方法没有考虑到KG中丰富的逻辑模式。在这项工作中,我们引入了一类双曲KG嵌入模型,同时捕获层次和逻辑模式。我们的方法结合了双曲反射和旋转,并注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数秩(MRR)上比以前基于欧几里得和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换推广到多个关系。在高维度上,我们的方法在WN 18 RR上产生了49.6%的最新MRR,在YAGO 3 -10上产生了57.7%的最新MRR。
2020-05-01 cs.AI cs.CL cs.LG
Heterogeneous manifolds for curvature-aware graph embedding
Twitter Inc.(推特公司);University College London(伦敦大学学院);University of Oxford(牛津大学)
图嵌入,其中图的节点由连续空间中的点表示,用于广泛的Graph ML应用程序中。这种嵌入的质量关键取决于空间的几何形状是否与图的几何形状匹配。对于许多类型的真实世界的图来说,欧氏空间通常是一个糟糕的选择,其中层次结构和幂律度分布与负曲率有关。在这方面,最近已经表明,双曲空间和更一般的流形,如常曲率空间和矩阵流形的产品,是有利的近似匹配节点成对距离。然而,所有这些类的流形都是齐次的,这意味着曲率分布在每个点上都是相同的,使得它们不适合匹配图的局部曲率(和相关的结构性质)。在本文中,我们研究图嵌入在更广泛的一类异构旋转对称流形。通过向任何给定的现有齐次模型添加一个额外的径向维度,我们可以同时考虑图上的非均匀曲率分布和成对距离。我们评估了我们的方法在合成和真实数据集上的重建任务,并显示了它在更好地保留高阶结构和异构随机图生成方面的潜力。
2022-02-02 cs.LG stat.ML
Highly Efficient Rotation-Invariant Spectral Embedding for Scalable Incomplete Multi-View Clustering
University of Macau(澳门大学);China University of Geosciences(中国地质大学)
针对不完整多视图聚类中数据恢复不适配谱聚类、计算复杂及旋转失配问题,提出RISE方法,通过不完整二分图学习嵌入并恢复旋转不变共识表示,以线性复杂度算法实现高效可扩展聚类。
2025-01-21 cs.LG
Property Invariant Embedding for Automated Reasoning
University of Innsbruck(因斯布鲁克大学);Czech Technical Univ. in Prague(布拉格捷克理工大学)
自动推理和定理证明最近已经成为机器学习的主要挑战。在其他领域,能够抽象不重要的转换的表示,例如视觉中的平移和旋转抽象,变得越来越普遍。然而,嵌入用于学习定理证明的数学公式的标准方法还不能处理许多重要的变换。特别是,嵌入以前看不见的标签,经常出现在定义编码和Skolemization,到目前为止已经非常弱。在已知符号之间传递知识时也会出现类似的问题。我们提出了一种新的编码公式,扩展现有的图神经网络模型。这种编码仅通过图中的节点来表示符号,而不向网络提供原始标签的任何知识。我们在这些节点之间提供了额外的链接,使网络能够恢复意义,从而正确地嵌入这些节点,而不管给定的标签。我们测试所提出的编码在一个自动定理证明的基础上的tableaux连接演算,并表明,它提高了迄今为止使用的最佳表征。编码进一步评估的前提选择任务和新引入的符号猜测任务,并正确预测65%的符号名称。
2019-11-27 cs.AI cs.LG cs.LO
HopfE: Knowledge Graph Representation Learning using Inverse Hopf Fibrations
Cerence GmbH(赛仁斯有限公司);Zerotha Research(Zerotha研究院);RWTH Aachen(亚琛工业大学);University of Dayton(代顿大学);IBM Research(IBM研究院);Goldman Sachs(高盛集团)
近年来,几种知识图谱嵌入(KGE)方法被设计用于在稠密向量空间中表示实体和关系,并被用于下游任务,如链接预测。一些KGE技术解决了可解释性,即,映射关系的连通性模式(即,对称/不对称、逆和合成)转换为诸如旋转的几何解释。其他方法在诸如四维空间(4D)之类的更高维空间中对表示进行建模,以增强推断连接性模式(即,表现力)。然而,在4D空间中建模关系和实体往往以可解释性为代价。本文提出了HopfE,一种新的KGE方法,旨在实现在四维空间中的推断关系的可解释性。我们首先在三维欧氏空间中对结构嵌入进行建模,并将关系算子视为SO(3)旋转。接下来,我们使用逆霍普夫纤维化将实体嵌入向量从3D空间映射到4D超球面,其中我们嵌入KG本体的语义信息。因此,HopfE考虑了实体的结构和语义属性,而不会失去表达性和可解释性。我们对四个著名基准的实证结果实现了KG完成任务的最先进性能。
2021-08-12 cs.CL cs.IR cs.LG
TransGCN:Coupling Transformation Assumptions with Graph Convolutional Networks for Link Prediction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
链接预测是统计关系学习中一个重要且经常被研究的任务,它有助于理解知识图谱(KG)的结构。受图卷积网络(GCN)在图形数据建模方面的成功启发,我们提出了一个统一的GCN框架,名为TransGCN,以解决这一任务,其中关系和实体嵌入同时学习。为了处理KG中的异构关系,我们引入了一种新的方式表示异构邻域通过引入转换假设的主题,关系,和对象的三元组之间的关系。具体来说,关系被视为将头实体转换为尾实体的转换运算符。在我们的框架中,transE的平移假设和旋转假设RotatE的探索。另外,代替仅学习基于卷积的编码器中的实体嵌入,同时学习解码器中的关系嵌入,如由现有技术的模型所完成的,例如,R-GCN,TransGCN框架在图卷积操作期间同时训练关系嵌入和实体嵌入,因此与R-GCN相比具有更少的参数。实验表明,我们的模型优于最先进的方法在FB 15 K-237和WN 18 RR。
2019-10-01 cs.CL cs.LG stat.ML
On the invertibility of a voice privacy system using embedding alignement
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家高等教育与研究网络);Universities(大学)
本文探讨了使用嵌入对齐技术的语音匿名系统的各种攻击场景。我们使用Wasserstein-Procrustes(一种最初为无监督翻译设计的算法)或Procrustes分析来匹配语音匿名化之前和之后的两组x向量,以将这种转换模拟为旋转函数。我们计算最佳旋转,并将此近似结果与官方语音隐私挑战结果进行比较。我们表明,一个复杂的系统,如语音隐私挑战的基线,可以近似旋转,估计使用一组有限的x向量。本文研究了在特定旋转范围内的语音匿名化问题的解空间。旋转是可逆的,所提出的方法可以恢复高达62%的发言人身份从匿名嵌入。
2021-10-08 cs.CR cs.LG cs.SD
Clifford Algebraic Rotor Embeddings : Maybe embeddings should start to CARE
Institute of Computer Science and Campus Institute Data Science, University of Göttingen(计算机科学研究所和校园数据科学学院,哥廷根大学);Max Planck Institute for Dynamics and Self-Organization, Göttingen, Germany(动态与自组织Max Planck研究所,哥廷根,德国)
针对现有高维RoPE扩展丧失移位等变性的问题,提出基于四元数的QuatRo并推广为可扩展至任意维度、支持多阶多重向量编码的CARE嵌入方法,开展了不同旋转嵌入的初步对比实验。
2025-11-11 cs.AI cs.LG
Higher-Dimensional Rotary Position Embedding
The Chinese University of Hong Kong(香港中文大学);Tencent Hunyuan(腾讯混元);Tsinghua University(清华大学);University of Macau(澳门大学)
针对RoPE跨通道混合与鲁棒性不足的问题,提出HD-RoPE,通过扩展至高维旋转并引入Paley-I正交基,在无额外参数的情况下提升性能,获基准测试显著改善。
2026-09-01 cs.AI cs.CL cs.LG
Selective Rotary Position Embedding
ELLIS Institute Tübingen(图宾根埃利斯研究所);LIONS, EPFL(日内瓦理工学院LIONS实验室);University of Freiburg(弗赖堡大学);Max-Planck-Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Prior Labs(Prior实验室)
本文提出选择性RoPE,一种输入依赖的旋转嵌入机制,适用于线性和softmax变压器,通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
Polytechnique Montréal(蒙特利尔综合理工学院);Mila - Quebec AI Institute(Mila-魁北克人工智能研究所);LAMA-WeST Lab(LAMA-WeST实验室);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
发现推理模型的输入嵌入与思考嵌入存在高锥度且方向非共线,提出无训练方法Rotate2Think,通过正交Procrustes分析估计旋转并注入合成思考向量,在30/32配置中提升数学、科学和代码任务准确率。
2026-06-02 cs.AI cs.LG
VectorSmuggle: Steganographic Exfiltration in Embedding Stores and a Cryptographic Provenance Defense
ThirdKey / Tarnover, LLC(ThirdKey / 塔诺弗公司)
本文研究了在嵌入式存储中通过简单扰动隐藏数据的隐写术攻击,提出VectorPin协议通过加密签名保障嵌入数据完整性,解决了嵌入式存储的溯源和完整性问题。
2026-05-13 cs.CR cs.IR cs.LG
Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings
Changsha University(长沙大学)
通过分析InfoNCE训练表示的协方差结构,揭示了协方差矩阵的非对角项和坐标异质性如何分别影响二值量化的排序保真度和设计选择,并推导出缩放律以指导系统设计。
2026-05-29 cs.DB cs.LG
ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling
Google DeepMind(谷歌DeepMind);YouTube(优兔)
ClockRoPE基于随机傅里叶旋转理论提出,用于序列推荐的时序常规建模,经在线A/B测试可提升参与度指标,已部署于大型视频平台的生成式检索系统。
2026-08-19 cs.LG
Modeling Relational Patterns for Logical Query Answering over Knowledge Graphs
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southampton(南安普顿大学)
本文提出一种新颖的查询嵌入方法RoConE,通过在复数空间利用几何锥体和旋转算子建模关系模式,有效增强了一阶逻辑查询的回答性能。
2025-03-04 cs.AI cs.DB cs.LG
Embedding Logical Queries on Knowledge Graphs
Stanford University(斯坦福大学)
学习知识图谱的低维嵌入是一种用于预测实体之间未观察到的或缺失的边缘的强大方法。然而,在这一领域的一个开放的挑战是开发技术,可以超越简单的边缘预测和处理更复杂的逻辑查询,这可能涉及多个未观察到的边缘,实体和变量。例如,给定一个不完整的生物知识图谱,我们可能想预测什么药物可能靶向与X和Y两种疾病有关的蛋白质?“--需要推理{ \em可能}与疾病X和Y相互作用的所有可能蛋白质的查询。在这里,我们介绍了一个框架,有效地预测合取逻辑查询-一个灵活的,但易处理的一阶逻辑子集-不完整的知识图谱。在我们的方法中,我们将图节点嵌入到低维空间中,并将逻辑运算符表示为学习的几何运算(例如,平移、旋转)在该嵌入空间中。通过在低维嵌入空间内执行逻辑运算,我们的方法实现了时间复杂度,与基于枚举的方法所需的指数复杂度相比,查询变量的数量是线性的。我们在两个应用研究中展示了这个框架的实用性,这两个应用研究涉及数百万个关系:预测药物-基因-疾病相互作用网络中的逻辑关系,以及来自流行网络论坛的基于图形的社交互动表示。
2019-10-29 cs.LG cs.SI stat.ML