Transductive Data Augmentation with Relational Path Rule Mining for Knowledge Graph Embedding
Tokyo Institute of Technology(东京工业大学);Chiba Institute of Technology(千叶工业大学);Riken AIP(日本理化学研究所人工智能项目);Nara Institute of Science & Technology(奈良先端科学技术大学)
对于知识图谱的完备化,存在两种主要类型的预测模型:一种基于图嵌入,另一种基于关系路径规则归纳。它们有不同的优点和缺点。为了利用这两种类型,最近已经提出了混合模型。混合模型之一UniKER通过关系路径规则交替地增加训练数据并训练嵌入模型。尽管它的预测精度很高,但它并没有充分利用关系路径规则,因为它忽略了低置信度规则,以保持增强数据的质量。为了缓解这一限制,我们提出了通过关系路径规则和增强数据的基于置信度的权重的转换数据增强。结果和分析表明,我们提出的方法有效地提高了嵌入模型的性能,通过增加数据,包括真正的答案或类似的实体。
2021-11-01 cs.CL cs.IR cs.LG
A Relational Tucker Decomposition for Multi-Relational Link Prediction
University of Mannheim(曼海姆大学)
提出了一种用于知识图谱中多关系链接预测的关系塔克3(RT)分解方法。我们发现,许多现有的知识图谱嵌入模型是特殊情况下的RT分解与某些预定义的稀疏模式在其组件。与这些先前的模型相比,RT将实体和关系嵌入的大小合并,允许在关系之间共享参数,并且不使用预定义的稀疏模式。我们使用RT分解作为工具来探索自动学习稀疏模式是否可能和有益,以及密集模型是否可以优于稀疏模型(使用相同数量的参数)。我们的实验表明,根据数据集的不同,这两个问题都可以得到肯定的回答。
2019-02-03 cs.LG stat.ML
TeRoR: Decoupled Temporal Rotation with Relational Circular Region for Temporal Knowledge Graph Embedding
South China Normal University(华南师范大学)
针对TeRo模型在关系映射特性和时间信息表达上的不足,提出TeRoR方法,通过解耦实体嵌入的时间演化、独立旋转头尾实体增强时间建模,并利用半径约束头实体在尾实体圆形区域内以捕捉关系映射特性,在四个数据集上取得竞争性能。
2026-06-29 cs.LG
RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space
Peking University(北京大学);Université de Montréal(蒙特利尔大学);Mila-Quebec Institute for Learning Algorithms(米拉-魁北克学习算法研究所);HEC Montréal(蒙特利尔高等商学院)
我们研究的问题,学习表示的实体和关系的知识图谱预测丢失的链接。这种任务的成功在很大程度上依赖于建模和推断关系(或关系之间)的模式的能力。在本文中,我们提出了一种新的知识图谱嵌入方法称为RotatE,它能够建模和推断各种关系模式,包括:对称/反对称,反转,和组合。具体来说,RotatE模型将每个关系定义为复向量空间中从源实体到目标实体的旋转。此外,我们还提出了一种新的自对抗负采样技术,用于有效地训练RotatE模型。在多个基准知识图谱上的实验结果表明,所提出的RotatE模型不仅具有良好的可扩展性,而且能够对各种关系模式进行推理和建模,并在链接预测方面明显优于现有的最新模型.
2019-02-26 cs.CL cs.LG stat.ML
Link Prediction with Relational Hypergraphs
University of Oxford(牛津大学);Universidad Católica de Chile(智利天主教大学)
本文提出关系超图链接预测框架,使图神经网络适用于 k 元完全关系结构,并结合关系型 Weisfeiler-Leman 算法与逻辑表达性分析其能力,实验在归纳式和直推式任务上取得优异结果。
2025-06-09 cs.AI cs.LG
Query Embedding on Hyper-relational Knowledge Graphs
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Elsevier(爱思唯尔);LMU Munich(慕尼黑大学);Mila(米拉研究所);McGill University(麦吉尔大学)
多跳逻辑推理是知识图谱(KG)上的表示学习领域中的既定问题。它包含单跳链接预测以及其他更复杂类型的逻辑查询。现有的算法只在经典的,基于三元组的图上操作,而现代KG通常采用超关系建模范式。在这个范例中,类型化的边可能有几个键值对,称为限定符,为事实提供细粒度的上下文。在查询中,此上下文修改关系的含义,并且通常减少答案集。超关系查询经常在现实世界的KG应用程序中观察到,现有的近似查询回答方法不能使用限定符对。在这项工作中,我们弥合了这一差距,并将多跳推理问题扩展到超关系KG,以解决这种新型的复杂查询。基于图神经网络和查询嵌入技术的最新进展,我们研究了如何嵌入和回答超关系合取查询。除此之外,我们提出了一种方法来回答这样的查询,并在我们的实验中证明,限定符提高查询回答不同的查询模式。
2022-09-06 cs.AI cs.DB cs.IR
HEHRGNN: A Unified Embedding Model for Knowledge Graphs with Hyperedges and Hyper-Relational Edges
organization= Department of Computer Science;Engineering Indian Institute of Technology Palakkad , country= India
HEHRGNN是一种统一的嵌入模型,用于处理具有超边和超关系边的n-元关系知识图谱,通过统一的事实表示格式和新型消息传播模型,提升链接预测性能。
2026-02-21 cs.AI cs.LG
Improving Inductive Link Prediction Using Hyper-Relational Facts
University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所(IAIS));Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学(慕尼黑大学));McGill University(麦吉尔大学);Mila(米拉研究所);IBM Research(IBM研究院);Siemens AG(西门子股份公司)
多年来,知识图谱(KG)上的链接预测一直是一个纯粹的转换任务,不允许对看不见的实体进行推理。最近,越来越多的努力投入到探索半和完全归纳的情况下,使推理看不见的和新兴的实体。尽管如此,所有这些方法仅考虑基于三元组的\glspl{kg},而它们更丰富的对应物,超关系KG(例如,Wikidata),尚未得到适当的研究。在这项工作中,我们对不同的归纳设置进行分类,并研究了在图神经网络的最新进展驱动的广泛的半和全归纳链接预测任务上采用超关系KG的好处。我们在一组新的基准测试上的实验表明,与仅三重基准相比,类型化边缘上的限定符可以导致6%的绝对增益(对于Hits@10度量)的性能改进。我们的代码可在\url{https://github.com/mali-git/hyper_relational_ilp}上找到。
2021-07-10 cs.LG
Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge
Principal Consultant, CMC APAC(CMC APAC 主任顾问)
本文提出SmartVector框架,通过引入时间意识、置信度衰减和关系意识,改进检索增强生成系统,提升准确性与鲁棒性。
2026-04-22 cs.CL cs.DB cs.IR
Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks
Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Leeds(利兹大学)
图神经网络(GNN)已被广泛用于各种结构化图数据的表示学习。虽然很有前途,但大多数现有的GNN过度简化了图中边的复杂性和多样性,因此无法有效地处理普遍存在的异构图,这些异构图通常是多关系图表示的形式。在本文中,我们提出了RioGNN,一种新的加强,递归和灵活的邻域选择引导的多关系图神经网络架构,导航复杂的神经网络结构,同时保持关系依赖的表示。首先根据实际任务构造一个多关系图,反映节点、边、属性和标签的异构性。为了避免不同类型节点之间的嵌入过度同化,我们采用了一种标签感知的神经相似性度量来确定基于节点属性的最相似邻居。一个增强的关系感知的邻居选择机制,选择最相似的邻居的目标节点在一个关系,然后聚合所有的邻居信息从不同的关系,以获得最终的节点嵌入。特别地,为了提高邻居选择的效率,我们提出了一种新的递归和可扩展的强化学习框架,具有可估计的深度和宽度的不同规模的多关系图。RioGNN可以通过过滤阈值机制识别每个关系的个体重要性,从而学习更多有区别的节点嵌入,增强了可解释性。在真实图数据和实际任务上的综合实验表明,与其他比较GNN模型相比,该模型在有效性、效率和模型可解释性方面都有很大的进步。
2021-10-05 cs.LG cs.SI
Enhancing the Utility of Higher-Order Information in Relational Learning
Harvard University(哈佛大学)
本文系统比较超图级与图级架构利用高阶信息的能力,提出基于经典超图特征的超图级编码,并证明其可显著增强图级消息传递神经网络的表达能力与性能。
2025-02-13 cs.LG stat.ML
Multi-Relational Knowledge Graph Enhanced Embedding for Trajectory-User Linking
the College of Information, Mechanical and Electrical Engineering, Shanghai Normal University(上海师范大学信息与机电工程学院);Shanghai Urban-Rural Construction & Transportation Development Institute(上海城乡建设与交通发展研究院);Zhongke Zidong Information Technology(中科紫东信息技术(北京)有限公司)
MakeTUL首次将知识图谱表示学习引入TUL,通过多关系移动知识图谱和双分支分类层,解决现有TUL方法特征利用不足等问题,提升轨迹用户链接性能。
2026-08-11 cs.CV cs.LG
Nothing Stands Alone: Relational Fake News Detection with Hypergraph Neural Networks
Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Bytedance(字节跳动);Illinois Institute of Technology(伊利诺伊理工学院)
如今,假新闻很容易通过在线社交网络传播,成为对个人和社会的巨大威胁。评估新闻的真实性是具有挑战性的,因为其精心编造的内容,使得很难获得大规模的假新闻数据注释。由于这种数据稀缺性问题,检测假新闻往往会失败,并且在监督环境中过度拟合。最近,图神经网络(GNN)已被采用,以利用标记和未标记的实例之间的更丰富的关系信息。尽管它们的结果很有希望,但它们本质上专注于新闻之间的成对关系,这可能会限制捕捉在群体层面传播的假新闻的表达能力。例如,当我们更好地理解易感用户之间共享的新闻片段之间的关系时,检测假新闻可能会更有效。为了解决这些问题,我们建议利用超图来表示新闻之间的群体互动,同时利用其双层注意力机制来关注重要的新闻关系。基于两个基准数据集的实验表明,我们的方法产生了显着的性能,并保持高性能,即使是一个小的子集标记的新闻数据。
2022-12-24 cs.LG cs.SI
Improving Hyper-Relational Knowledge Graph Completion
Carnegie Mellon University(卡内基梅隆大学)
与传统的知识图谱(KG)不同,其中事实被表示为实体-关系-实体三元组,超关系KG(HKG)允许三元组与额外的关系-实体对(也称为限定符)相关联以传达更复杂的信息。如何有效和高效地建模的三重限定符关系的预测任务,如HKG完成是一个开放的挑战的研究。本文提出通过引入两个新的修改来改进HKG完成中性能最好的方法,即STARE:(1)用轻量级实体/关系嵌入处理技术取代计算繁重的图神经网络模块,以在不牺牲有效性的情况下提高效率;(2)添加面向限定符的辅助训练任务,以提高我们的方法对HKG完成的预测能力。在我们对三个基准数据集的实验中,所提出的方法始终优于STARE,并显着提高了计算效率。
2021-04-16 cs.LG
Hierarchical Attention Models for Multi-Relational Graphs
University of California, Los Angeles(加州大学洛杉矶分校)
该研究提出结合双层注意力与关系图卷积的BR-GCN模型,将Transformer和GAT注意力拓展到大规模异构图,在节点分类、链路预测任务上性能优于现有基线,且具备可扩展性。
2024-04-14 cs.LG
Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data
ILLC, University of Amsterdam(伊拉斯谟罗素学院,阿姆斯特丹大学);Leipzig University(莱比锡大学);ScaDS.AI Center(ScaDS.AI研究中心);Technion(技术学院);RelationalAI(关系AI)
提出神经关系程序(NRP),一种扩展Datalog规则的声明式查询语言,通过嵌入操作融合关系推理与可学习神经组件,实现关系数据上的通用神经计算。
2026-10-16 cs.CC cs.DB cs.LG
Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings
University of Amsterdam(阿姆斯特丹大学)
图神经网络(GNN)在处理图结构数据方面取得了很大的成功。然而,据观察,GNN的性能不会随着层数的增加而改善(甚至恶化)。这种效应被称为过度平滑,这意味着当堆叠多个层时,不同类的图节点的表示将变得无法区分。在这项工作中,我们提出了一种新的简单而有效的方法,通过显式地使用节点嵌入之间的关系来减轻GNNs中过度平滑问题的影响。在真实世界数据集上的实验表明,利用节点嵌入关系使GNN模型(如图注意力网络)对过度平滑更具鲁棒性,并在更深的GNN中实现更好的性能。我们的方法可以与其他方法结合使用,以获得最佳性能。GNN应用程序是无止境的,取决于用户的目标和他们拥有的数据类型。解决过度平滑问题可以潜在地提高模型在所有这些任务上的性能。
2023-01-07 cs.AI cs.LG
Rel-HNN: Split Parallel Hypergraph Neural Network for Learning on Relational Databases
University of Dhaka(达卡大学);Brac University(布拉克大学)
本文提出超图神经网络框架 rel-HNN,将属性-值对建模为节点、元组建模为超边以捕捉细粒度关系结构,并通过分割并行多 GPU 训练算法解决大规模关系数据库的可扩展性问题,在分类和回归任务上显著优于现有方法。
2025-07-16 cs.DB cs.DC cs.LG
Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study
University of Cambridge(剑桥大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多跳问答是一个复杂的自然语言处理任务,需要多个推理步骤来找到给定问题的正确答案。以前的研究已经探索了使用基于图神经网络的模型来解决这一任务。已经提出了各种架构,包括关系图卷积网络(RGCN)。对于这些许多节点类型和它们之间的关系已经被引入,例如简单的实体同现,建模共引用,或通过中间实体从问题到答案的“推理路径”。然而,关于哪些关系、节点类型、嵌入和架构对这项任务最有益的深入分析仍然缺失。在本文中,我们探索了一些基于RGCN的多跳QA模型,图关系和节点嵌入,并实证探索每个对WikiHop数据集上的多跳QA性能的影响。
2022-10-13 cs.AI cs.CL cs.LG
Relational Reflection Entity Alignment
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
实体对齐的目的是从不同的知识图谱中识别出等价的实体对,这对于集成多源知识图谱至关重要。最近,随着GNN引入实体对齐,最近模型的架构变得越来越复杂。我们甚至在这些方法中发现了两个违反直觉的现象:(1)GNN中的标准线性变换工作得不好。(2)许多为链接预测任务设计的高级KG嵌入模型在实体对齐方面表现不佳。在本文中,我们抽象现有的实体对齐方法到一个统一的框架,形状生成器和对齐,这不仅成功地解释了上述现象,并得出了两个关键的标准,一个理想的转换操作。此外,我们提出了一种新的基于GNNs的方法,关系反射实体对齐(RREA)。RREA利用关系反射转换以更有效的方式为每个实体获取特定于关系的嵌入。在真实世界数据集上的实验结果表明,我们的模型显著优于最先进的方法,在Hits@1上超过5.8%-10.9%。
2020-08-18 cs.CL cs.IR cs.LG
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));University of Illinois Chicago(芝加哥大学伊利诺伊分校)
本文提出将关系学习形式化为超图恢复的数学框架,分析预训练模型恢复世界关系结构的可行性与极小极大近最优数据效率,并扩展至多模态实体对齐。
2024-06-17 cs.AI cs.LG
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题,提出隐式超图神经网络IHGNN,通过求解非线性不动点方程实现稳定全局传播,并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Generalizing Hyperedge Expansion for Hyper-relational Knowledge Graph Modeling
Tsinghua University(清华大学)
针对超关系知识图谱建模难以同时捕获语义与结构信息的问题,提出等价变换方法TransEQ,通过编码器-解码器框架结合图神经网络与评分函数,在保留完整信息的同时显著提升了模型性能。
2024-11-09 cs.AI cs.LG
MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction
School of Integrated Technology (SIT), Gwangju Institute of Science and Technology (GIST)(光州科学技术院集成技术学院(SIT))
本文提出多尺度关系Transformer网络MART,通过超图Transformer编码器和自适应群体估计器建模个体与群体关系,在多智能体轨迹预测任务上取得最先进性能。
2024-07-31 cs.LG
Multi-Relational Graph Neural Network for Out-of-Domain Link Prediction
Universitá di Pisa(比萨大学);H&M Group(H&M集团)
针对动态多关系图中的域外链接预测任务,提出GOOD模型,通过解耦关系嵌入混合比例实现泛化,在零售领域基准上取得最优结果。
2024-03-17 cs.AI cs.LG
Cardinality Estimation on Hyper-relational Knowledge Graphs
HKUST(香港科技大学);PolyU(香港理工大学);HKUST (GZ)(香港科技大学(广州))
针对超关系知识图谱(HKGs)查询基数估计中现有方法未有效利用限定符信息的问题,本研究构建多样无偏查询集,并提出限定符感知GNN模型,其在三个HKGs基准上性能优于现有先进方法。
2025-02-18 cs.LG
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
我们提出了一个距离监督的关系抽取方法长尾,不平衡的数据,这是在现实世界中普遍存在的。在这里,挑战是学习精确的“Few-Shot”模型,用于存在于类分布的尾部的类,对于这些类,几乎没有可用的数据。受长尾类和头部类之间丰富的语义相关性的启发,我们利用分布头部数据丰富类的知识来提高尾部数据贫乏类的性能。首先,我们提出利用知识图谱嵌入的类标签之间的隐式关系知识,并使用图卷积网络学习显式关系知识。其次,通过知识感知的注意力机制将关系知识集成到关系抽取模型中。我们展示了我们的结果,一个大规模的基准数据集,这表明我们的方法显着优于其他基线,特别是长尾关系。
2019-03-04 cs.AI cs.CL cs.DB
SpikE: spike-based embeddings for multi-relational graph data
Siemens AI Lab Siemens AG Technology(西门子股份公司技术部西门子人工智能实验室)
该研究提出SpikE基于脉冲的图嵌入算法,用神经元群体脉冲时间和时间差分别表示知识图谱节点与关系,兼容脉冲神经网络训练框架且适配神经形态硬件,拓展了其工业应用场景。
2021-05-17 cs.LG cs.NE q-bio.NC
Enhancing Embedding Representations of Biomedical Data using Logic Knowledge
University of Siena(锡耶纳大学)
知识图谱嵌入(KGE)已经成为一种非常流行的模型,专门设计用于处理本体和图结构数据,因为它们可以隐式地编码潜在空间中实体和关系之间的统计依赖关系。KGE技术对于生物医学领域特别有效,在生物医学领域中,处理生物和化学对象之间的复杂相互作用的大知识图谱是非常常见的。最近在文献中,PharmKG数据集已被提出作为最具挑战性的知识图谱生物医学基准之一,具有基因,疾病和化学品之间的数十万个关系事实。尽管KGE可以扩展到非常大的关系域,但它们通常无法表示事实之间更复杂的关系依赖关系,如逻辑规则,这可能是复杂实验环境中的基础。在本文中,我们利用逻辑规则来增强嵌入表示的KGE的PharmKG数据集。为此,我们采用了关系推理网络(R2N),最近提出的神经符号的方法显示出可喜的成果知识图谱完成任务。R2N使用可用的逻辑规则来构建一个神经架构,在KGE潜在表示上进行推理。在实验中,我们表明,我们的方法能够显着改善PharmKG数据集的当前最先进水平。最后,我们提供了一个消融研究实验比较的效果,根据不同的选择标准和不同的考虑规则的数量的替代规则集。
2023-03-23 cs.AI cs.LG q-bio.QM
Holographic Embeddings of Knowledge Graphs
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Universita Degli Studi Di Genova(热那亚大学)
实体和关系的学习嵌入是对诸如知识图谱的关系数据执行机器学习的有效且通用的方法。在这项工作中,我们提出了全息嵌入(HolE)来学习整个知识图谱的组成向量空间表示。所提出的方法与关联记忆的全息模型有关,因为它采用循环相关来创建组合表示。通过使用相关性作为组合算子,HolE可以捕获丰富的交互,但同时保持计算效率,易于训练,并且可扩展到非常大的数据集。在大量的实验中,我们表明,全息嵌入能够优于最先进的方法,在知识图谱和关系学习基准数据集的链接预测。
2015-12-07 cs.AI cs.LG stat.ML
MaGNet: A Mamba Dual-Hypergraph Network for Stock Prediction via Temporal-Causal and Global Relational Learning
University of California, San Diego(加州大学圣迭戈分校);Wuhan University of Technology(武汉理工大学)
本文提出 MaGNet,一种结合 Mamba 与双超图框架的股票预测网络,通过时间因果超图和全局概率超图分别捕捉局部时间影响与瞬时全局结构,在六大股票指数上实现了优于现有方法的预测与投资回报。
2025-10-29 cs.AI cs.LG
Hyper-Relational Knowledge Graph Neural Network for Next POI
Southern University of Science and Technology(南方科技大学);University of Amsterdam(阿姆斯特丹大学);University of Tokyo(东京大学)
本文提出超关系知识图谱神经网络HKGNN,通过构建超关系知识图谱和超图神经网络建模用户-POI-时间等多元关系,并结合自注意力与辅助信息,提升下一兴趣点推荐性能。
2023-11-28 cs.AI cs.IR cs.LG
QuatE-D: A Distance-Based Quaternion Model for Knowledge Graph Embedding
School of Electrical and Computer Engineering., College of Engineering., University of Tehran,Tehran., Iran.(电气与计算机工程学院,工程学院,德黑兰大学,德黑兰,伊朗)
提出QuatE-D,一种基于距离评分的四元数知识图谱嵌入模型,通过欧几里得距离增强可解释性和灵活性,在平均秩降低上表现优异,为知识图谱补全提供新方向。
2025-04-18 cs.LG
Propositionalization and Embeddings: Two Sides of the Same Coin
Jožef Stefan Institute(约瑟夫·斯特凡研究所);University of Nova Gorica(新戈里察大学);International Postgraduate School Jožef Stefan(约瑟夫·斯特凡国际研究生院);University of Ljubljana(卢布尔雅那大学)
数据预处理是机器学习流水线的重要组成部分,需要大量的时间和资源。预处理的一个组成部分是将数据转换为给定学习算法所需的格式。本文概述了关系学习中使用的一些现代数据处理技术,这些技术可以将不同类型和格式的输入数据融合为单个表数据表示,重点是命题化和嵌入数据转换方法。虽然这两种方法都旨在将数据转换为表格数据格式,但它们使用不同的术语和任务定义,被认为是针对不同的目标,并且在不同的上下文中使用。本文提供了一个统一的框架,允许这两个数据转换技术的统一定义,并通过解释这两种方法之间的相似性和差异,作为一个统一的复杂的数据转换任务的变体,以提高理解。除了统一的框架之外,本文的新颖之处在于结合了命题化和嵌入的统一方法,这得益于两者在解决复杂数据转换和学习任务方面的优势。我们提出了两个有效的实现统一的方法:一个基于实例的PropDRM方法,和一个基于特征的PropStar方法的数据转换和学习,以及他们的经验评估几个关系问题。结果表明,新的算法可以优于现有的关系学习器,可以解决更大的问题。
2020-06-08 cs.LG stat.ML
Answering Visual-Relational Queries in Web-Extracted Knowledge Graphs
NEC Labs Europe(欧洲NEC实验室);University of Alcalá(阿尔卡拉大学)
视觉关系知识图谱(KG)是其实体与图像相关联的多关系图。我们探索新的机器学习方法来回答网络提取的知识图谱中的视觉关系查询。为此,我们创建了ImageGraph,这是一个KG,包含1,330个关系类型,14,870个实体和829,931个从Web上抓取的图像。使用视觉关系KG(如ImageGraph),可以引入新的概率查询类型,其中图像被视为一等公民。不可见图像之间的关系预测以及多关系图像检索都可以用特定的视觉关系查询族来表示。我们引入卷积网络和知识图谱嵌入方法的新组合来回答此类查询。我们还探讨了一个零样本学习的情况下,一个全新的实体的图像与现有KG的实体的多个关系。所得到的将看不见的实体图像到知识图谱中的多关系基础用作语义实体表示。我们进行实验,以证明所提出的方法可以回答这些视觉关系查询有效和准确。
2019-05-03 cs.AI cs.LG
Neural-Symbolic Relational Reasoning on Graph Models: Effective Link Inference and Computation from Knowledge Bases
Institute of Informatics, UFRGS(UFRGS信息学院);City, University of London(伦敦大学城市学院)
神经符号模型的最新发展和日益增长的兴趣表明,混合方法可以为人工智能提供更丰富的模型。有效的关系学习和推理方法的整合是这一方向的关键挑战之一,因为神经学习和符号推理提供了互补的特征,有利于人工智能系统的开发。知识图谱上的关系标注或链接预测已经成为基于深度学习的自然语言处理研究的主要问题之一。此外,利用神经符号技术的其他领域也可能从这种研究努力中受益。在知识图谱中,已经有几种努力从现有事实中识别缺失的事实。两条研究路线试图通过考虑连接两个实体的所有已知事实或连接它们的几条事实路径来预测它们之间的知识关系。我们提出了一个神经符号图神经网络,它适用于学习所有的路径喂养的模型与嵌入的最小子集的知识图谱包含这样的路径。通过学习生成对应于词嵌入的实体和事实的表示,我们展示了如何端到端地训练模型来解码这些表示并以多任务方法推断实体之间的关系。我们的贡献是双重的:一个神经符号的方法,利用大型图的关系推理的分辨率,我们也证明了这种神经符号模型比基于路径的方法更有效
2020-05-05 cs.AI cs.LG stat.ML
Geometric Relational Embeddings
Universität Stuttgart(斯图加特大学);Institut für Künstliche Intelligenz (KI) der Universität Stuttgart(斯图加特大学人工智能研究所)
针对向量表示难以捕捉关系数据复杂符号属性的问题,提出几何关系嵌入范式,通过多种模型捕捉网络、知识图谱及本体中的复杂结构、逻辑约束与高阶结构,有效保留数据的离散符号特性。
2024-09-18 cs.AI cs.LG cs.SI
Learning Multi-Relational Semantics Using Neural-Embedding Models
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
在本文中,我们提出了一个统一的框架,建模多关系表示,评分和学习,并进行了实证研究,最近的几个多关系嵌入模型的框架下。我们研究了基于线性和双线性变换的关系运算符的不同选择,以及通过合并在额外文本资源上预训练的无监督向量来实现实体表示的效果。我们的研究结果显示了几个有趣的发现,使一个简单的嵌入模型的设计,实现了新的国家的最先进的性能在Freebase上评估的一个流行的知识库完成任务。
2014-11-14 cs.CL cs.LG stat.ML
Analogical Inference for Multi-Relational Embeddings
Carnegie Mellon University(卡内基梅隆大学)
大规模多关系嵌入是指学习大型知识图谱中实体和关系的潜在表示的任务。一个有效的和可扩展的解决方案,这个问题是基于知识的推理在广泛的应用中的真正成功的关键。本文提出了一种新的框架,优化潜在的表示方面的\textit{analogical}属性的嵌入式实体和关系。通过以可微的方式制定学习目标,我们的模型具有理论能力和计算可扩展性,并且在基准数据集上显著优于大量代表性基线方法。此外,该模型提供了一个优雅的统一的几个著名的方法在多关系嵌入,这可以被证明是我们的框架的特殊实例。
2017-07-06 cs.AI cs.CL cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre(国家生物标志物中心)
本文提出一种多关系模型,通过从词典定义中自动提取概念关系,在双曲空间中利用翻译框架学习词嵌入,实验证明其比欧几里得方法更优,且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
Local Embeddings for Relational Data Integration
EURECOM(欧洲通信学院);QCRI, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
基于深度学习的技术最近已经被用于数据集成问题,并取得了令人鼓舞的结果。一些方法直接使用在维基百科等大型语料库上训练的预训练嵌入。但是,对于具有自定义词汇表的企业数据集,它们可能并不总是合适的选择。其他方法采用来自自然语言处理的技术来获得企业关系数据的嵌入。然而,这种方法盲目地将元组视为句子,从而丢失了元组中存在的大量上下文信息。我们提出了算法,获得本地嵌入,有效的数据集成任务的关系数据库。我们做出了四项重大贡献。首先,我们描述了一个紧凑的基于图的表示,允许在关系世界中固有的丰富的关系集的规范。其次,我们提出了如何从这样的图中导出句子,有效地“描述”两个数据集中的元素(令牌,属性,行)之间的相似性。嵌入是基于这样的句子学习的。第三,我们提出了有效的优化,以提高学习嵌入的质量和集成任务的性能。最后,我们提出了一系列不同的标准来评估关系嵌入,并进行了一系列广泛的实验,验证它们对多个基线方法。我们的实验表明,我们的框架,EmbDI,产生有意义的结果,数据集成任务,如模式匹配和实体分辨率在监督和无监督的设置。
2020-09-03 cs.CL cs.DB cs.LG
BERT Meets Relational DB: Contextual Representations of Relational Databases
Indian Institute of Technology, Delhi(德里印度理工学院)
在本文中,我们解决的问题,学习低维表示的实体在关系数据库组成的多个表。嵌入有助于捕获数据库中编码的语义,并可用于各种设置,如表的自动完成,关系连接查询的全神经查询处理,无缝处理缺失值等。目前的工作仅限于使用单个表,或者在外部语料库上使用预训练的嵌入,这使得它们不适合在现实世界的数据库中使用。在这项工作中,我们研究如何使用这些基于注意力的模型来学习嵌入的实体在关系数据库。我们的灵感来自于BERT风格的预训练方法,并有兴趣观察它们如何在结构化数据库上扩展为表示学习。我们评估我们的方法的自动完成的关系数据库,并实现了改进的标准基线。
2021-04-30 cs.CL cs.DB cs.LG
Knowledge Hypergraph Embedding Meets Relational Algebra
University of British Columbia(不列颠哥伦比亚大学);Element AI
用于知识超图中推理的基于嵌入的方法学习每个实体和关系的表示。目前的方法不捕获图中的关系的程序规则。我们提出了一个简单的嵌入为基础的模型,称为ReAlE,进行链接预测的知识超图(广义知识图谱),可以表示高层次的抽象关系代数运算。我们从理论上表明,ReAlE是充分表达,并提供证据和经验证据,它可以代表一个大的子集的原始关系代数操作,即重命名,投影,集并集,选择,集差。我们还通过实验验证了ReAlE在知识超图完成和表示这些原始关系代数操作中的每一个方面都优于最先进的模型。对于后一个实验,我们生成一个综合的知识超图,我们设计了一个算法的基础上的Erdos-R 'enyi模型生成随机图。
2021-02-18 cs.LG
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London(伦敦大学学院);Institute of Health Informatics(健康信息学研究所)
学习知识表示是一种越来越重要的技术,适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时,嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集,导致训练过程中的信息丢失,并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型,该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明,新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs
Nanjing University(南京大学)
研究了知识图谱的嵌入问题。对这个问题的一个广泛建立的假设是,相似的实体可能具有相似的关系角色。然而,现有的相关方法主要是基于三层学习的KG嵌入,缺乏捕获实体长期关系依赖的能力。此外,三层学习不足以在实体之间传播语义信息,特别是对于跨KG嵌入的情况。在本文中,我们提出了循环跳跃网络(RSNs),它采用跳跃机制来弥合实体之间的差距。RSN将递归神经网络(RNN)与剩余学习相结合,以有效地捕获KG内部和之间的长期关系依赖关系。我们设计了一个端到端的框架,以支持不同任务的RSN。我们的实验结果表明,RSN优于最先进的基于嵌入的实体对齐方法,并取得了竞争力的KG完成性能。
2019-05-13 cs.AI cs.CL cs.LG
On Embeddings in Relational Databases
IIT Delhi(印度理工学院德里分校)
我们解决的问题,学习分布式表示的实体在关系数据库使用低维嵌入。低维嵌入旨在以最小的信息损失封装底层数据集的简洁向量表示。在关系数据库中跨实体的嵌入由于涉及错综复杂的数据关系和表示复杂性而较少被探索。关系数据库是交织的关系集合,其不仅对实体之间的关系进行建模,而且还记录定义实体之间的复杂关系的数据的复杂域特定的定量和时间属性。最近的方法学习嵌入构成了一个天真的方法来考虑完全反规范化的数据库,通过具体化的所有表的完整连接,并表示为一个知识图谱。这种流行的方法有一定的局限性,因为它不能捕获行间关系和关系数据库中编码的附加语义。在本文中,我们证明;一种更好的方法,通过利用表中列的底层语义,同时使用关系连接和潜在的行间关系来学习表示。在一个真实世界的数据库的相似性连接和表完成任务的评价实证结果支持我们的主张。
2020-05-13 cs.DB cs.LG
Leveraging Semantics for Incremental Learning in Multi-Relational Embeddings
Institute for Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
服务机器人受益于以语义上有意义的方式编码信息,以实现更强大的任务执行。先前的工作已经表明,多关系嵌入可以编码语义知识图谱,以促进可推广性和可扩展性,但仅限于批量学习范式。我们提出了增量语义学习(ISI),一种增量学习方法,使新的语义概念被初始化的嵌入在以前学到的嵌入语义相似的概念。我们在AI 2 Thor和MatterPort 3D数据集上评估ISI;我们的实验表明,平均ISI将即时查询性能提高了41.4%。此外,ISI方法平均将接近模型收敛所需的时期数减少了78.2%。
2019-07-08 cs.LG stat.ML
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London(帝国理工学院);University College London(伦敦大学学院);City University of London(伦敦城市大学)
我们提出了一个新的关系VAE半监督模型,能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面,在半监督表示上强制执行结构可以大大提高zero-shot转导传输,但可能不太有利,甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Can LLMs Use Relational Transformer Embeddings?
Kunumi Institute(库鲁米研究所);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
本研究探索将关系Transformer嵌入作为软令牌注入大语言模型的可行性,经多任务评估发现该混合模型表现不佳,需更强对齐目标与感知模式设计才能成为关系预测可靠途径。
2026-09-02 cs.LG
Gromov-Wasserstein Methods for Multi-View Relational Embedding and Clustering
Instituto Federal de Educação, Ciência e Tecnologia do Ceará(塞阿拉联邦教育、科学和技术 institute);Federal University of Ceara(塞阿拉联邦大学);Sigma Nova
本文提出Bary-GWMDS和Mean-GWMDS-C方法,通过直接操作距离矩阵学习共识嵌入,保留共享关系结构,并在合成和现实数据集上验证了稳定且几何意义显著的嵌入效果。
2026-04-26 cs.LG stat.ML
Optimizing Context-Enhanced Relational Joins
EPFL(洛桑联邦理工学院)
针对传统关系型DBMS难以处理关系型与多模态上下文数据的问题,提出上下文增强关系连接及可组合的嵌入运算符,实现混合数据处理与优化,通过实例验证整体优化可提升执行时间一个数量级。
2025-02-13 cs.AI cs.DB cs.LG
Message Passing for Hyper-Relational Knowledge Graphs
TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫应用信息学研究所);University of Bonn(波恩大学)
超关系知识图谱(KG)(例如,Wikidata)允许将附加的键值对与主三元组关联起来,以消除歧义或限制事实的有效性。在这项工作中,我们提出了一个基于消息传递的图形编码器- StarE能够建模这样的超关系KG。与现有的方法不同,StarE可以编码任意数量的附加信息(限定符)以及主三元组,同时保持限定符和三元组的语义角色不变。我们还表明,现有的基准评估链接预测(LP)性能的超关系KG遭受根本性的缺陷,从而开发一个新的基于维基数据集-WD 50 K。我们的实验表明,基于StarE的LP模型在多个基准测试中优于现有的方法。我们还确认,利用资格是至关重要的链接预测与增益高达25 MRR点相比,基于三重表示。
2020-09-22 cs.AI cs.CL cs.LG