TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors
Qihoo360(奇虎360);Xi’an Jiaotong University(西安交通大学)
基于翻译的知识图谱嵌入是transE提出以来知识表示学习的重要分支之一。虽然近年来许多基于预处理的方法取得了一定的进展,但其性能仍然不尽如人意。提出了一种新的知识图谱嵌入方法TripleRE,该方法具有两个版本。TripleRE的第一个版本创造性地将关系向量分为三个部分。第二个版本利用了残差的概念,并实现了更好的性能。此外,尝试使用NodePiece来编码实体在减少参数大小方面取得了令人满意的结果,并解决了可扩展性问题。实验结果表明,该方法在大规模知识图谱数据集上取得了较好的性能,在其他数据集上也取得了较好的性能。
2022-09-17 cs.AI
RConE: Rough Cone Embedding for Multi-Hop Logical Query Answering on Multi-Modal Knowledge Graphs
IIIT-Delhi(德里印度理工学院)
针对多模态知识图谱中现有逻辑查询模型难以利用多模态稠密信息的问题,提出RConE粗糙锥嵌入方法,通过候选实体筛选与子实体定位回答复杂逻辑查询,并在四个公开MMKG上超越现有最先进方法。
2025-06-11 cs.AI
Unified vector space mapping for knowledge representation systems
阻碍知识表示和人工智能领域进一步发展的最重要问题之一是语义对齐或知识映射问题。它的解决方案的进展将大大有利于进一步的进步,信息检索,本体对齐,相关性计算,文本挖掘,自然语言处理等。在文件中的多维全球知识地图的概念,阐述了通过无监督提取的依赖关系,从大型文档语料库,提出。此外,直接的人-知识表示系统接口的问题得到解决,并提出了自适应解码器的概念,用于与先前描述的统一映射模型进行交互。结合这两种方法建议为基础的新一代的知识表示系统的发展。
2015-02-21 cs.AI cs.IR
Efficient Parallel Multi-Hop Reasoning: A Scalable Approach for Knowledge Graph Analysis
Intel Corporation(英特尔公司)
针对大规模知识图谱上多跳推理的时间效率问题,本文提出利用领域学习嵌入并行寻找三跳查询前K条路径的算法,并在Intel与AMD架构上验证其高性能与可扩展性。
2024-06-11 cs.AI cs.DC cs.DS
From Knowledge Graph Embedding to Ontology Embedding? An Analysis of the Compatibility between Vector Space Representations and Rules
Cardiff University(卡迪夫大学)
近年来,知识图谱的低维向量空间表示已成功地应用于预测缺失事实或发现错误事实。然而,还没有很好地理解本体论知识,例如作为一组(存在的)规则,可以以原则性的方式嵌入。为了解决这个缺点,在本文中,我们介绍了一个通用的框架,基于区域的关系,这使我们能够研究本体知识和不同类型的向量空间嵌入之间的兼容性。我们的技术贡献是双重的。首先,我们表明,一些最流行的现有嵌入方法无法建模,即使是非常简单的规则类型,特别是这也意味着他们无法学习的依赖关系的类型,这些规则捕获。其次,我们研究了一个模型,其中的关系被建模为凸区域。我们特别表明,使用所谓的准链式存在规则表示的本体可以精确地表示使用凸区域,使得任何一组事实,这是使用向量空间嵌入诱导逻辑上是一致的,演绎封闭的输入本体。
2018-08-21 cs.AI
RotateQVS: Representing Temporal Information as Rotations in Quaternion Vector Space for Temporal Knowledge Graph Completion
National University of Defense Technology(国防科技大学);Pengcheng Laboratory(鹏城实验室);Huawei Technologies Co., Ltd.(华为技术有限公司)
在实际应用中,时间因素与事实的增长密切相关,如疾病的进展、政治局势的发展等,因此,时间知识图谱(TKG)的研究备受关注。在TKG中,时间性所固有的关系模式需要被研究,以便进行跨时间事实的表示学习和推理。然而,现有的方法很难建模的时间关系模式,也不能捕捉随着时间的推移,关系之间的内在联系,缺乏可解释性。在本文中,我们提出了一种新的时间建模方法,表示时间实体的旋转四元数向量空间(RotateQVS)和汉密尔顿的四元数空间的复向量的关系。我们证明了我们的方法可以模拟TKG中的关键关系模式,如对称,不对称,逆,并可以进一步捕获时间演变的关系理论。经验上,我们表明,我们的方法可以提高性能的链接预测任务超过四个时间知识图谱基准。
2022-03-17 cs.AI
High-Throughput Vector Similarity Search in Knowledge Graphs
Apple(苹果公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究知识图谱中的混合向量相似度搜索,提出系统HQI通过工作负载感知的向量数据分区和多查询优化技术,实现高效批处理,在工业工作负载上相比现有方法吞吐量提升31倍。
2023-04-04 cs.AI cs.DB cs.LG
Bridging Legal Knowledge and AI: Retrieval-Augmented Generation with Vector Stores, Knowledge Graphs, and Hierarchical Non-negative Matrix Factorization
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部);CSEE, UMBC(UMBC计算机与工程系);Holland & Hart LLP(霍尔德与哈特律师事务所)
本文提出一种融合检索增强生成、向量存储和基于非负矩阵分解的知识图谱的法律生成式AI系统,通过语义表示与潜在主题发现提升法律信息检索和推理能力,减少幻觉,支持文档聚类、摘要与交叉引用。
2025-05-09 cs.AI cs.CL
Neurosymbolic Retrievers for Retrieval-augmented Generation
Dept. of CSEE University of Maryland Baltimore County, Maryland, USA(电子工程系大学马里兰大学巴尔的摩县);Dept. of CSEE University of Maryland Baltimore County, MD, USA(电子工程系大学马里兰大学巴尔的摩县)
本文提出神经符号 RAG 框架,通过结合知识图谱与神经检索技术,提升检索过程的透明性和生成性能。
2026-02-22 cs.AI cs.CL cs.IR
Knowledge Graph Embeddings and Explainable AI
Bocconi University(博科尼大学);IBM Research AI(IBM研究AI);Accenture Labs(埃森哲实验室);University of Milan-Bicocca(米兰比可卡大学);University College London(伦敦大学学院)
知识图谱嵌入是一种广泛采用的知识表示方法,其中实体和关系嵌入在向量空间中。在本章中,我们通过解释知识图谱嵌入的概念、如何生成它们以及如何评估它们来向读者介绍它们。我们总结了国家的最先进的在这一领域中描述的方法,已被引入到表示知识的向量空间。在知识表示方面,我们考虑了可解释性问题,并讨论了解释通过知识图谱嵌入获得的预测的模型和方法。
2020-04-30 cs.AI cs.CL
Hybrid Context Retrieval Augmented Generation Pipeline: LLM-Augmented Knowledge Graphs and Vector Database for Accreditation Reporting Assistance
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对商学院AACSB认证报告耗时问题,提出混合上下文检索增强生成流水线,结合向量数据库与LLM增强知识图谱,经RAGAs评估在答案相关性和正确性上表现最佳。
2024-05-24 cs.AI cs.IR
RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);SAP SE Product Engineering Financial Services(SAP SE 产品工程金融服务部)
知识图谱嵌入方法将图的节点和边表示为数学向量。当前的方法集中于嵌入完整的知识图谱,即所有节点和边。这导致对大型图(如DBpedia或Wikidata)的计算要求非常高。然而,对于大多数下游应用场景,只有一小部分概念是真正感兴趣的。在本文中,我们提出了RDF 2 Vec Light,一种基于RDF 2 Vec的轻量级嵌入方法,它只为实体的一个子集生成矢量。为此,RDF 2 Vec Light仅遍历和处理知识图谱的子图。我们的方法允许应用程序的嵌入非常大的知识图谱的情况下,这样的嵌入是不可能的,由于显着降低运行时间和显着降低硬件要求。
2020-09-17 cs.AI cs.CL
Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
本文提出多嵌入交互机制以统一并理论推导 CP、DistMult、ComplEx 等知识图谱嵌入模型,同时给出基于四元数代数的新模型并在基准上验证其效果。
2023-04-25 cs.AI cs.LG stat.ML
URIR: Recommendation algorithm of user RNN encoder and item encoder based on knowledge graph
Yunnan University(云南大学);Yunnan Power Grid Co., Ltd(云南电网有限责任公司);Shantou University(汕头大学);Kunming University of Science and Technology(昆明理工大学)
由于信息量大,用户很难在众多的选择中找到自己感兴趣的内容。为了提高用户体验,推荐系统已经广泛应用于音乐推荐、电影推荐、在线购物等场景。近年来,知识图谱(KG)被证明是提高推荐系统性能的有效工具。然而,将知识图谱应用于推荐的一个巨大挑战是如何利用知识图谱获得更好的用户代码和项目代码。针对这一问题,本研究提出了一种基于知识图谱的用户递归神经网络编码器和项目编码器推荐算法。通过获取项目的高层邻居信息对项目进行编码,生成项目的表示向量,并利用RNN和项目的表示向量对用户进行编码,生成用户的表示向量,然后对用户的表示向量和项目的表示向量进行内积运算,得到用户与项目交互的概率。在三个真实数据集上的数值实验表明,URIR在AUC、精度、召回率和MRR等指标上优于现有算法。这意味着URIR可以有效地利用知识图谱来获得更好的用户代码和项目代码,从而获得更好的推荐结果。
2021-11-01 cs.AI cs.IR
Semantic Alignment of Multilingual Knowledge Graphs via Contextualized Vector Projections
Abhishek Kumar
本文提出了一种基于上下文向量投影的多语言知识图谱语义对齐方法,通过改进的嵌入生成和余弦相似度匹配,提升了跨语言本体对齐的精度和召回率。
2026-01-20 cs.AI
Beyond Vector Similarity: A Structural Analysis of Graph-Augmented Retrieval for Industrial Knowledge Graphs
Grama Chethan
本文通过对比八种检索架构,提出操作符词汇表论点,证明基于LLM的图推理瓶颈在于计算操作符而非模型智能,并引入LLM查询规划器,在工业知识图谱上实现优于定制处理器的性能。
2026-06-04 cs.AI
VDGR-RAG: Vectors, Directories, Graphs, and Reflection Are All You Need for Unified Reasoning over Hierarchical Enterprise Knowledge
Huawei Technologies(华为技术有限公司)
针对现有RAG方法在企业知识问答中存在的局限,提出整合向量、目录、图与反思的VDGR-RAG智能体GraphRAG系统,经实验其在召回率和准确率上均优于多种RAG基线。
2026-08-19 cs.AI cs.IR
Selection Strategies for Commonsense Knowledge
Universität Koblenz-Landau(科布伦茨-兰道大学);Johannes Gutenberg-Universität Mainz(美因茨约翰内斯·古腾堡大学)
选择策略广泛用于一阶逻辑定理证明中,以选择证明手头定理所需的大型知识库的那些部分。通常,这些选择策略不考虑符号名称的含义。在具有常识性知识的知识库中,符号名称通常被选择为具有含义,并且这种含义为选择策略提供了有价值的信息。我们介绍了基于向量的选择策略,一个纯粹的统计选择技术的常识知识的基础上词嵌入。我们比较了不同的常识知识选择技术的目的定理证明,并证明了有用的向量为基础的选择与案例研究。
2022-02-21 cs.AI
Exploring Scholarly Data by Semantic Query on Knowledge Graph Embedding Space
SOKENDAI (The Graduate University for Advanced Studies)(后藤大学(高级研究研究生大学));National Institute of Informatics(信息研究院)
本文提出利用知识图谱嵌入空间的语义结构,通过定义嵌入向量间的代数语义查询,构建学术数据探索通用框架,并发现新的可解决任务。
2025-08-15 cs.AI cs.CL cs.DL
AutoMathKG: The automated mathematical knowledge graph based on LLM and vector database
Academy of Mathematics and Systems Science(数学与系统科学研究院);Chinese Academy of Sciences(中国科学院);School of Mathematical Sciences(数学科学学院);University of Chinese Academy of Sciences(中国科学院大学);AMSS Center for Forecasting Science(数学与系统科学研究院预测科学中心);State Key Laboratory of Mathematical Science(数学科学国家重点实验室)
本文提出AutoMathKG,一种高质、广覆盖、多维度的数学知识图谱,通过LLM和向量数据库实现自动更新与知识融合,实验显示其在可达性查询和数学推理方面表现优异。
2025-05-19 cs.AI
An Ad-hoc graph node vector embedding algorithm for general knowledge graphs using Kinetica-Graph
Kinetica DB Inc.(Kinetica DB公司)
本文提出基于 Kinetica-Graph 的通用知识图谱节点嵌入方法,融合拓扑、标签、马尔可夫概率和 RSB 聚类指标,并通过随机采样 SGD 优化权重以逼近 Jaccard 与标签重叠定义的真值。
2025-01-02 cs.AI cs.LG
PKGM: A Pre-trained Knowledge Graph Model for E-commerce Application
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
近年来,知识图谱作为组织数据的统一方式得到了广泛应用,并增强了许多需要知识的任务。在网购平台淘宝,我们搭建了一个亿级规模的电子商业产品知识图谱。它统一组织数据,为项目推荐等各种任务提供项目知识服务。通常,这样的知识服务是通过三重数据提供的,而这种实现包括(1)繁琐的产品知识图谱上的数据选择工作和(2)任务模型设计工作,以注入这些三重知识。更重要的是,产品知识图谱远未完成,导致错误传播到知识增强的任务。为了避免这些问题,我们提出了一个预训练的知识图谱模型(PKGM)的十亿规模的产品知识图谱。一方面,它可以在不访问三元数据的情况下,以统一的方式为基于嵌入的任务模型和与项目知识相关的任务模型提供项目知识服务。另一方面,它的服务是基于隐含完备的产品知识图谱来提供的,克服了一般知识图谱的不完备性问题。我们还提出了两种通用的方法来整合服务向量从PKGM到下游的任务模型。我们测试PKGM在五个知识相关的任务,项目分类,项目决议,项目推荐,场景检测和顺序推荐。实验结果表明,PKGM在这些任务上引入了显着的性能增益,说明了PKGM服务向量的有用性。
2022-03-02 cs.AI
Motif Learning in Knowledge Graphs Using Trajectories Of Differential Equations
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
知识图谱嵌入(KGE)通过将实体和关系从知识图谱映射到几何空间(通常是向量空间)中,在链接预测任务上显示出有希望的性能。最后,通过使用学习的嵌入(向量)上的评分函数来测量预测链接的可扩展性。因此,在保持图形特征,包括结构方面和语义的能力高度依赖于KGE的设计,以及从底层几何继承的能力。许多KGE使用平坦的几何形状,这使得它们不能保持复杂的结构,从而导致模型的错误推断。为了解决这个问题,我们提出了一个神经差分KGE,嵌入节点的KG的轨迹上的常微分方程(ODE)。为此,我们将KG中的每个关系(边)表示为光滑黎曼流形上的向量场。我们具体参数化常微分方程的神经网络表示各种复杂的形状流形,更重要的是复杂的形状向量场的流形。因此,底层的嵌入空间能够获得各种几何形式,以编码具有不同图案的子图结构的复杂性。在合成和基准数据集以及社交网络KG上的实验证明,ODE轨迹是结构保存的一种手段,从而避免了最先进的KGE模型的错误推断。
2020-10-18 cs.AI cs.LG
VIRAASAT: Traversing Novel Paths for Indian Cultural Reasoning
AI Institute, University of South Carolina(AI研究所,南卡罗来纳大学);Indian Institute of Technology Patna(帕纳大学印度理工学院)
VIRAASAT通过半自动化多跳方法生成印度文化多跳问题-答案数据集,提出SCoM框架提升文化推理性能。
2026-02-20 cs.CL cs.IR
Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Facebook AI Research(Facebook人工智能研究院);Allen Institute for AI(艾伦人工智能研究所)
我们介绍了一种方法,开放域的问答(QA)检索和阅读的通道图,其中顶点是文本和边缘的通道表示的关系,来自外部的知识库或同现在同一篇文章。我们的目标是通过使用知识引导的检索来找到比文本匹配方法更相关的段落,以提高覆盖率,并通过允许更好的知识引导融合相关段落的信息来提高准确性。我们的图检索方法扩展了一组种子关键字检索通道通过遍历知识库的图结构。我们的阅读器扩展了基于BERT的架构,并通过传播相关段落及其关系的信息来更新段落表示,而不是孤立地阅读每个段落。在三个开放域QA数据集(WebQuestions,Natural Questions和TriviaQA)上的实验显示,与非图形基线相比,性能绝对提高了2-11%。我们的方法在每种情况下都达到或超过了最先进的水平,而无需使用昂贵的端到端培训制度。
2020-04-13 cs.AI cs.CL
AutoKG: Constructing Virtual Knowledge Graphs from Unstructured Documents for Question Answering
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
知识图谱具有为问答系统提供细粒度细节的优点。不幸的是,建立一个可靠的KG是耗时和昂贵的,因为它需要人为干预。为了克服这个问题,我们提出了一个新的框架,自动构建KG从非结构化的文件,不需要外部对齐。我们首先从非结构化文档中提取表面形式的知识元组,并用上下文信息对其进行编码。具有相似上下文语义的实体然后通过内部对齐链接以形成图结构。这使我们能够通过遍历生成的KG从多个文档中提取所需的信息,而无需手动处理。我们研究其性能检索为基础的QA系统重新制定的WikiMovies和MetaQA数据集成一个元组级检索任务。实验结果表明,我们的方法优于传统的检索方法的大幅度。
2021-03-10 cs.CL
FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出FiDeLiS框架,利用知识图谱和逐步波束搜索及Path-RAG模块,提升大语言模型在问答中的推理真实性与可解释性,无需训练即可增强性能。
2025-05-22 cs.AI cs.CL
ReGraM: Region-First Knowledge Graph Reasoning for Medical Question Answering
Department of Software, Soongsil University(软件系,顺斯大学)
ReGraM通过区域优先的知识图谱推理框架,提升医疗问答的准确性和一致性。
2026-01-14 cs.AI cs.CL
Explore-over-Graph: Hybrid Embedding-LLM Reasoning for Knowledge Graph Question Answering under Incompleteness
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对知识图谱不完整导致多跳问答推理路径断裂的问题,提出XoG框架,利用类型级统计和嵌入恢复缺失路径,LLM作语义选择器,在多个基准上优于可比方法并降低33%令牌消耗。
2026-10-06 cs.CL
Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models
Monash University(莫纳什大学);Shanghai Jiao Tong University(上海交通大学);Griffith University(格里菲斯大学)
提出图约束推理(GCR)框架,通过KG-Trie将知识图谱结构整合到大语言模型解码过程中以消除幻觉,并结合专用与通用LLM实现零幻觉的忠实推理与最先进的KGQA性能。
2025-05-28 cs.CL
Knowledge Vector of Logical Reasoning in Large Language Models
Department of Computer & Information Science and Engineering(计算机与信息科学与工程系)
本文研究了大语言模型中演绎、归纳和溯因推理的知识表示,发现其在线性空间中可独立表示,提出互补子空间约束框架以增强其互补性。
2026-04-26 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University(北京大学);Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(北京网络文化与数字传播重点实验室)
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而,当遇到生僻字和未见过字的问题时,它并不能很好地工作。在本文中,我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进,比国家的最先进的海德尔时间系统在时间表达识别,并获得了很大的增益在其他名称实体识别(NER)的任务。语义词典知网单独也显示出有前途的结果,在计算词汇相似度。
2018-01-27 cs.CL
Knowledge is a Region in Weight Space for Fine-tuned Language Models
Technion - IIT(以色列理工学院);IBM Research(IBM研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本研究揭示微调语言模型在权重空间中形成区域,区域内的模型性能优越,且区域中心可作为高效微调的更好起点,在多数数据集上提升准确率。
2023-10-12 cs.AI cs.CL cs.LG
Learning New Facts From Knowledge Bases With Neural Tensor Networks and Semantic Word Vectors
Stanford University(斯坦福大学)
知识库为应用程序提供了易于访问的系统的关系知识,但在实践中往往遭受其不完整性和缺乏新的实体和关系的知识。许多工作都集中在通过在大型未注释的文本语料库中找到模式来构建或扩展它们。相比之下,在这里,我们的主要目标是通过预测实体之间的其他真实关系来完成知识库,基于可以在给定的知识库中识别的概括。我们介绍了一个神经张量网络(NTN)模型,预测新的关系条目,可以添加到数据库中。该模型可以通过使用以无监督方式从文本中学习的词向量初始化实体表示来改进,并且在这样做时,甚至可以查询现有关系以查找数据库中不存在的实体。我们的模型概括了这个问题,并优于现有的模型,并可以分类在WordNet中看不见的关系,准确率为75.8%。
2013-03-16 cs.CL cs.LG
Compositional Vector Space Models for Knowledge Base Completion
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
知识库(KB)完成通过从现有事实进行推断来向KB添加新的事实,例如通过以高似然性国籍(X,Y)从KNOWIn(X,Y)进行推断。以前的大多数方法都是像这样推断简单的单跳关系同义词,或者使用被视为原子特征的多跳关系路径作为证据,例如CNOWIn(X,Z)-> containedIn(Z,Y)。本文提出了一种非原子地推理多跳关系的合取的方法,使用递归神经网络(RNN)来组成路径的含义,该网络将路径中二元关系的向量嵌入作为输入。这不仅允许我们推广到训练时看不到的路径,而且,使用单个高容量RNN,以预测在训练组合模型时未看到的新关系类型(零样本学习)。我们组装了一个超过5200万个关系三元组的新数据集,并表明我们的方法比传统分类器提高了11%,而利用预训练嵌入的方法提高了7%。
2015-05-27 cs.CL stat.ML
Relational Knowledge Distillation Using Fine-tuned Function Vectors
University of California, Los Angeles(加州大学洛杉矶分校)
通过微调函数向量提升关系知识表示,增强语言模型的类比推理能力。
2026-01-13 cs.CL cs.LG
Retrofitting Vector Representations of Adverse Event Reporting Data to Structured Knowledge to Improve Pharmacovigilance Signal Detection
University of Washington(华盛顿大学)
药物不良事件(ADE)普遍存在且成本高昂。临床试验在识别潜在ADE的能力方面受到限制,这促使开发了用于上市后监测的自发报告系统。统计方法提供了一种方便的方法来检测这些报告中的信号,但由于其基于离散计数的性质,在利用药物和ADE之间的关系方面存在局限性。以前提出的方法,aer2vec,生成分布式矢量表示的ADE报告实体,捕获模式的相似性,但不能利用词汇知识。我们通过将aer2vec药物嵌入改造为RxNorm的知识来解决这一限制,并使用向量重新缩放来开发一种新的改造变体以保持幅度。当在药物警戒信号检测任务的背景下进行评估时,在对最低预处理数据进行训练时,具有改造的aer2vec始终优于非线性指标。通过重新缩放进行改造,进一步改善了用于评价的两个药物警戒参考集的更大和更具挑战性。
2020-08-07 cs.CL
TranS: Transition-based Knowledge Graph Embedding with Synthetic Relation Representation
DXM-DI-AI
知识图谱嵌入(KGE)的目的是学习知识图谱中关系和实体的连续向量。最近,基于转换的KGE方法已经取得了很好的性能,其中单个关系向量学习将头实体转换为尾实体。然而,这种评分模式不适合于相同实体对具有不同关系的复杂场景。以往的模型通常侧重于改进1对N、N对1和N对N关系的实体表示,而忽略了单个关系向量。在本文中,我们提出了一种新的过渡为基础的方法,transS,知识图谱嵌入。采用综合关系表示代替传统评分模式中的单一关系向量,有效地解决了这些问题。在一个大的知识图谱数据集ogbl-wikikikg 2上的实验表明,我们的模型达到了最先进的结果。
2022-04-29 cs.CL
Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering
本研究针对知识库问答的幻觉问题,提出基于指令微调LLM生成内容对应问题向量库、匹配用户查询直接检索内容的方法,在Wikipedia和Wikidata上实现高精度高效检索,还支持多模态问答。
2025-02-21 cs.AI cs.CL
Efficient Knowledge Editing via Minimal Precomputation
UC Berkeley(伯克利大学);University of Virginia(弗吉尼亚大学)
本文证明 MEMIT、ROME 和 EMMET 等知识编辑方法无需预计算全部 4400 万隐藏向量,仅需不到 0.3% 即可完成编辑,大幅节省预计算时间,使新模型编辑可在几分钟内启动。
2025-06-04 cs.AI cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University(南洋理工大学)
词的学习向量表示是一个重要的研究领域,它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性,即语境定义的偏差和知识利用的不足。它们很难处理,因为这些算法本质上是无监督学习方法。受深度学习的启发,作者提出了一个用于学习单词矢量表示的监督框架,以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法,并与任何数字矢量词表示兼容。作者进行内在评价,如归因和关系相似性预测和外在评价,如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明,所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models
University of Zurich(苏黎世大学);Dublin City University(都柏林城市大学)
ConceptFormer通过在不修改LLM内部结构的情况下,将知识图谱节点编码为概念向量并注入LLM嵌入空间,以极低的token开销显著提升GPT-2的事实回忆能力。
2025-04-10 cs.AI cs.CL cs.IR
SUIT: Knowledge Editing with Subspace-Aware Key-Value Mappings
Seoul National University(首尔国立大学)
SUIT通过子空间感知的关键值映射提升知识编辑的准确性与稳定性
2026-03-02 cs.CL
Mitigating Hallucinations Using Ensemble of Knowledge Graph and Vector Store in Large Language Models to Enhance Mental Health Support
National University of Sciences and Technology(国家科技大学);King Faisal University(费萨尔国王大学);Sejong University(世宗大学)
本研究探讨大型语言模型在心理健康领域的幻觉问题,通过分析其产生机制并提出针对性干预策略,构建更稳健的框架以提升模型在心理治疗与咨询中的可靠性与安全性。
2024-10-06 cs.AI cs.CL
Intrinsic Test of Unlearning Using Parametric Knowledge Traces
New York University(纽约大学);University of Toronto(多伦多大学);International Digital Economy Academy (IDEA), China(国际数字经济学院(IDEA));Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
针对大语言模型遗忘评估仅依赖行为测试、未监测参数内残留知识的问题,提出基于词汇投影的内部评估方法,构建含概念参数知识轨迹的ConceptVectors基准,发现现有方法仅推理时抑制概念,直接消融概念向量可有效移除知识并降低对抗风险。
2025-09-01 cs.AI cs.CL
Extrofitting: Enriching Word Representation and its Vector Space with Semantic Lexicons
AI Lab, LG Electronics(LG电子人工智能实验室)
我们提出了后处理方法,不仅丰富了词的表示,但它的向量空间使用语义词典,我们称之为外拟合。该方法包括以下3个步骤:(i)在所有词向量上扩展1个或更多个维度,填充它们的代表值。(ii)通过平均同义词的每个代表值并将其填充到扩展的维度中来传递语义知识。这两个步骤使同义词的表示紧密地结合在一起。(iii)使用线性判别分析投影向量空间,该线性判别分析消除了具有语义知识的扩展维度。当实验与GloVe,我们发现,我们的方法优于Faruqui的改造的一些单词相似性任务。我们还报告了对我们的方法在词向量维度、词汇量以及其他众所周知的预训练词向量(例如,Word2Vec,Fasttext)。
2018-06-03 cs.AI cs.CL
ComRAG: Retrieval-Augmented Generation with Dynamic Vector Stores for Real-time Community Question Answering in Industry
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学);Alibaba Group(阿里巴巴集团)
ComRAG 提出基于质心记忆机制的检索增强生成框架,融合静态知识与动态历史问答对,在三个工业 CQA 数据集上实现最高 25.9% 相似度提升、延迟降低 8.7%–23.3%,并将分块增长从 20.23% 降至 2.06%。
2025-07-01 cs.AI cs.CL
HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction
BlackRock, Inc.(贝莱德集团);NVIDIA(英伟达公司)
本文提出 HybridRAG,融合 GraphRAG 与 VectorRAG,从向量数据库和知识图谱共同检索上下文,提升金融文档问答的信息抽取准确率与生成质量。
2024-08-09 cs.CL cs.LG q-fin.ST
Functional Abstraction of Knowledge Recall in Large Language Models
School of Computer Science(计算机学院);The University of Sydney(悉尼大学)
本文通过将知识召回抽象为功能结构,提出激活向量对应输入参数、函数体和返回值,并改进上下文知识编辑方法以增强新知识的短期记忆保持。
2025-04-20 cs.CL
Leveraging knowledge graphs to update scientific word embeddings using latent semantic imputation
Iris AI
科学文本中最有趣的词往往是新奇的或罕见的。这对科学的词嵌入模型提出了挑战,以确定不常见或新出现的有用术语的质量嵌入向量。我们演示了\gls{lsi}如何通过从最新的知识图谱中嵌入特定于领域的单词来解决这个问题,同时保留原始的词嵌入模型。我们使用MeSH知识图谱来估算生物医学术语的嵌入向量,而无需重新训练,并在特定领域的词对相似性任务上评估所得到的嵌入模型。我们表明,LSI可以产生可靠的嵌入向量,罕见的和OOV在生物医学领域的条款。
2022-10-27 cs.CL
Query2box: Reasoning over Knowledge Graphs in Vector Space using Box Embeddings
Stanford University(斯坦福大学)
在大规模不完整知识图谱上进行复杂的逻辑查询是一项基本而又具有挑战性的任务。最近,解决这个问题的一种有前途的方法是将KG实体和查询嵌入到向量空间中,使得回答查询的实体嵌入到靠近查询的地方。然而,先前的工作将查询建模为向量空间中的单个点,这是有问题的,因为复杂查询表示其答案实体的潜在大集合,但不清楚如何将这样的集合表示为单个点。此外,以前的工作只能处理查询,使用连接词($\wedge$)和存在量词($\exists$)。处理带有逻辑析取($\vee$)的查询仍然是一个悬而未决的问题。在这里,我们提出了query2box,一个基于嵌入的框架,用于在大规模和不完整的KG中使用$\wedge$,$\vee$和$\exists$操作符对任意查询进行推理。我们的主要见解是查询可以嵌入为框(即,超矩形),其中框内的一组点对应于查询的一组答案实体。我们表明,合取可以自然地表示为盒子的交叉点,也证明了一个否定的结果,即处理析取需要嵌入与KG实体的数量成比例的维度。然而,我们表明,通过将查询转换为析取范式,query 2 box能够以可扩展的方式处理$\wedge$、$\vee$、$\exists$的任意逻辑查询。我们证明了query2box在三个大型KG上的有效性,并表明query2box比最先进的技术实现了高达25%的相对改进。
2020-02-29 cs.CL cs.LG stat.ML
A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network
Deakin University(迪肯大学);The University of Melbourne(墨尔本大学)
在本文中,我们提出了一种新的嵌入模型,名为ConvKB,知识库完成。我们的模型ConvKB通过采用卷积神经网络来推进最先进的模型,因此它可以捕获知识库中实体和关系之间的全局关系和过渡特性。在ConvKB中,每个三元组(头实体,关系,尾实体)表示为3列矩阵,其中每个列向量表示三元组元素。然后将这个3列矩阵馈送到卷积层,在卷积层中,对矩阵进行多个滤波器操作以生成不同的特征图。这些特征图然后被连接成表示输入三元组的单个特征向量。特征向量通过点积与权重向量相乘以返回分数。然后,该分数用于预测三元组是否有效。实验表明,ConvKB在两个基准数据集WN 18 RR和FB 15 k-237上实现了比现有嵌入模型更好的链接预测性能。
2018-03-13 cs.CL
Selective Knowledge Edit Reversal via Gated Singular Vector Shrinkage
Zhongguancun Laboratory(中关村实验室)
针对现有知识编辑逆转方法易误删有益编辑的问题,本文提出基于门控奇异值收缩的选择性知识编辑逆转框架,可精准逆转特定编辑同时保留其余编辑,实验验证了其有效性。
2026-09-03 cs.CL
Leveraging Term Banks for Answering Complex Questions: A Case for Sparse Vectors
Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
虽然开放域问答(QA)系统已被证明对回答简单问题是有效的,但它们难以处理更复杂的问题。我们的目标是可靠地回答更复杂的问题,而不会在支持QA的知识资源建设方面产生重大成本。一个现成的知识资源是术语库,列举了一个领域中的关键概念。我们开发了一种无监督学习方法,利用术语库来指导QA系统,通过用数千个专门的向量空间表示术语知识。在复杂的科学问题的实验中,我们表明,这种方法显着优于几个国家的最先进的QA系统,表明显着的杠杆作用,可以从连续的向量表示领域术语。
2017-04-11 cs.CL cs.IR cs.LG