Beyond Vector Similarity: A Structural Analysis of Graph-Augmented Retrieval for Industrial Knowledge Graphs
Grama Chethan
本文通过对比八种检索架构,提出操作符词汇表论点,证明基于LLM的图推理瓶颈在于计算操作符而非模型智能,并引入LLM查询规划器,在工业知识图谱上实现优于定制处理器的性能。
2026-06-04 cs.AI
K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining
College of Information Engineering, Beijing Institute of Petrochemical Technology(北京石油化工学院信息工程学院);School of computer science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
虽然预训练的语言模型,如BERT和XLNet,在许多NLP任务上迅速推进了最先进的技术,但它们只依赖于语料库中单词之间的表面信息来隐含语义。直觉上,背景知识影响理解的有效性。受这一常识的启发,我们专注于通过利用显式知识来改进模型预训练。与以往研究中采用知识掩蔽策略优化预训练模型的方法不同,本文提出了一种简单而通用的将显性知识与预训练相结合的方法。具体地说,我们首先从知识图谱(KG)中匹配知识事实,然后在不改变Transformer体系结构的情况下,直接在其上添加知识指令层。本研究旨在发现外显知识对Transformer每次培训的直接影响。我们针对不同的下游任务在各种数据集上进行实验。实验结果表明,仅仅通过向Transformer添加外部知识,就可以提高许多NLP任务的学习性能。
2021-05-29 cs.AI cs.CL
Demystifying Drug Repurposing Domain Comprehension with Knowledge Graph Embedding
Politecnico di Milano(米兰理工大学)
由于药物开发成本不断上升以及需要快速应对新出现的疾病,药物再利用比以往任何时候都更加重要。知识图谱嵌入使得能够使用异构数据源结合最先进的机器学习模型来重新利用药物,以预测知识图谱中的新药物-疾病联系。与许多机器学习应用一样,仍然需要大量的工作来理解预测模型的行为。我们提出了一种结构化的方法来更好地理解机器学习模型在药物再利用方面的结果,提出了知识图谱的关键元素,以在节省计算资源的同时改进预测。我们减少了11.05%的训练集和31.87%的嵌入空间,只有2%的准确率下降,并提高了60%的准确率开放ogbl-biokg图添加只有1.53%的新三元组。
2021-08-30 cs.AI cs.LG
Semantic filtering by inference on domain knowledge in spoken dialogue systems
一般的自然对话处理需要大量的领域知识以及语言知识,以确保可接受的覆盖率和理解。在不同层次的对话处理中,有几种方法可以整合词汇资源(例如词典、同义词词典)和知识库或本体。我们集中在本文中,如何利用领域知识过滤的解释假设所产生的强大的语义分析器。我们使用领域知识来语义约束假设空间。此外,增加一个推理机制,使我们能够完成解释时,信息是不明确的。此外,我们简要地讨论了如何将其推广到一个预测性的自然交互系统。
2004-10-23 cs.AI cs.CL cs.HC
KGTK: A Toolkit for Large Knowledge Graph Manipulation and Analysis
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
知识图谱(KG)已成为表示、共享和向现代AI应用添加知识的首选技术。虽然KG已成为主流技术,但用于大规模操作的以RDF/SPARQL为中心的工具集是异构的,难以集成,并且仅涵盖数据科学应用中通常需要的操作的子集。在本文中,我们提出了KGTK,一个以数据科学为中心的工具包,旨在表示,创建,转换,增强和分析KG。KGTK在表格中表示图形,并利用为数据科学应用程序开发的流行库,使广大开发人员能够轻松为其应用程序构建知识图谱管道。我们用真实世界的场景来说明这个框架,在这些场景中,我们使用KGTK来集成和操作大型KG,如Wikidata,DBpedia和ConceptNet。
2021-05-26 cs.AI cs.DB
Stay Positive: Knowledge Graph Embedding Without Negative Sampling
BorealisAI(博瑞利斯人工智能研究院)
知识图谱(KG)通常是不完整的,我们经常希望根据现有的事实推断新的事实。这可以被认为是一个二元分类问题;我们的目标是预测新的事实是真还是假。不幸的是,我们通常只有正面的例子(已知的事实),但是我们也需要负面的例子来训练分类器。为了解决这个问题,通常使用负采样策略生成负示例。然而,这可能产生可能降低性能的假阴性,在计算上是昂贵的,并且不产生校准的分类概率。在本文中,我们提出了一个训练过程,通过增加一个新的正则化项的损失函数,避免了需要负采样。我们的两个关系嵌入模型(DistMult和SimpleE)的结果显示了我们的建议在性能和速度方面的优点。
2022-01-07 cs.AI cs.LG
Data Poisoning Attack against Knowledge Graph Embedding
SUNY at Buffalo(纽约州立大学布法罗分校);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
知识图谱嵌入(KGE)是一种在知识图谱中学习实体和关系的连续嵌入技术,由于其对知识图谱的补全、问答和推荐等下游任务的帮助,近年来受到了广泛的关注。尽管KGE在良性环境中是有效的,但它对对抗攻击的鲁棒性还没有得到很好的研究。由于知识图谱的异构性,现有的图数据攻击方法不能直接应用于知识图谱的嵌入攻击。为了填补这一空白,我们提出了一系列的数据投毒攻击策略,它可以有效地操纵任意目标的事实在一个知识图谱的可扩展性,通过添加或删除的事实图。两个广泛使用的基准测试的广泛评估所提出的攻击策略的有效性和效率进行了验证。
2019-06-24 cs.AI cs.CR cs.LG
Exploiting Transitivity Constraints for Entity Matching in Knowledge Graphs
Utrecht University(乌得勒支大学)
知识图谱中实体匹配的目标是使用某种相似性度量来识别引用相同现实世界对象的实体。实体匹配的结果可以看作是一组被解释为相同关系的实体对。然而,所识别的一组对可能无法满足一些结构属性,特别是传递性,这是预期从相同的关系。在这项工作中,我们表明,一个特设的强制执行的传递性,即采取传递闭包,对确定的一组实体对可能会显着降低精度。因此,我们提出了一种方法,从一个给定的相似性度量开始,生成一组实体对,这些实体对被识别为引用相同的现实世界的对象,并应用集群编辑算法来执行传递性,而不添加许多虚假的链接,从而提高整体性能。
2021-04-22 cs.AI cs.DL cs.SI
GenIC: An LLM-Based Framework for Instance Completion in Knowledge Graphs
University of Passau(巴伐利亚大学)
本文提出基于LLM的两步生成式知识图谱实例补全框架GenIC,结合实体文本描述与LLM能力,通过多标签分类进行属性预测和序列到序列生成进行链接预测,在三个数据集上优于现有基线。
2025-05-29 cs.AI cs.IR
Adding Circumscription to Decidable Fragments of First-Order Logic: A Complexity Rollercoaster
Leipzig University(莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据分析与人工智能中心(ScaDS.AI))
本文研究一阶逻辑可判定片段(FO$^2$、C$^2$、GF)添加限制算子后的逻辑后承可判定性与复杂度,并探究了受限知识库查询的复杂度边界。
2024-07-30 cs.AI cs.LO
A set of semantic data flow diagrams and its security analysis based on ontologies and knowledge graphs
Yanka Kupala State University of Grodno(格罗德诺扬卡·库帕拉国立大学)
长期以来,威胁建模被视为一个手动的、复杂的过程。然而,现代敏捷开发方法和云计算技术需要添加自动威胁建模方法。这项工作考虑了两个挑战:创建一组机器可读的数据流图,代表真正的基于云的应用程序;和使用领域的特定知识,自动分析这些应用程序的安全方面。这组180个语义图(本体和知识图谱)是基于云配置(Docker Compose)创建的;该组包括一个手动分类法,允许定义基于Web的应用程序和数据处理应用程序的设计和功能方面;该组可用于威胁建模领域的各种研究。这项工作还评估了如何本体和知识图谱可以用来自动识别模式(映射到安全威胁)的图表。模式以对知识库的请求的形式表示图的特征,这使得它能够在图的语义表示中被识别。在实验中,创建了四组模式(Web应用程序,数据处理,网络和Docker特定),并通过模式检查图表。自动结果,收到的Web应用程序和数据处理模式,与手动分类法进行比较,以研究自动威胁建模的挑战。
2023-03-20 cs.AI cs.CR
Customizing Knowledge Graph Embedding to Improve Clinical Study Recommendation
Novartis(诺华)
使用知识图谱嵌入从临床试验中推断知识是一个新兴的领域。然而,为不同的用例定制图嵌入仍然是一个重大的挑战。我们提出了custom 2 vec,一个算法框架,通过在训练嵌入中加入用户偏好来定制图嵌入。它通过添加从单独的信息检索方法的手动审查结果派生的自定义节点和链接来捕获用户首选项。我们提出了一个联合学习目标,以保留原始的网络结构,同时结合用户的自定义注释。我们假设自定义训练提高了用户预期的预测,例如,在链接预测任务中。我们通过两种定制方案证明了custom 2 vec在非小细胞肺癌(NSCLC)相关临床试验中的有效性:推荐评估PD-1抑制剂的免疫肿瘤学试验,以及探索将新疗法与标准治疗进行比较的类似试验。结果表明,自定义2 vec训练比传统的训练方法取得了更好的性能。我们的方法是一种自定义知识图谱嵌入并实现更准确的推荐和预测的新方法。
2022-12-28 cs.AI cs.CL cs.CY
A Relational-learning Perspective to Multi-label Chest X-ray Classification
NEC Labs(NEC实验室)
胸部X射线图像的多标签分类经常使用判别方法来执行,即学习将图像直接映射到其二进制标签。这样的方法使得合并辅助信息(诸如标注不确定性或标签之间的依赖性)变得具有挑战性。为此,我们提出了一种新的知识图谱重新制定的多标签分类,这不仅很容易增加预测性能的编码器,但也作为一个通用框架,引入新的领域知识。具体来说,我们构建了一个多模态的知识图谱的胸部X射线图像和它的标签和构成多标签分类作为一个链接预测问题。然后,可以通过添加附加节点和它们之间的关系来简单地实现对辅助信息的描述。当在公开可用的射线照片数据集(CheXpert)上进行测试时,我们使用朴素知识图谱的关系重构通过实现83.5%的ROC曲线下的面积而优于最新技术水平,这比纯粹的判别方法提高了“sim 1”。
2021-03-10 cs.AI cs.CV cs.LG
Collaboratively adding new knowledge to an LLM
IBM Research(IBM研究院)
该研究针对LLM持续添加新知识时需保留旧知识的问题,对比半协作、完全协作两种场景下的多种方法,发现LoRA整体表现优于全微调,并给出不同场景下的有效方案与开源代码。
2024-10-29 cs.AI cs.CL cs.LG
Logic of Hypotheses: from Zero to Full Knowledge in Neurosymbolic Integration
University of Padua(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·科斯勒基金会);University of Bozen-Bolzano(博赞-博尔扎诺大学)
本文提出LoH语言,结合数据驱动规则学习与符号先验和专家知识,实现神经符号整合的灵活统一,并通过模糊逻辑实现可微计算图编译。
2026-05-15 cs.AI cs.LG cs.LO
Adding Context to Concept Trees
Distributed Computing Systems(分布式计算系统)
概念树是用于存储知识的结构,其中树存储在称为概念库的数据库中。它位于高度分布式的神经体系结构和分布式信息系统之间,旨在将类脑系统和计算机系统更紧密地联系在一起。当概念序列一致时,概念树可以从半结构化源中生长出来。理想情况下,每棵树都代表一个单一的内聚概念,并且这些树可以出于导航和语义的目的相互链接。因此,树也是一种语义网络,并且将受益于每个节点具有一致的上下文级别。一致的构建过程是通过“计数规则”和其他一些可以规范数据库结构的规则来管理的。然后,这种受限的结构可以通过更动态的上下文来补充和丰富。还建议使用licas系统[15]的链接结构作为上下文链接的基础,其中数学模型被进一步扩展以定义它。一些测试已经证明了该体系结构的可靠性。从文本文档构建树表明,树结构可能是自然语言固有的。然后,描述了两种类型的查询语言。这两个都可以执行一致的查询过程,以将知识返回给用户,甚至用新知识增强查询。这是支持甚至进一步与直接比较的认知模型,也正在开发的作者。
2020-01-17 cs.AI
Beyond Traditional Neural Networks: Toward adding Reasoning and Learning Capabilities through Computational Logic Techniques
University of Pisa(比萨大学);University of L’Aquila(拉奎拉大学)
针对深度学习模型的局限性,本文提出通过计算逻辑技术改进符号知识注入,并将机器学习与逻辑集成到多智能体系统中,以增强推理与学习能力。
2023-08-30 cs.AI cs.LG cs.LO
Stratified Knowledge Bases as Interpretable Probabilistic Models (Extended Abstract)
Cardiff University(卡迪夫大学);KU Leuven(鲁汶大学)
在本文中,我们提倡使用分层逻辑理论来表示概率模型。我们认为,这样的编码可以比现有的框架,如马尔可夫逻辑网络中获得的更可解释。其中,这允许使用领域专家通过直接删除、添加或修改逻辑公式来改进学习的模型。
2016-11-18 cs.AI
Combining Axiom Injection and Knowledge Base Completion for Efficient Natural Language Inference
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Ochanomizu University(御茶水女子大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心)
在基于逻辑的推理任务(如识别文本蕴涵(RTE))方法中,系统具有大量的知识数据是很重要的。然而,在添加更多的知识数据以提高RTE性能和维持高效的RTE系统之间存在折衷,因为这样的大数据库在存储器使用和计算复杂性方面是有问题的。在这项工作中,我们展示了一个国家的最先进的基于逻辑的RTE系统的处理时间可以显着减少通过更换其基于搜索的公理注入(绑架)机制的基础上知识库完成(KBC)。我们将此机制集成在一个Coq插件中,该插件为自然语言推理提供了一种证明自动化策略。此外,我们的经验表明,添加新的知识数据有助于更好的RTE性能,而不会损害在这个框架中的处理速度。
2018-11-15 cs.AI cs.CL
Semantic Objective Functions: A distribution-aware method for adding logical constraints in deep learning
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Cohesive Solutions
本文提出一种分布感知的语义目标函数方法,通过逻辑与信息几何整合,将逻辑约束以Fisher-Rao距离或KL散度形式嵌入深度学习模型,适用于分类、知识转移和蒸馏任务。
2024-05-03 cs.AI cs.IT cs.LG
Appropriate Causal Models and the Stability of Causation
Cornell University(康奈尔大学)
根据结构方程定义的因果模型已被证明是表示因果关系知识的一种非常强大的方式。然而,一些作者给出的例子似乎表明,Halpern-Pearl(HP)因果关系的定义给出了直观上不合理的答案。在这里,我们可以看到,对于每一个例子,我们可以给出两个与例子中的描述一致的故事,这样,关于因果关系的直觉对于每个故事都是完全不同的。通过添加额外的变量,我们可以消除这些故事的歧义。此外,在由此产生的因果关系模型中,因果关系的HP定义给出了直观上正确的答案。它还表明,通过添加额外的变量,修改原来的HP定义处理霍普金斯和珍珠的例子可能是没有必要的。考虑到通过增加额外的变量可以做多少事情,可能会有人担心因果关系的概念有些不稳定。可以以“保守”的方式添加额外的变量(即,保持原始模型中变量之间的所有关系)导致问题“X=x是Y=y的原因吗”的答案在“是”和“否”之间交替。结果表明,我们可以有这样的交替无限频繁,但如果我们考虑正规性,我们不能。实际上,在适当的正态假设下。添加一个额外的变量可以将答案从“yes”更改为“no”,但在此之后,它不能再更改回“yes”。
2015-08-03 cs.AI
Seeing through the Conflict: Transparent Knowledge Conflict Handling in Retrieval-Augmented Generation
TCR通过透明冲突解决框架提升检索增强生成中的冲突检测与知识恢复能力,减少误导性上下文影响。
2026-01-11 cs.AI
In-Context Examples Suppress Scientific Knowledge Recall in LLMs
Korea Advanced Institute of Science and Technology(韩国科学技术院);Shanghai Jiao Tong University(上海交通大学)
研究发现上下文示例会削弱大语言模型对科学知识的回忆能力,使模型更依赖经验模式匹配而非预训练知识。
2026-08-10 cs.AI
Injecting Domain Knowledge in Neural Networks: a Controlled Experiment on a Constrained Problem
University of Bologna(博洛尼亚大学)
如果有足够的数据,深度神经网络(DNN)能够高精度地学习复杂的输入输出关系。然而,在一些领域,数据稀缺或检索费用昂贵,而大量的专家知识是可用的。如果我们能够在DNN中注入这些额外的信息,我们可以简化学习过程,这似乎是合理的。其中一个例子是约束问题,对于约束问题,存在声明性方法,纯ML解决方案取得了混合成功。使用一个经典的约束问题作为案例研究,我们进行了对照实验,以探索在DNN中逐步添加域和经验知识的影响。我们的结果非常令人鼓舞,表明(至少在我们的设置中)在训练时嵌入领域知识可以产生相当大的影响,并且少量的经验知识足以获得实际有用的结果。
2020-02-25 cs.AI cs.LG
Comparing SVM and Naive Bayes classifiers for text categorization with Wikitology as knowledge enrichment
NUCES-FAST(NUCES-FAST(国家大学计算机与工程科学学院,法斯特))
根据文档内容对文档进行标记的活动称为文本分类。已经进行了许多实验,以提高文本分类,通过添加背景知识的文件使用知识库,如Word Net,开放项目目录(OPD),维基百科和Wikitology。在我们以前的工作中,我们已经进行了深入的实验,从Wikitology中提取知识,并评估实验支持向量机与10倍交叉验证。结果清楚地表明,Wikitology远远优于其他知识库。在本文中,我们比较支持向量机(SVM)和朴素贝叶斯(NB)分类器下的文本丰富通过维基百科。我们用10倍交叉验证验证了结果,结果表明,与基线结果相比,NB提高了+28.78%,另一方面,SVM提高了+6.36%。当通过任何外部知识库使用外部丰富时,朴素贝叶斯分类器是更好的选择。
2012-02-18 cs.AI cs.IR
Knowledge Triggering, Extraction and Storage via Human-Robot Verbal Interaction
University of Genoa(热那亚大学)
本文介绍了一种新的方法来扩大在运行时的人工会话代理的知识库。从用户的句子和四种方法插入新获得的概念的知识库中的自动知识提取技术已经开发和集成到一个系统,已经过测试的社会人形机器人和居民之间的知识为基础的对话护理院。运行时添加新知识可以克服影响大多数机器人和聊天机器人的一些限制:由于对话主题的数量有限,无法长时间与用户接触。在知识库中插入在用户的句子中识别的新概念预计会导致在交互期间可以覆盖的更广泛的主题,从而使对话不那么重复。两个实验来评估知识提取技术的性能,和效率的开发插入方法时,添加几个概念的本体。
2021-04-22 cs.AI cs.RO
Knowledge Infused Policy Gradients with Upper Confidence Bound for Relational Bandits
University of South Carolina(南卡罗来纳大学)
上下文Bandits在各种现实生活场景中发现了重要的用例,例如在线广告,推荐系统,医疗保健等。然而,大多数算法使用平面特征向量来表示上下文,而在现实世界中,有不同数量的对象和它们之间的关系在上下文中建模。例如,在音乐推荐系统中,用户上下文包含他们听的音乐,哪些艺术家创作了这种音乐,艺术家专辑等。添加更丰富的关系上下文表示也引入了更大的上下文空间,使探索-利用变得更加困难。为了提高探索-利用的效率,可以注入关于上下文的知识来指导探索-利用策略。关系上下文表示允许人类以自然的方式指定知识,由于其描述性的性质。我们提出了一个适应知识注入策略梯度上下文的强盗设置和一个新的知识注入策略梯度置信上限算法,并进行了实验分析的模拟音乐推荐数据集和各种现实生活中的数据集,专家知识可以大大减少总遗憾,它不能。
2021-06-25 cs.AI cs.LG
Query Answering over Contextualized RDF/OWL Knowledge with Forall-Existential Bridge Rules: Attaining Decidability using Acyclicity (full version)
DKM, FBK-IRST(FBK-IRST 的 DKM 部门);DISI, University Of Trento(特伦托大学 DISI 系)
最近爆发的上下文相关的知识语义网(SW),导致了实现的重要性,四元在SW社区。四元组通过添加RDF三元组的“上下文”的新参数来扩展标准RDF三元组,从而通知推理机区分各种上下文中的知识。虽然这种区别将RDF图中的三元组分成不同的上下文,并允许推理在不同的上下文之间解耦,但需要提供桥接规则来跨这些上下文互操作知识。我们将一组四边形与桥牌规则一起称为四边形系统。本文讨论了四元系统上具有可表达的存在桥规则的查询应答问题。事实证明,在四系统上的查询回答一般是不可判定的。我们推导出一类可判定的四系统,即上下文非循环四系统,查询回答可以使用前向链接。已经为派生类建立了数据和查询蕴涵的组合复杂性的严格界限。
2014-06-03 cs.AI cs.LO
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
实体是自然语言的基本元素。在本文中,我们提出了在三个互补层次上学习实体的多级表示的方法:字符(提取的实体名称中的字符模式,例如,通过神经网络)、词(实体名称中的词嵌入)和实体(实体嵌入)。我们调查了每个级别的最先进的学习方法,发现了很大的差异,例如,对于深度学习模型,传统的ngram特征和快速文本的子字模型(Bojanowski等人,2016);对于word 2 vec(Mikolov等人,2013);以及对于次序感知模型wang 2 vec(Ling et al.,2015年,在实体层面。我们证实实验,每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外,我们表明,从实体描述中添加信息,进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
Knowledge Rumination for Pre-trained Language Models
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室);Alibaba Group(阿里巴巴集团);Donghai Laboratory(东海实验室)
本文提出知识反刍范式,通过向预训练语言模型添加“据我所知”提示,激活其内部潜在知识,无需外部检索,在常识推理和GLUE基准上显著提升性能。
2023-10-11 cs.AI cs.CL cs.IR