A Survey on Knowledge Graphs: Representation, Acquisition and Applications
Aalto University(阿尔托大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
人类知识提供了对世界的正式理解。表示实体之间结构关系的知识图谱已经成为认知和人类智能的一个日益流行的研究方向。本文对知识图谱的研究现状进行了综述,包括1)知识图谱的表示学习、2)知识获取和完成、3)时态知识图谱、4)知识感知应用等方面的研究,并总结了近期的突破和展望方向,以促进未来的研究。我们提出了一个完整的视图分类和新的分类这些主题。知识图谱嵌入从表示空间、评分函数、编码模型和辅助信息四个方面进行组织。对于知识获取,特别是知识图谱的完善,嵌入方法,路径推理和逻辑规则推理,进行了综述。我们进一步探讨了几个新兴的主题,包括Meta关系学习,常识推理和时间知识图谱。为了促进未来对知识图谱的研究,我们还提供了一个针对不同任务的数据集和开源库的精选集合。最后,对几个有前景的研究方向进行了展望.
2021-04-01 cs.AI cs.CL
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University(德雷塞尔大学);College of Computing and Informatics(计算与信息学院)
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性,自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此,我们综述了目前的研究景观字,句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类,并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中,我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL
Psychological Health Knowledge-Enhanced LLM-based Social Network Crisis Intervention Text Transfer Recognition Method
Weill Cornell Medicine(威尔康奈尔医学院);University of Chicago(芝加哥大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
针对社交媒体心理健康危机识别的紧迫挑战,本研究提出结合特定领域心理健康知识的LLM文本迁移识别方法,通过多层次框架集成迁移学习、知识与多技术,在危机检测准确性和敏感性上优于传统模型。
2025-04-14 cs.AI cs.CL
Predicting Patient Readmission Risk from Medical Text via Knowledge Graph Enhanced Multiview Graph Convolution
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
重症监护室(ICU)计划外再入院率是评价医院护理质量的重要指标。对ICU再入院风险进行有效、准确的预测,不仅可以帮助患者避免不适当的出院和潜在的危险,而且可以降低相关的医疗费用。在本文中,我们提出了一种新的方法,使用电子健康记录(EHRs)的医疗文本进行预测,这提供了一个替代的角度,以前的研究,严重依赖于患者的数值和时间序列特征。更具体地说,我们从他们的电子病历中提取患者的出院摘要,并表示他们与外部知识图谱增强的多视图图。然后将图卷积网络用于表示学习。实验结果证明了我们的方法的有效性,产生国家的最先进的性能为这项任务。
2021-12-19 cs.AI cs.CL
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室)
中文短文本匹配是自然语言处理中的一项基本任务。现有的方法通常采用汉字或词作为输入标记。它们有两个局限性:1)有些汉语词是多义词,语义信息没有得到充分利用。2)某些模型会遇到由分词引起的潜在问题。在这里,我们引入知网作为外部知识库,并提出了一个语言知识增强图Transformer(LET)来处理单词歧义。此外,我们采用词格图作为输入,以维护多粒度的信息。我们的模型也是对预训练的语言模型的补充。在两个中文数据集上的实验结果表明,我们的模型优于各种典型的文本匹配方法。消融研究还表明,语义信息和多粒度信息是文本匹配建模的重要。
2021-02-25 cs.AI cs.CL
SPOT: Knowledge-Enhanced Language Representations for Information Extraction
University of California, San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院)
用于语言表示的知识增强的预训练模型已被证明在知识库构建任务中更有效(即,关系抽取)而不是语言模型,例如BERT。这些知识增强的语言模型将知识合并到预训练中以生成实体或关系的表示。然而,现有的方法通常用单独的嵌入来表示每个实体。因此,这些方法在其底层标记模型(即,~)之上难以表示词汇表外的实体和大量参数。Transformer),并且由于存储器的限制,实际上可以处理的实体的数量是有限的。此外,现有的模型仍然难以同时表示实体和关系。为了解决这些问题,我们提出了一种新的预训练模型,该模型分别从文本中的标记跨度和跨度对中学习实体和关系的表示。通过使用span模块对span进行有效编码,我们的模型可以表示实体及其关系,但需要的参数比现有模型少。我们使用从维基百科中提取的知识图谱对模型进行了预训练,并在广泛的监督和无监督信息抽取任务上对其进行了测试。结果表明,我们的模型学习更好的表示实体和关系比基线,而在监督设置,微调我们的模型优于RoBERTa一致,并取得竞争力的结果信息抽取任务。
2022-10-24 cs.AI cs.CL
KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting
AI Institute, University of South Carolina(南卡罗来纳大学人工智能学院);IIIT Hyderabad(印度信息技术与管理研究所海得拉巴分校);Meta AI;Amazon GenAI(亚马逊生成式人工智能部门)
本研究构建了1.5万道比例类比多选题问答数据集,通过引入示例、结构化和针对性知识增强提示,评估了大型语言模型解决比例类比的能力,发现针对性知识辅助效果最佳,且最佳模型准确率仅为55%。
2024-12-19 cs.AI cs.CL
TRAWL: External Knowledge-Enhanced Recommendation with LLM Assistance
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tencent(腾讯)
本文提出TRAWL方法,利用大语言模型从外部数据提取知识,并通过对比学习适配器训练,以增强基于行为的推荐系统,实验验证了其有效性。
2024-05-24 cs.AI cs.CL cs.IR
KnowPath: Knowledge-enhanced Reasoning via LLM-generated Inference Paths over Knowledge Graphs
University of Science and Technology of China(中国科学技术大学);Zhejiang University of Technology(浙江工业大学)
KnowPath利用LLM内部知识引导外部知识图谱中的可解释子图探索,融合内外知识以增强推理,实验验证其有效性。
2025-05-24 cs.AI
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research(VinAI研究院)
关于实体及其关系的真实世界事实的知识图谱(KG)是用于各种自然语言处理任务的有用资源。然而,因为知识图谱通常是不完整的,所以执行知识图谱完成或链接预测是有用的,即,预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型,总结了在标准基准数据集上的最新实验结果,并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
Reinforcement Learning Enhanced LLMs: A Survey
The University of Melbourne(墨尔本大学);Zhejiang University(浙江大学);A*STAR(新加坡科技研究局);University of Washington(华盛顿大学)
本文系统综述强化学习增强大语言模型(RL-enhanced LLMs)的最新研究,涵盖RL基础、流行模型、RLHF/RLAIF及DPO方法,并指出挑战与改进方向。
2025-02-24 cs.AI cs.CL cs.LG
KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning
Alibaba Group(阿里巴巴集团)
针对现有知识增强预训练语言模型将知识注入与整合割裂的问题,提出KEHRL分层强化学习框架,通过高层RL选注入位置、低层RL优化三元组,提升事实知识探测和自然语言理解任务性能。
2024-06-24 cs.CL
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型(PLM)通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域,并为各种NLP任务设置了新的最先进的性能。然而,尽管PLM可以存储来自训练语料库的某些知识/事实,但它们的知识感知仍然远远不能令人满意。为了解决这个问题,将知识集成到PLM中最近已经成为一个非常活跃的研究领域,并开发了各种方法。在本文中,我们提供了一个全面的调查,这一新兴的和快速增长的领域-知识增强预训练语言模型(KE-PLMs)的文献。我们引入三个分类法来分类现有的工作。此外,我们还调查了各种NLU和NLG应用程序,KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后,我们讨论了KE-PLM面临的挑战,也有前途的未来研究方向。
2021-10-16 cs.CL
LLM Inference Enhanced by External Knowledge: A Survey
National Taiwan University(国立台湾大学)
本文综述了利用外部知识增强LLM推理的策略,将外部知识分为非结构化与结构化数据,重点探讨表格与知识图谱的集成范式及方法,并分析可解释性、可扩展性与性能间的权衡。
2025-05-30 cs.CL
Multi-Modal Knowledge Graph Construction and Application: A Survey
Fudan University(复旦大学);Huawei Cloud & AI(华为云与计算业务部)
近年来,知识工程的兴起,其主要特征是知识图谱的快速增长。然而,大多数现有的知识图谱是用纯符号表示的,这损害了机器理解现实世界的能力。知识图谱的多模态化是实现人级机器智能的必然关键步骤。这一努力的结果是多模态知识图谱(MMKG)。本文首先给出了多模态知识库的定义,然后对多模态任务和技术进行了综述。然后,我们系统地回顾了MMKG建设和应用的挑战,进展和机遇,并详细分析了不同解决方案的优势和劣势。我们完成这项调查与开放的研究问题有关的MMKG。
2022-12-18 cs.AI cs.CL cs.CV
Bring Your Own Knowledge: A Survey of Methods for LLM Knowledge Expansion
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学);Hochschule der Medien, Stuttgart(斯图加特媒体大学)
本文综述LLM知识扩展的前沿方法,梳理多类知识整合途径、关键技术与挑战,为构建适应性强、稳健的LLM知识系统提供研究与实践指引。
2025-02-18 cs.CL
What is Event Knowledge Graph: A Survey
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent(腾讯)
除了以实体为中心的知识图谱(KG)外,事件也是世界上一种重要的知识,这就引发了以事件为中心的知识表示形式的兴起,如事件KG(EKG)。它在许多下游应用中发挥着越来越重要的作用,例如搜索,问答,推荐,金融量化投资和文本生成。本文从历史、本体、实例和应用四个方面对心电图进行了全面的综述。具体来说,表征心电图彻底,我们专注于它的历史,定义,图式归纳,收购,相关的代表性图形/系统,和应用。研究了其发展过程和趋势。我们进一步总结了前瞻性的方向,以促进未来的研究心电图。
2022-06-13 cs.AI cs.CL cs.LG
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia(弗吉尼亚大学)
针对医疗多标签分类的长尾标签分布问题,提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法,在少样本类别上优于现有模型,还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题,但近年来,自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查,讨论了最先进的预训练模型的优势和劣势,这些任务所揭示的常识推理和生成,并反映在未来的研究方向。
2022-01-28 cs.CL
KM-BART: Knowledge Enhanced Multimodal BART for Visual Commonsense Generation
RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了知识增强的多模态BART(KM-BART),这是一个基于transformer的序列到序列模型,能够从图像和文本的多模态输入中推理常识知识。我们适应生成BART架构的多模态模型与视觉和文本输入。我们进一步开发了新的预训练任务,以提高模型在视觉常识生成(VCG)任务上的性能。特别是,我们的基于知识的常识生成(KCG)的预训练任务通过利用来自外部常识知识图谱预训练的大语言模型的常识知识来提高VCG任务的模型性能。据我们所知,我们是第一个提出一个专门的任务,以提高模型性能的VCG任务。实验结果表明,我们的模型通过应用这些新的预训练任务,在VCG任务上达到了最先进的性能。
2021-07-15 cs.CL
A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge
University of Florida(佛罗里达大学)
知识图谱(KG)已成为各种自然语言处理应用的关键组件。常识知识图谱(CKG)是一种特殊类型的知识图谱,其中实体和关系由自由形式的文本组成。然而,以前的KG完成和CKG完成的工作遭受长尾关系和新添加的关系,没有太多的已知三元组进行训练。鉴于此,Few-Shot KG完成(FKGC),它需要图表示学习和少样本学习的优势,已经被提出来挑战有限的注释数据的问题。在本文中,我们全面调查以前的尝试,这些任务的形式,一系列的方法和应用。具体来说,我们首先介绍FKGC挑战,常用的KG和CKG。然后对已有的研究成果从幼儿园的类型和研究方法两个方面进行了系统的分类和总结。最后,我们介绍了FKGC模型在不同领域的预测任务中的应用,并对FKGC的未来研究方向提出了我们的想法。
2023-01-03 cs.AI cs.CL cs.LG
Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems
Griffith University(格里菲斯大学);School of Information and Communication Technology(信息与通信技术学院)
本文提出KERL框架,融合知识图谱与预训练语言模型增强对话推荐系统中的实体表示,并构建WikiMKG知识图谱,在推荐和回复生成任务上达到最优性能。
2024-05-01 cs.AI cs.CL cs.IR
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
知识增强的预训练语言模型(KEPLMs)是从知识图谱中注入关系三元组以提高语言理解能力的预训练模型。为了保证有效的知识注入,以前的研究将模型与知识编码器相结合,用于表示从知识图谱中检索到的知识。知识检索和编码操作带来了巨大的计算负担,限制了此类模型在需要高推理速度的实际应用中的使用。在本文中,我们提出了一种新的KEPLM命名为DKPLM分解的预训练语言模型的知识注入过程中的预训练,微调和推理阶段,这有利于KEPLM在现实世界中的应用场景。具体来说,我们首先检测知识感知的长尾实体作为知识注入的目标,增强KEPLM的语义理解能力,避免注入冗余信息。长尾实体的嵌入被相关知识三元组形成的“伪令牌表示”所取代。我们进一步设计了用于预训练的关系知识解码任务,通过关系三元组重构来迫使模型真正理解注入的知识。实验表明,我们的模型优于其他KEPLM显着超过zero-shot知识探测任务和多知识感知的语言理解任务。我们进一步表明,DKPLM具有更高的推理速度比其他竞争模型,由于分解机制。
2022-10-16 cs.CL
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
What Has Been Enhanced in my Knowledge-Enhanced Language Model?
ETH Zürich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学)
预训练的语言模型(LM)不能很好地捕捉事实知识。这导致了一些知识整合(KI)的方法,旨在将外部知识纳入预先训练的LM的发展。尽管KI方法显示出比普通LM更好的性能,但这些方法的内部工作原理还没有得到很好的理解。例如,目前还不清楚如何以及什么样的知识被有效地整合到这些模型中,以及这种整合是否可能导致对已经学习的知识的灾难性遗忘。本文重新访问KI过程中,这些模型与信息理论的观点,并表明,KI可以解释使用图形卷积运算。我们提出了一个探针模型称为\textit{Graph Convolution Simulator}(GCS)的解释知识增强的LM和暴露什么样的知识集成到这些模型。我们进行实验,以验证我们的GCS确实可以用来正确地解释KI过程,我们用它来分析两个著名的知识增强LM:ERNIE和K-Adapter,发现只有少量的事实知识是集成在他们。我们根据不同的关系类型对知识进行了分层,发现ERNIE和K-Adapter在不同程度上整合了不同类型的知识。我们的分析还表明,简单地增加KI语料库的大小可能不会导致更好的KI;可能需要根本性的进步。
2022-11-16 cs.CL cs.IT cs.LG
Ontology-enhanced Prompt-tuning for Few-shot Learning
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center(杭州创新中心);Alibaba Group(阿里巴巴集团);Tecent(腾讯)
少样本学习(FSL)的目标是基于有限数量的样本进行预测。知识图谱和本体库等结构化数据已被用于各种任务中的Few-Shot设置。然而,现有方法所采用的先验知识存在知识缺失、知识噪声和知识异构等问题,影响了少样本学习的性能。在这项研究中,我们探索知识注入FSL与预先训练的语言模型,并提出本体增强提示微调(OntoPrompt)。具体来说,我们开发了基于外部知识图谱的本体转换,以解决知识缺失的问题,实现了结构化知识到文本的转换。我们进一步引入跨度敏感的知识注入,通过一个可见的矩阵来选择有用的知识来处理知识噪声问题。为了弥合知识和文本之间的差距,我们提出了一个集体训练算法来共同优化表示。我们评估我们提出的OntoPrompt在三个任务,包括关系抽取,事件抽取,和知识图谱完成,八个数据集。实验结果表明,我们的方法可以获得更好的Few-Shot性能比基线。
2022-01-27 cs.AI cs.CL cs.IR
The Contribution of Knowledge in Visiolinguistic Learning: A Survey on Tasks and Challenges
National Technical University of Athens(雅典国家技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院);AILS Laboratory(AILS实验室)
本文综述了利用知识图谱和大语言模型等外部知识源弥补视觉语言模型泛化不足的混合方法,分析了相关任务并对知识来源进行分类,探讨了KG与LLM的选择困境及未来影响。
2023-03-04 cs.AI cs.CL cs.CV
The Lifecycle of "Facts": A Survey of Social Bias in Knowledge Graphs
Universität Hamburg(汉堡大学);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息技术中心协会)
本文综述了知识图谱生命周期各阶段中社会偏见的来源、传播与呈现方式,分析现有测量和缓解方法的局限,并提出未来研究方向。
2022-10-07 cs.AI cs.CL cs.CY
Multimodal Dialog Systems with Dual Knowledge-enhanced Generative Pretrained Language Model
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对多模态任务型对话中文本回复生成忽视生成式预训练与上下文知识的问题,提出DKMD模型,通过双重知识选择、知识增强上下文学习及改进BART解码器融合文本与视觉知识,实验证明其优于现有方法。
2024-05-11 cs.CL cs.HC cs.MM
ConcEPT: Concept-Enhanced Pre-Training for Language Models
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文提出ConcEPT,通过实体概念预测预训练目标将外部分类体系中的概念知识注入预训练语言模型,无需实体链接或概念映射即可适配下游任务,并在实体分型等四个任务上验证了其有效性。
2024-01-11 cs.CL
On the Evolution of Knowledge Graphs: A Survey and Perspective
International Digital Economy Academy (IDEA)(国际数字经济 academy);Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院)
本文全面综述了静态、动态、时序、事件四类知识图谱的演进及相关知识抽取与推理技术,介绍其实际应用并给出金融分析案例,最后展望了知识工程结合大语言模型等未来方向。
2025-05-21 cs.AI
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Neusoft AI Magic Technology Research(东软AI魔法技术研究院);Neusoft Institute of Intelligent Medical Research(东软智能医学研究院)
本文提出 KnowledgeNavigator 框架,通过问题约束增强、知识图谱迭代检索过滤及结构化提示构建,利用外部知识提升 LLM 的复杂问答推理能力。
2024-01-19 cs.CL
CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering
Southeast University(东南大学);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University) Ministry of Education(新一代人工智能技术及其交叉应用国家重点实验室);China Mobile Research Institute(中国移动研究院);Monash University(墨尔本大学);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学)
CoTKR通过链式推理增强知识重写方法,提升复杂知识图谱问答性能。
2025-11-20 cs.CL
A Survey of Knowledge Enhanced Pre-trained Language Models
Beijing Institute of Technology(北京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文综述了知识增强预训练语言模型(KE-PLMs),针对自然语言理解与生成分别提出分类法,并展望了未来研究方向。
2023-08-30 cs.CL
LLM-empowered knowledge graph construction: A survey
Xidian University(西安电子科技大学)
本综述系统梳理LLM赋能的KG构建进展,分析基于模式与无模式两大范式,并展望KG推理、动态知识记忆与多模态构建等未来方向。
2025-10-23 cs.AI
Knowledge Conflicts for LLMs: A Survey
Westlake University(西湖大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学)
该综述聚焦大语言模型的三类知识冲突,分析其成因、模型表现及现有解决方案,旨在为提升大语言模型鲁棒性、推动相关领域研究提供参考。
2024-06-22 cs.AI cs.CL cs.IR
Knowledge Boundary of Large Language Models: A Survey
National University of Singapore(国立新加坡大学);Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong(香港中文大学);University of Minnesota - Twin Cities(明尼苏达大学双城分校)
本综述提出大语言模型知识边界的统一定义与四类知识分类体系,从动机、识别方法和缓解策略三方面系统梳理研究现状,并展望未来方向。
2025-05-27 cs.CL
A Survey on Knowledge-Enhanced Pre-trained Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Thomson Reuters Labs(汤森路透实验室)
自然语言处理(NLP)通过使用预训练语言模型(PLM)(如BERT)而发生了革命性的变化。尽管在几乎每一个NLP任务中都创造了新的记录,但PLM仍然面临着许多挑战,包括可解释性差,推理能力弱,以及在应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到PLM中,\textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels}(KEPLM)有可能克服上述局限性。在本文中,我们通过一系列的研究系统地检查KEPLMs。具体来说,我们概述了常见的类型和不同格式的知识集成到KEPLMs,详细介绍了现有的方法,用于构建和评估KEPLMS,目前的应用程序KEPLMs在下游任务,并讨论了未来的研究方向。研究人员将从这项调查中受益,获得该领域最新发展的快速和全面的概述。
2022-12-27 cs.CL
Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Tongji University(同济大学)
提出KANGAROO框架,通过捕获实体隐式图结构、融合双曲层次嵌入及子图对比学习增强数据,解决封闭领域知识图谱稀疏问题,显著提升KEPLM在下游任务的表现。
2023-11-12 cs.CL
DKCD: Domain Knowledge-Enhanced Causal Discovery from Unstructured Data
University of Technology Sydney(悉尼科技大学)
针对高专业领域非结构化数据因果发现难题,提出DKCD框架,通过知识挖掘、知识引导的因果推理和因果结构发现三个组件,有效应对潜在因素识别不足和因素注释不可靠问题,实验证明其显著提升了因果发现效果。
2026-07-13 cs.CL
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
随着预训练的语言模型带来的模型容量的增加,出现了对具有高级功能(包括提供和灵活使用百科知识和常识知识)的更有知识的自然语言处理(NLP)模型的需求。然而,仅仅预先训练的语言模型缺乏单独处理这种知识密集型NLP任务的能力。为了应对这一挑战,大量用外部知识源增强的预训练语言模型被提出并处于快速发展中。本文通过剖析基于预训练语言模型的知识增强模型(PLMKEs)的三个关键要素:知识源、知识密集型NLP任务和知识融合方法,总结了PLMKEs的研究进展。最后,我们提出了PLMKE的挑战的基础上讨论的三个要素,并试图提供NLP从业者进一步研究的潜在方向。
2022-02-17 cs.CL
ReservoirChat: Interactive Documentation Enhanced with LLM and Knowledge Graph for ReservoirPy
Mnemosyne Inria Bordeaux, France(Mnemosyne 国家信息与自动化技术研究院波尔多分校)
本文介绍ReservoirChat,一种结合RAG与知识图谱的交互式文档工具,旨在提升LLM在ReservoirPy代码开发与储层计算问答中的准确性和可靠性,并在编码任务上优于ChatGPT-4o等专有模型。
2025-07-04 cs.AI cs.CL cs.NE
Can Knowledge Graphs Reduce Hallucinations in LLMs? : A Survey
Arizona State University(亚利桑那州立大学)
本综述系统梳理了利用知识图谱增强大语言模型以减少幻觉的技术,将其分为三大类并进行比较与评估,探讨了当前趋势、挑战及未来研究方向。
2024-03-16 cs.CL cs.LG
A Survey on Symbolic Knowledge Distillation of Large Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本综述系统梳理大型语言模型符号知识蒸馏的方法与应用,旨在将隐性知识转化为显式符号形式,提升模型可解释性与效率,并指出研究空白与未来方向。
2024-07-12 cs.CL cs.LG
Knowledge Integration Strategies in Autonomous Vehicle Prediction and Planning: A Comprehensive Survey
Freie Universität Berlin(柏林自由大学);Continental Automotive Technologies GmbH(大陆汽车技术有限公司);Fraunhofer FOKUS Berlin(弗劳恩霍夫研究所柏林)
本综述系统梳理自动驾驶轨迹预测与规划中的知识集成方法,分类分析符号到神经符号架构,并指出可解释AI、形式化验证及混合方法等未来趋势。
2025-05-22 cs.AI cs.LG
Knowledge Mechanisms in Large Language Models: A Survey and Perspective
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校);Alibaba Group(阿里巴巴集团)
该文从知识利用与演化的新颖分类综述大语言模型知识机制,探讨其学到的知识、参数知识脆弱性及暗知识问题,旨在助力理解LLMs知识并为未来研究提供见解。
2024-12-04 cs.AI cs.CL cs.CV
Teacher-Student Architecture for Knowledge Distillation: A Survey
McGill University(麦吉尔大学);Northwest University(西北大学)
本文系统综述了教师-学生架构在知识蒸馏中的多目标应用,涵盖知识压缩、扩展、适应与增强,总结了代表性算法、蒸馏方案及分类、识别、生成等应用,并展望了架构设计、知识质量与回归理论等未来方向。
2023-08-08 cs.AI cs.LG
Knowledge Graph-enhanced Sampling for Conversational Recommender System
Beijing Jiaotong University(北京交通大学)
传统的推荐系统主要利用离线用户数据对离线模型进行训练,然后向在线用户推荐商品,存在基于稀疏和噪声的历史数据的用户偏好估计不可靠的问题。会话式推荐系统(CRS)利用对话系统的交互形式来解决传统推荐系统固有的问题。然而,由于缺乏上下文信息建模,现有的CRS模型不能很好地处理资源的开发和探索(Exploitation and Exploration,E&E)问题,给用户带来了沉重的负担。为了解决上述问题,这项工作提出了一个上下文信息增强模型定制的CRS,称为知识图谱增强采样(KGenSam)。KGenSam将用户交互数据的动态图与外部知识集成为一个异构的知识图谱(KG)作为上下文信息环境。然后,设计了两个采样器,通过采样高不确定性的模糊样本获取用户偏好和可靠的负样本更新推荐器来增强知识,实现了用户偏好的高效获取和模型更新,从而为CRS处理E&E问题提供了有力的解决方案。在两个真实世界数据集上的实验结果证明了KGenSam的优越性,与最先进的方法相比有显着的改进。
2021-10-13 cs.AI cs.IR
A Survey of Knowledge Graph Embedding and Their Applications
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱嵌入提供了一种用于表示知识的通用技术。这些技术可以用于各种应用,如完成知识图谱预测丢失的信息,推荐系统,问答,查询扩展等嵌入在知识图谱中的信息,虽然是结构化的是具有挑战性的消费在现实世界中的应用。知识图谱嵌入使现实世界的应用程序能够使用信息来提高性能。知识图谱嵌入是一个活跃的研究领域。大多数嵌入方法都集中在基于结构的信息。最近的研究已经将边界扩展到包括基于文本的信息和基于图像的信息的实体嵌入。已经做出努力来增强具有上下文信息的表示。本文介绍了KG嵌入领域从简单的基于简化的模型到基于丰富的模型的增长。本文包括实用的知识图谱在现实世界中的应用。
2021-07-16 cs.AI cs.IR
Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning
Nankai University(南开大学);NKIARI(南开大学人工智能研究院(深圳))
针对计算机视觉持续学习中的灾难性遗忘问题,提出知识图谱增强生成式多模态模型KG-GMM,通过演化知识图谱增强类别区分与推理,在常规和少样本类别增量学习任务上取得SOTA结果。
2025-03-24 cs.AI cs.CV cs.LG
Deep Learning on Knowledge Graph for Recommender System: A Survey
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
最近的研究进展已经证明了知识图谱(KG)在提供有价值的外部知识以改进推荐系统(RS)方面的有效性。知识图谱能够对连接具有一个或多个相关属性的两个对象的高阶关系进行编码。借助新兴的图神经网络(GNN),可以从KG中提取对象特征和关系,这是成功推荐的重要因素。在本文中,我们对基于GNN的知识感知深度推荐系统进行了全面的调查。具体来说,我们讨论了最先进的框架,重点是它们的核心组件,即,图嵌入模块,以及它们如何解决可扩展性、冷启动等实际推荐问题,并进一步总结了常用的基准测试数据集、评估指标以及开源代码。最后,我们总结了调查,并提出了潜在的研究方向,在这个快速增长的领域。
2020-03-25 cs.AI cs.IR cs.LG
A Survey on Extractive Knowledge Graph Summarization: Applications, Approaches, Evaluation, and Future Directions
University of Oxford(牛津大学);Nanjing University(南京大学)
本文系统综述了抽取式知识图谱摘要的应用与方法分类,并提出了未来研究方向,旨在通过提取紧凑子图促进下游任务。
2024-02-19 cs.AI cs.DB cs.IR
Adaptive Knowledge-Enhanced Bayesian Meta-Learning for Few-shot Event Detection
Southeast University(东南大学);Monash University(莫纳什大学)
事件检测(ED)旨在检测句子中的事件触发词,并将其分类为特定的事件类型。在现实世界的应用中,ED通常没有足够的标记数据,因此可以表述为少样本学习问题。针对Few-Shot ED中样本多样性低的问题,提出了一种基于知识的Few-Shot事件检测方法。此外,由于外部知识通常提供有限的和不完善的事件类型的覆盖范围,我们引入了一个自适应的知识增强贝叶斯元学习方法来动态调整事件类型的知识先验。实验表明,我们的方法一致,并大大优于至少15个绝对F1点在相同的Few-Shot设置下的一些基线。
2021-05-30 cs.AI cs.CL
Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering
Southeast University(东南大学);Zhejiang Lab(之江实验室)
本文针对大语言模型在知识图谱问答中长尾知识不足的问题,提出答案敏感的KG-to-Text方法及增强LLMs框架,将KG知识转化为高信息量文本,并在多个基准上验证其优于已有KG增强方法。
2023-09-21 cs.AI cs.CL