Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题,但近年来,自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查,讨论了最先进的预训练模型的优势和劣势,这些任务所揭示的常识推理和生成,并反映在未来的研究方向。
2022-01-28 cs.CL
A Survey of Task-Oriented Knowledge Graph Reasoning: Status, Applications, and Prospects
School of Artificial Intelligence, Beihang University(北航人工智能学院);School of Information Science and Technology, Beijing Forestry University(北京林业大学信息科学与技术学院)
该综述针对现有知识图谱推理研究缺乏含下游应用与挑战性范式的全面总结的问题,按推理任务、下游应用及潜在挑战分类梳理方法,探讨大语言模型等技术的影响,明确领域研究趋势与未来方向。
2025-04-27 cs.AI cs.CL
Large Language Model Enhanced Knowledge Representation Learning: A Survey
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);College of Design and Innovation, Tongji University(同济大学设计与创新学院);Faculty of Science and Technology, University of Macao(澳门大学科技学院)
本文综述了大语言模型增强知识表示学习的方法,归纳了基于编码器、编码器-解码器和解码器三类技术路线,并梳理了下游任务应用与未来研究方向。
2025-04-08 cs.AI cs.CL
Knowledge Conflicts for LLMs: A Survey
Westlake University(西湖大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学)
该综述聚焦大语言模型的三类知识冲突,分析其成因、模型表现及现有解决方案,旨在为提升大语言模型鲁棒性、推动相关领域研究提供参考。
2024-06-22 cs.AI cs.CL cs.IR
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型(PLM)通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域,并为各种NLP任务设置了新的最先进的性能。然而,尽管PLM可以存储来自训练语料库的某些知识/事实,但它们的知识感知仍然远远不能令人满意。为了解决这个问题,将知识集成到PLM中最近已经成为一个非常活跃的研究领域,并开发了各种方法。在本文中,我们提供了一个全面的调查,这一新兴的和快速增长的领域-知识增强预训练语言模型(KE-PLMs)的文献。我们引入三个分类法来分类现有的工作。此外,我们还调查了各种NLU和NLG应用程序,KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后,我们讨论了KE-PLM面临的挑战,也有前途的未来研究方向。
2021-10-16 cs.CL
Temporal Knowledge Graph Question Answering: A Survey
本文综述了时间知识图谱问答领域,从时间问题分类和方法学分类两个角度,系统回顾了语义解析和嵌入两种主要技术,并探讨了未来研究方向。
2026-01-14 cs.AI cs.CL cs.LG
Augmenting LLMs with Knowledge: A survey on hallucination prevention
Delft University of Technology(代尔夫特理工大学)
本文综述利用外部知识库、搜索引擎等非参数化模块和可微访问机制增强 LLM 的方法,以提升知识处理能力并缓解幻觉、无依据回复和可扩展性问题。
2023-09-28 cs.AI cs.CL cs.LG
Knowledge Editing for Large Language Models: A Survey
University of Virginia(弗吉尼亚大学)
本综述系统梳理了基于知识的模型编辑(KME)技术,旨在精准更新大型语言模型知识而不损害无关能力,涵盖方法分类、评估指标、数据集及应用,并展望未来研究方向。
2024-09-19 cs.AI cs.CL
Can Knowledge Graphs Reduce Hallucinations in LLMs? : A Survey
Arizona State University(亚利桑那州立大学)
本综述系统梳理了利用知识图谱增强大语言模型以减少幻觉的技术,将其分为三大类并进行比较与评估,探讨了当前趋势、挑战及未来研究方向。
2024-03-16 cs.CL cs.LG
Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Tsinghua University(清华大学);Zhejiang University(浙江大学);Peking University(北京大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文综述面向LLMs的知识蒸馏,从白盒/黑盒方法、评估任务与应用三方面梳理技术差异、蒸馏效果及未来方向。
2024-07-02 cs.AI cs.CL
Knowledge Management System with NLP-Assisted Annotations: A Brief Survey and Outlook
Columbia University(哥伦比亚大学)
知识管理系统(KMS)对工业研究人员,化学或研究企业,或基于证据的决策有很高的需求。然而,现有的系统在分类和组织论文见解或关系方面具有局限性。传统的数据库通常与日志系统不相交,这限制了它在生成简明、整理的概述方面的效用。在这项工作中,我们简要地调查现有的方法,这个问题的空间,并提出了一个统一的框架,利用关系数据库记录层次信息,以促进研究和写作过程中,或产生有用的知识,从参考或见解连接的概念。我们的双向知识管理系统(BKMS)框架实现了新的功能,包括改进的分层笔记,人工智能辅助的头脑风暴和多向关系。潜在的应用包括为制造或研究企业管理库存和变更,或生成基于证据的决策分析报告。
2022-11-03 cs.AI cs.CL cs.DB
Knowledge Boundary of Large Language Models: A Survey
National University of Singapore(国立新加坡大学);Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong(香港中文大学);University of Minnesota - Twin Cities(明尼苏达大学双城分校)
本综述提出大语言模型知识边界的统一定义与四类知识分类体系,从动机、识别方法和缓解策略三方面系统梳理研究现状,并展望未来方向。
2025-05-27 cs.CL
A Survey on Symbolic Knowledge Distillation of Large Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本综述系统梳理大型语言模型符号知识蒸馏的方法与应用,旨在将隐性知识转化为显式符号形式,提升模型可解释性与效率,并指出研究空白与未来方向。
2024-07-12 cs.CL cs.LG
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
随着预训练的语言模型带来的模型容量的增加,出现了对具有高级功能(包括提供和灵活使用百科知识和常识知识)的更有知识的自然语言处理(NLP)模型的需求。然而,仅仅预先训练的语言模型缺乏单独处理这种知识密集型NLP任务的能力。为了应对这一挑战,大量用外部知识源增强的预训练语言模型被提出并处于快速发展中。本文通过剖析基于预训练语言模型的知识增强模型(PLMKEs)的三个关键要素:知识源、知识密集型NLP任务和知识融合方法,总结了PLMKEs的研究进展。最后,我们提出了PLMKE的挑战的基础上讨论的三个要素,并试图提供NLP从业者进一步研究的潜在方向。
2022-02-17 cs.CL
A Dual-Axis Taxonomy of Knowledge Editing for LLMs: From Mechanisms to Functions
Department of Electrical and Computer Engineering(电气与计算机工程系)
本综述提出了一种基于功能的知识编辑分类法,结合机制与知识类型双轴,系统评估现有方法的优势与局限,并探讨未来研究方向。
2025-08-12 cs.AI cs.CL
Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models
University of Mannheim(曼海姆大学);University of Marburg(马尔堡大学);Institute for AI in Medicine (IKIM)(医学人工智能研究所(IKIM));University Hospital Essen(埃森大学医院);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文综述了预训练语言模型事实知识探测方法,提出基于输入、输出和模型适配方式的分类方案,梳理相关数据集,并总结知识保留、提示优化及将PLMs用作知识库的挑战与未来方向。
2023-12-04 cs.CL
The Life Cycle of Knowledge in Big Language Models: A Survey
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文综述 PLM 中知识的完整生命周期,将其划分为五个阶段并系统梳理知识构建、维护与使用的相关研究、挑战及未来方向。
2023-03-14 cs.CL
LLM Inference Enhanced by External Knowledge: A Survey
National Taiwan University(国立台湾大学)
本文综述了利用外部知识增强LLM推理的策略,将外部知识分为非结构化与结构化数据,重点探讨表格与知识图谱的集成范式及方法,并分析可解释性、可扩展性与性能间的权衡。
2025-05-30 cs.CL
A Survey on Knowledge-Oriented Retrieval-Augmented Generation
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
该综述对检索增强生成进行全面概述,涵盖其基本组件、关键特性、分类法、评估基准及应用等,讨论了相关挑战与新兴研究方向,强调其在自然语言处理中应对现实挑战及推动发展的潜力。
2026-07-21 cs.AI cs.CL
Large Language Models for Knowledge Graph Embedding: A Survey
School of Software, Shandong University(山东大学软件学院);School of Computer and Artificial Intelligence, Shandong University of Finance and Economics(山东财经大学计算机与人工智能学院);School of Informatics, Xiamen University(厦门大学信息学院)
本文综述了大语言模型在知识图谱嵌入各类场景中的应用方法,按场景分类比较现有工作,并展望了该新兴领域的发展方向。
2025-04-08 cs.AI cs.CL
Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
Harbin Institute of Technology(哈尔滨工业大学);Huawei Inc.(华为技术有限公司)
本文系统综述了知识与大语言模型融合的研究趋势,梳理了知识编辑和检索增强等方法、基准与应用的分类体系,并展望未来研究方向。
2024-10-23 cs.CL
A Survey on Knowledge-Enhanced Pre-trained Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Thomson Reuters Labs(汤森路透实验室)
自然语言处理(NLP)通过使用预训练语言模型(PLM)(如BERT)而发生了革命性的变化。尽管在几乎每一个NLP任务中都创造了新的记录,但PLM仍然面临着许多挑战,包括可解释性差,推理能力弱,以及在应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到PLM中,\textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels}(KEPLM)有可能克服上述局限性。在本文中,我们通过一系列的研究系统地检查KEPLMs。具体来说,我们概述了常见的类型和不同格式的知识集成到KEPLMs,详细介绍了现有的方法,用于构建和评估KEPLMS,目前的应用程序KEPLMs在下游任务,并讨论了未来的研究方向。研究人员将从这项调查中受益,获得该领域最新发展的快速和全面的概述。
2022-12-27 cs.CL
Continual Learning of Natural Language Processing Tasks: A Survey
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述全面回顾了NLP中持续学习的最新进展,涵盖所有设置、灾难性遗忘预防、知识迁移及任务间类别分离挑战,并提出了未来研究方向。
2023-05-11 cs.AI cs.CL cs.LG
Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed大学);Northeastern University(东北大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);ByteDance(字节跳动);Wuhan University(武汉大学)
该综述针对大语言模型在领域特定应用中效果受限的问题,系统梳理了动态知识注入等四类领域知识注入方法,对比其优劣并总结了相关数据集与研究挑战,还搭建了开源文献库供研究者参考。
2025-08-30 cs.CL
SurveyAgent-HKA: A multi-agent framework for scientific survey generation with LLMs and human knowledge augmentation
Nanjing University of Science and Technology(南京理工大学);University of Alberta(阿尔伯塔大学);Anhui University(安徽大学)
提出多智能体框架SurveyAgent-HKA,利用已发表综述和同行评审知识,通过多源检索、大纲细化及专家问题指导修订,提升科学综述生成的引用质量、结构一致性与内容质量。
2026-09-09 cs.CL cs.DL cs.IR
A Survey of Knowledge Enhanced Pre-trained Language Models
Beijing Institute of Technology(北京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文综述了知识增强预训练语言模型(KE-PLMs),针对自然语言理解与生成分别提出分类法,并展望了未来研究方向。
2023-08-30 cs.CL
Knowledge-informed Molecular Learning: A Survey on Paradigm Transfer
Zhejiang University(浙江大学)
本文从范式迁移视角综述知识驱动的分子学习,分类梳理现有范式、分析领域知识贡献,并展望大语言模型推动下的统一趋势与未来方向。
2023-09-05 cs.AI cs.LG physics.chem-ph
Dialogue Systems Engineering: A Survey and Future Directions
SANKEN, University of Osaka(大阪大学SANKEN研究所);C4A Research Institute, Inc.(C4A研究机构);Musashi University(Musashi大学);Equmenopolis, Inc.(Equmenopolis公司)
本文提出对话系统工程概念,基于SWEBOK 4.0知识领域进行综述,识别未探索主题并展望未来方向,旨在高效构建和运营对话系统。
2025-08-04 cs.AI cs.CL cs.SE
A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models
The Hong Kong Polytechnic University(香港理工大学);Jilin University(吉林大学)
本文综述 GraphRAG 如何利用图结构知识表示、图检索与结构感知整合,解决传统 RAG 在专业领域查询理解、跨源整合和规模化效率上的挑战。
2025-09-29 cs.AI cs.CL cs.IR
A Survey on Retrieval And Structuring Augmented Generation with Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本综述探讨了大型语言模型在检索与结构化(RAS)增强生成中的方法,通过整合动态信息检索与结构化知识表示,解决幻觉、知识过时和领域知识有限等问题,并指出了技术挑战与未来研究方向。
2025-09-12 cs.CL
Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models
National Taiwan University(台湾大学)
该综述针对大型语言模型知识编辑的副作用与评估标准不一问题,使用统一指标和基准系统分析现有方法局限,并提出未来研究方向。
2024-10-25 cs.CL
A Survey on Knowledge Distillation of Large Language Models
University of Maryland(马里兰大学);Microsoft(微软公司);University of Technology Sydney(悉尼科技大学);Peking University(北京大学);The University of Sydney(悉尼大学);The University of Hong Kong(香港大学)
本文系统综述了大语言模型知识蒸馏在能力迁移、模型压缩与自我改进中的作用,并提出算法、技能、垂直化三维框架及数据增强策略,为后续研究提供指导。
2024-10-21 cs.CL
Rethinking Knowledge Retrieval for Generation: A Survey on RAG Architectures and Applications
Vellore Institute of Technology(韦洛尔理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本综述提出四轴分类法(效率、防御、交互、推理),系统梳理RAG领域进展,涵盖检索优化、安全加固、交互工作流及复杂推理,并总结评估实践与未来挑战。
2026-10-07 cs.AI
Towards Lifelong Learning of Large Language Models: A Survey
South China University of Technology(华南理工大学)
本文综述了大语言模型终身学习的研究,提出将方法分为内部知识与外部知识两大类,并建立覆盖12种场景的新分类法,系统梳理持续预训练、持续微调、检索与工具等策略,以提升模型在动态环境中的适应性与可靠性。
2024-06-10 cs.CL cs.LG
Multi-Modal Knowledge Graph Construction and Application: A Survey
Fudan University(复旦大学);Huawei Cloud & AI(华为云与计算业务部)
近年来,知识工程的兴起,其主要特征是知识图谱的快速增长。然而,大多数现有的知识图谱是用纯符号表示的,这损害了机器理解现实世界的能力。知识图谱的多模态化是实现人级机器智能的必然关键步骤。这一努力的结果是多模态知识图谱(MMKG)。本文首先给出了多模态知识库的定义,然后对多模态任务和技术进行了综述。然后,我们系统地回顾了MMKG建设和应用的挑战,进展和机遇,并详细分析了不同解决方案的优势和劣势。我们完成这项调查与开放的研究问题有关的MMKG。
2022-12-18 cs.AI cs.CL cs.CV
A Survey on Knowledge Graphs: Representation, Acquisition and Applications
Aalto University(阿尔托大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
人类知识提供了对世界的正式理解。表示实体之间结构关系的知识图谱已经成为认知和人类智能的一个日益流行的研究方向。本文对知识图谱的研究现状进行了综述,包括1)知识图谱的表示学习、2)知识获取和完成、3)时态知识图谱、4)知识感知应用等方面的研究,并总结了近期的突破和展望方向,以促进未来的研究。我们提出了一个完整的视图分类和新的分类这些主题。知识图谱嵌入从表示空间、评分函数、编码模型和辅助信息四个方面进行组织。对于知识获取,特别是知识图谱的完善,嵌入方法,路径推理和逻辑规则推理,进行了综述。我们进一步探讨了几个新兴的主题,包括Meta关系学习,常识推理和时间知识图谱。为了促进未来对知识图谱的研究,我们还提供了一个针对不同任务的数据集和开源库的精选集合。最后,对几个有前景的研究方向进行了展望.
2021-04-01 cs.AI cs.CL
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University(德雷塞尔大学);College of Computing and Informatics(计算与信息学院)
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性,自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此,我们综述了目前的研究景观字,句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类,并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中,我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research(VinAI研究院)
关于实体及其关系的真实世界事实的知识图谱(KG)是用于各种自然语言处理任务的有用资源。然而,因为知识图谱通常是不完整的,所以执行知识图谱完成或链接预测是有用的,即,预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型,总结了在标准基准数据集上的最新实验结果,并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
在过去的几十年里,知识感知方法已经推动了一系列自然语言处理应用。近年来,作为自然语言处理应用之一的文档摘要领域,知识的应用越来越受到人们的关注。以前的工作报告说,知识嵌入式文档摘要擅长生成卓越的摘要,特别是在信息量,连贯性和事实的一致性。本文旨在提出第一个系统的调查,为国家的最先进的方法,将知识嵌入到文档摘要。特别是,我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入,特别是深度学习模型。最后,我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
A Survey on Visual Transfer Learning using Knowledge Graphs
Robert Bosch GmbH(罗伯特·博世股份有限公司);Trier University(特里尔大学)
最近的计算机视觉方法利用深度学习方法,因为如果训练和测试域遵循相同的底层数据分布,则它们的性能相当好。然而,已经表明,在现实世界中使用这些方法时发生的图像中的微小变化可能导致不可预测的错误。迁移学习是机器学习试图防止这些错误的领域。特别是,近年来,使用编码在语言嵌入或知识图谱(KG)中的辅助知识来增强图像数据的方法已经取得了可喜的成果。本调查的重点是视觉迁移学习的方法,使用幼儿园。知识图可以表示辅助知识,或者在一个底层的图形结构的模式,或在一个基于向量的知识图谱嵌入。为了使读者能够在特定KG-DL配置的帮助下解决视觉迁移学习问题,我们首先描述了各种表达式的KG的相关建模结构,例如有向标记图,超图和超关系图。我们解释了特征提取器的概念,同时特别提到视觉和语义特征。我们提供了一个广泛的概述知识图谱嵌入方法,并描述了几个联合训练目标,适合将它们与高维视觉嵌入相结合。主要部分介绍了KG如何与DL管道相结合的四种不同类别:1)知识图谱作为评审员; 2)知识图谱作为受训者; 3)知识图谱作为培训师;以及4)知识图谱作为同行。为了帮助研究人员找到评估基准,我们提供了一个通用KG和一组图像处理数据集和基准,包括各种类型的辅助知识的概述。最后,我们总结了相关的调查,并提出了未来研究的挑战和开放问题的展望。
2022-01-27 cs.AI cs.CL cs.CV
A Survey on Temporal Knowledge Graph: Representation Learning and Applications
College of Computer Science and Technology, Guizhou University(贵州大学计算机科学与技术学院);Department of Industrial Engineering, Tsinghua University(清华大学工业工程系)
本文针对现有研究多聚焦静态知识图谱、忽略其动态演化的问题,全面综述时序知识图谱表示学习及应用,介绍相关基础定义与指标,提出方法分类体系并深入分析,梳理下游应用并展望未来研究方向。
2024-03-02 cs.AI cs.CL
Mind the Knowledge Gap: A Survey of Knowledge-enhanced Dialogue Systems
University of Colorado Denver(科罗拉多大学丹佛分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
许多对话系统(DS)缺乏人类所具有的特性,例如情感感知、真实性和信息性。用知识增强DS可以解决这个问题,但是,由于存在许多这样做的方法,很难跟踪所有提出的方法。在这里,我们提出了知识增强DS的第一次调查。我们定义了三种类型的系统-内部,外部和混合-基于他们使用的知识。我们调查的动机,提高DS的知识,使用的数据集,知识搜索,知识编码和知识整合的方法。最后,我们提出了如何改进现有的系统的基础上,从语言学和认知科学的理论。
2022-12-20 cs.CL cs.LG
What is Event Knowledge Graph: A Survey
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent(腾讯)
除了以实体为中心的知识图谱(KG)外,事件也是世界上一种重要的知识,这就引发了以事件为中心的知识表示形式的兴起,如事件KG(EKG)。它在许多下游应用中发挥着越来越重要的作用,例如搜索,问答,推荐,金融量化投资和文本生成。本文从历史、本体、实例和应用四个方面对心电图进行了全面的综述。具体来说,表征心电图彻底,我们专注于它的历史,定义,图式归纳,收购,相关的代表性图形/系统,和应用。研究了其发展过程和趋势。我们进一步总结了前瞻性的方向,以促进未来的研究心电图。
2022-06-13 cs.AI cs.CL cs.LG
Open-world Story Generation with Structured Knowledge Enhancement: A Comprehensive Survey
Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院);Harbin Institute of Technology(哈尔滨工业大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本综述全面回顾了结构化知识增强的开放世界故事生成领域,提出了现有方法的系统分类法,总结了相关数据集与评估指标,并探讨了当前挑战与未来研究方向。
2023-09-12 cs.AI cs.CL
Reasoning based on symbolic and parametric knowledge bases: a survey
该综述从知识库依赖视角出发,将知识库分为符号与参数化两类,系统梳理对应及融合的推理方法,指明增强机器推理能力、缩小人机智能差距的未来方向。
2025-02-21 cs.AI cs.CL
A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge
University of Florida(佛罗里达大学)
知识图谱(KG)已成为各种自然语言处理应用的关键组件。常识知识图谱(CKG)是一种特殊类型的知识图谱,其中实体和关系由自由形式的文本组成。然而,以前的KG完成和CKG完成的工作遭受长尾关系和新添加的关系,没有太多的已知三元组进行训练。鉴于此,Few-Shot KG完成(FKGC),它需要图表示学习和少样本学习的优势,已经被提出来挑战有限的注释数据的问题。在本文中,我们全面调查以前的尝试,这些任务的形式,一系列的方法和应用。具体来说,我们首先介绍FKGC挑战,常用的KG和CKG。然后对已有的研究成果从幼儿园的类型和研究方法两个方面进行了系统的分类和总结。最后,我们介绍了FKGC模型在不同领域的预测任务中的应用,并对FKGC的未来研究方向提出了我们的想法。
2023-01-03 cs.AI cs.CL cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来,随着大规模计算能力的出现和大量数据的可用性,深度神经网络已经能够在多个领域探索未知领域。但有时,由于数据不足,数据质量差,数据可能没有广泛覆盖该领域等原因,它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术,将专家知识集成到深度神经网络的序列到序列和时间序列模型,以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
A Decade of Knowledge Graphs in Natural Language Processing: A Survey
Technical University of Munich(慕尼黑工业大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所);McGill University(麦吉尔大学);King’s College London(伦敦国王学院)
随着人工智能研究领域的发展,知识图谱(KGs)已经引起了学术界和工业界的极大兴趣。作为实体之间语义关系的表示,KG已被证明与自然语言处理(NLP)特别相关,近年来经历了快速传播和广泛采用。鉴于这一领域的研究工作越来越多,NLP研究界已经调查了几种与知识生成相关的方法。然而,一个全面的研究,分类既定的主题和审查的成熟度,个别研究流仍然缺乏到今天。为了缩小这一差距,我们系统地分析了507篇关于NLP中KG的文献。我们的调查包括任务,研究类型和贡献的多方面审查。因此,我们提出了一个结构化的研究景观的概述,提供了一个分类的任务,总结我们的研究结果,并强调未来的工作方向。
2022-09-30 cs.AI cs.CL
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
The Lifecycle of "Facts": A Survey of Social Bias in Knowledge Graphs
Universität Hamburg(汉堡大学);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息技术中心协会)
本文综述了知识图谱生命周期各阶段中社会偏见的来源、传播与呈现方式,分析现有测量和缓解方法的局限,并提出未来研究方向。
2022-10-07 cs.AI cs.CL cs.CY
What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种知识驱动的两阶段模型,用于在对话式调查中生成后续问题,并构建了带知识标注的数据集及无参考评估指标,实验证明其优于GPT基线。
2023-10-13 cs.CL cs.HC
A Survey on Knowledge Graph Embeddings with Literals: Which model links better Literal-ly?
FIZ Karlsruhe - Leibniz Institute for Information Infrastructure(FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
知识图谱(KG)由关于特定领域的实体和关系形式的结构化信息组成。除了结构化信息之外,KG还有助于促进关联数据云中表示的不同资源之间的互连性和互操作性。KG已被用于各种应用,如实体链接,问答,推荐系统等,然而,KG应用程序遭受高的计算和存储成本。因此,需要一种能够将高维KG映射到低维空间的表示,即,嵌入空间,保留结构和关系信息。本文对KG嵌入模型进行了综述,这些模型不仅考虑了KG中以实体和关系形式包含的结构化信息,而且还考虑了以文字表示的非结构化信息,如文本、数值、图像等。对于链接预测的一般任务,已经执行了在相同设置下的不同方法的经验评估。
2020-05-14 cs.AI cs.CL
Editing Across Languages: A Survey of Multilingual Knowledge Editing
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈姆扎大学)
本综述系统梳理了多语言知识编辑(MKE)的最新研究,提出了涵盖基于参数、基于记忆、微调和超网络方法的综合分类体系,总结了方法有效性与迁移模式,并指出了跨语言传播等挑战,为可编辑的语言感知LLM的发展奠定基础。
2025-11-01 cs.CL