A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models?
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对多语言预训练模型中高低资源语言事实知识探测差距大、隐式跨语言迁移有限的问题,提出两个无参数语言表示投影模块LRP2,在mLAMA数据集上显著提升非英语语言事实知识检索准确率与知识可迁移性,并探究了其工作机制。
2023-11-07 cs.CL
Language Models are Open Knowledge Graphs
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
本文展示了如何从预训练的语言模型(例如,BERT,GPT-2/3),无需人工监督。流行的知识库(例如,Wikidata,NELL)以监督或半监督的方式构建,需要人类创造知识。最近的深度语言模型通过预训练自动从大规模语料库中获取知识。存储的知识使得语言模型能够改进下游NLP任务,例如,回答问题,写代码和文章。在本文中,我们提出了一种无监督的方法来铸造知识包含在语言模型到KG。我们表明,KG构建了一个单一的前向通过的预训练语言模型(没有微调)的语料库。我们通过与人类创建的两个KG(Wikidata,TAC KBP)进行比较来证明构建的KG的质量。我们的幼儿园还提供开放的事实知识,这是在现有的幼儿园新的。我们的代码和KG将公开提供。
2020-10-22 cs.AI cs.CL cs.LG
Generalize Symbolic Knowledge With Neural Rule Engine
Beijing University of Post and Telecommunication(北京邮电大学)
由于神经网络在许多自然语言处理任务中占据了主导地位,因此通过整合符号知识来提高神经网络模型的性能引起了人们的广泛关注。与已有的研究不同,本文从知识驱动的角度探讨了这两种范式的结合。我们提出了神经规则引擎(NRE),它可以从逻辑规则中显式地学习知识,然后用神经网络隐式地概括它们。NRE用神经模块网络实现,其中每个模块代表逻辑规则的动作。实验结果表明,NRE能显著提高逻辑规则的泛化能力,并能显著提高召回率。同时,精度仍然保持在较高水平。
2019-08-14 cs.CL
JAKET: Joint Pre-training of Knowledge Graph and Language Understanding
Carnegie Mellon University(卡内基梅隆大学);Microsoft Cognitive Services Research Group(微软认知服务研究组)
知识图谱包含了丰富的世界知识、实体和关系信息。因此,它们可以成为现有预训练语言模型的重要补充。然而,它仍然是一个挑战,有效地将信息从KG语言建模。而对知识图谱的理解需要相关的语境。我们提出了一个新的联合预训练框架,JAKET,模型的知识图谱和语言。知识模块和语言模块提供相互帮助的基本信息:知识模块为文本中的实体生成嵌入,而语言模块为图中的实体和关系生成上下文感知的初始嵌入。我们的设计使预训练模型能够轻松适应新领域中看不见的知识图谱。几个知识感知的自然语言处理任务的实验结果表明,我们提出的框架实现了优越的性能,有效地利用知识的语言理解。
2020-10-02 cs.CL
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
知识增强的预训练语言模型(KEPLMs)是从知识图谱中注入关系三元组以提高语言理解能力的预训练模型。为了保证有效的知识注入,以前的研究将模型与知识编码器相结合,用于表示从知识图谱中检索到的知识。知识检索和编码操作带来了巨大的计算负担,限制了此类模型在需要高推理速度的实际应用中的使用。在本文中,我们提出了一种新的KEPLM命名为DKPLM分解的预训练语言模型的知识注入过程中的预训练,微调和推理阶段,这有利于KEPLM在现实世界中的应用场景。具体来说,我们首先检测知识感知的长尾实体作为知识注入的目标,增强KEPLM的语义理解能力,避免注入冗余信息。长尾实体的嵌入被相关知识三元组形成的“伪令牌表示”所取代。我们进一步设计了用于预训练的关系知识解码任务,通过关系三元组重构来迫使模型真正理解注入的知识。实验表明,我们的模型优于其他KEPLM显着超过zero-shot知识探测任务和多知识感知的语言理解任务。我们进一步表明,DKPLM具有更高的推理速度比其他竞争模型,由于分解机制。
2022-10-16 cs.CL
Knowledge Prompts: Injecting World Knowledge into Language Models through Soft Prompts
Google Research(谷歌研究院)
软提示最近已被提出作为一种工具,以适应大型冻结语言模型(LM)的新任务。在这项工作中,我们将软提示重新用于将世界知识注入LM的任务。我们介绍了一种方法,训练软提示,通过自监督学习的数据从知识库。由此产生的软知识提示(KPs)是独立于任务的,并作为一个外部存储器的LM。我们进行定性和定量的实验,并证明:(1)KPs可以有效地建模的训练数据的结构;(2)KPs可以用来提高LM在不同的知识密集型任务的性能。
2022-10-10 cs.AI cs.CL cs.LG
Epistemology of Language Models: Do Language Models Have Holistic Knowledge?
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文从认识论整体主义视角,通过溯因、修正和论证生成三个任务检验大语言模型是否具备整体性知识,发现其仅在溯因任务中避免修正核心知识,整体上未能区分核心与边缘知识。
2024-03-19 cs.CL
Knowledge-Aware Language Model Pretraining
Microsoft Corporation(微软公司)
预训练的语言模型包含多少知识?最近的研究发现,经过预训练的transformer擅长建模语义,但尚不清楚它们在多大程度上掌握了人类知识,或者如何确保它们这样做。在本文中,我们将知识意识的语言模型预训练不改变的Transformer架构,插入显式的知识层,或添加外部存储的语义信息。相反,我们只是在预训练中向Transformer的输入发送实体存在的信号,使用实体扩展的标记器;在输出处,使用额外的实体预测任务。我们的实验表明,仅仅通过在预训练中添加这些实体信号,就可以将更多的知识打包到Transformer参数中:我们观察到改进的语言建模准确性,LAMA知识探测任务中的事实正确性,以及通过边缘探测隐藏表示的语义。我们还表明,我们的知识感知语言模型(KALM)可以作为GPT-2模型的替代品,显著改善下游任务,如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
Commonsense Knowledge Transfer for Pre-trained Language Models
ETH Zurich(苏黎世联邦理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出常识知识迁移框架,利用通用文本查询神经常识知识模型,并通过常识掩码填充与关系预测两个自监督目标增强预训练语言模型,在常识推理下游任务尤其少样本场景中取得稳定提升。
2023-06-04 cs.AI cs.CL cs.LG
One Mind, Many Tongues: A Deep Dive into Language-Agnostic Knowledge Neurons in Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对大型语言模型中知识存储机制的神秘性及现有语言无关知识神经元研究的局限,该研究构建RML-LAMA基准并提出MATRICE方法,以准确地定位语言无关知识神经元,并探究其在跨语言知识任务中的作用。
2024-11-26 cs.CL
Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models
The University of Tokyo(东京大学)
我们研究了在神经网络编码器中学习到的什么样的结构知识可以转移到处理自然语言中。我们设计具有模仿自然语言的结构属性的人工语言,对数据进行预训练编码器,并查看编码器在自然语言的下游任务中表现出多大的性能。我们的实验结果表明,使用具有嵌套依赖结构的人工语言进行预训练提供了一些可转移到自然语言的知识。后续的探测分析表明,它的成功转移与编码的语境信息量有关,转移的是语言的位置感知语境依赖知识。我们的研究结果为神经网络编码器如何处理人类语言以及最近多语言语言模型的跨语言可转移性的来源提供了见解。
2022-03-22 cs.CL
Knowledge Graph Fusion for Language Model Fine-tuning
University of Witwatersrand(金山大学);University of Johannesburg(约翰内斯堡大学);Institute for Intelligent Systems(智能系统研究所)
诸如BERT之类的语言模型由于其能够进行预训练并在广泛的自然语言处理任务上稳健地执行而越来越受欢迎。通常被视为对传统词嵌入技术的进化,它们可以产生文本的语义表示,对语义相似性等任务很有用。然而,最先进的模型通常具有高的计算要求,并且缺乏完整的语言理解所需的全局上下文或领域知识。为了解决这些限制,我们调查的好处知识纳入微调阶段的BERT。现有的K-BERT模型,它丰富的句子与三胞胎从知识图谱,适用于英语语言和扩展到注入上下文相关的信息到句子。作为一个副作用,对K-BERT进行的适应英语语言的更改也扩展到其他基于单词的语言。进行的实验表明,注入的知识引入噪声。当这种噪音被最小化时,我们看到知识驱动的任务在统计上有显著的改善。我们的证据表明,适当的任务,适度注入相关的,高质量的知识是最有效的。
2022-06-21 cs.AI cs.CL cs.LG
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Google Research(谷歌研究院)
大量的语言模型是现代NLP建模的核心,并且已经被证明可以编码大量的常识和事实信息。然而,这些知识只存在于模型的潜在参数中,无法进行检查和解释,更糟糕的是,随着世界的变化,从训练语料库中记忆的事实信息可能会变得陈旧。作为参数存储的知识也将不可避免地表现出源材料中固有的所有偏见。为了解决这些问题,我们开发了一个神经语言模型,其中包括一个明确的接口之间的象征性可解释的事实信息和subsymbolic神经知识。我们表明,该模型显着提高了两个知识密集型问答任务的性能。更有趣的是,模型可以通过操纵其符号表示来更新,而无需重新训练。特别是,这个模型允许我们添加新的事实,并以早期模型不可能的方式覆盖现有的事实。
2020-07-02 cs.AI cs.CL cs.LG
Multilingual Knowledge Editing with Language-Agnostic Factual Neurons
Beijing Jiaotong University(北京交通大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
针对多语言知识编辑中的知识冲突问题,本文发现跨语言共享的语言无关事实神经元,并提出LU-LAFNs方法定位更新这些神经元,在Bi-ZsRE和MzsRE基准上取得最佳编辑性能。
2024-12-17 cs.CL
Lexical Knowledge Internalization for Neural Dialog Generation
The University of Hong Kong(香港大学);Shanghai AI Lab(上海人工智能实验室);Tencent AI Lab(腾讯人工智能实验室);East China Normal University(华东师范大学)
我们提出了知识内化(KI),其目的是补充词汇知识到神经对话模型。而不是进一步的条件知识为基础的对话(KGD)模型外部检索的知识,我们试图将每个输入令牌的知识内部到模型的参数。为了应对大规模词汇知识带来的挑战,我们采用了对比学习方法,并创建了一个有效的符号级词汇知识检索器,仅需要从维基百科挖掘的弱监督。我们证明了我们的方法在各种数据集和多样化的模型结构上的有效性和普遍适用性。
2022-05-04 cs.CL
Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding
East China Normal University(华东师范大学);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
知识增强的预训练语言模型(PLM)是近年来备受关注的一种语言模型,旨在将事实知识融入PLM中。然而,大多数现有的方法修改固定类型的PLM的内部结构,通过堆叠复杂的模块,并引入冗余和无关的事实知识库(KBs)。针对这些问题,本文提出了一种基于知识激励的PLM框架KP-PLM。该框架可以灵活地与现有的主流PLM相结合。具体来说,我们首先从每个上下文的知识库构建一个知识子图。然后设计多条连续提示规则,将知识子图转化为自然语言提示。为了进一步利用这些提示中的事实知识,我们提出了两个新的知识感知的自监督任务,包括提示相关性检查和掩蔽提示建模。对多个自然语言理解(NLU)任务的大量实验表明,KP-PLM在全资源和低资源环境中都优于其他最先进的方法。
2022-10-16 cs.CL
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute(中国移动研究院)
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心,具有自动发现新知识和语法的能力,新发现的知识和语法将由人工识别,并用于更新知识库和语法库。这个过程可以重复多次,以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Alleviating the Knowledge-Language Inconsistency: A Study for Deep Commonsense Knowledge
Peking University(北京大学)
知识事实通常用关系三元组表示,而我们观察到一些常识事实用三元组表示,其形式与语言表达不一致。这种不一致性对预训练的语言模型处理这些常识知识事实提出了挑战。本文将这类知识称为深层常识知识,并对其进行了大量的探索性实验,结果表明,深层常识知识在常识知识中占有相当大的比例,而传统的方法无法有效地捕捉到它。我们进一步提出了一种新的方法来挖掘分布在句子中的深层常识知识,减轻了传统方法对知识的三重表示形式的依赖。实验结果表明,该方法显著提高了挖掘深层常识知识的性能.
2021-05-31 cs.CL
How Much Knowledge Can You Pack Into the Parameters of a Language Model?
Google(谷歌)
最近已经观察到,在非结构化文本上训练的神经语言模型可以使用自然语言查询隐式地存储和检索知识。在这篇简短的论文中,我们通过微调预训练模型来衡量这种方法的实际效用,以在不访问任何外部背景或知识的情况下回答问题。我们表明,这种方法的规模与模型的大小,并执行竞争力与开放域系统,明确地从外部知识源检索答案时回答问题。为了促进可重复性和未来的工作,我们在https://goo.gle/t5-cbqa上发布了我们的代码和训练模型。
2020-10-05 cs.CL cs.LG stat.ML
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
随着预训练的语言模型带来的模型容量的增加,出现了对具有高级功能(包括提供和灵活使用百科知识和常识知识)的更有知识的自然语言处理(NLP)模型的需求。然而,仅仅预先训练的语言模型缺乏单独处理这种知识密集型NLP任务的能力。为了应对这一挑战,大量用外部知识源增强的预训练语言模型被提出并处于快速发展中。本文通过剖析基于预训练语言模型的知识增强模型(PLMKEs)的三个关键要素:知识源、知识密集型NLP任务和知识融合方法,总结了PLMKEs的研究进展。最后,我们提出了PLMKE的挑战的基础上讨论的三个要素,并试图提供NLP从业者进一步研究的潜在方向。
2022-02-17 cs.CL
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion
Peking University(北京大学);Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
完成知识三元组的任务具有广泛的下游应用。结构信息和语义信息在知识图谱的构建中起着重要的作用。不同于以往的方法,依赖于结构或语义的知识图谱,我们提出了联合嵌入的语义在自然语言描述的知识三元组与它们的结构信息。我们的方法嵌入知识图谱的完成任务,通过微调预训练的语言模型相对于概率结构化损失,其中的前向传递的语言模型捕捉语义和损失重建结构。我们在各种知识图谱基准上的大量实验证明了我们方法的最先进性能。我们还表明,我们的方法可以显着提高在低资源制度的性能,由于更好地使用语义。代码和数据集可在https://github.com/pkusjh/LASS上获得。
2022-09-19 cs.AI cs.CL cs.LG
SKILL: Structured Knowledge Infusion for Large Language Models
Google(谷歌);EPFL(洛桑联邦理工学院)
大语言模型(LLM)已经在广泛的自然语言任务上展示了人类水平的性能。然而,他们是否能更好地从结构化数据(如知识图谱)或文本中内化知识,这在很大程度上尚未探索。在这项工作中,我们提出了一种方法来注入结构化的知识LLM,直接训练T5模型的事实三元组的知识图谱(KG)。我们表明,使用我们的方法在Wikidata KG上预训练的模型在FreebaseQA和WikiHop上的表现优于T5基线,以及TriviaQA和NaturalQuestions的Wikidata可回答子集。在事实三元组上预训练的模型与包含相同知识的自然语言句子上的模型进行了竞争性比较。在较小尺寸的KG,WikiMovies上训练,我们看到与T5基线相比,MetaQA任务的精确匹配分数提高了3倍。该方法的优点是在组织训练数据时不需要将知识图谱与文本语料库对齐。这使得我们的方法在处理行业规模的知识图谱时特别有用。
2022-05-17 cs.AI cs.CL cs.LG
Generalisation of language and knowledge models for corpus analysis
本文对语料库语言学的语言和知识建模进行了新的探讨。利用Chaitin的思想,提出了反对自然语言处理中语言/知识分离的论点。一个简单的模型,概括的方法,语言和知识,提出。这个模型的假设结果之一是强AI。
2012-03-14 cs.AI cs.CL
Improving Neural Topic Models using Knowledge Distillation
University of Maryland(马里兰大学)
主题模型通常用于识别人类可解释的主题,以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型,以提高主题质量,我们使用两个具有不同架构的模型来证明这一点,从而获得最先进的主题一致性。我们表明,我们的适应性强的框架不仅提高了所有估计的主题的聚合性能,正如通常报道的那样,而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer
University of Southern California(南加州大学);Microsoft(微软)
预先训练的语言模型在需要理解现实世界中日常物品的属性(例如外观,可测量的数量)和可供性的任务中仍然远远不能达到人类的表现,因为文本由于报告偏差而缺乏这些信息。在这项工作中,我们研究是否整合视觉知识到一个语言模型可以填补空白。我们研究了两种类型的知识转移:(1)文本知识转移使用图像标题,可能包含丰富的视觉知识和(2)跨模态知识转移使用图像和标题与视觉语言训练目标。在5个可能需要视觉知识来解决问题的下游任务上,我们对所提出的目标进行了广泛的实证比较。我们的实验表明,视觉知识转移可以提高性能,在低资源和完全监督的设置。
2022-03-17 cs.CL
Assisted Knowledge Graph Authoring: Human-Supervised Knowledge Graph Construction from Natural Language
Bauhaus-Universität Weimar(包豪斯大学魏玛校区)
本文提出WAKA,一个让领域专家通过自然语言在人类监督下构建知识图谱的Web应用,以解决领域特定知识在通用知识图谱中代表性不足的问题。
2024-01-15 cs.CL
Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
近年来,人们发现单语英语语言模型可以作为知识库。代替结构化知识库查询,使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。我们将已建立的基准TREx和GoogleRE翻译成53种语言。通过与mBERT合作,我们研究了三个问题。(i)mBERT可以用作多语言知识库吗?大多数以前的工作只考虑英语。将研究扩展到多种语言对于多样性和可访问性非常重要。(ii)mBERT作为知识库的性能是独立于语言的,还是因语言而异?(iii)多语言模型在更多文本上训练,例如,mBERT在104个维基百科上训练。mBERT能利用这一点来提高性能吗?我们发现,使用mBERT作为知识库会产生不同的语言和语言之间的池预测性能提高不同的性能。相反,mBERT表现出语言偏见;例如,当用意大利语查询时,它倾向于预测意大利是原产国。
2021-02-01 cs.CL
Neural Natural Language Inference Models Enhanced with External Knowledge
Queen’s University(女王大学);University of Ottawa(渥太华大学);iFLYTEK Research(科大讯飞研究院)
自然语言推理建模是一项非常具有挑战性的任务。随着大量注释数据的可用性,最近训练复杂模型(例如基于神经网络的推理模型)已变得可行,这些模型已显示出达到最先进的性能。虽然存在相对较大的注释数据,但机器是否可以从这些数据中学习执行自然语言推理(NLI)所需的所有知识?如果没有,基于神经网络的NLI模型如何从外部知识中受益,以及如何构建NLI模型来利用它?在本文中,我们丰富了最先进的神经自然语言推理模型与外部知识。我们证明了所提出的模型改进了神经NLI模型,以在SNLI和MultiNLI数据集上实现最先进的性能。
2018-06-23 cs.CL
Two-view Graph Neural Networks for Knowledge Graph Completion
University of Stuttgart(斯图加特大学);Oracle Labs(甲骨文实验室);Monash University(莫纳什大学);VinAI Research(VinAI研究院)
我们提出了一个有效的基于图神经网络(GNN)的知识图谱嵌入模型,我们命名为WGE,捕捉实体和关系为重点的图形结构。给定一个知识图谱,WGE构建一个无向的以实体为中心的图,将实体视为节点。WGE还从关注关系的约束中构造了另一个无向图,它将实体和关系视为节点。然后,WGE提出了一个基于GNN的架构,以更好地从这两个单一的实体和关系集中的图中学习实体和关系的向量表示。WGE将学习到的实体和关系表示馈送到加权得分函数中,以返回知识图谱完成的三重得分。实验结果表明,WGE优于强基线上的七个基准数据集的知识图谱完成。
2023-03-11 cs.AI cs.CL cs.LG
Improving Neural Question Generation using World Knowledge
Indian Institute of Technology Patna(印度帕纳布理工大学);Microsoft Research Montreal(微软蒙特利尔研究院)
本文提出一种利用世界知识增强神经问题生成模型,通过引入链接实体和细粒度实体类型,提升生成问题的质量,在SQuAD和MS MARCO测试集上取得显著提升。
2025-12-24 cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo(滑铁卢大学)
上下文词嵌入模型,如BioBERT和Bio_ClinicalBERT,通过将其预训练过程集中在特定领域的语料库上,在生物医学自然语言处理任务中取得了最先进的结果。然而,这样的模型不考虑专家领域知识。在这项工作中,我们介绍了UmlsBERT,一个上下文嵌入模型,通过一种新的知识增强策略,在预训练过程中集成领域知识。更具体地说,用统一医学语言系统(UMLS)元词库对UmlsBERT进行增强是以两种方式进行的:i)连接UMLS中具有相同基础“概念”的单词,以及ii)利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略,UmlsBERT可以将临床领域知识编码到词嵌入中,并在常见的命名实体识别(NER)和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University(亚利桑那州立大学)
最近几个数据集已被提出,以鼓励在问答领域的研究,其中常识知识预计将发挥重要作用。最近的语言模型,如ROBERTA,BERT和GPT,已经在维基百科的文章和书籍上进行了预训练,在几个这样的多选择分类(MCQ)数据集上表现出合理的性能。我们在这项工作中的目标是开发方法,将额外的(常识)知识到语言模型为基础的方法,更好地回答问题,在这些领域。在这项工作中,我们首先对外部知识来源进行分类,并显示使用这些来源确实会提高性能。然后,我们探讨了三种不同的策略,知识整合和四种不同的模式,回答问题,使用外部常识知识。我们分析我们的预测,以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
K-PLUG: Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce
JD AI Research(京东AI研究院);University of California, Berkeley(加利福尼亚大学伯克利分校);Renmin University of China(中国人民大学)
现有的预训练语言模型(PLM)已经证明了自监督学习对广泛的自然语言处理(NLP)任务的有效性。然而,他们中的大多数并没有明确地意识到特定领域的知识,这是必不可少的下游任务在许多领域,如任务中的电子商业场景。在本文中,我们提出了K-PLUG,知识注入预训练的语言模型的基础上的编码器-解码器Transformer,可以转移到自然语言理解和生成任务。我们验证我们的方法在不同的范围内的电子商业的情况下,需要特定领域的知识。具体而言,我们提出了五个知识感知的自我监督的预训练目标,制定特定领域的知识,包括电子商业领域的知识库,产品实体的方面,产品实体的类别,和独特的销售主张的产品实体的学习。K-PLUG在一系列特定领域的NLP任务上取得了新的最先进的结果,包括产品知识库完成,抽象的产品摘要和多轮对话,全面显著优于基线,这表明所提出的方法有效地学习了语言理解和生成任务的各种特定领域的知识。
2021-09-27 cs.CL
Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models
Tencent AI Lab(腾讯人工智能实验室)
全参数语言模型通常需要大量的模型参数来存储用于在零/Few-Shot设置中解决多个自然语言任务的必要知识。此外,如果没有昂贵的模型再训练,很难适应不断变化的世界知识。在本文中,我们开发了一种新的半参数语言模型架构,知识的上下文(KiC),它赋予一个参数化的文本到文本的语言模型与知识丰富的外部存储器。具体来说,外部存储器包含六种不同类型的知识:实体、字典、常识、事件、脚本和因果关系知识。对于每个输入实例,KiC模型自适应地选择知识类型并检索最有用的知识。输入实例连同其知识扩充一起被馈送到文本到文本模型(例如,T5)生成输出答案,提示后输入和输出均为自然语言形式。有趣的是,我们发现,KiC可以被确定为一个特殊的混合专家(MoE)模型,其中的知识选择器起着路由器的作用,用于确定序列的专家分配在MoE。这个关键的观察启发我们开发一种新的算法,用于训练KiC与实例自适应知识选择器。作为一个知识丰富的半参数语言模型,KiC只需要一个小得多的参数部分,以实现卓越的zero-shot性能看不见的任务。通过对40多个不同的任务进行评估,我们发现具有770 M参数的KiC_Large很容易超过大语言模型(LM),后者大幅度增加了4- 39倍。我们还证明了KiC在一个小得多的模型规模相比,全参数模型表现出紧急的能力。
2023-03-27 cs.CL
Large Language Models Are Cross-Lingual Knowledge-Free Reasoners
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);China Mobile Research(中国移动研究院)
本研究将推理任务分解为知识检索与无知识推理,发现无知识推理能力可跨语言完美迁移而知识检索会阻碍迁移,并揭示其机制在于不同语言共享推理神经元而知识分语言存储。
2025-03-03 cs.CL
ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
University of Sheffield(谢菲尔德大学);University of Durham(杜伦大学)
神经语言表示模型,如BERT,在大规模非结构化语料库上进行预训练,缺乏对现实世界常识知识的明确基础,并且通常无法记住推理和推断所需的事实。自然语言推理(NLI)是一个具有挑战性的推理任务,它依赖于人类对语言的共同理解和现实世界的常识知识。我们引入了一个新的模型NLI称为外部知识增强BERT(ExBERT),丰富的上下文表示与现实世界的常识知识,从外部知识源,并提高BERT的语言理解和推理能力。ExBERT充分利用从BERT中获得的上下文词表示,并使用它们从知识图谱中检索相关的外部知识,并对检索到的外部知识进行编码。我们的模型自适应地结合了推理输入所需的外部知识背景。在具有挑战性的SciTail和SNLI基准测试上进行的大量实验证明了ExBERT的有效性:与之前的最新技术相比,我们在SciTail上获得了95.9%的准确率,在SNLI上获得了91.5%的准确率。
2021-08-03 cs.CL
KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning
Alibaba Group(阿里巴巴集团)
针对现有知识增强预训练语言模型将知识注入与整合割裂的问题,提出KEHRL分层强化学习框架,通过高层RL选注入位置、低层RL优化三元组,提升事实知识探测和自然语言理解任务性能。
2024-06-24 cs.CL
Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出架构自适应多语言集成梯度方法精确定位知识神经元,发现语言无关知识神经元和功能重叠的退化知识神经元,揭示多语言预训练模型事实知识存储机制。
2023-12-20 cs.CL
Knowledge of Pretrained Language Models on Surface Information of Tokens
Tokyo Institute of Technology(东京工业大学);Fujitsu Limited(富士通公司)
本文考察了12个英日预训练语言模型对词元长度、子串和构成等表层信息的掌握与生成能力,发现模型了解长度和子串但不了解构成,并指出解码器端存在知识利用瓶颈。
2024-02-22 cs.CL
Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Department of Computer Science, Durham University(杜伦大学计算机科学系);Hupan Lab, Hangzhou, China(杭州实验室)
本研究首次通过内部表示探测分析LLMs跨语言的知识边界认知,发现其编码于中间层且语言差异呈线性结构,提出无需训练的对齐方法和双语微调以提升跨语言边界识别,降低幻觉风险。
2025-06-24 cs.CL
Improving Biomedical Pretrained Language Models with Knowledge
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
预训练的语言模型已经在许多自然语言处理任务中显示出成功。许多作品探索将知识合并到语言模型中。在生物医学领域,专家们已经花了几十年的努力来建立大规模的知识库。例如,统一医学语言系统(UMLS)包含数百万个实体及其同义词,并定义了实体之间的数百种关系。利用这些知识可以使各种下游任务受益,例如命名实体识别和关系抽取。为此,我们提出了KeBioLM,生物医学预训练的语言模型,明确利用知识的UMLS知识库。具体来说,我们从PubMed摘要中提取实体,并将其链接到UMLS。然后,我们训练知识感知的语言模型,首先应用纯文本编码层来学习实体表示,并应用文本-实体融合编码来聚合实体表示。此外,我们增加了实体检测和实体连接两个训练目标。在BLURB基准测试中进行的命名实体识别和关系抽取实验表明了该方法的有效性。对收集的探测数据集的进一步分析表明,我们的模型具有更好的建模能力的医学知识。
2021-04-21 cs.CL
Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
以前的工作数据到文本生成,知识图谱(KG)三元组转换为自然文本的任务,集中在特定领域的基准数据集。然而,在本文中,我们将对整个英文维基数据KG进行动词化,并讨论与广泛,开放领域,大规模动词化相关的独特挑战。我们进一步表明,verbalizing一个全面的,像Wikidata的语法KG可以用来整合结构化的KG和自然语言语料库。与已经开发的集成这两个源的许多架构相比,我们的方法将KG转换为自然文本,使其能够无缝集成到现有的语言模型中。它还具有提高事实准确性和降低最终语言模型毒性的优点。我们评估这种方法,通过增加检索语料库中的检索语言模型,并显示显着的改进知识密集型任务的开放领域QA和LAMA知识探针。
2021-03-13 cs.CL
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用轻量级适配器模块将UMLS和OntoChem知识图谱的结构化生物医学知识注入PubMedBERT和BioLinkBERT,通过子图划分与融合层增强知识,在文档分类、问答和自然语言推理任务上实现性能提升并保持低计算需求。
2023-12-21 cs.CL
Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?
Microsoft Corporation(微软公司);Meituan(美团)
我们研究基于知识的对话生成与预训练的语言模型。我们不是在基准上追求新的最先进技术,而是试图了解存储在预训练模型参数中的知识是否已经足以支持开放领域对话,从而使我们能够摆脱对生成过程中外部知识源的依赖。通过对基准测试的大量实验,我们发现,通过对一些包含知识的对话进行微调,预先训练的语言模型可以在自动评估和人类判断方面优于需要外部知识的最先进的模型,这对我们提出的问题给出了肯定的回答。
2020-11-19 cs.CL
Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware Language Modeling
University of California, Irvine(加州大学欧文分校);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对人类语言进行建模不仅需要生成流畅的文本,还需要对事实知识进行编码。然而,传统的语言模型只能记住在训练时看到的事实,并且通常难以回忆它们。为了解决这个问题,我们引入了知识图谱语言模型(KGLM),这是一种神经语言模型,具有从与上下文相关的知识图谱中选择和复制事实的机制。这些机制使模型能够呈现以前从未见过的信息,并生成词汇表外的标记。我们还介绍了Linked WikiText-2数据集,这是一个与Wikidata知识图谱对齐的注释文本语料库,其内容(大致)与流行的WikiText-2基准相匹配。在实验中,我们证明了KGLM实现了显着更好的性能比一个强大的基线语言模型。我们还比较了不同的语言模型完成需要事实知识的句子的能力,表明KGLM在生成事实方面甚至优于非常大的大语言模型。
2019-06-20 cs.CL
MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 MLaKE 多语言知识编辑基准,覆盖五种语言及单跳、多跳问答,用于评估现有方法的跨语言泛化能力并揭示其局限。
2025-02-19 cs.CL
Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
多段推理是开放领域问答系统中必不可少的一部分,但在现有的开放领域问答系统中,多段推理的研究较少。在这项工作中,我们提出了一个知识增强的图神经网络(KGNN),它执行推理多个段落的实体。为了显式地捕获实体的相关性,KGNN利用知识图谱中的关系事实来构建实体图。实验结果表明,KGNN优于在两个分心和完整的wiki设置比基线方法在HotpotQA数据集。进一步的分析表明,KGNN是有效的和鲁棒的,具有更多的检索段落。
2019-11-06 cs.CL
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Augmenting Neural Machine Translation with Knowledge Graphs
University of Paderborn(帕德博恩大学);Insight Centre for Data Analytics, Data Science Institute National University of Ireland Galway(爱尔兰国立高威大学数据科学研究院洞察数据分析中心)
虽然神经网络已被广泛用于在机器翻译任务中取得实质性进展,但已知它们严重依赖于大量训练数据的可用性。最近的努力已经尝试通过使用不同的策略(诸如反向转换)来增加训练数据来缓解数据稀疏问题。随着数据的稀缺,词汇表外的单词,主要是实体和术语表达,对神经机器翻译系统提出了严峻的挑战。在本文中,我们假设知识图谱增强了神经模型的语义特征提取,从而优化了文本中实体和术语表达的翻译,从而提高了翻译质量。因此,我们研究了两种不同的策略,将知识图谱到神经模型,而不修改的神经网络架构。我们还研究了我们的增强方法对经常性和非经常性(自我注意)神经架构的有效性。我们的知识图谱增强神经翻译模型(称为KG-NMT)在2014年至2018年间针对WMT英德翻译任务的最新测试数据集上平均实现了+3 BLEU、METEOR和chrF 3的显着且一致的改进。
2019-02-23 cs.CL
Benchmarking Knowledge Boundary for Large Language Models: A Different Perspective on Model Evaluation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对语言模型评估对提示敏感的问题,提出知识边界概念及带语义约束的投影梯度下降算法,为每条知识寻找最优提示,实现更可靠稳健的模型评估,并在多领域验证了算法优越性。
2024-05-29 cs.CL
Why Do Masked Neural Language Models Still Need Common Sense Knowledge?
Korea Advanced Institute of Science and Technology(韩国科学技术院);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
目前,语境化的单词表示是通过复杂的神经网络模型来学习的,例如掩蔽神经语言模型(MNLM)。新的表示方法显著提高了通过阅读段落进行自动问答的性能。然而,由于参数众多且相互混杂,很难确定在MNLM中培训的详细知识。本文提供了经验,但有见地的分析预训练MNLM方面的常识知识。首先,我们提出了一个测试,测量什么类型的常识知识做预训练MNLM理解。从测试中,我们观察到,MNLM部分理解各种类型的常识知识,但不准确理解关系的语义。此外,基于问答任务问题的难度,我们观察到预训练的基于MLM的模型仍然容易受到需要常识知识的问题的影响。我们还通过实验证明,我们可以通过结合外部常识库中的知识来提升现有的基于MNLM的模型。
2019-11-08 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology(韩国科学技术院)
许多上下文化的单词表示现在通过复杂的神经网络模型来学习,例如掩蔽神经语言模型(MNLM),其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解(RC)任务中表现出超人的表现,这些任务在给定问题的上下文中提取适当的答案。然而,识别详细的知识培训MNLM是具有挑战性的,由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先,我们使用一个诊断测试,评估是否常识知识是正确的MNLM培训。我们观察到,很大一部分的常识性知识没有适当的培训,在MNLM和MNLM不经常准确地理解关系的语义。此外,我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后,我们发现了一些知识没有得到训练的根本原因。我们进一步建议,利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
随着将事实知识整合到预先训练的语言模型(如BERT)中的新兴分支的出现,大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入,这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中,我们提出了语境化语言和知识嵌入(CoLAKE),它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入,而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性,我们将它们集成到一个统一的数据结构中,即词-知识图谱(WK图)。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明,CoLAKE在大多数任务上都优于以前的同类算法.此外,CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能,这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL