KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding
Embibe；University of South Carolina（南卡罗来纳大学）
由最先进的基于转换器的语言模型（TLM）（如BERT、GPT、T5等）学习的上下文实体表示，利用注意力机制从训练数据语料库中学习数据上下文。然而，这些模型不使用知识背景。知识上下文可以理解为知识图谱中实体及其与相邻实体之间关系的语义。我们提出了一种新的和有效的技术，注入知识上下文从多个知识图谱的概念和模糊的实体到TLM在微调。该算法将知识图谱嵌入到齐次向量空间中，为实体引入新的标记类型，对齐实体位置ID，并引入选择性注意力机制。我们以BERT为基准模型，通过注入ConceptNet和WordNet中的知识上下文实现了“知识注入的BERT”，在GLUE基准测试的8个不同子任务上，该模型的性能明显优于BERT和其他最近的知识感知BERT变体，如ERNIE，SenseBERT和BERT_CS。KI-BERT-base模型甚至在特定领域的任务（如SciTail和QQP、QNLI和MNLI的学术子集）上的表现明显优于BERT-large。
2021-09-03 cs.AI cs.CL cs.LG
Informative Causality Extraction from Medical Literature via Dependency-tree based Patterns
Indiana University Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
从医学文献中抽取因果实体是医学信息检索的一项重要任务。用于解决该任务的解决方案可以用于汇编各种因果关系，例如疾病和症状之间、药物和副作用之间、基因和疾病之间的因果关系等。用于提取因果实体的现有解决方案对于其中原因和结果短语是名称实体、单字名词或由两个到三个词组成的名词短语的句子工作良好。遗憾的是，在医学文献中，句子中的因果短语不是简单的名词或名词短语，而是由多个单词组成的复杂短语，现有方法无法正确提取此类句子中的因果实体。与给定句子中的意图相比，因果实体的部分提取传达了质量差、信息量小且往往矛盾的事实。在这项工作中，我们解决了这个问题，设计了一个无监督的方法，因果短语提取，模式因果关系，这是专门适用于医学文献。我们提出的方法首先使用因果依赖模式的集合作为模板来提取因果短语的中心词，然后使用一种新的短语提取方法从句子中获得完整的和有意义的因果短语。从PubMed文章中的句子建立的因果数据集上的实验表明，对于提取因果实体，PatternCausality大大优于现有的方法，在F-分数度量的数量级改进超过现有的最佳方法。
2022-03-13 cs.CL cs.LG
MultiHal: Multilingual Dataset for Knowledge-Graph Grounded Evaluation of LLM Hallucinations
Department of Computer Science, Aalborg University（计算机科学系，奥胡斯大学）；Institute of Logic and Computation, TU Wien（逻辑与计算研究所，维也纳技术大学）
针对现有幻觉评估基准缺乏知识图谱路径和多语言支持的问题，提出多语言多跳基准MultiHal，通过挖掘并精选2.59万条知识图谱路径，在KG-RAG中显著提升语义相似度、NLI蕴含和幻觉检测得分，验证了知识图谱集成的潜力。
2025-10-23 cs.CL
Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
University of Colorado, Boulder（科罗拉多大学博尔德分校）
该研究探究LLMs是否具备格赖斯式退却的要素，发现其激活可编码知识边界与指称特异性信号，但生成时未协调，为格赖斯式对齐提供了基础。
2026-08-14 cs.AI cs.CL
RHO ($ρ$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Hong Kong University of Science and Technology（香港科技大学）
本文提出RHO模型，通过局部和全局知识接地结合知识图谱嵌入，并设计基于子图游走的重排序，显著减少开放域对话中的幻觉，在OpenDialKG上大幅超越现有方法。
2023-05-12 cs.AI cs.CL
Informative Text Generation from Knowledge Triples
University of Cambridge（剑桥大学）；University of Pennsylvania（宾夕法尼亚大学）；The Chinese University of Hong Kong（香港中文大学）
随着编码器-解码器体系结构的发展，研究人员能够研究更广泛类型数据的文本生成任务。其中，知识库到文本的目标是将一组知识三元组转换成人类可读的句子。在原始设置中，任务假设输入三元组和文本在具体知识/信息的角度上完全对齐。在本文中，我们扩展了这种设置，并探索如何促进训练模型生成更多信息的文本，即包含更多关于三元组实体的信息，但不是由输入三元组传达的。为了解决这个问题，我们提出了一种新的记忆增强生成器，采用记忆网络来记忆在训练过程中学到的有用知识，并利用这些信息与输入三元组一起在操作或测试阶段生成文本。我们从WebNLG中为我们的新设置获得了一个数据集，并进行了大量的实验来研究我们模型的有效性，并揭示了该设置的内在特征。
2022-09-26 cs.CL
KG-FIT: Knowledge Graph Fine-Tuning Upon Open-World Knowledge
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；GE HealthCare（GE医疗）
本文提出KG-FIT，通过LLM引导构建实体簇层次结构并结合文本信息微调知识图谱嵌入，在三个基准上显著提升链接预测性能。
2024-10-27 cs.CL cs.LG
Important Attribute Identification in Knowledge Graph
Alibaba Group（阿里巴巴集团）
知识图谱（KG）由实体及其描述、属性以及实体之间的关系组成，在各种自然语言处理任务中得到越来越多的应用。在像Wikidata这样的典型知识图谱中，实体通常有大量的属性，但很难知道哪些是重要的。在从信息检索到自然语言生成的各种应用中，属性的重要性可以是有价值的信息。在本文中，我们提出了一个通用的方法，使用外部用户生成的文本数据来评估一个实体的属性的相对重要性。更具体地说，我们使用词/子词嵌入技术将外部文本数据与实体的属性名称和值进行匹配，并根据其匹配的内聚性对属性进行排名。据我们所知，这是第一个基于向量的语义匹配的重要属性识别的工作，我们的方法优于以往的传统方法。我们还将检测到的重要属性的结果应用到语言生成任务中;与以前生成的文本相比，新方法生成了更多定制和信息丰富的消息。
2018-10-12 cs.CL
Visually Grounded Commonsense Knowledge Acquisition
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；National University of Singapore（新加坡国立大学）；University of Hamburg（汉堡大学）；Tencent（腾讯）
大规模常识知识库为广泛的人工智能应用提供了支持，其中常识知识的自动提取（CKE）是一个基本且具有挑战性的问题。基于文本的CKE因文本中常识的固有稀疏性和报告偏差而闻名。另一方面，视觉感知包含关于现实世界实体的丰富常识知识，例如，（person，can_hold，bottle），其可以用作用于获取接地常识知识的有希望的来源。在这项工作中，我们提出了CLEVER，它将CKE制定为一个远程监督的多实例学习问题，其中模型学习从一袋关于实体对的图像中总结常识关系，而无需对图像实例进行任何人工注释。为了解决这个问题，CLEVER利用视觉语言预训练模型来深入理解袋子中的每个图像，并从袋子中选择信息实例，通过一种新颖的对比注意力机制来总结常识实体关系。综合实验结果表明，CLEVER可以提取有希望的质量常识知识，优于预先训练的语言模型为基础的方法3.9 AUC和6.4 mAUC点。预测的常识得分显示出与人类判断的强相关性，斯皮尔曼系数为0.78。此外，提取的常识也可以接地到具有合理解释性的图像。数据和代码可从https://github.com/thunlp/CLEVER获得。
2023-03-25 cs.AI cs.CL cs.CV
HiGPT: Heterogeneous Graph Language Model
Musketeers Foundation Institute of Data Science（火枪手基金会数据科学研究所）；University of Hong Kong（香港大学）；Baidu Inc.（百度公司）
针对现有异构图学习框架跨数据集泛化性弱的问题，该研究提出采用异构图指令调优范式的通用大图模型HiGPT，结合上下文令牌化器与MoT指令增强，无需下游微调即可实现强泛化性能。
2024-05-19 cs.CL cs.LG
Knowledge-based Review Generation by Coherence Enhanced Text Planning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）
作为一项自然语言生成任务，生成信息丰富、连贯的评论文本是一项具有挑战性的任务。为了增强所生成的文本的信息性，现有的解决方案通常学习从知识图谱（KG）复制实体或三元组。但是，他们在选择和安排知识时缺乏整体考虑，容易造成语篇的不连贯。为了解决上述问题，我们专注于提高实体为中心的一致性，通过利用知识库的语义结构生成的评论。本文提出了一种基于知识图谱（KGs）的一致性增强文本规划模型（CETP），以提高评论生成的全局和局部一致性。所提出的模型学习一个两级的文本计划来生成文档：（1）文档计划被建模为一个顺序的句子计划序列，（2）句子计划被建模为KG中基于实体的子图。KG子图通过实体之间的句内关联自然地增强了局部连贯性。对于全局一致性，我们设计了一个分层的自关注架构，子图和节点级的注意力，以增强子图之间的相关性。据我们所知，我们是第一个利用基于KG的文本规划模型来增强文本连贯性的审查生成。在三个数据集上进行的大量实验证实了我们的模型在提高生成文本的内容一致性方面的有效性。
2021-05-09 cs.CL
Learning Informative Representations of Biomedical Relations with Latent Variable Models
University College London（伦敦大学学院）；BenevolentAI
从大型科学文献语料库中提取生物医学关系是一项具有挑战性的自然语言处理任务。现有的方法通常集中在确定一个关系，无论是在一个句子（提及级）或整个语料库（对级）。在这两种情况下，最近的方法通过学习点估计来表示关系，取得了很好的效果;然后将其用作关系分类器的输入。然而，一对生物医学实体之间以文本表达的关系通常比点估计所能捕获的更复杂。为了解决这个问题，我们提出了一个潜在的变量模型与任意灵活的分布来表示实体对之间的关系。此外，我们的模型提供了一个统一的架构提到级和对级关系抽取。我们证明，我们的模型实现的结果与强基线的两个任务的竞争力，同时具有更少的参数，并显着更快的训练。我们公开我们的代码。
2020-11-20 cs.CL cs.LG
A Unified Encoder-Decoder Framework with Entity Memory
University of Notre Dame（圣母大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
本文提出EDMem框架，将实体知识作为潜在表示存入记忆并随编解码器在Wikipedia上预训练，辅以三种实体约束解码方法，在实体密集型问答与生成任务上优于两类基线模型。
2023-04-24 cs.CL
Representation Learning via Variational Bayesian Networks
The Open University（开放大学）；Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
提出变分贝叶斯网络(VBN)，利用层次先验、显式关系建模和密度表示来应对长尾实体数据稀缺问题，通过可扩展优化算法实现高效推断，在多任务上优于现有方法。
2023-06-28 cs.AI cs.CL cs.LG
Community Question Answering Entity Linking via Leveraging Auxiliary Data
Nankai University（南开大学）
社区问答（CQA）平台包含大量的CQA文本（即，问题和对应于问题的答案），其中命名实体无处不在地出现。在本文中，我们定义了一个新的任务CQA实体链接（CQAEL）连接的文本实体提到检测CQA文本与知识库中的相应实体。该任务可以促进许多下游应用，包括专家发现和知识库丰富。传统的实体链接方法主要集中在链接新闻文档中的实体，并且对于CQAEL的这个新任务来说是次优的，因为它们不能有效地利用CQA平台中涉及的各种信息辅助数据来辅助实体链接，诸如并行答案和两种类型的元数据（即，主题标签和用户）。为了解决这个关键问题，我们提出了一种新的基于transformer的框架，有效地利用不同类型的辅助数据提供的知识，以提高链接性能。我们验证了我们的框架的优越性，通过广泛的实验对国家的最先进的实体链接方法的新发布的CQAEL数据集。
2022-05-24 cs.AI cs.CL
DyERNIE: Dynamic Evolution of Riemannian Manifold Embeddings for Temporal Knowledge Graph Completion
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
最近有越来越多的兴趣在学习表示的时间知识图谱（KG），它记录了实体之间的动态关系，随着时间的推移。时间KG通常表现出多个同时的非欧结构，如层次结构和循环结构。然而，现有的时间KG嵌入方法通常学习实体表示及其在欧几里得空间中的动态演化，这可能无法很好地捕捉这种内在结构。为此，我们提出了Dy-ERNIE，一种非欧几里德嵌入方法，它可以学习黎曼流形乘积中的演化实体表示，其中组合空间是从底层数据的截面曲率估计的。产品流形使我们的方法，以更好地反映各种各样的几何结构的时间KG。此外，为了捕捉时间KG的演化动力学，我们让实体表示根据在每个时间戳的切空间中定义的速度向量来演化。我们详细分析了几何空间的贡献表示学习的时间KG和评估我们的模型上的时间知识图谱完成任务。在三个真实世界数据集上进行的大量实验表明，性能得到了显着提高，这表明多关系图数据的动态可以通过黎曼流形上嵌入的演变来更好地建模。
2020-12-02 cs.AI cs.CL cs.LG
Conditional Diffusion Guided Knowledge Transfer for Multi-Domain Knowledge Graph Completion
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；UCAS（中国科学院大学）
研究多域知识图谱补全问题，提出基于条件扩散引导的知识转移框架DMKGC，将各知识图谱视为实体信息的部分视图，通过扩散模型生成通用实体嵌入，提升尾实体预测性能。
2026-07-07 cs.AI cs.CL
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning
University of Technology Sydney（悉尼科技大学）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）；Microsoft Research（微软研究院）
在这项工作中，我们的目标是装备预先训练的语言模型与结构化的知识。我们提出了两个自监督任务学习的原始文本的指导下，从知识图谱。建立在实体级掩蔽语言模型，我们的第一个贡献是一个实体掩蔽计划，利用相关知识的文本。这是通过使用一个链接的知识图谱来选择信息实体，然后屏蔽它们的提及来实现的。此外，我们使用知识图谱来获得干扰项的掩蔽实体，并提出了一种新的干扰抑制的排序目标，该目标是优化与掩蔽语言模型。与现有的范例相比，我们的方法隐式地使用知识图谱，仅在预训练期间，通过从原始文本学习来向语言模型注入结构化知识。它比在微调和推理过程中执行实体链接和集成的基于检索的方法更有效，并且比直接从级联图三元组学习的方法更有效。实验表明，我们提出的模型实现了提高性能的五个基准数据集，包括问答和知识库完成任务。
2020-04-29 cs.CL cs.LG
KNSE: A Knowledge-aware Natural Language Inference Framework for Dialogue Symptom Status Recognition
Fudan University（复旦大学）
本文提出KNSE框架，将症状状态识别形式化为自然语言推理任务，利用BERT及注意力、GRU等模块编码症状知识与假设三元组，在中文医疗对话数据上取得优于基线方法的效果，并具备跨疾病和跨症状优势。
2023-05-26 cs.CL
Failing to See or Failing to Know? Attributing Errors in Vision-Language Models
MBZUAI The University of Melbourne（MBZUAI墨尔本大学）
研究视觉语言模型在回答需额外知识问题时的错误，提出统一框架分离失败模式，探讨预生成信号能否预测错误源，发现可在解码前预测，能据此进行针对性干预。
2026-08-05 cs.CL cs.CV
Zero-Shot Medical Information Retrieval via Knowledge Graph Embedding
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）
本文提出MedFusionRank，结合预训练语言模型与医学知识图谱嵌入实现零样本医疗信息检索，在医学数据集上验证了其优于现有方法的检索性能。
2023-10-31 cs.CL cs.IR
