What Has Been Enhanced in my Knowledge-Enhanced Language Model?
ETH Zürich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学)
预训练的语言模型(LM)不能很好地捕捉事实知识。这导致了一些知识整合(KI)的方法,旨在将外部知识纳入预先训练的LM的发展。尽管KI方法显示出比普通LM更好的性能,但这些方法的内部工作原理还没有得到很好的理解。例如,目前还不清楚如何以及什么样的知识被有效地整合到这些模型中,以及这种整合是否可能导致对已经学习的知识的灾难性遗忘。本文重新访问KI过程中,这些模型与信息理论的观点,并表明,KI可以解释使用图形卷积运算。我们提出了一个探针模型称为\textit{Graph Convolution Simulator}(GCS)的解释知识增强的LM和暴露什么样的知识集成到这些模型。我们进行实验,以验证我们的GCS确实可以用来正确地解释KI过程,我们用它来分析两个著名的知识增强LM:ERNIE和K-Adapter,发现只有少量的事实知识是集成在他们。我们根据不同的关系类型对知识进行了分层,发现ERNIE和K-Adapter在不同程度上整合了不同类型的知识。我们的分析还表明,简单地增加KI语料库的大小可能不会导致更好的KI;可能需要根本性的进步。
2022-11-16 cs.CL cs.IT cs.LG
Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning
Nankai University(南开大学);NKIARI(南开大学人工智能研究院(深圳))
针对计算机视觉持续学习中的灾难性遗忘问题,提出知识图谱增强生成式多模态模型KG-GMM,通过演化知识图谱增强类别区分与推理,在常规和少样本类别增量学习任务上取得SOTA结果。
2025-03-24 cs.AI cs.CV cs.LG
Enhanced Drug-drug Interaction Prediction Using Adaptive Knowledge Integration
本文提出自适应知识整合框架,通过强化学习优化LLM策略空间,提升药物相互作用预测准确性。
2026-03-13 cs.LG
Knowledge Enhanced Semantic Communication Receiver
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
本文提出知识增强的语义通信接收机框架,通过基于Transformer的知识提取器利用知识库事实辅助语义解码,在WebNLG数据集上验证了其优越性能。
2023-04-15 cs.CL cs.LG
Protein Representation Learning via Knowledge Enhanced Primary Structure Modeling
The University of Hong Kong(香港大学);Xiaohe Healthcare, ByteDance(字节跳动小荷健康);JancsiTech(Jancsi科技);OPPO HealthLab(OPPO健康实验室)
蛋白质表示学习主要得益于语言模型(LM)的显著发展。因此,预训练的蛋白质模型也面临LM中的问题:缺乏事实知识。最近的解决方案模型之间的关系蛋白质和相关的知识作为知识编码的目标。然而,它未能在更细粒度的级别上探索关系,即,token级别。为了缓解这一问题,我们提出了知识利用蛋白质自动编码器(KeAP),它执行标记级知识图谱探索蛋白质表示学习。在实践中,非掩蔽氨基酸迭代地查询相关联的知识令牌,以提取和整合有用的信息,用于通过注意力恢复掩蔽氨基酸。我们表明,KeAP可以始终优于9个代表性的下游应用程序的前一个对手,有时超过它的大利润率。这些结果表明,KeAP提供了一种替代但有效的方式来执行知识增强的蛋白质表示学习。
2023-02-15 cs.CL cs.LG cs.MM
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group(阿里巴巴集团)
多关系知识库问答(KBQA)系统在知识图谱(KG)上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入(KGE)技术来处理KG不完全性,但只考虑三重事实,而忽略了路径和多关系问题之间的重要语义相关性。在本文中,我们提出了一个路径和知识嵌入增强的多关系问答模型(PKEEQA),它利用KG中实体之间的多跳路径,通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性,有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明,PKEEQA提高了KBQA模型的多关系问答的性能,解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
Improving Molecule Generation and Drug Discovery with a Knowledge-enhanced Generative Model
Institute of Cancer Research, Purdue University(普渡大学癌症研究所)
针对生成模型未充分利用生物医学知识图谱的问题,提出知识增强生成框架KARL,通过可扩展方法扩展知识图谱并结合扩散模型,在分子生成任务上性能超越现有最优模型。
2024-10-07 cs.LG q-bio.QM
Reproducibility Companion Paper: Knowledge Enhanced Neural Fashion Trend Forecasting
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);ETRI(韩国电子通信研究院);UST(韩国科学技术联合大学院大学);National Yang Ming Chiao Tung University(阳明交通大学)
这篇配套论文支持复制我们在ICMR 2020中提出的KERN(知识增强递归网络)方法的时尚趋势预测实验。我们提供了一个工件,允许使用Python实现的实验复制。该工件易于部署,只需简单的安装、培训和评估。我们重现在原始文件中进行的实验,并获得类似的性能,如先前报道的。实验的重复性结果支持了原始论文中的主要主张。
2021-05-25 cs.IR cs.LG cs.MM
A Knowledge-Enhanced Recommendation Model with Attribute-Level Co-Attention
Fudan University(复旦大学)
深度神经网络(DNN)已被广泛应用于推荐系统中,包括结合注意力机制以提高性能。然而,现有的基于注意力的推荐模型大多只对用户进行项目级的注意,限制了推荐性能的进一步提高。在本文中,我们提出了一个知识增强的推荐模型ACAM,它结合了从知识图谱(KG)提取的项目属性作为边信息,并建立了一个共同的注意力机制的属性级别,以实现性能增益。具体地说,ACAM中的每个用户和项目首先由一组属性嵌入来表示。然后,用户表示和项目表示的同时,通过捕获不同属性之间的相关性,由一个共同注意模块。我们在两个真实数据集上的广泛实验表明,通过属性级共同注意增强的用户表示和项目表示获得了ACAM优于最先进的深度模型的优势。
2020-06-18 cs.IR cs.LG
A survey on knowledge-enhanced multimodal learning
National Technical University of Athens(雅典国立技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文综述了知识增强的视觉语言学习,提出统一VL表示学习与知识图谱的框架,以填补常识与事实等知识空白,提升模型的可解释性与决策公平性。
2024-03-23 cs.AI cs.LG
Ontology-enhanced Prompt-tuning for Few-shot Learning
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center(杭州创新中心);Alibaba Group(阿里巴巴集团);Tecent(腾讯)
少样本学习(FSL)的目标是基于有限数量的样本进行预测。知识图谱和本体库等结构化数据已被用于各种任务中的Few-Shot设置。然而,现有方法所采用的先验知识存在知识缺失、知识噪声和知识异构等问题,影响了少样本学习的性能。在这项研究中,我们探索知识注入FSL与预先训练的语言模型,并提出本体增强提示微调(OntoPrompt)。具体来说,我们开发了基于外部知识图谱的本体转换,以解决知识缺失的问题,实现了结构化知识到文本的转换。我们进一步引入跨度敏感的知识注入,通过一个可见的矩阵来选择有用的知识来处理知识噪声问题。为了弥合知识和文本之间的差距,我们提出了一个集体训练算法来共同优化表示。我们评估我们提出的OntoPrompt在三个任务,包括关系抽取,事件抽取,和知识图谱完成,八个数据集。实验结果表明,我们的方法可以获得更好的Few-Shot性能比基线。
2022-01-27 cs.AI cs.CL cs.IR
LEKA:LLM-Enhanced Knowledge Augmentation
Portland State University(波特兰州立大学);University of Montreal(蒙特利尔大学);University of Kansas(堪萨斯大学);Arizona State University(亚利桑那州立大学)
LEKA通过主动检索合适知识源,提升跨领域知识转移效率,减少计算成本并优化迁移学习效果。
2026-01-09 cs.LG
KG-ECO: Knowledge Graph Enhanced Entity Correction for Query Rewriting
Amazon(亚马逊)
查询重写(QR)在大规模对话系统中起着减少摩擦的关键作用。当存在实体错误时,它对对话系统产生令人满意的响应提出了额外的挑战。在这项工作中,我们提出了KG-ECO:知识图谱增强实体COrrection查询重写,一个实体纠正系统与腐败的实体跨度检测和实体检索/重新排名功能。为了提高模型的性能,我们结合了知识图谱(KG)来提供实体结构信息(由图神经网络编码的相邻实体)和文本信息(由RoBERTa编码的KG实体描述)。实验结果表明,我们的方法在两个基线上产生了明显的性能增益:话语水平QR和实体校正,而不利用KG信息。所提出的系统是特别有效的少样本学习的情况下,目标实体很少看到在训练中或有一个KG关系的目标实体和其他上下文实体的查询。
2023-02-22 cs.CL cs.LG
Knowledge Enhanced Multi-Domain Recommendations in an AI Assistant Application
Amazon Alexa AI(亚马逊Alexa人工智能部门);University of Southern California(南加利福尼亚大学)
本研究在AI助手应用中统一多领域推荐与知识图谱增强,利用跨领域交互和外部知识提升新领域推荐效果,实验证明该方法在整体及新用户推荐上均有显著改进。
2025-03-25 cs.IR cs.LG
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia(弗吉尼亚大学)
针对医疗多标签分类的长尾标签分布问题,提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法,在少样本类别上优于现有模型,还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG
An External Knowledge Enhanced Multi-label Charge Prediction Approach with Label Number Learning
Wuhan University of Technology(武汉理工大学)
多标签指控预测是一项为案件预测相应指控的任务,近年来成为一个热门话题。然而,目前的研究使用粗糙的方法来处理标签号。这些方法手动设置参数以选择标签编号,这对最终预测质量有影响。我们提出了一个外部知识增强的多标签电荷预测方法,有两个阶段。一个是利用法律条文中的外部知识进行费用标签预测的阶段,另一个是利用数字学习网络(NLN)进行数字学习的阶段。该方法通过外部知识的增强,可以自动调整阈值,从而得到法律案例的标签数。它将样本的输出概率与其对应的标签号相结合,得到最终的预测结果。在实验中,我们的方法连接到一些最先进的深度学习模型。通过对最大的中国法律数据集的测试,我们发现我们的方法对这些模型有改进。我们未来将在数据集的多标签样本上进行实验。在宏观F1项目中,我们的方法对基线的改善为3%-5%;在微观F1项目中,我们的方法对基线的改善为5%-15%。实验结果表明了该方法对多标记电荷预测的有效性。
2019-07-04 cs.CL cs.LG
ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations
University of Oxford(牛津大学);LMU Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Technical University of Darmstadt(达姆施塔特工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有文本增强方法无法适配时序知识图谱的问题,提出融合上下文化语言表示的ECOLA方法,通过时间感知的文本注入增强时序知识嵌入,在三个新数据集的链接预测任务上最高实现287%的Hits@1相对提升。
2023-05-04 cs.CL cs.LG
MoK-RAG: Mixture of Knowledge Paths Enhanced Retrieval-Augmented Generation for Embodied AI Environments
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院)
针对单源 RAG 与人类多源知识检索认知不匹配的问题,提出 MoK-RAG 及面向 3D 场景的 MoK-RAG3D,通过功能分区和层级知识树实现多路径检索,并引入自动评估验证其可帮助具身 AI 生成多样化场景。
2025-03-18 cs.AI cs.LG
Knowledge-enhanced Multimodal ECG Representation Learning with Arbitrary-Lead Inputs
Imperial College London(帝国理工学院);University of Oxford(牛津大学);Ohio State University(俄亥俄州立大学);Hong Kong University of Science and Technology(香港科技大学)
提出K-MERL框架,利用大语言模型提取结构化知识并采用动态导联掩蔽的导联感知编码器,在六个外部数据集上实现零样本分类和线性探测的最优性能,部分导联场景AUC平均提升16%。
2025-02-25 cs.AI cs.LG
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
On the Sweet Spot of Contrastive Views for Knowledge-enhanced Recommendation
针对KG增强推荐难以平衡IG与KG对比视图的问题,提出SimKGCL框架,通过双视图互信息最大化与KG到IG的单向融合提升性能,并在三个真实数据集上验证了有效性与效率。
2023-09-23 cs.IR cs.LG
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
个性化推荐系统越来越重要,因为越来越多的内容和服务变得可用,用户很难确定他们可能感兴趣的内容。由于能够提供丰富的信息,知识图谱(KG)被纳入,以提高推荐性能和可解释性。为了有效地利用知识图谱,我们提出了一个双曲空间的推荐模型,这有利于学习的知识图谱的层次结构。此外,双曲线注意力网络被用来确定某一项目的相邻实体的相对重要性。此外,我们提出了一个自适应和细粒度的正则化机制,自适应正则化项目及其相邻的表示。通过使用三个真实世界的数据集与最先进的方法进行比较,我们表明,该模型在Top-K推荐的NDCG@K方面比现有的最佳模型高出2-16%。
2021-01-29 cs.IR cs.LG
WuYun: Exploring hierarchical skeleton-guided melody generation using knowledge-enhanced deep learning
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Innovation Center of Yangtze River Delta(长三角创新中心);Microsoft Research Asia(微软亚洲研究院)
尽管深度学习已经彻底改变了音乐生成,但是用于结构化旋律生成的现有方法遵循端到端、从左到右的逐音符生成范例,并且平等地对待每个音符。在这里,我们提出了WuYun,一个知识增强的深度学习架构,用于改善生成的旋律的结构,它首先生成结构上最重要的音符来构建旋律骨架,然后用动态装饰音符填充到完整的旋律中。具体来说,我们使用音乐领域的知识提取旋律骨架,并采用序列学习来重建它们,作为额外的知识,为旋律生成过程提供辅助指导。我们证明了WuYun可以生成具有更好的长期结构和音乐性的旋律,并且在所有主观评价指标上平均优于其他最先进的方法0.51。我们的研究提供了一个多学科的镜头来设计旋律的层次结构,并弥合数据驱动和基于知识的方法之间的差距,为众多的音乐生成任务。
2023-03-14 cs.HC cs.LG cs.SD
Large-Scale Knowledge Integration for Enhanced Molecular Property Prediction
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本研究通过将包含2,840个官能团的大规模ChEBI知识图谱整合进KANO框架,显著扩展了知识增强预训练的规模,在14个分子性质预测数据集中的9个上取得性能提升,验证了更丰富的官能团知识对增强分子表示的重要性。
2024-10-15 cs.LG physics.chem-ph q-bio.QM
Knowledge Graph Enhanced Event Extraction in Financial Documents
ShanghaiTech University(上海科技大学)
事件抽取是自然语言处理中的一个经典任务,在处理大量快速增长的金融、法律、医疗和政府文档中得到了广泛的应用,这些文档通常包含多个事件,并且这些事件的元素分散和混合在文档中,使得问题变得更加困难。虽然被提取的事件元素之间的潜在关系提供了有用的上下文信息,但它们在以前的研究中被忽视了。我们展示了利用知识图谱捕获实体关系及其属性所带来的增强。我们提出了第一个事件提取框架,该框架通过图神经网络嵌入知识图谱,并将嵌入与常规特征集成,所有这些都在文档级。具体来说,对于从中国的财务公告中提取事件,我们的方法优于国家的最先进的方法在F1分数的5.3%。
2021-09-06 cs.CL cs.IR cs.LG
LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention
提出LLM Modules架构,通过增强交叉注意力将冻结的Qwen2-1.5B模型的知识迁移至有限资源训练的GPT-Neo-125M模型,在Bespoke-Stratos-17k数据集上经15轮训练后响应质量可与蒸馏方法媲美。
2025-02-12 cs.CL cs.LG
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon(亚马逊Alexa AI)
神经网络模型在自然语言推理(NLI)任务上已经非常成功地实现了高精度。然而,正如最近的文献所证明的那样,当在一些简单的对抗性示例上进行测试时,大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中,我们提出了将外部知识的注意力机制使用一个简单的转换,使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型:一种是Transformer编码器,另一种是可分解模型,并表明我们的方法可以显着提高其鲁棒性。此外,当与BERT预训练相结合时,我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
KCD: Knowledge Walks and Textual Cues Enhanced Political Perspective Detection in News Media
University of Virginia(弗吉尼亚大学)
政治观点检测已成为一项日益重要的任务,可以帮助打击回音室和政治极化。以往的方法一般集中在利用文本内容来识别立场,而他们没有理由与背景知识或利用丰富的语义和句法文本标签的新闻文章。鉴于这些限制,我们提出了KCD,一个政治观点检测方法,使多跳知识推理,并将文本线索作为段落级标签。具体来说,我们首先在外部知识图谱上生成随机游走,并将其与新闻文本表示相融合。然后,我们构建了一个异构的信息网络,联合模型的新闻内容以及语义,句法和实体线索的新闻文章。最后,我们采用关系图神经网络进行图级表示学习,并进行政治观点检测。大量的实验表明,我们的方法优于国家的最先进的方法在两个基准数据集。我们进一步研究了知识散步和文本线索的影响,以及它们如何有助于我们的方法的数据效率。
2022-05-16 cs.AI cs.LG
KERAP: A Knowledge-Enhanced Reasoning Approach for Accurate Zero-shot Diagnosis Prediction Using Multi-agent LLMs
Emory University(埃默里大学);Stanford University(斯坦福大学)
KERAP通过知识图谱增强的多智能体大语言模型架构,结合属性映射、结构化知识检索与迭代预测优化,提升零样本医学诊断预测的可靠性与可解释性。
2025-07-06 cs.AI cs.LG cs.MA
Knowledge Enhanced Graph Neural Networks for Graph Completion
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔中心);CNRS(法国国家科学研究中心)
提出知识增强图神经网络KeGNN,结合神经与符号方法,将先验知识融入图神经网络,用于图补全任务,并在节点分类基准上验证有效性。
2023-08-31 cs.AI cs.LG cs.LO
Event Representation Learning Enhanced with External Commonsense Knowledge
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
先前的工作已经提出了有效的方法来学习事件表示,可以捕获文本语料库的语法和语义信息,证明了它们对脚本事件预测等下游任务的有效性。另一方面,从原始文本中提取的事件缺乏常识性知识,例如事件参与者的意图和情感,这对于区分事件对(当它们的表面实现仅存在细微差异时)是有用的。为了解决这个问题,本文提出利用外部常识知识的意图和情绪的事件。三个事件相关任务的实验,即,事件相似性、脚本事件预测和股市预测的实验结果表明,该模型在硬相似性任务上获得了更好的事件嵌入,提高了78%,在给定上下文下对后续事件的推理更加精确,对股市波动的预测精度也更高.
2020-06-24 cs.AI cs.CL cs.LG
Generalized knowledge-enhanced framework for biomedical entity and relation extraction
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生物医学文本复杂、出版物增长快的问题,该研究提出一种知识增强框架,借鉴人类学习机制构建可迁移的通用神经网络知识图谱,在生物医学实体与关系抽取任务的多个基准上取得有竞争力的性能。
2024-08-13 cs.AI cs.CL cs.IR
Knowledge-enhanced Neuro-Symbolic AI for Cybersecurity and Privacy
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Mississippi State University(密西西比州立大学)
本文探讨神经符号AI结合神经网络与知识图谱,以解决网络安全与隐私领域中对可解释性和安全性的需求,使AI系统能在复杂环境中实现高准确性与专家可理解的推理。
2023-07-25 cs.AI cs.CR cs.CY