Thinking with Knowledge Graphs: Enhancing LLM Reasoning Through Structured Data
Yahoo Research(雅虎研究院)
本文提出将知识图谱的结构与语义紧密集成到大语言模型中,通过编程语言表示知识图谱并微调预训练模型,显著提升复杂推理性能并增强推理的可解释性。
2024-12-14 cs.CL cs.LG
Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models
Intuit AI Research(Intuit人工智能研究院);Intuit(Intuit公司)
本文提出新型合成知识摄入方法Ski,结合RAG、SFT和CPT三种注入技术,通过细粒度合成等策略构建高质量数据表示,显著提升了LLM在多领域问答任务中的知识注入效果与事实准确性。
2024-10-12 cs.AI cs.CL cs.IR
Enhancing LLMs via High-Knowledge Data Selection
Beihang University(北京航空航天大学);Peking University(北京大学);Tsinghua University(清华大学);Meituan(美团)
本文提出无需梯度的High-Knowledge Scorer (HKS),通过构建多领域知识元素池并引入知识密度和覆盖率指标,从知识维度筛选高质量数据,有效缓解预训练语料知识匮乏问题,并提升模型在知识密集型及通用任务上的表现。
2025-05-31 cs.CL
InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration
Pennsylvania State University(宾夕法尼亚州立大学);GE Healthcare(GE医疗);NEC Laboratories America(美国NEC实验室)
针对大语言模型知识密集型任务中知识集成效率低与遗忘风险,提出InfuserKI框架,利用Transformer内部状态引导知识注入,在UMLS-2.5k和MetaQA上分别降低9%和6%的知识遗忘。
2024-12-16 cs.AI cs.CL cs.LG
Enhancing Generalization in Chain of Thought Reasoning for Smaller Models
Western University(西安大略大学);Wenzhou Academy of Agricultural Sciences(温州农业科学研究院)
针对小语言模型CoT推理泛化能力弱的问题,提出PRADA提示辅助域对抗微调框架,通过恢复域不变特征、增强提示域适应性提升泛化性,性能优于现有最优方法且可解释性更强。
2025-01-16 cs.AI cs.CL cs.LG
UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对现有知识注入方法无法统一适配结构化与非结构化知识的问题,提出UNTER统一知识接口,以解码器对齐编码器跨度表示与对应知识,实现知识统一调用,在多个知识驱动NLP任务尤其是低资源场景下取得性能提升。
2023-05-05 cs.CL
Plausible-Parrots @ MSP2023: Enhancing Semantic Plausibility Modeling using Entity and Event Knowledge
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
本文研究通过向大语言模型注入外部知识库中的细粒度实体与事件类型信息来增强简单事件语义合理性建模,并通过数据增强和真实场景适配提升性能。
2024-08-29 cs.CL
Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
Zhejiang Lab(之江实验室);Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型生成知识内容时事实回忆不足的问题,本文在综述知识图谱增强预训练语言模型研究的基础上,提出知识图谱增强大语言模型(KGLLM),为提升大模型事实推理能力提供新方案。
2024-01-30 cs.AI cs.CL
Enhancing Emergency Decision-making with Knowledge Graphs and Large Language Models
China National Institute of Standardization(中国标准化研究院)
针对应急决策中知识不足与LLM幻觉问题,构建结构化应急知识图谱并利用提示链引导LLM推理,开发E-KELL系统,在真实评估中各项指标显著优于基线,提供可靠决策支持。
2023-11-15 cs.CL
RADAR: Enhancing Radiology Report Generation with Supplementary Knowledge Injection
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Research Institute of Trustworthy Autonomous Systems and Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学可信自主系统研究院和计算机科学与工程系);School of Computer Science, University of Nottingham Ningbo China(宁波大学计算机学院)
提出Radar框架,通过结合LLM内部已习得知识与外部检索的补充知识,生成更准确且信息丰富的放射学报告,在MIMIC-CXR等基准上优于现有最先进模型。
2025-06-02 cs.CL cs.CV
Logical Structure as Knowledge: Enhancing LLM Reasoning via Structured Logical Knowledge Density Estimation
Huzhou University(湖州大学);Zhejiang Key Laboratory of Intelligent Education Technology and Application(浙江智能教育技术与应用重点实验室);Banbu AI Foundation(Banbu AI基金会);Baichuan Inc(白川公司);University of Edinburgh(爱丁堡大学);Zhejiang University(浙江大学)
本文提出通过结构化逻辑知识密度估计提升LLM推理能力,通过增强逻辑密度而非扩大数据量来提高模型认知潜力。
2026-02-12 cs.AI cs.CL cs.LG
MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室)
针对模型编辑中泛化性与局部性难以平衡的问题,提出MEMoE适配器,利用混合专家架构和知识锚点路由策略,在不改变原始参数的前提下更新知识,在批量编辑任务中实现了卓越的整体性能与平衡。
2024-06-02 cs.CL
TOOL-ED: Enhancing Empathetic Response Generation with the Tool Calling Capability of LLM
Northeastern University(东北大学)
针对大语言模型共情回复生成依赖固定知识库、易引入噪声的问题,提出EKTC框架将常识知识库封装为共情工具以灵活调用外部知识,构建TOOL-ED数据集适配任务,实验验证可有效提升共情回复生成能力。
2024-12-08 cs.CL
Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
Shenzhen International Graduate School(深圳国际研究生院)
针对语音大语言模型因缺乏标注数据导致泛化差的问题,提出仅依赖配对语音与文本的多任务行为模仿方法MTBI,结合语音-文本交错增强对齐效率,在提示与任务泛化上超越现有最优模型且所需监督数据更少。
2025-05-24 cs.CL cs.SD eess.AS
Active Domain Knowledge Acquisition with 100-Dollar Budget: Enhancing LLMs via Cost-Efficient, Expert-Involved Interaction in Sensitive Domains
Worcester Polytechnic Institute(沃斯特理工学院);Nankai University(南开大学);Jiangsu University(江苏大学)
本文提出 PU-ADKA 框架,在固定预算下依据专家可用性、知识边界和咨询成本主动选择专家交互,以增强 LLM 的专业领域能力,并发布 CKAD 基准。
2025-08-29 cs.CL
UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets
Shandong University(山东大学);Beijing University of Posts and Telecommunications(北京邮电大学);Leiden University(莱顿大学)
针对LLM遗忘方法因忽略逻辑相关知识导致模型可重构目标内容的问题,提出UIPE方法通过移除与遗忘目标高度相关的知识来增强遗忘效果,在TOFU基准上显著提升了多种主流方法性能。
2025-03-06 cs.CL
GenTool: Enhancing Tool Generalization in Language Models through Zero-to-One and Weak-to-Strong Simulation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Microsoft Corporation(微软公司)
GenTool通过合成数据模拟从零到一和从弱到强两种工具泛化场景,采用两阶段微调优化工具排序与选择,显著提升1B至8B参数LLMs的工具使用能力,性能超越GPT-4o。
2025-02-26 cs.CL
Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base
Westlake University(西湖大学);Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);CUHK(香港中文大学);Peking University(北京大学)
本文通过定义知识承载与知识无关标记,分析预训练语言模型在知识检索中的内部行为,提出两种自监督方法增强模型从非结构化文本中获取知识,并在知识密集型任务上验证有效性。
2023-10-11 cs.AI cs.CL
Enhancing Knowledge Graph Construction Using Large Language Models
Ss. Cyril and Methodius University(圣西里尔与美多德大学);Faculty of Comp. Sci. and Eng.(计算机科学与工程学院)
本文研究利用大型语言模型增强知识图谱构建,通过对比ChatGPT与REBEL在实体关系抽取上的表现,并探索自动本体创建,实验证明LLM能提升从非结构化文本构建知识图谱的准确性。
2023-05-08 cs.CL
Enhancing Molecular Property Prediction with Knowledge from Large Language Models
本研究提出一个框架,首次融合大语言模型提取的知识与预训练分子模型的结构特征,以增强分子性质预测,实验证明该方法优于现有方案。
2025-09-25 cs.CL
Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing
Shandong University(山东大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对知识编辑在多跳推理中的局限性,研究验证了残留单跳知识导致模型恢复旧答案的假设,并提出包含知识擦除与注入联合优化的KELE方法,显著提升了GPT-J和GPT-2 XL的多跳推理能力。
2024-08-22 cs.CL
Enhancing Source Code Classification Effectiveness via Prompt Learning Incorporating Knowledge Features
Beijing Institute of Technology(北京理工大学);Qi-Anxin Technology Group(奇安信科技集团);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出CodeClassPrompt,利用提示学习与注意力机制从预训练模型中提取并融合多层知识特征,在降低计算开销的同时提升源代码分类效果。
2024-08-19 cs.AI cs.CL
Bi-Drop: Enhancing Fine-tuning Generalization via Synchronous sub-net Estimation and Optimization
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Tencent Cloud AI(腾讯云人工智能)
本文提出微调策略Bi-Drop,利用dropout动态生成的子网络梯度选择性地更新参数,通过同步批内估计克服更新滞后并提升数据利用率,在GLUE基准上表现优异且在领域迁移等场景下具有强泛化能力。
2023-10-22 cs.CL
Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration
National Chung Hsing University(国立中兴大学)
该研究针对选择题干扰项生成任务,提出检索增强预训练方法并融合知识图谱,在MCQ、Sciq基准数据集上的F1@3分数均优于现有最优水平,有效提升了任务性能。
2024-06-19 cs.CL
Towards Just-in-Time Adaptive Feedback: Enhancing Student Learning via Knowledge-Grounded LLM
Department of Computer Science(计算机科学系);Department of Physics and Astronomy(物理与天文学系);College of Education(教育学院)
提出一个框架,利用领域专家知识增强大语言模型,在真实教学场景中提供即时自适应反馈,并在大规模大学课程中提升学生成绩超过80%。
2026-05-26 cs.CL
MGT-Prism: Enhancing Domain Generalization for Machine-Generated Text Detection via Spectral Alignment
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University(电子与信息工程学院,西安交通大学);Queen Mary University of London(伦敦大学玛丽女王学院);Alibaba(阿里巴巴)
针对机器生成文本(MGT)检测在跨域场景下泛化能力差的问题,提出频域视角的MGT-Prism方法,通过低频滤波和动态频谱对齐提取域不变特征,在11个测试集上较基线平均准确率提升0.90%、F1提升0.92%。
2025-08-24 cs.CL
KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
Fudan University(复旦大学)
针对大语言模型存在的知识完整性、时效性等问题,提出综合框架KnowledGPT,实现大语言模型与知识库的检索及存储交互,实验证明其可提升需世界知识的问题解答能力。
2023-08-17 cs.AI cs.CL
KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室)
KALE通过知识感知学习框架提升大语言模型的知识操作能力,利用知识图谱生成高质量推理过程并优化模型性能。
2026-01-12 cs.AI cs.CL
ThinkNote: Enhancing Knowledge Integration and Utilization of Large Language Models via Constructivist Cognition Modeling
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
ThinkNote通过建构主义认知建模提升大型语言模型的知识整合与利用能力,实验表明其在问答任务中优于基线方法。
2026-01-27 cs.CL
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
Data Science(数据科学);Marketing Data Scientist(市场数据科学家)
针对CAG难以扩展至大型动态知识库的问题,提出ACC动态压缩管理上下文,并结合选择性检索构建混合CAG-RAG框架,提升效率、可扩展性与多跳推理能力。
2025-05-13 cs.AI cs.CL
Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning
School of Computer Science, Peking University(北京大学计算机科学学院);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
针对无监督句子嵌入中数据多样性不足、噪声高的问题,提出结合知识图谱的LLM数据增强流水线与高斯衰减对比学习GCSE模型,在STS任务上以更少数据和更小模型实现SOTA性能。
2025-10-04 cs.CL
Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs
Research Institute of Computing and Intelligence(计算与智能研究 institute);Harbin Institute of Technology(哈尔滨工业大学)
本文提出MKS2方法,通过多模态知识存储与共享增强大语言模型的推理能力,提升其在物理和常识知识场景下的表现。
2025-12-28 cs.AI cs.CL cs.CV
Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
用自然语言进行常识推理是人工智能系统所要求的一种能力。为了解决复杂的常识推理任务,一个典型的解决方案是使用知识感知的图神经网络编码器来增强预训练的语言模型,该编码器对常识知识图谱进行建模。尽管这些方法是有效的,但它们都是建立在沉重的体系结构上的,并且不能清楚地解释外部知识资源如何提高PTM的推理能力。考虑到这个问题,我们进行了深入的实证分析,并发现它确实是从CSKG的关系特征(而不是节点特征),主要有助于PTM的性能改善。基于这一发现,我们设计了一个简单的基于MLP的知识编码器,利用统计关系路径的功能。在五个基准测试上进行的大量实验证明了我们方法的有效性,并且大大减少了编码CSKG的参数。我们的代码和数据可在https://github.com/RUCAIBox/SAFE上公开获取。
2022-05-04 cs.AI cs.CL
Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对大型语言模型在未知事实幻觉及跨知识图谱泛化上的不足,提出结合伪图生成与原子知识验证的PG&AKV框架,显著提升了开放式问答性能与跨KG泛化能力。
2025-03-03 cs.AI cs.CL
KG-CRAFT: Knowledge Graph-based Contrastive Reasoning with LLMs for Enhancing Automated Fact-checking
Universidade Federal Fluminense(联邦Fluminense大学);Amazon(亚马逊);City St George’s, University of London(伦敦大学圣乔治学院)
KG-CRAFT通过结合知识图谱和大语言模型,提升自动事实核查的准确性与性能。
2026-01-27 cs.AI cs.CL
Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation
Peking University(北京大学)
今天,预训练的语言模型在问题生成(QG)任务中取得了巨大的成功,并且显着优于传统的序列到序列方法。然而,预先训练的模型将输入段落视为平坦序列,因此不知道输入段落的文本结构。对于QG任务,我们将文本结构建模为答案位置和句法依赖,并提出了答案局部性建模和句法掩码注意力来解决这些局限性。特别地,我们提出了带有高斯偏置的局部性建模,使模型能够关注答案周围的语境,并提出了一种掩码注意力机制,使输入语篇的句法结构在问题生成过程中可及。在SQuAD数据集上的实验表明,我们提出的两个模块比强大的预训练模型ProphetNet提高了性能,并且将它们结合在一起可以获得与最先进的预训练模型非常有竞争力的结果。
2022-09-09 cs.AI cs.CL
GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic Data Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学)
GraphGen提出知识图谱引导的合成数据生成框架,通过识别知识缺口和多跳采样,为LLM监督微调生成高质量问答数据,提升知识密集型任务性能。
2025-05-26 cs.AI cs.CL
Enhancing Word Embeddings with Knowledge Extracted from Lexical Resources
TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学 TALP 研究中心)
在这项工作中,我们提出了一个有效的方法,语义专业化的词向量表示。为此,我们使用传统的词嵌入和应用专门化方法,以更好地捕捉词之间的语义关系。在我们的方法中,我们利用外部知识丰富的词汇资源,如BabelNet。我们还表明,我们提出的基于对抗性神经网络与Wasserstein距离的后专业化方法可以在两个任务上获得比最先进方法的改进:单词相似性和对话状态跟踪。
2020-05-20 cs.CL cs.LG
Enhancing the Transformer Decoder with Transition-based Syntax
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
尽管最近的进展,句法泛化仍然是文本解码器的一个挑战。虽然一些研究表明,将源端的符号句法和语义结构的文本生成Transformers的收益,很少有工作解决这种结构的解码。我们提出了一个通用的方法,树解码使用一个过渡为基础的方法。检查具有挑战性的测试情况下,将通用的重复性语法到机器翻译,我们提出了大量的改进测试集,侧重于语法泛化,同时提出改进或可比的性能标准MT基准。进一步的定性分析解决的情况下,语法概括香草Transformer解码器是不够的,并展示了整合语法信息所提供的优势。
2022-10-31 cs.CL cs.LG
Enhancing Text-based Reinforcement Learning Agents with Commonsense Knowledge
IBM(国际商业机器公司(IBM))
在本文中,我们认为最近的趋势,评价强化学习技术的进展,使用基于文本的环境和游戏作为评价环境。这种对文本的依赖将自然语言处理的进步带入了这些代理的范围,其中一个反复出现的线程是使用外部知识来模仿和改善人类水平的性能。我们提出了一个这样的实例化的代理,使用常识知识的概念网显示有前途的性能在两个基于文本的环境。
2020-05-02 cs.AI cs.CL cs.LG
OCHADAI-KYOTO at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction
Ochanomizu University(御茶水女子大学);Kyoto University(京都大学)
我们提出了一个集成模型来预测词汇和多词表达式(MWE)的词汇复杂度。该模型接收带有目标词或MWE的句子作为输入,并输出其复杂性得分。考虑到这项任务的一个关键挑战是注释数据的大小有限,我们的模型依赖于来自不同的最先进的基于转换器的语言模型(即,BERT和RoBERTa),以及用于进一步增强模型泛化和鲁棒性的各种训练方法:多步微调和多任务学习,以及对抗训练。此外,我们建议通过在训练过程中添加手工制作的功能来丰富上下文表示。我们的模型取得了有竞争力的结果,并在这两个子任务的前10名系统中排名。
2021-06-15 cs.CL
Mind the Knowledge Gap: A Survey of Knowledge-enhanced Dialogue Systems
University of Colorado Denver(科罗拉多大学丹佛分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
许多对话系统(DS)缺乏人类所具有的特性,例如情感感知、真实性和信息性。用知识增强DS可以解决这个问题,但是,由于存在许多这样做的方法,很难跟踪所有提出的方法。在这里,我们提出了知识增强DS的第一次调查。我们定义了三种类型的系统-内部,外部和混合-基于他们使用的知识。我们调查的动机,提高DS的知识,使用的数据集,知识搜索,知识编码和知识整合的方法。最后,我们提出了如何改进现有的系统的基础上,从语言学和认知科学的理论。
2022-12-20 cs.CL cs.LG
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆)
在本文中,我们提出了OSCAR(基于本体的语义组合增强正则化),一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响,通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域(医疗保健)知识的问答任务的微调性能,与没有OSCAR的预训练BERT相比,准确率提高了33:3%,18:6%和4%,并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Knowledgeable Reader: Enhancing Cloze-Style Reading Comprehension with External Commonsense Knowledge
Research Training Group AIPHES(AIPHES研究培训小组);Department of Computational Linguistics, Heidelberg University(海德堡大学计算语言学系);Heidelberg, Germany(德国海德堡)
我们引入了一个神经阅读理解模型,它整合了外部常识知识,编码为键值记忆,在完形填空风格的设置。我们的模型不像以前的工作那样只依赖于文档到问题的交互或离散特征,而是关注相关的外部知识,并在推断答案之前将这些知识与上下文表示相结合。这允许模型从文本中没有明确说明但与推断答案相关的外部知识源中吸引和暗示知识。我们的模型在硬通用名词数据集上的非常强的基线上改进了结果,使其成为更复杂模型的强有力竞争对手。通过显式地包含知识,我们的模型还可以提供有关RC过程中使用的背景知识的证据。
2018-05-21 cs.CL
URIEL+: Enhancing Linguistic Inclusion and Usability in a Typological and Multilingual Knowledge Base
University of Toronto(多伦多大学);Ontario Tech University(安大略理工大学);University of Michigan(密歇根大学);Universiteit Gent(根特大学)
本文提出 URIEL+,通过扩展2898种语言的类型学特征并提供稳健可定制的距离计算,增强 URIEL/lang2vec 的包容性、可用性及下游任务表现。
2025-02-14 cs.CL cs.LG
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning
University of Science and Technology of China(中国科学技术大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
数学推理是通用人工智能的关键能力之一,它要求机器从解决问题中掌握数学逻辑和知识。然而,就在推理过程中学习和应用的知识而言,现有的方法并不透明(因此不可解释)。在本文中,我们提出了一个通用的学习应用(LeAp)框架,以增强现有的模型(骨干)在一个原则性的方式通过显式知识学习。在LeAp中,我们在一个新的问题-知识-表达范式中进行知识学习,知识编码器从问题数据中获取知识,知识解码器将知识应用于表达推理。学习到的数学知识,包括词-词关系和词-算子关系,形成了一个显性的知识图谱,将知识的“学”与“用”有机地连接起来。此外,对于问题的解决,我们设计了一个语义增强模块和推理增强模块,应用知识,以提高问题的理解和符号推理能力的任何骨干,分别。从理论上证明了LeAp自主学习机制的优越性。在三个真实数据集上的实验表明,LeAp提高了所有骨干的性能,学习准确的知识,并实现了更可解释的推理过程。
2023-02-11 cs.AI cs.CL cs.LG
Enhancing Document-level Relation Extraction by Entity Knowledge Injection
Nanjing University(南京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
文档级关系抽取(RE)的目的是识别贯穿整个文档的实体之间的关系。它需要复杂的推理技巧来综合各种知识,如共指和常识。大规模的知识图谱包含了大量的真实世界事实,可以为文档级RE提供有价值的知识。在本文中,我们提出了一个实体知识注入框架,以加强目前的文档级RE模型。具体来说,我们引入共指提取注入共指知识,赋予RE模型更一般的共指推理能力。我们还采用表示和解注入事实知识和聚合KG表示和文档表示到一个统一的空间。在两个基准数据集上的实验验证了我们的实体知识注入框架的通用性和对几个文档级RE模型的一致性改进。
2022-07-23 cs.CL
RO-N3WS: Enhancing Generalization in Low-Resource ASR with Diverse Romanian Speech Benchmarks
Department of Computer Science University of Bucharest(计算机科学系 布拉奇大学)
RO-N3WS通过多样化的罗马尼亚语音数据集提升低资源ASR在零样本和分布外条件下的泛化能力,验证了有限微调对WER的显著提升。
2026-03-02 cs.CL cs.LG cs.SD
Enhancing Question Generation with Commonsense Knowledge
Peking University(北京大学);Baidu Inc.(百度公司)
问题生成(Question Generation,QG)是生成自然的、符合语法的问题,这些问题可以由给定上下文的特定答案来回答。以往的序列到序列模型存在这样的问题:提出高质量的问题需要常识知识作为背景,而这些常识知识在大多数情况下不能直接从训练数据中学习,从而导致缺乏知识的问题不能令人满意。在本文中,我们提出了一个多任务学习框架,将常识知识引入问题生成过程。我们首先从成熟的数据库中检索相关的常识知识三元组,并选择三元组的转换信息,从源上下文的问题。在此基础上,我们设计了两个辅助任务,分别是概念关系分类和尾概念生成,将常识知识融入到主QG模型中。在SQuAD上的实验结果表明,我们提出的方法能够显着提高QG在自动和人工评估指标上的性能,表明将外部常识知识与多任务学习相结合可以帮助模型生成类似人类的高质量问题。
2021-06-19 cs.CL
There Are a Thousand Hamlets in a Thousand People's Eyes: Enhancing Knowledge-grounded Dialogue with Personal Memory
Renmin University of China(中国人民大学);Peking University(北京大学);Microsoft Corporation(微软公司)
基于知识的会话(Knowledge-grounded conversation,KGC)在构建具有吸引力和知识丰富的聊天机器人方面具有巨大潜力,而知识选择是其中的一个关键环节,但以往的知识选择方法只关注知识与会话语境之间的相关性,忽略了会话者的年龄、爱好、教育程度和生活经历等因素对会话者对外部知识偏好的影响。如果不考虑个性化问题,就很难选择适当的知识并生成与角色一致的响应。在这项工作中,我们将个人记忆知识选择KGC解决个性化的问题。我们提出了一种变分方法来模拟一个人的个人记忆和他或她的知识选择之间的潜在关系,并设计了一个学习计划,其中正向映射从个人记忆到知识和逆映射包括在一个闭环,使他们可以互相教导。实验结果表明,该方法在自动评价和人工评价方面均优于现有的KGC方法。
2022-04-06 cs.CL
Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Sun Yat-Sen University(中山大学)
在诸如对话系统和问答(QA)的许多自然语言处理应用中涉及的答案选择在实践中是重要但具有挑战性的任务,因为常规方法通常遭受忽略多样化的真实世界背景知识的问题。在本文中,我们广泛的调查方法,以提高答案选择模型与外部知识从知识图谱(KG)。首先,我们提出了一个上下文知识交互学习框架,知识感知的神经网络(KNN),它通过考虑与KG和文本信息的外部知识的紧密交互来学习QA句子表示。然后,我们发展了两种知识感知的注意力机制,总结了基于上下文和基于知识的问题和答案之间的交互。为了处理KG信息的多样性和复杂性,我们进一步提出了一个上下文知识感知的注意神经网络(CKANN),它通过一个定制的图卷积网络(GCN),提高了知识表示学习与结构信息,并通过多视图知识感知的注意力机制,全面学习基于上下文和基于知识的句子表示。我们在四个广泛使用的基准QA数据集上评估了我们的方法,包括WikiQA,TREC QA,InsuranceQA和Yahoo QA。结果验证了从KG的外部知识的好处,并显示了我们的方法的鲁棒性的优越性和广泛的适用性。
2021-04-12 cs.CL cs.IR
Enhancing Next-Generation Language Models with Knowledge Graphs: Extending Claude, Mistral IA, and GPT-4 via KG-BERT
STIH Laboratory, Sorbonne University(索邦大学STIH实验室);National Engineering School of Tunis(突尼斯国家工程学院);Faculty of Sciences of Tunis(突尼斯科学学院)
通过KG-BERT将知识图谱与Claude、Mistral IA和GPT-4结合,提升其事实可靠性与上下文感知能力。
2025-12-11 cs.CL
A Bipartite Graph is All We Need for Enhancing Emotional Reasoning with Commonsense Knowledge
The University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
本文提出二分异构图(BHG)方法,通过自动知识过滤与交互将多类型、多粒度常识知识注入情感推理,并设计多维异构图Transformer(MHGT)进行图推理,在提升性能的同时实现高效泛化。
2023-08-09 cs.CL
Source-LDA: Enhancing probabilistic topic models using prior knowledge sources
University of California Los Angeles(加州大学洛杉矶分校)
主题建模的一种流行方法是将语料库中的共现n-gram提取为语义主题。主题中的n-gram集合代表了一个潜在的主题,但是大多数主题建模方法都不能用单个n-gram来标记这些单词集合,这样的标记对于摘要系统中的主题识别非常有用。本文介绍了一种新的方法来标记一组n-gram组成一个单独的主题。所采取的方法是补充现有的主题分布的话,一个已知的分布的基础上一组预定义的主题。这是通过将表示已知潜在主题的现有标记知识源集成到概率主题模型中来完成的。这些知识源被转换成一个分布,并用于设置词上的Dirichlet生成分布的超参数。在推理中,这些修改后的分布引导潜在主题的收敛以符合互补分布。这种方法确保主题推理过程与现有知识一致。然后将来自互补知识源的标签分配转移到语料库的潜在主题。结果表明,准确的标签分配的主题,以及改进的主题生成比使用各种标记方法的基础上潜在的狄利克雷分配(LDA)。
2017-05-17 cs.CL cs.IR cs.LG