Knowledge Pyramid Construction for Multi-Level Retrieval-Augmented Generation
The Hong Kong Polytechnic University（香港理工大学）
针对现有RAG方法重召回、精度不足的问题，本文提出包含三层结构的PolyRAG知识金字塔方法，采用跨层增强、过滤和瀑布式检索策略，在两个领域基准上优于19种SOTA方法，可将GPT-4的F1值提升395%。
2025-02-21 cs.AI cs.CL
Knowledge Graph-Guided Retrieval Augmented Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
针对现有RAG方法检索孤立块忽略内在关系的问题，提出KG²RAG框架，利用知识图谱提供块间事实关系，经块扩展与组织提升检索结果多样性和连贯性，在HotpotQA数据集上实验证明其响应和检索质量更优。
2025-02-08 cs.AI cs.CL
Knowledge Graph-Augmented Korean Generative Commonsense Reasoning
Korea University（高丽大学）
针对语言模型在韩语生成式常识推理中忽略概念关系与深层知识的问题，提出利用韩语知识图谱数据辅助文本生成的方法，实验证明该方法有效提升了推理效率并凸显了辅助数据的重要性。
2023-06-26 cs.AI cs.CL
Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；Kunming University of Science and Technology（昆明理工大学）
基于情感的情感分析（ABSA）是一种细粒度的情感分析任务。为了更好地理解复杂长句，获得准确的特定方面的信息，语言和常识知识，一般需要在这个任务。然而，大多数当前方法采用复杂且低效的方法来并入外部知识，例如，直接搜索图形节点。此外，外部知识和语言信息之间的互补性还没有得到深入的研究。为此，我们提出了一个知识图谱增强网络KGAN，其目的是有效地将外部知识与明确的语法和上下文信息。特别地，KGAN从多个不同的角度捕获情感特征表示，即，基于上下文、语法和知识。首先，KGAN并行学习上下文和句法表示，以充分提取语义特征。然后，KGAN集成的知识图谱到嵌入空间，在此基础上的特定方面的知识表示进一步获得通过注意力机制。最后，我们提出了一个分层融合模块，以补充这些多视图表示在本地到全球的方式。在五个流行的ABSA基准上进行的大量实验证明了我们的KGAN的有效性和鲁棒性。值得注意的是，在RoBERTA预训练模型的帮助下，KGAN在所有数据集中实现了最先进性能的新记录。
2023-03-14 cs.AI cs.CL
Path Pooling: Training-Free Structure Enhancement for Efficient Knowledge Graph Retrieval-Augmented Generation
University of Science and Technology of China（中国科学技术大学）；USTC（中国科学技术大学）；Suzhou Institute for Advanced Reasearch, USTC（中国科学技术大学苏州研究院）
提出免训练的path pooling策略，一种以路径为中心的池化操作），以结构信息以即插即用方式集成到现有KG-RAG方法中，在微乎其微额外成本下持续提升性能。
2025-05-27 cs.AI cs.CL
Knowledge Graph-Driven Retrieval-Augmented Generation: Integrating Deepseek-R1 with Weaviate for Advanced Chatbot Applications
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Digital Science & Research Solutions Ltd（数字科学与研究解决方案有限公司）
针对大型语言模型输出未经验证的问题，提出结合结构化生物医学知识与检索增强生成的框架，构建AMD相关知识图谱并集成Deepseek-R1与Weaviate，显著减少幻觉、提升事实准确性，为生物医学聊天机器人提供稳健方案。
2025-02-16 cs.AI cs.CL
Knowledge Graph Enhanced Memory-Augmented Retrieval for Long Context Modeling
University of New South Wales（新南威尔士大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Southampton（南安普顿大学）；Technology Innovation Institute（技术创新研究所）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出KGERMAR框架，通过动态构建上下文知识图谱并融合多组件记忆架构，在长上下文建模中降低困惑度达8.5%，提升记忆效率2-2.5倍。
2026-06-15 cs.AI cs.CL cs.IR
Knowledge-Augmented Language Model Verification
KAIST（韩国科学技术院）
本文提出一种独立的验证器机制，通过指令微调的小型语言模型检测知识增强语言模型中的检索与生成错误，并结合指令集成提升验证可靠性，使模型输出更符合事实。
2023-10-19 cs.CL cs.LG
KGAP: Knowledge Graph Augmented Political Perspective Detection in News Media
Xi’an Jiaotong University（西安交通大学）；University of Technology Sydney（悉尼科技大学）
随着政治评论的快速增长和政治意识形态的日益两极化，识别新闻媒体的政治观点已成为一项重要任务。以前的方法侧重于文本内容，而忽略了在视角检测过程中必不可少的丰富的社会和政治背景。为了解决这个限制，我们提出了KGAP，这是一种结合外部领域知识的政治观点检测方法。具体而言，我们构建了一个政治知识图谱，作为特定领域的外部知识。然后，我们构建异构的信息网络来表示新闻文件，联合模型的新闻文本和外部知识。最后，我们采用关系图神经网络，并进行政治观点检测作为图级分类。大量的实验表明，我们的方法始终达到最佳性能的两个现实世界的角度检测基准。消融研究进一步证实了外部知识的必要性和我们基于图的方法的有效性。
2022-05-17 cs.AI cs.CL cs.CY
Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness
University of Oslo（奥斯陆大学）；Bosch Center for AI（博世人工智能中心）；University of Stuttgart（斯图加特大学）；University of Oxford（牛津大学）；The University of Manchester（曼彻斯特大学）；University of Southampton（南安普顿大学）
针对真实知识图谱不完备问题，本文通过多种三元组删除方式系统评估 KG-RAG，发现其对缺失知识敏感，强调需提升现实场景鲁棒性。
2025-08-29 cs.AI
AI Assistants for Spaceflight Procedures: Combining Generative Pre-Trained Transformer and Retrieval-Augmented Generation on Knowledge Graphs With Augmented Reality Cues
German Aerospace Center（德国航空航天中心）；AI Institute in Dynamic Systems, University of Washington（华盛顿大学动态系统人工智能研究所）；European Space Agency（欧洲空间局）
本文提出智能个人助手CORE，结合知识图谱、检索增强生成与增强现实，解决航天操作中IPA离线、可靠及直观交互不足的问题，为宇航员提供灵活的机上程序支持。
2024-09-21 cs.AI cs.HC
MemeLogos: Knowledge-Driven Retrieval-Augmented Reasoning for Harmful Meme Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）；Zhongguancun Academy（中关村学院）；China Telecommunications Corporation（中国电信集团有限公司）
针对现有有害表情包检测方法难以捕获可复用危害性知识与推理机制的问题，本文提出知识驱动的MemeLogos框架，通过星形知识图谱与多阶段推理提升检测性能与可解释性，实验验证其效果优于现有方法。
2026-10-19 cs.AI
SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation
Fudan University（复旦大学）
本文提出SimGRAG方法，通过查询到模式和模式到子图两阶段过程对齐查询文本与知识图谱结构，并利用图语义距离度量实现高效检索，在问答和事实验证任务上优于现有方法。
2025-05-29 cs.AI cs.CL cs.IR
Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference
CNR - Institute of Cognitive Sciences and Technologies（CNR-认知科学与技术研究所）；University of Bologna（博洛尼亚大学）；MISTER Smart Innovation（MISTER智能创新）；Consorzio MUSP（MUSP协会）
本文提出一种结合逻辑增强生成与主动推断的神经符号框架，用于构建基于本体的知识图谱，以提升工业领域隐性知识的表达与重用能力。
2026-05-08 cs.AI
Knowledge-augmented Few-shot Visual Relation Detection
Tsinghua University（清华大学）；The University of Manchester（曼彻斯特大学）；Tencent（腾讯）
视觉关系检测（VRD）旨在检测对象之间的关系，以实现图像理解。大多数现有的VRD方法依赖于每个关系的数千个训练样本来实现令人满意的性能。最近的一些论文通过精心设计的管道和预先训练的词向量进行少样本学习来解决这个问题。然而，现有的Few-Shot VRD模型的性能受到泛化能力差的严重阻碍，因为它们难以处理视觉关系的巨大语义多样性。尽管如此，人类有能力根据自己的知识，通过几个例子来学习新的关系。受此启发，我们设计了一个知识增强的，Few-Shot VRD框架，利用文本知识和视觉关系知识，以提高Few-Shot VRD的泛化能力。文本知识和视觉关系知识分别从预先训练的语言模型和自动构建的视觉关系知识图谱中获取。我们广泛验证了我们框架的有效性。在常用的Visual Genome数据集的三个基准上进行的实验表明，我们的性能超过了现有的最先进的模型，有很大的改进。
2023-03-09 cs.AI cs.CV
Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出TAGREAL方法，通过自动生成查询提示并从大规模文本中检索支持信息，利用预训练语言模型实现开放知识图谱补全，在有限训练数据下仍优于现有方法。
2023-05-24 cs.AI cs.CL cs.IR
AudioBERT: Audio Knowledge Augmented Language Model
POSTECH（浦项科技大学）；HJ AILAB（HJ人工智能实验室）；Inha University（仁荷大学）
针对纯文本预训练语言模型听觉知识匮乏的问题，提出基于检索的AudioBERT方法，通过检测提示听觉知识跨度、注入音频知识并结合低秩适配增强BERT，在自建AuditoryBench基准上取得优异性能。
2025-01-16 cs.AI cs.CL cs.SD
HeteRAG: A Heterogeneous Retrieval-augmented Generation Framework with Decoupled Knowledge Representations
Tsinghua University（清华大学）；Xinjiang University（新疆大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；JD Health International Inc.（京东健康国际公司）
针对现有RAG方法检索与生成知识块表示相同导致性能欠佳的问题，提出HeteRAG异构框架，解耦知识块的检索与生成表示，结合自适应提示调优，显著提升LLMs的有效性与效率。
2025-04-12 cs.AI cs.IR
Refining Diagnosis Paths for Medical Diagnosis based on an Augmented Knowledge Graph
medicalvalues GmbH（medicalvalues有限公司）；University of Mannheim（曼海姆大学）；Philipps-Universität Marburg（马尔堡菲利普斯大学）
医学诊断是根据一系列症状和观察结果对患者可能患有的疾病进行预测的过程。这需要广泛的专业知识，特别是在涉及各种疾病时。这些知识可以编码在一个知识图谱中--包括疾病、症状和诊断路径。由于知识本身及其编码都可能是不完整的，因此使用附加信息细化知识图谱有助于医生做出更好的预测。同时，对于在医院的部署，诊断必须是可解释和透明的。在本文中，我们提出了一种方法，使用诊断路径的医学知识图谱。我们表明，这些图可以使用RDF 2 vec的潜在表示进行细化，而最终的诊断仍然是在一个可解释的方式。使用一个内在的，以及基于专家的评估，我们表明，嵌入为基础的预测方法是有益的细化图与额外的有效条件。
2022-04-28 cs.AI
Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）
本文提出图增强推理新范式及KG-RAR框架，通过逐步知识图谱检索与推理结合，利用分层检索与PRP-RM精炼信息并评估步骤，使冻结的小规模LLM无需额外训练即可增强数学推理能力，在Math500和GSM8K上取得显著提升。
2025-03-03 cs.AI
How Much Reasoning Do Retrieval-Augmented Models Add beyond LLMs? A Benchmarking Framework for Multi-Hop Inference over Hybrid Knowledge
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）；University of Central Florida（中央佛罗里达大学）
HybridRAG-Bench通过混合知识和多跳推理评估框架，有效区分真实检索与参数回忆，为混合知识增强推理系统提供测试平台。
2026-02-10 cs.LG
EmeraldMind: A Knowledge Graph-Augmented Framework for Greenwashing Detection
Archimedes, Athena Research Center（阿奇米德研究中心）；Athena Research Center（阿提卡研究中心）；University of Ioannina（伊奥安尼纳大学）；IMSI
EmeraldMind通过整合领域知识图谱与检索增强生成技术，实现绿色洗脑检测，提供证据支持的裁决并提升解释质量。
2025-12-15 cs.AI
HG-RAG: Hierarchy-Guided Retrieval-Augmented Generation for Structured Knowledge Graphs
University of California, Merced（加州大学默塞德分校）
研究针对RAG系统在处理结构化知识推理时的不足，提出HG-RAG框架，通过在层次知识图谱上遍历为语言模型提供结构化上下文，经多规模多类型查询评估，该框架在相关推理任务中优于基线，减少幻觉并保持一致性。
2026-07-17 cs.AI
Beyond Vector Similarity: A Structural Analysis of Graph-Augmented Retrieval for Industrial Knowledge Graphs
Grama Chethan
本文通过对比八种检索架构，提出操作符词汇表论点，证明基于LLM的图推理瓶颈在于计算操作符而非模型智能，并引入LLM查询规划器，在工业知识图谱上实现优于定制处理器的性能。
2026-06-04 cs.AI
HyperGraphRAG: Retrieval-Augmented Generation via Hypergraph-Structured Knowledge Representation
Beijing University of Posts and Telecommunications（北京邮电大学）；Nanyang Technological University（南洋理工大学）；Beijing Institute of Computer Technology and Application（北京计算机技术与应用研究所）；National University of Singapore（新加坡国立大学）；China Mobile Research Institute（中国移动研究院）；Beijing Anzhen Hospital, Capital Medical University（首都医科大学北京安贞医院）
针对现有基于图的RAG方法受二元关系限制、难以表示现实n元知识的问题，提出基于超图的HyperGraphRAG方法，通过超边表示n元关系，经多领域实验验证其在准确率、检索效率和生成质量上更优。
2025-10-21 cs.AI
Augmented Commonsense Knowledge for Remote Object Grounding
Australian Institute for Machine Learning (AIML), University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Australian National University（澳大利亚国立大学）；Macquarie University（麦考瑞大学）；Griffith University（格里菲斯大学）
针对REVERIE任务中简明指令导致动作预测不足的问题，提出增强常识知识模型ACK，通过构建时空知识图谱并融合跨模态与概念聚合模块，显著提升了视觉表示与导航性能，在REVERIE基准上达到SOTA。
2024-06-03 cs.AI cs.CV
RACOON: An LLM-based Framework for Retrieval-Augmented Column Type Annotation with a Knowledge Graph
University of Washington（华盛顿大学）
本研究针对列类型标注任务，提出基于大语言模型的RACOON框架，通过知识图谱增强上下文并融合参数化与非参数化知识，相比原生大语言模型微F1值最高提升0.21。
2024-11-01 cs.AI cs.DB
LoRA-Augmented Generation (LAG) for Knowledge-Intensive Language Tasks
本文提出LoRA增强生成（LAG）方法，无需训练即可在token和层级上高效检索并组合任务特定的LoRA专家，在知识密集型任务上超越现有无数据方法，并与RAG兼容。
2025-08-15 cs.AI cs.CL cs.LG
Knowledge-augmented Column Networks: Guiding Deep Learning with Advice
University of Texas, Dallas（德克萨斯大学达拉斯分校）
最近，深度模型在几个任务中取得了相当大的成功，特别是在低级表示方面。然而，在大多数深度模型中，从稀疏噪声样本中进行有效学习是一个主要挑战，特别是在具有结构化表示的领域。受人类引导的机器学习的成功经验的启发，我们提出了知识增强的列网络，这是一个关系型深度学习框架，它利用人类的建议/知识在稀疏性和系统噪声的情况下学习更好的模型。
2019-05-31 cs.AI cs.LG stat.ML
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks
KRAFTON（魁匠团）；KAIST（韩国科学技术院）；National University of Singapore（新加坡国立大学）
本文提出知识增强推理蒸馏方法KARD，通过外部知识检索与神经重排序增强小型语言模型的推理能力，使其在多个知识密集型推理基准上超越参数量大12倍的模型。
2023-10-30 cs.AI cs.CL cs.LG
Estimating Privacy Leakage of Augmented Contextual Knowledge in Language Models
University of Southern California（南加州大学）；TikTok
本研究提出上下文影响指标，用于估算语言模型中增强上下文知识的隐私泄露，通过分析上下文与参数知识的分布差异来评估隐私风险。
2025-12-16 cs.CL cs.LG
Knowledge-augmented Deep Learning and Its Applications: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI（IBM人工智能研究院）
深度学习模型虽然在过去几年中在许多不同的领域取得了巨大的成功，但通常是数据饥渴型的，在看不见的样本上表现不佳，并且缺乏可解释性。目标领域中通常存在各种先验知识，它们的使用可以缓解深度学习的不足。为了更好地模仿人类大脑的行为，已经提出了不同的高级方法来识别领域知识并将其集成到深度模型中，以实现数据高效、可推广和可解释的深度学习，我们将其称为知识增强的深度学习（KADL）。在本文中，我们定义了KADL的概念，并介绍了它的三个主要任务，即，知识识别、知识表示和知识集成。不同于现有的调查是集中在一个特定类型的知识，我们提供了一个广泛而完整的领域知识及其表示的分类。基于我们的分类法，我们提供了一个系统的审查现有的技术，不同的现有作品，调查集成方法不可知论的知识分类。本调查涵盖了现有的工作，并提供了在知识增强深度学习的一般领域的研究鸟瞰图。对大量论文的深入和批判性的评论不仅有助于了解当前的进展，而且还有助于确定知识增强深度学习研究的未来方向。
2022-11-30 cs.AI cs.LG
Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering
Yonsei University（延世大学）
针对知识图谱文本化存在的证据密度低、清晰度差的问题，提出EFSum证据聚焦型事实摘要框架，经蒸馏和偏好对齐优化开源大模型为摘要器，可提升大模型零样本问答性能，同时保证摘要有用性与忠实性。
2024-10-09 cs.AI cs.CL cs.LG
Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective
Michigan State University（密歇根州立大学）
本文从表示视角系统研究RAG系统中的知识检查问题，通过分析LLM表示行为并构建基于表示的分类器进行知识过滤，在含噪知识库条件下显著提升了RAG性能。
2024-11-21 cs.CL cs.LG
MEG: Medical Knowledge-Augmented Large Language Models for Question Answering
University of Copenhagen（哥本哈根大学）；Sony AI（索尼人工智能）；University of Zaragoza（阿拉维萨大学）
提出MEG方法，通过轻量映射网络将知识图谱嵌入融入大语言模型，以参数高效方式增强医学问答，在四个数据集上平均提升6.7%-9.9%准确率。
2025-04-22 cs.AI cs.CL cs.LG
Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition
Facebook AI（脸书人工智能研究院）
传统的语言模型无法有效地对文本中观察到的实体名称进行建模。除了最流行的命名实体之外，所有命名实体都很少出现在文本中，提供的上下文不足。最近的努力已经认识到可以在共享相同类型的实体名称之间概括上下文（例如，\emph{person}或\emph{location}），并为语言模型配备了访问外部知识库（KB）的权限。我们的知识增强语言模型（KALM）通过用知识库增强传统模型来继续这一工作。然而，与以前的方法不同，我们使用端到端的预测目标进行训练，以优化文本的复杂度。我们不需要任何额外的信息，如命名实体标签。除了提高语言建模性能外，KALM还通过使用模型中潜在的实体类型信息，以完全无监督的方式学习识别命名实体。在命名实体识别（NER）任务中，KALM实现了与最先进的监督模型相当的性能。我们的工作表明，命名实体（可能还有其他类型的世界知识）可以在没有任何额外信息的情况下，使用预测学习和大型文本语料库的训练来成功建模。
2019-06-24 cs.AI cs.CL cs.LG
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London（伦敦大学学院）
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的，并且通常不利用来自语言知识库的句法和语义信息，这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法，通过数据增强学习词嵌入，从数据中执行语义关系，并系统地评估其对所产生的表示的影响。我们表明，我们的知识增强方法提高了学习嵌入的内在特征，同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
Learning Customized Visual Models with Retrieval-Augmented Knowledge
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft（微软）
图像-文本对比学习模型如CLIP已经表现出很强的任务迁移能力。这些可视化模型的高度通用性和可用性是通过网络规模的数据汇集过程来实现的，以确保广泛的概念覆盖，然后进行昂贵的预训练，将所有知识输入模型权重。或者，我们提出了REACT，REtrieval-Augmented CusTomization，一个框架来获取相关的网络知识，为目标领域构建定制的视觉模型。我们从网络规模的数据库中检索最相关的图像-文本对（CLIP预训练数据的~3%）作为外部知识，并建议通过仅训练新的模块化块而冻结所有原始权重来定制模型。REACT的有效性是通过大量的实验证明分类，检索，检测和分割任务，包括零，少数，和全拍摄设置。特别是，在zero-shot分类任务上，与CLIP相比，它在ImageNet上实现了高达5.4%的改进，在ELEVATER基准测试（20个数据集）上实现了3.7%的改进。
2023-01-17 cs.AI cs.CL cs.CV
Bayesian Optimization Augmented with Actively Elicited Expert Knowledge
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
贝叶斯优化（BO）是一种完善的方法来优化黑盒函数，其直接评估是昂贵的。在本文中，我们解决的问题，将专家知识到BO，进一步加快优化的目标，到目前为止，很少有人关注。我们设计了一个多任务的学习架构，这个任务的目标是共同引出的专家知识和最小化的目标函数。特别地，这允许将专家知识转移到BO任务中。我们介绍了一个特定的架构的基础上，暹罗神经网络来处理知识启发成对查询。模拟和实际人类专家的各种基准函数上的实验表明，即使专家知识与目标函数相比有偏差，所提出的方法也显着加快了BO。
2022-08-18 cs.AI cs.LG
Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design
TCS Research（塔塔咨询服务研究部门）
本研究提出一种知识增强大型语言模型提示框架，通过任务特定指令和少量示例解决分布偏移挑战，实现零样本文本条件下的从头分子生成，并在基准数据集上优于SOTA基线模型。
2024-08-18 cs.AI cs.CL cs.LG
Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对现有模块化强化学习模块同构、难整合多源异构知识的问题，提出AMRL框架，通过选择器组合异构模块，实现性能、效率与泛化性提升，并探讨了相关安全等问题。
2024-10-31 cs.AI cs.LG
Validating FKG.in: Soundness Assessment in LLM-Augmented Indian Food Knowledge
Ashoka University（阿肖克大学）；Mphasis AI and Applied Tech Lab（美斐西斯人工智能与应用技术实验室）；Koita Centre for Digital Health, Ashoka University（阿肖克大学科伊塔数字健康中心）；Institute for Future Health, UC Irvine（加州大学欧文分校未来健康研究所）
本研究针对LLM生成食谱存在的问题，提出半自动化评估框架，验证LLM增强的印度食品知识图谱FKG.in的合理性，该框架可推广至多语言多元文化烹饪领域，为食品知识基础设施提供支撑。
2026-10-28 cs.AI cs.CL cs.IR
KAER: A Knowledge Augmented Pre-Trained Language Model for Entity Resolution
School of Information Sciences, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息科学学院）；Informatics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息学系）
几十年来，实体解析一直是数据清洗研究中的一项重要任务。已有的工作讨论了利用预训练的语言模型进行实体解析的可行性，并取得了可喜的成果。然而，很少有工作讨论注入领域知识，以提高实体解析任务的预训练语言模型的性能。在这项研究中，我们提出了知识增强实体解析（KAER），一个新的框架命名为增强预先训练的语言模型与外部知识的实体解析。我们讨论了利用不同的知识增强和提示方法来提高实体解析性能的结果。我们的模型改进了Ditto，现有的最先进的实体解析方法。特别是，1）KAER在“脏数据”上表现得更稳健，并取得了更好的结果，2）通过更多的一般知识注入，KAER在文本数据集和来自在线产品领域的数据集上的表现优于现有的基线模型。3)KAER在高度领域特定的数据集上取得了有竞争力的结果，例如引用数据集，需要在未来的工作中注入专家知识。
2023-01-12 cs.CL cs.DB cs.LG
KnowAugNet: Multi-Source Medical Knowledge Augmented Medication Prediction Network with Multi-Level Graph Contrastive Learning
North University of China（中北大学）；Dalian University of Technology（大连理工大学）
预测药物是许多智能医疗系统中的关键任务。它可以帮助医生根据电子病历（EMR）为患者做出明智的用药决策。然而，由于医学代码之间的复杂关系，药物预测是一个具有挑战性的数据采掘任务。现有的研究大多集中于利用医学本体图中同质代码之间的内在联系，通过监督方法增强其表示，而很少有研究关注历史病历中异质或同质医学代码之间的有价值关系，这进一步限制了预测性能和应用场景。因此，针对这些局限性，本文提出了KnowAugNet，一个多源医学知识增强的药物预测网络，它可以通过多层次图对比学习框架充分捕捉医学代码之间的多样关系。具体而言，KnowAugNet首先利用图对比学习，以图注意力网络为编码器，从医学本体图中捕捉同构医学码之间的隐含关系，获得知识增强的医学码嵌入向量。然后，利用加权图卷积网络作为编码器的图对比学习，从构建的医学先验关系图中捕捉同质或异质医学码之间的相关关系，得到关系增强的医学码嵌入向量。最后，检索增强的医疗代码嵌入向量和监督的医疗代码嵌入向量，并将其输入到顺序学习网络中，以捕获医疗代码的时间关系并预测患者的用药。
2022-04-28 cs.AI cs.LG
Leveraging Social Determinants of Health in Alzheimer's Research Using LLM-Augmented Literature Mining and Knowledge Graphs
Arizona State University（亚利桑那州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Cedars Sinai Medical Center（西达赛奈医疗中心）
针对健康社会决定因素（SDoH）与阿尔茨海默病（AD）关系机制不明的问题，本研究提出LLM增强的文献挖掘与知识图谱整合框架，通过挖掘SDoH知识并与PrimeKG的AD生物实体结合，经图神经网络链接预测验证，为AD及其他SDoH相关研究提供知识发现新工具。
2025-04-16 cs.AI cs.CL cs.CY
MoK-RAG: Mixture of Knowledge Paths Enhanced Retrieval-Augmented Generation for Embodied AI Environments
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）
针对单源 RAG 与人类多源知识检索认知不匹配的问题，提出 MoK-RAG 及面向 3D 场景的 MoK-RAG3D，通过功能分区和层级知识树实现多路径检索，并引入自动评估验证其可帮助具身 AI 生成多样化场景。
2025-03-18 cs.AI cs.LG
REALM: Retrieval-Augmented Language Model Pre-Training
Google Research（谷歌研究院）
语言模型预训练已被证明可以捕获惊人数量的世界知识，这对于问答等NLP任务至关重要。然而，这些知识隐含地存储在神经网络的参数中，需要越来越大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕获知识，我们使用潜在知识检索器来增强语言模型的预训练，这允许模型从维基百科等大型语料库中检索和关注文档，用于预训练，微调和推理。这是第一次，我们展示了如何以无监督的方式预训练这样的知识检索器，使用掩码语言建模作为学习信号，并通过考虑数百万文档的检索步骤进行反向传播。我们证明了检索增强语言模型预训练（REALM）的有效性，通过微调开放域问答（Open-QA）的挑战性任务。我们在三个流行的Open-QA基准测试中比较了最先进的显式和隐式知识存储模型，发现我们的性能明显优于所有以前的方法（绝对准确率为4-16%），同时还提供了定性的好处，如可解释性和模块化。
2020-02-10 cs.CL cs.LG
Knowledge Graph-extended Retrieval Augmented Generation for Question Answering
Eindhoven University of Technology（埃因霍温理工大学）；Chan Zuckerberg Initiative（陈·扎克伯格倡议）
针对LLMs的知识缺口、幻觉问题及KGs的自然语言交互缺失，提出无需训练的KG-RAG系统，集成两者并通过问题分解、ICL和CoT提升多跳QA准确率与可解释性，增强系统透明度。
2025-04-11 cs.LG
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）
针对RAG因知识注入长序列导致的高计算与内存开销，提出多级动态缓存系统RAGCache，通过知识树组织中间状态并设计感知LLM推理与RAG检索的替换策略及重叠机制，使首字时间最多降低4倍、吞吐量最多提升2.1倍。
2024-04-25 cs.CL cs.DC cs.LG
Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
模型无关的元学习算法旨在从几个观察到的任务中推断先验知识，然后可以使用这些先验知识来适应具有少量示例的新任务。鉴于现有基准中出现的任务的固有多样性，最近的方法使用单独的，可学习的结构，如层次结构或图形，使任务特定的适应之前。虽然这些方法产生了显着更好的Meta学习器，我们的目标是提高他们的性能时，异构任务分布包含具有挑战性的分布偏移和语义差异。为此，我们引入CAML（对比知识增强元学习），知识增强的少样本学习，发展的知识图谱，有效地编码历史经验，并采用对比蒸馏策略，利用编码的知识，任务意识调制的基础学习者的新方法。使用标准的基准测试，我们评估的性能CAML在不同的少样本学习方案。除了标准的Few-Shot任务自适应，我们还考虑了更具挑战性的多域任务自适应和Few-Shot数据集泛化设置在我们的实证研究。我们的研究结果表明，CAML始终优于最知名的方法，并实现了改进的泛化。
2022-07-25 cs.LG
TimeRAF: Retrieval-Augmented Foundation model for Zero-shot Time Series Forecasting
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research（微软研究院）；Nanjing University（南京大学）
本文提出 TimeRAF，通过构建任务定制的时间序列知识库、端到端可学习检索器和通道提示知识整合方法，利用检索增强技术显著提升零样本时间序列预测性能。
2024-12-30 cs.LG
NeuroGRIP: Retrieval-Augmented Graph Refinement for Knowledge-Grounded EEG Seizure Diagnosis
研究针对脑电图癫痫诊断难题，提出NeuroGRIP框架，结合外部医学知识校准脑电图图。通过构建知识库、利用大语言模型提取知识图，经对齐感知查询和相似性搜索检索关系证据，提升诊断准确性与可解释性，为临床诊断提供新框架。
2026-07-17 cs.LG
Context-Augmented Code Generation Using Programming Knowledge Graphs
University of British Columbia（不列颠哥伦比亚大学）；University of Melbourne（墨尔本大学）
本文提出编程知识图谱（PKG）和重排序机制，通过细粒度检索和减少幻觉，提升代码生成在复杂问题上的表现。
2026-01-28 cs.LG cs.SE
