RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Hanyang University(翰阳大学)
RAISE通过逐步检索增强科学推理,其核心方法是问题分解、逻辑查询生成和逻辑检索,优于其他基线模型。
2026-03-19 cs.CL
Towards Root Memory: Benchmarking and Enhancing Implicit Logical Memory Retrieval for Personalized LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有记忆系统依赖语义相似性而忽略逻辑关键记忆的问题,构建首个高质量基准IMLogic,并提出根记忆表示与RootMem框架,通过结构化逻辑记忆提升个性化LLM检索性能。
2026-10-27 cs.CL
Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process
Bar-Ilan University(巴伊兰大学);Northeastern University(东北大学)
本文通过属性计算路径分析,发现LLM中事实检索路径非连续、存在多条功能等价路径,表明知识计算高度冗余和分布。
2026-06-23 cs.CL
Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本研究全面评估了超过15种骨干模型在密集检索任务中的表现,发现更大的LLMs和充分预训练能显著提升领域内准确率、数据效率及零样本泛化等多方面能力。
2024-08-23 cs.CL
Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs
Kyoto University(京都大学)
提出用提示工程和CoT在LLM内部模拟RAG,通过标记相关片段并逐步整合证据,提升长上下文多跳问答性能。
2025-02-18 cs.CL
Benchmarking Large Language Models in Retrieval-Augmented Generation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文系统评估了检索增强生成(RAG)对大型语言模型的影响,构建了中英文基准RGB,测试了6个模型在噪声鲁棒性、负面拒绝、信息整合和反事实鲁棒性四方面能力,发现模型在负面拒绝、信息整合和虚假信息处理上仍有显著困难。
2023-12-20 cs.CL
Event Temporal Relation Extraction based on Retrieval-Augmented on LLMs
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出一种基于大语言模型检索增强的事件时序关系抽取方法,利用LLMs检索知识优化提示模板与动词化器,在三个数据集上验证了有效性。
2024-03-22 cs.CL
Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Alibaba Cloud Computing(阿里巴巴云计算)
本文提出RECIPE,通过检索增强连续提示与知识哨兵动态判定,实现大语言模型高效终身知识编辑,并在多模型、多数据集上验证其性能与速度优势。
2025-03-14 cs.CL
RAGRouter: Learning to Route Queries to Multiple Retrieval-Augmented Language Models
Shanghai Jiao Tong University(上海交通大学);WeChat, Tencent Inc(微信、腾讯公司)
针对RAG场景下不同LLM响应质量差异,提出RAGRouter,利用文档嵌入和RAG能力嵌入及对比学习,实现查询路由,优于现有方法并兼顾性能与效率。
2025-10-17 cs.CL
Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness
The University of Queensland(昆士兰大学);University of Udine(乌迪内大学)
本研究探讨了上下文对LLM检索增强事实核查效果的影响,发现上下文长度和证据位置显著影响验证准确性。
2026-02-23 cs.CL
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对现有RAG微调方法会损害大语言模型通用生成能力的问题,提出学习可扩展可插拔虚拟Token的方法,仅微调Token嵌入保留原模型参数,搭配训练策略提升性能,在12个问答任务上表现更优。
2024-12-11 cs.CL
CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing
Zhejiang University(浙江大学);Rutgers University(罗格斯大学)
CTKVR通过聚类和标记索引方法提升长上下文LLM的KV缓存检索效率与准确性,实现性能优化和吞吐量提升。
2025-12-17 cs.CL
Streamlining Industrial Contract Management with Retrieval-Augmented LLMs
New York University(纽约大学);Consolidated Edison Company of New York Inc.(纽约 Consolidated Edison 公司)
针对工业合同管理自动化中标注数据不足、非结构化存量合同多的难题,提出基于RAG的模块化合同管理框架,在真实低资源场景下问题修订识别与优化准确率超80%,可加速合同修订流程。
2025-11-18 cs.CL
RAEmoLLM: Retrieval Augmented LLMs for Cross-Domain Misinformation Detection Using In-Context Learning Based on Emotional Information
The University of Manchester(曼彻斯特大学);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);The University of Melbourne(墨尔本大学);Carnegie Mellon University(卡内基梅隆大学)
提出RAEmoLLM,首个基于情感信息检索增强的大语言模型框架,通过上下文学习无需微调即可提升跨领域虚假信息检测性能,在三个基准上最高提升15.64%、31.18%和15.73%。
2025-05-31 cs.CL
Can LLMs reason over extended multilingual contexts? Towards long-context evaluation beyond retrieval and haystacks
Indian Institute of Technology Delhi(印度理工学院德里分校);Microsoft(微软公司)
针对现有多语言长上下文基准检索导向的局限性,本文提出多语言长上下文推理合成基准MLRBench,涵盖7种语言及多跳推理等任务,实验揭示高低资源语言差距及LLM长上下文利用不足问题,为相关研究提供新工具。
2025-04-17 cs.CL
R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models
提出R4管道,通过文档顺序调整和表示增强学习检索文档排序,提升检索增强LLMs在知识密集型任务上的事实问答性能。
2024-06-25 cs.CL
Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Nanyang Technological University(南洋理工大学);Salesforce Research(Salesforce研究院)
本文提出 CR-Planner 框架,用微调批评者模型结合蒙特卡洛树搜索引导子目标规划、推理与检索,在竞赛编程、数学推理等困难任务上显著优于基线。
2024-10-02 cs.CL
Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs
Terraprompt AI(泰拉prompt人工智能公司)
本文综述信息检索技术演变,聚焦LLMs如何弥合传统搜索与答案检索的鸿沟,并展望未来方向。
2024-02-07 cs.CL cs.IR cs.LG
Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval
本文提出通过提示大型语言模型生成合成硬负样本,用于密集检索模型训练,通过在10个BEIR基准数据集上评估发现,生成模型性能不优于传统方法。
2026-05-10 cs.CL cs.IR
Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs
University of Florida(佛罗里达大学);University of California, Berkeley(加州大学伯克利分校)
本研究提出CanaryTrace方法,通过在IP数据集中插入带水印的金丝雀文档,可高效检测RA-LLMs对数据集的未经授权使用,且不影响RAG系统性能。
2026-09-01 cs.CL cs.CR
RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models
Kioxia Corporation(铠侠公司)
RaLLe是一个开源框架,用于开发、评估和优化检索增强大型语言模型,通过改进提示和评估各推理过程,提升知识密集型任务的性能。
2023-10-16 cs.AI cs.CL
Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baidu Inc.(百度公司);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文首次分析LLMs的事实知识边界,发现其对自身知识过度自信且难以处理内外知识冲突,并证明检索增强能提升知识边界意识,同时提出动态利用支持文档的判断策略。
2024-11-19 cs.CL cs.IR
Look It Up: Analysing Internal Web Search Capabilities of Modern LLMs
Atlanta GA USA(美国亚特兰大)
研究评估了现代大语言模型的内部网络搜索能力,发现其在事实准确性上有提升,但置信度校准不足,需进一步优化。
2026-09-01 cs.AI cs.CL
RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);SUNY Albany(纽约州立大学阿尔巴尼分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心)
该研究利用混合知识大规模数据存储 MassiveDS 评估真实多样场景下的 RAG,揭示模型规模、重排序、检索源和查询路由方面的局限,强调自适应检索的必要性。
2025-07-26 cs.AI cs.CL cs.LG
Synergistic Interplay between Search and Large Language Models for Information Retrieval
Peking University(北京大学);Microsoft Cooperation(微软公司)
本研究针对信息检索场景,提出InteR框架实现检索模型与大语言模型的协同优化,通过双向迭代扩充输入提升检索精度,在多类基准任务上取得优于现有方法的零样本检索效果。
2023-12-12 cs.CL cs.IR
Large Language Models are In-Context Molecule Learners
Department of Computing, The Hong Kong Polytechnic University(计算机系,香港理工大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
ICMA通过上下文分子微调使LLMs无需额外训练即可实现分子-文本对齐,证明LLMs具备上下文分子学习能力。
2025-04-07 cs.AI cs.CL
A Comparative Study of Specialized LLMs as Dense Retrievers
Key Laboratory of Network Data Science and Technology(网络数据科学与技术重点实验室);Institute of Computing Technology(计算技术研究所);Chinese Academy of Sciences(中国科学院);State Key Laboratory of AI Safety(人工智能安全国家重点实验室);University of Chinese Academy of Science(中国科学院大学)
本研究比较了八种Qwen2.5 7B专用LLM在稠密检索中的表现,发现数学与长推理能力有损性能,而视觉语言和代码专用模型零样本检索更优,为统一检索提供方向。
2025-08-06 cs.AI cs.CL cs.IR
Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室);Baichuan Inc.(百川智能)
本文提出利用知识图谱派生规划数据微调大语言模型,以增强其在检索增强复杂问答中的规划能力,并通过多个数据集验证了框架的有效性。
2024-10-23 cs.AI cs.CL
RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models
Bloomberg AI(布莱尔人工智能);University of Maryland(马里兰大学);Johns Hopkins University(约翰霍普金斯大学)
本研究通过对比 11 个大语言模型在 RAG 与非 RAG 框架下的表现,发现 RAG 可能降低模型安全性,且现有红队方法在 RAG 设置中效果不佳,凸显了针对 RAG 的专门安全研究需求。
2025-04-25 cs.AI cs.CL
KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
Fudan University(复旦大学)
针对大语言模型存在的知识完整性、时效性等问题,提出综合框架KnowledGPT,实现大语言模型与知识库的检索及存储交互,实验证明其可提升需世界知识的问题解答能力。
2023-08-17 cs.AI cs.CL
Rethinking with Retrieval: Faithful Large Language Model Inference
University of Rochester(罗切斯特大学);Tencent AI Lab(腾讯人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
尽管大语言模型(LLM)在各种自然语言处理(NLP)任务中取得了成功,但这些模型中存储的知识可能不可避免地不完整,过时或不正确。这促使需要利用外部知识来帮助LLM。不幸的是,目前纳入外部知识的方法往往需要额外的培训或微调,这可能是昂贵的,可能是不可行的法学硕士。为了解决这个问题,我们提出了一种新的后处理方法,重新思考与检索(RR),检索相关的外部知识的基础上得到的分解推理步骤的思想链(CoT)提示。这种轻量级方法不需要额外的训练或微调,也不受LLM输入长度的限制。我们评估RR的有效性,通过广泛的实验与GPT-3三个复杂的推理任务:常识推理,时间推理,表格推理。我们的研究结果表明,RR可以产生更忠实的解释,并提高LLM的性能。
2022-12-31 cs.AI cs.CL
Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs
Singapore University of Technology and Design(新加坡科技设计大学);University of Cambridge(剑桥大学)
本研究首次系统评估了检索增强大语言模型在冲突证据下的事实核查性能,构建了CONFACT数据集,并证明整合来源可信度能显著提升模型解决冲突和核查事实的能力。
2025-05-23 cs.CL cs.IR
HEISIR: Hierarchical Expansion of Inverted Semantic Indexing for Training-free Retrieval of Conversational Data using LLMs
Coxwave(考克斯威夫);Seoul National University(首尔大学)
本文提出免训练框架 HEISIR,通过分层三元组构建和附加语增强生成 SVOA 四元组语义索引,在保持低延迟的同时提升对话数据检索性能,且效果优于微调模型。
2025-03-06 cs.CL cs.IR
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University(首尔大学)
提出Omni-Embed-Audio(OEA)检索编码器,利用多模态大语言模型原生理解音频,并通过用户意图查询(UIQ)和硬负样本挖掘,在文本到音频检索中达到与M2D-CLAP相当的性能,同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD
EnrichIndex: Using LLMs to Enrich Retrieval Indices Offline
MIT(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
针对LLM在线增强检索高延迟与高成本问题,提出EnrichIndex方法,离线利用LLM构建语义丰富的检索索引,在五大任务中显著提升检索性能并大幅降低在线开销。
2025-04-04 cs.AI cs.CL cs.IR
SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs
Carnegie Mellon University(卡内基梅隆大学);KAIST AI(韩国科学技术院人工智能);University of Michigan(密歇根大学);Naver AI Lab(Naver人工智能实验室);Naver Cloud(Naver云)
提出基于摘要检索的框架SuRe,通过为答案候选构建检索段落摘要并评估其有效性来提升LLMs开放域问答性能,无需微调即可显著提高准确率并提供可解释的理由。
2024-04-17 cs.AI cs.CL cs.LG
Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith
College of Islamic Studies, Hamad bin Khalifa University(哈马德·本·哈利法大学伊斯兰学院)
本文提出基于多哈历史词典的检索增强生成框架,提升阿拉伯语LLM对历史宗教文本的理解能力,实验表明在Fanar和ALLaM模型上准确率超过85%。
2026-03-25 cs.CL cs.IR
Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs
Microsoft(微软)
本研究对比无监督微调和RAG两种LLM知识注入方法,发现RAG在新旧知识的知识密集型任务上表现均更优,且无监督微调难学新事实,多事实变体训练可缓解该问题。
2024-01-30 cs.AI cs.CL cs.LG
PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs
Ryquo;App-In Club
PAVE通过在推理阶段验证和编辑检索到的证据,提高检索增强大语言模型的回答一致性。在两个证据基础问答任务中,PAVE在跨度基础基准上提升了32.7个准确率点。
2026-04-02 cs.AI cs.CL
FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval
DeepWisdom(深度智慧);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Google(谷歌)
针对LLM生成时多事实检索易丢失关键信息的问题,本文提出迭代上下文重写方法FACT,通过多轮精炼逐步捕获遗漏事实,并在多任务上验证其显著提升效果。
2024-10-28 cs.AI cs.CL
Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models
Microsoft Research Asia(微软亚洲研究院);The University of Chicago(芝加哥大学);University of Pittsburgh(匹兹堡大学)
本文提出检索增强的大语言模型方法,通过定制检索模块与检索引导指令微调突破序列长度限制,实现表格数据上的可扩展上下文学习,在69个数据集上显著提升性能并展现独特优势。
2025-02-05 cs.AI cs.CL
Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models
The University of Adelaide(阿德莱德大学);Columbia University(哥伦比亚大学);Brown University(布朗大学)
针对大语言模型直接用于金融情感分析时预训练目标不匹配、金融文本缺上下文的问题,提出含指令微调模块和检索增强模块的框架,较传统模型及ChatGPT、LLaMA等准确率和F1值提升15%至48%。
2023-11-04 cs.CL q-fin.ST q-fin.TR
A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset
ICS-FORTH(希腊计算机科学与技术研究所);Crete University Press(克里特大学出版社)
该研究提出希腊图书检索基准CUP数据集,评估稀疏、密集、混合及大语言模型辅助的检索方法,发现多语言嵌入优于希腊特定模型,混合检索最佳,还分析了不同方法在各类查询中的表现及大语言模型相关技术的效果。
2026-07-24 cs.AI cs.CL
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
RetrievalAttention通过为KV向量构建ANNS索引并设计注意力感知的向量搜索算法,在仅访问1--3%数据的条件下实现接近全注意力的准确率,从而显著加速长上下文LLM推理并降低GPU内存消耗。
2024-12-31 cs.CL cs.LG
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对LLMs长上下文检索与推理能力不足的问题,提出在合成数值键值检索数据集上微调模型,显著提升了长上下文检索能力且不损害通用基准表现,有效避免幻觉。
2024-10-14 cs.AI cs.CL cs.LG
Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Robust Response Generation in the Wild
针对检索增强大语言模型的内外知识冲突问题,本研究从信息论视角揭示冲突信息差异对生成不确定性的影响,提出Swin-VIB框架适配检索信息差异,显著提升多项选择与开放式问答任务性能。
2025-11-16 cs.AI cs.CL
Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem
The Ohio State University(俄亥俄州立大学)
本文通过南克丘亚语到西班牙语的检索增强上下文翻译消融实验,发现LLM的低资源翻译同时受限于上下文检索质量与语言理解利用能力。
2024-10-24 cs.AI cs.CL cs.LG
Harnessing Large Language Models for Precision Querying and Retrieval-Augmented Knowledge Extraction in Clinical Data Science
Institute of Health Informatics, University College London(伦敦大学学院健康信息学研究所)
本研究利用大语言模型在临床数据科学中实现精准查询和检索增强的知识提取,通过实验验证其在结构化数据查询和非结构化文本信息提取中的有效性。
2026-01-28 cs.AI cs.CL
DrKGC: Dynamic Subgraph Retrieval-Augmented LLMs for Knowledge Graph Completion across General and Biomedical Domains
University of Minnesota(明尼苏达大学);University of Michigan(密歇根大学)
DrKGC通过轻量级训练学习结构嵌入与逻辑规则,结合自底向上动态子图检索和GCN适配器增强提示,提升LLM在通用及生物医学知识图谱补全中的性能与可解释性。
2025-11-10 cs.AI cs.CL cs.LG
QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation
Google Research(谷歌研究院);Google(谷歌)
大语言模型(LLM)在各种文本理解任务上显示出令人印象深刻的结果。然而,搜索查询却构成了一个独特的挑战,因为它们的长度很短,缺乏细微差别或上下文。复杂的特征工程工作并不总是导致下游的改进,因为它们的性能优势可能会被知识蒸馏的复杂性增加所抵消。因此,在本文中,我们做出了以下贡献:(1)我们证明了检索增强查询提供LLM有价值的额外的上下文,从而提高理解。虽然检索增强通常会增加LM的延迟(从而损害蒸馏效率),(2)我们提供了一种实用且有效的蒸馏检索增强LLM的方法。具体来说,我们使用了一种新的两阶段蒸馏方法,使我们能够进行检索增强的收益,而不会遭受通常与之相关的计算增加。(3)我们证明了所提出的方法(QUILL)的好处在十亿规模,现实世界的查询理解系统,从而产生巨大的收益。通过广泛的实验,包括公共基准测试,我们相信这项工作提供了一个实用的检索增强查询理解的配方。
2022-10-27 cs.CL cs.IR
SEAL: Scaling to Emphasize Attention for Long-Context Retrieval
Department of Convergence IT Engineering(融合IT工程系);Department of Computer Science and Engineering(计算机科学与工程系);Graduate School of Artificial Intelligence(人工智能研究生院)
提出SEAL方法,通过识别并调整与长上下文检索相关的注意力头,利用生成数据增强其强度,显著提升LLM长上下文检索性能,并可扩展上下文限制。
2025-06-23 cs.AI cs.CL cs.LG
Zero-shot Graph Reasoning via Retrieval Augmented Framework with LLMs
Northwestern University(西北大学);EXL Service(EXL服务);Vail Systems(Vail系统);Netflix
提出免训练的 GRRAF 框架,结合 RAG 与 LLM 代码生成解决图推理任务,在多数任务上实现 100% 准确率并有效扩展至万级节点大图。
2025-09-16 cs.AI cs.CL
Had enough of experts? Quantitative knowledge retrieval from large language models
DFKI GmbH(德国人工智能研究中心);Osaka Metropolitan University(大阪公立大学);Amazon Web Services(亚马逊网络服务);University of Kaiserslautern–Landau(凯泽斯劳滕-兰道大学)
该研究探究大语言模型用于定量知识检索的可行性,提出借助其提取类专家先验知识、填补缺失数据以优化贝叶斯工作流的框架,经多数据集测试可提升预测准确率、降低数据需求,还讨论了将大语言模型视为专家的影响与挑战。
2025-02-06 cs.CL cs.IR stat.AP
InsertRank: LLMs can reason over BM25 scores to Improve Listwise Reranking
Emory University(埃默里大学)
针对复杂推理类查询的文档重排序优化需求,提出InsertRank重排序器,结合BM25词汇信号与大语言模型推理能力,在多基准多模型上实现检索效果提升,超越现有方法。
2025-06-17 cs.AI cs.CL cs.IR