Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences(波兰科学院)
本文提出面向波兰语的神经段落检索模型 Silver Retriever,在多样化标注数据上训练,性能显著优于现有波兰语模型,并开源五个新数据集。
2024-02-22 cs.CL cs.IR
LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization
NEC Data Science Research Laboratories(NEC数据科学研究实验室);NEC Laboratories Europe(NEC欧洲实验室)
本文提出LightPAL,通过LLM预构建段落关系图并结合随机游走进行轻量级段落检索,在提升ODMDS检索与摘要效果的同时避免了迭代LLM推理的高延迟。
2024-10-17 cs.CL
Meta-prompting Optimized Retrieval-augmented Generation
University of Lisbon(里斯本大学);Faculdade de Ciências (FCUL)(理学院(FCUL))
本文提出利用元提示优化精炼检索内容,以缓解检索增强生成中内容过载与焦点分散问题,并在StrategyQA多跳问答任务上取得超过30%的性能提升。
2024-07-04 cs.CL
Weakly Supervised Pre-Training for Multi-Hop Retriever
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);NAVER Clova
在多跳QA中,回答复杂的问题需要迭代的文档检索来找到问题的缺失实体。这个过程的主要步骤是子问题检测,子问题的文档检索,并生成一个新的查询,最终的文档检索。然而,构建包含复杂问题和子问题及其相应文档的数据集需要昂贵的人工注释。为了解决这个问题,我们提出了一种新的方法,弱监督多跳检索器预训练,而无需人工努力。我们的方法包括1)用于生成复杂问题的向量表示的预训练任务,2)可扩展的数据生成方法,该方法生成问题和子问题的嵌套结构作为预训练的弱监督,以及3)基于密集编码器的预训练模型结构。我们进行实验,比较我们的预训练检索器的性能与几个国家的最先进的模型端到端的多跳QA以及文档检索。实验结果表明,我们的预训练检索器是有效的,也是强大的有限的数据和计算资源。
2021-06-18 cs.CL
To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation
Emory University(埃默里大学)
针对确定性检索不适用于长问答的问题,研究探索多种不确定性检测方法以实现动态检索增强生成,发现相关指标可在问答准确率仅略有下降的情况下将检索调用次数减少近一半,提升了检索效率。
2025-03-18 cs.AI cs.CL cs.IR
Finding What Matters: Anchoring Context Knowledge with Evolving Indices for Iterative Retrieval
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Institute for AI, Tsinghua University, China(清华大学人工智能研究院计算机科学与技术系);Beijing National Research Center for Information Science and Technology, China(北京信息科学与技术国家研究中心);School of Computer Science, Beijing University of Posts and Telecommunications, China(北京邮电大学计算机学院)
提出KAIR框架,通过迭代检索中动态更新的知识索引锚定关键证据,引导大语言模型在多跳问答中有效推理并缓解噪声干扰。
2026-05-31 cs.CL
Exploiting Instruction-Following Retrievers for Malicious Information Retrieval
McGill University(麦吉尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);CIFAR AI Chair(加拿大高级研究所人工智能主席职位)
本文实证研究指令遵循检索器的安全风险,发现多数检索器能为超过50%的恶意查询选出有害段落,且即使安全对齐的LLM在获得有害检索内容后也会满足恶意请求,揭示了检索能力增强带来的滥用风险。
2025-03-11 cs.AI cs.CL
GPR: Empowering Generation with Graph-Pretrained Retriever
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出直接在图知识图谱上预训练的检索器GPR,通过LLM引导的图增强和结构感知目标学习细粒度检索策略,在多个数据集和LLM骨干上持续提升GRAG的检索质量与下游生成效果。
2025-06-03 cs.CL cs.IR
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
大多数外部知识视觉问答(OK-VQA)系统采用两阶段框架,首先检索给定视觉问题的外部知识,然后基于检索到的内容预测答案。然而,检索到的知识往往是不够的。检索往往过于笼统,无法涵盖回答问题所需的特定知识。此外,自然可用的监督(文章是否包含正确答案)很弱,不能保证问题的相关性。为了解决这些问题,我们提出了一个以知识为中心的检索(EnFoRe)模型,该模型在训练过程中提供更强的监督,并识别与问题相关的实体,以帮助检索更具体的知识。实验表明,我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合,并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Improving Biomedical Information Retrieval with Neural Retrievers
Arizona State University(亚利桑那州立大学);Microsoft(微软)
信息检索(IR)在搜索引擎和对话系统以及自然语言处理任务(例如开放域问答)中是必不可少的。信息检索在生物医学领域发挥着重要作用,因为生物医学领域的科学知识的内容和来源可能会迅速发展。虽然神经检索器在标准开放域问答任务中已经超过了传统的IR方法,如TF-IDF和BM 25,但它们在生物医学领域仍然存在不足。在本文中,我们试图改善信息检索(IR)在生物医学领域使用神经检索器(NR),并实现这一目标,使用三管齐下的方法。首先,为了解决生物医学领域数据相对缺乏的问题,我们提出了一种基于模板的问题生成方法,可以用来训练神经检索模型。其次,我们开发了两个新的预训练任务,这些任务与信息检索的下游任务密切相关。第三,我们引入了“Poly-DPR”模型,该模型将每个上下文编码为多个上下文向量。对BioASQ挑战的广泛实验和分析表明,我们提出的方法比现有的神经方法有很大的增益,并且在小语料库环境中击败了BM 25。我们表明,BM 25和我们的方法可以相互补充,一个简单的混合模型导致在大型语料库设置的进一步收益。
2022-01-19 cs.CL cs.IR
Understanding the Behaviors of Environment-aware Information Retrieval
Fudan University(复旦大学);Alibaba DAMO Academy(阿里巴巴达摩院);Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Shanghai University of Finance and Economics(上海财经大学)
通过强化学习使LLM适应不同检索器的查询策略,发现不同检索器偏好不同查询风格,并提出分支式滚动技术提升训练稳定性。
2026-06-16 cs.CL cs.IR
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
针对无预定义类型的即席命名实体检索问题,提出基于大语言模型中间层value向量和轻量对比投影网络的零样本框架NER Retriever,性能优于现有基线,为无模式实体检索提供实用方案。
2025-09-04 cs.AI cs.CL cs.IR
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
Ping An Technology (Shenzhen) Co., Ltd., China(平安科技(深圳)有限公司,中国);University of Science and Technology of China(中国科学技术大学);University of Electronic Science and Technology of China(电子科技大学)
提出Sentinel,一种轻量级句子级压缩框架,通过冻结LLM的头部注意力模式解码推理时上下文利用行为,使用单次非自回归前向传递实现压缩,在LongBench上以0.5B代理模型达到5倍压缩且性能与7B模型方法相当。
2026-11-10 cs.AI cs.CL
Evaluating the Retrieval Component in LLM-Based Question Answering Systems
Thomson Reuters AI Labs(汤森路透人工智能实验室)
本文提出一种用于评估RAG聊天机器人中检索组件的直接基线方法,证明其比传统指标更贴合问答系统整体表现,并考虑了大语言模型忽略无关上下文及产生幻觉的特点。
2024-06-10 cs.CL cs.IR
Walk&Retrieve: Simple Yet Effective Zero-shot Retrieval-Augmented Generation via Knowledge Graph Walks
University of Mannheim(曼海姆大学)
提出Walk&Retrieve框架,通过基于知识图谱游走的图遍历和知识语言化生成语料库,实现无需微调的零样本检索增强生成,在准确性、降低幻觉及可扩展性上表现优异。
2025-05-28 cs.CL cs.IR
Introducing a new hyper-parameter for RAG: Context Window Utilization
该研究为RAG系统引入新超参数上下文窗口利用率,通过实验探究不同文本块大小对RAG效率与效果的影响,明确最优块大小的平衡作用,为RAG系统设计优化提供参考。
2024-08-17 cs.CL cs.ET
Golden-Retriever: High-Fidelity Agentic Retrieval Augmented Generation for Industrial Knowledge Base
University of California, Merced(加州大学默塞德分校);Western Digital Corporation(西部数据公司);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
Golden-Retriever 通过基于反思的术语识别与问题增强步骤,在文档检索前澄清领域术语和上下文,从而显著提升工业知识库中 RAG 框架的检索准确性,并在领域问答数据集上验证了其优越性能。
2024-07-20 cs.AI cs.CL cs.DL
DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对动态RAG在检索时机和内容上的不足,提出DRAGIN框架,基于LLM实时信息需求决定何时及检索什么,在4个数据集上取得更优性能。
2024-09-21 cs.CL cs.IR
Evaluating Entity Disambiguation and the Role of Popularity in Retrieval-Based NLP
University of California, Irvine(加州大学欧文分校);Apple(苹果公司)
检索是开放域NLP任务的核心组件。在开放域任务中,多个实体可以共享一个名称,这使得消歧成为一个固有但未充分探索的问题。我们提出了一个评估基准,评估这些检索器,我们称之为Ambibrium实体检索(AmbER)集的实体消歧能力。我们将AmbER集定义为共享名称以及关于这些实体的查询的实体集合。AmbER集覆盖了多义名称的实体集,是一个具有挑战性的实体消歧测试。我们为三个流行的开放域任务创建AmbER集:事实检查,插槽填充和问答,并评估一组不同的检索器。我们发现,寻回者表现出受欢迎的偏见,显着表现不佳的罕见实体,共享一个名字,例如,他们在查询同一名称下的不太受欢迎的实体时检索错误文档的可能性是两倍。AmbER集上的这些实验显示了它们作为评估工具的实用性,并突出了流行的检索系统的弱点。
2021-06-12 cs.CL cs.LG
OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning
Hong Kong University of Science and Technology(香港科技大学)
本文提出 OpenRAG 框架,通过端到端调优检索器以捕捉上下文相关性,在多个任务上较原始检索器提升 4.0%、优于现有最优检索器 2.1%,并展示小模型端到端调优可超越 8B 大模型,体现高成本效益。
2025-03-11 cs.CL cs.IR
R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation
School of Computer Science, South China Normal University(华南师范大学计算机学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对大语言模型与检索器间的语义鸿沟问题,提出新型增强RAG框架R^2AG,通过R^2-Former捕获检索信息并结合检索感知提示策略,在低资源冻结场景下经五个数据集验证有效提升生成效果。
2024-10-30 cs.AI cs.CL cs.IR
FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peking University(北京大学)
针对扁平 RAG 检索给单检索器带来负担且粒度恒定限制性能上限的问题,本文提出 FunnelRAG 由粗到细渐进检索范式,在保持相当检索性能的同时将时间开销降低近 40%。
2025-02-17 cs.CL cs.IR
A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering
University of Amsterdam(阿姆斯特丹大学)
针对基于语音的开放域问答中ASR流水线限制适用性且传播错误的局限,提出无需ASR、端到端训练的多模态密集检索器,直接处理语音问题,在短问题上检索性能优于传统流水线。
2024-09-20 cs.CL cs.IR
Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval
Stanford University(斯坦福大学)
多跳推理(即,跨两个或多个文档的推理)是利用大型语料库展示广泛知识的NLP模型的关键要素。为了检索证据段落,多跳模型必须应对跨跳快速增长的搜索空间,表示结合多种信息需求的复杂查询,并解决关于在训练段落之间跳跃的最佳顺序的模糊性。我们通过Baleen来解决这些问题,Baleen是一个系统,它提高了多跳检索的准确性,同时在多跳设置中从弱训练信号中鲁棒地学习。为了驯服的搜索空间,我们提出了浓缩检索,管道,总结检索到的段落后,每一跳到一个单一的紧凑的上下文。为了模拟复杂的查询,我们引入了一个集中的后期交互检索,允许不同的部分相同的查询表示,以匹配不同的相关段落。最后,为了推断无序训练通道之间的跳跃依赖关系,我们设计了潜在的跳跃排序,一种弱监督策略,训练检索器本身选择的跳跃序列。我们评估Baleen检索两跳问答和多跳索赔验证,建立最先进的性能。
2022-07-10 cs.CL cs.IR
Beyond Raw Context Transfer: Representation-based Federated Retrieval-Augmented Generation
University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
针对集中式RAG在敏感数据场景的局限,提出基于表示的联邦RAG框架FedRepRAG,仅交换紧凑潜在表示,通过协作训练的项目器集成知识,在VQA和QA基准上优于基线并降低开销。
2026-09-22 cs.CL cs.LG
Towards Robust Ranker for Text Retrieval
University of Technology Sydney(悉尼科技大学);Microsoft(微软)
排名器在事实上的“检索和重新排名”管道中发挥着不可或缺的作用,但它的训练仍然滞后-从中度负面学习或/和作为检索器的辅助模块。在这项工作中,我们首先确定了两个主要障碍,一个强大的排名,即,由训练有素的检索器和为高能力排名器采样的非理想阴性引起的固有标签噪声。因此,我们提出多个检索器作为负生成器提高了排名器的鲁棒性,其中i)涉及广泛的分布外标签噪声使排名器针对每个噪声分布,以及ii)来自联合分布的各种硬负相对接近排名器的负分布,从而导致更具挑战性的有效训练。为了评估我们强大的排名(被称为R $^2$ anker),我们进行了各种设置的流行的通道检索基准,包括BM 25-重新排名,全排名,检索蒸馏等实验结果验证了新的国家的最先进的有效性,我们的模型。
2022-06-16 cs.CL cs.IR
When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models
The University of Hong Kong(香港大学);Brain Investing Limited(Brain Investing有限公司);Stellaris AI Limited(Stellaris AI有限公司)
本文提出ReaLM-Retrieve框架,通过三方面创新解决推理模型与检索增强生成的不匹配问题,提升答案F1分数并减少检索调用次数。
2026-04-29 cs.AI cs.CL cs.IR
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher(独立研究者);University of Amsterdam(阿姆斯特丹大学)
针对零样本多语言检索在低资源形态丰富语言(如阿姆哈拉语)上表现不佳的问题,通过对比实验发现单语检索器显著优于多语言检索器,并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?
针对基于扩散语言模型的视觉检索增强生成,研究发现无条件扩大检索证据会因语义冲突降低准确率,提出无需训练的基于熵的候选过滤框架,可平均提升答案准确率2.62个百分点。
2026-08-10 cs.CL cs.CV
From RAG to RICHES: Retrieval Interlaced with Sequence Generation
Google Deepmind(谷歌DeepMind)
本文提出 RICHES,将检索融入 LLM 单次序列生成,无需独立检索器或额外训练,即可支持带归属、多跳 ODQA 等任务。
2024-06-29 cs.AI cs.CL
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Korea University(高丽大学);Meta AI;Google Research(谷歌研究院);Apple(苹果公司)
构建密集的检索器需要一系列标准程序,包括训练和验证神经模型,以及创建索引以实现高效搜索。然而,这些程序往往是不一致的,训练目标并不完全反映检索场景在推理时间。在本文中,我们探讨了如何减少稠密检索中训练和推理之间的差距,重点是密集短语检索(Lee等人,2021年),其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的,我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略,包括统一对比损失术语和使用硬否定词进行短语检索,这在很大程度上减少了训练-推理的差异。实验结果表明,在开放领域问答中,我们将前1短语的检索准确率提高了2~3个点,前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理,通过有效的验证,同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
Decoding a Neural Retriever's Latent Space for Query Suggestion
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院)
神经检索模型已经取代了经典的词袋方法,如BM 25作为检索框架的选择。然而,神经系统缺乏词袋模型的可解释性;将查询变化与最终确定检索结果的潜在空间中的变化联系起来并不是微不足道的。为了阐明这个嵌入空间,我们学习了一个“查询解码器”,给定神经搜索引擎的潜在表示,它会生成相应的查询。我们表明,它是可能的解码一个有意义的查询,从其潜在的表示,并在潜在空间中的正确方向移动时,解码检索相关段落的查询。特别地,查询解码器对于理解“应该问什么”以从集合中检索特定段落可能是有用的。我们采用的查询解码器生成一个大型的合成数据集的MSMarco的查询重构,从而提高检索性能。在这些数据上,我们训练了一个伪相关反馈(PRF)T5模型,用于查询建议的应用,其性能优于查询重构和PRF信息检索基线。
2022-10-21 cs.AI cs.CL cs.LG
Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
检索者-阅读者模型在许多不同的NLP任务中实现了有竞争力的性能,例如开放式问答和对话。在这项工作中,我们注意到这些模型很容易过拟合的顶级检索通道和标准的训练未能在整个检索通道的原因。我们引入了一个可学习的通道掩模机制,该机制降低了顶级检索通道的影响,并防止模型过拟合。我们的可学习正则化策略使用较少的掩码候选项控制梯度方差,并使用一次性双层优化选择掩码候选项,从而强制答案生成集中于整个检索通道。在开放式问答、对话和事实验证等不同任务上的实验表明,我们的方法始终优于其基线。大量的实验和消融研究表明,我们的方法可以通用,有效,并有利于许多NLP任务。
2022-11-03 cs.AI cs.CL cs.LG
Neurosymbolic Retrievers for Retrieval-augmented Generation
Dept. of CSEE University of Maryland Baltimore County, Maryland, USA(电子工程系大学马里兰大学巴尔的摩县);Dept. of CSEE University of Maryland Baltimore County, MD, USA(电子工程系大学马里兰大学巴尔的摩县)
本文提出神经符号 RAG 框架,通过结合知识图谱与神经检索技术,提升检索过程的透明性和生成性能。
2026-02-22 cs.AI cs.CL cs.IR
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);IBM Research AI(IBM研究院人工智能部门)
提出Self-RAG框架,通过训练模型按需检索并利用反思标记进行自我评判,显著提升了大型语言模型在多种任务上的事实性与生成质量。
2023-10-17 cs.AI cs.CL cs.LG
Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
KAIST(韩国科学技术院)
本文提出ARAM框架,通过动态校准引导尺度提升检索增强扩散模型在知识密集型问答中的性能。
2026-04-03 cs.AI cs.CL cs.LG
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
To Memorize or to Retrieve: Scaling the Interaction Between Pretraining and Retrieval
Stanford University(斯坦福大学);Independent Researcher(独立研究员);Patronus AI;The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
研究探讨了预训练知识与检索知识的平衡,提出三维缩放框架,揭示在不同模型规模和任务类型下检索的边际效用,为语言模型设计提供数据资源分配指导。
2026-08-11 cs.AI cs.CL cs.LG
GLM-RAG: Graph Language Models for Graph-Based Retrieval-Augmented Generation
Institute of Computational Linguistics, Heidelberg University(海德堡大学计算语言学研究所);Aleph Alpha Research(Aleph Alpha 研究院)
本研究提出GLM-RAG的GLM基检索器,对比三类检索器性能,发现微调GLM检索器跨域泛化更优且在多跳基准达SOTA,GNN与向量搜索各有优势。
2026-10-09 cs.AI cs.CL cs.IR
Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出ReAuSE,将知识检索器集成进多模态大语言模型作为内置搜索引擎,实现生成式检索与答案生成,并通过强化校准提升性能,在OKVQA和A-OKVQA上取得2.9%-9.6%的提升。
2025-02-23 cs.CL cs.CV cs.IR
Comparative Analysis of Neural Retriever-Reranker Pipelines for Retrieval-Augmented Generation over Knowledge Graphs in E-commerce Applications
Abertay University(阿伯泰大学)
本文研究电商场景下知识图谱检索增强生成中神经检索-排序流水线的设计与比较,通过实验验证了优化配置在提升检索性能上的有效性。
2025-12-14 cs.AI cs.CL cs.IR
Windsock is Dancing: Adaptive Multimodal Retrieval-Augmented Generation
The Pennsylvania State University(宾夕法尼亚州立大学);Intel(英特尔)
针对多模态检索增强生成的静态检索与模态选择问题,提出Windsock模块和DANCE指令微调,实现自适应检索决策与噪声鲁棒,提升生成质量17.07%并减少8.95%检索次数。
2025-10-26 cs.CL cs.CV cs.IR
Generate-and-Retrieve: use your predictions to improve retrieval for semantic parsing
University of Southern California(南加州大学);Google Research(谷歌研究院)
最近一种常见的语义解析方法通过检索和附加一组训练样本(称为样本)来增强序列到序列模型。这个配方的有效性受到检索信息样本的能力的限制,这些样本有助于产生正确的解析,这在资源匮乏的环境中尤其具有挑战性。现有的检索通常是基于相似性的查询和范例输入。我们提出GandR,检索过程,检索样本的输出也是类似的。GandRfirst通过基于输入的检索生成初步预测。然后,它检索输出类似于用于生成最终预测的初步预测的样本。GandR在多个低资源语义解析任务上设置了最先进的技术。
2022-09-29 cs.CL
Decide Then Retrieve: A Training-Free Framework with Uncertainty-Guided Triggering and Dual-Path Retrieval
Baidu Inc(百度公司);The University of Hong Kong(香港大学);Peking University(北京大学)
DTR通过不确定性引导触发和双路径检索,提升问答性能并减少冗余检索。
2026-01-07 cs.CL
Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval
The Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院)
提出检索预训练Transformer(RPT),联合训练检索器与语言模型,通过自检索长文档中的早期块来改进长文本建模,在书籍、代码和数学写作任务上优于强基线。
2024-07-21 cs.CL
Retrieve and Refine: Improved Sequence Generation Models For Dialogue
Facebook AI Research(脸书人工智能研究院)
众所周知,用于对话的序列生成模型有几个问题:它们倾向于生成简短、通用的句子,这些句子没有信息,也没有吸引力。另一方面,检索模型可以显示有趣的响应,但仅限于给定的检索集,导致错误的回复,无法调整到特定的上下文。在这项工作中,我们开发了一个模型,结合这两种方法,以避免它们的缺陷:首先检索响应,然后完善它-最后的序列生成器处理检索作为额外的上下文。在最近的CONVAI 2挑战任务中,我们展示了我们的方法在人类评估中产生优于标准检索和生成模型的响应。
2018-09-06 cs.CL
R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models
提出R4管道,通过文档顺序调整和表示增强学习检索文档排序,提升检索增强LLMs在知识密集型任务上的事实问答性能。
2024-06-25 cs.CL
Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions
University of Western Ontario(西方大学)
提出四条件证据可用性协议,通过ONCU估计器分离无证据、全上下文、检索证据和Oracle证据四种条件下的模型表现,诊断长上下文与检索增强语言模型的证据利用瓶颈。
2026-06-08 cs.CL
Two-Step Question Retrieval for Open-Domain QA
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
检索器-读取器流水线在开放域QA中表现出良好的性能,但推理速度非常慢。最近提出的问题检索模型解决了这个问题,索引问答对和搜索相似的问题。这些模型在推理速度上有了显著的提高,但与检索者-阅读者模型相比,QA性能较低。本文提出了一种两步式的问题检索模型SQuID(Sequential Indexed稠密检索)和远程监控训练。SQuID使用两个双编码器进行问题检索。第一步检索器选择前k个相似的问题,第二步检索器从前k个问题中找到最相似的问题。我们评估SQuID的性能和计算效率。结果表明,SQuID显着提高了现有的问题检索模型的性能与推理速度可以忽略不计的损失。
2022-05-19 cs.CL
Training a Utility-based Retriever Through Shared Context Attribution for Retrieval-Augmented Language Models
State Key Lab of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室,计算技术研究所,中国科学院);Key Lab of AI Safety, Chinese Academy of Sciences(人工智能安全重点实验室,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
SCARLet通过共享上下文归因和多任务泛化提升检索增强语言模型的检索性能。
2026-02-02 cs.CL
Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种方法,将检索到的数据点作为上下文相关的语义解析的支持证据,如生成源代码的类环境的条件。我们的方法自然地结合了检索模型和元学习器,前者学习从训练数据中找到相似的数据点,后者将检索到的数据点视为快速适应的伪任务。具体来说,我们的检索器是一个上下文感知的编码器-解码器模型,具有考虑上下文环境的潜在变量,我们的元学习器学习在模型不可知的元学习范式中利用检索到的数据点进行快速适应。我们在CONCODE和CSQA数据集上进行了实验,其中上下文分别指JAVA代码中的类环境和会话历史。我们使用序列到动作模型作为基本语义解析器,它在两个数据集上都具有最先进的准确性。结果表明,上下文感知检索器和元学习策略都提高了准确性,并且我们的方法比检索和编辑基线更好。
2019-06-17 cs.CL
Assessing "Implicit" Retrieval Robustness of Large Language Models
Eastern Institute of Technology(东方理工大学);Amazon AGI(亚马逊AGI);Saarland University(萨尔大学);Centrum Wiskunde & Informatica(荷兰国家数学和计算机科学研究院)
本文评估大型语言模型的隐式检索鲁棒性,发现混合黄金与干扰上下文微调可增强对检索错误的鲁棒性,同时保持准确提取答案的能力,表明端到端学习足以隐式处理相关或不相关上下文,无需显式相关性判断。
2024-06-26 cs.CL
Onco-Retriever: Generative Classifier for Retrieval of EHR Records in Oncology
Triomics Research(Triomics研究院);Medical College of Wisconsin(威斯康星医学院)
针对肿瘤EHR检索缺标注数据的难题,提出用LLM低成本构建查询-文档对的方案,训练的Onco-Retriever检索效果优于商用模型与微调PubMedBERT,为医疗机构建领域专用检索器提供路径。
2024-04-10 cs.CL