HYRR: Hybrid Infused Reranking for Passage Retrieval
Google Research（谷歌研究院）
我们提出了混合注入重排序的段落检索（HYRR），一个框架，用于训练重排序的基础上的混合BM 25和神经检索模型。基于混合模型的检索器已被证明优于单独的BM 25和神经模型。我们的方法在训练重排序器时利用了这种改进的性能，从而产生了一个强大的重排序模型。的reranker，交叉注意神经模型，被证明是强大的不同的第一阶段检索系统，实现更好的性能比rerankers简单地训练后的第一阶段检索在多阶段系统。我们目前的评估监督通过检索任务使用MS MARCO和zero-shot检索任务使用BEIR。实证结果表明，这两个评价表现强劲。
2022-12-20 cs.CL cs.IR
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括（i）使用BM 25的初始检索模块，以及（ii）将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此，我们执行查询解析，即使用QuReTeC（术语分类查询解析模型）将会话历史中缺失的上下文添加到当前回合查询中。我们表明，我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）
针对双编码器密集段落检索仅利用查询中心相似关系的问题，本文提出 PAIR，引入段落中心关系、知识蒸馏伪标签与两阶段约束训练，并在 MSMARCO 和 Natural Questions 上取得最优性能。
2023-04-23 cs.AI cs.CL cs.IR
Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
稀疏词汇表示学习在最近的模型如DeepImpact、uniCOIL和SPLADE中在提高段落检索效率方面已经取得了很大进展。本文介绍了一种简单而有效的方法，稀疏化的词汇表示段落检索，建立在SPLADE通过引入一个顶部的$k$掩蔽计划来控制稀疏性和自学习方法来哄掩蔽表示模仿未掩蔽的表示。我们的模型的一个基本实现是有竞争力的更复杂的方法，并实现了有效性和效率之间的良好平衡。我们的方法的简单性打开了大门，为未来的词汇表示学习的段落检索探索。
2021-12-17 cs.CL cs.IR
How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context
IBM Research AI（IBM研究院人工智能部门）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对个性化上下文融入文档对话系统研究不足的问题，提出上下文感知段落检索任务，构建专用数据集并提出PCAS方法，实验证明其在段落检索和相关上下文识别上均优于基线，可为该方向研究提供支撑。
2023-08-26 cs.AI cs.CL cs.IR
Cohort Retrieval using Dense Passage Retrieval
本文首次将稠密段落检索（DPR）应用于超声心动图领域的患者队列检索，提出将非结构化EHR数据转换为查询-段落数据集的系统方法，并设计了临床场景启发的评估指标，所训练的定制DPR模型性能优于传统及现成SOTA方法。
2025-06-26 cs.CL cs.IR
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh（爱丁堡大学）；Baidu Inc.（百度公司）
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量，我们（1）通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性，以及（2）删除语义上与开发和测试查询相似的训练查询。此外，我们还提供了两个用于跨域评估的域外测试集，以及一组用于跨语言检索评估的人工翻译查询。实验结果表明，DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决，如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明，密集检索器不能很好地推广跨领域，跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
Graph Neural Network Enhanced Retrieval for Question Answering of LLMs
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
本文提出 GNN-Ret 和 RGNN-Ret，利用图神经网络建模段落间关联以增强大语言模型问答检索，在单次查询下超越多次查询基线，并在 2WikiMQA 上准确率提升达 10.4%。
2024-10-18 cs.AI cs.CL cs.IR
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本研究提出CoT-MAE v2，通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式，改进上下文掩码自编码器，有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
A Comparison of Question Rewriting Methods for Conversational Passage Retrieval
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
会话段落检索依赖于问题重写来修改原始问题，使得它不再依赖于会话历史。最近提出了几种问题重写的方法，但他们在不同的检索管道进行了比较。我们通过在相同的检索管道下对TREC CAST 2019和2020数据集的问题重写方法进行彻底评估来弥合这一差距。我们分析了不同类型的问题重写方法对检索性能的影响，并表明通过结合不同类型的问题重写方法，我们可以在两个数据集上实现最先进的性能。
2021-01-19 cs.CL cs.IR
Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation
Google Research（谷歌研究院）
广泛采用神经检索模型的一个主要障碍是，它们需要大量的监督训练集，以超越传统的基于术语的技术，这些技术是从原始语料库中构建的。在本文中，我们提出了一种方法，零样本学习的段落检索，使用合成的问题生成，以弥补这一差距。问题生成系统是在一般领域数据上训练的，但应用于目标领域中的文档。这使我们能够创建任意大的，但嘈杂的，特定于领域的问题通道相关性对。此外，当这是一个简单的混合术语神经模型相结合，第一阶段的检索性能可以进一步提高。经验上，我们表明，这是一个有效的策略，在没有大型训练语料库的情况下，建立神经通道检索模型。根据领域的不同，该技术甚至可以接近监督模型的准确性。
2021-01-27 cs.CL cs.IR
CoT-MoTE: Exploring ConTextual Masked Auto-Encoder Pre-training with Mixture-of-Textual-Experts for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
针对双编码器参数共享或分离导致查询与段落嵌入空间判别不平衡的问题，本文提出CoT-MoTE，通过文本特定专家和共享自注意力层进行上下文掩码自编码预训练，在大规模段落检索基准上取得稳定提升。
2023-04-20 cs.CL cs.IR
ConTextual Masked Auto-Encoder for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
密集段落检索旨在基于密集表示（即，向量）的查询和段落。最近的研究探索了改进预训练的语言模型以提高稠密检索性能。提出了一种用于密集段落检索的生成式预训练方法CoT-MAE（Contextual Masked Auto-Encoder）。CoT-MAE采用非对称编码器-解码器架构，通过自监督和上下文监督掩码自动编码学习将句子语义压缩为密集向量。准确地说，自监督掩码自动编码学习对文本跨度内的标记的语义进行建模，而上下文监督掩码自动编码学习对文本跨度之间的语义相关性进行建模。我们进行了大规模的通道检索基准的实验，并显示出相当大的改善强基线，证明了高效率的CoT-MAE。我们的代码可在https://github.com/caskcsg/ir/tree/main/cotmae上获得。
2022-12-01 cs.AI cs.CL
Efficient Passage Retrieval with Hashing for Open-domain Question Answering
Studio Ousia（Ousia工作室）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取它们。然而，这样的检索模型往往需要大量的内存来运行，因为它们的通道索引的大小。在本文中，我们介绍了二进制通道检索器（BPR），一个内存高效的神经检索模型，集成了学习哈希技术到国家的最先进的密集通道检索器（DPR）表示通道索引使用紧凑的二进制代码，而不是连续向量。BPR是用两个任务的多任务目标进行训练的：基于二进制代码的有效候选生成和基于连续向量的精确重新排序。与DPR相比，BPR在两个标准的开放域问答基准测试（Natural Questions和TriviaQA）上将内存成本从65 GB大幅降低到2 GB，而不损失准确性。我们的代码和训练模型可以在https://github.com/studio-ousia/bpr上找到。
2021-06-02 cs.CL cs.IR
Back-Training excels Self-Training at Unsupervised Domain Adaptation of Question Generation and Passage Retrieval
Mila/McGill University（Mila/麦吉尔大学）；Korbit Technologies（Korbit 科技公司）；Facebook CIFAR AI Chair（Facebook CIFAR AI 讲席）
在这项工作中，我们引入了反向训练，一种替代自训练的无监督领域自适应（UDA）从源到目标域。虽然自训练生成合成训练数据，其中自然输入与噪声输出对齐，但反向训练导致自然输出与噪声输入对齐。这显著地减小了目标域和合成数据分布之间的间隙，并且减小了模型对源域的过拟合。我们从\textit{Natural Questions}域到机器学习和生物医学域运行UDA实验的问题生成和段落检索。我们发现，反向训练大大优于自我训练，平均提高了7.8 BLEU-4分，在两个领域的前20名检索准确率为17.6%。我们进一步提出了一致性过滤器，以在训练之前去除低质量的合成数据。我们还发布了一个新的领域适应数据集- \textit{MLQuestions}，包含35 K未对齐的问题，50 K未对齐的段落和3 K对齐的问题-段落对。
2021-09-09 cs.AI cs.CL cs.LG
Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
检索者-阅读者模型在许多不同的NLP任务中实现了有竞争力的性能，例如开放式问答和对话。在这项工作中，我们注意到这些模型很容易过拟合的顶级检索通道和标准的训练未能在整个检索通道的原因。我们引入了一个可学习的通道掩模机制，该机制降低了顶级检索通道的影响，并防止模型过拟合。我们的可学习正则化策略使用较少的掩码候选项控制梯度方差，并使用一次性双层优化选择掩码候选项，从而强制答案生成集中于整个检索通道。在开放式问答、对话和事实验证等不同任务上的实验表明，我们的方法始终优于其基线。大量的实验和消融研究表明，我们的方法可以通用，有效，并有利于许多NLP任务。
2022-11-03 cs.AI cs.CL cs.LG
On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering
University of Amsterdam（阿姆斯特丹大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
与语音接口交互以查询问答（QA）系统正变得越来越流行。通常，QA系统依赖于段落检索来选择候选上下文，并依赖于阅读理解来提取最终答案。虽然已经有一些注意力，以提高阅读理解部分的QA系统对错误的自动语音识别（ASR）模型介绍，段落检索部分仍然是未开发的。然而，这样的错误会影响段落检索的性能，导致较差的端到端性能。为了解决这一差距，我们增加了两个现有的大规模通道排名和开放域QA数据集与合成ASR噪声和研究词汇和密集检索器对ASR噪声的问题的鲁棒性。此外，我们还研究了数据增强技术在不同领域的可推广性;每个领域都是不同的语言方言或口音。最后，我们创建了一个新的数据集，其中包含人类用户提出的问题，并使用它们的透明度来表明，当处理自然ASR噪声而不是合成ASR噪声时，检索性能会进一步降低。
2022-09-26 cs.CL cs.IR
Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
针对密集段落检索的MAE预训练，提出基于逐点互信息的token重要性感知掩码策略以增加解码器挑战，从而提升编码器表示能力，该方法无需额外开销且在大规模和零样本基准上均有效。
2023-05-22 cs.CL cs.IR
Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc（百度公司）
提出将大语言模型的效用判断能力蒸馏至小型模型，实现基于效用的动态段落选择，以降低计算成本并提升RAG复杂查询的答案生成质量。
2025-10-09 cs.AI cs.CL cs.IR
Improving Passage Retrieval with Zero-Shot Question Generation
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Meta AI Research（Meta人工智能研究院）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
提出基于零样本问题生成的重排序方法，利用预训练模型计算问题概率，无需特定训练即可提升开放问答中的段落检索准确率并达到SOTA。
2023-04-03 cs.CL cs.IR
How Does Generative Retrieval Scale to Millions of Passages?
Google Research（谷歌研究院）；University of Waterloo（滑铁卢大学）
首次将生成式检索扩展至 8.8M 段落和 11B 参数，发现合成查询作为文档表示至关重要，现有架构修改在计算成本下无效，模型参数的朴素缩放存在局限性，且扩展至数百万段落仍是未解决的挑战。
2023-05-19 cs.CL cs.IR
Collective Relevance Labeling for Passage Retrieval
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
用于信息检索（IR）的深度学习需要大量高质量的查询-文档相关性标签，但是这样的标签本质上是稀疏的。标签平滑将一些观察到的概率质量重新分布在未观察到的实例上，通常是均匀的，不知道真实的分布。相比之下，我们提出了知识蒸馏知情的标签，而不会在评估时产生高的计算开销。我们的贡献是设计一个简单但有效的教师模型，利用集体知识，优于国家的艺术蒸馏从一个更复杂的教师模型。具体来说，我们的训练速度比最先进的老师快8倍，同时更好地提取排名。我们的代码可在https://github.com/jihyukkim-nlp/CollectiveKD上公开获取
2022-05-09 cs.AI cs.CL cs.IR
Hybrid and Collaborative Passage Reranking
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
针对段落检索中忽略上下文的问题，提出HybRank混合协同重排序方法，利用上游检索器相似度与稀疏/稠密特性，即插即用提升重排序性能。
2023-05-16 cs.AI cs.CL cs.IR
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Thrust of Artificial Intelligence（人工智能分支（或：人工智能 thrust，按原文直译））
本文提出蕴含调优方法，以存在性断言为桥梁统一检索与自然语言推理数据，通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言，从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences（波兰科学院）
本文提出面向波兰语的神经段落检索模型 Silver Retriever，在多样化标注数据上训练，性能显著优于现有波兰语模型，并开源五个新数据集。
2024-02-22 cs.CL cs.IR
Control Token with Dense Passage Retrieval
Diqest（迪奎斯特）
本研究针对大语言模型幻觉问题，通过引入控制令牌增强稠密段落检索模型，显著提升文档检索准确率，Top-1提升13%，Top-20提升4%。
2024-05-13 cs.AI cs.CL
Topic-DPR: Topic-based Prompts for Dense Passage Retrieval
South China Normal University（华南师范大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出Topic-DPR，通过基于主题的提示和对比学习解决密集段落检索中的语义空间坍缩问题，并引入正负采样策略，在两个数据集上超越现有最先进方法。
2023-10-10 cs.AI cs.CL
TempRetriever: Fusion-based Temporal Dense Passage Retrieval for Time-Sensitive Questions
University of Innsbruck（因斯布鲁克大学）；L3S Research Center（L3S研究中心）；Delft University of Technology（代尔夫特理工大学）
TempRetriever通过将查询日期和文档时间戳嵌入DPR检索过程，并结合基于时间的负采样策略，显著提升了时间敏感问答中的段落检索准确率。
2025-04-08 cs.CL cs.IR
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Facebook AI Research（脸书人工智能研究院）；ENS, PSL University（巴黎文理研究大学高等师范学院）；Inria（法国国家信息与自动化研究所）
开放领域问答的生成模型已经被证明是有竞争力的，而不诉诸外部知识。虽然很有前途，但这种方法需要使用具有数十亿个参数的模型，这些参数的训练和查询成本很高。在本文中，我们研究了这些模型可以从检索文本段落中受益多少，可能包含证据。我们在Natural Questions和TriviaQA开放基准测试中获得了最先进的结果。有趣的是，我们观察到，当增加检索通道的数量时，这种方法的性能显着提高。这证明生成模型擅长聚合和组合来自多个通道的证据。
2021-02-03 cs.CL cs.LG
Dense Passage Retrieval for Open-Domain Question Answering
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
开放域问答依赖于有效的段落检索来选择候选上下文，传统的稀疏向量空间模型，如TF-IDF或BM 25，是事实上的方法。在这项工作中，我们表明，检索实际上可以单独使用密集表示，其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习。当在广泛的开放域QA数据集上进行评估时，我们的密集检索器在前20个段落检索准确率方面的绝对性能大大超过强大的Lucene-BM 25系统9%-19%，并帮助我们的端到端QA系统在多个开放域QA基准上建立新的最先进水平。
2020-09-30 cs.CL
Top K Relevant Passage Retrieval for Biomedical Question Answering
University of Kentucky（肯塔基大学）
本文针对生物医学问答中Wikipedia源不足的问题，在DPR框架上改用Pubmed文章进行微调，并在BioASQ数据集上取得0.81的F1分数。
2023-08-08 cs.AI cs.CL cs.IR
DAPR: A Benchmark on Document-Aware Passage Retrieval
Technical University of Darmstadt（达姆施塔特工业大学）；Cohere；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室）
本文提出文档感知段落检索（DAPR）任务并构建多领域基准，发现SoTA检索器53.5%的错误源于缺失文档上下文，通过BM25混合检索和上下文化段落表示扩展文档上下文，揭示现有方法在需要文档理解的困难查询上仍表现不足。
2024-06-09 cs.CL cs.IR
Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
密集通道检索器（DPR）的一个关键特征是在双向编码器设计中使用单独的问题和通道编码器。以前的DPR的推广工作主要集中在测试两个编码器串联在分布外（OOD）问答（QA）任务，这也被称为领域自适应。然而，DPR的单个问题/段落编码器如何影响泛化仍然是未知的。具体来说，在本文中，我们想知道如果与来自另一个域的OOD通道/问题编码器配对，分发（IND）问题/通道编码器将如何泛化。我们将此挑战称为\textit{encoder adaptation}。为了回答这个问题，我们检查DPR的问题和通道编码器的不同组合，从五个基准QA数据集上的域内和域外的问题。我们发现通道编码器对泛化下限的影响更大，而问题编码器似乎在总体上影响上界。例如，应用OOD段落编码器通常会损害检索准确性，而OOD问题编码器有时甚至会提高准确性。
2021-10-04 cs.CL cs.IR
RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering
Baidu Inc.（百度公司）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
在开放领域的问答中，密集段落检索已经成为一种新的检索相关段落以寻找答案的范式。通常，采用双编码器架构来学习问题和段落的密集表示以进行语义匹配。然而，由于训练和推理之间的不一致、未标记的肯定的存在以及有限的训练数据等挑战，难以有效地训练双编码器。为了解决这些挑战，我们提出了一种优化的训练方法，称为RocketQA，以提高密集通道检索。我们在RocketQA中做出了三大技术贡献，即跨批次底片、去噪硬底片和数据增强。实验结果表明，RocketQA在MSMARCO和Natural Questions上的性能明显优于以前的最先进的模型。我们还进行了广泛的实验，以检查在RocketQA的三个策略的有效性。此外，我们证明了端到端的QA的性能可以提高我们的RocketQA检索器的基础上。
2021-05-12 cs.CL cs.IR
Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering
University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Facebook AI Research（Facebook人工智能研究院）；Allen Institute for AI（艾伦人工智能研究所）
我们介绍了一种方法，开放域的问答（QA）检索和阅读的通道图，其中顶点是文本和边缘的通道表示的关系，来自外部的知识库或同现在同一篇文章。我们的目标是通过使用知识引导的检索来找到比文本匹配方法更相关的段落，以提高覆盖率，并通过允许更好的知识引导融合相关段落的信息来提高准确性。我们的图检索方法扩展了一组种子关键字检索通道通过遍历知识库的图结构。我们的阅读器扩展了基于BERT的架构，并通过传播相关段落及其关系的信息来更新段落表示，而不是孤立地阅读每个段落。在三个开放域QA数据集（WebQuestions，Natural Questions和TriviaQA）上的实验显示，与非图形基线相比，性能绝对提高了2-11%。我们的方法在每种情况下都达到或超过了最先进的水平，而无需使用昂贵的端到端培训制度。
2020-04-13 cs.AI cs.CL
DynRank: Improving Passage Retrieval with Dynamic Zero-Shot Prompting Based on Question Classification
University of Innsbruck（因斯布鲁克大学）
针对开放域问答系统段落检索中传统静态提示方法适应性有限的问题，提出DynRank框架，通过动态零样本问题分类生成语境相关提示，集成到现有检索框架并在多个基准数据集验证，提升检索效果。
2024-11-30 cs.CL
GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
Beihang University（北京航空航天大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent Cloud AI（腾讯云人工智能）
针对检索与生成目标不一致的问题，本文提出 GripRank，利用生成式段落估计器和课程知识蒸馏改进段落排序，并在 KILT 上提升排序与答案生成性能。
2023-08-15 cs.AI cs.CL
CoRAG: Collaborative Retrieval-Augmented Generation
Carnegie Mellon University（卡内基梅隆大学）
提出CoRAG框架将检索增强生成扩展至协作环境，客户端共同训练共享模型；引入CRAB基准评估，实验证明其在低资源场景下优于现有方法，并揭示了共享知识库中段落质量对性能的权衡影响。
2025-04-02 cs.AI cs.CL cs.IR
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University（上海交通大学）
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索（ODPR）。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而，这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此，这项工作提出了一个细化模型的基础上，更小的粒度，上下文语句，以减轻有关冲突。具体来说，我们引入了一个通道内的负采样策略，以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性，特别是在冲突严重的数据集上。大量的实验进一步表明，我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering
Santa Clara University（圣克拉拉大学）；Meta AI
本文提出W-RAG方法，通过从LLM下游任务提取弱监督信号微调稠密检索器，利用BM25检索和LLM生成概率重排序段落，显著提升了开放域问答的检索与生成性能。
2025-04-25 cs.AI cs.CL cs.IR
Passage Retrieval of Polish Texts Using OKAPI BM25 and an Ensemble of Cross Encoders
Adam Mickiewicz University（亚当·密茨凯维奇大学）
针对波兰语多领域段落检索任务，提出OKAPI BM25初检加多语言交叉编码器集成重排的方案，获Poleval 2023任务3优胜，且发现微调重排器仅在训练域有效、其他域性能下降。
2024-10-06 cs.AI cs.CL
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre（语言技术研究中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
通常，提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题，因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中，我们解决了多答案检索，需要检索的段落，可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法，使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落，都是查询相关的和不同的。结果表明，我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
On Single and Multiple Representations in Dense Passage Retrieval
University of Glasgow（格拉斯哥大学）；University of Pisa（比萨大学）
语境化语言模型的出现带来了搜索效率的提高，不仅在应用于对经典加权模型（如BM 25）的输出进行重新排序时，而且在直接用于段落索引和检索时，这种技术被称为稠密检索。在神经排序的现有文献中，两种稠密检索家族已经变得明显：单一表示，其中整个段落由单个嵌入表示（通常是BERT的[CLS]标记，如最近的ANCE方法所示），或多个表示，其中段落中的每个标记由其自己的嵌入表示（如最近的ColBERT方法所示）。这两个家庭没有直接比较。然而，由于稠密检索向前发展的可能重要性，清楚地了解它们的优点和缺点是至关重要的。为此，本文贡献了一个直接的研究，他们的比较有效性，注意的情况下，每种方法下/过执行w.r.t.彼此，还有w.r.t. a BM 25基线。我们观察到，虽然在响应时间和内存使用方面，ANCE比ColBERT更有效，但对于MAP和MRR@10，多个表示在统计上比单个表示更有效。我们还表明，多个表示获得更好的改善比单一表示查询是最难的BM 25，以及定义查询，和那些复杂的信息需求。
2021-08-19 cs.CL cs.IR
Beyond One-Shot Expansion: Contrastive Evidence Exploration for Multi-Hop Retrieval
Chung-Ang University（中央大学）
提出免训练多跳检索框架，通过证据条件探索、对比精炼和覆盖感知排序，提升多跳问答的检索质量与下游性能。
2026-09-09 cs.AI cs.IR
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序，特别是涉及“搜索”作为其用例的信息检索网络应用程序，正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力，使用问答作为其核心。由于精确的回答在计算上是昂贵的，因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法，可以高效、准确地检索证据文档，确保不会错过给定用户查询的相关文档。我们通过为每个文档（或本文中的段落）分配一个唯一的标识符，并使用它们来创建可以有效索引的密集向量。更准确地说，我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中，使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
Dense Passage Retrieval: Is it Retrieving?
Georgia Institute of Technology（佐治亚理工学院）
本文通过探测、层激活分析和模型编辑机制性研究DPR，发现其训练使知识存储去中心化，但检索能力受预训练模型内部知识限制，并提出四个改进方向。
2024-10-03 cs.CL cs.IR
RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）
本文提出 RocketQAv2，通过动态列表式蒸馏联合训练稠密段落检索器与重排序器，并结合混合数据增强，在 MSMARCO 和 Natural Questions 上验证了有效性。
2023-04-23 cs.CL
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究表明，使用微调的语言模型~（LM）的稠密检索的有效性。然而，密集的猎犬很难训练，通常需要大量工程微调管道，以实现其全部潜力。在本文中，我们确定和解决两个基本问题的密集检索：i）~脆弱的训练数据噪声和ii）~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构，该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上，我们提出了coCondenser，它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明，coCondenser消除了对增强、合成或过滤等繁重数据工程的需求，以及对大批量训练的需求。它显示出与RocketQA相当的性能，RocketQA是一个最先进的，经过大量工程设计的系统，使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization
NEC Data Science Research Laboratories（NEC数据科学研究实验室）；NEC Laboratories Europe（NEC欧洲实验室）
本文提出LightPAL，通过LLM预构建段落关系图并结合随机游走进行轻量级段落检索，在提升ODMDS检索与摘要效果的同时避免了迭代LLM推理的高延迟。
2024-10-17 cs.CL
Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting
University of Waterloo（滑铁卢大学）；Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）
会话搜索在会话信息搜索中起着至关重要的作用。由于自然语言对话中固有的共指和遗漏问题，传统的自组织信息检索（IR）系统在信息搜索对话中的查询是模糊的，因此解决这些模糊性是至关重要的。在本文中，我们解决对话通道检索（ConvPR），对话搜索的一个重要组成部分，通过解决查询歧义与查询重组集成到一个多阶段的ad-hoc IR系统。具体来说，我们提出了两种会话查询重构（CQR）方法：（1）术语重要性估计和（2）神经查询重写。对于前者，我们扩展会话查询使用的重要条款提取的会话上下文与基于频率的信号。对于后者，我们用一个预先训练的序列到序列模型将会话查询重新表达为自然的、独立的、人类可理解的查询。定量和定性地详细分析了两种CQR方法，解释了它们的优点，缺点和不同的行为。此外，为了利用这两种CQR方法的优势，我们建议将它们的输出与倒数等级融合相结合，产生最先进的检索效果，与TREC CAST 2019的最佳提交相比，NDCG@3提高了30%。
2021-03-11 cs.AI cs.CL cs.IR
GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval
deepset GmbH（deepset 公司）
面向问答（QA）的非英语机器阅读研究的一个主要挑战是缺乏标注数据集。在本文中，我们介绍了GermanQuAD，一个包含13，722个提取问题/答案对的数据集。为了提高数据集创建方法的可重复性，并促进对其他语言的QA研究，我们总结了经验教训，并评估了问题/答案对的重新表述，以加快注释过程。在GermanQuAD上训练的提取QA模型显著优于多语言模型，并且还表明机器翻译的训练数据不能完全替代目标语言中的手动注释训练数据。最后，我们展示了广泛的应用GermanQuAD通过适应GermanDPR，密集通道检索（DPR）的训练数据集，和训练和评估的第一个非英语DPR模型。
2021-04-26 cs.CL cs.LG
Injecting External Knowledge into the Reasoning Process Enhances Retrieval-Augmented Generation
State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
针对RAG中噪声段落问题，提出段落注入方法，将检索段落显式融入LLM推理过程，在四个数据集上显著提升性能与鲁棒性。
2025-10-08 cs.CL cs.IR
Hyperlink-induced Pre-training for Passage Retrieval in Open-domain Question Answering
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Distributed and Parallel Software Lab, Huawei（华为分布式与并行软件实验室）
为了缓解训练问答系统中的数据稀缺问题，最近的工作提出了额外的中间预训练密集通道检索（DPR）。然而，仍然有提供的上游信号和下游的问题通道的相关性，这导致较少的改善之间的差异很大。为了弥补这一差距，我们提出了超链接诱导的预训练（HLP），一种方法来预训练密集检索与超链接的Web文档内的拓扑结构引起的文本相关性。我们证明了基于超链接的双链接和共同提及结构可以为大规模的预训练提供有效的相关信号，从而更好地促进下游段落检索。我们研究了我们的方法在广泛的开放域QA数据集下的有效性zero-shot，Few-Shot，多跳，和域外的情况。实验结果表明，在zero-shot场景下，HLP在前20名的检索准确率方面优于BM 25高达7个点，以及其他预训练方法超过10个点。此外，HLP显着优于其他预训练方法在其他场景下。
2022-04-12 cs.CL cs.IR
Deduction over Mixed-Level Logic Representations for Text Passage Retrieval
描述了一种系统，该系统使用自然语言文档的（部分）含义的混合级别表示（基于标准霍恩子句逻辑）和可变深度搜索策略，该搜索策略区分知识表示中的不同抽象级别以定位文档中的特定段落。混合层次表示以及可变深度搜索策略适用于NLP之外的领域。
1999-12-15 cs.CL
