GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval
Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Technical University of Darmstadt（达姆施塔特工业大学）；cohere（Cohere公司）
GRITHopper-7B通过结合生成和表示指令微调，提出了一种无分解多跳密集检索模型，实现了在分布内和分布外基准上的最佳性能。
2026-01-22 cs.CL cs.IR
Dense Retrieval for Low Resource Languages -- the Case of Amharic Language
Addis Ababa University（亚的斯亚贝巴大学）；Univ. Capitole（卡皮托勒大学）；IRIT（信息技术与电信研究所）；CNRS（法国国家科学研究中心）；Univ. de Toulouse（图卢兹大学）；INSPE（国家教育高级学院）；UT2J（让·饶勒斯大学）
本文探讨了在阿姆哈拉语这一低资源语言上应用稠密检索的困难与成果，并介绍了亚的斯亚贝巴大学的相关努力。
2025-03-24 cs.CL cs.IR
Cohort Retrieval using Dense Passage Retrieval
本文首次将稠密段落检索（DPR）应用于超声心动图领域的患者队列检索，提出将非结构化EHR数据转换为查询-段落数据集的系统方法，并设计了临床场景启发的评估指标，所训练的定制DPR模型性能优于传统及现成SOTA方法。
2025-06-26 cs.CL cs.IR
Towards Universal Dense Retrieval for Open-domain Question Answering
Princeton University（普林斯顿大学）
在开放域问答中，模型接收文本问题作为输入，并使用大型证据语料库搜索正确答案。检索步骤是特别困难的，因为典型的证据语料库具有\textit{millions}的文档，每个文档可能有也可能没有问题的正确答案。最近，密集模型已经取代稀疏方法作为事实上的检索方法。密集方法不是专注于词汇重叠来确定相似性，而是构建一个编码函数，通过从一小部分问题-答案或问题-上下文对中学习来捕获语义相似性。在本文中，我们研究稠密检索模型的背景下，开放域问答在不同的输入分布。为此，首先，我们引入了一个从Wikidata事实构建的实体丰富的问答数据集，并证明密集模型无法推广到看不见的输入问题分布。其次，我们进行分析，旨在更好地了解问题的根源，并提出新的训练技术，以提高各种数据集的域外性能。我们鼓励该领域进一步研究创建一个单一的，通用的稠密检索模型，以及在所有输入分布的推广。
2021-09-23 cs.CL cs.IR
PairDistill: Pairwise Relevance Distillation for Dense Retrieval
National Taiwan University（台湾大学）
针对 pointwise 蒸馏存在比较不一致的问题，本文提出 PairDistill，利用成对重排序提供细粒度文档区分以训练稠密检索模型，并在多个基准上取得最先进性能。
2024-10-02 cs.CL cs.IR
The Curse of Dense Low-Dimensional Information Retrieval for Large Index Sizes
Technical University of Darmstadt（达姆施塔特工业大学）；Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））
使用密集低维表示的信息检索最近变得流行，并显示出优于传统稀疏表示（如BM 25）的性能。然而，没有以前的工作研究如何密集表示执行大索引大小。我们从理论上和经验表明，密集表示的性能下降速度比稀疏表示增加索引大小。在极端情况下，这甚至可能导致一个临界点，在特定索引大小下，稀疏表示优于密集表示。我们发现，这种行为与表示的维数密切相关：维数越低，误报的机会就越高，即返回不相关的文档。
2021-06-09 cs.CL cs.IR
Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
预训练的语言模型（PTM）已被证明产生强大的文本表示密集段落检索任务。Masked Language Modeling（MLM）是预训练过程的一个主要子任务。然而，我们发现，传统的随机掩蔽策略倾向于选择大量的令牌，对段落检索任务的影响有限（例如，停止词和标点符号）。通过注意到术语重要性权重可以为段落检索提供有价值的信息，我们在此提出了替代的面向检索的掩蔽（称为ROM）策略，其中更重要的标记将具有更高的被掩蔽的概率，以捕获这种简单而重要的信息，以促进语言模型预训练过程。值得注意的是，所提出的新的令牌掩蔽方法不会改变原始PTM的架构和学习目标。我们的实验验证了所提出的ROM使术语重要性信息，以帮助语言模型预训练，从而实现更好的性能多通道检索基准。
2022-10-27 cs.CL cs.IR
Typo-Robust Representation Learning for Dense Retrieval
VISTEC（泰国国家科技发展局维斯特克学院）；Chulalongkorn University（朱拉隆功大学）
本文提出一种改进密集检索对拼写错误鲁棒性的方法，通过增强错误查询与周围查询的对比度，在基准测试中优于现有方法。
2023-06-17 cs.CL cs.IR
DPTDR: Deep Prompt Tuning for Dense Passage Retrieval
Tencent（腾讯）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
深度提示微调（DPT）在大多数自然语言处理~（NLP）任务中获得了巨大的成功。然而，在稠密检索中，微调FT仍占主导地位，这一点还没有得到很好的研究。当使用相同的骨干模型部署多个检索任务时~（例如，RoBERTa），基于FT的方法在部署成本方面是不友好的：每个新的检索模型都需要重复部署骨干模型，而不能重用。为了减少部署成本，在这样的情况下，这项工作研究应用DPT在稠密检索。挑战在于，直接将DPT应用于稠密检索在很大程度上不如FT方法。为了弥补性能下降，我们提出了两个模型不可知和任务不可知的策略，即检索为导向的中间预训练和统一的负面挖掘，作为一种通用的方法，可以兼容任何预训练的语言模型和检索任务。实验结果表明，所提出的方法（称为DPTDR）优于以前的国家的最先进的MS-MARCO和自然问题的模型。我们还进行了消融研究，以检查DPTDR中每种策略的有效性。我们相信这项工作为行业带来了便利，因为它节省了大量的部署工作和成本，并提高了计算资源的利用率。我们的代码可在https://github.com/tangzhy/DPTDR上获得。
2022-08-24 cs.CL cs.IR
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University（北京交通大学）
本文针对低资源语言检索数据稀缺问题，提出解耦对比学习方法，将多语言表示分离为语义与语言子空间，在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
针对多语言稠密检索依赖大量配对数据的难题，提出无监督模型UMR，利用多语言大模型的序列似然估计生成伪标签，通过两阶段迭代框架训练，在两个基准数据集上超越有监督基线，且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
BoolQuestions: Does Dense Retrieval Understand Boolean Logic in Language?
University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）
本文提出布尔稠密检索任务及基准数据集BoolQuestions，发现现有稠密检索系统难以理解语言中的布尔逻辑，并提出对比式持续训练方法作为强基线以推动相关研究。
2024-11-19 cs.CL cs.IR
Transfer Learning Approaches for Building Cross-Language Dense Retrieval Models
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型（如BERT）的出现导致了神经排名模型的兴起。这些模型提高了检索系统的有效性，远远超过了词汇匹配模型，如BM 25。虽然单语检索任务受益于MS MARCO等大规模训练集和神经架构的进步，但跨语言检索任务已经落后于这些进步。本文介绍了ColBERT-X，一个推广的ColBERT多表示稠密检索模型，使用XLM-RoBERTa（XLM-R）编码器，以支持跨语言信息检索（CLIR）。ColBERT-X可以通过两种方式进行训练。在zero-shot训练中，系统在英语MS MARCO集合上进行训练，依赖于XLM-R编码器进行跨语言映射。在快速训练中，系统在MS MARCO英语查询上进行训练，并结合相关MS MARCO段落的机器翻译。在几种语言的特设文档排序任务的结果表明，这些训练的稠密检索模型在传统的词汇CLIR基线的实质性和统计上显着的改善。
2022-01-20 cs.CL cs.IR
Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems
CSIRO（联邦科学与工业研究组织）；The University of Queensland（昆士兰大学）
本文研究了影响 Vec2Text 文本嵌入反演攻击稠密检索系统时文本可恢复性的多种因素，并提出了一种在保证排序有效性同时降低恢复风险的嵌入变换修复方法。
2024-07-24 cs.CL cs.IR
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Thrust of Artificial Intelligence（人工智能分支（或：人工智能 thrust，按原文直译））
本文提出蕴含调优方法，以存在性断言为桥梁统一检索与自然语言推理数据，通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言，从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
Scaling Laws For Dense Retrieval
Tsinghua University（清华大学）；Quan Cheng Laboratory（泉城实验室）；Renmin University of China（中国人民大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Zhongguancun Laboratory（中关村实验室）；Xiaohongshu Inc（小红书科技有限公司）
本研究针对密集检索领域缩放定律未被充分探究的问题，采用对比对数似然为指标开展实验，证实其性能随模型规模和标注量呈幂律缩放，还研究了数据增强的影响并得出预算下最优资源分配策略。
2024-07-15 cs.CL cs.IR
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型（例如多语言BERT）替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据（如英语MS MARCO）的检索任务，使用与所使用的单语言检索模型相同的训练配方。然而，这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中，我们提出了使用适配器，一个参数有效的组件，一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器，先前的工作表明，在各种NLP任务中跨语言传输时，适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型，我们表明，当转移到跨语言信息检索（CLIR）设置时，用单语数据训练的模型比微调整个模型更有效。然而，我们发现，先前的建议，更换语言适配器，以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
Are We There Yet? A Decision Framework for Replacing Term Based Retrieval with Dense Retrieval Systems
TU Wien（维也纳工业大学）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近，几个稠密检索（DR）模型已被证明具有竞争力的性能，以基于术语的检索是无处不在的搜索系统。与基于术语的匹配相比，DR将查询和文档投影到密集的向量空间中，并通过（近似）最近邻搜索检索结果。部署新系统（如DR）不可避免地涉及性能方面的权衡。大规模运行的已建立的检索系统通常在有效性和成本方面得到很好的理解，例如查询延迟，索引吞吐量或存储要求。在这项工作中，我们提出了一个框架，一套标准，超越简单的有效性措施，彻底比较两个检索系统的明确目标，评估一个系统的准备，以取代其他。这包括在有效性和各种成本因素之间仔细权衡考虑。此外，我们描述了护栏标准，因为即使是一个系统，更好的平均可能有系统故障的少数查询。护栏检查某些查询特征上的故障和仅在稠密检索系统中可能的新故障类型。我们展示了我们的决策框架上的Web排名的情况。在这种情况下，最先进的DR模型具有令人惊讶的强大结果，不仅在平均性能上，而且通过了一系列广泛的护栏测试，显示了不同查询特征，词汇匹配，泛化和回归次数的鲁棒性。我们无法预测DR在未来是否会变得无处不在，但有一种可能性是通过重复应用决策过程，如本文所述。
2022-06-26 cs.CL cs.IR
RALI@iKAT 2026: Retrieval-aware User Profile Denoising via Personalized Conversational Dense Retrieval
Université de Montréal（蒙特利尔大学）
针对对话式信息访问系统的用户画像噪声问题，提出PCDR方法，仅需少量个性化标注即可训练，在iKAT 2026任务中作为核心检索组件，助力对话智能体服务复杂信息需求用户。
2026-10-14 cs.CL cs.IR
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University（特兹普尔大学）
该研究针对社交媒体科学断言的多语言来源检索难题，提出结合微调密集检索与交叉编码器重排序的两阶段框架，经实验验证元数据丰富化及交叉编码器重排序可提升效果，在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Phrase Retrieval Learns Passage Retrieval, Too
Princeton University（普林斯顿大学）；Korea University（高丽大学）
密集检索方法在一系列自然语言处理问题中显示出比稀疏检索方法更好的前景。其中，密集短语检索是最细粒度的检索单元，因为短语可以直接用作问答和槽填充任务的输出。在这项工作中，我们遵循的直觉，检索短语自然需要检索较大的文本块，并研究短语检索是否可以作为粗层次检索，包括段落和文件的基础。我们首先观察到，与段落检索器相比，密集短语检索系统在没有任何再训练的情况下已经实现了更好的段落检索准确度（前5名准确度为+3-5%），这也有助于以更少的段落实现卓越的端到端QA性能。然后，我们提供了一个解释，为什么短语级监督有助于学习更好的细粒度蕴涵相比，短语级监督，也表明，短语检索可以得到改善，以实现有竞争力的性能，在文档检索任务，如实体链接和知识为基础的对话。最后，我们展示了短语过滤和矢量量化如何将索引的大小减少4 - 10倍，使密集短语检索成为多粒度检索中实用且通用的解决方案。
2021-09-16 cs.CL cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一个新的稠密检索模型，学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询，以获得查询通知，多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率，而且还可以在文档编码中实现深度查询-文档交互，并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性，性能优于强双编码器基线。代码可在\url {https：github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
A Representation Sharpening Framework for Zero Shot Dense Retrieval
Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学）；Amazon（亚马逊）
本文提出一种无需训练的表示锐化框架，通过增强文档表示以区分相似文档，在零样本稠密检索中显著提升性能，并在 BRIGHT 基准上达到最优，同时兼容现有方法且不增加推理成本。
2025-11-07 cs.CL cs.IR
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
Technical University of Darmstadt（达姆施塔特工业大学）；University of Waterloo（滑铁卢大学）；Hugging Face
稠密检索方法可以克服词汇鸿沟，并导致显着改善的搜索结果。然而，它们需要大量的训练数据，这对于大多数领域是不可用的。如先前的工作所示（Thakur等人，2021b），密集检索器的性能在域转移下严重降低。这将稠密检索方法的使用限制在仅具有大训练数据集的少数域。在本文中，我们提出了新的无监督领域自适应方法生成伪标记（GPL），它结合了查询生成器和伪标记从交叉编码器。在六个有代表性的领域专用数据集上，我们发现建议的GPL可以优于开箱即用的最先进的稠密检索方法，最多可达9.3点nDCG@10。GPL需要来自目标域的更少（未标记）数据，并且在训练中比以前的方法更鲁棒。我们进一步研究了六个最近的预训练方法在检索任务的领域自适应场景中的作用，其中只有三个可以产生改进的结果。最好的方法，TSDAE（Wang等人，2021年）可以与GPL结合使用，在六个任务中平均提高1.4分nDCG@10。代码和模型可在https://github.com/UKPLab/gpl上获得。
2022-04-25 cs.CL cs.IR
Dense Sparse Retrieval: Using Sparse Language Models for Inference Efficient Dense Retrieval
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究将稀疏语言模型用于稠密检索以提升推理效率，在 MSMARCO、NQ 和 TriviaQA 数据集上实现准确率几乎无损且推理速度提升达 4.3 倍。
2023-03-31 cs.AI cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近，稠密检索（DR）已成为一个很有前途的解决方案，文档检索，其中的文档表示是用来执行有效和高效的语义搜索。然而，由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量，DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略，如截断或拆分和池长文档，导致整个文档信息的利用率很低。在这项工作中，为了解决这个问题，我们提出了段表示学习的长文档稠密检索（SeDR）。在SeDR中，Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示，同时它保持了拆分和池化的复杂性，并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足，因此进一步提出了Late-Cache Negative，以提供额外的缓存负性，用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明，SeDR在DR模型中取得了更优越的性能，并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出BERM方法，通过将段落分割为单元并施加语义单元平衡与关键匹配单元可提取性约束，捕获细粒度且面向查询的匹配信号，有效提升了稠密检索在未见域的泛化能力且无额外开销。
2023-05-18 cs.CL cs.IR
Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本文提出利用LLM生成查询扩展文档，并通过对比学习、瓶颈式查询生成与课程学习预训练稠密检索器，显著提升大规模网页搜索的零样本和跨域性能。
2023-08-16 cs.CL cs.IR
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Korea University（高丽大学）；Meta AI；Google Research（谷歌研究院）；Apple（苹果公司）
构建密集的检索器需要一系列标准程序，包括训练和验证神经模型，以及创建索引以实现高效搜索。然而，这些程序往往是不一致的，训练目标并不完全反映检索场景在推理时间。在本文中，我们探讨了如何减少稠密检索中训练和推理之间的差距，重点是密集短语检索（Lee等人，2021年），其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的，我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略，包括统一对比损失术语和使用硬否定词进行短语检索，这在很大程度上减少了训练-推理的差异。实验结果表明，在开放领域问答中，我们将前1短语的检索准确率提高了2~3个点，前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理，通过有效的验证，同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
Dense Passage Retrieval: Is it Retrieving?
Georgia Institute of Technology（佐治亚理工学院）
本文通过探测、层激活分析和模型编辑机制性研究DPR，发现其训练使知识存储去中心化，但检索能力受预训练模型内部知识限制，并提出四个改进方向。
2024-10-03 cs.CL cs.IR
Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
针对密集段落检索的MAE预训练，提出基于逐点互信息的token重要性感知掩码策略以增加解码器挑战，从而提升编码器表示能力，该方法无需额外开销且在大规模和零样本基准上均有效。
2023-05-22 cs.CL cs.IR
Domain-matched Pre-training Tasks for Dense Retrieval
Facebook AI Research（脸书人工智能研究院）
在模型大小不断增加的大型数据集上进行预训练现在是几乎所有NLP任务提高性能的有效方法。一个值得注意的例外是信息检索，额外的预训练迄今未能产生令人信服的结果。我们表明，通过正确的预训练设置，可以克服这一障碍。我们通过对1）最近发布的6500万个合成生成的问题集和2）来自pushshift.io提供的Reddit对话的现有数据集的2亿个评论后对进行预训练来证明这一点。我们评估了一组信息检索和对话检索基准，显示出实质性的改进监督基线。
2021-07-28 cs.CL cs.IR
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
虽然密集检索已被证明是有效和高效的跨任务和语言，它仍然难以创建有效的完全zero-shot稠密检索系统时，没有相关性标签。在本文中，我们认识到零样本学习和编码相关性的困难。相反，我们建议通过假设的文档嵌入（HyDE）。给定一个查询，HyDE第一个zero-shot命令一个遵循查询的语言模型（例如，InstructGPT）生成一个假设文档。该文档捕获相关性模式，但不真实，可能包含错误的细节。然后，一个无监督的对比学习编码器（例如Contriever）将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域，其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来，编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明，HyDE显著优于最先进的无监督密集检索器Contriever，并显示出与微调检索器相当的强大性能，跨越各种任务（例如Web搜索，QA，事实验证）和语言（例如SW，KO，JA）。
2022-12-20 cs.CL cs.IR
AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation
Salesforce Research（Salesforce研究院）
本研究针对稠密检索依赖人工标注的问题，提出AugTriever框架，通过查询提取和迁移式查询生成两种无监督数据增强方法生成伪查询-文档对，在BEIR和ODQA数据集上实现了优于强基线的无监督稠密检索、域适应及有监督微调效果。
2024-10-30 cs.CL cs.IR
Effective Dense Retrieval using Only In-Context Examples
University of Waterloo（滑铁卢大学）；The University of Queensland（昆士兰大学）
提出免训练的RICE方法，利用上下文示例提示LLM生成高质量稠密表示，显著提升检索准确性，无需额外训练。
2026-09-30 cs.CL cs.IR
Align Then Adapt: Label-Efficient Adapter Learning for Asymmetric Dense Retrieval
Megagon Labs（Megagon实验室）
本文提出Efficient Retrieval Adapter框架，通过自监督对齐和监督适应两阶段训练，解决复杂查询与简单文档之间的检索不匹配问题，提升低标注场景下的检索性能。
2026-08-27 cs.CL cs.IR
DREditor: An Time-efficient Approach for Building a Domain-specific Dense Retrieval Model
College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education（教育部机器学习与工业智能工程研究中心）
本文提出 DREditor，通过线性映射与最小二乘编辑算子直接校准检索模型嵌入，实现100–300倍加速并保持或提升检索效果。
2024-01-23 cs.CL cs.IR
RaDeR: Reasoning-aware Dense Retrieval Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
RaDeR利用LLM推理轨迹与自反思评估生成难负样本，训练推理感知稠密检索器，在BRIGHT和RAR-b上超越强基线，并首个在思维链查询下优于BM25，且仅用2.5%数据达到同等效果。
2025-05-27 cs.CL cs.IR
Boosted Dense Retriever
Meta AI
我们提出了DrBoost，一个稠密检索合奏的灵感来自boosting。DrBoost是分阶段训练的：每个组件模型被顺序地学习，并且通过仅关注由当前集合产生的检索错误而被专门化。最终的表示是所有组件模型的输出向量的连接，使其在测试时成为标准密集检索器的直接替代品。与标准的稠密检索模型相比，DrBoost具有几个优点。它产生的表示是4倍更紧凑，同时提供可比的检索结果。它在粗略量化的近似搜索下也表现得非常好，将延迟和带宽需求再减少4倍。在实践中，这可以在从磁盘和从内存提供索引之间产生差异，为更便宜的部署铺平道路。
2021-12-14 cs.CL cs.IR
LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum
University of Utah（犹他大学）；The University of Queensland（昆士兰大学）；University of Waterloo（滑铁卢大学）；University of Notre Dame（圣约翰大学）
LACONIC通过双阶段训练课程实现高效稀疏检索，以更少的计算资源达到与密集模型相当的检索效果。
2026-08-20 cs.CL cs.IR
RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering
Baidu Inc.（百度公司）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
在开放领域的问答中，密集段落检索已经成为一种新的检索相关段落以寻找答案的范式。通常，采用双编码器架构来学习问题和段落的密集表示以进行语义匹配。然而，由于训练和推理之间的不一致、未标记的肯定的存在以及有限的训练数据等挑战，难以有效地训练双编码器。为了解决这些挑战，我们提出了一种优化的训练方法，称为RocketQA，以提高密集通道检索。我们在RocketQA中做出了三大技术贡献，即跨批次底片、去噪硬底片和数据增强。实验结果表明，RocketQA在MSMARCO和Natural Questions上的性能明显优于以前的最先进的模型。我们还进行了广泛的实验，以检查在RocketQA的三个策略的有效性。此外，我们证明了端到端的QA的性能可以提高我们的RocketQA检索器的基础上。
2021-05-12 cs.CL cs.IR
Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval
University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
近年来，基于稠密表示的检索模型逐渐应用于文档检索任务的第一阶段，表现出比传统稀疏向量空间模型更好的性能。为了获得高效率，这些模型的基本结构在大多数情况下是双编码器。然而，这种简单的结构可能会导致严重的信息丢失，在编码的文档，因为查询是不可知的。为了解决这个问题，我们设计了一种方法，通过迭代聚类过程来模拟对每个文档的查询，并通过多个伪查询（即，集群质心）。为了提高检索过程中使用近似最近邻搜索库，我们还优化了匹配函数的两步得分计算过程。在几个流行的排名和QA数据集上的实验结果表明，我们的模型可以达到最先进的结果。
2021-08-19 cs.CL cs.IR
TempRetriever: Fusion-based Temporal Dense Passage Retrieval for Time-Sensitive Questions
University of Innsbruck（因斯布鲁克大学）；L3S Research Center（L3S研究中心）；Delft University of Technology（代尔夫特理工大学）
TempRetriever通过将查询日期和文档时间戳嵌入DPR检索过程，并结合基于时间的负采样策略，显著提升了时间敏感问答中的段落检索准确率。
2025-04-08 cs.CL cs.IR
A Thorough Examination on Zero-shot Dense Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Baidu Inc.（百度公司）
本文首次系统考察密集检索模型的零样本能力，从源训练集、目标数据集偏差及现有模型比较等方面分析关键影响因素，为理解和改进零样本DR提供证据。
2023-04-23 cs.CL cs.IR
ChatRetriever: Adapting Large Language Models for Generalized and Robust Conversational Dense Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Waseda University（早稻田大学）
本文提出ChatRetriever，通过对比学习与掩码指令微调的双学习方法适配大型语言模型，显著提升了多轮会话密集检索的性能与鲁棒性，达到最新水平。
2024-04-21 cs.CL cs.IR
Optimizing Test-Time Query Representations for Dense Retrieval
Korea University（高丽大学）；Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
本文提出TOUR方法，利用测试时检索结果和交叉编码器伪标签迭代优化查询表示，可视为Rocchio算法的推广，在开放域问答和段落检索上显著提升性能与效率。
2023-05-28 cs.CL cs.IR
Confidence-Calibrated Ensemble Dense Phrase Retrieval
本文提出一种置信度校准的集成稠密短语检索方法，通过在不同短语长度上应用DPR上下文编码器并进行集成预测，在无需额外预训练的情况下，于多个基准和特定领域数据集上取得最优结果。
2023-06-28 cs.CL cs.IR
Dense X Retrieval: What Retrieval Granularity Should We Use?
University of Washington（华盛顿大学）；Tencent AI Lab（腾讯AI实验室）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究聚焦稠密检索的检索粒度选择问题，提出以命题作为新型检索单元，实验证明细粒度单元建索引的检索效果优于段落级单元，且能提升检索增强语言模型下游问答任务性能。
2024-10-04 cs.AI cs.CL cs.IR
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo（滑铁卢大学）
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中，我们专注于单语检索的任务，在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明，他们表现出强大的跨语言泛化能力，仍然有许多开放的研究问题，我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型，分为三个主要场景：多语言Transformer是可用的，但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和，训练数据是可用的，但模型。在考虑这些场景时，我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南，特别是对于低资源语言，虽然我们的工作留下了一些研究问题，但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR
On Single and Multiple Representations in Dense Passage Retrieval
University of Glasgow（格拉斯哥大学）；University of Pisa（比萨大学）
语境化语言模型的出现带来了搜索效率的提高，不仅在应用于对经典加权模型（如BM 25）的输出进行重新排序时，而且在直接用于段落索引和检索时，这种技术被称为稠密检索。在神经排序的现有文献中，两种稠密检索家族已经变得明显：单一表示，其中整个段落由单个嵌入表示（通常是BERT的[CLS]标记，如最近的ANCE方法所示），或多个表示，其中段落中的每个标记由其自己的嵌入表示（如最近的ColBERT方法所示）。这两个家庭没有直接比较。然而，由于稠密检索向前发展的可能重要性，清楚地了解它们的优点和缺点是至关重要的。为此，本文贡献了一个直接的研究，他们的比较有效性，注意的情况下，每种方法下/过执行w.r.t.彼此，还有w.r.t. a BM 25基线。我们观察到，虽然在响应时间和内存使用方面，ANCE比ColBERT更有效，但对于MAP和MRR@10，多个表示在统计上比单个表示更有效。我们还表明，多个表示获得更好的改善比单一表示查询是最难的BM 25，以及定义查询，和那些复杂的信息需求。
2021-08-19 cs.CL cs.IR
QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
本文提出面向密集检索的统一文本增强框架QAEA-DR，利用LLM零样本提示生成问答对与元素驱动事件作为原始文本补充，并引入打分评估与重生成机制，有效缓解了长文本信息丢失与低质量文本匹配不佳的问题。
2025-03-01 cs.AI cs.CL cs.IR
How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval
University of Waterloo（滑铁卢大学）；University of Washington（华盛顿大学）；Meta AI
近年来，已经开发了各种技术来提高稠密检索（DR），如无监督对比学习和伪查询生成。然而，现有的DR，经常遭受监督和zero-shot检索之间的有效性权衡，有人认为这是由于有限的模型容量。我们反驳了这一假设，并表明，一个可推广的DR可以训练，以实现高精度的监督和zero-shot检索，而不增加模型的大小。特别是，我们系统地研究了数据增强（DA）的框架下的DR的对比学习。我们的研究表明，常见的DA实践，如查询增强生成模型和伪相关标签创建使用交叉编码器，往往是低效和次优的。因此，我们提出了一种新的DA方法，具有不同的查询和监督来源，以逐步训练一个可推广的DR。因此，DRAGON，我们的密集检索训练与不同的增强，是第一个BERT基地大小的DR实现国家的最先进的有效性，在监督和zero-shot评估，甚至竞争与模型使用更复杂的后期交互（ColBERTv2和SPLADE++）。
2023-02-15 cs.CL cs.IR
Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval
Microsoft（微软）
在一个稠密的学习表示空间中进行文本检索比稀疏检索有许多有趣的优点。然而，稠密检索（DR）的有效性往往需要结合稀疏检索。在本文中，我们确定主要的瓶颈是在训练机制，在训练中使用的负面实例是不代表测试中的不相关的文件。本文提出了近似最近邻负对比估计（ANCE），这是一种训练机制，它从语料库的近似最近邻（ANN）索引中构建否定，该索引随着学习过程的不断更新，以选择更真实的否定训练实例。这从根本上解决了DR训练和测试中使用的数据分布之间的差异。在我们的实验中，ANCE提升了BERT-Siamese DR模型，使其优于所有竞争密集和稀疏检索基线。它几乎与在ANCE学习的表示空间中使用点积的稀疏检索和BERT重新排序的准确性相匹配，并提供了近100倍的速度提升。
2020-10-20 cs.CL cs.IR cs.LG
History-Aware Conversational Dense Retrieval
University of Montreal（蒙特利尔大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Renmin University of China（中国人民大学）；Beihang University（北京航空航天大学）；University of Copenhagen（哥本哈根大学）；Beijing Jiaotong University（北京交通大学）
提出历史感知的对话式稠密检索系统，通过上下文去噪查询重构和自动挖掘监督信号，提升长对话及话题转移场景下的历史建模能力。
2024-05-28 cs.CL cs.IR
