Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
To Interpolate or not to Interpolate: PRF, Dense and Sparse Retrievers
当前用于信息检索的预训练语言模型方法可以大致分为两类:稀疏检索器(也属于非神经方法,诸如词袋方法,例如,BM 25)和密集的寻回犬。这些类别中的每一个似乎都具有不同的相关性特征。以前的工作已经研究了如何从稀疏检索相关信号可以通过插值与密集检索相结合。这样的插值通常会导致更高的检索效率。在本文中,我们考虑的问题相结合的相关信号从稀疏和密集检索的背景下的伪相关反馈(PRF)。这种情况下提出了两个关键的挑战:(1)插值应该发生在什么时候:之前,之后,或之前和之后的PRF过程?(2)应该考虑哪种稀疏表示:zero-shot词袋模型(BM 25),还是学习的稀疏表示?为了回答这些问题,我们进行了全面的经验评估,考虑了一种有效的和可扩展的神经PRF方法(Vector-PRF),三种有效的密集检索器(ANCE,TCTv 2,DistillBERT)和一种最先进的学习稀疏检索器(uniCOIL)。从我们的实验的实证研究结果表明,无论稀疏表示和密集检索,插值之前和之后的PRF达到最高的效率在大多数数据集和指标。
2022-04-30 cs.IR
Leveraging LLMs for Unsupervised Dense Retriever Ranking
针对域偏移下无标注目标语料的稠密检索器选择难题,提出仅依赖目标语料的无监督方法LARMOR,通过LLM生成伪相关信号对检索器排序,效果优于现有基线。
2024-05-23 cs.IR
Embark on DenseQuest: A System for Selecting the Best Dense Retriever for a Custom Collection
本研究提出了名为DenseQuest的网页应用系统,可针对用户上传的私有自定义语料库,借助含LLM驱动方法在内的多种无监督方案,无需查询和标注即可选出最优预训练稠密检索器,云端部署便于检索领域从业者使用。
2024-07-09 cs.IR
Scoring a Set, Not Summing Passage Scores: Effective and Efficient Set Retrieval
Seoul National University(首尔大学);Graduate School of Data Science(数据科学研究生院)
针对多跳问答等任务中证据段落选择问题,提出集合级检索框架,通过查询-集合兼容性评分训练,用ParaSet和SetCE两个评分器实例化,提升了检索性能及下游问答任务性能,且集合级检索器有互补特性。
2026-10-01 cs.IR
A Gradient Accumulation Method for Dense Retriever under Memory Constraint
本文提出ContAccum方法,通过双记忆库结构实现内存受限条件下稠密检索器的稳定高效训练,在五个检索数据集上超越现有内存减少方法及高资源场景。
2024-11-21 cs.IR
Agentic-R: Learning to Retrieve for Agentic Search
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Baidu Inc.(百度公司)
本文提出了一种针对代理搜索的检索器训练框架,通过结合局部查询-段落相关性和全局答案正确性,提升多轮搜索性能。
2026-01-17 cs.CL cs.IR
Illusions of Relevance: Arbitrary Content Injection Attacks Deceive Retrievers, Rerankers, and LLM Judges
University of Waterloo(滑铁卢大学)
本文揭示了任意内容注入攻击可欺骗检索器、重排序器和LLM判断者,指出模型在安全性和鲁棒性上的弱点,并呼吁进一步研究。
2025-12-30 cs.IR
CLAP: Coreference-Linked Augmentation for Passage Retrieval
School of Computer and Mathematical Sciences, The University of Adelaide(计算机与数学科学学院,阿德莱德大学)
针对基于LLM的段落扩展存在语义漂移、共指连续性被破坏等问题,提出CLAP框架,通过分割段落、解析共指链生成局部伪查询并融合全局与子主题信号,提升密集检索器性能,尤其在域外场景表现突出,nDCG@10最高提升20.68%。
2025-08-25 cs.AI cs.IR
Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?
本文基于 Lucene 在 BEIR 上比较 HNSW、flat(含量化变体)与稀疏倒排索引,从索引时间、查询性能和检索质量给出稠密与稀疏检索器的选型建议。
2024-09-10 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Mamba Retriever: Utilizing Mamba for Effective and Efficient Dense Retrieval
本文提出 Mamba Retriever,利用 Mamba 架构作为密集检索的编码器,在短文本和长文本数据集上微调,实验证明其在有效性和推理速度上均优于或等同于 Transformer 模型,尤其适用于长文本检索。
2024-08-22 cs.IR
Relevance Supervision Can Teach Neural Retrievers to Prefer LLM-Generated Text
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
研究指出神经检索器对LLM文本的偏见源于训练数据中的监督偏差,而非模型本身,通过减少数据偏差和调整向量投影降低偏见。
2026-10-15 cs.IR
Implicit Feedback for Dense Passage Retrieval: A Counterfactual Approach
在本文中,我们研究如何有效地利用隐式反馈的密集检索(DR)。我们考虑的特定情况下,点击数据从历史点击日志可作为隐式反馈。然后,我们利用这样的历史隐式的相互作用,以提高DR的有效性。一个关键的挑战,我们研究的点击信号,如位置偏差,对DR的影响。为了克服与这种偏见的存在相关的问题,我们提出了反事实的Rocchio(CoRocchio)算法利用隐式反馈在密集检索。我们从理论上和经验上证明,密集查询表示与CoRocchio学习是公正的位置偏差,并导致更高的检索效率。我们在https://github.com/ielab/Counterfactual-DR上提供了所提出的方法和实验框架的实现以及所有结果。
2022-04-29 cs.IR
Is Position Bias in Dense Retrievers Built In-or Learned from Data?
Sionic AI(Sonic AI)
研究密集检索器中位置偏差的来源,通过构造位置偏斜的训练集微调模型,发现训练数据中证据的位置分布是影响检索级偏差方向的主要可控因素,并验证了位置平衡训练可显著降低位置敏感性。
2026-09-04 cs.IR
Hybrid and Collaborative Passage Reranking
University of Science and Technology of China(中国科学技术大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
针对段落检索中忽略上下文的问题,提出HybRank混合协同重排序方法,利用上游检索器相似度与稀疏/稠密特性,即插即用提升重排序性能。
2023-05-16 cs.AI cs.CL cs.IR
Pseudo Relevance Feedback with Deep Language Models and Dense Retrievers: Successes and Pitfalls
伪相关反馈(PRF)是已知的,以提高词袋检索的有效性。与此同时,深度语言模型已被证明优于传统的词袋重排序器。然而,目前还不清楚如何将PRF与紧急深层语言模型直接集成。在本文中,我们通过研究将PRF信号集成到基于深度语言模型的重排序器和密集检索器中的方法来解决这一差距。我们考虑基于文本和基于矢量的PRF方法,并研究不同的方式相结合,并评分的相关性信号。在四个不同的数据集和两个任务设置(检索和排名)进行了广泛的实证评估。基于文本的PRF结果表明,PRF的使用对不同数据集的深度重新排序器产生了混合效应。我们发现,当(i)直接将每个PRF通道与查询连接起来,使用新的查询集进行搜索,然后聚合分数时,可以实现最佳效果;(ii)使用Borda从PRF运行中聚合分数。基于向量的PRF结果表明,使用PRF增强了几个评估指标的深度重排序器和密集检索器的有效性。我们发现,当(i)查询保留PRF机制内的大多数或相同权重,以及(ii)较浅的PRF信号(即,较少数量的最高等级的通道),而不是更深的信号。我们的基于矢量的PRF方法是计算效率高,因此这代表了一个一般的PRF方法,其他人可以使用深rerankers和密集检索。
2022-07-01 cs.IR
Ranking-based Fusion Algorithms for Extreme Multi-label Text Classification (XMTC)
针对极端多标签文本分类(XMTC)中标签长尾分布导致的有效性平衡问题,提出融合稀疏检索器(如BM25)与密集检索器(如微调BERT)的基于排序的融合算法,结合两者互补特性以提升头部和尾部标签的分类有效性。
2025-07-04 cs.IR
Rider: Reader-Guided Passage Reranking for Open-Domain Question Answering
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
当前的开放域问答系统通常遵循检索器-读者体系结构,其中检索器首先检索相关段落,然后读者阅读检索到的段落以形成答案。在本文中,我们提出了一个简单而有效的段落重新排序方法,命名为读者引导的重新排序器(RIDER),它不涉及训练和重新排序检索的段落完全基于前读者的预测。我们表明,RIDER,尽管它的简单性,实现了10至20的绝对增益在前1检索精度和1至4精确匹配(EM)增益没有完善检索器或读者。此外,RIDER在没有任何训练的情况下,性能优于最先进的基于transformer的监督重排序器。值得注意的是,RIDER在Natural Questions数据集上实现了48.3 EM,在TriviaQA数据集上实现了66.4 EM,其中只有1,024个标记(平均7.8个段落)被用作段落重新排序后的读者输入。
2021-08-06 cs.AI cs.CL cs.IR
OBLIQ-IR: Training a Dense Retriever for Oblique Queries
Chungbuk National University(忠北国立大学);University of Innsbruck(因斯布鲁克大学)
针对斜向查询中潜在属性难以表面匹配的问题,提出OBLIQ-IR稠密检索器,通过合成查询与kNN图蒸馏训练,显著提升各任务NDCG@10。
2026-09-25 cs.IR
When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
Seoul National University(首尔国立大学);POSTECH;Samsung SDS(三星SDS)
本文提出新任务,即在索引前检测语料库相对于稠密检索器是否为分布外,并设计无监督方法 GradNormIR 利用梯度范数进行检测,在 BEIR 上验证其能实现及时更新并提升检索稳健性与效率。
2025-06-02 cs.CL cs.IR
Reproducibility Analysis and Enhancements for Multi-Aspect Dense Retriever with Aspect Learning
本文针对多层面稠密检索器MADRAL在公开数据上无法复现的问题,提出用CLS替换OTHER、用内容token表示方面等组件改进方案,并通过实验证明其能显著提升检索性能。
2024-01-16 cs.IR
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Improving the Robustness of Dense Retrievers Against Typos via Multi-Positive Contrastive Learning
针对密集检索器对拼写错误不鲁棒的问题,提出同时利用所有带拼写错误的查询作为正样本,采用多正样本对比学习进行鲁棒化训练,在两个数据集上验证了该方法优于单正样本对比学习。
2024-03-16 cs.IR
Simple Entity-Centric Questions Challenge Dense Retrievers
Princeton University(普林斯顿大学)
开放领域的问答最近爆炸式流行,由于稠密检索模型的成功,它已经超过了稀疏模型,只使用一些监督训练样本。然而,在本文中,我们证明了当前的密集模型还不是检索的圣杯。我们首先构建了一组简单的,基于维基数据事实的实体丰富的问题(例如,“Arve Furset出生在哪里?),并观察到密集的检索器大大低于稀疏的方法。我们研究了这个问题,发现密集检索器只能概括到共同的实体,除非在训练过程中明确观察到的问题模式。我们讨论两个简单的解决方案来解决这个关键问题。首先,我们证明了数据增强无法解决泛化问题。其次,我们认为一个更强大的通道编码器有助于促进更好的问题适应使用专门的问题编码器。我们希望我们的工作可以揭示在创建一个强大的,通用的密集检索器,以及在不同的输入分布的挑战。
2022-02-22 cs.CL cs.IR
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers
FAIR at Meta(Meta 的 FAIR 研究院);University of Waterloo(滑铁卢大学)
DRAMA框架利用剪枝后的大型语言模型作为骨干,在LLM增强的多样化数据上进行单阶段对比学习,训练出兼具效率与泛化能力的小型稠密检索器,并在多语言和长上下文任务中取得优异表现。
2025-06-03 cs.CL cs.IR
MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers
Renmin University of China(中国人民大学);Microsoft Research(微软研究院)
本文提出多任务预训练模型MASTER,通过瓶颈掩码自编码器统一多种预训练任务,提升稠密检索性能,实验验证其优于现有方法。
2023-06-19 cs.CL cs.IR
Questions Are All You Need to Train a Dense Passage Retriever
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Meta AI;DeepMind(深度思维);University of Washington(华盛顿大学)
提出无需标注数据的语料库级自编码方法ART,通过问题重建训练密集检索模型,在多个QA检索基准上取得最先进结果。
2023-04-03 cs.CL cs.IR
Boosted Dense Retriever
Meta AI
我们提出了DrBoost,一个稠密检索合奏的灵感来自boosting。DrBoost是分阶段训练的:每个组件模型被顺序地学习,并且通过仅关注由当前集合产生的检索错误而被专门化。最终的表示是所有组件模型的输出向量的连接,使其在测试时成为标准密集检索器的直接替代品。与标准的稠密检索模型相比,DrBoost具有几个优点。它产生的表示是4倍更紧凑,同时提供可比的检索结果。它在粗略量化的近似搜索下也表现得非常好,将延迟和带宽需求再减少4倍。在实践中,这可以在从磁盘和从内存提供索引之间产生差异,为更便宜的部署铺平道路。
2021-12-14 cs.CL cs.IR
A Study on the Efficiency and Generalization of Light Hybrid Retrievers
Arizona State University(亚利桑那州立大学);Meta Reality Lab(Meta现实实验室)
本文提出轻量级混合检索器 Hybrid-LITE,通过结合 BM25 与基于 DrBoost 知识蒸馏训练的 LITE,在节省 13 倍内存的同时保持 98.0% 性能,并展现出更优的域外泛化能力。
2023-05-23 cs.CL cs.IR
Early Stage Sparse Retrieval with Entity Linking
尽管他们的低资源设置的优势,传统的稀疏检索依赖于精确的匹配方法之间的高维词袋(BoW)表示的查询和收集。因此,检索性能受到语义差异和词汇空缺的限制。另一方面,基于transformer的密集检索器通过利用语料库的低维上下文化表示来显著改进信息检索任务。虽然密集检索器以其相对有效性而闻名,但与稀疏检索器相比,它们的效率较低且缺乏泛化问题。对于轻量级检索任务,高计算资源和时间消耗是鼓励放弃密集模型的主要障碍,尽管有潜在的收益。在这项工作中,我们建议通过扩展查询和具有两种格式的实体名称的链接实体的文档来提高稀疏检索器的性能:1)显式和2)散列。我们采用了一个zero-shot的端到端密集实体链接系统的实体识别和消歧,以增加语料库。通过利用先进的实体链接方法,我们相信稀疏和密集检索器之间的有效性差距可以缩小。我们在MS MARCO通道数据集上进行实验。由于我们关注的是大型信息检索系统的级联排名架构中的早期检索,我们使用recall@1000来评估我们的结果。我们的方法也能够检索文件的查询子集判断是特别困难的,在以前的工作。我们进一步证明了非扩展和扩展运行与显式和散列实体检索互补的结果。因此,我们采用了运行融合的方法,以最大限度地提高实体链接的好处。
2022-08-10 cs.IR
ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval
ScalingNote提出两阶段方法,先用同一LLM初始化双塔释放稠密检索潜力,再仅蒸馏查询塔以控制在线延迟,在工业场景中验证了LLM稠密检索的扩展定律并提升检索相关性。
2024-11-24 cs.IR
Interpretability Analysis of Domain Adapted Dense Retrievers
University of Amsterdam(阿姆斯特丹大学)
本文利用积分梯度框架提出可解释性方法,分析无监督域自适应对稠密检索器查询与文档归因的影响,发现自适应模型更关注领域内术语。
2025-01-24 cs.AI cs.IR
CharacterBERT and Self-Teaching for Improving the Robustness of Dense Retrievers on Queries with Typos
The University of Queensland(昆士兰大学)
当前的密集检索器对域外和离群查询不鲁棒,即它们对这些查询的有效性比人们预期的要差得多。在本文中,我们考虑这样的查询的一个具体实例:包含错别字的查询。我们发现,一个小的字符级扰动查询(如错别字所造成的)高度影响密集检索的有效性。然后,我们证明了这一问题的根本原因在于BERT采用的输入标记化策略。在BERT中,使用BERT的WordPiece tokenizer执行标记化,并且我们表明,具有错别字的令牌将显着改变标记化后获得的令牌分布。这种分布变化转化为传递给密集检索器的基于BERT的查询编码器的输入嵌入的变化。然后,我们把注意力转向设计密集检索方法,这些方法对有错别字的查询是鲁棒的,同时仍然像以前的方法一样对没有错别字的查询具有高性能。为此,我们使用QuarterBERT作为骨干编码器和一种高效而有效的训练方法,称为自教学(ST),它将知识从没有错别字的查询中提取出来。实验结果表明,与以往的方法相比,该算法在处理拼写错误时具有更高的效率。随着这些结果和方法的开源实现,我们还提供了一个新的通道检索数据集,包括真实世界的查询与错别字和相关的相关性评估的MS MARCO语料库,从而支持研究界在调查有效和强大的密集检索。代码、实验结果和数据集可在https://github.com/ielab/CharacterBERT-DR上获得。
2022-04-26 cs.CL cs.IR
On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability
University of Amsterdam(阿姆斯特丹大学);Chinese Academy of Sciences(中国科学院)
本文系统分析了基于LLM的密集检索器的通用性和稳定性,发现指令微调模型在复杂推理任务中存在'专业化税',而嵌入几何结构对鲁棒性有预测作用。
2026-04-17 cs.CL cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
Improving Dense Passage Retrieval with Multiple Positive Passages
本文探讨了在训练期间为每个问题配备多个正例段落对 Dense Passage Retrieval (DPR) 性能的影响,发现这种方法能持续提升检索准确率,并允许在单 GPU 上使用更小批大小进行训练。
2025-08-13 cs.IR
Information Retrieval with Entity Linking
针对传统稀疏检索器受语义差异和词汇鸿沟限制的问题,提出用显式和哈希两种格式的链接实体扩展查询与文档,结合零样本稠密实体链接系统增强语料库,在MS MARCO数据集上有效提升稀疏检索性能并缩小与稠密检索器的差距。
2024-04-07 cs.IR
Learning to Retrieve Passages without Supervision
Tel Aviv University(特拉维夫大学)
密集检索开放域问答(ODQA)已被证明是实现了令人印象深刻的性能,通过训练的大数据集的问题通道对。在这项工作中,我们问这种对标记数据的依赖是否可以通过面向ODQA的无监督预训练来减少。我们表明,这实际上是可能的,通过一个新的预训练方案设计检索。我们的“重复跨度检索”方法使用文档中段落之间的重复跨度来创建用于对比学习的伪示例。我们的预训练方案直接控制伪查询和相关段落之间的术语重叠,从而允许对它们之间的词汇和语义关系进行建模。由此产生的模型,命名为蜘蛛,表现令人惊讶的好,没有任何标记的训练样本上广泛的ODQA数据集。具体来说,它在zero-shot设置中显著优于所有其他预训练基线,并且与BM 25(一种强大的稀疏基线)竞争。此外,Spider和BM25的混合检索器比两者都有改进,并且通常与DPR模型竞争,DPR模型是在数万个示例上训练的。最后,当使用Spider作为监督训练的初始化时,观察到显着的收益。
2022-05-17 cs.CL cs.IR
Revela: Dense Retriever Learning via Language Modeling
Technical University of Darmstadt(达姆施塔特技术大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Tencent AI Lab(腾讯人工智能实验室)
Revela通过语言建模方法实现自监督检索器学习,无需标注数据即可在多个基准上超越监督模型。
2026-11-17 cs.CL cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常,稠密检索模型是在干净和精心策划的数据集上评估的。然而,当部署在现实生活中的应用程序,这些模型遇到嘈杂的用户生成的文本。也就是说,当暴露在嘈杂的文本中时,最先进的密集检索器的性能会大大恶化。在这项工作中,我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降,并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明,我们提出的方法优于竞争方法。此外,我们对鲁棒性进行了全面的分析。最后,我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
MoR: Better Handling Diverse Queries with a Mixture of Sparse, Dense, and Human Retrievers
Carnegie Mellon University(卡内基梅隆大学);Technical University of Darmstadt(达姆斯塔特技术大学)
针对单一检索器难以泛化的问题,提出零样本加权混合异质检索器(MoR),以0.8B参数超越各单独检索器及7B模型,并有效整合人类信息源,性能提升显著。
2025-06-18 cs.AI cs.CL cs.IR
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,使用微调的语言模型~(LM)的稠密检索的有效性。然而,密集的猎犬很难训练,通常需要大量工程微调管道,以实现其全部潜力。在本文中,我们确定和解决两个基本问题的密集检索:i)~脆弱的训练数据噪声和ii)~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构,该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上,我们提出了coCondenser,它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明,coCondenser消除了对增强、合成或过滤等繁重数据工程的需求,以及对大批量训练的需求。它显示出与RocketQA相当的性能,RocketQA是一个最先进的,经过大量工程设计的系统,使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
Densifying Sparse Representations for Passage Retrieval by Representational Slicing
学习稀疏和密集表示捕捉不同的成功方法来文本检索和融合的结果已被证明是更有效和强大的。先前的工作结合了密集和稀疏检索融合他们的模型分数。作为一种替代方案,本文提出了一种简单的方法来加密稀疏表示的文本检索,不涉及任何训练。我们的密集稀疏表示(DSRs)是可解释的,可以很容易地与密集表示相结合,用于端到端检索。我们证明了我们的方法可以在一个单一的模型中联合学习稀疏和密集表示,然后将它们结合起来进行稠密检索。实验结果表明,结合我们的DSR和密集表示产生了平衡的有效性和效率之间的权衡。
2021-12-09 cs.IR
Passage Retrieval for Outside-Knowledge Visual Question Answering
在这项工作中,我们解决多模态的信息需求,包含文本问题和图像,专注于通过检索外部知识的视觉问答。这项任务需要获得外部知识,在我们的情况下,我们定义为一个大型的非结构化的通道集合。我们首先进行稀疏检索与BM 25和研究扩大问题与对象名称和图像标题。我们验证了视觉线索起着重要的作用,标题往往比对象名称在稀疏检索的信息。然后,我们构建了一个双编码器密集检索器,查询编码器是LXMERT,一个多模态预训练的Transformer。我们进一步表明,稠密检索显着优于使用对象扩展的稀疏检索。此外,稠密检索与利用人工生成的字幕的稀疏检索的性能相匹配。
2021-05-09 cs.IR
GNN-encoder: Learning a Dual-encoder Architecture via Graph Neural Networks for Dense Passage Retrieval
最近,基于密集表示的检索模型在段落检索任务中占主导地位,由于其出色的能力,在捕捉输入文本的语义相比,传统的稀疏向量空间模型。稠密检索模型的一个常见做法是利用双编码器架构来独立地表示查询和段落。虽然有效,但这样的结构失去了查询-通道对之间的交互,导致准确性较差。为了提高稠密检索模型的性能而不损失效率,我们提出了一个GNN编码器模型,其中查询(通道)信息融合到通道(查询)表示通过图神经网络,构建查询和他们的顶部检索通道。通过这种方法,我们保持了一个双编码器结构,并保留了一些查询-通道对之间的相互作用信息,这使我们能够实现效率和功效的通道检索。评估结果表明,我们的方法在MSMARCO,Natural Questions和TriviaQA数据集上的性能明显优于现有模型,并在这些数据集上达到了新的最先进水平。
2022-10-12 cs.IR
Enhancing Dense Retrievers' Robustness with Group-level Reweighting
针对无监督web图数据模式多样且不平衡导致密集检索模型性能次优的问题,提出WebDRO方法,通过聚类锚点-文档对并利用组分布鲁棒优化重新加权,提升模型在最坏情况下的泛化能力与检索性能。
2024-10-14 cs.IR
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Thrust of Artificial Intelligence(人工智能分支(或:人工智能 thrust,按原文直译))
本文提出蕴含调优方法,以存在性断言为桥梁统一检索与自然语言推理数据,通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言,从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
Relevance-guided Supervision for OpenQA with ColBERT
Stanford University(斯坦福大学)
开放领域问答系统(OpenQA)通常依赖于用于在大语料库中找到候选段落的检索器和用于从这些段落中提取答案的阅读器。在最近的许多工作中,检索器是一个学习组件,它使用问题和段落的粗粒度向量表示。我们认为,这种建模的选择是不够的表达处理复杂的自然语言的问题。为了解决这个问题,我们定义了ColBERT-QA,它使可扩展的神经检索模型ColBERT适应OpenQA。ColBERT在问题和段落之间创建了细粒度的交互。我们提出了一个有效的弱监督策略,迭代使用ColBERT创建自己的训练数据。这极大地提高了Natural Questions、SQuAD和TriviaQA上的OpenQA检索能力,最终系统在所有三个数据集上都获得了最先进的OpenQA提取性能。
2021-08-02 cs.CL cs.IR
Selecting which Dense Retriever to use for Zero-Shot Search
The University of Queensland(昆士兰大学);Neusoft(东软集团)
本文提出零样本场景下如何选择稠密检索模型的新问题,通过实验证明现有无监督性能评估方法在该场景下失效,并公开了实现代码与分析脚本。
2023-09-18 cs.AI cs.IR
Poisoning Retrieval Corpora by Injecting Adversarial Passages
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文提出一种针对稠密检索系统的对抗性段落注入攻击,通过扰动离散token生成少量高相似度段落,证明其可跨域泛化并攻击多种最先进检索器,仅需注入500个段落即可成功。
2023-10-29 cs.CL cs.IR
A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering
University of Amsterdam(阿姆斯特丹大学)
针对基于语音的开放域问答中ASR流水线限制适用性且传播错误的局限,提出无需ASR、端到端训练的多模态密集检索器,直接处理语音问题,在短问题上检索性能优于传统流水线。
2024-09-20 cs.CL cs.IR
ExpandR: Teaching Dense Retrievers Beyond Queries with LLM Guidance
Department of Computer Science and Technology, Northeastern University, China(东北大学计算机科学与技术系);Department of Computer Science and Technology, Institute for AI, Tsinghua University, China(清华大学人工智能研究院计算机科学与技术系);Beijing National Research Center for Information Science and Technology, China(北京信息科学与技术国家研究中心)
本文提出 ExpandR 框架,通过联合优化 LLM 和稠密检索器,利用 LLM 生成查询扩展并采用 DPO 训练 LLM,实现检索性能提升超 5%。
2025-05-29 cs.AI cs.IR