Is Position Bias in Dense Retrievers Built In-or Learned from Data?
Sionic AI(Sonic AI)
研究密集检索器中位置偏差的来源,通过构造位置偏斜的训练集微调模型,发现训练数据中证据的位置分布是影响检索级偏差方向的主要可控因素,并验证了位置平衡训练可显著降低位置敏感性。
2026-09-04 cs.IR
Pseudo Relevance Feedback with Deep Language Models and Dense Retrievers: Successes and Pitfalls
伪相关反馈(PRF)是已知的,以提高词袋检索的有效性。与此同时,深度语言模型已被证明优于传统的词袋重排序器。然而,目前还不清楚如何将PRF与紧急深层语言模型直接集成。在本文中,我们通过研究将PRF信号集成到基于深度语言模型的重排序器和密集检索器中的方法来解决这一差距。我们考虑基于文本和基于矢量的PRF方法,并研究不同的方式相结合,并评分的相关性信号。在四个不同的数据集和两个任务设置(检索和排名)进行了广泛的实证评估。基于文本的PRF结果表明,PRF的使用对不同数据集的深度重新排序器产生了混合效应。我们发现,当(i)直接将每个PRF通道与查询连接起来,使用新的查询集进行搜索,然后聚合分数时,可以实现最佳效果;(ii)使用Borda从PRF运行中聚合分数。基于向量的PRF结果表明,使用PRF增强了几个评估指标的深度重排序器和密集检索器的有效性。我们发现,当(i)查询保留PRF机制内的大多数或相同权重,以及(ii)较浅的PRF信号(即,较少数量的最高等级的通道),而不是更深的信号。我们的基于矢量的PRF方法是计算效率高,因此这代表了一个一般的PRF方法,其他人可以使用深rerankers和密集检索。
2022-07-01 cs.IR
Ranking-based Fusion Algorithms for Extreme Multi-label Text Classification (XMTC)
针对极端多标签文本分类(XMTC)中标签长尾分布导致的有效性平衡问题,提出融合稀疏检索器(如BM25)与密集检索器(如微调BERT)的基于排序的融合算法,结合两者互补特性以提升头部和尾部标签的分类有效性。
2025-07-04 cs.IR
Training Dense Retrievers with Multiple Positive Passages
University of Chinese Academy of Sciences(中国科学院大学)
本文提出利用多正例段落训练检索器,通过统一对比学习框架分析不同优化目标,发现LSEPair在鲁棒性和性能上表现优异,同时揭示了不同目标对正样本质量的敏感性。
2026-08-12 cs.IR
When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
Seoul National University(首尔国立大学);POSTECH;Samsung SDS(三星SDS)
本文提出新任务,即在索引前检测语料库相对于稠密检索器是否为分布外,并设计无监督方法 GradNormIR 利用梯度范数进行检测,在 BEIR 上验证其能实现及时更新并提升检索稳健性与效率。
2025-06-02 cs.CL cs.IR
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
OBLIQ-IR: Training a Dense Retriever for Oblique Queries
Chungbuk National University(忠北国立大学);University of Innsbruck(因斯布鲁克大学)
针对斜向查询中潜在属性难以表面匹配的问题,提出OBLIQ-IR稠密检索器,通过合成查询与kNN图蒸馏训练,显著提升各任务NDCG@10。
2026-09-25 cs.IR
Simple Entity-Centric Questions Challenge Dense Retrievers
Princeton University(普林斯顿大学)
开放领域的问答最近爆炸式流行,由于稠密检索模型的成功,它已经超过了稀疏模型,只使用一些监督训练样本。然而,在本文中,我们证明了当前的密集模型还不是检索的圣杯。我们首先构建了一组简单的,基于维基数据事实的实体丰富的问题(例如,“Arve Furset出生在哪里?),并观察到密集的检索器大大低于稀疏的方法。我们研究了这个问题,发现密集检索器只能概括到共同的实体,除非在训练过程中明确观察到的问题模式。我们讨论两个简单的解决方案来解决这个关键问题。首先,我们证明了数据增强无法解决泛化问题。其次,我们认为一个更强大的通道编码器有助于促进更好的问题适应使用专门的问题编码器。我们希望我们的工作可以揭示在创建一个强大的,通用的密集检索器,以及在不同的输入分布的挑战。
2022-02-22 cs.CL cs.IR
Reproducibility Analysis and Enhancements for Multi-Aspect Dense Retriever with Aspect Learning
本文针对多层面稠密检索器MADRAL在公开数据上无法复现的问题,提出用CLS替换OTHER、用内容token表示方面等组件改进方案,并通过实验证明其能显著提升检索性能。
2024-01-16 cs.IR
Improving the Robustness of Dense Retrievers Against Typos via Multi-Positive Contrastive Learning
针对密集检索器对拼写错误不鲁棒的问题,提出同时利用所有带拼写错误的查询作为正样本,采用多正样本对比学习进行鲁棒化训练,在两个数据集上验证了该方法优于单正样本对比学习。
2024-03-16 cs.IR
Dense Hierarchical Retrieval for Open-Domain Question Answering
密集型神经文本检索在开放域问答(QA)中取得了令人鼓舞的成果,其中问题和段落的潜在表示被利用来在检索过程中进行最大内积搜索。然而,目前的密集检索器需要分裂成短的段落,通常包含本地,部分,有时偏见的背景下,并高度依赖于分裂过程的文件。因此,它可能会产生不准确和误导的隐藏表示,从而恶化最终的检索结果。在这项工作中,我们提出了密集层次检索(DHR),层次结构框架,可以生成准确的密集表示的通道,利用宏观语义的文件和微观语义特定于每个通道。具体地说,文档级检索器首先识别相关文档,然后由文档级检索器检索其中的相关段落。检索到的段落的排名将通过检查文档级别的相关性来进一步校准。此外,分层标题结构和两个负抽样策略(即,In-Doc和In-Sec阴性)。我们将DHR应用于大规模开放域QA数据集。DHR显著优于原始的密集通道检索器,并帮助端到端QA系统在多个开放域QA基准上优于强基线。
2021-10-28 cs.IR
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers
FAIR at Meta(Meta 的 FAIR 研究院);University of Waterloo(滑铁卢大学)
DRAMA框架利用剪枝后的大型语言模型作为骨干,在LLM增强的多样化数据上进行单阶段对比学习,训练出兼具效率与泛化能力的小型稠密检索器,并在多语言和长上下文任务中取得优异表现。
2025-06-03 cs.CL cs.IR
Boosted Dense Retriever
Meta AI
我们提出了DrBoost,一个稠密检索合奏的灵感来自boosting。DrBoost是分阶段训练的:每个组件模型被顺序地学习,并且通过仅关注由当前集合产生的检索错误而被专门化。最终的表示是所有组件模型的输出向量的连接,使其在测试时成为标准密集检索器的直接替代品。与标准的稠密检索模型相比,DrBoost具有几个优点。它产生的表示是4倍更紧凑,同时提供可比的检索结果。它在粗略量化的近似搜索下也表现得非常好,将延迟和带宽需求再减少4倍。在实践中,这可以在从磁盘和从内存提供索引之间产生差异,为更便宜的部署铺平道路。
2021-12-14 cs.CL cs.IR
A Study on the Efficiency and Generalization of Light Hybrid Retrievers
Arizona State University(亚利桑那州立大学);Meta Reality Lab(Meta现实实验室)
本文提出轻量级混合检索器 Hybrid-LITE,通过结合 BM25 与基于 DrBoost 知识蒸馏训练的 LITE,在节省 13 倍内存的同时保持 98.0% 性能,并展现出更优的域外泛化能力。
2023-05-23 cs.CL cs.IR
Mamba Retriever: Utilizing Mamba for Effective and Efficient Dense Retrieval
本文提出 Mamba Retriever,利用 Mamba 架构作为密集检索的编码器,在短文本和长文本数据集上微调,实验证明其在有效性和推理速度上均优于或等同于 Transformer 模型,尤其适用于长文本检索。
2024-08-22 cs.IR
A Replication Study of Dense Passage Retriever
University of Waterloo(滑铁卢大学)
使用学习密集表示的文本检索最近已经成为使用稀疏词袋表示的“传统”文本检索的一个有前途的替代方案。最近一项备受关注的工作是Karpukhin等人(2020)提出的用于端到端开放域问答的密集通道检索器(DPR)技术。我们提出了这项工作的复制研究,从作者提供的模型检查点开始,但在我们小组的Pyserini IR工具包和PyGaggle神经文本排名库中的独立实现。虽然我们的实验结果在很大程度上验证了原始论文的主张,但我们得出了两个重要的额外发现,有助于更好地理解DPR:首先,原始作者似乎低估了BM 25基线的有效性,因此也低估了密集-稀疏混合检索结果。其次,通过将证据检索和改进的答案跨度评分技术,我们能够提高端到端的问答的有效性,使用完全相同的模型,在原来的工作。
2021-04-12 cs.CL cs.IR
Interpretability Analysis of Domain Adapted Dense Retrievers
University of Amsterdam(阿姆斯特丹大学)
本文利用积分梯度框架提出可解释性方法,分析无监督域自适应对稠密检索器查询与文档归因的影响,发现自适应模型更关注领域内术语。
2025-01-24 cs.AI cs.IR
CharacterBERT and Self-Teaching for Improving the Robustness of Dense Retrievers on Queries with Typos
The University of Queensland(昆士兰大学)
当前的密集检索器对域外和离群查询不鲁棒,即它们对这些查询的有效性比人们预期的要差得多。在本文中,我们考虑这样的查询的一个具体实例:包含错别字的查询。我们发现,一个小的字符级扰动查询(如错别字所造成的)高度影响密集检索的有效性。然后,我们证明了这一问题的根本原因在于BERT采用的输入标记化策略。在BERT中,使用BERT的WordPiece tokenizer执行标记化,并且我们表明,具有错别字的令牌将显着改变标记化后获得的令牌分布。这种分布变化转化为传递给密集检索器的基于BERT的查询编码器的输入嵌入的变化。然后,我们把注意力转向设计密集检索方法,这些方法对有错别字的查询是鲁棒的,同时仍然像以前的方法一样对没有错别字的查询具有高性能。为此,我们使用QuarterBERT作为骨干编码器和一种高效而有效的训练方法,称为自教学(ST),它将知识从没有错别字的查询中提取出来。实验结果表明,与以往的方法相比,该算法在处理拼写错误时具有更高的效率。随着这些结果和方法的开源实现,我们还提供了一个新的通道检索数据集,包括真实世界的查询与错别字和相关的相关性评估的MS MARCO语料库,从而支持研究界在调查有效和强大的密集检索。代码、实验结果和数据集可在https://github.com/ielab/CharacterBERT-DR上获得。
2022-04-26 cs.CL cs.IR
Early Stage Sparse Retrieval with Entity Linking
尽管他们的低资源设置的优势,传统的稀疏检索依赖于精确的匹配方法之间的高维词袋(BoW)表示的查询和收集。因此,检索性能受到语义差异和词汇空缺的限制。另一方面,基于transformer的密集检索器通过利用语料库的低维上下文化表示来显著改进信息检索任务。虽然密集检索器以其相对有效性而闻名,但与稀疏检索器相比,它们的效率较低且缺乏泛化问题。对于轻量级检索任务,高计算资源和时间消耗是鼓励放弃密集模型的主要障碍,尽管有潜在的收益。在这项工作中,我们建议通过扩展查询和具有两种格式的实体名称的链接实体的文档来提高稀疏检索器的性能:1)显式和2)散列。我们采用了一个zero-shot的端到端密集实体链接系统的实体识别和消歧,以增加语料库。通过利用先进的实体链接方法,我们相信稀疏和密集检索器之间的有效性差距可以缩小。我们在MS MARCO通道数据集上进行实验。由于我们关注的是大型信息检索系统的级联排名架构中的早期检索,我们使用recall@1000来评估我们的结果。我们的方法也能够检索文件的查询子集判断是特别困难的,在以前的工作。我们进一步证明了非扩展和扩展运行与显式和散列实体检索互补的结果。因此,我们采用了运行融合的方法,以最大限度地提高实体链接的好处。
2022-08-10 cs.IR
On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability
University of Amsterdam(阿姆斯特丹大学);Chinese Academy of Sciences(中国科学院)
本文系统分析了基于LLM的密集检索器的通用性和稳定性,发现指令微调模型在复杂推理任务中存在'专业化税',而嵌入几何结构对鲁棒性有预测作用。
2026-04-17 cs.CL cs.IR
ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval
ScalingNote提出两阶段方法,先用同一LLM初始化双塔释放稠密检索潜力,再仅蒸馏查询塔以控制在线延迟,在工业场景中验证了LLM稠密检索的扩展定律并提升检索相关性。
2024-11-24 cs.IR
MoR: Better Handling Diverse Queries with a Mixture of Sparse, Dense, and Human Retrievers
Carnegie Mellon University(卡内基梅隆大学);Technical University of Darmstadt(达姆斯塔特技术大学)
针对单一检索器难以泛化的问题,提出零样本加权混合异质检索器(MoR),以0.8B参数超越各单独检索器及7B模型,并有效整合人类信息源,性能提升显著。
2025-06-18 cs.AI cs.CL cs.IR
Revela: Dense Retriever Learning via Language Modeling
Technical University of Darmstadt(达姆施塔特技术大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Tencent AI Lab(腾讯人工智能实验室)
Revela通过语言建模方法实现自监督检索器学习,无需标注数据即可在多个基准上超越监督模型。
2026-11-17 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
Information Retrieval with Entity Linking
针对传统稀疏检索器受语义差异和词汇鸿沟限制的问题,提出用显式和哈希两种格式的链接实体扩展查询与文档,结合零样本稠密实体链接系统增强语料库,在MS MARCO数据集上有效提升稀疏检索性能并缩小与稠密检索器的差距。
2024-04-07 cs.IR
Selecting which Dense Retriever to use for Zero-Shot Search
The University of Queensland(昆士兰大学);Neusoft(东软集团)
本文提出零样本场景下如何选择稠密检索模型的新问题,通过实验证明现有无监督性能评估方法在该场景下失效,并公开了实现代码与分析脚本。
2023-09-18 cs.AI cs.IR
ExpandR: Teaching Dense Retrievers Beyond Queries with LLM Guidance
Department of Computer Science and Technology, Northeastern University, China(东北大学计算机科学与技术系);Department of Computer Science and Technology, Institute for AI, Tsinghua University, China(清华大学人工智能研究院计算机科学与技术系);Beijing National Research Center for Information Science and Technology, China(北京信息科学与技术国家研究中心)
本文提出 ExpandR 框架,通过联合优化 LLM 和稠密检索器,利用 LLM 生成查询扩展并采用 DPO 训练 LLM,实现检索性能提升超 5%。
2025-05-29 cs.AI cs.IR
Enhancing Dense Retrievers' Robustness with Group-level Reweighting
针对无监督web图数据模式多样且不平衡导致密集检索模型性能次优的问题,提出WebDRO方法,通过聚类锚点-文档对并利用组分布鲁棒优化重新加权,提升模型在最坏情况下的泛化能力与检索性能。
2024-10-14 cs.IR
Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies
Mixedbread AI;National Institute of Informatics(国家信息研究所);University of Tsukuba(筑波大学)
提出潜在词方法,揭示密集检索模型(单向量或多向量)学习到的表示可轻易分解为稀疏特征,通过稀疏自编码器提取潜在词汇表,无需检索特定调整即可直接用于BM25稀疏检索,匹配或超越原模型及SPLADE变体。
2026-05-28 cs.AI cs.CL cs.IR
Making Large Language Models Efficient Dense Retrievers
University of Amsterdam(阿姆斯特丹大学);University of Maryland, College Park(马里兰大学 College Park 分校);Johns Hopkins University, HLTCOE(约翰霍普金斯大学 HLTCOE)
EffiR通过粗到细的MLP压缩策略和检索特定微调,使大语言模型在保持性能的同时显著减少模型大小和推理成本。
2025-12-23 cs.CL cs.IR
Query Encoder Distillation via Embedding Alignment is a Strong Baseline Method to Boost Dense Retriever Online Efficiency
University of Pennsylvania(宾夕法尼亚大学)
提出一种简单基线方法,通过嵌入对齐蒸馏查询编码器,以非对称架构在BEIR上保留92.5%性能,提升稠密检索器在线效率。
2023-06-05 cs.AI cs.IR
LogiCoL: Logically-Informed Contrastive Learning for Set-based Dense Retrieval
Stanford University(斯坦福大学);Microsoft(微软);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学)
针对稠密检索器难以处理含逻辑连接词查询的问题,提出基于t-范数软约束的对比学习目标LogiCoL,提升实体检索的逻辑一致性与性能。
2025-05-26 cs.AI cs.IR
Your Dense Retriever is Secretly an Expeditious Reasoner
School of Computer Science and Engineering, Beihang University, China(北京航空航天大学计算机科学与工程学院);Beijing Institute for General Artificial Intelligence, China(北京通用人工智能研究院)
针对稠密检索器难处理推理型查询、全用LLM重构查询成本过高的问题,提出混合查询重写框架AdaQR,通过路由器动态分配推理路径,在嵌入空间实现类LLM推理,在BRIGHT基准上降本28%且检索性能提升7%。
2025-10-28 cs.AI cs.IR cs.LG
The Wisdom of Many Queries: Complexity-Diversity Principle for Dense Retriever Training
本文提出复杂度-多样性原则,通过多查询合成提升密集检索器在领域外任务中的泛化能力,发现查询复杂度与多样性间存在强正相关,提出基于复杂度的训练策略提升推理任务表现。
2026-03-16 cs.IR cs.LG
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Study on LLMs for Promptagator-Style Dense Retriever Training
Massachusetts Institute of Technology Lincoln Laboratory(麻省理工学院林肯实验室);University of Waterloo(滑铁卢大学)
针对原始Promptagator依赖专有大模型的问题,研究发现参数≤14B甚至3B的开源LLMs可作为有效的Promptagator风格查询生成器,为领域专用稠密检索模型微调的合成数据生成提供可靠替代方案。
2025-10-02 cs.CL cs.IR
A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering
University of Amsterdam(阿姆斯特丹大学)
针对基于语音的开放域问答中ASR流水线限制适用性且传播错误的局限,提出无需ASR、端到端训练的多模态密集检索器,直接处理语音问题,在短问题上检索性能优于传统流水线。
2024-09-20 cs.CL cs.IR
Dimension Reduction for Efficient Dense Retrieval via Conditional Autoencoder
密集检索器对查询和文档进行编码,并使用预训练的语言模型将它们映射到嵌入空间中。这些嵌入需要是高维的,以适应训练信号,并保证密集检索器的检索效率。然而,这些高维嵌入导致更大的索引存储和更高的检索延迟。为了降低稠密检索的嵌入维数,提出了一种条件自动编码器(ConAE)对高维嵌入进行压缩,以保持相同的嵌入分布,更好地恢复排序特征。我们的实验表明,ConAE是有效的压缩嵌入实现可比的排名性能与教师模型,使检索系统更有效。进一步的分析表明,ConAE算法可以有效地降低稠密检索中嵌入的冗余度,而只需要一个线性层。这项工作的所有代码都可以在https://github.com/NEUIR/ConAE上找到。
2022-10-22 cs.IR
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
Implicit Feedback for Dense Passage Retrieval: A Counterfactual Approach
在本文中,我们研究如何有效地利用隐式反馈的密集检索(DR)。我们考虑的特定情况下,点击数据从历史点击日志可作为隐式反馈。然后,我们利用这样的历史隐式的相互作用,以提高DR的有效性。一个关键的挑战,我们研究的点击信号,如位置偏差,对DR的影响。为了克服与这种偏见的存在相关的问题,我们提出了反事实的Rocchio(CoRocchio)算法利用隐式反馈在密集检索。我们从理论上和经验上证明,密集查询表示与CoRocchio学习是公正的位置偏差,并导致更高的检索效率。我们在https://github.com/ielab/Counterfactual-DR上提供了所提出的方法和实验框架的实现以及所有结果。
2022-04-29 cs.IR
Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence
University of California, Los Angeles(加州大学洛杉矶分校);CIS, LMU Munich(慕尼黑路德维希-马克西米利安大学计算机学院);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文通过受控实验揭示稠密检索器存在短文档、靠前位置、重复实体和字面匹配等启发式偏差,多种偏差叠加时性能灾难性下降,并证明这些偏差会误导 RAG 中的大语言模型,使性能比不提供文档时下降 34%。
2025-06-02 cs.CL cs.IR
Sparse and Dense Retrievers Learn Better Together: Joint Sparse-Dense Optimization for Text-Image Retrieval
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);NAVER Corporation(NAVER公司)
本文提出一种基于自知识蒸馏的稀疏-稠密联合优化框架,通过集成相似度分数实现双向学习,仅微调稠密编码器末层与稀疏投影头,使稀疏检索器在MSCOCO和Flickr30k上超越稀疏基线并达到或超过稠密模型性能。
2025-08-22 cs.CL cs.IR cs.LG
ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
University of Milano-Bicocca(米兰比可卡大学);Bielefeld University(比勒费尔德大学)
ExpertLens提出一种针对MoE增强密集检索器的事后可解释框架,通过嵌入空间可视化和概念激活向量,揭示专家路由对检索效果的影响,实验验证其能改善嵌入空间结构。
2026-09-09 cs.AI cs.IR
Effective Dense Retrieval using Only In-Context Examples
University of Waterloo(滑铁卢大学);The University of Queensland(昆士兰大学)
提出免训练的RICE方法,利用上下文示例提示LLM生成高质量稠密表示,显著提升检索准确性,无需额外训练。
2026-09-30 cs.CL cs.IR
More Than Efficiency: Embedding Compression Improves Domain Adaptation in Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
针对密集检索中训练与目标领域分布不匹配的问题,提出对查询嵌入进行PCA压缩以保留领域相关特征并丢弃非判别成分,在9个检索器和14个MTEB数据集上验证了该方法能有效提升检索性能。
2026-07-15 cs.IR
MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers
Renmin University of China(中国人民大学);Microsoft Research(微软研究院)
本文提出多任务预训练模型MASTER,通过瓶颈掩码自编码器统一多种预训练任务,提升稠密检索性能,实验验证其优于现有方法。
2023-06-19 cs.CL cs.IR
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Korea University(高丽大学);Meta AI;Google Research(谷歌研究院);Apple(苹果公司)
构建密集的检索器需要一系列标准程序,包括训练和验证神经模型,以及创建索引以实现高效搜索。然而,这些程序往往是不一致的,训练目标并不完全反映检索场景在推理时间。在本文中,我们探讨了如何减少稠密检索中训练和推理之间的差距,重点是密集短语检索(Lee等人,2021年),其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的,我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略,包括统一对比损失术语和使用硬否定词进行短语检索,这在很大程度上减少了训练-推理的差异。实验结果表明,在开放领域问答中,我们将前1短语的检索准确率提高了2~3个点,前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理,通过有效的验证,同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
本文提出无监督交替蒸馏方法ABEL,通过稠密检索器与重排序器相互提供监督信号迭代提升,在BEIR基准上超越有监督和无监督检索器,并具备强零样本领域适应能力。
2023-11-27 cs.CL cs.IR
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对OK-VQA任务中多模态检索模型训练数据需求大的问题,提出自动数据生成流水线预训练段落检索模型,使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling
TU Wien(维也纳工业大学);University of Waterloo(滑铁卢大学)
广泛采用神经检索模型的关键一步是在整个训练,索引和查询工作流程中的资源效率。近年来,神经检索界在训练有效的双编码器稠密检索(DR)模型方面取得了很大进展。密集文本检索模型使用每个查询和段落的单个向量表示来对匹配进行评分,这使得具有最近邻搜索的低延迟第一阶段检索成为可能。越来越常见的训练方法需要巨大的计算能力,因为它们要么从不断更新的刷新索引中进行负通道采样,要么需要非常大的批量进行批量负采样。而不是依赖于更多的计算能力,我们引入了一个有效的主题感知查询和平衡的利润率采样技术,称为TAS平衡。我们在训练之前对查询进行一次聚类,并在每个批次中对聚类中的查询进行采样。我们用一种新颖的双教师监督来训练我们的轻量级6层DR模型,该监督结合了成对和批量的负教师。我们的方法可以在48小时内在单个消费级GPU上训练(而不是8 x V100的常见配置)。我们证明了我们的TAS-Balanced训练方法在两个TREC深度学习Track查询集上实现了最先进的低延迟(每个查询64 ms)结果。在NDCG@10上进行评估,我们的表现比BM 25好44%,比普通训练的DR好19%,比docT 5 query好11%,比之前最好的DR模型好5%。此外,TAS-Balanced还生成了第一个密集检索器,该检索器在TREC-DL的任何截止点上的召回率都优于其他所有方法,并允许更多资源密集型重新排序模型在更少的段落上…
2021-05-26 cs.CL cs.IR
CONVERSER: Few-Shot Conversational Dense Retrieval with Synthetic Data Generation
National Taiwan University(台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对对话式密集检索因领域内配对数据获取成本高而难以训练的问题,提出CONVERSER框架,利用大语言模型的上下文学习能力仅需最多6个样本生成合成数据,在OR-QuAC和TREC CAsT 19基准上达到与全监督模型相当的性能。
2023-09-13 cs.CL cs.IR
Questions Are All You Need to Train a Dense Passage Retriever
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Meta AI;DeepMind(深度思维);University of Washington(华盛顿大学)
提出无需标注数据的语料库级自编码方法ART,通过问题重建训练密集检索模型,在多个QA检索基准上取得最先进结果。
2023-04-03 cs.CL cs.IR
Accelerating Retrieval-Augmented Language Model Serving with Speculation
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
针对迭代式RaLM频繁检索导致的高延迟问题,提出RaLMSpec框架,通过推测检索、批量验证、预取、调度和异步验证在保持输出不变的同时实现显著服务加速。
2024-01-25 cs.CL cs.IR cs.LG