Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval
Alibaba Group(阿里巴巴集团)
预训练的语言模型(PTM)已被证明产生强大的文本表示密集段落检索任务。Masked Language Modeling(MLM)是预训练过程的一个主要子任务。然而,我们发现,传统的随机掩蔽策略倾向于选择大量的令牌,对段落检索任务的影响有限(例如,停止词和标点符号)。通过注意到术语重要性权重可以为段落检索提供有价值的信息,我们在此提出了替代的面向检索的掩蔽(称为ROM)策略,其中更重要的标记将具有更高的被掩蔽的概率,以捕获这种简单而重要的信息,以促进语言模型预训练过程。值得注意的是,所提出的新的令牌掩蔽方法不会改变原始PTM的架构和学习目标。我们的实验验证了所提出的ROM使术语重要性信息,以帮助语言模型预训练,从而实现更好的性能多通道检索基准。
2022-10-27 cs.CL cs.IR
Typo-Robust Representation Learning for Dense Retrieval
VISTEC(泰国国家科技发展局维斯特克学院);Chulalongkorn University(朱拉隆功大学)
本文提出一种改进密集检索对拼写错误鲁棒性的方法,通过增强错误查询与周围查询的对比度,在基准测试中优于现有方法。
2023-06-17 cs.CL cs.IR
DPTDR: Deep Prompt Tuning for Dense Passage Retrieval
Tencent(腾讯);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
深度提示微调(DPT)在大多数自然语言处理~(NLP)任务中获得了巨大的成功。然而,在稠密检索中,微调FT仍占主导地位,这一点还没有得到很好的研究。当使用相同的骨干模型部署多个检索任务时~(例如,RoBERTa),基于FT的方法在部署成本方面是不友好的:每个新的检索模型都需要重复部署骨干模型,而不能重用。为了减少部署成本,在这样的情况下,这项工作研究应用DPT在稠密检索。挑战在于,直接将DPT应用于稠密检索在很大程度上不如FT方法。为了弥补性能下降,我们提出了两个模型不可知和任务不可知的策略,即检索为导向的中间预训练和统一的负面挖掘,作为一种通用的方法,可以兼容任何预训练的语言模型和检索任务。实验结果表明,所提出的方法(称为DPTDR)优于以前的国家的最先进的MS-MARCO和自然问题的模型。我们还进行了消融研究,以检查DPTDR中每种策略的有效性。我们相信这项工作为行业带来了便利,因为它节省了大量的部署工作和成本,并提高了计算资源的利用率。我们的代码可在https://github.com/tangzhy/DPTDR上获得。
2022-08-24 cs.CL cs.IR
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,使用微调的语言模型~(LM)的稠密检索的有效性。然而,密集的猎犬很难训练,通常需要大量工程微调管道,以实现其全部潜力。在本文中,我们确定和解决两个基本问题的密集检索:i)~脆弱的训练数据噪声和ii)~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构,该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上,我们提出了coCondenser,它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明,coCondenser消除了对增强、合成或过滤等繁重数据工程的需求,以及对大批量训练的需求。它显示出与RocketQA相当的性能,RocketQA是一个最先进的,经过大量工程设计的系统,使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
Transfer Learning Approaches for Building Cross-Language Dense Retrieval Models
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
基于transformer的模型(如BERT)的出现导致了神经排名模型的兴起。这些模型提高了检索系统的有效性,远远超过了词汇匹配模型,如BM 25。虽然单语检索任务受益于MS MARCO等大规模训练集和神经架构的进步,但跨语言检索任务已经落后于这些进步。本文介绍了ColBERT-X,一个推广的ColBERT多表示稠密检索模型,使用XLM-RoBERTa(XLM-R)编码器,以支持跨语言信息检索(CLIR)。ColBERT-X可以通过两种方式进行训练。在zero-shot训练中,系统在英语MS MARCO集合上进行训练,依赖于XLM-R编码器进行跨语言映射。在快速训练中,系统在MS MARCO英语查询上进行训练,并结合相关MS MARCO段落的机器翻译。在几种语言的特设文档排序任务的结果表明,这些训练的稠密检索模型在传统的词汇CLIR基线的实质性和统计上显着的改善。
2022-01-20 cs.CL cs.IR
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Thrust of Artificial Intelligence(人工智能分支(或:人工智能 thrust,按原文直译))
本文提出蕴含调优方法,以存在性断言为桥梁统一检索与自然语言推理数据,通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言,从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation
Johns Hopkins University(约翰斯·霍普金斯大学)
针对信息检索模型监督训练需大量标注数据的问题,提出RE-AdaptIR方法,仅用无标注数据改进基于大语言模型的检索模型,在训练域和零样本域均实现性能提升,相关发现可供从业者参考。
2024-06-20 cs.AI cs.CL cs.IR
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University(特兹普尔大学)
该研究针对社交媒体科学断言的多语言来源检索难题,提出结合微调密集检索与交叉编码器重排序的两阶段框架,经实验验证元数据丰富化及交叉编码器重排序可提升效果,在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Phrase Retrieval Learns Passage Retrieval, Too
Princeton University(普林斯顿大学);Korea University(高丽大学)
密集检索方法在一系列自然语言处理问题中显示出比稀疏检索方法更好的前景。其中,密集短语检索是最细粒度的检索单元,因为短语可以直接用作问答和槽填充任务的输出。在这项工作中,我们遵循的直觉,检索短语自然需要检索较大的文本块,并研究短语检索是否可以作为粗层次检索,包括段落和文件的基础。我们首先观察到,与段落检索器相比,密集短语检索系统在没有任何再训练的情况下已经实现了更好的段落检索准确度(前5名准确度为+3-5%),这也有助于以更少的段落实现卓越的端到端QA性能。然后,我们提供了一个解释,为什么短语级监督有助于学习更好的细粒度蕴涵相比,短语级监督,也表明,短语检索可以得到改善,以实现有竞争力的性能,在文档检索任务,如实体链接和知识为基础的对话。最后,我们展示了短语过滤和矢量量化如何将索引的大小减少4 - 10倍,使密集短语检索成为多粒度检索中实用且通用的解决方案。
2021-09-16 cs.CL cs.IR
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Korea University(高丽大学);Meta AI;Google Research(谷歌研究院);Apple(苹果公司)
构建密集的检索器需要一系列标准程序,包括训练和验证神经模型,以及创建索引以实现高效搜索。然而,这些程序往往是不一致的,训练目标并不完全反映检索场景在推理时间。在本文中,我们探讨了如何减少稠密检索中训练和推理之间的差距,重点是密集短语检索(Lee等人,2021年),其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的,我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略,包括统一对比损失术语和使用硬否定词进行短语检索,这在很大程度上减少了训练-推理的差异。实验结果表明,在开放领域问答中,我们将前1短语的检索准确率提高了2~3个点,前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理,通过有效的验证,同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
最近,稠密检索(DR)已成为一个很有前途的解决方案,文档检索,其中的文档表示是用来执行有效和高效的语义搜索。然而,由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量,DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略,如截断或拆分和池长文档,导致整个文档信息的利用率很低。在这项工作中,为了解决这个问题,我们提出了段表示学习的长文档稠密检索(SeDR)。在SeDR中,Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示,同时它保持了拆分和池化的复杂性,并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足,因此进一步提出了Late-Cache Negative,以提供额外的缓存负性,用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明,SeDR在DR模型中取得了更优越的性能,并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出BERM方法,通过将段落分割为单元并施加语义单元平衡与关键匹配单元可提取性约束,捕获细粒度且面向查询的匹配信号,有效提升了稠密检索在未见域的泛化能力且无额外开销。
2023-05-18 cs.CL cs.IR
Dense Passage Retrieval: Is it Retrieving?
Georgia Institute of Technology(佐治亚理工学院)
本文通过探测、层激活分析和模型编辑机制性研究DPR,发现其训练使知识存储去中心化,但检索能力受预训练模型内部知识限制,并提出四个改进方向。
2024-10-03 cs.CL cs.IR
Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
Alibaba Group(阿里巴巴集团)
针对密集段落检索的MAE预训练,提出基于逐点互信息的token重要性感知掩码策略以增加解码器挑战,从而提升编码器表示能力,该方法无需额外开销且在大规模和零样本基准上均有效。
2023-05-22 cs.CL cs.IR
Domain-matched Pre-training Tasks for Dense Retrieval
Facebook AI Research(脸书人工智能研究院)
在模型大小不断增加的大型数据集上进行预训练现在是几乎所有NLP任务提高性能的有效方法。一个值得注意的例外是信息检索,额外的预训练迄今未能产生令人信服的结果。我们表明,通过正确的预训练设置,可以克服这一障碍。我们通过对1)最近发布的6500万个合成生成的问题集和2)来自pushshift.io提供的Reddit对话的现有数据集的2亿个评论后对进行预训练来证明这一点。我们评估了一组信息检索和对话检索基准,显示出实质性的改进监督基线。
2021-07-28 cs.CL cs.IR
Predict the Retrieval! Test time adaptation for Retrieval Augmented Generation
提出TTARAG方法,在测试时动态更新语言模型参数以预测检索内容,从而提升RAG系统在专业领域的泛化性能。
2026-07-15 cs.CL
Feedback Adaptation for Retrieval-Augmented Generation
Qualcomm AI Research(高通人工智能研究)
研究提出反馈适应问题,通过引入修正延迟和反馈后性能两个指标,评估RAG系统在反馈后的适应能力,并提出PatchRAG模型实现即时修正与强泛化。
2026-04-16 cs.CL
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Multi-Step Reasoning Over Unstructured Text with Beam Dense Retrieval
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
复杂的问答通常需要找到由多个证据组成的推理链。目前的方法结合了结构化知识和非结构化文本的优势,假设文本语料库是半结构化的。基于稠密检索方法,提出了一种新的多步检索方法(BeamDR),通过密集表示中的束搜索迭代形成证据链。当在多跳问答上进行评估时,BeamDR与最先进的系统相比具有竞争力,而不使用任何半结构化信息。通过密集空间中的查询组合,BeamDR捕获推理链中证据之间的隐含关系。该代码可在https://github.com/ henryzhao 5852/BeamDR上获得。
2021-04-13 cs.CL
Mitigating the Impact of False Negatives in Dense Retrieval with Contrastive Confidence Regularization
Nanjing University(南京大学)
本文针对密集检索中的假阴性问题,提出对比置信度正则化器以增强NCE损失对噪声的鲁棒性,并设计模型无关的噪声负样本过滤方法,在三个数据集上验证其优于现有密集检索系统。
2024-01-13 cs.CL
Dense Passage Retrieval for Open-Domain Question Answering
Facebook AI(脸书人工智能研究院);University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
开放域问答依赖于有效的段落检索来选择候选上下文,传统的稀疏向量空间模型,如TF-IDF或BM 25,是事实上的方法。在这项工作中,我们表明,检索实际上可以单独使用密集表示,其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习。当在广泛的开放域QA数据集上进行评估时,我们的密集检索器在前20个段落检索准确率方面的绝对性能大大超过强大的Lucene-BM 25系统9%-19%,并帮助我们的端到端QA系统在多个开放域QA基准上建立新的最先进水平。
2020-09-30 cs.CL
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc(NTT公司)
提出非负弹性网络(NNN)解码方法,将检索视为联合解码问题,通过稀疏非负线性组合重构查询嵌入,在理论上严格优于稠密检索,实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Back-Training excels Self-Training at Unsupervised Domain Adaptation of Question Generation and Passage Retrieval
Mila/McGill University(Mila/麦吉尔大学);Korbit Technologies(Korbit 科技公司);Facebook CIFAR AI Chair(Facebook CIFAR AI 讲席)
在这项工作中,我们引入了反向训练,一种替代自训练的无监督领域自适应(UDA)从源到目标域。虽然自训练生成合成训练数据,其中自然输入与噪声输出对齐,但反向训练导致自然输出与噪声输入对齐。这显著地减小了目标域和合成数据分布之间的间隙,并且减小了模型对源域的过拟合。我们从\textit{Natural Questions}域到机器学习和生物医学域运行UDA实验的问题生成和段落检索。我们发现,反向训练大大优于自我训练,平均提高了7.8 BLEU-4分,在两个领域的前20名检索准确率为17.6%。我们进一步提出了一致性过滤器,以在训练之前去除低质量的合成数据。我们还发布了一个新的领域适应数据集- \textit{MLQuestions},包含35 K未对齐的问题,50 K未对齐的段落和3 K对齐的问题-段落对。
2021-09-09 cs.AI cs.CL cs.LG
Unlocking Multi-View Insights in Knowledge-Dense Retrieval-Augmented Generation
School of Artificial Intelligence, Beihang University(北航人工智能学院);Zhongguancun Laboratory(中关村实验室)
本文提出MVRAG框架,通过多领域视角的意图感知查询重写提升知识密集型RAG的检索精度,在法律和医学案例检索中显著提高召回率和精确率。
2025-10-23 cs.CL
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
开放域QA的最新进展已经导致了基于稠密检索的强大模型,但仅专注于检索文本段落。在这项工作中,我们解决了开放域QA表的第一次,并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序,我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失,我们提取了自然问题的子集(Kwiatkowski等人,2019年)到表QA数据集。我们发现,我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配,超过一个BERT为基础的检索器。
2021-06-09 cs.CL
Deep Learning Based Dense Retrieval: A Comparative Study
Georgia Institute of Technology(佐治亚理工学院)
本文比较 BERT、DPR、Contriever、SimCSE 与 ANCE 在分词器投毒下的表现,发现监督模型更脆弱、微小扰动即可显著降低检索准确率。
2024-10-27 cs.AI cs.CL
ConTextual Masked Auto-Encoder for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
密集段落检索旨在基于密集表示(即,向量)的查询和段落。最近的研究探索了改进预训练的语言模型以提高稠密检索性能。提出了一种用于密集段落检索的生成式预训练方法CoT-MAE(Contextual Masked Auto-Encoder)。CoT-MAE采用非对称编码器-解码器架构,通过自监督和上下文监督掩码自动编码学习将句子语义压缩为密集向量。准确地说,自监督掩码自动编码学习对文本跨度内的标记的语义进行建模,而上下文监督掩码自动编码学习对文本跨度之间的语义相关性进行建模。我们进行了大规模的通道检索基准的实验,并显示出相当大的改善强基线,证明了高效率的CoT-MAE。我们的代码可在https://github.com/caskcsg/ir/tree/main/cotmae上获得。
2022-12-01 cs.AI cs.CL
Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering
Microsoft Research(微软研究院);Microsoft Semantic Machines(微软语义机器公司)
提出TASER架构,通过交替共享和特化块实现参数共享,在五个问答数据集上以约60%参数超越BM25及双编码器,提升准确率与域外鲁棒性。
2023-05-22 cs.CL
Topic-DPR: Topic-based Prompts for Dense Passage Retrieval
South China Normal University(华南师范大学);The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Topic-DPR,通过基于主题的提示和对比学习解决密集段落检索中的语义空间坍缩问题,并引入正负采样策略,在两个数据集上超越现有最先进方法。
2023-10-10 cs.AI cs.CL
Leveraging the Domain Adaptation of Retrieval Augmented Generation Models for Question Answering and Reducing Hallucination
本文通过领域自适应研究多种RAG架构在酒店客服问答中的表现,构建HotelConvQA数据集并证明领域自适应能提升问答性能且显著减少幻觉。
2024-10-23 cs.CL cs.HC
Control Token with Dense Passage Retrieval
Diqest(迪奎斯特)
本研究针对大语言模型幻觉问题,通过引入控制令牌增强稠密段落检索模型,显著提升文档检索准确率,Top-1提升13%,Top-20提升4%。
2024-05-13 cs.AI cs.CL
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
Technical University of Darmstadt(达姆施塔特工业大学);University of Waterloo(滑铁卢大学);Hugging Face
稠密检索方法可以克服词汇鸿沟,并导致显着改善的搜索结果。然而,它们需要大量的训练数据,这对于大多数领域是不可用的。如先前的工作所示(Thakur等人,2021b),密集检索器的性能在域转移下严重降低。这将稠密检索方法的使用限制在仅具有大训练数据集的少数域。在本文中,我们提出了新的无监督领域自适应方法生成伪标记(GPL),它结合了查询生成器和伪标记从交叉编码器。在六个有代表性的领域专用数据集上,我们发现建议的GPL可以优于开箱即用的最先进的稠密检索方法,最多可达9.3点nDCG@10。GPL需要来自目标域的更少(未标记)数据,并且在训练中比以前的方法更鲁棒。我们进一步研究了六个最近的预训练方法在检索任务的领域自适应场景中的作用,其中只有三个可以产生改进的结果。最好的方法,TSDAE(Wang等人,2021年)可以与GPL结合使用,在六个任务中平均提高1.4分nDCG@10。代码和模型可在https://github.com/UKPLab/gpl上获得。
2022-04-25 cs.CL cs.IR
Lexically-Accelerated Dense Retrieval
Georgetown University(乔治城大学);University of Glasgow(格拉斯哥大学)
本文提出 LADR(词汇加速的稠密检索)方法,利用词汇检索为基于文档邻近图的稠密检索提供种子,在保证检索有效性的同时显著提升效率,并在标准基准上实现与穷举搜索相当的精确率和召回率。
2023-07-31 cs.CL cs.IR
Condenser: a Pre-training Architecture for Dense Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
预训练的Transformer语言模型(LM)已经成为文本表示编码器。先前的研究微调了深度LM,将句子和段落等文本序列编码为单个密集向量表示,以实现高效的文本比较和检索。然而,密集编码器需要大量的数据和复杂的技术来有效地训练,并在低数据情况下受到影响。本文发现一个关键的原因是,标准的LM的内部注意力结构是不准备使用的密集编码器,这需要聚合文本信息到密集表示。我们建议使用一种新的Transformer架构Condenser对密集编码器进行预训练,其中LM预测条件基于DENSE表示。我们的实验表明,Condenser在各种文本检索和相似性任务上比标准LM提高了很大的幅度。
2021-09-20 cs.CL cs.IR
Tevatron: An Efficient and Flexible Toolkit for Dense Retrieval
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
深度预训练语言模型的快速发展和大型数据集的引入推动了基于嵌入的稠密检索的研究。虽然已经出现了一些很好的研究论文,但其中许多都有自己的软件栈。这些堆栈通常针对某些特定的研究目标进行优化,而不是效率或代码结构。在本文中,我们提出了Tevatron,一个稠密检索工具包优化的效率,灵活性和代码的简单性。Tevatron为稠密检索提供了标准化的管道,包括文本处理、模型训练、语料库/查询编码和搜索。本文介绍了Tevatron的概述,并在几个IR和QA数据集上展示了其有效性和效率。我们还展示了Tevatron的灵活设计如何实现跨数据集、模型架构和加速器平台(GPU/TPU)的轻松泛化。我们相信Tevatron可以作为稠密检索系统研究的有效软件基础,包括设计,建模和优化。
2022-03-11 cs.CL cs.IR
Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval
University of Waterloo(滑铁卢大学)
我们提出了先生TyDi,一个多语言的基准数据集,用于在11种类型学上不同的语言中进行单语言检索,旨在评估学习密集表示的排名。该资源的目标是刺激非英语语言中稠密检索技术的研究,其动机是最近观察到现有的表示学习技术在应用于分布外数据时表现不佳。作为一个起点,我们为这个新的数据集提供了zero-shot基线,这是基于我们称之为“mDPR”的DPR的多语言适应。实验表明,尽管mDPR的有效性远低于BM 25,但密集表示似乎仍然提供了有价值的相关性信号,改进BM 25导致稀疏-密集混合。除了分析我们的结果,我们还讨论了未来的挑战,并提出了多语言稠密检索的研究议程。TyDi先生可在https://github.com/castorini/mr.tydi下载。
2021-11-08 cs.CL cs.IR
CONVERSER: Few-Shot Conversational Dense Retrieval with Synthetic Data Generation
National Taiwan University(台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对对话式密集检索因领域内配对数据获取成本高而难以训练的问题,提出CONVERSER框架,利用大语言模型的上下文学习能力仅需最多6个样本生成合成数据,在OR-QuAC和TREC CAsT 19基准上达到与全监督模型相当的性能。
2023-09-13 cs.CL cs.IR
GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval
Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Department of Computer Science(计算机科学系);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Technical University of Darmstadt(达姆施塔特工业大学);cohere(Cohere公司)
GRITHopper-7B通过结合生成和表示指令微调,提出了一种无分解多跳密集检索模型,实现了在分布内和分布外基准上的最佳性能。
2026-01-22 cs.CL cs.IR
AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation
Salesforce Research(Salesforce研究院)
本研究针对稠密检索依赖人工标注的问题,提出AugTriever框架,通过查询提取和迁移式查询生成两种无监督数据增强方法生成伪查询-文档对,在BEIR和ODQA数据集上实现了优于强基线的无监督稠密检索、域适应及有监督微调效果。
2024-10-30 cs.CL cs.IR
Dense Retrieval for Low Resource Languages -- the Case of Amharic Language
Addis Ababa University(亚的斯亚贝巴大学);Univ. Capitole(卡皮托勒大学);IRIT(信息技术与电信研究所);CNRS(法国国家科学研究中心);Univ. de Toulouse(图卢兹大学);INSPE(国家教育高级学院);UT2J(让·饶勒斯大学)
本文探讨了在阿姆哈拉语这一低资源语言上应用稠密检索的困难与成果,并介绍了亚的斯亚贝巴大学的相关努力。
2025-03-24 cs.CL cs.IR
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
BoolQuestions: Does Dense Retrieval Understand Boolean Logic in Language?
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团)
本文提出布尔稠密检索任务及基准数据集BoolQuestions,发现现有稠密检索系统难以理解语言中的布尔逻辑,并提出对比式持续训练方法作为强基线以推动相关研究。
2024-11-19 cs.CL cs.IR
Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究了影响 Vec2Text 文本嵌入反演攻击稠密检索系统时文本可恢复性的多种因素,并提出了一种在保证排序有效性同时降低恢复风险的嵌入变换修复方法。
2024-07-24 cs.CL cs.IR
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology(东京工业大学)
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是,SPLADE,它编码的文本稀疏向量,是一个有效的模型,用于实际使用,因为它显示了鲁棒性域外数据集。然而,SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外,词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的,所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法,通过填充词汇和词频的差距。首先,我们扩展词汇表,并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后,我们乘以SPLADE编码的稀疏向量的逆文档频率权重,以考虑的重要性,与低频字的文件。我们使用我们的方法在数据集上进行了实验,这些数据集与源域有很大的词汇差距。我们表明,我们的方法优于目前最先进的领域自适应方法。此外,我们的方法实现了最先进的结果,结合BM 25。
2022-11-08 cs.CL cs.IR
Scaling Laws For Dense Retrieval
Tsinghua University(清华大学);Quan Cheng Laboratory(泉城实验室);Renmin University of China(中国人民大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Zhongguancun Laboratory(中关村实验室);Xiaohongshu Inc(小红书科技有限公司)
本研究针对密集检索领域缩放定律未被充分探究的问题,采用对比对数似然为指标开展实验,证实其性能随模型规模和标注量呈幂律缩放,还研究了数据增强的影响并得出预算下最优资源分配策略。
2024-07-15 cs.CL cs.IR
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型(例如多语言BERT)替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据(如英语MS MARCO)的检索任务,使用与所使用的单语言检索模型相同的训练配方。然而,这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中,我们提出了使用适配器,一个参数有效的组件,一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器,先前的工作表明,在各种NLP任务中跨语言传输时,适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型,我们表明,当转移到跨语言信息检索(CLIR)设置时,用单语数据训练的模型比微调整个模型更有效。然而,我们发现,先前的建议,更换语言适配器,以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
Are We There Yet? A Decision Framework for Replacing Term Based Retrieval with Dense Retrieval Systems
TU Wien(维也纳工业大学);Microsoft(微软);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
最近,几个稠密检索(DR)模型已被证明具有竞争力的性能,以基于术语的检索是无处不在的搜索系统。与基于术语的匹配相比,DR将查询和文档投影到密集的向量空间中,并通过(近似)最近邻搜索检索结果。部署新系统(如DR)不可避免地涉及性能方面的权衡。大规模运行的已建立的检索系统通常在有效性和成本方面得到很好的理解,例如查询延迟,索引吞吐量或存储要求。在这项工作中,我们提出了一个框架,一套标准,超越简单的有效性措施,彻底比较两个检索系统的明确目标,评估一个系统的准备,以取代其他。这包括在有效性和各种成本因素之间仔细权衡考虑。此外,我们描述了护栏标准,因为即使是一个系统,更好的平均可能有系统故障的少数查询。护栏检查某些查询特征上的故障和仅在稠密检索系统中可能的新故障类型。我们展示了我们的决策框架上的Web排名的情况。在这种情况下,最先进的DR模型具有令人惊讶的强大结果,不仅在平均性能上,而且通过了一系列广泛的护栏测试,显示了不同查询特征,词汇匹配,泛化和回归次数的鲁棒性。我们无法预测DR在未来是否会变得无处不在,但有一种可能性是通过重复应用决策过程,如本文所述。
2022-06-26 cs.CL cs.IR
RALI@iKAT 2026: Retrieval-aware User Profile Denoising via Personalized Conversational Dense Retrieval
Université de Montréal(蒙特利尔大学)
针对对话式信息访问系统的用户画像噪声问题,提出PCDR方法,仅需少量个性化标注即可训练,在iKAT 2026任务中作为核心检索组件,助力对话智能体服务复杂信息需求用户。
2026-10-14 cs.CL cs.IR
Dense Sparse Retrieval: Using Sparse Language Models for Inference Efficient Dense Retrieval
the University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究将稀疏语言模型用于稠密检索以提升推理效率,在 MSMARCO、NQ 和 TriviaQA 数据集上实现准确率几乎无损且推理速度提升达 4.3 倍。
2023-03-31 cs.AI cs.CL cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
A Representation Sharpening Framework for Zero Shot Dense Retrieval
Information Sciences Institute, University of Southern California(信息科学研究所,南加州大学);Amazon(亚马逊)
本文提出一种无需训练的表示锐化框架,通过增强文档表示以区分相似文档,在零样本稠密检索中显著提升性能,并在 BRIGHT 基准上达到最优,同时兼容现有方法且不增加推理成本。
2025-11-07 cs.CL cs.IR
More Than Efficiency: Embedding Compression Improves Domain Adaptation in Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
针对密集检索中训练与目标领域分布不匹配的问题,提出对查询嵌入进行PCA压缩以保留领域相关特征并丢弃非判别成分,在9个检索器和14个MTEB数据集上验证了该方法能有效提升检索性能。
2026-07-15 cs.IR
Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
本文提出利用LLM生成查询扩展文档,并通过对比学习、瓶颈式查询生成与课程学习预训练稠密检索器,显著提升大规模网页搜索的零样本和跨域性能。
2023-08-16 cs.CL cs.IR