Domain Adaptation for Dense Retrieval and Conversational Dense Retrieval through Self-Supervision by Meticulous Pseudo-Relevance Labeling
提出结合查询生成与自监督伪相关标注(使用T5-3B和困难负例)的方法,实现密集检索及对话密集检索的领域自适应,实验证明微调后基线模型性能提升。
2024-03-13 cs.IR
LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval
针对稠密与稀疏词法检索的快速融合问题,提出 CluSD:利用稀疏结果与嵌入簇重叠及 LSTM 两阶段选择相关簇,按需执行部分稠密检索和块磁盘 I/O,并在 MS MARCO、BEIR 上对比基线验证。
2025-02-15 cs.IR
Interpret and Control Dense Retrieval with Sparse Latent Features
针对稠密检索嵌入可解释性与可控性不足的问题,本文提出基于稀疏自编码器与面向检索对比损失的方法,通过稀疏潜在特征解释控制检索,在保持原准确率的同时实现检索行为调控。
2025-02-23 cs.IR
DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval
在本文中,我们介绍了我们在2021年法律信息抽取/蕴涵竞赛(COLIEE)中的案例法检索和法律案例蕴涵任务的方法。作为第一阶段的检索方法结合神经重新排序的方法,使用语境化的语言模型,如BERT取得了很大的性能改善信息检索在网络和新闻领域,我们评估这些方法的法律领域。法律案例检索的一个显著特点是,语料库中的查询案例和案例描述往往是长文档,因此超过了BERT的输入长度。我们解决这一挑战相结合的词汇和稠密检索方法的段落级别的情况下,第一阶段检索。在这里,我们证明了段落级的检索优于文档级的检索。此外,实验表明,稠密检索方法优于词汇检索。对于重新排序,我们通过总结案例并使用摘要微调基于BERT的重新排序器来解决长文档的问题。总的来说,我们最好的结果是使用特定领域嵌入的BM 25和密集通道检索的组合。
2021-08-09 cs.IR
Dimension Reduction for Efficient Dense Retrieval via Conditional Autoencoder
密集检索器对查询和文档进行编码,并使用预训练的语言模型将它们映射到嵌入空间中。这些嵌入需要是高维的,以适应训练信号,并保证密集检索器的检索效率。然而,这些高维嵌入导致更大的索引存储和更高的检索延迟。为了降低稠密检索的嵌入维数,提出了一种条件自动编码器(ConAE)对高维嵌入进行压缩,以保持相同的嵌入分布,更好地恢复排序特征。我们的实验表明,ConAE是有效的压缩嵌入实现可比的排名性能与教师模型,使检索系统更有效。进一步的分析表明,ConAE算法可以有效地降低稠密检索中嵌入的冗余度,而只需要一个线性层。这项工作的所有代码都可以在https://github.com/NEUIR/ConAE上找到。
2022-10-22 cs.IR
Computed, not Memorized: Bit-Factorized Identifiers for Efficient Generative Retrieval
Leiden University(莱顿大学);Shandong University(山东大学);Radboud University(拉德堡德大学)
本文提出一种比特分解的数字DocID设计,无需额外训练即可提升生成式检索对未见过文档的泛化能力,在多个基准上显著改善未见过文档检索性能并降低推理延迟。
2026-10-14 cs.IR
Densifying Sparse Representations for Passage Retrieval by Representational Slicing
学习稀疏和密集表示捕捉不同的成功方法来文本检索和融合的结果已被证明是更有效和强大的。先前的工作结合了密集和稀疏检索融合他们的模型分数。作为一种替代方案,本文提出了一种简单的方法来加密稀疏表示的文本检索,不涉及任何训练。我们的密集稀疏表示(DSRs)是可解释的,可以很容易地与密集表示相结合,用于端到端检索。我们证明了我们的方法可以在一个单一的模型中联合学习稀疏和密集表示,然后将它们结合起来进行稠密检索。实验结果表明,结合我们的DSR和密集表示产生了平衡的有效性和效率之间的权衡。
2021-12-09 cs.IR
Imagine All The Relevance: Scenario-Profiled Indexing with Knowledge Expansion for Dense Retrieval
提出稠密检索框架SPIKE,通过将文档分解为场景检索单元并利用LLM知识蒸馏,显式索引隐式相关性,从而提升推理密集型任务的检索性能与RAG体验。
2025-07-17 cs.IR
Offline Pseudo Relevance Feedback for Efficient and Effective Single-pass Dense Retrieval
针对伪相关反馈会使稠密检索在线延迟翻倍的问题,提出将PRF流程转移到离线的单轮稠密检索框架,在标准数据集上验证了其有效性,可在保证效果的同时提升在线检索速度。
2023-08-20 cs.IR
ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval
ScalingNote提出两阶段方法,先用同一LLM初始化双塔释放稠密检索潜力,再仅蒸馏查询塔以控制在线延迟,在工业场景中验证了LLM稠密检索的扩展定律并提升检索相关性。
2024-11-24 cs.IR
The Overlooked Role of Graded Relevance Thresholds in Multilingual Dense Retrieval
OriginAI
本文探讨了多语言密集检索中分级相关性阈值对性能的影响,发现阈值选择需根据语言和任务调整,以提升检索效果并减少微调数据需求。
2026-01-07 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题,提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法,在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索(UniversalVision-Language Dense Retrieval,UniVL-DR),为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码,用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索,UniVL-DR提出了两种技术:1)通用嵌入优化策略,使用模态平衡的硬否定对比优化嵌入空间; 2)图像动词化方法,弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平,在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明,通用多模态搜索是可行的,以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
TriSampler: A Better Negative Sampling Principle for Dense Retrieval
针对稠密检索中缺乏负采样指导原则的问题,通过理论分析提出准三角原则,并基于此设计了在约束区域内采样高信息量负样本的TriSampler方法,在多种检索模型上持续实现更优性能。
2024-02-19 cs.IR
Static Pruning in Dense Retrieval using Matrix Decomposition
针对现有稠密检索嵌入降维方法查询相关、无法离线应用影响效率的问题,提出基于PCA的查询无关静态剪枝方法,可离线执行,降维超50%时NDCG@10下降最多5%,显著提升效率且效果影响极小。
2024-12-13 cs.IR
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
Interpreting Conversational Dense Retrieval by Rewriting-Enhanced Inversion of Session Embedding
本文提出 CONVINV 方法,通过基于 ad-hoc 查询编码器训练 Vec2Text 模型并融入外部查询重写,将不透明的会话嵌入转换为可解释文本,在保持检索性能的同时提升会话密集检索的可解释性。
2024-06-01 cs.IR
Anserini Gets Dense Retrieval: Integration of Lucene's HNSW Indexes
本文将 Lucene 的 HNSW 稠密向量索引集成到 Anserini,在同一 Java 软件栈内统一稀疏与稠密检索,并在 MS MARCO 和 BEIR 上验证其效果与效率。
2023-04-24 cs.IR
Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制,从Rocchio到相关性模型,已经显示出使用在被检索文档的初始集合(被称为伪相关集合)中出现的信息来扩展和重新加权用户的初始查询的有用性。最近,稠密检索-通过使用神经上下文语言模型,如BERT分析文档和查询的内容,并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引,用于识别文档相关的查询。出现了两种不同的稠密检索家族:对每个段落和查询使用单个嵌入式表示(例如使用BERT的[CLS]令牌),或通过多个表示(例如使用查询和文档的每个令牌的嵌入)。在这项工作中,我们进行了第一次研究的潜力多表示稠密检索,以提高使用伪相关反馈。特别是,基于使用第一遍稠密检索识别的伪相关文档集,我们提取代表性的反馈嵌入(使用KMeans聚类)--同时确保这些嵌入区分段落(基于IDF)--然后将其添加到查询表示中。这些额外的反馈嵌入,以提高效率的重新排序,以及一个额外的稠密检索操作。事实上,在MSMARCO通道排名数据集上的实验表明,通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法,MAP在TREC 2019查询集上可以提高26%,在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
GNN-encoder: Learning a Dual-encoder Architecture via Graph Neural Networks for Dense Passage Retrieval
最近,基于密集表示的检索模型在段落检索任务中占主导地位,由于其出色的能力,在捕捉输入文本的语义相比,传统的稀疏向量空间模型。稠密检索模型的一个常见做法是利用双编码器架构来独立地表示查询和段落。虽然有效,但这样的结构失去了查询-通道对之间的交互,导致准确性较差。为了提高稠密检索模型的性能而不损失效率,我们提出了一个GNN编码器模型,其中查询(通道)信息融合到通道(查询)表示通过图神经网络,构建查询和他们的顶部检索通道。通过这种方法,我们保持了一个双编码器结构,并保留了一些查询-通道对之间的相互作用信息,这使我们能够实现效率和功效的通道检索。评估结果表明,我们的方法在MSMARCO,Natural Questions和TriviaQA数据集上的性能明显优于现有模型,并在这些数据集上达到了新的最先进水平。
2022-10-12 cs.IR
Dense Hierarchical Retrieval for Open-Domain Question Answering
密集型神经文本检索在开放域问答(QA)中取得了令人鼓舞的成果,其中问题和段落的潜在表示被利用来在检索过程中进行最大内积搜索。然而,目前的密集检索器需要分裂成短的段落,通常包含本地,部分,有时偏见的背景下,并高度依赖于分裂过程的文件。因此,它可能会产生不准确和误导的隐藏表示,从而恶化最终的检索结果。在这项工作中,我们提出了密集层次检索(DHR),层次结构框架,可以生成准确的密集表示的通道,利用宏观语义的文件和微观语义特定于每个通道。具体地说,文档级检索器首先识别相关文档,然后由文档级检索器检索其中的相关段落。检索到的段落的排名将通过检查文档级别的相关性来进一步校准。此外,分层标题结构和两个负抽样策略(即,In-Doc和In-Sec阴性)。我们将DHR应用于大规模开放域QA数据集。DHR显著优于原始的密集通道检索器,并帮助端到端QA系统在多个开放域QA基准上优于强基线。
2021-10-28 cs.IR
Generative Retrieval Overcomes Limitations of Dense Retrieval but Struggles with Identifier Ambiguity
Vienna University of Economics and Business(维也纳经济与商业大学)
本文通过合成数据集LIMIT研究生成检索的优劣,发现其在无额外训练时表现最佳,但添加难样本后性能下降,揭示解码机制失效问题。
2026-04-08 cs.IR
Improving Dense Passage Retrieval with Multiple Positive Passages
本文探讨了在训练期间为每个问题配备多个正例段落对 Dense Passage Retrieval (DPR) 性能的影响,发现这种方法能持续提升检索准确率,并允许在单 GPU 上使用更小批大小进行训练。
2025-08-13 cs.IR
Interpreting Dense Retrieval as Mixture of Topics
稠密检索(DR)在第一阶段的检索中达到了最先进的结果,但对其成功的机制知之甚少。因此,在这项工作中,我们最近提出的DR模型进行解释研究。具体来说,我们首先离散化文档和查询编码器输出的嵌入。基于离散表示,我们分析了输入标记的属性。定性和定量实验都是在公共测试集上进行的。结果表明,DR模型注意不同方面的输入和提取各种高层次的主题表示。因此,我们可以将DR模型学习的表示视为高级主题的混合。
2021-11-27 cs.IR
Query Embedding Pruning for Dense Retrieval
稠密检索技术的最新进展提供了这样的希望,即不仅能够使用诸如BERT之类的上下文化语言模型对文档进行重新排序,而且还能够首先使用这些模型从集合中识别文档。然而,当使用针对每个查询使用多个嵌入式表示的稠密检索方法时,针对每个查询可以检索大量文档,这阻碍了该方法的效率。因此,这项工作是第一个考虑效率的提高,在上下文中的稠密检索方法(即ColBERT),修剪查询项嵌入估计是不是有用的检索相关的文件。我们提出的查询嵌入修剪降低了稠密检索操作的成本,以及减少检索的文档的数量,因此需要完全评分。在MSMARCO段落排名语料库上进行的实验表明,当根据相应标记的收集频率将所使用的查询嵌入的数量从32减少到3时,查询嵌入修剪的有效性在统计上没有显著差异,同时检索到的文档数量减少了70%。就端到端系统的平均响应时间而言,这导致了2.65倍的加速。
2021-08-23 cs.IR
Hierarchical corpus encoder: Fusing generative retrieval and dense indices
针对生成式检索难以处理未见文档的问题,提出分层语料库编码器(HCE),利用兄弟节点对比训练,在零样本和有监督设置下均优于生成式检索,并支持动态增删文档。
2025-02-26 cs.IR
A Personalized Dense Retrieval Framework for Unified Information Access
本文提出通用可扩展的个性化密集检索框架 \ ramework,通过个性化注意力网络融合用户偏好,统一支持关键词搜索、示例查询和互补推荐等任务,并在真实电商数据上超过各任务专用基线。
2023-04-26 cs.IR
Learning To Retrieve: How to Train a Dense Retrieval Model Effectively and Efficiently
排序一直是信息检索研究的热点之一。几十年来,词汇匹配信号一直主导着ad-hoc检索过程,但它也有固有的缺陷,如词汇不匹配问题。最近,稠密检索(DR)技术已被提出,以减轻这些限制,通过捕捉查询和文档之间的深层语义关系。大多数现有的稠密检索模型的训练依赖于从语料库中采样负实例来优化成对损失函数。通过研究发现,这种训练策略是有偏差的,不能有效地优化整个检索性能。为了解决这个问题,我们提出了一种学习学习(LTRe)训练技术。LTRe预先构造文档索引。在每一次训练迭代中,它执行完全检索而没有负采样,然后更新查询表示模型参数。通过这个过程,它教DR模型如何从整个语料库中检索相关文档,而不是如何重新排序可能有偏见的文档样本。在段落检索和文档检索任务中的实验表明:1)在有效性方面,LTRe显著优于所有竞争性稀疏和密集基线。在合理的延迟限制下,它甚至比BM 25-BERT级联系统获得更好的性能。2)在训练效率方面,与之前最先进的DR方法相比,LTRe在训练过程中提供了超过170倍的加速。使用压缩索引进行训练进一步节省了计算资源,性能损失较小。
2020-10-20 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Multilingual Humour-Aware Retrieval with Dense and Re-Ranking Models
Democritus University of Thrace(德谟克利特色雷斯大学)
本研究使用XLM-RoBERTa稠密检索和重排序模型,在CLEF 2025 JOKER任务1基准上探索多语言幽默感知检索,发现葡萄牙语表现优于英语,揭示了语义表示在捕捉幽默线索方面的局限性。
2026-05-24 cs.IR
Think-to-Personalize: Unifying Reasoning and Retrieval for User-Centric Personalized Dense Retrieval
University of Science and Technology of China(中国科学技术大学);Meituan(美团)
本文提出TTP框架,将用户意图推理与密集检索统一,经两阶段训练后在电商场景实验及在线测试中均取得优于基线的效果,提升了订单量。
2026-08-25 cs.IR
Scaling Sparse and Dense Retrieval in Decoder-Only LLMs
本研究系统对比不同检索范式与微调目标在仅解码器LLM不同规模下的性能,发现稀疏检索优于稠密检索,结合CL与KD可在8B规模下实现稀疏检索的SOTA效果。
2025-02-21 cs.IR
Pre-train a Discriminative Text Encoder for Dense Retrieval via Contrastive Span Prediction
稠密检索在许多信息检索(IR)相关任务中显示出了良好的效果,其基础是高质量的文本表示学习以实现有效的检索。最近的一些研究表明,基于自动编码器的语言模型能够使用弱解码器来提高稠密检索的性能。然而,我们认为,1)它是没有歧视性的解码所有的输入文本,2)即使是一个弱的解码器有旁路效应的编码器。因此,在这项工作中,我们引入了一种新的对比跨度预测任务来单独预训练编码器,但仍然保留了自动编码器的瓶颈能力。因此,在这项工作中,我们建议放弃解码器,并引入一种新的对比跨度预测任务来单独预训练编码器。其关键思想是迫使编码器生成的文本表示接近自己的随机跨度,而远离其他使用组明智的对比损失。通过这种方式,我们可以1)通过跨跨度的分组对比学习来有效地学习有区别的文本表示,2)彻底避免解码器的旁路效应。在公开的检索基准数据集上的综合实验表明,该方法在稠密检索中的性能明显优于现有的预训练方法。
2022-04-22 cs.IR
Unsupervised dense retrieval with conterfactual contrastive learning
本文提出基于博弈论与无监督反事实学习的正则化方法,通过增强稠密检索模型对细粒度相关性信号的敏感性,在无需段落级标注的情况下提升模型可解释性与抗对抗攻击鲁棒性。
2024-12-30 cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
End-to-End Retrieval with Learned Dense and Sparse Representations Using Lucene
本文提出并验证了仅使用 Lucene 即可在 CPU 上用 Java 高效支持现代稠密与稀疏表示的端到端检索,从而以最少基础设施改动简化检索系统设计。
2023-11-30 cs.IR
LexBoost: Improving Lexical Document Retrieval with Nearest Neighbors
本文提出 LexBoost,通过离线构建稠密邻居语料图并在词法检索时融合邻居分数,以低开销提升排序效果,且在多种设置下鲁棒,重排序结果可媲美穷尽式稠密检索。
2024-08-25 cs.IR
Unsupervised Context Aware Sentence Representation Pretraining for Multi-lingual Dense Retrieval
最近的研究表明,使用预训练的语言模型(PLM),以提高稠密检索和多语言稠密检索的有效性。在这项工作中,我们提出了一个简单而有效的单语预训练任务称为对比上下文预测~(CCP)学习句子表示建模句子水平的上下文关系。通过将句子在局部上下文中的嵌入推得更近,并将随机负样本推得更远,不同语言可以形成同构结构,然后两种不同语言的句子对将自动对齐。实验表明,语言模型对比训练过程中容易出现模型崩溃和信息泄漏,而语言专用存储体和非对称批量归一化操作分别对防止崩溃和信息泄漏起到了至关重要的作用。此外,句子嵌入的后处理也是非常有效的,以实现更好的检索性能。在多语言句子检索任务Tatoeba上,我们的模型在不使用双语数据的情况下实现了新的SOTA结果。我们的模型也显示出较大的增益Tatoeba之间转移时,非英语对。在两个多语言的查询通道检索任务,XOR和TYDI先生,我们的模型甚至实现了两个SOTA结果在所有预训练模型使用双语数据的zero-shot和监督设置。
2022-06-07 cs.IR
Implicit Feedback for Dense Passage Retrieval: A Counterfactual Approach
在本文中,我们研究如何有效地利用隐式反馈的密集检索(DR)。我们考虑的特定情况下,点击数据从历史点击日志可作为隐式反馈。然后,我们利用这样的历史隐式的相互作用,以提高DR的有效性。一个关键的挑战,我们研究的点击信号,如位置偏差,对DR的影响。为了克服与这种偏见的存在相关的问题,我们提出了反事实的Rocchio(CoRocchio)算法利用隐式反馈在密集检索。我们从理论上和经验上证明,密集查询表示与CoRocchio学习是公正的位置偏差,并导致更高的检索效率。我们在https://github.com/ielab/Counterfactual-DR上提供了所提出的方法和实验框架的实现以及所有结果。
2022-04-29 cs.IR
Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval
本研究将生成式相关反馈扩展到稠密和学习型稀疏检索,结合伪相关反馈信号,在六个基准上提升精确率和召回率约10%,并显著提高召回率。
2023-05-12 cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常,稠密检索模型是在干净和精心策划的数据集上评估的。然而,当部署在现实生活中的应用程序,这些模型遇到嘈杂的用户生成的文本。也就是说,当暴露在嘈杂的文本中时,最先进的密集检索器的性能会大大恶化。在这项工作中,我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降,并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明,我们提出的方法优于竞争方法。此外,我们对鲁棒性进行了全面的分析。最后,我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
Options-Aware Dense Retrieval for Multiple-Choice query Answering
本文提出 Options Aware Dense Retrieval (OADR) 方法,利用查询-选项嵌入微调检索过程以模拟 oracle 查询嵌入,在 QuALITY 数据集上提升了多项选择问答的证据识别准确率。
2025-01-27 cs.IR
Do the Findings of Document and Passage Retrieval Generalize to the Retrieval of Responses for Dialogues?
最近提出了许多学习稀疏和稠密检索方法,并证明了其在段落检索和文档检索等任务中的有效性。在本文中,我们通过可复制性研究来分析所吸取的教训是否可以推广到对话响应的检索,这是日益流行的对话搜索领域的一项重要任务。不像段落和文档检索,其中文档通常比查询长,在对话的响应排名中,查询(对话上下文)通常比文档(响应)长。此外,对话具有特定的结构,即不同用户的多个话语。考虑到这些差异,我们在这里评估从以前的工作中得到的以下主要发现的可推广性:(F1)查询扩展优于无扩展基线;(F2)文档扩展优于无扩展基线;(F3)zero-shot稠密检索低于稀疏基线;(F4)稠密检索优于稀疏基线;(F5)硬负采样比随机采样更适合训练稠密模型。我们的实验--基于三个不同的信息寻求对话数据集--揭示了五分之四的发现(F2-F5)适用于我们的领域
2023-01-13 cs.IR
Investigating Multi-layer Representations for Dense Passage Retrieval
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
本文提出多层表示 MLR,利用编码器多层信息表示文档,并通过池化将多向量模型转为单向量以提升效率,实验证明其优于 dual encoder、ME-BERT 和 ColBERT。
2025-09-28 cs.IR
Learning Discrete Representations via Constrained Clustering for Effective and Efficient Dense Retrieval
稠密检索(DR)已经达到了最先进的第一阶段排序效果。然而,大多数现有的DR模型的效率是有限的存储密集的向量和耗时的最近邻搜索(NNS)的向量空间中的大内存成本。因此,我们提出了RepCONC,一种新的检索模型,通过约束聚类学习离散表示。RepCONC联合训练双编码器和乘积量化(PQ)方法来学习离散文档表示,并实现具有紧凑索引的快速近似NNS。它将量化建模为受约束的聚类过程,这要求文档嵌入均匀地聚集在量化质心周围,并支持量化方法和双编码器的端到端优化。我们从理论上证明了RepCONC中的均匀聚类约束的重要性,并通过将其简化为最优运输问题的一个实例,推导出一个有效的约束聚类近似解。除了约束聚类,RepCONC还采用了基于向量的反向文件系统(IVF)来支持CPU上的高效向量搜索。两个流行的ad-hoc检索基准上的大量实验表明,RepCONC实现更好的排名效果比竞争矢量量化基线下不同的压缩比设置。它在检索效率、记忆效率和时间效率方面也大大优于现有的各种检索模型。
2021-10-12 cs.IR
Augmenting Passage Representations with Query Generation for Enhanced Cross-Lingual Dense Retrieval
本文提出利用跨语言查询生成增强段落表示,无需额外训练数据即可提升跨语言稠密检索效果,且不增加推理延迟。
2023-05-06 cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
National Taiwan University(國立臺灣大學)
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
DenseReviewer: A Screening Prioritisation Tool for Systematic Review based on Dense Retrieval
本文提出DenseReviewer工具,基于稠密检索与审稿人反馈对医学系统综述中的研究进行优先级排序,并提供Web筛选工具和Python库以支持高效筛选与新主动学习方法开发。
2025-02-05 cs.IR
More Than Efficiency: Embedding Compression Improves Domain Adaptation in Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
针对密集检索中训练与目标领域分布不匹配的问题,提出对查询嵌入进行PCA压缩以保留领域相关特征并丢弃非判别成分,在9个检索器和14个MTEB数据集上验证了该方法能有效提升检索性能。
2026-07-15 cs.IR
Generative Retrieval as Multi-Vector Dense Retrieval
Shandong University(山东大学);Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学)
本文证明生成式检索可视为多向量稠密检索的特例,二者共享查询-文档相关性计算框架,并通过实验验证了对齐矩阵中的词项匹配共性。
2024-03-31 cs.AI cs.IR
Lexically-Accelerated Dense Retrieval
Georgetown University(乔治城大学);University of Glasgow(格拉斯哥大学)
本文提出 LADR(词汇加速的稠密检索)方法,利用词汇检索为基于文档邻近图的稠密检索提供种子,在保证检索有效性的同时显著提升效率,并在标准基准上实现与穷举搜索相当的精确率和召回率。
2023-07-31 cs.CL cs.IR
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
SungKyunKwan University(顺天妇女大学)
本文提出利用稀疏自编码器将DPR稠密嵌入分解为可解释的潜在概念,并基于此构建概念级稀疏检索框架CL-SR,在保持稳健性能的同时提升透明度和效率。
2025-08-27 cs.IR cs.LG