Static Pruning Across Sparse Retrieval Regimes: What Transfers, What Breaks, and What Still Helps
Amazon Web Services(亚马逊网络服务)
该研究通过跨三种检索引擎的1140组实验,明确索引侧静态剪枝可迁移,查询剪枝失效,静态剪枝可与动态剪枝互补,还给出了可迁移的剪枝停止准则。
2026-08-18 cs.AI cs.IR
Provence: efficient and robust context pruning for retrieval-augmented generation
NAVER LABS Europe(NAVER LABS欧洲)
本文提出Provence,一种高效鲁棒的上下文剪枝器,通过序列标注统一剪枝与重排序,在多领域RAG中实现近乎零成本且性能无损的上下文剪枝。
2025-01-27 cs.CL cs.IR
Efficiency Optimizations for Superblock-based Sparse Retrieval
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出了一种高效的超块剪枝方案,结合紧凑索引和零样本配置,以提升稀疏检索的效率和相关性。
2026-02-02 cs.IR
Towards Lossless Token Pruning in Late-Interaction Retrieval Models
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所)
针对后期交互检索模型(如ColBERT)文档token存储内存大的问题,提出原则性无损剪枝方法,通过三种正则化损失和两种策略实现高剪枝率,实验显示仅用30%token可保留原模型性能。
2025-04-17 cs.AI cs.CL cs.IR
Structural Anchor Pruning: Training-Free Multi-Vector Compression for Visual Document Retrieval
Aalto University(阿alto大学)
本文提出结构锚点剪枝(SAP),一种无需训练的多向量压缩方法,通过保留评分、指导窗口选择和视觉入度中心性评分三个组件,在不进行模型参数调整的情况下,实现了超过90%的视觉token剪枝同时保持NDCG@5超过90%的性能。
2026-09-01 cs.CL cs.CV cs.IR
Evaluating Token-Level and Passage-Level Dense Retrieval Models for Math Information Retrieval
随着最近基于双编码器的稠密检索方法的成功,研究已经将这种方法应用于各种有趣的下游检索任务,具有良好的效率和域内有效性。最近,我们也看到了稠密检索模型在数学信息检索(MIR)任务的存在,但最有效的系统仍然是经典的检索方法,考虑手工制作的结构特征。在这项工作中,我们试图结合两个世界的最佳:\一个定义良好的结构搜索方法,有效的公式搜索和高效的双编码器稠密检索模型,以捕捉上下文的相似性。具体来说,我们已经评估了两个代表性的双编码器模型的令牌级和令牌级稠密检索最近的MIR任务。我们的研究结果表明,双编码器模型是高度互补的现有结构搜索方法,我们能够推进最先进的MIR数据集。
2022-10-21 cs.IR
Combining Lexical and Dense Retrieval for Computationally Efficient Multi-hop Question Answering
在简单的开放域问答(QA)中,稠密检索已成为检索相关段落以推断答案的标准方法之一。最近,稠密检索也取得了国家的最先进的结果,在多跳QA,其中聚合信息从多条信息和推理他们是必需的。尽管它们取得了成功,但稠密检索方法是计算密集型的,需要多个GPU进行训练。在这项工作中,我们引入了一种混合(词汇和密集)检索方法,是非常有竞争力的国家的最先进的稠密检索模型,同时需要更少的计算资源。此外,我们还对有限计算资源设置下的稠密检索方法进行了深入评估,这是当前文献中所缺少的。
2021-09-22 cs.IR
PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval
密集通道检索(DPR)模型在Web领域的第一阶段检索中表现出很大的有效性增益。然而,在web领域,我们处于具有大量训练数据和查询到通道或查询到文档检索任务的设置中。在本文中,我们研究密集的文档到文档检索有限的标记目标数据的训练,特别是法律案件检索。为了使用DPR模型进行文档到文档的检索,我们提出了一个段落聚合检索模型(PARM),它解放了DPR模型从他们有限的输入长度。PARM在段落级别上检索文档:对于每个查询段落,根据其段落检索相关文档。然后将每个查询段落的相关结果聚合到整个查询文档的一个排名列表中。对于聚合,我们提出了基于向量的聚合与倒数秩融合(VRRF)加权,它结合了基于秩的聚合和主题聚合的密集嵌入的基础上的优点。实验结果表明,VRRF优于基于排名的聚合策略密集文档到文档检索与PARM。我们比较PARM的文档级检索和表现出更高的检索效率的PARM词汇和密集的第一阶段检索两个不同的法律案件检索集合。我们研究如何训练的稠密检索模型的PARM有限的目标数据的段落或文档级别的标签。此外,我们还分析了PARM在词法检索和稠密检索检索结果上的差异。
2022-08-14 cs.IR
Approximate Cluster-Based Sparse Document Retrieval with Segmented Maximum Term Weights
本文针对基于聚类的稀疏文档检索,提出带分段最大词项权重的近似搜索方案,通过优化排名分数边界估计与自适应剪枝提升检索相关性和效率,在MS MARCO、BEIR数据集上验证了效果。
2024-04-13 cs.IR
Generative Retrieval as Dense Retrieval
本文提出将生成式检索视为稠密检索,通过分解为点积并引入Tied-Atomic变体,解决索引更新和扩展问题,实验验证在NQ320k和MSMARCO上不降低效果且可扩展。
2023-06-20 cs.IR
Dense Text Retrieval based on Pretrained Language Models: A Survey
文本检索是信息检索领域的一个长期研究课题,它要求系统能够以自然语言的形式返回用户查询的相关信息资源。从经典的检索方法到基于学习的排序函数,底层的检索模型随着不断的技术创新而不断发展。设计有效的检索模型的关键在于如何学习文本的表示方法和建立相关匹配模型。预训练语言模型(PLM)最近的成功揭示了通过利用PLM的优秀建模能力来开发更强大的文本检索方法。借助强大的PLM,我们可以有效地学习查询和文本在潜在表示空间中的表示,并进一步构建密集向量之间的语义匹配函数以进行相关性建模。这种检索方法被称为稠密检索,因为它采用密集向量(也称为,嵌入)来表示文本。鉴于稠密检索的快速发展,本文系统地综述了基于PLM的稠密检索的最新研究进展。与以往的稠密检索研究不同,本文从体系结构、训练、索引和集成四个方面对相关工作进行了新的梳理,并对各个方面的主流技术进行了总结。我们彻底调查的文献,包括300+相关的参考文献的稠密检索。为了支持我们的调查,我们创建了一个网站,提供有用的资源,并发布了一个代码库和工具包,实现稠密检索模型。本综述旨在提供一个全面、实用的参考,重点介绍密集文本检索的主要进展。
2022-11-27 cs.IR
Hierarchical Patch Compression for ColPali: Efficient Multi-Vector Document Retrieval with Dynamic Pruning and Quantization
FPT University Sun Asterisk(FPT大学Sun Asterisk)
本文提出HPC-ColPali框架,通过K-Means量化、注意力引导动态剪枝和可选二进制编码,在保持ColPali检索精度的同时显著降低存储、计算和查询延迟,并减少法律摘要中的幻觉率。
2025-07-02 cs.CV cs.IR
A Static Pruning Study on Sparse Neural Retrievers
本文研究稀疏神经检索器查询成本高的问题,系统评估文档中心、词项中心和不可知三种静态剪枝策略,证明其可在几乎不损失检索效果的情况下获得 2 至 4 倍加速,并保持神经重排序鲁棒性。
2023-04-25 cs.IR
Dense Passage Retrieval in Conversational Search
针对对话搜索的检索需求,将稠密检索技术应用于该场景,提出融合查询重构策略的GPT2QR+DPR端到端系统,在CAsT数据集上验证其无需大规模微调即优于BM25,为对话搜索的神经检索研究提供支撑。
2025-03-21 cs.IR
Domain Adaptation for Dense Retrieval and Conversational Dense Retrieval through Self-Supervision by Meticulous Pseudo-Relevance Labeling
提出结合查询生成与自监督伪相关标注(使用T5-3B和困难负例)的方法,实现密集检索及对话密集检索的领域自适应,实验证明微调后基线模型性能提升。
2024-03-13 cs.IR
LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval
针对稠密与稀疏词法检索的快速融合问题,提出 CluSD:利用稀疏结果与嵌入簇重叠及 LSTM 两阶段选择相关簇,按需执行部分稠密检索和块磁盘 I/O,并在 MS MARCO、BEIR 上对比基线验证。
2025-02-15 cs.IR
DocPruner: A Storage-Efficient Framework for Multi-Vector Visual Document Retrieval via Adaptive Patch-Level Embedding Pruning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算)
针对多向量视觉文档检索中补丁嵌入导致的高存储开销,提出 DocPruner,利用文档内补丁注意力分布自适应剪枝冗余嵌入,在十余个数据集上实现50%至60%存储压缩且性能损失极小。
2025-09-28 cs.CL cs.IR
Interpret and Control Dense Retrieval with Sparse Latent Features
针对稠密检索嵌入可解释性与可控性不足的问题,本文提出基于稀疏自编码器与面向检索对比损失的方法,通过稀疏潜在特征解释控制检索,在保持原准确率的同时实现检索行为调控。
2025-02-23 cs.IR
Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
针对多源知识RAG缺乏基准的问题,构建了结合结构化与非结构化知识的基准数据集,并提出多粒度剪枝框架PruningRAG,显著提升多种RAG变体性能。
2025-10-09 cs.AI cs.CL cs.IR
DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval
在本文中,我们介绍了我们在2021年法律信息抽取/蕴涵竞赛(COLIEE)中的案例法检索和法律案例蕴涵任务的方法。作为第一阶段的检索方法结合神经重新排序的方法,使用语境化的语言模型,如BERT取得了很大的性能改善信息检索在网络和新闻领域,我们评估这些方法的法律领域。法律案例检索的一个显著特点是,语料库中的查询案例和案例描述往往是长文档,因此超过了BERT的输入长度。我们解决这一挑战相结合的词汇和稠密检索方法的段落级别的情况下,第一阶段检索。在这里,我们证明了段落级的检索优于文档级的检索。此外,实验表明,稠密检索方法优于词汇检索。对于重新排序,我们通过总结案例并使用摘要微调基于BERT的重新排序器来解决长文档的问题。总的来说,我们最好的结果是使用特定领域嵌入的BM 25和密集通道检索的组合。
2021-08-09 cs.IR
OPERA: Online Data Pruning for Efficient Retrieval Model Adaptation
Amazon Web Services(亚马逊云服务)
OPERA通过在线数据剪枝提升检索模型适应效果,SP在标准微调基础上提升NDCG,DP在多个领域数据集上取得最佳排名和召回效果,且训练时间减少50%。
2026-08-03 cs.AI cs.CL cs.IR
Dimension Reduction for Efficient Dense Retrieval via Conditional Autoencoder
密集检索器对查询和文档进行编码,并使用预训练的语言模型将它们映射到嵌入空间中。这些嵌入需要是高维的,以适应训练信号,并保证密集检索器的检索效率。然而,这些高维嵌入导致更大的索引存储和更高的检索延迟。为了降低稠密检索的嵌入维数,提出了一种条件自动编码器(ConAE)对高维嵌入进行压缩,以保持相同的嵌入分布,更好地恢复排序特征。我们的实验表明,ConAE是有效的压缩嵌入实现可比的排名性能与教师模型,使检索系统更有效。进一步的分析表明,ConAE算法可以有效地降低稠密检索中嵌入的冗余度,而只需要一个线性层。这项工作的所有代码都可以在https://github.com/NEUIR/ConAE上找到。
2022-10-22 cs.IR
Densifying Sparse Representations for Passage Retrieval by Representational Slicing
学习稀疏和密集表示捕捉不同的成功方法来文本检索和融合的结果已被证明是更有效和强大的。先前的工作结合了密集和稀疏检索融合他们的模型分数。作为一种替代方案,本文提出了一种简单的方法来加密稀疏表示的文本检索,不涉及任何训练。我们的密集稀疏表示(DSRs)是可解释的,可以很容易地与密集表示相结合,用于端到端检索。我们证明了我们的方法可以在一个单一的模型中联合学习稀疏和密集表示,然后将它们结合起来进行稠密检索。实验结果表明,结合我们的DSR和密集表示产生了平衡的有效性和效率之间的权衡。
2021-12-09 cs.IR
Imagine All The Relevance: Scenario-Profiled Indexing with Knowledge Expansion for Dense Retrieval
提出稠密检索框架SPIKE,通过将文档分解为场景检索单元并利用LLM知识蒸馏,显式索引隐式相关性,从而提升推理密集型任务的检索性能与RAG体验。
2025-07-17 cs.IR
Offline Pseudo Relevance Feedback for Efficient and Effective Single-pass Dense Retrieval
针对伪相关反馈会使稠密检索在线延迟翻倍的问题,提出将PRF流程转移到离线的单轮稠密检索框架,在标准数据集上验证了其有效性,可在保证效果的同时提升在线检索速度。
2023-08-20 cs.IR
ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval
ScalingNote提出两阶段方法,先用同一LLM初始化双塔释放稠密检索潜力,再仅蒸馏查询塔以控制在线延迟,在工业场景中验证了LLM稠密检索的扩展定律并提升检索相关性。
2024-11-24 cs.IR
The Overlooked Role of Graded Relevance Thresholds in Multilingual Dense Retrieval
OriginAI
本文探讨了多语言密集检索中分级相关性阈值对性能的影响,发现阈值选择需根据语言和任务调整,以提升检索效果并减少微调数据需求。
2026-01-07 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题,提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法,在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索(UniversalVision-Language Dense Retrieval,UniVL-DR),为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码,用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索,UniVL-DR提出了两种技术:1)通用嵌入优化策略,使用模态平衡的硬否定对比优化嵌入空间; 2)图像动词化方法,弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平,在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明,通用多模态搜索是可行的,以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
TriSampler: A Better Negative Sampling Principle for Dense Retrieval
针对稠密检索中缺乏负采样指导原则的问题,通过理论分析提出准三角原则,并基于此设计了在约束区域内采样高信息量负样本的TriSampler方法,在多种检索模型上持续实现更优性能。
2024-02-19 cs.IR
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
Interpreting Conversational Dense Retrieval by Rewriting-Enhanced Inversion of Session Embedding
本文提出 CONVINV 方法,通过基于 ad-hoc 查询编码器训练 Vec2Text 模型并融入外部查询重写,将不透明的会话嵌入转换为可解释文本,在保持检索性能的同时提升会话密集检索的可解释性。
2024-06-01 cs.IR
Anserini Gets Dense Retrieval: Integration of Lucene's HNSW Indexes
本文将 Lucene 的 HNSW 稠密向量索引集成到 Anserini,在同一 Java 软件栈内统一稀疏与稠密检索,并在 MS MARCO 和 BEIR 上验证其效果与效率。
2023-04-24 cs.IR
Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制,从Rocchio到相关性模型,已经显示出使用在被检索文档的初始集合(被称为伪相关集合)中出现的信息来扩展和重新加权用户的初始查询的有用性。最近,稠密检索-通过使用神经上下文语言模型,如BERT分析文档和查询的内容,并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引,用于识别文档相关的查询。出现了两种不同的稠密检索家族:对每个段落和查询使用单个嵌入式表示(例如使用BERT的[CLS]令牌),或通过多个表示(例如使用查询和文档的每个令牌的嵌入)。在这项工作中,我们进行了第一次研究的潜力多表示稠密检索,以提高使用伪相关反馈。特别是,基于使用第一遍稠密检索识别的伪相关文档集,我们提取代表性的反馈嵌入(使用KMeans聚类)--同时确保这些嵌入区分段落(基于IDF)--然后将其添加到查询表示中。这些额外的反馈嵌入,以提高效率的重新排序,以及一个额外的稠密检索操作。事实上,在MSMARCO通道排名数据集上的实验表明,通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法,MAP在TREC 2019查询集上可以提高26%,在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Diversification Based Static Index Pruning - Application to Temporal Collections
如今,网络档案馆保存了大部分网络的历史。随着媒体从印刷版转向数字版,获取这些庞大的信息源正日益引起国家和国际机构以及研究界的关注。这些集合本身就很大,导致索引文件不适合内存,并增加了查询响应时间。减小索引大小是减少此查询响应时间的一种直接方法。静态索引修剪方法通过删除一部分发布来减少索引的大小。在网络档案的上下文中,有必要删除帖子,同时保留档案的时间多样性。现有的修剪方法都没有考虑(时间)多样化。在本文中,我们提出了一种基于多样化的静态索引修剪方法。它不同于现有的修剪方法,通过在修剪上下文中集成多样化。我们的目标是修剪索引,同时保持检索的有效性和多样性修剪,同时最大限度地提高给定的IR评价指标,如DCG。我们将展示如何在Web档案的背景下应用这种方法。最后,我们展示了两个集合,使用我们的方法,而不是多样性遗忘的方法可以提高修剪后的时间集合的搜索效率。
2013-08-22 cs.IR
GNN-encoder: Learning a Dual-encoder Architecture via Graph Neural Networks for Dense Passage Retrieval
最近,基于密集表示的检索模型在段落检索任务中占主导地位,由于其出色的能力,在捕捉输入文本的语义相比,传统的稀疏向量空间模型。稠密检索模型的一个常见做法是利用双编码器架构来独立地表示查询和段落。虽然有效,但这样的结构失去了查询-通道对之间的交互,导致准确性较差。为了提高稠密检索模型的性能而不损失效率,我们提出了一个GNN编码器模型,其中查询(通道)信息融合到通道(查询)表示通过图神经网络,构建查询和他们的顶部检索通道。通过这种方法,我们保持了一个双编码器结构,并保留了一些查询-通道对之间的相互作用信息,这使我们能够实现效率和功效的通道检索。评估结果表明,我们的方法在MSMARCO,Natural Questions和TriviaQA数据集上的性能明显优于现有模型,并在这些数据集上达到了新的最先进水平。
2022-10-12 cs.IR
Dense Hierarchical Retrieval for Open-Domain Question Answering
密集型神经文本检索在开放域问答(QA)中取得了令人鼓舞的成果,其中问题和段落的潜在表示被利用来在检索过程中进行最大内积搜索。然而,目前的密集检索器需要分裂成短的段落,通常包含本地,部分,有时偏见的背景下,并高度依赖于分裂过程的文件。因此,它可能会产生不准确和误导的隐藏表示,从而恶化最终的检索结果。在这项工作中,我们提出了密集层次检索(DHR),层次结构框架,可以生成准确的密集表示的通道,利用宏观语义的文件和微观语义特定于每个通道。具体地说,文档级检索器首先识别相关文档,然后由文档级检索器检索其中的相关段落。检索到的段落的排名将通过检查文档级别的相关性来进一步校准。此外,分层标题结构和两个负抽样策略(即,In-Doc和In-Sec阴性)。我们将DHR应用于大规模开放域QA数据集。DHR显著优于原始的密集通道检索器,并帮助端到端QA系统在多个开放域QA基准上优于强基线。
2021-10-28 cs.IR
Generative Retrieval Overcomes Limitations of Dense Retrieval but Struggles with Identifier Ambiguity
Vienna University of Economics and Business(维也纳经济与商业大学)
本文通过合成数据集LIMIT研究生成检索的优劣,发现其在无额外训练时表现最佳,但添加难样本后性能下降,揭示解码机制失效问题。
2026-04-08 cs.IR
Improving Dense Passage Retrieval with Multiple Positive Passages
本文探讨了在训练期间为每个问题配备多个正例段落对 Dense Passage Retrieval (DPR) 性能的影响,发现这种方法能持续提升检索准确率,并允许在单 GPU 上使用更小批大小进行训练。
2025-08-13 cs.IR
PathRAG: Pruning Graph-based Retrieval Augmented Generation with Relational Paths
针对现有图RAG检索冗余、提示组织扁平导致性能不佳的问题,提出PathRAG方法,通过流剪枝提取关键关系路径并构造提示,在多数据集多维度上优于现有最优基线。
2025-11-17 cs.AI cs.CL cs.IR
Interpreting Dense Retrieval as Mixture of Topics
稠密检索(DR)在第一阶段的检索中达到了最先进的结果,但对其成功的机制知之甚少。因此,在这项工作中,我们最近提出的DR模型进行解释研究。具体来说,我们首先离散化文档和查询编码器输出的嵌入。基于离散表示,我们分析了输入标记的属性。定性和定量实验都是在公共测试集上进行的。结果表明,DR模型注意不同方面的输入和提取各种高层次的主题表示。因此,我们可以将DR模型学习的表示视为高级主题的混合。
2021-11-27 cs.IR
Hierarchical corpus encoder: Fusing generative retrieval and dense indices
针对生成式检索难以处理未见文档的问题,提出分层语料库编码器(HCE),利用兄弟节点对比训练,在零样本和有监督设置下均优于生成式检索,并支持动态增删文档。
2025-02-26 cs.IR
GraFine: Retrieval-Time Refinement for Efficient Graph RAG over Corpus Graphs
KAIST(韩国科学技术院)
FastInsight通过融合运算提升图RAG检索效率和洞察力,改进检索准确性和生成质量。
2026-08-12 cs.AI cs.IR
A Personalized Dense Retrieval Framework for Unified Information Access
本文提出通用可扩展的个性化密集检索框架 \ ramework,通过个性化注意力网络融合用户偏好,统一支持关键词搜索、示例查询和互补推荐等任务,并在真实电商数据上超过各任务专用基线。
2023-04-26 cs.IR
Learning To Retrieve: How to Train a Dense Retrieval Model Effectively and Efficiently
排序一直是信息检索研究的热点之一。几十年来,词汇匹配信号一直主导着ad-hoc检索过程,但它也有固有的缺陷,如词汇不匹配问题。最近,稠密检索(DR)技术已被提出,以减轻这些限制,通过捕捉查询和文档之间的深层语义关系。大多数现有的稠密检索模型的训练依赖于从语料库中采样负实例来优化成对损失函数。通过研究发现,这种训练策略是有偏差的,不能有效地优化整个检索性能。为了解决这个问题,我们提出了一种学习学习(LTRe)训练技术。LTRe预先构造文档索引。在每一次训练迭代中,它执行完全检索而没有负采样,然后更新查询表示模型参数。通过这个过程,它教DR模型如何从整个语料库中检索相关文档,而不是如何重新排序可能有偏见的文档样本。在段落检索和文档检索任务中的实验表明:1)在有效性方面,LTRe显著优于所有竞争性稀疏和密集基线。在合理的延迟限制下,它甚至比BM 25-BERT级联系统获得更好的性能。2)在训练效率方面,与之前最先进的DR方法相比,LTRe在训练过程中提供了超过170倍的加速。使用压缩索引进行训练进一步节省了计算资源,性能损失较小。
2020-10-20 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Multilingual Humour-Aware Retrieval with Dense and Re-Ranking Models
Democritus University of Thrace(德谟克利特色雷斯大学)
本研究使用XLM-RoBERTa稠密检索和重排序模型,在CLEF 2025 JOKER任务1基准上探索多语言幽默感知检索,发现葡萄牙语表现优于英语,揭示了语义表示在捕捉幽默线索方面的局限性。
2026-05-24 cs.IR
Think-to-Personalize: Unifying Reasoning and Retrieval for User-Centric Personalized Dense Retrieval
University of Science and Technology of China(中国科学技术大学);Meituan(美团)
本文提出TTP框架,将用户意图推理与密集检索统一,经两阶段训练后在电商场景实验及在线测试中均取得优于基线的效果,提升了订单量。
2026-08-25 cs.IR
Scaling Sparse and Dense Retrieval in Decoder-Only LLMs
本研究系统对比不同检索范式与微调目标在仅解码器LLM不同规模下的性能,发现稀疏检索优于稠密检索,结合CL与KD可在8B规模下实现稀疏检索的SOTA效果。
2025-02-21 cs.IR
Pre-train a Discriminative Text Encoder for Dense Retrieval via Contrastive Span Prediction
稠密检索在许多信息检索(IR)相关任务中显示出了良好的效果,其基础是高质量的文本表示学习以实现有效的检索。最近的一些研究表明,基于自动编码器的语言模型能够使用弱解码器来提高稠密检索的性能。然而,我们认为,1)它是没有歧视性的解码所有的输入文本,2)即使是一个弱的解码器有旁路效应的编码器。因此,在这项工作中,我们引入了一种新的对比跨度预测任务来单独预训练编码器,但仍然保留了自动编码器的瓶颈能力。因此,在这项工作中,我们建议放弃解码器,并引入一种新的对比跨度预测任务来单独预训练编码器。其关键思想是迫使编码器生成的文本表示接近自己的随机跨度,而远离其他使用组明智的对比损失。通过这种方式,我们可以1)通过跨跨度的分组对比学习来有效地学习有区别的文本表示,2)彻底避免解码器的旁路效应。在公开的检索基准数据集上的综合实验表明,该方法在稠密检索中的性能明显优于现有的预训练方法。
2022-04-22 cs.IR
Unsupervised dense retrieval with conterfactual contrastive learning
本文提出基于博弈论与无监督反事实学习的正则化方法,通过增强稠密检索模型对细粒度相关性信号的敏感性,在无需段落级标注的情况下提升模型可解释性与抗对抗攻击鲁棒性。
2024-12-30 cs.IR
Better Nearest Neighbor Graph Indices via (Efficient) LLM-Guided Pruning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);MIT(麻省理工学院)
针对图索引构建与语义评估不匹配问题,提出LLM引导的图剪枝(LGP)框架,通过替换低价值邻居改进ANN图索引,在DiskANN和HNSW上提升端到端检索性能。
2026-09-30 cs.AI cs.IR