Rescaling MLM-Head for Neural Sparse Retrieval
Korea University(韩国大学)
针对SPLADE中MLM头部尺度不匹配导致训练不稳定和性能下降的问题,提出初始化时对MLM头部投影进行常数因子重缩放,零成本提升训练稳定性,使大范数骨干网络成为有竞争力的稀疏检索器。
2026-06-18 cs.AI cs.IR
The Role of Vocabularies in Learning Sparse Representations for Ranking
Naver
研究通过构建BERT模型探讨词汇规模和预训练权重对稀疏表示检索性能的影响,发现ESPLADE模型在效率和效果上优于随机词汇模型。
2026-04-19 cs.CL cs.IR
Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本研究针对LLM用于第一阶段检索时延迟与存储成本高的问题,提出基于LLM的稀疏检索框架,通过自适应稀疏对齐策略结合多技术微调,在多数据集上实现了效果与效率的良好权衡。
2026-10-16 cs.IR
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology(东京工业大学)
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是,SPLADE,它编码的文本稀疏向量,是一个有效的模型,用于实际使用,因为它显示了鲁棒性域外数据集。然而,SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外,词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的,所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法,通过填充词汇和词频的差距。首先,我们扩展词汇表,并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后,我们乘以SPLADE编码的稀疏向量的逆文档频率权重,以考虑的重要性,与低频字的文件。我们使用我们的方法在数据集上进行了实验,这些数据集与源域有很大的词汇差距。我们表明,我们的方法优于目前最先进的领域自适应方法。此外,我们的方法实现了最先进的结果,结合BM 25。
2022-11-08 cs.CL cs.IR
Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
NAVER Corp.(NAVER公司);Seoul National University(首尔国立大学);Naver Labs Europe(Naver欧洲实验室)
提出V-SPLADE,一种无需推理的稀疏检索器,通过标题门控令牌监督解决视觉稀疏表示中的词汇基础问题,在视觉文档检索中达到稠密级效果。
2026-05-29 cs.CV cs.IR
Generated Query Expansion Still Helps Strong Sparse Retrieval: A Controlled Study with SPLADE-v3
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本研究通过受控实验证明,生成式查询扩展在强稀疏检索器SPLADE-v3上仍能显著提升检索性能,最佳相对增益达9.47%,且原始查询权重不低于30%时增益稳定,表明生成词汇可有效补充强检索器。
2026-09-30 cs.AI cs.IR
Sparton: Fast and Memory-Efficient Triton Kernel for Learned Sparse Retrieval
University of Amsterdam(阿姆斯特丹大学);ISTI-CNR(意大利国家研究委员会信息系统技术研究所);University of Pisa(比萨大学);Johns Hopkins University, HLTCOE(约翰斯·霍普金斯大学,语言与技术中心)
Sparton通过融合矩阵乘法、ReLU、Log1P和max-reduction,提升学习稀疏检索模型中LM头的效率,减少内存占用并提升训练速度。
2026-03-26 cs.IR
Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023
本文报告了格拉斯哥大学Terrier团队在TREC DL 2023中的参赛工作,通过将大型语言模型的生成式相关反馈与基于monoELECTRA的自适应重排序相结合,在BM25和SPLADE上提升了检索性能。
2024-05-02 cs.IR
Optimizing Retrieval Augmented Generation for Object Constraint Language
本研究针对手动编写OCL规则复杂耗时的问题,优化RAG以实现OCL规则自动生成,对比三种检索策略与PathOCL的性能,发现语义检索方法效果更优,高k值会因引入无关块降低性能,为OCL规则生成的检索配置优化提供了参考。
2025-05-19 cs.IR cs.SE
Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach
搜索引擎通常遵循两阶段范例,其中在第一阶段(检索阶段)中检索初始文档集,并且在第二阶段(重新排序阶段)中对文档进行重新排序以获得最终结果列表。虽然深度神经网络在以前的工作中被证明可以提高重新排序阶段的性能,但是很少有文献关于使用深度神经网络来提高检索阶段。在本文中,我们研究了深度神经网络模型和词汇模型相结合的检索阶段的优点。提出了一种利用语义(基于深度神经网络)和词汇(基于关键字匹配)检索模型的混合方法。我们进行了实证研究,使用公开的TREC集合,这表明了我们的方法的有效性,并揭示了语义方法,词汇方法,以及它们的组合的不同特点。
2020-10-02 cs.IR
Integrating Lexical and Temporal Signals in Neural Ranking Models for Searching Social Media Streams
University of Maryland(马里兰大学);University of Waterloo(滑铁卢大学);Comcast Applied AI Research Labs(康卡斯特应用人工智能研究实验室)
在搜索社交媒体帖子流时,时间是一个重要的相关性信号。可以利用来自初始查询的结果的文档时间戳的分布来推断相关文档的分布,然后可以使用相关文档的分布来对初始结果进行重新排序。以前的实验表明,核密度估计是这个想法的一个简单而有效的实现。本文探讨了另一种方法来挖掘时间信号与循环神经网络。我们的直觉是,神经网络提供了一个更具表现力的框架来捕捉相邻文档在时间上的时间一致性。据我们所知,我们是第一个将词汇和时间信号集成到端到端神经网络架构中的公司,在该架构中,现有的神经排名模型用于生成查询-文档相似性向量,这些向量被馈送到双向LSTM层进行时间建模。我们的结果好坏参半:单独用于文档排序的现有神经模型相对于简单基线产生有限的改进,但是词汇和时间信号的集成相对于竞争性时间基线产生显著的改进。
2017-07-25 cs.CL cs.IR
LexBoost: Improving Lexical Document Retrieval with Nearest Neighbors
本文提出 LexBoost,通过离线构建稠密邻居语料图并在词法检索时融合邻居分数,以低开销提升排序效果,且在多种设置下鲁棒,重排序结果可媲美穷尽式稠密检索。
2024-08-25 cs.IR
On the Challenges and Opportunities of Learned Sparse Retrieval for Code
NAVER LABS Europe(NAVER欧洲实验室)
本文探讨了学习稀疏检索在代码检索中的挑战与机遇,提出SPLADE-Code模型,通过轻量级训练流程实现高性能代码检索,展示了稀疏检索在效率与效果上的优势。
2026-03-23 cs.CL cs.IR
DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval
在本文中,我们介绍了我们在2021年法律信息抽取/蕴涵竞赛(COLIEE)中的案例法检索和法律案例蕴涵任务的方法。作为第一阶段的检索方法结合神经重新排序的方法,使用语境化的语言模型,如BERT取得了很大的性能改善信息检索在网络和新闻领域,我们评估这些方法的法律领域。法律案例检索的一个显著特点是,语料库中的查询案例和案例描述往往是长文档,因此超过了BERT的输入长度。我们解决这一挑战相结合的词汇和稠密检索方法的段落级别的情况下,第一阶段检索。在这里,我们证明了段落级的检索优于文档级的检索。此外,实验表明,稠密检索方法优于词汇检索。对于重新排序,我们通过总结案例并使用摘要微调基于BERT的重新排序器来解决长文档的问题。总的来说,我们最好的结果是使用特定领域嵌入的BM 25和密集通道检索的组合。
2021-08-09 cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Accenture at CheckThat! 2021: Interesting claim identification and ranking with contextually sensitive lexical training data augmentation
Accenture(埃森哲)
本文讨论了埃森哲团队在CLEF 2021 CheckThat!实验,任务1,确定社交媒体上的声明是否会引起广大受众的兴趣,并应进行事实核查。Twitter培训和测试数据以英语、阿拉伯语、西班牙语、土耳其语和保加利亚语提供。索赔将被分类(值得检查/不值得检查),并按事实检查员的优先顺序排列。我们的方法使用深度神经网络Transformer模型,在提供的训练数据集上应用上下文敏感的词汇增强来创建额外的训练样本。这种增强方法提高了所有语言的性能。总的来说,我们的架构和数据增强管道为阿拉伯语生成了最好的提交系统,并根据提供的英语,西班牙语,土耳其语和保加利亚语训练数据的数量进行了性能扩展。本文研究了每种语言的深度神经网络架构以及提供的数据,以研究为什么这种方法对阿拉伯语如此有效,并讨论了可能对这个问题有用的其他数据增强措施。
2021-07-12 cs.CL cs.IR
CeQe: Grounding Lexical Retrieval in Semantic Evidence
IBM Research(IBM研究院)
针对BM25的语义词汇鸿沟问题,本文提出CE-QE方法,利用交叉编码器的语义检索结果扩展BM25查询,在多个BEIR数据集上显著提升检索性能且不修改底层索引。
2026-08-04 cs.AI cs.IR
SPLATE: Sparse Late Interaction Retrieval
本文提出SPLATE,通过学习MLM适配器将ColBERTv2的冻结token嵌入映射至稀疏词汇空间,利用传统稀疏检索技术进行候选生成,在CPU环境下实现与PLAID引擎同等有效性的快速检索。
2024-04-22 cs.IR
LeiBi@COLIEE 2022: Aggregating Tuned Lexical Models with a Cluster-driven BERT-based Model for Case Law Retrieval
本文总结了我们提交给2022年法律信息抽取/蕴涵竞赛(COLIEE)案例法检索任务的方法。我们的方法包括四个步骤;详细地说,给定一个法律案件作为查询,我们通过提取各种有意义的句子或n-gram来重新表达它。然后,我们利用预处理的查询案例来检索可能的相关法律案例的初始集合,我们进一步重新排序。最后,我们将第一阶段和重新排序模型获得的相关性得分进行聚合,以提高检索效率。在我们方法的每一步中,我们探索了各种知名和新颖的方法。特别是,为了重新制定旨在使它们更短的查询案例,我们使用三种不同的统计方法提取一元语法:KLI,PLM,IDF-r,以及利用嵌入的模型(例如,KeyBERT)。此外,我们还研究了使用Longformer-Encoder-Decoder(LED)的自动摘要是否可以为该检索任务产生有效的查询表示。此外,我们提出了一种新的重新排序聚类驱动的方法,它利用Sentence-BERT模型,这些模型在大量数据上进行了预调整,用于从查询和候选文档中嵌入句子。最后,我们采用了线性聚合的方法来结合传统的IR模型和基于神经模型的相关性得分,旨在将神经模型的语义理解和统计测量的主题相关性。我们表明,这些相关性分数的聚合可以提高整体检索效率。
2022-05-26 cs.IR
SpaDE: Improving Sparse Representations using a Dual Document Encoder for First-stage Retrieval
针对稀疏检索中词汇不匹配与查询推理成本的权衡,提出双文档编码器模型 SpaDE 及协同训练策略,在多个基准上优于现有单编码器排序模型。
2023-10-05 cs.IR
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
University of Waterloo(滑铁卢大学);TU Darmstadt(达姆施塔特工业大学)
本研究推出基于Pyserini和Lucene的统一神经稀疏检索评估工具包SPRINT,在BEIR基准上建立零样本稀疏检索基线,揭示SPLADEv2性能最优的关键原因。
2023-07-19 cs.CL cs.IR cs.LG
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分,以加速文档检索,使用学习稀疏表示,同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分,以用于跳过和最终排名,并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt(达姆施塔特工业大学)
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景,然而,对于信息搜索场景,用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此,在这项工作中,我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说,我们引入了一个kNN的方法,重新排名的文件的基础上,他们的相似性与查询和用户认为相关的文件。此外,我们还探索了交叉编码器模型,我们使用元学习进行预训练,随后针对每个查询进行微调,仅在反馈文档上进行训练。为了评估我们不同的集成策略,我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明,将相关反馈直接集成到神经重排序模型中可以提高它们的性能,并且将词汇排序与我们表现最好的神经重排序器融合在一起,比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
A Unified Framework for Learned Sparse Retrieval
学习稀疏检索(LSR)是一系列第一阶段的检索方法,其被训练以生成查询和文档的稀疏词汇表示以与倒排索引一起使用。最近引入了许多LSR方法,Splade模型在MSMarco上实现了最先进的性能。尽管它们的模型架构相似,但许多LSR方法在有效性和效率方面表现出很大的差异。所使用的实验设置和配置的差异使得很难比较这些方法并获得见解。在这项工作中,我们分析了现有的LSR方法,并确定关键组件,以建立一个LSR框架,统一所有LSR方法在同一角度下。然后,我们使用一个通用的代码库复制所有突出的方法,并在相同的环境中重新训练它们,这使我们能够量化框架的组件如何影响有效性和效率。我们发现,(1)包括文档术语加权是最重要的方法的有效性,(2)包括查询加权有一个小的积极影响,(3)文档扩展和查询扩展有取消效果。因此,我们展示了如何从最先进的模型中删除查询扩展,可以显着减少延迟,同时保持MSMarco和TripClick基准测试的有效性。我们的代码可在https://github.com/thongnt99/learned-sparse-retrieval上公开获取
2023-03-23 cs.IR
GPUSparse: Fast and Exact Learned Sparse Retrieval on a GPU-Resident Inverted Index
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
提出GPUSparse系统,通过GPU并行倒排索引、批处理散射-加和评分算法和融合Triton内核,实现与CPU精确评分一致的稀疏检索,在MS MARCO上比Pyserini快235倍,且不损失召回率。
2026-11-02 cs.DC cs.IR
Effective Matching of Patients to Clinical Trials using Entity Extraction and Neural Re-ranking
The Open University(开放大学);University Milano-Bicocca(米兰比可卡大学);TU Wien(维也纳工业大学)
本文提出一种基于流水线的临床试验检索方法,通过数据丰富技术和两步训练的Transformer重排序方案,显著提升了患者与试验的匹配精度。
2023-07-01 cs.CL cs.IR
Optimizing Guided Traversal for Fast Learned Sparse Retrieval
针对BM25引导的稀疏检索遍历在模型不对齐或k较小时相关性下降的问题,提出两级剪枝与模型对齐的优化方案,在保留相关性的同时显著提升检索速度,并在多数据集上验证了其效果与效率权衡。
2023-05-02 cs.IR
Efficient Neural Ranking using Forward Indexes and Lightweight Encoders
本文提出 Fast-Forward 向量前向索引,结合词法与语义分数插值、表示预计算、轻量编码器及动态标记丢弃,实现高深度、低延迟且无需 GPU 的高效神经重排序。
2023-11-02 cs.IR
Discovering Biases in Information Retrieval Models Using Relevance Thesaurus as Global Explanation
本文提出通过构建相关性词库全局解释神经检索模型,并用于增强BM25以近似神经模型预测,实验揭示了排序模型中的品牌名称偏差。
2024-10-04 cs.IR
Constructing Set-Compositional and Negated Representations for First-Stage Ranking
本研究针对第一阶段排序中独立编码难以处理组合与否定查询的问题,提出基于LSR表征向量运算的零样本方法,包含解耦否定与组合伪术语策略,性能优于微调检索器,并进一步优化了LSR的否定表征能力。
2025-01-13 cs.IR
Non-Compositional Term Dependence for Information Retrieval
在IR中建模术语依赖性的目的是识别相互依赖太严重而不能被视为一个词袋的共现术语,并相应地调整索引和排名。依赖项主要使用词频统计来识别,假设(a)如果术语在某些语料库中共同出现的频率足够高,则它们在语义上是依赖的;(b)它们共同出现的频率越高,它们在语义上的依赖性就越大。这个假设并不总是正确的:共现术语的频率可以与它们的语义依赖的强度分开。例如,在某些语料库中,“redtape”可能总体上比“tape measure”频率低,但这并不意味着“red”+“tape”比“tape”+“measure”依赖性低。这对于非组合短语尤其如此,即其含义不能由其术语的单个含义组成的短语(例如短语“redtape”意思是官僚机构)。出于这种缺乏区分的频率和强度的长期依赖IR,我们提出了一个原则性的方法来处理长期依赖查询,使用词汇频率和语义证据。我们专注于非成分短语,将最近的无监督检测模型[21]扩展到IR。我们的方法,使用马尔可夫随机场[31]集成到排名中,产生了比竞争性TREC基线更有效的收益,表明IR中术语依赖的研究领域仍有改进的空间。
2015-07-29 cs.IR
From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective
Naver Labs Europe(Naver欧洲实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
基于密集表示与近似最近邻搜索相结合的神经检索器最近受到了很多关注,这是由于它们的成功是为了训练而对示例进行蒸馏和/或更好的采样-同时仍然依赖于相同的主干架构。与此同时,稀疏表示学习推动传统的倒排索引技术已经看到了越来越多的兴趣,继承了理想的IR先验,如显式词汇匹配。虽然已经提出了一些架构变体,但在这些模型的训练中投入的精力较少。在这项工作中,我们建立在SPLADE -一个基于稀疏扩展的检索器-并通过研究蒸馏,硬否定挖掘以及预训练的语言模型初始化的效果,显示它能够在多大程度上受益于与密集模型相同的训练改进。我们进一步研究了有效性和效率之间的联系,在域和zero-shot设置,导致国家的最先进的结果,在这两种情况下充分表达的模型。
2022-05-12 cs.CL cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测(QEP)任务及 GEP 方法,利用文档组词汇信息预测查询下各组在排序中的曝光分布,实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
AmharicIR+Instr: A Two-Dataset Resource for Neural Retrieval and Instruction Tuning
Computer Science Department, Addis Ababa University(亚的斯亚贝巴大学计算机科学系);Univ. Toulouse Capitole, IRIT, UMR5505 CNRS(图卢兹卡普利大学、IRIT、UMR5505 CNRS);UT2J, Univ. de Toulouse, IRIT, UMR5505 CNRS(UT2J、图卢兹大学、IRIT、UMR5505 CNRS)
本研究发布了一个包含两个数据集的阿姆哈拉语资源,用于神经检索和指令微调,支持对比训练和生成模型研究。
2026-02-10 cs.CL cs.IR
Efficient course recommendations with T5-based ranking and summarization
本文提出一个基于 RankT5 重排序和自动摘要的两阶段课程推荐检索流水线,在标注数据集上显著超越 BM25 基线,并通过量化实现 40% 加速。
2024-06-27 cs.IR
AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking
TU Wien(维也纳技术大学)
本研究提出双编码器与神经重排序的两阶段检索流程,用于社交媒体隐含科学声明的证据检索,在CheckThat! 2025中显著提升MRR@5至0.6828。
2025-09-23 cs.AI cs.IR cs.LG
Optimizing Dense Retrieval Model Training with Hard Negatives
排序一直是信息检索研究的热点之一。几十年来,词汇匹配信号一直主导着特定的检索过程,但在检索中单独使用这个信号可能会导致词汇不匹配问题。近年来,随着表示学习技术的发展,许多研究者转向稠密检索(DR)模型以获得更好的排序性能。虽然现有的几个DR模型已经取得了可喜的成果,其性能的改善严重依赖于训练样本的采样。许多有效的采样策略在实际应用中效率不够,并且对于其中的大多数,仍然缺乏如何以及为什么会发生性能改善的理论分析。为了阐明这些研究问题,我们从理论上研究了DR模型的不同训练策略,并试图解释为什么硬负采样比随机采样性能更好。通过分析,我们还发现,静态硬负采样,这是许多现有的训练方法所采用的潜在风险。因此,我们提出了两种训练策略,分别命名为稠密检索的稳定训练算法(STAR)和直接优化排名的查询端训练算法(ADORE)。STAR通过引入随机否定来提高DR训练过程的稳定性。ADORE用动态硬负采样方法取代了广泛采用的静态硬负采样方法,直接优化了排名性能。两个公开的检索基准数据集上的实验结果表明,无论是战略获得显着改善现有的竞争基线和它们的组合导致最佳性能。
2021-04-16 cs.IR
Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval
本研究将生成式相关反馈扩展到稠密和学习型稀疏检索,结合伪相关反馈信号,在六个基准上提升精确率和召回率约10%,并显著提高召回率。
2023-05-12 cs.IR
Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets
本文提出在线相关性估计范式,通过在线老虎机算法在排序过程中持续更新查询相关性估计,动态重排候选文档,从而缓解传统望远镜式检索的召回率限制,并在TREC基准上验证其样本高效性和召回率提升效果。
2025-05-07 cs.IR
IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search
University of Amsterdam(阿姆斯特丹大学)
本文研究对话式搜索中的查询重写,提出基于MQ4CS框架的多维度LLM查询生成方法,并结合SPLADE学习型稀疏检索与交叉编码器重排序,在iKAT 2024任务中验证了该方法能有效提升检索性能并超越人工重写效果。
2024-11-22 cs.CL cs.IR
GLIER: Generative Legal Inference and Evidence Ranking for Legal Case Retrieval
Soochow University(苏州大学)
GLIER通过生成式法律推理和证据排序框架,解决法律案例检索中非专业查询与专业文档间的语义鸿沟问题,提升检索的可解释性和准确性。
2026-04-26 cs.AI cs.IR
Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过探针分析四个排序大语言模型的神经元激活,揭示其编码的统计信息检索特征、缺失特征及分布外泛化行为,为提升检索模型可解释性与可靠性提供见解并公开代码。
2025-07-22 cs.IR cs.LG
Transfer Learning Approaches for Building Cross-Language Dense Retrieval Models
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
基于transformer的模型(如BERT)的出现导致了神经排名模型的兴起。这些模型提高了检索系统的有效性,远远超过了词汇匹配模型,如BM 25。虽然单语检索任务受益于MS MARCO等大规模训练集和神经架构的进步,但跨语言检索任务已经落后于这些进步。本文介绍了ColBERT-X,一个推广的ColBERT多表示稠密检索模型,使用XLM-RoBERTa(XLM-R)编码器,以支持跨语言信息检索(CLIR)。ColBERT-X可以通过两种方式进行训练。在zero-shot训练中,系统在英语MS MARCO集合上进行训练,依赖于XLM-R编码器进行跨语言映射。在快速训练中,系统在MS MARCO英语查询上进行训练,并结合相关MS MARCO段落的机器翻译。在几种语言的特设文档排序任务的结果表明,这些训练的稠密检索模型在传统的词汇CLIR基线的实质性和统计上显着的改善。
2022-01-20 cs.CL cs.IR
Rethinking Hybrid Retrieval: When Small Embeddings and LLM Re-ranking Beat Bigger Models
SAP(SAP公司)
本文研究了RAG系统的三模态混合检索,发现紧凑的MiniLM-v6结合LLM重排序在性能上优于更大的BGE-Large,表明嵌入模型选择应优先考虑多信号融合与LLM对齐而非单纯依赖模型规模。
2025-05-28 cs.AI cs.IR
Neural Vector Spaces for Unsupervised Information Retrieval
University of Amsterdam(阿姆斯特丹大学)
我们提出了神经向量空间模型(NVSM),一种以无监督的方式学习文档表示的方法,用于新闻文章检索。在NVSM范式中,我们从头开始使用梯度下降学习单词和文档的低维表示,并根据它们与由单词表示组成的查询表示的相似性对文档进行排名。我们表明,NVSM表现更好的文档排序比现有的潜在语义向量空间方法。将NVSM添加到词汇语言模型和最先进的基线向量空间模型的混合物中,在检索效率方面产生了统计上显著的增加。因此,NVSM添加了互补的相关性信号。接下来的语义匹配,我们发现NVSM表现良好的情况下,词汇匹配是必要的。NVSM直接从文档集合中学习术语特异性的概念,而无需特征工程。我们还表明,NVSM学习相关的卢恩意义。最后,我们就如何在模型选择(例如,交叉验证)是不可行的。我们发现,使用不同超参数值训练的多个模型的无监督集成比单个交叉验证模型表现得更好。因此,NVSM可以安全地用于对文档进行排名,而无需监督相关性判断。
2018-08-18 cs.CL cs.IR
Difficulty-Gated Fusion of Reasoning Views for Temporal Retrieval
UNSW Sydney(新南威尔士大学);University of Innsbruck(因斯布鲁克大学)
该研究针对时序检索中多改写视图融合的精度问题,提出查询难度门控的推理视图融合方法,在Tempo基准上提升了6种检索器的性能,且增益显著。
2026-08-11 cs.IR
Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG
NVIDIA(英伟达)
该研究针对RAG系统的问答文本检索场景,对多款公开排序模型做基准测试,提出NV-RerankQA-Mistral-4B-v3模型实现约14%准确率提升,还通过消融实验分析多因素影响并探讨工业应用权衡。
2024-09-12 cs.CL cs.IR cs.LG
SelRoute: Query-Type-Aware Routing for Long-Term Conversational Memory Retrieval
SelRoute通过根据查询类型选择专用检索管道提升长期对话记忆检索效果,实验显示其在多个基准测试中表现优异,但存在推理密集型检索任务的失败模式。
2026-04-02 cs.IR
Online Distillation for Pseudo-Relevance Feedback
University of Glasgow(格拉斯哥大学);University College London(伦敦大学学院)
本文提出在线蒸馏方法,针对特定查询从神经重排序结果中蒸馏词汇模型,将其作为查询进行第二阶段检索以丰富文档池,效果优于现有伪相关反馈、稠密检索及混合方法。
2023-06-16 cs.CL cs.IR
Developing an Intelligent Job Recommendation System Using Semantic Retrieval and Explainable AI Techniques
Master of Web Science, Syrian Virtual University, Damascus, Syria(Web科学硕士,叙利亚虚拟大学,大马士革,叙利亚)
提出一种结合TF-IDF、Sentence-BERT语义检索、交叉编码器重排序和可解释性生成的元数据驱动职位推荐系统,在LinkedIn数据集上达到高精度和可解释性。
2026-05-26 cs.AI cs.IR
Improving Legal Information Retrieval by Distributional Composition with Term Order Probabilities
世界各地的法律专业人士目前正在努力跟上通过数字手段提供法律文件的爆炸性增长。这就需要高效率的法律信息检索(IR)和问答(QA)方法。特别是IR任务有一系列独特的挑战,需要使用语义驱动的NLP技术。在这项工作中,一个两阶段的法律信息检索的方法,提出了结合词汇统计和分布式句子表示的法律信息抽取/蕴涵(COLIEE)的竞争的背景下。组合是通过使用消歧规则来完成的,消歧规则应用于通过n-gram统计获得的排名。排名完成后,将评估其结果的歧义性,如果结果被确定为对于给定查询不可靠,则进行消歧。竞争和实验结果表明,使用所提出的方法在整体检索性能的小收益。此外,分析错误和改进的情况下,提出了更好地理解的贡献。
2017-06-10 cs.CL cs.IR
Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking
University of Zurich(苏黎世大学);Centre for Artificial Intelligence(人工智能中心);Zurich University of Applied Sciences(应用科学大学);Institute of Neuroinformatics(神经信息学研究所);European Centre for Living Technology(欧洲生活技术中心)
本文提出结合 BM25、FAISS 稠密检索与 LLM 重排序的混合检索流程,用于从社交媒体帖子中检索科学文献,在 CheckThat! 2025 子任务 4b 中取得开发集第 1、测试集第 3 的成绩。
2025-07-04 cs.AI cs.IR
Numbers Matter! Bringing Quantity-awareness to Retrieval Systems
Institute of Computer Science, Heidelberg University(海德堡大学计算机科学研究所)
针对现有检索系统忽略数量量级与单位信息、无法有效处理含数值条件查询的问题,提出两种可联合或独立排序数量与文本的数量感知排序技术,构建金融、医学领域基准数据集验证其有效性,相关代码数据已开源。
2024-07-14 cs.IR cs.LG