Contrastive Fine-tuning Improves Robustness for Neural Rankers
AWS AI Labs(亚马逊云科技人工智能实验室)
当暴露于噪声输入或应用于新领域时,最先进的神经排序器的性能可能会大幅恶化。在本文中,我们提出了一种新的方法微调神经排名,可以显着提高其鲁棒性域外数据和查询扰动。具体来说,在微调期间,将比较表示空间中的数据点的对比损失与标准排名损失相结合。我们使用相关性标签来表示相似/不相似对,这使得模型能够学习不同查询-文档对之间的底层匹配语义,并提高鲁棒性。在四个通道的排名数据集的实验中,所提出的对比微调方法获得的鲁棒性的查询重新制定,噪声扰动,和zero-shot传输的BERT和BART基于排名的改进。此外,我们的实验表明,对比微调优于数据增强的鲁棒神经排名。
2021-05-27 cs.CL cs.IR
Breaking Flat: A Generalised Query Performance Prediction Evaluation Framework
Indian Association for the Cultivation of Science(印度科学培养印度协会);University of Glasgow(格拉斯哥大学)
本文提出了一种通用的查询性能预测评估框架,通过三种不同设置评估排序模型的有效性,发现预测最佳排序器比预测查询难度更具挑战性。
2026-01-24 cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Empowering Dual-Encoder with Query Generator for Cross-Lingual Dense Retrieval
在单语稠密检索中,大量的工作集中在如何从交叉编码器重排序器到双编码器检索器中提取知识,这些方法由于交叉编码器重排序器的有效性而获得更好的性能。然而,我们发现跨编码器重排序器的性能受到训练样本的数量和负样本的质量的严重影响,这在跨语言设置中很难获得。在本文中,我们提出了使用查询生成器作为教师在跨语言设置,这是较少依赖于足够的训练样本和高质量的负样本。除了传统的知识蒸馏,我们进一步提出了一种新的增强方法,使用查询生成器来帮助双编码器对齐来自不同语言的查询,但不需要任何额外的并行语句。实验结果表明,我们的方法优于国家的最先进的方法在两个基准数据集。
2023-03-27 cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University(卡内基梅隆大学)
对于基于深度语言模型(如BERT)的神经重排序器来说,长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量,然后将其汇集到最终的相关性分数中。然而,这些编码和池方法不可避免地引入了一个信息瓶颈:低维表示。在本文中,我们建议,而不是充分的查询到文档的交互建模,利用注意力操作和模块化的Transformer重新排名框架。首先,使用编码器模块独立地对文档块进行编码。然后,交互模块对查询进行编码,并执行从查询到所有文档块表示的联合关注。我们证明,该模型可以使用这个新的自由度,从整个文档中聚合重要信息。实验结果表明,该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels
本文提出在零样本 LLM 排序器提示中引入细粒度相关性标签,以替代传统二元 Yes/No 判断,并在 8 个 BEIR 数据集上验证其显著提升排序性能。
2024-04-02 cs.IR
Answer Retrieval in Legal Community Question Answering
针对法律领域答案检索中律师与用户知识鸿沟及内容形式混合的挑战,提出基于细粒度结构化输入的交叉编码器重排序器CE_FS,并构建了基准数据集LegalQA,实验证明该方法显著提升了检索效果。
2024-01-09 cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca(米兰比可卡大学);Leiden University(莱顿大学)
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述(如可信度)来增强候选文档的方法,实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation
Emory University(埃默里大学)
针对神经排序器目标域标注数据稀缺问题,提出DUQGen,通过文档聚类与概率采样生成有效且多样的合成查询,实现无监督域适应,并在BEIR上显著提升排序性能。
2024-04-03 cs.CL cs.IR
Query-driven Segment Selection for Ranking Long Documents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
基于transformer的排名显示出最先进的性能。然而,他们的自我注意操作大多无法处理长序列。训练这些排序器的常用方法之一是以启发式方式选择每个文档的某些段(例如第一段)作为训练数据。但是,这些段可能不包含文档中与查询相关的部分。为了解决这个问题,我们提出了查询驱动的段选择从长文档建立训练数据。段选择器为相关样本提供更准确的标签,为不相关样本提供更难预测的标签。实验结果表明,与建议的段选择器训练的基本BERT的排序器显着优于训练的启发式选择的段,并表现出等同于最先进的模型与本地化的自我注意,可以处理更长的输入序列。我们的研究结果开辟了新的方向,设计高效的变压器为基础的排名。
2021-09-10 cs.CL cs.IR cs.LG
Retrieval for Extremely Long Queries and Documents with RPRS: a Highly Efficient and Effective Transformer-based Re-Ranker
针对极长查询与文档的 QBD 检索,本文提出基于比例相关性分数的 Transformer 重排序器 RPRS,以 O(N) 复杂度在五个数据集上超过最先进方法,并仅需少量标注数据调优三个参数。
2023-11-02 cs.IR
Optimizing Test-Time Query Representations for Dense Retrieval
Korea University(高丽大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文提出TOUR方法,利用测试时检索结果和交叉编码器伪标签迭代优化查询表示,可视为Rocchio算法的推广,在开放域问答和段落检索上显著提升性能与效率。
2023-05-28 cs.CL cs.IR
Competitive Retrieval: Going Beyond the Single Query
该研究聚焦多查询竞争检索场景,通过博弈论证明均衡未必存在,实验发现神经排序器比基于特征的排序器更难被操纵提升多查询排名,并提出了预测下一次最高排名文档的有效方法。
2024-04-14 cs.GT cs.IR
CREDENCE: Counterfactual Explanations for Document Ranking
本研究提出交互式工具CREDENCE,针对信息检索中的文档排序问题,从文档、查询及其他文档维度生成反事实解释,还支持用户自定义扰动以获取相关洞见,提升了排序器的可解释性。
2023-02-10 cs.IR
When More Reformulations Hurt: Avoiding Drift using Ranker Feedback
Stockholm University(斯德哥尔摩大学);L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学)
本文提出ReformIR框架,通过预算感知的检索方法,在有限计算下优化改写查询的召回率并抑制漂移,实验表明其在MSMARCO和TREC DL基准上优于现有方法。
2026-05-01 cs.IR
MICE: Minimal Interaction Cross-Encoders for efficient Re-ranking
Sinequa by ChapsVision(ChapsVision旗下Sinequa);Univ. Toulouse, IRIT, CLLE, CNRS(图卢兹大学,IRIT,CLLE,CNRS);Sorbonne Université, CNRS, ISIR(索邦大学,CNRS,ISIR)
研究针对交叉编码器推理成本高的问题,提出MICE架构,通过去除有害或不必要交互,将加速交叉编码器推理与提升一级检索效果两种方法结合,评估显示其降低推理延迟四倍,效果良好。
2026-09-01 cs.IR
Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);IMT(法国国立高等电信学院);Univ. de Toulouse(图卢兹大学);Université de Toulouse(图卢兹大学);INSPE(国家教育与教学高级学院);UT2J(图卢兹第二让·饶勒斯大学);Université Toulouse Capitole(图卢兹第一大学);UT1(图卢兹第一大学);Edinburgh Napier University(爱丁堡龙比亚大学)
本文全面评估了QPP在跨检索范式和集合上的泛化能力,发现其预测准确性受集合和排序器影响显著,且QPP驱动的选择性查询处理仅带来边际收益,强调了需开发能跨集合泛化、适配稠密检索且服务下游的改进预测器。
2025-04-01 cs.IR cs.LG
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
段落重排序是在检索阶段获得的候选段落集上进行排列。由于预训练语言模型在自然语言理解方面的巨大优势,重新排序器得到了蓬勃发展。然而,现有的基于PLM的重排序器可能容易遭受词汇不匹配和缺乏领域特定知识的困扰。为了缓解这些问题,显式知识包含在知识图谱在我们的工作中仔细介绍。具体而言,我们采用现有的知识图谱,这是不完整的和嘈杂的,并首次将其应用于通道重排序任务。为了利用可靠的知识,我们提出了一种新的知识图谱蒸馏方法,并获得知识Meta图作为查询和通道之间的桥梁。为了在潜在空间中对齐这两种嵌入,我们采用PLM作为文本编码器,知识Meta图上的图神经网络作为知识编码器。此外,还设计了一种新的知识注入器,实现了文本与知识编码器的动态交互。实验结果表明,我们的方法的有效性,特别是在查询需要深入的领域知识。
2022-04-25 cs.AI cs.IR
Relevance-Based Embeddings: Lightweight Candidate Retrieval via Heavy-Ranker Calls
研究如何利用昂贵模型分数改进查询和项目表示来选择候选,通过描述查询与支持项目相关性获嵌入,理论证明其有效性,还探讨支持项目选择,实验验证方法强大。
2026-07-07 cs.IR cs.LG
Recall Begets Recall: Recurrent Memory Ranking for Personalized LLMs
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);AGH University of Science and Technology(AGH科技大学);Alibaba Group(阿里巴巴集团)
针对现有个性化LLM记忆排序器单次遍历易漏相关记忆、固定截断未适配查询需求的问题,提出循环自终止式记忆排序器ReMind,经公开基准实验取得最优效果。
2026-10-14 cs.IR
Cross-lingual Knowledge Transfer via Distillation for Multilingual Information Retrieval
在本文中,我们介绍了我们提交MIRACL挑战的方法,这是一项WSDM 2023杯比赛,以18种不同语言的特设检索为中心。我们的解决方案包含两个基于神经的模型。第一个模型是一个双编码器重排序器,我们采用跨语言蒸馏技术,将排序知识从英语转移到目标语言空间。第二个模型是一个跨编码器的重新排序器,使用神经机器翻译生成的多语言检索数据进行训练。我们使用MIRACL训练数据和集合多个秩列表进一步微调两个模型以获得最终结果。根据MIRACL排行榜,我们的方法在16种已知语言中的Test-A集排名第8,Test-B集排名第2。
2023-02-26 cs.IR
Cross-Document Neural Re-Ranking via Query-Induced Subgraphs
Sapienza University of Rome(罗马第一大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Cambridge(剑桥大学);Istituto Nazionale di Geofisica e Vulcanologia(国家地球物理与火山学研究所);University of Pisa(比萨大学)
提出GNRR框架,利用查询诱导子图和GNN传播跨文档信号,实现线性复杂度重排序,在TREC-DLHard上比TCT-ColBERT提升5.2% AP,优于自注意力方法。
2026-09-15 cs.IR
A Multi-level Distillation based Dense Passage Retrieval Model
本文提出基于多级蒸馏的稠密检索模型MD2PR,通过句子级和词语级蒸馏将交叉编码器知识转移至双编码器,并引入动态过滤方法,在两个标准数据集上超越11个基线模型。
2023-12-28 cs.IR
Building Better Encoder-only Cross-Encoders: A Controlled Study of Training Strategies for Neural Re-ranking
Sorbonne Université, CNRS, ISIR(索邦大学);Sinequa by ChapsVision(ChapsVision旗下Sinequa);Université de Toulouse, CNRS, IRIT, CLLE(图卢兹大学)
本文复现并比较了不同蒸馏技术在跨编码器上的效果,发现强调相对比较的目标在性能上优于传统方法。
2026-09-01 cs.IR
Query Encoder Distillation via Embedding Alignment is a Strong Baseline Method to Boost Dense Retriever Online Efficiency
University of Pennsylvania(宾夕法尼亚大学)
提出一种简单基线方法,通过嵌入对齐蒸馏查询编码器,以非对称架构在BEIR上保留92.5%性能,提升稠密检索器在线效率。
2023-06-05 cs.AI cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
CoSPLADE: Contextualizing SPLADE for Conversational Information Retrieval
本文提出CoSPLADE,利用CANARD数据集以轻量级学习方式训练基于SPLADE的第一阶段对话检索排序器,并结合T5Mono第二阶段排序器,在TREC CAsT 2020和2021上取得有竞争力的效果。
2024-07-04 cs.IR
Efficient Exploration of Gradient Space for Online Learning to Rank
University of Virginia(弗吉尼亚大学)
在线学习排名(OL2R)基于直接从用户收集的隐式反馈来优化返回的搜索结果的效用。为了改进估计,OL2R算法检查一个或多个探索性梯度方向,并且如果用户通过交错测试优选所提议的方向,则更新当前排名器。在本文中,我们加速在线学习过程中的梯度空间的有效探索。我们的算法,命名为空间梯度下降,减少了探索空间,只有最近表现不佳的梯度的\emph{null space}。这可以防止算法重复探索最近与用户的交互所阻止的方向。为了提高敏感性的交错测试,我们有选择地构建候选排名,以最大限度地提高他们可以区分候选排名文件在当前查询的机会,我们使用历史上困难的查询,以确定最好的排名时,领带发生在比较排名。与最先进的OL2R算法在几个公共基准上进行了广泛的实验比较,证实了我们提出的算法的有效性,特别是在早期阶段的快速学习收敛和有前途的排名质量。
2018-05-18 cs.IR cs.LG
Query-aware routing for Cross-lingual performance gains in Encoders
ConfidentialMind
本研究提出查询感知路由结合低秩适配器,在不损害同语言性能的前提下,显著提升芬兰语和瑞典语的跨语言检索质量,相对增益达20.9%。
2026-10-05 cs.AI cs.CL cs.IR
CeQe: Grounding Lexical Retrieval in Semantic Evidence
IBM Research(IBM研究院)
针对BM25的语义词汇鸿沟问题,本文提出CE-QE方法,利用交叉编码器的语义检索结果扩展BM25查询,在多个BEIR数据集上显著提升检索性能且不修改底层索引。
2026-08-04 cs.AI cs.IR
Investigating the Effects of Sparse Attention on Cross-Encoders
本研究系统分析稀疏注意力模式与窗口大小对交叉编码器重排序的影响,发现查询token无需关注文档token且极小窗口(如4)即可保持效果,同时显著降低内存需求并提升推理速度。
2024-03-20 cs.IR
GNN-encoder: Learning a Dual-encoder Architecture via Graph Neural Networks for Dense Passage Retrieval
最近,基于密集表示的检索模型在段落检索任务中占主导地位,由于其出色的能力,在捕捉输入文本的语义相比,传统的稀疏向量空间模型。稠密检索模型的一个常见做法是利用双编码器架构来独立地表示查询和段落。虽然有效,但这样的结构失去了查询-通道对之间的交互,导致准确性较差。为了提高稠密检索模型的性能而不损失效率,我们提出了一个GNN编码器模型,其中查询(通道)信息融合到通道(查询)表示通过图神经网络,构建查询和他们的顶部检索通道。通过这种方法,我们保持了一个双编码器结构,并保留了一些查询-通道对之间的相互作用信息,这使我们能够实现效率和功效的通道检索。评估结果表明,我们的方法在MSMARCO,Natural Questions和TriviaQA数据集上的性能明显优于现有模型,并在这些数据集上达到了新的最先进水平。
2022-10-12 cs.IR
Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
Stanford University(斯坦福大学);Amazon AWS(亚马逊云科技);Tel Aviv University(特拉维夫大学)
本研究探讨向量检索中查询编码器的可学习性,发现其质量远低于文档索引的几何容量上限,并理论证明学习查询编码器在计算上可能困难,需指数级统计查询。
2026-10-05 cs.IR cs.LG
Can Cross Encoders Produce Useful Sentence Embeddings?
IBM(国际商业机器公司(IBM))
本文发现交叉编码器早期层的嵌入可用于信息检索,并提出利用交叉编码器蒸馏轻量双编码器的方法,在保持效果的同时实现5.15倍推理加速。
2025-02-05 cs.CL cs.IR
A Thorough Comparison of Cross-Encoders and LLMs for Reranking SPLADE
本研究系统比较了交叉编码器与LLM(如GPT-4)在SPLADE检索重排序中的表现,发现传统交叉编码器在域外场景仍具竞争力,为平衡搜索系统的效果与效率提供了新视角。
2024-03-15 cs.IR
Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距,作者构建了新数据集 Rank-DistiLLM,通过应用难负样本采样等微调方法,使交叉编码器在达到 LLM 有效性的同时,速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval
词频是一种用于识别查询或文档中某个词的重要性的常用方法。但这是一个微弱的信号,特别是当频率分布是平坦的时候,比如在长查询或短文档中,文本是句子/句子长度。本文提出了一个深度上下文化术语权重框架,该框架学习将BERT的上下文化文本表示映射到句子和段落的上下文感知术语权重。当应用于段落时,DeepCT-Index产生的术语权重可以存储在普通的倒排索引中,用于段落检索。当应用于查询文本时,DeepCT-Query生成加权词袋查询。这两种类型的术语权重可以直接用于典型的第一阶段检索算法。这是新颖的,因为大多数基于深度神经网络的排名模型具有更高的计算成本,并且因此限于后期排名器。在四个数据集上的实验表明,DeepCT的深度上下文文本理解大大提高了第一阶段检索算法的准确性。
2019-11-26 cs.IR
Distribution-Aligned Fine-Tuning for Efficient Neural Retrieval
基于双编码器的神经检索模型实现了可观的性能,并补充传统的词汇检索器,以及由于其语义匹配能力,这使得它们成为混合IR系统的常见选择。然而,这些模型在在线查询编码步骤中表现出性能瓶颈,因为相应的查询编码器通常是大型且复杂的Transformer模型。在本文中,我们研究异构双编码器模型,其中两个编码器是单独的模型,不共享参数或初始化。我们的经验表明,异构的双编码器容易崩溃的表示,使他们输出恒定的平凡表示时,他们使用一个标准的对比度损失,由于分布不匹配进行微调。我们提出了DAFT,一个简单的两阶段微调方法,对齐两个编码器,以防止它们崩溃。我们进一步演示了如何DAFT可以用来训练高效的异构双编码器模型,使用轻量级查询编码器。
2022-11-09 cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research(谷歌研究院)
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此,模型通常利用仅编码器(如BERT)范例或编码器-解码器(如T5)方法。然而,这些范例并非没有缺陷,即,在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型,以文档的形式用于查询生成。随后,我们表明,这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速,因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明,这种新的范式实现的结果是比较昂贵的交叉注意力排名方法,同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance
近年来,信息检索领域见证了稠密检索(DR)的快速发展,DR使用基于嵌入的搜索来执行第一阶段的检索。尽管令人印象深刻的排名性能,以前的研究通常采用暴力搜索获得候选人,这是禁止在实际的Web搜索场景,由于其巨大的内存使用和时间成本。为了克服这些问题,向量压缩方法已被采用在许多实际的基于嵌入的检索应用。最流行的方法之一是乘积量化(PQ)。然而,虽然现有的矢量压缩方法,包括PQ可以帮助提高DR的效率,他们招致严重衰减的检索性能,由于编码和压缩之间的分离。为了解决这个问题,我们提出了JPQ,它代表查询编码和乘积量化的联合优化。它基于三种优化策略,即面向排名的损失,PQ质心优化和端到端负采样,以端到端的方式联合训练查询编码器和PQ索引。我们评估JPQ两个公开的检索基准。实验结果表明,JPQ明显优于流行的矢量压缩方法。与以前使用蛮力搜索的DR模型相比,JPQ几乎可以在索引大小压缩30倍的情况下获得最佳检索性能。压缩后的索引在查询延迟方面进一步带来了10倍的CPU加速和2倍的GPU加速。
2021-08-22 cs.IR
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders
the University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Walmart Labs(沃尔玛实验室)
本文针对密集检索双编码器的推理延迟问题,提出训练后查询编码器剪枝与 KL 对齐方法 KALE,并结合非对称模型设计,在无需完全重训或重建索引的情况下实现 3 倍加速且性能超过 DistilBERT。
2023-06-01 cs.AI cs.CL cs.IR
Document Expansion by Query Prediction
Tandon School of Engineering, New York University(纽约大学坦登工程学院);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research(脸书人工智能研究院)
一种提高搜索引擎检索效率的技术是用与文档内容相关或代表文档内容的术语来扩展文档。从问答系统的角度来看,这可能包括文档可能回答的问题。根据这一观察结果,我们提出了一种简单的方法,该方法预测将针对给定文档发出哪些查询,然后使用由查询和相关文档对组成的数据集进行训练的香草序列到序列模型来扩展这些预测。通过将我们的方法与高效的重新排序组件相结合,我们在两个检索任务中实现了最先进的技术。在延迟临界状态下,单独的检索结果(没有重新排序)接近计算成本更高的神经重新排序器的有效性,但要快得多。
2019-09-25 cs.IR cs.LG
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion
用户可能会努力为他们的信息需求制定一个适当的文本查询。搜索引擎通过提供查询建议来帮助用户。为了保留原始搜索意图,建议应该是上下文感知的,并考虑到用户发出的先前查询。由于数据的稀疏性,实现上下文感知具有挑战性。我们提出了一个概率的建议模型,能够考虑到以前的查询序列的任意长度。我们的新的分层经常性的编码器-解码器架构允许该模型是敏感的查询顺序的上下文中,同时避免数据稀疏。此外,我们的模型可以建议罕见的或长尾的查询。所产生的建议是合成的,并且使用计算成本低的解码技术一次一个词地进行采样。这与依赖于机器学习管道和手工设计的特征集的当前合成建议模型形成对比。结果表明,它优于现有的上下文感知方法在下一个查询预测设置。除了查询建议,我们的模型是通用的,足以用于各种其他应用程序。
2015-07-08 cs.IR cs.NE
Generative Multi-hop Retrieval
文本检索的一个常见做法是使用编码器将文档和查询映射到一个公共向量空间,并执行最近邻搜索(NNS);多跳检索也经常采用相同的范式,通常修改迭代地重新制定查询向量,以便它可以在每一跳检索不同的文档。然而,这种双编码器方法在多跳设置中存在局限性;(1)随着跳数的增加,重新表达的查询会变得更长,这进一步加剧了查询向量的嵌入瓶颈,(2)容易发生错误传播。在本文中,我们专注于减轻这些限制,在多跳设置制定一个完全生成的方式的问题。我们提出了一种编码器-解码器模型,通过简单地生成检索目标的整个文本序列来执行多跳检索,这意味着查询和文档在语言模型的参数空间中进行交互,而不是像双编码器方法中的L2或内积空间。我们的方法,生成式多跳检索(GMR),在五个数据集中始终实现与双编码器模型相当或更高的性能,同时展示了卓越的GPU内存和存储空间。
2022-10-16 cs.IR
Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking
Babeş-Bolyai University(巴贝什-波雅伊大学)
本文提出了一种三阶段多轮检索方法,结合查询重写、混合搜索和交叉编码器重排序,通过温度调优提升领域特定性能,达到nDCG@5 0.531的排名。
2026-05-12 cs.CL cs.IR
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
CROSS-JEM: Accurate and Efficient Cross-encoders for Short-text Ranking Tasks
针对现有交叉编码器独立打分忽略联合上下文、精度不足且成本高的问题,提出CROSS-JEM方法,通过联合打分与新型训练目标,实现了短文本排序任务的SOTA精度与4倍以上延迟降低。
2024-09-15 cs.IR
Succeeding at Scale: Enterprise Retrieval Benchmark Construction and Index-Preserving Query Adaptation for Multi-Tenant Search
Prateek Jain;Shabari S Nair;Ritesh Goru;Prakhar Agarwal;Ajay Yadav;Yoga Sri Varshan Varadharajan;Constantine Caramanis
针对多租户检索系统中标注数据匮乏和模型更新成本高的问题,提出全自动构建基准DevRev-Search,并研究仅微调查询编码器而保持文档索引不变的索引保持查询适配策略,实现质量与效率的平衡。
2026-06-15 cs.AI cs.CL cs.IR
Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence(上海数据科学 key 实验室,计算机科学与人工智能学院);Fudan University(复旦大学);Shanghai(上海);China(中国)
本文提出SeleCom框架,通过查询条件选择器改进RAG中的软压缩,提升信息密度并减少计算开销,实验显示其性能优于现有方法且效率更高。
2026-03-21 cs.AI cs.CL cs.IR
Conventional Contrastive Learning Often Falls Short: Improving Dense Retrieval with Cross-Encoder Listwise Distillation and Synthetic Data
针对传统对比学习微调在稠密检索中效果不佳的问题,提出交叉编码器列表式蒸馏与多样化合成查询数据的方法,显著提升多数据集检索效果,并达到BERT嵌入模型最先进水平。
2025-05-25 cs.IR
Hypencoder Revisited: Reproducibility and Analysis of Non-Linear Scoring for First-Stage Retrieval
University of Amsterdam(阿姆斯特丹大学)
本文重审Hypencoder框架,验证其在领域内和领域外基准上的优越性,并分析非线性评分在检索中的表现及扩展应用。
2026-04-29 cs.CL cs.IR
Learning Deep Semantic Model for Code Search using CodeSearchNet Corpus
Tencent Cloud(腾讯云);Alibaba Group(阿里巴巴集团)
语义代码搜索是在给定自然语言查询的情况下检索相关代码片段的任务。与典型的信息检索任务不同,代码搜索需要弥合程序设计语言和自然语言之间的语义鸿沟,以便更好地描述内在概念和语义。近年来,用于代码搜索的深度神经网络成为研究热点。神经代码搜索的典型方法首先将代码片段和查询文本表示为单独的嵌入,然后使用向量距离(例如点积或余弦)来计算它们之间的语义相似度。有许多不同的方法可以将可变长度的代码或查询标记聚合到可学习的嵌入中,包括双向编码器,交叉编码器和多编码器。查询编码器和代码编码器的目标是为一对相关的查询和对应的所需代码片段产生彼此接近的嵌入,其中编码器的选择和设计非常重要。在本文中,我们提出了一种新的深层语义模型,它不仅利用多模态源的效用,而且还利用特征提取器,如自注意力,聚合向量,中间表示的组合。我们应用所提出的模型来解决CodeSearchNet关于语义代码搜索的挑战。我们将多模态学习的跨语言嵌入与大批量和硬示例挖掘相结合,并结合不同的学习表示以更好地增强表示学习。我们的模型在CodeSearchNet语料库上进行了训练,并在支持数据上进行了评估,最终模型达到了0.384 NDCG,在该基准测试中获得了第一名。模型和代码可在https://github.com/overwindows/SemanticCodeSearch.git上获得。
2022-01-27 cs.CL cs.IR