Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距，作者构建了新数据集 Rank-DistiLLM，通过应用难负样本采样等微调方法，使交叉编码器在达到 LLM 有效性的同时，速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
Building Better Encoder-only Cross-Encoders: A Controlled Study of Training Strategies for Neural Re-ranking
Sorbonne Université, CNRS, ISIR（索邦大学）；Sinequa by ChapsVision（ChapsVision旗下Sinequa）；Université de Toulouse, CNRS, IRIT, CLLE（图卢兹大学）
本文复现并比较了不同蒸馏技术在跨编码器上的效果，发现强调相对比较的目标在性能上优于传统方法。
2026-09-01 cs.IR
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research（谷歌研究院）
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此，模型通常利用仅编码器（如BERT）范例或编码器-解码器（如T5）方法。然而，这些范例并非没有缺陷，即，在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型，以文档的形式用于查询生成。随后，我们表明，这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速，因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明，这种新的范式实现的结果是比较昂贵的交叉注意力排名方法，同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca（米兰比可卡大学）；Leiden University（莱顿大学）
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述（如可信度）来增强候选文档的方法，实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
SpaDE: Improving Sparse Representations using a Dual Document Encoder for First-stage Retrieval
针对稀疏检索中词汇不匹配与查询推理成本的权衡，提出双文档编码器模型 SpaDE 及协同训练策略，在多个基准上优于现有单编码器排序模型。
2023-10-05 cs.IR
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University（首尔国立大学）；Naver Corp.（Naver公司）
基于BERT的神经排序模型（NRM）可以是交叉编码器或双向编码器。在这两者之间，bi-encoder效率很高，因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中，我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法，是基于适配器的，基于FPGA的，和两者的混合。第二种方法是开发半连体模型，其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异，其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT，TwinBERT和ColBERT提供了广泛的实验结果，其中三个性能指标在Robust 04，Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实，轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上，轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
A Two-Stage Adaptation of Large Language Models for Text Ranking
本文提出一种两阶段渐进范式，通过在大型弱监督语料库上进行持续预训练（CPT）并执行基于RankLLaMA的改进监督微调（SFT）策略，使仅解码器大型语言模型更好地适配文本排序，在多个基准的域内外场景中均优于以往方法。
2024-06-01 cs.IR
Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。
2026-02-11 cs.AI cs.IR cs.LG
Investigating the Effects of Sparse Attention on Cross-Encoders
本研究系统分析稀疏注意力模式与窗口大小对交叉编码器重排序的影响，发现查询token无需关注文档token且极小窗口（如4）即可保持效果，同时显著降低内存需求并提升推理速度。
2024-03-20 cs.IR
Mitigating Preference Leakage via Strict Estimator Separation for Normative Generative Ranking
University of Southampton（南安普顿大学）；Umm Al-Qura University（乌姆古拉大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出通过严格分离监督与评估模型，缓解偏好泄漏问题，提升生成排序的可信度。
2026-02-25 cs.IR
RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses
Google Research（谷歌研究院）
最近，基于预训练语言模型（如BERT）的文本排名取得了实质性进展。然而，关于如何利用更强大的序列到序列模型（如T5）的研究有限。现有的尝试通常将文本排名公式化为分类，并依赖于后处理来获得排名列表。在本文中，我们提出了RankT 5，并研究了两个基于T5的排名模型结构，编码器-解码器和编码器-只有一个，使他们不仅可以直接输出每个查询-文档对的排名分数，但也可以微调与“成对”或“列表”的排名损失，以优化排名性能。我们的实验表明，所提出的模型与排名损失可以实现显着的排名性能增益不同的公共文本排名数据集。此外，当用列表排序损失进行微调时，与用分类损失进行微调的模型相比，排序模型似乎在域外数据集上具有更好的zero-shot排序性能。
2022-10-12 cs.CL cs.IR
Quality and Cost Trade-offs in Passage Re-ranking Task
IHS Markit（埃信华迈）
名为Transformers的深度学习模型在绝大多数NLP任务中实现了最先进的结果，但代价是增加了计算复杂性和高内存消耗。在实时推理中使用Transformer模型在生产中实现时成为一个主要挑战，因为它需要昂贵的计算资源。需要执行的Transformer越多，整体吞吐量就越低，并且切换到较小的编码器会导致精度降低。我们的论文致力于如何选择正确的信息检索管道的排名步骤的架构的问题，使所需的调用的数量最小的Transformer编码器是最大的可实现的排名质量。我们研究了几种后期交互模型，如Colbert和Poly-encoder架构及其修改。此外，我们还考虑了搜索索引的内存占用，并尝试应用学习哈希方法对来自Transformer编码器的输出向量进行二进制化。评估结果使用TREC 2019-2021和MS Marco dev数据集提供。
2021-11-18 cs.CL cs.IR
Layer-wise Token Compression for Efficient Document Reranking
Amazon AGI（亚马逊人工智能）；Amazon AWS（亚马逊云科技）
本文提出逐层令牌压缩（LTC）方法，通过在中间Transformer层应用自适应令牌池化，提升文档重排序的效率，实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。
2026-05-21 cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常，稠密检索模型是在干净和精心策划的数据集上评估的。然而，当部署在现实生活中的应用程序，这些模型遇到嘈杂的用户生成的文本。也就是说，当暴露在嘈杂的文本中时，最先进的密集检索器的性能会大大恶化。在这项工作中，我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降，并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明，我们提出的方法优于竞争方法。此外，我们对鲁棒性进行了全面的分析。最后，我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology（佐治亚理工学院）；Wuhan University of Technology（武汉理工大学）
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法，称为JEMA，用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入，并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化，以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐，作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明，所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
段落重排序是在检索阶段获得的候选段落集上进行排列。由于预训练语言模型在自然语言理解方面的巨大优势，重新排序器得到了蓬勃发展。然而，现有的基于PLM的重排序器可能容易遭受词汇不匹配和缺乏领域特定知识的困扰。为了缓解这些问题，显式知识包含在知识图谱在我们的工作中仔细介绍。具体而言，我们采用现有的知识图谱，这是不完整的和嘈杂的，并首次将其应用于通道重排序任务。为了利用可靠的知识，我们提出了一种新的知识图谱蒸馏方法，并获得知识Meta图作为查询和通道之间的桥梁。为了在潜在空间中对齐这两种嵌入，我们采用PLM作为文本编码器，知识Meta图上的图神经网络作为知识编码器。此外，还设计了一种新的知识注入器，实现了文本与知识编码器的动态交互。实验结果表明，我们的方法的有效性，特别是在查询需要深入的领域知识。
2022-04-25 cs.AI cs.IR
AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking
TU Wien（维也纳技术大学）
本研究提出双编码器与神经重排序的两阶段检索流程，用于社交媒体隐含科学声明的证据检索，在CheckThat! 2025中显著提升MRR@5至0.6828。
2025-09-23 cs.AI cs.IR cs.LG
Composite Re-Ranking for Efficient Document Search with BERT
虽然相当大的努力已经投入到基于变压器的排名模型的文档搜索，相关性效率的权衡仍然是一个关键问题的特设排名。为了克服这一挑战，本文提出了BECR（基于BERT的复合重新排序），一个复合重新排序方案，结合了深度上下文令牌交互和传统的词汇术语匹配功能。特别地，BECR利用令牌编码机制将查询表示分解为可预计算的uni-gram和skip-n-gram。通过在双编码器架构之上应用令牌编码，BECR在捕获查询的上下文语义的同时分离了查询和文档之间的注意力。与以前的方法相比，该框架在在线推理期间不执行昂贵的BERT计算。因此，它是显着更快，但仍然能够实现高竞争力的ad-hoc排名的相关性。最后，使用TREC数据集描述了BECR和其他最先进的神经排名基线之间的深入比较，从而进一步证明了BECR的增强的相关性和效率。
2022-01-06 cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Cluster Language Model for Improved E-Commerce Retrieval and Ranking: Leveraging Query Similarity and Fine-Tuning for Personalized Results
本文提出利用K-Means对查询聚类并在各簇上微调聚类语言模型，以较低训练成本改进电商检索准确性，实现优于双编码器模型的个性化检索结果。
2023-09-25 cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注，因为他们带来了上下文的权力，Transformer模型的高效检索。在这项工作中，我们研究了两个深上下文的基于术语的模型在查询的背景下，通过示例（QBE）检索，其中种子文件作为查询，以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的，因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2，它们都利用BERT标记器作为查询编码器。使用这种方法，在查询时不需要BERT推理，并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明，在逐例查询检索设置中，TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而，我们观察到，BM 25可以显示出竞争力的排名质量相比，TILDE和TILDEV 2这是在对比的结果，这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题，使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE（TILDEv 2）和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是，这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
Document Ranking with a Pretrained Sequence-to-Sequence Model
David R. Cheriton School of Computer Science（David R. Cheriton计算机科学学院）；University of Waterloo（滑铁卢大学）
这项工作提出了一种新的适应预训练序列到序列模型的任务文档排序。我们的方法从根本上不同于通常采用的基于分类的排名公式，基于仅编码器预训练的Transformer架构，如BERT。我们展示了如何训练序列到序列模型来生成相关标签作为“目标词”，以及如何将这些目标词的潜在逻辑解释为相关概率进行排名。在流行的MS MARCO通道排名任务中，实验结果表明，我们的方法至少与以前的基于分类的模型相当，并且可以通过更大，更新的模型超越它们。在TREC 2004 Robust Track的测试集上，我们展示了一种基于zero-shot传输的方法，该方法优于以前需要数据集内交叉验证的最先进模型。此外，我们发现我们的方法在数据贫乏的情况下（即，只有很少的训练样本）。我们通过改变目标词来进一步研究这一观察结果，以探索模型对潜在知识的使用。
2020-03-14 cs.IR cs.LG
Bi-Encoder Cascades for Efficient Image Search
针对大规模图像搜索中神经编码器计算成本高的问题，提出利用小世界搜索场景的双编码器级联算法，显著降低TIR系统终身图像编码成本，实验显示最高可降6倍。
2023-08-04 cs.IR
Sona Technical Report
Yandex
本文提出单模型生成式推荐系统Sona，在A/B测试中替代Yandex Music原有多阶段推荐级联，显著提升活跃用户、收听时长等核心指标，效果优于此前最强模型Argus。
2026-08-13 cs.IR
Deep Neural Network for Learning to Rank Query-Text Pairs
本文用学习排序方法研究信息检索系统中的文档排序问题。我们提出了ConvRankNet，它结合了Siamese卷积神经网络编码器和RankNet排名模型，可以以端到端的方式进行训练。我们证明了一个一般性的结果证明了成对学习排序方法的线性测试时间复杂度。在OHSUMED数据集上的实验表明，ConvRankNet系统地优于现有的基于特征的模型。
2018-02-25 cs.IR
Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance
近年来，信息检索领域见证了稠密检索（DR）的快速发展，DR使用基于嵌入的搜索来执行第一阶段的检索。尽管令人印象深刻的排名性能，以前的研究通常采用暴力搜索获得候选人，这是禁止在实际的Web搜索场景，由于其巨大的内存使用和时间成本。为了克服这些问题，向量压缩方法已被采用在许多实际的基于嵌入的检索应用。最流行的方法之一是乘积量化（PQ）。然而，虽然现有的矢量压缩方法，包括PQ可以帮助提高DR的效率，他们招致严重衰减的检索性能，由于编码和压缩之间的分离。为了解决这个问题，我们提出了JPQ，它代表查询编码和乘积量化的联合优化。它基于三种优化策略，即面向排名的损失，PQ质心优化和端到端负采样，以端到端的方式联合训练查询编码器和PQ索引。我们评估JPQ两个公开的检索基准。实验结果表明，JPQ明显优于流行的矢量压缩方法。与以前使用蛮力搜索的DR模型相比，JPQ几乎可以在索引大小压缩30倍的情况下获得最佳检索性能。压缩后的索引在查询延迟方面进一步带来了10倍的CPU加速和2倍的GPU加速。
2021-08-22 cs.IR
Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
University of Pisa（比萨大学）；University of Glasgow（格拉斯哥大学）
本研究系统比较了交叉编码器重排序器在单阶段与多阶段微调下的效果，发现对比学习单阶段微调即可达到与多阶段方法相当的性能。
2025-03-28 cs.AI cs.IR
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
双向编码器表示的Transformers（BERT）模型最近提出了国家的最先进的通道重新排序。在本文中，我们分析了微调后的BERT模型产生的结果，以更好地理解这种实质性改进背后的原因。为此，我们专注于MS MARCO通道重新排序数据集，并提供潜在的原因，成功和失败的BERT检索。更详细地说，我们实证研究了一组假设，并提供额外的分析，以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University（亚利桑那州立大学地理科学与城市规划学院）
针对GIS&T BoK主题语义关系手动定义不完整的问题，评估多种NLP技术提取文本语义，并提出KACERS摘要器生成科学文献语义摘要，以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
Adaptive Re-Ranking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出基于效用的自适应重排序框架，通过查询路由选择不同复杂度的排序模型，在保持检索质量的同时显著降低延迟和计算成本。
2026-06-25 cs.IR
Re-ranking With Constraints on Diversified Exposures for Homepage Recommender System
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
大多数电子商务应用程序上的主页推荐以分层方式放置项目，其中不同的频道以不同的风格显示项目。现有的算法通常优化单个通道的性能。因此，设计一个推荐模型来获得最大化整个网页点击率的最优推荐列表是一个具有挑战性的问题。除了准确性目标之外，主页上的显示多样性也很重要，因为均匀的显示通常会损害用户体验。在本文中，我们提出了一个两阶段的主页推荐系统的架构。在第一阶段中，我们开发了有效的算法，用于在保持多样性的同时向适当的渠道推荐项目。这两种方法可以结合起来：具有多样性约束的用户-渠道-项目预测模型。在第二阶段，我们提供每个通道中的项目的有序列表。现有的重排序模型难以描述渠道内和渠道间项目之间的相互影响。因此，我们提出了一个深度和层次的注意力网络重新排名（DHANR）模型的网页推荐系统。分层注意力网络由项目编码器、项目级注意力层、通道编码器和通道级注意力层组成。我们的方法在离线实验中的精度，列表内平均距离（ILAD）和通道精度@k方面以及在线系统中的CTR和ILAD方面取得了显着的改善。
2021-12-12 cs.IR cs.LG
Transfer Ranking in Finance: Applications to Cross-Sectional Momentum with Data Scarcity
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究院）
横截面策略是一种经典而流行的交易风格，最近的高性能变体包含复杂的神经架构。虽然这些策略已成功应用于涉及具有长期历史的成熟资产的数据丰富的设置，但将它们部署在样本有限的仪器上通常会产生性能下降的过度拟合模型。在本文中，我们介绍了融合编码器网络-一种新的和混合的参数共享传输排名模型。该模型融合了使用对源数据集进行操作的编码器注意模块提取的信息，其中类似但独立的模块专注于感兴趣的较小目标数据集。这缓解了模型普遍性差的问题，这是在稀缺目标数据上训练的结果。此外，自注意机制使仪器之间的相互作用不仅在模型训练期间的损失水平上，而且在推理时间上都得到考虑。作为一个示范性用例，融合编码器网络专注于应用于市值前十名加密货币的动量，在大多数性能指标上优于参考基准，与经典动量相比，夏普比率提高了三倍，与最佳基准模型相比，在没有交易成本的情况下，提高了约50%。即使在考虑到与交易加密货币相关的高交易成本之后，它的表现仍然超过基线。
2023-02-21 cs.IR cs.LG q-fin.PM
PRECTR-V2:Unified Relevance-CTR Framework with Cross-User Preference Mining, Exposure Bias Correction, and LLM-Distilled Encoder Optimization
Alibaba Group（阿里巴巴集团）
PRECTR-V2通过跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化，解决搜索系统中相关性匹配与CTR预测的一致性问题。
2026-02-24 cs.AI cs.IR
A Thorough Comparison of Cross-Encoders and LLMs for Reranking SPLADE
本研究系统比较了交叉编码器与LLM（如GPT-4）在SPLADE检索重排序中的表现，发现传统交叉编码器在域外场景仍具竞争力，为平衡搜索系统的效果与效率提供了新视角。
2024-03-15 cs.IR
Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder
Australian National University（澳大利亚国立大学）；Idiap Research Institute（伊迪亚普研究所）；Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所）
针对组合图像检索中现有方法效率与判别力难以兼顾的问题，提出两阶段模型，结合快速向量剪枝与双编码器重排序，利用视觉-语言预训练网络，在标准基准上性能优于现有最优方法。
2024-01-29 cs.CV cs.IR cs.LG
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间（查询延迟）和计算资源（能量、硬件成本）方面都是昂贵的，使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理，允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而，这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外，原始的TILDE方法的特点是索引具有非常高的内存占用，因为它将每个段落扩展到BERT词汇表的大小。在本文中，我们提出了TILDEv2，一个新的模型，源于原来的TILDE，但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数（而不是所有词汇），从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%，而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法，能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
Scaling Laws for Cross-Encoder Reranking
UMass Amherst（麻省大学阿默斯特分校）；Emory University（埃默里大学）
本文研究了交叉编码器重排序在点wise、pairwise和listwise目标下的扩展定律，通过模型规模和训练暴露量的分析，揭示了排序质量的幂律关系，并通过预测大模型性能验证了数据密集型扩展策略的有效性。
2026-04-18 cs.IR
Feature-aware Diversified Re-ranking with Disentangled Representations for Relevant Recommendation
相关推荐是一种特殊的推荐场景，当用户对一个目标项目表示兴趣时，点击，喜欢和购买）。除了考虑建议与触发项目之间的相关性外，建议还应多样化，以避免信息茧。然而，现有的多样化推荐方法主要集中在项目级的多样性，这是不够的，当推荐的项目都是相关的目标项目。此外，冗余或嘈杂的项目功能可能会影响性能的简单特征感知推荐方法。面对这些问题，我们提出了一个功能分解自平衡重新排序框架（FDSB），以捕获功能感知的多样性。该框架包括两个主要模块，即解纠缠注意编码器（DAE）和自平衡多方面排名。在DAE中，我们使用多头注意力从丰富的项目特征中学习分离的方面。在排名器中，我们开发了一个特定于方面的排名机制，能够自适应地平衡每个方面的相关性和多样性。在实验中，我们对收集的数据集进行离线评估，并在快手应用程序上部署FDSB，对相关推荐功能进行在线A/B测试。推荐质量和用户体验的显著改善验证了该方法的有效性。
2022-06-10 cs.IR
Can Query Expansion Improve Generalization of Strong Cross-Encoder Rankers?
University of Waterloo（滑铁卢大学）；Google（谷歌公司）
本文针对查询扩展会损害强交叉编码器排序器的问题，提出通过提示工程生成高质量关键词并进行最小干扰查询修改，再以自一致性和倒数排名加权融合各扩展查询排序结果，在BEIR和TREC DL上提升了MonoT5和RankT5的nDCG@10，证明了查询扩展可改善强排序器的泛化能力。
2024-04-30 cs.AI cs.IR
Generating Query-Relevant Document Summaries via Reinforcement Learning
提出强化学习框架ReLSum，利用相关性得分作为奖励，通过可训练LLM生成查询相关的商品描述摘要作为交叉编码器排序模型的输入，显著提升了大规模电商搜索的离线与在线指标。
2025-08-11 cs.AI cs.IR cs.LG
Learning to Rank Words: Optimizing Ranking Metrics for Word Spotting
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
在本文中，我们探讨和评估使用排名为基础的目标函数学习同时一个单词串和一个字的图像编码器。我们认为检索框架中，用户期望的检索列表排名根据定义的相关性得分。在单词识别问题的上下文中，根据与查询字符串的字符串编辑距离来设置相关性分数。我们的实验证明了所提出的模型的竞争力的性能，手写和真实场景的单词图像上的查询字符串单词发现。我们还提供了查询的例子词发现的结果，虽然它不是这项工作的主要重点。
2021-06-09 cs.CV cs.IR
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich（慕尼黑技术大学）
针对法律问答中检索增强生成系统的引用质量问题，提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序，显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组）
ResRank通过端到端联合训练与残差段落压缩技术，解决传统重排序方法中输入长度增加导致的排名质量下降和推理延迟问题，实现高效且有效的检索与重排序统一。
2026-04-24 cs.AI cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University（卡内基梅隆大学）
对于基于深度语言模型（如BERT）的神经重排序器来说，长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量，然后将其汇集到最终的相关性分数中。然而，这些编码和池方法不可避免地引入了一个信息瓶颈：低维表示。在本文中，我们建议，而不是充分的查询到文档的交互建模，利用注意力操作和模块化的Transformer重新排名框架。首先，使用编码器模块独立地对文档块进行编码。然后，交互模块对查询进行编码，并执行从查询到所有文档块表示的联合关注。我们证明，该模型可以使用这个新的自由度，从整个文档中聚合重要信息。实验结果表明，该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders
UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）
本文提出BLaIR基准测试，评估大语言模型在推荐场景中的语义编码能力，通过大规模数据集和多任务评估揭示LLM在推荐任务中的独特挑战。
2026-04-20 cs.IR
Zero-Shot Listwise Document Reranking with a Large Language Model
University of Waterloo（滑铁卢大学）
针对监督排序方法依赖大量标注数据的问题，提出无需任务特定训练的大语言模型列表式重排序器LRL，在多数据集上表现优于零样本逐点方法，且具备跨语言泛化潜力。
2023-05-03 cs.CL cs.IR
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning（凯斯文本机器学习部门）
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation
Yandex
Gryphon-v2是替代多阶段级联推荐系统的单一模型，采用生成排序架构与Rollout蒸馏技术，在Yandex Music的在线实验中使活跃用户增1.41%且服务延迟相当。
2026-08-07 cs.IR
Efficient Document Ranking with Learnable Late Interactions
Google（谷歌公司）
提出可学习晚期交互模型LITE，作为通用逼近器，在域内和零样本重排序中优于ColBERT，同时降低延迟和存储开销。
2024-06-25 cs.AI cs.IR cs.LG
Comparative Analysis of Lion and AdamW Optimizers for Cross-Encoder Reranking with MiniLM, GTE, and ModernBERT
本研究比较Lion与AdamW优化器在交叉编码器重排序微调中的效果，发现Lion在MS MARCO和TREC DL 2019上提升性能并提高GPU利用率。
2025-06-23 cs.IR
Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts
该研究构建ChatGPT-RetrievalQA数据集，对比ChatGPT与人类生成数据训练的交叉编码器重排序器，发现零样本下LLM生成数据训练的模型效果更优，有监督下人类数据训练的模型更优，验证了LLM生成检索训练数据的潜力。
2023-05-03 cs.IR
Test-Time Optimization of Query Embeddings with Ranking Aware Reward Maximization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究提出TTT-Embed框架，将排名奖励提炼为轻量学习向量，无需访问模型权重即可优化，在多嵌入模型和MTEB任务上显著提升测试时检索效果，且具备良好泛化性，解决了灾难性遗忘问题。
2026-08-14 cs.IR
