Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距，作者构建了新数据集 Rank-DistiLLM，通过应用难负样本采样等微调方法，使交叉编码器在达到 LLM 有效性的同时，速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
Building Better Encoder-only Cross-Encoders: A Controlled Study of Training Strategies for Neural Re-ranking
Sorbonne Université, CNRS, ISIR（索邦大学）；Sinequa by ChapsVision（ChapsVision旗下Sinequa）；Université de Toulouse, CNRS, IRIT, CLLE（图卢兹大学）
本文复现并比较了不同蒸馏技术在跨编码器上的效果，发现强调相对比较的目标在性能上优于传统方法。
2026-09-01 cs.IR
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research（谷歌研究院）
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此，模型通常利用仅编码器（如BERT）范例或编码器-解码器（如T5）方法。然而，这些范例并非没有缺陷，即，在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型，以文档的形式用于查询生成。随后，我们表明，这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速，因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明，这种新的范式实现的结果是比较昂贵的交叉注意力排名方法，同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca（米兰比可卡大学）；Leiden University（莱顿大学）
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述（如可信度）来增强候选文档的方法，实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
SpaDE: Improving Sparse Representations using a Dual Document Encoder for First-stage Retrieval
针对稀疏检索中词汇不匹配与查询推理成本的权衡，提出双文档编码器模型 SpaDE 及协同训练策略，在多个基准上优于现有单编码器排序模型。
2023-10-05 cs.IR
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University（首尔国立大学）；Naver Corp.（Naver公司）
基于BERT的神经排序模型（NRM）可以是交叉编码器或双向编码器。在这两者之间，bi-encoder效率很高，因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中，我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法，是基于适配器的，基于FPGA的，和两者的混合。第二种方法是开发半连体模型，其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异，其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT，TwinBERT和ColBERT提供了广泛的实验结果，其中三个性能指标在Robust 04，Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实，轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上，轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
A Two-Stage Adaptation of Large Language Models for Text Ranking
本文提出一种两阶段渐进范式，通过在大型弱监督语料库上进行持续预训练（CPT）并执行基于RankLLaMA的改进监督微调（SFT）策略，使仅解码器大型语言模型更好地适配文本排序，在多个基准的域内外场景中均优于以往方法。
2024-06-01 cs.IR
Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。
2026-02-11 cs.AI cs.IR cs.LG
Investigating the Effects of Sparse Attention on Cross-Encoders
本研究系统分析稀疏注意力模式与窗口大小对交叉编码器重排序的影响，发现查询token无需关注文档token且极小窗口（如4）即可保持效果，同时显著降低内存需求并提升推理速度。
2024-03-20 cs.IR
Mitigating Preference Leakage via Strict Estimator Separation for Normative Generative Ranking
University of Southampton（南安普顿大学）；Umm Al-Qura University（乌姆古拉大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出通过严格分离监督与评估模型，缓解偏好泄漏问题，提升生成排序的可信度。
2026-02-25 cs.IR
Quality and Cost Trade-offs in Passage Re-ranking Task
IHS Markit（埃信华迈）
名为Transformers的深度学习模型在绝大多数NLP任务中实现了最先进的结果，但代价是增加了计算复杂性和高内存消耗。在实时推理中使用Transformer模型在生产中实现时成为一个主要挑战，因为它需要昂贵的计算资源。需要执行的Transformer越多，整体吞吐量就越低，并且切换到较小的编码器会导致精度降低。我们的论文致力于如何选择正确的信息检索管道的排名步骤的架构的问题，使所需的调用的数量最小的Transformer编码器是最大的可实现的排名质量。我们研究了几种后期交互模型，如Colbert和Poly-encoder架构及其修改。此外，我们还考虑了搜索索引的内存占用，并尝试应用学习哈希方法对来自Transformer编码器的输出向量进行二进制化。评估结果使用TREC 2019-2021和MS Marco dev数据集提供。
2021-11-18 cs.CL cs.IR
Layer-wise Token Compression for Efficient Document Reranking
Amazon AGI（亚马逊人工智能）；Amazon AWS（亚马逊云科技）
本文提出逐层令牌压缩（LTC）方法，通过在中间Transformer层应用自适应令牌池化，提升文档重排序的效率，实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。
2026-05-21 cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常，稠密检索模型是在干净和精心策划的数据集上评估的。然而，当部署在现实生活中的应用程序，这些模型遇到嘈杂的用户生成的文本。也就是说，当暴露在嘈杂的文本中时，最先进的密集检索器的性能会大大恶化。在这项工作中，我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降，并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明，我们提出的方法优于竞争方法。此外，我们对鲁棒性进行了全面的分析。最后，我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
段落重排序是在检索阶段获得的候选段落集上进行排列。由于预训练语言模型在自然语言理解方面的巨大优势，重新排序器得到了蓬勃发展。然而，现有的基于PLM的重排序器可能容易遭受词汇不匹配和缺乏领域特定知识的困扰。为了缓解这些问题，显式知识包含在知识图谱在我们的工作中仔细介绍。具体而言，我们采用现有的知识图谱，这是不完整的和嘈杂的，并首次将其应用于通道重排序任务。为了利用可靠的知识，我们提出了一种新的知识图谱蒸馏方法，并获得知识Meta图作为查询和通道之间的桥梁。为了在潜在空间中对齐这两种嵌入，我们采用PLM作为文本编码器，知识Meta图上的图神经网络作为知识编码器。此外，还设计了一种新的知识注入器，实现了文本与知识编码器的动态交互。实验结果表明，我们的方法的有效性，特别是在查询需要深入的领域知识。
2022-04-25 cs.AI cs.IR
AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking
TU Wien（维也纳技术大学）
本研究提出双编码器与神经重排序的两阶段检索流程，用于社交媒体隐含科学声明的证据检索，在CheckThat! 2025中显著提升MRR@5至0.6828。
2025-09-23 cs.AI cs.IR cs.LG
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Cluster Language Model for Improved E-Commerce Retrieval and Ranking: Leveraging Query Similarity and Fine-Tuning for Personalized Results
本文提出利用K-Means对查询聚类并在各簇上微调聚类语言模型，以较低训练成本改进电商检索准确性，实现优于双编码器模型的个性化检索结果。
2023-09-25 cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注，因为他们带来了上下文的权力，Transformer模型的高效检索。在这项工作中，我们研究了两个深上下文的基于术语的模型在查询的背景下，通过示例（QBE）检索，其中种子文件作为查询，以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的，因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2，它们都利用BERT标记器作为查询编码器。使用这种方法，在查询时不需要BERT推理，并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明，在逐例查询检索设置中，TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而，我们观察到，BM 25可以显示出竞争力的排名质量相比，TILDE和TILDEV 2这是在对比的结果，这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题，使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE（TILDEv 2）和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是，这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
Document Ranking with a Pretrained Sequence-to-Sequence Model
David R. Cheriton School of Computer Science（David R. Cheriton计算机科学学院）；University of Waterloo（滑铁卢大学）
这项工作提出了一种新的适应预训练序列到序列模型的任务文档排序。我们的方法从根本上不同于通常采用的基于分类的排名公式，基于仅编码器预训练的Transformer架构，如BERT。我们展示了如何训练序列到序列模型来生成相关标签作为“目标词”，以及如何将这些目标词的潜在逻辑解释为相关概率进行排名。在流行的MS MARCO通道排名任务中，实验结果表明，我们的方法至少与以前的基于分类的模型相当，并且可以通过更大，更新的模型超越它们。在TREC 2004 Robust Track的测试集上，我们展示了一种基于zero-shot传输的方法，该方法优于以前需要数据集内交叉验证的最先进模型。此外，我们发现我们的方法在数据贫乏的情况下（即，只有很少的训练样本）。我们通过改变目标词来进一步研究这一观察结果，以探索模型对潜在知识的使用。
2020-03-14 cs.IR cs.LG
Sona Technical Report
Yandex
本文提出单模型生成式推荐系统Sona，在A/B测试中替代Yandex Music原有多阶段推荐级联，显著提升活跃用户、收听时长等核心指标，效果优于此前最强模型Argus。
2026-08-13 cs.IR
Deep Neural Network for Learning to Rank Query-Text Pairs
本文用学习排序方法研究信息检索系统中的文档排序问题。我们提出了ConvRankNet，它结合了Siamese卷积神经网络编码器和RankNet排名模型，可以以端到端的方式进行训练。我们证明了一个一般性的结果证明了成对学习排序方法的线性测试时间复杂度。在OHSUMED数据集上的实验表明，ConvRankNet系统地优于现有的基于特征的模型。
2018-02-25 cs.IR
Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance
近年来，信息检索领域见证了稠密检索（DR）的快速发展，DR使用基于嵌入的搜索来执行第一阶段的检索。尽管令人印象深刻的排名性能，以前的研究通常采用暴力搜索获得候选人，这是禁止在实际的Web搜索场景，由于其巨大的内存使用和时间成本。为了克服这些问题，向量压缩方法已被采用在许多实际的基于嵌入的检索应用。最流行的方法之一是乘积量化（PQ）。然而，虽然现有的矢量压缩方法，包括PQ可以帮助提高DR的效率，他们招致严重衰减的检索性能，由于编码和压缩之间的分离。为了解决这个问题，我们提出了JPQ，它代表查询编码和乘积量化的联合优化。它基于三种优化策略，即面向排名的损失，PQ质心优化和端到端负采样，以端到端的方式联合训练查询编码器和PQ索引。我们评估JPQ两个公开的检索基准。实验结果表明，JPQ明显优于流行的矢量压缩方法。与以前使用蛮力搜索的DR模型相比，JPQ几乎可以在索引大小压缩30倍的情况下获得最佳检索性能。压缩后的索引在查询延迟方面进一步带来了10倍的CPU加速和2倍的GPU加速。
2021-08-22 cs.IR
Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
Alibaba（阿里巴巴）
该研究针对MS MARCO段落排序任务，以Qwen3-0.6B为模型，通过数据整理、难负例挖掘、训练-推理分布对齐及Model Soup权重融合等数据中心策略，在三类实验设置下实现了亚十亿参数模型的先进排序性能。
2026-10-15 cs.IR
Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
University of Pisa（比萨大学）；University of Glasgow（格拉斯哥大学）
本研究系统比较了交叉编码器重排序器在单阶段与多阶段微调下的效果，发现对比学习单阶段微调即可达到与多阶段方法相当的性能。
2025-03-28 cs.AI cs.IR
Long-History User Transformers for Real-Time Ad Ranking
Yandex；Yandex, Applied AI Institute（Yandex 应用人工智能研究所）
研究如何解决在线广告中长交互历史与快速服务约束的冲突，采用离线变换器异步编码历史并缓存，运行时模型结合缓存与最新事件，经预训练和微调，提升了广告排名指标和收入，且不增加延迟。
2026-07-17 cs.IR
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
双向编码器表示的Transformers（BERT）模型最近提出了国家的最先进的通道重新排序。在本文中，我们分析了微调后的BERT模型产生的结果，以更好地理解这种实质性改进背后的原因。为此，我们专注于MS MARCO通道重新排序数据集，并提供潜在的原因，成功和失败的BERT检索。更详细地说，我们实证研究了一组假设，并提供额外的分析，以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023
本文报告了格拉斯哥大学Terrier团队在TREC DL 2023中的参赛工作，通过将大型语言模型的生成式相关反馈与基于monoELECTRA的自适应重排序相结合，在BM25和SPLADE上提升了检索性能。
2024-05-02 cs.IR
Listwise Explanation of Embedding-Based Rankings via Semantic Chunk Grouping
KakaoBank Corp（KakaoBank公司）
针对密集嵌入排序器，提出ChunkGroupSHAP方法，通过聚类语义相关块作为跨文档特征进行列表式Shapley解释，解决词级特征碎片化问题，实验表明最佳解释单元取决于排序器和检索语料结构。
2026-10-08 cs.IR
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University（亚利桑那州立大学地理科学与城市规划学院）
针对GIS&T BoK主题语义关系手动定义不完整的问题，评估多种NLP技术提取文本语义，并提出KACERS摘要器生成科学文献语义摘要，以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
Adaptive Re-Ranking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出基于效用的自适应重排序框架，通过查询路由选择不同复杂度的排序模型，在保持检索质量的同时显著降低延迟和计算成本。
2026-06-25 cs.IR
Transfer Ranking in Finance: Applications to Cross-Sectional Momentum with Data Scarcity
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究院）
横截面策略是一种经典而流行的交易风格，最近的高性能变体包含复杂的神经架构。虽然这些策略已成功应用于涉及具有长期历史的成熟资产的数据丰富的设置，但将它们部署在样本有限的仪器上通常会产生性能下降的过度拟合模型。在本文中，我们介绍了融合编码器网络-一种新的和混合的参数共享传输排名模型。该模型融合了使用对源数据集进行操作的编码器注意模块提取的信息，其中类似但独立的模块专注于感兴趣的较小目标数据集。这缓解了模型普遍性差的问题，这是在稀缺目标数据上训练的结果。此外，自注意机制使仪器之间的相互作用不仅在模型训练期间的损失水平上，而且在推理时间上都得到考虑。作为一个示范性用例，融合编码器网络专注于应用于市值前十名加密货币的动量，在大多数性能指标上优于参考基准，与经典动量相比，夏普比率提高了三倍，与最佳基准模型相比，在没有交易成本的情况下，提高了约50%。即使在考虑到与交易加密货币相关的高交易成本之后，它的表现仍然超过基线。
2023-02-21 cs.IR cs.LG q-fin.PM
PRECTR-V2:Unified Relevance-CTR Framework with Cross-User Preference Mining, Exposure Bias Correction, and LLM-Distilled Encoder Optimization
Alibaba Group（阿里巴巴集团）
PRECTR-V2通过跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化，解决搜索系统中相关性匹配与CTR预测的一致性问题。
2026-02-24 cs.AI cs.IR
A Thorough Comparison of Cross-Encoders and LLMs for Reranking SPLADE
本研究系统比较了交叉编码器与LLM（如GPT-4）在SPLADE检索重排序中的表现，发现传统交叉编码器在域外场景仍具竞争力，为平衡搜索系统的效果与效率提供了新视角。
2024-03-15 cs.IR
DeepDiffusion: Unsupervised Learning of Retrieval-adapted Representations via Diffusion-based Ranking on Latent Feature Manifold
University of Yamanashi（山梨大学）
特征表示的无监督学习对于分析大量没有语义标签的多媒体数据是一个具有挑战性的重要问题。最近提出的基于神经网络的无监督学习方法已经成功地获得了适合于多媒体数据分类的特征。然而，无监督学习的特征表示适应于基于内容的匹配，比较，或检索的多媒体数据还没有得到很好的探索。为了获得这样的检索适应功能，我们引入了结合扩散距离的特点流形与神经网络为基础的无监督特征学习的想法。这个想法被实现为一种称为DeepDiffusion（DD）的新算法。DD同时优化两个组件，一个是由深度神经网络嵌入的特征，另一个是利用潜在特征流形上的扩散的距离度量。DD依赖于其损失函数，而不是编码器架构。因此，它可以应用于不同的多媒体数据类型与它们各自的编码器架构。使用3D形状和2D图像的实验评估证明了DD算法的多功能性和高精度。代码可在https://github.com/takahikof/DeepDiffusion上获得
2022-11-14 cs.CV cs.IR
Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder
Australian National University（澳大利亚国立大学）；Idiap Research Institute（伊迪亚普研究所）；Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所）
针对组合图像检索中现有方法效率与判别力难以兼顾的问题，提出两阶段模型，结合快速向量剪枝与双编码器重排序，利用视觉-语言预训练网络，在标准基准上性能优于现有最优方法。
2024-01-29 cs.CV cs.IR cs.LG
Scaling Laws for Cross-Encoder Reranking
UMass Amherst（麻省大学阿默斯特分校）；Emory University（埃默里大学）
本文研究了交叉编码器重排序在点wise、pairwise和listwise目标下的扩展定律，通过模型规模和训练暴露量的分析，揭示了排序质量的幂律关系，并通过预测大模型性能验证了数据密集型扩展策略的有效性。
2026-04-18 cs.IR
Can Query Expansion Improve Generalization of Strong Cross-Encoder Rankers?
University of Waterloo（滑铁卢大学）；Google（谷歌公司）
本文针对查询扩展会损害强交叉编码器排序器的问题，提出通过提示工程生成高质量关键词并进行最小干扰查询修改，再以自一致性和倒数排名加权融合各扩展查询排序结果，在BEIR和TREC DL上提升了MonoT5和RankT5的nDCG@10，证明了查询扩展可改善强排序器的泛化能力。
2024-04-30 cs.AI cs.IR
Learning to Rank Words: Optimizing Ranking Metrics for Word Spotting
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
在本文中，我们探讨和评估使用排名为基础的目标函数学习同时一个单词串和一个字的图像编码器。我们认为检索框架中，用户期望的检索列表排名根据定义的相关性得分。在单词识别问题的上下文中，根据与查询字符串的字符串编辑距离来设置相关性分数。我们的实验证明了所提出的模型的竞争力的性能，手写和真实场景的单词图像上的查询字符串单词发现。我们还提供了查询的例子词发现的结果，虽然它不是这项工作的主要重点。
2021-06-09 cs.CV cs.IR
BoundaryMORPH: Budgeted Reranking via Active Set Selection for Diffuse Retrieval
Purdue University（普渡大学）；AWS AI Labs（亚马逊AI实验室）
针对弥散检索中CE预算小于上下文容量的不匹配问题，提出BoundaryMORPH算法，利用高斯过程将CE预算用于边界处top-k集合成员判定，实现最先进的集合检索质量。
2026-09-24 cs.IR
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich（慕尼黑技术大学）
针对法律问答中检索增强生成系统的引用质量问题，提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序，显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组）
ResRank通过端到端联合训练与残差段落压缩技术，解决传统重排序方法中输入长度增加导致的排名质量下降和推理延迟问题，实现高效且有效的检索与重排序统一。
2026-04-24 cs.AI cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University（卡内基梅隆大学）
对于基于深度语言模型（如BERT）的神经重排序器来说，长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量，然后将其汇集到最终的相关性分数中。然而，这些编码和池方法不可避免地引入了一个信息瓶颈：低维表示。在本文中，我们建议，而不是充分的查询到文档的交互建模，利用注意力操作和模块化的Transformer重新排名框架。首先，使用编码器模块独立地对文档块进行编码。然后，交互模块对查询进行编码，并执行从查询到所有文档块表示的联合关注。我们证明，该模型可以使用这个新的自由度，从整个文档中聚合重要信息。实验结果表明，该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
Multilingual Humour-Aware Retrieval with Dense and Re-Ranking Models
Democritus University of Thrace（德谟克利特色雷斯大学）
本研究使用XLM-RoBERTa稠密检索和重排序模型，在CLEF 2025 JOKER任务1基准上探索多语言幽默感知检索，发现葡萄牙语表现优于英语，揭示了语义表示在捕捉幽默线索方面的局限性。
2026-05-24 cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Distilling Dense Representations for Ranking using Tightly-Coupled Teachers
University of Waterloo（滑铁卢大学）
我们提出了一种方法来排名与密集表示，应用知识蒸馏，以改善最近提出的后期互动ColBERT模型。具体来说，我们从ColBERT的表达MaxSim运算符中提取知识，用于计算相关性分数到一个简单的点积中，从而实现单步ANN搜索。我们的关键见解是，在蒸馏过程中，教师模型和学生模型之间的紧密耦合可以实现更灵活的蒸馏策略，并产生更好的学习表示。我们的经验表明，我们的方法提高了查询延迟，大大降低了ColBERT的繁重的存储要求，而在有效性方面只作出适度的牺牲。通过将我们的密集表示与来自文档扩展的稀疏表示相结合，我们能够接近使用慢几个数量级的BERT的标准交叉编码器重排序器的有效性。
2020-10-22 cs.CL cs.IR
Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders
UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）
本文提出BLaIR基准测试，评估大语言模型在推荐场景中的语义编码能力，通过大规模数据集和多任务评估揭示LLM在推荐任务中的独特挑战。
2026-04-20 cs.IR
Zero-Shot Listwise Document Reranking with a Large Language Model
University of Waterloo（滑铁卢大学）
针对监督排序方法依赖大量标注数据的问题，提出无需任务特定训练的大语言模型列表式重排序器LRL，在多数据集上表现优于零样本逐点方法，且具备跨语言泛化潜力。
2023-05-03 cs.CL cs.IR
IROH: Insightful Ranking Of Humor using Multi-Stage Hybrid Retrieval with Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 English
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特国立科技大学POLITEHNICA）；Academy of Romanian Scientists（罗马尼亚科学院）
VANGUARD团队提出IROH三阶段检索系统，结合混合检索、交叉编码器重排序和理由蒸馏LLM裁判，在JOKER 2026任务1中以0.6347 MAP夺冠，并揭示理由蒸馏裁判是排名质量的关键。
2026-09-30 cs.CL cs.IR
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning（凯斯文本机器学习部门）
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation
Yandex
Gryphon-v2是替代多阶段级联推荐系统的单一模型，采用生成排序架构与Rollout蒸馏技术，在Yandex Music的在线实验中使活跃用户增1.41%且服务延迟相当。
2026-08-07 cs.IR
Efficient Document Ranking with Learnable Late Interactions
Google（谷歌公司）
提出可学习晚期交互模型LITE，作为通用逼近器，在域内和零样本重排序中优于ColBERT，同时降低延迟和存储开销。
2024-06-25 cs.AI cs.IR cs.LG
GRP v0.1 Technical Report
Snap Inc.（Snap公司）
GRP是一个将检索、排序和奖励建模统一到单一编码器-解码器模型的生成式推荐框架，通过mGRPO强化学习后训练和多项服务优化，在在线实验中实现观看时间与份额提升，支持渐进式部署。
2026-09-30 cs.IR
Comparative Analysis of Lion and AdamW Optimizers for Cross-Encoder Reranking with MiniLM, GTE, and ModernBERT
本研究比较Lion与AdamW优化器在交叉编码器重排序微调中的效果，发现Lion在MS MARCO和TREC DL 2019上提升性能并提高GPU利用率。
2025-06-23 cs.IR
