Assessing the Benefits of Model Ensembles in Neural Re-Ranking for Passage Retrieval
我们的工作旨在通过实验评估神经方法的背景下，通过重新排序的模型集成的好处。从相对标准的神经模型开始，我们使用一种名为快速几何集成的先前技术来从特定的训练时间表生成多个模型实例，然后将注意力集中在用于组合来自多个模型实例的结果的不同类型的方法上（例如，平均排序分数、使用来自IR文献的融合方法、或使用监督学习排序）。使用MS-MARCO数据集的测试表明，模型集成确实可以提高排名质量，特别是在监督学习-to-rank的情况下，尽管也有无监督的排名聚合。
2021-01-21 cs.IR
An Updated Duet Model for Passage Re-ranking
Microsoft AI & Research（微软人工智能与研究）
我们对Duet（一种深度神经排名模型）提出了几个小的修改，并在MS MARCO通道排名任务上评估了更新后的模型。我们报告了基于消融研究的拟议变更的显著改进。
2019-03-18 cs.CL cs.IR
Improving Conversational Passage Re-ranking with View Ensemble
本文提出对话式段落重排序器 ConvRerank，通过视图集成增强伪标签数据质量并改善微调，级联稠密检索器后实现更低延迟与更高排序效果。
2023-04-26 cs.IR
Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
Alibaba（阿里巴巴）
该研究针对MS MARCO段落排序任务，以Qwen3-0.6B为模型，通过数据整理、难负例挖掘、训练-推理分布对齐及Model Soup权重融合等数据中心策略，在三类实验设置下实现了亚十亿参数模型的先进排序性能。
2026-10-15 cs.IR
Exploiting Sentence-Level Representations for Passage Ranking
最近，预先训练的上下文模型，如BERT，已被证明在语言相关的任务中表现良好。我们重新审视的设计决策，管理这些模型的适用性，在开放域问答的通道重新排名任务。我们发现，文献中的常见方法依赖于微调预训练的BERT模型，并使用输入的单一全局表示，丢弃令牌或令牌级表示中有用的细粒度相关信号。我们认为，这些被丢弃的令牌包含可以利用的有用信息。在本文中，我们显式地使用动态记忆网络（DMN）建模的句子级表示，并进行实证评估，以显示改进的通道重新排序微调香草BERT模型的记忆增强显式句子建模的开放域QA数据集的不同。我们进一步表明，冻结BERT模型，只训练DMN层仍然接近原始性能，同时大大提高了训练效率。这表明通常的微调步骤主要有助于将固有信息聚合在单个输出令牌中，而不是使整个模型适应新任务，并且只能实现相当小的增益。
2021-08-30 cs.IR
Ranking-Incentivized Quality Preserving Content Modification
Web是一个典型的竞争性检索环境的例子，许多文档的作者不断修改他们的文档，以提高他们的排名。我们提出了一种自动方法，用于文档内容的质量保持修改-即，保持内容质量--使得文档对于通过其排名可以被观察的未公开的排名功能的查询被排名更高。该方法将文档中的段落替换为其他段落。为了选择这两篇文章，我们使用了一种学习排名方法，并采用了一个双目标优化标准：排名提升和内容质量维护。我们在基于内容的排名比赛中使用这种方法作为机器人。比赛的分析表明，我们的方法的优点，在排名提升，内容质量的维护和相关性方面的人类内容的修改。
2020-06-27 cs.IR
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性，这样的推理，以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献，在基于码本的压缩。这允许有效的在线解压缩和嵌入组合，以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
双向编码器表示的Transformers（BERT）模型最近提出了国家的最先进的通道重新排序。在本文中，我们分析了微调后的BERT模型产生的结果，以更好地理解这种实质性改进背后的原因。为此，我们专注于MS MARCO通道重新排序数据集，并提供潜在的原因，成功和失败的BERT检索。更详细地说，我们实证研究了一组假设，并提供额外的分析，以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Batched Self-Consistency Improves LLM Relevance Assessment and Ranking
本文提出批量点式相关性评估方法，通过单次LLM调用评估多个段落并结合自洽性集成，在提升判断质量的同时大幅降低延迟，实验表明其排序性能显著优于逐条点式方法。
2025-09-19 cs.IR
Expansion via Prediction of Importance with Contextualization
在文本背景较少的情况下识别相关性是篇章检索中的一个主要挑战。我们解决这个问题的表示为基础的排名方法：（1）明确建模的重要性，每个术语使用上下文语言模型;（2）执行通道扩展传播的重要性，以类似的条款;（3）理由的表示在词典中，使它们可解释。可以在索引时预先计算通道表示，以减少查询时的延迟。我们称之为EPIC（Expansion via Prediction of Importance with Contextualization）。我们表明，EPIC显着优于以前的重要性建模和文档扩展方法。我们还观察到，性能是添加剂与目前领先的第一阶段检索方法，进一步缩小廉价和成本高昂的通道排名方法之间的差距。具体而言，EPIC在MS-MARCO通道排名数据集上实现了0.304的MRR@10，在商品硬件上的平均查询延迟为78 ms。我们还发现，通过修剪文档表示，延迟进一步降低到68毫秒，有效性几乎没有差异。
2020-05-20 cs.IR
Passage Ranking with Weak Supervision
AWS AI（亚马逊云科技人工智能部门）
在本文中，我们提出了一个基于数据编程范式\citep{Ratner2016}的神经排序任务的\textit{weak supervision}框架，它使我们能够利用来自不同来源的多个弱监督信号。从经验上讲，我们考虑两个来源的弱监督信号，无监督的排名功能和语义特征的相似性。我们训练一个基于BERT的排序模型（它在两个基准数据集上实现了新的最先进的性能，具有完全监督）在我们的弱监督框架。在不使用真实训练标签的情况下，BERT-PR模型在所有三个数据集上的表现都大大优于BM 25基线，甚至在对其中两个数据集进行全面监督的情况下击败了之前的最先进结果。
2019-06-04 cs.CL cs.IR
Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings
本文提出上下文感知基准 ConTEB 和对比后训练方法 InSeNT，结合晚期分块池化，在不牺牲基础模型性能的前提下显著提升需要文档级上下文的检索质量。
2025-06-06 cs.IR
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking
TU Wien（维也纳工业大学）；University College London（伦敦大学学院）
受监督的机器学习模型及其评估在很大程度上取决于底层数据集的质量。当我们搜索一条相关的信息时，它可能出现在给定段落的任何地方。然而，我们观察到一个偏见的正确答案在文本中的位置在两个流行的问答数据集用于通道重新排名。过度偏爱通道内的较早位置是不想要的人工制品。这导致了三种常见的基于transformer的重新排序模型，以忽略未看到的段落中的相关部分。更令人担忧的是，由于评估集来自相同的偏置分布，因此过拟合该偏置的模型高估了它们的真实有效性。在这项工作中，我们分析了数据集上的位置偏差，上下文表示，以及它们对检索结果的影响。我们提出了一个去偏方法检索数据集。我们的研究结果表明，在位置偏置数据集上训练的模型在去偏置数据集上进行评估时，重新排名的有效性显着降低。我们证明，通过减轻位置偏差，基于transformer的重新排序模型在有偏和去偏数据集上同样有效，并且在两个不同偏数据集之间的迁移学习设置中更有效。
2021-01-18 cs.CL cs.IR
CoRanking: Collaborative Ranking with Small and Large Ranking Agents
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Baidu Inc.（百度公司）
针对大语言模型列表式排序效率低的问题，提出结合小型预排序与LLM重排的CoRanking框架，辅以强化学习训练的顺序调整器缓解位置偏差，在降70%延迟的同时效果更优。
2025-08-30 cs.CL cs.IR
Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval
词频是一种用于识别查询或文档中某个词的重要性的常用方法。但这是一个微弱的信号，特别是当频率分布是平坦的时候，比如在长查询或短文档中，文本是句子/句子长度。本文提出了一个深度上下文化术语权重框架，该框架学习将BERT的上下文化文本表示映射到句子和段落的上下文感知术语权重。当应用于段落时，DeepCT-Index产生的术语权重可以存储在普通的倒排索引中，用于段落检索。当应用于查询文本时，DeepCT-Query生成加权词袋查询。这两种类型的术语权重可以直接用于典型的第一阶段检索算法。这是新颖的，因为大多数基于深度神经网络的排名模型具有更高的计算成本，并且因此限于后期排名器。在四个数据集上的实验表明，DeepCT的深度上下文文本理解大大提高了第一阶段检索算法的准确性。
2019-11-26 cs.IR
Supervised Contrastive Learning Approach for Contextual Ranking
在文档排序任务中，上下文排序模型比经典模型提供了令人印象深刻的性能改进。然而，这些高度过度参数化的模型往往需要大量数据，甚至需要大量数据进行微调。针对文档排序问题，提出了一种简单有效的方法，利用有监督的对比学习提高小数据集的排序性能。我们通过使用查询-文档对中的相关文档的一部分创建训练数据来执行数据增强。然后，我们使用监督对比学习目标从增强的数据集学习一个有效的排名模型。我们在TREC-DL数据集子集上的实验表明，尽管数据增强导致训练数据大小的增加，但使用现有的逐点或成对训练目标并不一定会提高性能。然而，我们提出的监督对比损失目标导致性能改善，超过标准的非增强设置，展示了使用对比损失的数据增强的实用性。最后，我们通过在与新闻（Robust 04），金融（FiQA）和科学事实检查（SciFact）相关的较小排名数据集上显示出显着的改进，展示了使用监督对比学习目标的真正好处。
2022-07-07 cs.IR
Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking
搜索引擎在严格的时间限制下运行，因为快速响应对用户满意度至关重要。因此，神经重新排序模型具有有限的时间预算来重新排序文档。在相同的时间内，更快的重新排序模型可以比效率较低的模型包含更多的文档，从而提高效率。为了利用这一属性，我们提出了TK（Transformer-Kernel）：一个神经网络重新排名模型的ad-hoc搜索使用一个有效的上下文化机制。TK使用非常少的Transformer层（最多三个）来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分，我们使用了文档长度增强的内核池，这使用户能够深入了解模型。传统知识提供了有效性和效率之间的最佳比例：在现实的时间限制（最大。每个查询200 ms）TK与BERT和其他重排序模型相比达到了最高的效率。我们在三个大规模的排名集合上证明了这一点：MSMARCO-Passage，MSMARCO-Document和TREC CAR。此外，为了深入了解TK，我们进行了聚类查询分析TK的结果，突出其优势和劣势的查询与不同类型的信息需要，我们展示了如何解释的原因，排名差异的两个文件，通过比较其内部分数。
2020-02-04 cs.IR
Text-to-Text Multi-view Learning for Passage Re-ranking
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）；David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
最近，自然语言处理的许多进展都是由在大型语料库上预先训练的深度上下文表示驱动的。通常，针对特定下游任务对这些预训练模型进行微调是基于单视图学习的，然而这是不够的，因为句子可以从不同的角度进行不同的解释。因此，在这项工作中，我们提出了一个文本到文本的多视图学习框架，将一个额外的视图-文本生成视图-到一个典型的单视图通道排名模型。从经验上讲，所提出的方法是帮助的排名性能相比，其单视图对应。文中还报告了消融研究。
2022-08-10 cs.CL cs.IR
Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
段落重排序是在检索阶段获得的候选段落集上进行排列。由于预训练语言模型在自然语言理解方面的巨大优势，重新排序器得到了蓬勃发展。然而，现有的基于PLM的重排序器可能容易遭受词汇不匹配和缺乏领域特定知识的困扰。为了缓解这些问题，显式知识包含在知识图谱在我们的工作中仔细介绍。具体而言，我们采用现有的知识图谱，这是不完整的和嘈杂的，并首次将其应用于通道重排序任务。为了利用可靠的知识，我们提出了一种新的知识图谱蒸馏方法，并获得知识Meta图作为查询和通道之间的桥梁。为了在潜在空间中对齐这两种嵌入，我们采用PLM作为文本编码器，知识Meta图上的图神经网络作为知识编码器。此外，还设计了一种新的知识注入器，实现了文本与知识编码器的动态交互。实验结果表明，我们的方法的有效性，特别是在查询需要深入的领域知识。
2022-04-25 cs.AI cs.IR
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research（IBM研究）；IBM Watson
用于（基于嵌入的）无监督语义搜索的现有技术方法利用（查询和段落的）组成相似性或（来自查询和段落的）成对词（或术语）相似性。通过设计，基于单词的方法不包含更大上下文（查询/段落）中的相似性，而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中，我们提出了一种新的成分相似性为基础的方法，称为可变质心向量（VCVB），试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法，利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Learning-to-Rank with BERT in TF-Ranking
本文描述了一种用于文档排序的机器学习算法，该算法首先使用BERT [1]对查询和文档进行编码，然后在此基础上使用TF-Ranking（TFR）[2]构建的学习排序（LTR）模型进一步优化排序性能。这种方法在公开的MS MARCO基准测试中被证明是有效的[3]。截至2020年4月10日，我们的前两个提交的文章在文章重新排名任务中取得了最佳成绩[4]，在文章完整排名任务中取得了第二好成绩[5]。为了利用预训练的语言模型的最新发展，我们最近集成了RoBERTA [6]和ELECTRA [7]。我们的最新提交将我们之前最先进的重新排名性能提高了4.3%[8]，并在截至2020年6月8日的全面排名任务中取得了第三好的表现[9]。它们都证明了结合排名损失与BERT表示文档排序的有效性。
2020-06-08 cs.IR
Passage Re-ranking with BERT
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
最近，神经模型在语言建模任务上进行了预训练，例如ELMo（Peters等人，2017）、OpenAI GPT（Radford等人，2018）和BERT（Devlin et al.，2018年），在各种自然语言处理任务上取得了令人印象深刻的成果，如问答和自然语言推理。在本文中，我们描述了一个简单的重新实现BERT的查询为基础的段落重新排名。我们的系统是TREC-CAR数据集的最新技术水平，也是MS MARCO通道检索任务排行榜的最佳条目，在MRR@10中比以前的最新技术水平高出27%（相对）。可在https://github.com/nyu-dl/dl4marco-bert上获得重现我们结果的代码
2020-04-14 cs.CL cs.IR cs.LG
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien（维也纳工业大学）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如，BERT -评估文档中的所有单独段落，然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是，这种高推理成本和延迟根据文档的长度而变化，更长的文档需要更多的时间和计算。为了应对这一挑战，我们采用了一种文档内级联策略，该策略在运行一个更昂贵和更有效的评分模型（称为ETM）之前，使用一个更便宜的模型（称为ESM）修剪候选文档的段落。我们发现最好通过从ETM（有效教师模型的简称）中提取知识蒸馏来训练ESM（有效学生模型的简称），例如，BERT。这种修剪允许我们只在较小的段落集上运行ETM模型，这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明，所提出的文档内级联排名模型（IDCM）通过提供与最先进的基于BERT的文档排序模型基本相同的有效性，导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs（汤森路透实验室）；University of Montreal（蒙特利尔大学）；Huawei Poisson Lab.（华为泊松实验室）；Tshinghua Univeristy（清华大学）
除了主题相关性之外，开放域类事实问答的段落排名还需要段落包含答案（可回答性）。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性，但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍，其将包含答案实体的任何段落视为阳性样本。然而，文章中的答案实体不一定与给定的问题相关。为了解决这个问题，我们提出了一种称为\ttt{PReGAN}的方法，用于基于生成对抗神经网络的通道重新排序，该方法除了包含主题相关性外，还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明，\ttt{PReGAN}能够更好地对合适的段落进行排序，从而提高了问答系统的有效性，并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
PARADE: Passage Representation Aggregation for Document Reranking
预训练的Transformer模型，如BERT和T5，已被证明在ad-hoc通道和文档排序方面非常有效。由于这些模型固有的序列长度限制，它们需要在文档的段落上运行，而不是一次处理整个文档序列。虽然已经提出了几种聚合多电平信号的方法，但还没有对这些技术进行广泛的比较。在这项工作中，我们探讨的战略，从一个文件的段落聚合相关信号到一个最终的排名分数。我们发现，通过表示聚合技术可以显着提高在以前的工作中提出的技术，如采取最大的通过分数。我们称这种新方法为Parade。特别是，PARADE可以显著改善具有广泛信息需求的集合的结果，其中相关性信号可以在整个文档中传播（例如TREC Robust 04和GOV 2）。同时，不太复杂的聚合技术可以更好地用于具有通常可以精确定位到单个通道的信息需求的集合（例如TREC DL和TREC Genomics）。我们还进行了效率分析，并强调了几个策略，以提高基于转换器的聚合。
2021-06-10 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
CROWN: Conversational Passage Ranking by Reasoning over Word Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
围绕一个主题的信息需求不能在一个回合中得到满足;用户通常会提出涉及同一主题的后续问题，系统必须能够理解请求的会话上下文以检索正确的答案。在本文中，我们向TREC对话协助跟踪2019提交了我们的意见书，其中探讨了这样的对话设置。我们提出了一个简单的无监督的方法，通过制定一个查询的相似性和连贯性相结合的通道分数的会话通道排名。具体来说，段落中包含的单词在语义上与问题中使用的单词相似，并且这些单词出现在附近。我们建立了一个词邻近网络（WPN）从一个大的语料库，其中的单词是节点，如果他们共同出现在同一个通道在统计上显着的方式，在一个上下文窗口的两个节点之间有一个边缘。我们的方法，名为CROWN，提高了nDCG分数在CAST训练数据上提供的Indri基线。根据CAsT的评估数据，我们的最佳运行提交在AP@5和nDCG@1000方面达到了高于平均水平的性能。
2020-02-11 cs.CL cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注，因为他们带来了上下文的权力，Transformer模型的高效检索。在这项工作中，我们研究了两个深上下文的基于术语的模型在查询的背景下，通过示例（QBE）检索，其中种子文件作为查询，以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的，因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2，它们都利用BERT标记器作为查询编码器。使用这种方法，在查询时不需要BERT推理，并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明，在逐例查询检索设置中，TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而，我们观察到，BM 25可以显示出竞争力的排名质量相比，TILDE和TILDEV 2这是在对比的结果，这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题，使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE（TILDEv 2）和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是，这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
CoT-MoTE: Exploring ConTextual Masked Auto-Encoder Pre-training with Mixture-of-Textual-Experts for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
针对双编码器参数共享或分离导致查询与段落嵌入空间判别不平衡的问题，本文提出CoT-MoTE，通过文本特定专家和共享自注意力层进行上下文掩码自编码预训练，在大规模段落检索基准上取得稳定提升。
2023-04-20 cs.CL cs.IR
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University（乔治城大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然最近对神经排序架构给予了相当大的关注，但对用作这些模型输入的术语表示的关注要少得多。在这项工作中，我们研究了两个预训练的上下文语言模型（ELMo和BERT）可以用于ad-hoc文档排序。通过对TREC基准测试的实验，我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外，我们提出了一种联合方法，将BERT的分类向量纳入现有的神经模型，并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR（上下文嵌入文档排序）。我们还解决了使用这些模型进行排名的实际挑战，包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距，作者构建了新数据集 Rank-DistiLLM，通过应用难负样本采样等微调方法，使交叉编码器在达到 LLM 有效性的同时，速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
Contextual Personalized Re-Ranking of Music Recommendations through Audio Features
用户可以通过Spotify、Pandora和Deezer等音乐流媒体服务访问数百万首歌曲。访问如此大的目录，创造了相关的歌曲推荐的需要。然而，用户偏好本质上是高度主观的并且根据上下文（例如，适合早上的音乐不适合晚上）。此外，一个用户在给定上下文中可能偏好的音乐可能不同于另一个用户在相同上下文中偏好的音乐（即，被认为是早安音乐的内容因用户而异）。准确地表示这些偏好对于创建准确有效的歌曲推荐至关重要。用户对歌曲的偏好可以基于高级音频特征，例如节奏和效价。因此，在本文中，我们提出了一个上下文重新排名算法，在特定的上下文条件下的用户偏好的音频特征表示的基础上。我们使用#NowPlaying-RS数据集来评估我们的重新排名算法的性能，该数据集包含从Twitter上抓取的用户收听事件，并富含歌曲音频功能。我们比较了全球（所有用户的上下文）和个性化（每个用户的上下文）模型的基础上，这些音频功能。全局模型基于所有用户的偏好创建每个上下文条件的音频特征表示。与全局模型不同，个性化模型创建上下文条件的用户特定音频特征表示，并在333个不同用户中进行测量。我们表明，个性化模型优于全球模型时，使用精度和平均精度指标进行评估。
2020-09-06 cs.IR
GCRank: A Generative Contextual Comprehension Paradigm for Takeout Ranking Model
GCRank通过生成上下文理解范式提升外卖广告排序模型的性能与实用性。
2025-10-15 cs.IR
When Fine-Tuning Fails: Lessons from MS MARCO Passage Ranking
Department of IT IIIT Allahabad Prayagraj, India（信息技术系印度理工学院Allahabad分校）
本文通过五种模型变体的实验发现，在MS MARCO段落排序任务上微调预训练模型反而降低性能，揭示了微调破坏嵌入空间结构的问题，并指出架构创新才是改进关键。
2025-06-23 cs.CL cs.IR
Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models
Polytechnique Montréal（蒙特利尔理工学院）
本文针对资源受限用户难以使用大型专有LLM进行段落重排序的问题，提出在IR重排序前增加预过滤步骤，结合少量人工与LLM相关性评分剔除无关段落，使Mixtral等较小模型性能媲美GPT-4等大型模型。
2024-06-26 cs.CL cs.IR
Accelerating E-Commerce Search Engine Ranking by Contextual Factor Selection
在工业大规模搜索系统中，例如Taobao.com搜索商品，通过从复杂的过程中引入更多的因素，例如，用于提取图像因子的深度神经网络。同时，这些因素的增加也增加了对计算资源的需求，增加了系统的响应延迟。已经观察到，搜索实例通常只需要一小组有效因子，而不是所有因子。因此，去除无效因素显著提高了系统效率。本文研究了\emph{Contextual Factor Selection}（CFS）算法，该算法针对每个搜索实例只选择一个有效因子子集，在搜索质量和响应延迟之间取得了较好的平衡。我们将CFS注入到搜索引擎的排名评分中，以加速引擎，同时考虑排名的有效性和效率。CFS模型的学习涉及到一个组合优化问题，它被转化为一个序列决策问题。通过强化学习来解决这个问题，我们提出了RankCFS，它已经在离线环境和真实世界的在线环境（淘宝网）中进行了评估。实验结果表明，本文提出的CFS方法在离线环境下的性能优于现有的几种有监督/无监督的特征选择方法，在日常测试和$2017$的光棍节购物节测试中，在服务延迟方面也取得了显着的实际性能改善。
2018-03-14 cs.IR
Listwise Explanation of Embedding-Based Rankings via Semantic Chunk Grouping
KakaoBank Corp（KakaoBank公司）
针对密集嵌入排序器，提出ChunkGroupSHAP方法，通过聚类语义相关块作为跨文档特征进行列表式Shapley解释，解决词级特征碎片化问题，实验表明最佳解释单元取决于排序器和检索语料结构。
2026-10-08 cs.IR
ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 分校）；Baidu Inc., Beijing, China（百度公司，北京，中国）；Carnegie Mellon University（卡内基梅隆大学）
本文提出ReasonRank，通过自动化生成推理密集型训练数据和两阶段训练方法，提升文档排序性能，实验表明其优于现有基线并具有更低延迟。
2026-04-22 cs.AI cs.CL cs.IR
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University（埃默里大学）；Naver Corporation（Naver公司）
RRADistill提出高效标签生成流程与新型sLLM训练方法，通过词项控制层和排序层蒸馏LLM排序能力，并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG
TU Wien @ TREC Deep Learning '19 -- Simple Contextualization for Re-ranking
TU Wien（维也纳工业大学）
神经网络模型的使用使多个目标相互冲突：理想情况下，我们希望创建一个有效、高效和可解释的神经模型。然而，在大多数情况下，我们必须选择哪一个属性对我们最重要。我们利用TREC 2019深度学习赛道的机会来评估平衡神经重新排名方法的有效性。我们提交了TK（Transformer-Kernel）模型的结果：一个使用高效上下文化机制的ad-hoc搜索神经重排序模型。TK使用非常少的轻量级Transformer层来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分，我们使用了文档长度增强的内核池，这使用户能够深入了解模型。我们的通道排名任务的最佳结果是：0.420 MAP，0.671 nDCG，0.598 P@10（TUW 19-p3完整）。文档排序任务的最佳结果为：0.271 MAP，0.465 nDCG，0.730 P@10（TUW 19-d3重新排序）。
2019-12-03 cs.CL cs.IR
A Neural Passage Model for Ad-hoc Document Retrieval
传统的统计检索模型往往把每个文档作为一个整体来处理。然而，在许多情况下，文档与查询相关只是因为它的一小部分包含目标信息。在这项工作中，我们提出了一个神经通道模型（NPM），该模型使用通道级信息来提高临时检索的性能。我们的模型不是使用单个窗口来提取段落，而是在训练过程中自动学习对不同粒度的段落进行加权。我们表明，之前研究中基于段落的文档排序范式可以直接源自我们的神经框架。此外，我们对TREC集合的实验表明，NPM可以显着优于现有的基于XML的检索模型。
2021-03-16 cs.IR
PEAR: Personalized Re-ranking with Contextualized Transformer for Recommendation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
推荐系统的目标是向用户提供最符合其兴趣的有序项目列表。作为推荐流程中的一项关键任务，重新排序近年来受到越来越多的关注。与单独对每个项目进行评分的传统排名模型相比，重新排名旨在明确地对项目之间的相互影响进行建模，以进一步细化给定初始排名列表的项目的排序。在本文中，我们提出了一个个性化的重新排序模型（称为PEAR）的基础上，上下文化的Transformer。PEAR对现有方法进行了几项重大改进。具体来说，PEAR不仅捕获功能级和项目级的交互，而且还从初始排名列表和历史点击项目列表中对项目上下文进行建模。除了项目级别的排名分数预测，我们还通过列表级别的分类任务来增强PEAR的训练，以评估用户对整个排名列表的满意度。在公共数据集和生产数据集上的实验结果表明，与以前的重新排序模型相比，PEAR具有更好的有效性。
2022-03-23 cs.IR cs.LG
Adaptive Re-Ranking with a Corpus Graph
搜索系统通常采用重新排名流水线，其中来自初始候选池的文档（或段落）被分配新的排名分数。该过程使得能够使用高效但昂贵的评分函数，该评分函数不适合直接用于像倒排索引或近似最近邻索引的结构中。然而，重新排名管道固有地受到初始候选池的召回的限制;不能识别未被初始检索功能识别为重新排名的候选的文档。我们提出了一种新的方法来克服召回限制的基础上建立的聚类假设。在整个重新排名过程中，我们的方法将与最高得分文档最相似的文档添加到池中。这个反馈过程使候选人库适应那些也可能产生高排名分数的候选人，即使他们不在初始库中。它还可以增加出现在池中更深处的文档的分数，否则由于有限的重新排名预算而被跳过。我们发现，我们的基于图的自适应重新排名（GAR）方法在面向精度和召回的措施方面显着提高了重新排名管道的性能，是对各种现有技术的补充（例如，稠密检索）对它的超参数是鲁棒的，并且对计算和存储成本的贡献最小。例如，在MS MARCO传代排名数据集上，当应用monoT 5排名器时，GAR可以将BM 25候选池的nDCG提高高达8%。
2022-08-18 cs.IR
Quality and Cost Trade-offs in Passage Re-ranking Task
IHS Markit（埃信华迈）
名为Transformers的深度学习模型在绝大多数NLP任务中实现了最先进的结果，但代价是增加了计算复杂性和高内存消耗。在实时推理中使用Transformer模型在生产中实现时成为一个主要挑战，因为它需要昂贵的计算资源。需要执行的Transformer越多，整体吞吐量就越低，并且切换到较小的编码器会导致精度降低。我们的论文致力于如何选择正确的信息检索管道的排名步骤的架构的问题，使所需的调用的数量最小的Transformer编码器是最大的可实现的排名质量。我们研究了几种后期交互模型，如Colbert和Poly-encoder架构及其修改。此外，我们还考虑了搜索索引的内存占用，并尝试应用学习哈希方法对来自Transformer编码器的输出向量进行二进制化。评估结果使用TREC 2019-2021和MS Marco dev数据集提供。
2021-11-18 cs.CL cs.IR
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本研究提出CoT-MAE v2，通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式，改进上下文掩码自编码器，有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
Mixed-initiative Query Rewriting in Conversational Passage Retrieval
本文提出混合主动查询重写模块，通过生成歧义问题并融合用户反馈来替代神经重写，结合 BM25、TCT-ColBERT、MonoT5 和 DuoT5 多阶段检索，在 TREC CAsT 数据集上验证了其优于 CANARD-T5 和 HQE 的检索性能。
2024-10-17 cs.IR
LLM-based Listwise Reranking under the Effect of Positional Bias
University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）；Baidu Inc.（百度公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出DebiasFirst方法，通过位置校准和位置感知的数据增强缓解大语言模型在列表级重排序中的位置偏见问题，提升排序效果和鲁棒性。
2026-04-04 cs.IR
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括（i）使用BM 25的初始检索模块，以及（ii）将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此，我们执行查询解析，即使用QuReTeC（术语分类查询解析模型）将会话历史中缺失的上下文添加到当前回合查询中。我们表明，我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
Top-K Ranking Deep Contextual Bandits for Information Selection Systems
DEVCOM Army Research Laboratory（美国陆军研究实验室）；University of Maryland（马里兰大学）
在当今的技术环境中，信息是丰富的，动态的，和异构的性质。信息的自动过滤和优先级排序是基于信息是否为目标增加了实质性价值之间的区别。上下文多臂强盗已被广泛用于学习根据用户兴趣或相关性过滤内容和优先级。学习排名技术优化了项目的相关性排名，允许相应地选择内容。我们提出了一种新的方法，top-K排名的上下文多臂强盗框架下。我们用神经网络对随机奖励函数进行建模，以允许非线性近似来学习奖励和上下文之间的关系。我们展示了这种方法，并评估了在模拟场景中使用真实世界数据集从实验中学习的性能。实验结果表明，该方法在复杂的奖励结构和高维的上下文特征下表现良好。
2022-01-28 cs.IR cs.LG
Layer-wise Token Compression for Efficient Document Reranking
Amazon AGI（亚马逊人工智能）；Amazon AWS（亚马逊云科技）
本文提出逐层令牌压缩（LTC）方法，通过在中间Transformer层应用自适应令牌池化，提升文档重排序的效率，实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。
2026-05-21 cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中，基于transformer的模型，特别是像BERT这样的预训练语言模型，已经证明了巨大的有效性。然而，由于自我注意力机制的二次复杂性，这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档，在这种情况下，一个丢失潜在的相关信息，分割成几个段落，这可能会导致错过一些信息和高计算复杂性时，通道的数量是大的，或修改的自我注意力机制，使其稀疏的稀疏注意力模型，在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法，其中首先选择一个长文档的本地查询块预排名的关键块，然后几个块被聚合，形成一个短的文档，可以处理的模型，如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR
LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking
Oregon State University（俄勒冈州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对基于LLM的排序方法存在的顺序不一致和传递不一致问题，提出LLM-RankFusion框架，通过上下文学习校准偏好概率及聚合多排序器结果缓解不一致，提升排序质量。
2024-11-26 cs.AI cs.CL cs.IR
Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Baidu Inc.（百度公司）
本文探索利用长上下文LLMs实现单次推理全排序，提出完整列表式标签构建与重要性感知学习目标，解决了滑动窗口效率低及训练标签缺陷，显著提升排序性能与效率。
2024-12-19 cs.CL cs.IR
Shifting from Ranking to Set Selection for Retrieval Augmented Generation
LG AI Research（LG人工智能研究）
针对RAG中现有重排序方法忽视段落集合整体性的问题，提出SETR方法，通过思维链识别查询信息需求并选择最优段落集合，在多跳基准上优于重排序基线。
2025-07-10 cs.CL cs.IR
