Learning List-Level Domain-Invariant Representations for Ranking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对排序问题中现有域适应方法仅做项目级对齐且缺乏理论依据的问题,本文提出列表级对齐以学习域不变表示,并首次给出排序域适应泛化界,在无监督域适应排序任务上取得更好性能。
2023-10-31 cs.AI cs.CL cs.IR
T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
本文提出T2Ranking,一个大规模中文段落排序基准,包含30万查询和200万段落,采用4级细粒度相关性标注并缓解假阴性问题,实验验证其挑战性。
2023-04-07 cs.IR
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders
针对现有listwise重排序模型效率低且对输入顺序敏感的问题,提出具有跨段落注意力的新cross-encoder架构Set-Encoder,实现了高效且排列不变的段落交互,其有效性与最先进模型相当。
2025-04-05 cs.IR
PaRaDe: Passage Ranking using Demonstrations with Large Language Models
本研究通过算法选择少样本示范纳入提示,改进了基于大型语言模型的段落重排序,提出基于难度的新颖示范选择策略,发现示范在问题生成上同样有效。
2023-10-22 cs.IR
Assessing the Benefits of Model Ensembles in Neural Re-Ranking for Passage Retrieval
我们的工作旨在通过实验评估神经方法的背景下,通过重新排序的模型集成的好处。从相对标准的神经模型开始,我们使用一种名为快速几何集成的先前技术来从特定的训练时间表生成多个模型实例,然后将注意力集中在用于组合来自多个模型实例的结果的不同类型的方法上(例如,平均排序分数、使用来自IR文献的融合方法、或使用监督学习排序)。使用MS-MARCO数据集的测试表明,模型集成确实可以提高排名质量,特别是在监督学习-to-rank的情况下,尽管也有无监督的排名聚合。
2021-01-21 cs.IR
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
双向编码器表示的Transformers(BERT)模型最近提出了国家的最先进的通道重新排序。在本文中,我们分析了微调后的BERT模型产生的结果,以更好地理解这种实质性改进背后的原因。为此,我们专注于MS MARCO通道重新排序数据集,并提供潜在的原因,成功和失败的BERT检索。更详细地说,我们实证研究了一组假设,并提供额外的分析,以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Overview of the TREC 2020 deep learning track
Microsoft AI & Research(微软人工智能研究院);University College London(伦敦大学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
这是TREC深度学习赛道的第二年,目标是研究大型训练数据体系中的临时排名。我们又有一个文档检索任务和一个段落检索任务,每个任务都有数十万个人工标记的训练查询。我们使用单次TREC风格的评估进行评估,为我们提供了一个图片,其中排名方法在大数据可用时效果最好,在少量测试查询上具有更全面的相关性标签。今年,我们有进一步的证据表明,在大数据领域,BERT风格的预训练排名器的表现优于其他排名器。
2021-02-15 cs.AI cs.CL cs.IR
Improving Conversational Passage Re-ranking with View Ensemble
本文提出对话式段落重排序器 ConvRerank,通过视图集成增强伪标签数据质量并改善微调,级联稠密检索器后实现更低延迟与更高排序效果。
2023-04-26 cs.IR
Passage Ranking with Weak Supervision
AWS AI(亚马逊云科技人工智能部门)
在本文中,我们提出了一个基于数据编程范式\citep{Ratner2016}的神经排序任务的\textit{weak supervision}框架,它使我们能够利用来自不同来源的多个弱监督信号。从经验上讲,我们考虑两个来源的弱监督信号,无监督的排名功能和语义特征的相似性。我们训练一个基于BERT的排序模型(它在两个基准数据集上实现了新的最先进的性能,具有完全监督)在我们的弱监督框架。在不使用真实训练标签的情况下,BERT-PR模型在所有三个数据集上的表现都大大优于BM 25基线,甚至在对其中两个数据集进行全面监督的情况下击败了之前的最先进结果。
2019-06-04 cs.CL cs.IR
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University(埃默里大学);Naver Corporation(Naver公司)
RRADistill提出高效标签生成流程与新型sLLM训练方法,通过词项控制层和排序层蒸馏LLM排序能力,并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking
TU Wien(维也纳工业大学);University College London(伦敦大学学院)
受监督的机器学习模型及其评估在很大程度上取决于底层数据集的质量。当我们搜索一条相关的信息时,它可能出现在给定段落的任何地方。然而,我们观察到一个偏见的正确答案在文本中的位置在两个流行的问答数据集用于通道重新排名。过度偏爱通道内的较早位置是不想要的人工制品。这导致了三种常见的基于transformer的重新排序模型,以忽略未看到的段落中的相关部分。更令人担忧的是,由于评估集来自相同的偏置分布,因此过拟合该偏置的模型高估了它们的真实有效性。在这项工作中,我们分析了数据集上的位置偏差,上下文表示,以及它们对检索结果的影响。我们提出了一个去偏方法检索数据集。我们的研究结果表明,在位置偏置数据集上训练的模型在去偏置数据集上进行评估时,重新排名的有效性显着降低。我们证明,通过减轻位置偏差,基于transformer的重新排序模型在有偏和去偏数据集上同样有效,并且在两个不同偏数据集之间的迁移学习设置中更有效。
2021-01-18 cs.CL cs.IR
ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 分校);Baidu Inc., Beijing, China(百度公司,北京,中国);Carnegie Mellon University(卡内基梅隆大学)
本文提出ReasonRank,通过自动化生成推理密集型训练数据和两阶段训练方法,提升文档排序性能,实验表明其优于现有基线并具有更低延迟。
2026-04-22 cs.AI cs.CL cs.IR
CoRanking: Collaborative Ranking with Small and Large Ranking Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Baidu Inc.(百度公司)
针对大语言模型列表式排序效率低的问题,提出结合小型预排序与LLM重排的CoRanking框架,辅以强化学习训练的顺序调整器缓解位置偏差,在降70%延迟的同时效果更优。
2025-08-30 cs.CL cs.IR
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组)
ResRank通过端到端联合训练与残差段落压缩技术,解决传统重排序方法中输入长度增加导致的排名质量下降和推理延迟问题,实现高效且有效的检索与重排序统一。
2026-04-24 cs.AI cs.IR
Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
Alibaba(阿里巴巴)
该研究针对MS MARCO段落排序任务,以Qwen3-0.6B为模型,通过数据整理、难负例挖掘、训练-推理分布对齐及Model Soup权重融合等数据中心策略,在三类实验设置下实现了亚十亿参数模型的先进排序性能。
2026-10-15 cs.IR
Passage Re-ranking with BERT
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
最近,神经模型在语言建模任务上进行了预训练,例如ELMo(Peters等人,2017)、OpenAI GPT(Radford等人,2018)和BERT(Devlin et al.,2018年),在各种自然语言处理任务上取得了令人印象深刻的成果,如问答和自然语言推理。在本文中,我们描述了一个简单的重新实现BERT的查询为基础的段落重新排名。我们的系统是TREC-CAR数据集的最新技术水平,也是MS MARCO通道检索任务排行榜的最佳条目,在MRR@10中比以前的最新技术水平高出27%(相对)。可在https://github.com/nyu-dl/dl4marco-bert上获得重现我们结果的代码
2020-04-14 cs.CL cs.IR cs.LG
Exploiting Sentence-Level Representations for Passage Ranking
最近,预先训练的上下文模型,如BERT,已被证明在语言相关的任务中表现良好。我们重新审视的设计决策,管理这些模型的适用性,在开放域问答的通道重新排名任务。我们发现,文献中的常见方法依赖于微调预训练的BERT模型,并使用输入的单一全局表示,丢弃令牌或令牌级表示中有用的细粒度相关信号。我们认为,这些被丢弃的令牌包含可以利用的有用信息。在本文中,我们显式地使用动态记忆网络(DMN)建模的句子级表示,并进行实证评估,以显示改进的通道重新排序微调香草BERT模型的记忆增强显式句子建模的开放域QA数据集的不同。我们进一步表明,冻结BERT模型,只训练DMN层仍然接近原始性能,同时大大提高了训练效率。这表明通常的微调步骤主要有助于将固有信息聚合在单个输出令牌中,而不是使整个模型适应新任务,并且只能实现相当小的增益。
2021-08-30 cs.IR
Text-to-Text Multi-view Learning for Passage Re-ranking
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
最近,自然语言处理的许多进展都是由在大型语料库上预先训练的深度上下文表示驱动的。通常,针对特定下游任务对这些预训练模型进行微调是基于单视图学习的,然而这是不够的,因为句子可以从不同的角度进行不同的解释。因此,在这项工作中,我们提出了一个文本到文本的多视图学习框架,将一个额外的视图-文本生成视图-到一个典型的单视图通道排名模型。从经验上讲,所提出的方法是帮助的排名性能相比,其单视图对应。文中还报告了消融研究。
2022-08-10 cs.CL cs.IR
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research(IBM研究);IBM Watson
用于(基于嵌入的)无监督语义搜索的现有技术方法利用(查询和段落的)组成相似性或(来自查询和段落的)成对词(或术语)相似性。通过设计,基于单词的方法不包含更大上下文(查询/段落)中的相似性,而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中,我们提出了一种新的成分相似性为基础的方法,称为可变质心向量(VCVB),试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法,利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对基于LLM的排序方法存在的顺序不一致和传递不一致问题,提出LLM-RankFusion框架,通过上下文学习校准偏好概率及聚合多排序器结果缓解不一致,提升排序质量。
2024-11-26 cs.AI cs.CL cs.IR
An In-depth Analysis of Passage-Level Label Transfer for Contextual Document Ranking
本文分析文档切分与段落级标签迁移对检索效果和效率的影响,提出弱监督段落标注方案,在四个数据集上以可控复杂度取得3%–14%的nDCG提升。
2023-12-06 cs.IR
Ranking-Incentivized Quality Preserving Content Modification
Web是一个典型的竞争性检索环境的例子,许多文档的作者不断修改他们的文档,以提高他们的排名。我们提出了一种自动方法,用于文档内容的质量保持修改-即,保持内容质量--使得文档对于通过其排名可以被观察的未公开的排名功能的查询被排名更高。该方法将文档中的段落替换为其他段落。为了选择这两篇文章,我们使用了一种学习排名方法,并采用了一个双目标优化标准:排名提升和内容质量维护。我们在基于内容的排名比赛中使用这种方法作为机器人。比赛的分析表明,我们的方法的优点,在排名提升,内容质量的维护和相关性方面的人类内容的修改。
2020-06-27 cs.IR
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien(维也纳工业大学);Microsoft(微软);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如,BERT -评估文档中的所有单独段落,然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是,这种高推理成本和延迟根据文档的长度而变化,更长的文档需要更多的时间和计算。为了应对这一挑战,我们采用了一种文档内级联策略,该策略在运行一个更昂贵和更有效的评分模型(称为ETM)之前,使用一个更便宜的模型(称为ESM)修剪候选文档的段落。我们发现最好通过从ETM(有效教师模型的简称)中提取知识蒸馏来训练ESM(有效学生模型的简称),例如,BERT。这种修剪允许我们只在较小的段落集上运行ETM模型,这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明,所提出的文档内级联排名模型(IDCM)通过提供与最先进的基于BERT的文档排序模型基本相同的有效性,导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
Batched Self-Consistency Improves LLM Relevance Assessment and Ranking
University of Toronto(多伦多大学);Thomson Reuters Labs(汤森路透实验室)
本文提出批量点式相关性评估方法,通过单次LLM调用评估多个段落并结合自洽性集成,在提升判断质量的同时大幅降低延迟,实验表明其排序性能显著优于逐条点式方法。
2025-09-19 cs.IR
CROWN: Conversational Passage Ranking by Reasoning over Word Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
围绕一个主题的信息需求不能在一个回合中得到满足;用户通常会提出涉及同一主题的后续问题,系统必须能够理解请求的会话上下文以检索正确的答案。在本文中,我们向TREC对话协助跟踪2019提交了我们的意见书,其中探讨了这样的对话设置。我们提出了一个简单的无监督的方法,通过制定一个查询的相似性和连贯性相结合的通道分数的会话通道排名。具体来说,段落中包含的单词在语义上与问题中使用的单词相似,并且这些单词出现在附近。我们建立了一个词邻近网络(WPN)从一个大的语料库,其中的单词是节点,如果他们共同出现在同一个通道在统计上显着的方式,在一个上下文窗口的两个节点之间有一个边缘。我们的方法,名为CROWN,提高了nDCG分数在CAST训练数据上提供的Indri基线。根据CAsT的评估数据,我们的最佳运行提交在AP@5和nDCG@1000方面达到了高于平均水平的性能。
2020-02-11 cs.CL cs.IR
The Ranking Blind Spot: Decision Hijacking in LLM-based Text Ranking
Northeastern University(东北大学);Oregon State University(俄勒冈州立大学);University of Macau(澳门大学)
本文揭示了LLM文本排序中的“排名盲点”,提出决策目标劫持和决策标准劫持两种攻击方法,实证表明其可迫使排序器偏好特定段落,且更强的LLM更易受攻击。
2025-09-23 cs.AI cs.IR
When Fine-Tuning Fails: Lessons from MS MARCO Passage Ranking
Department of IT IIIT Allahabad Prayagraj, India(信息技术系印度理工学院Allahabad分校)
本文通过五种模型变体的实验发现,在MS MARCO段落排序任务上微调预训练模型反而降低性能,揭示了微调破坏嵌入空间结构的问题,并指出架构创新才是改进关键。
2025-06-23 cs.CL cs.IR
Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models
Polytechnique Montréal(蒙特利尔理工学院)
本文针对资源受限用户难以使用大型专有LLM进行段落重排序的问题,提出在IR重排序前增加预过滤步骤,结合少量人工与LLM相关性评分剔除无关段落,使Mixtral等较小模型性能媲美GPT-4等大型模型。
2024-06-26 cs.CL cs.IR
Learning-to-Rank with BERT in TF-Ranking
本文描述了一种用于文档排序的机器学习算法,该算法首先使用BERT [1]对查询和文档进行编码,然后在此基础上使用TF-Ranking(TFR)[2]构建的学习排序(LTR)模型进一步优化排序性能。这种方法在公开的MS MARCO基准测试中被证明是有效的[3]。截至2020年4月10日,我们的前两个提交的文章在文章重新排名任务中取得了最佳成绩[4],在文章完整排名任务中取得了第二好成绩[5]。为了利用预训练的语言模型的最新发展,我们最近集成了RoBERTA [6]和ELECTRA [7]。我们的最新提交将我们之前最先进的重新排名性能提高了4.3%[8],并在截至2020年6月8日的全面排名任务中取得了第三好的表现[9]。它们都证明了结合排名损失与BERT表示文档排序的有效性。
2020-06-08 cs.IR
Quality and Cost Trade-offs in Passage Re-ranking Task
IHS Markit(埃信华迈)
名为Transformers的深度学习模型在绝大多数NLP任务中实现了最先进的结果,但代价是增加了计算复杂性和高内存消耗。在实时推理中使用Transformer模型在生产中实现时成为一个主要挑战,因为它需要昂贵的计算资源。需要执行的Transformer越多,整体吞吐量就越低,并且切换到较小的编码器会导致精度降低。我们的论文致力于如何选择正确的信息检索管道的排名步骤的架构的问题,使所需的调用的数量最小的Transformer编码器是最大的可实现的排名质量。我们研究了几种后期交互模型,如Colbert和Poly-encoder架构及其修改。此外,我们还考虑了搜索索引的内存占用,并尝试应用学习哈希方法对来自Transformer编码器的输出向量进行二进制化。评估结果使用TREC 2019-2021和MS Marco dev数据集提供。
2021-11-18 cs.CL cs.IR
Expansion via Prediction of Importance with Contextualization
在文本背景较少的情况下识别相关性是篇章检索中的一个主要挑战。我们解决这个问题的表示为基础的排名方法:(1)明确建模的重要性,每个术语使用上下文语言模型;(2)执行通道扩展传播的重要性,以类似的条款;(3)理由的表示在词典中,使它们可解释。可以在索引时预先计算通道表示,以减少查询时的延迟。我们称之为EPIC(Expansion via Prediction of Importance with Contextualization)。我们表明,EPIC显着优于以前的重要性建模和文档扩展方法。我们还观察到,性能是添加剂与目前领先的第一阶段检索方法,进一步缩小廉价和成本高昂的通道排名方法之间的差距。具体而言,EPIC在MS-MARCO通道排名数据集上实现了0.304的MRR@10,在商品硬件上的平均查询延迟为78 ms。我们还发现,通过修剪文档表示,延迟进一步降低到68毫秒,有效性几乎没有差异。
2020-05-20 cs.IR
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括(i)使用BM 25的初始检索模块,以及(ii)将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此,我们执行查询解析,即使用QuReTeC(术语分类查询解析模型)将会话历史中缺失的上下文添加到当前回合查询中。我们表明,我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc(百度公司)
提出将大语言模型的效用判断能力蒸馏至小型模型,实现基于效用的动态段落选择,以降低计算成本并提升RAG复杂查询的答案生成质量。
2025-10-09 cs.AI cs.CL cs.IR
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Know-Center GmbH(知识中心有限公司)
社会偏见的共鸣,在信息检索(IR)系统检索的内容,从而加强现有的刻板印象。解决这个问题需要针对检索结果中各种社会群体的代表性制定公平性措施,以及减轻此类偏见的方法,特别是考虑到深度排名模型的进步。在这项工作中,我们首先提供了一个新的框架来衡量的公平性检索的文本内容的排名模型。引入一个排名不可知的测量,该框架还可以从排名的公平性收集的影响解开。为了减轻这些偏见,我们提出了AdvBert,这是一种通过适应对抗性偏见减轻IR来实现的排名模型,它联合学习预测相关性并删除受保护的属性。我们对两个段落检索集合(MSMARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking)进行了实验,我们通过对有关性别属性的选定查询子集的公平注释进行了扩展。我们在MSMARCO基准测试上的结果表明,(1)与排名不可知的基线相比,所有排名模型都不太公平,(2)当使用建议的AdvBert模型时,BERT排名的公平性显着提高。最后,我们研究了公平和效用之间的权衡,表明我们可以保持公平的显着改善,而不会有任何显着的效用损失。
2021-05-11 cs.AI cs.IR cs.LG
Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距,作者构建了新数据集 Rank-DistiLLM,通过应用难负样本采样等微调方法,使交叉编码器在达到 LLM 有效性的同时,速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
Brown University at TREC Deep Learning 2019
Brown University(布朗大学)
本文介绍了布朗大学提交给TREC 2019深度学习轨道。我们遵循一个2阶段的方法来产生一个给定的输入查询的段落的排名:在第一阶段,用户的查询是通过附加3个查询生成的Transformer模型,该模型被训练成重新措辞的输入查询语义相似的查询扩展。扩展的查询可以在表面形式和与感兴趣的段落的词汇重叠方面表现出更大的相似性,并且因此可以用作对任何下游信息检索方法的丰富输入。在第二阶段,我们使用一个基于BERT的模型,该模型经过语言建模的预训练,但经过查询-文档相关性预测的微调,以计算每个查询1000个候选段落的相关性得分,并随后根据预测的相关性得分对段落进行排序,从而获得段落的排名。根据2019年TREC深度学习赛道官方概述中公布的结果,我们的团队在段落检索任务中排名第三(包括完整排名和重新排名),在仅考虑重新排名提交时排名第二。
2020-09-08 cs.CL cs.IR cs.LG
Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baidu Inc.(百度公司)
本文探索利用长上下文LLMs实现单次推理全排序,提出完整列表式标签构建与重要性感知学习目标,解决了滑动窗口效率低及训练标签缺陷,显著提升排序性能与效率。
2024-12-19 cs.CL cs.IR
Shifting from Ranking to Set Selection for Retrieval Augmented Generation
LG AI Research(LG人工智能研究)
针对RAG中现有重排序方法忽视段落集合整体性的问题,提出SETR方法,通过思维链识别查询信息需求并选择最优段落集合,在多跳基准上优于重排序基线。
2025-07-10 cs.CL cs.IR
GroupRank: A Groupwise Paradigm for Effective and Efficient Passage Reranking with LLMs
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Ant Group(蚂蚁集团)
GroupRank提出一种组内方法平衡灵活性和上下文感知,通过合成数据融合局部点状信号与全局列表排名,提升重排序效果和效率,实验显示在BRIGHT上达到65.2 NDCG@10,且推理速度提升6.4倍。
2026-04-30 cs.AI cs.IR cs.LG
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre(语言技术研究中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
通常,提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题,因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中,我们解决了多答案检索,需要检索的段落,可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法,使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落,都是查询相关的和不同的。结果表明,我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Understanding the Behaviors of BERT in Ranking
Tsinghua University(清华大学);Microsoft Research(微软研究院)
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT,并在两个排名任务上对其进行微调:MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性,同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力,它如何偏好释义标记之间的语义匹配,以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
Santa Clara University(圣克拉拉大学);Walmart Global Tech(沃尔玛全球科技);Docomo Innovations(docomo创新公司)
针对开放域问答中LLM段落重排序依赖硬提示、全量微调成本高的问题,提出参数高效的段落特定提示调优方法PSPT,融入段落特定知识提升排序能力,实验验证其有效性。
2024-06-21 cs.CL cs.IR
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University(斯坦福大学)
自然语言理解(NLU)的最新进展正在推动信息检索(IR)的快速发展,这在很大程度上要归功于对用于文档排序的深度语言模型(LM)进行微调。虽然非常有效,但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本,特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题,我们提出了ColBERT,这是一种新的排名模型,它可以适应深度LM(特别是BERT)以实现高效检索。ColBERT引入了一个后期交互架构,它使用BERT独立地对查询和文档进行编码,然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互,ColBERT可以利用深度LM的表现力,同时获得离线预计算文档表示的能力,从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外,ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明,ColBERT的有效性与现有的基于BERT的模型相比具有竞争力(并且优于每一个非BERT基线),同时执行速度快两个数量级,每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich(慕尼黑技术大学)
针对法律问答中检索增强生成系统的引用质量问题,提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序,显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
Adaptive Re-Ranking with a Corpus Graph
搜索系统通常采用重新排名流水线,其中来自初始候选池的文档(或段落)被分配新的排名分数。该过程使得能够使用高效但昂贵的评分函数,该评分函数不适合直接用于像倒排索引或近似最近邻索引的结构中。然而,重新排名管道固有地受到初始候选池的召回的限制;不能识别未被初始检索功能识别为重新排名的候选的文档。我们提出了一种新的方法来克服召回限制的基础上建立的聚类假设。在整个重新排名过程中,我们的方法将与最高得分文档最相似的文档添加到池中。这个反馈过程使候选人库适应那些也可能产生高排名分数的候选人,即使他们不在初始库中。它还可以增加出现在池中更深处的文档的分数,否则由于有限的重新排名预算而被跳过。我们发现,我们的基于图的自适应重新排名(GAR)方法在面向精度和召回的措施方面显着提高了重新排名管道的性能,是对各种现有技术的补充(例如,稠密检索)对它的超参数是鲁棒的,并且对计算和存储成本的贡献最小。例如,在MS MARCO传代排名数据集上,当应用monoT 5排名器时,GAR可以将BM 25候选池的nDCG提高高达8%。
2022-08-18 cs.IR
Mixed-initiative Query Rewriting in Conversational Passage Retrieval
本文提出混合主动查询重写模块,通过生成歧义问题并融合用户反馈来替代神经重写,结合 BM25、TCT-ColBERT、MonoT5 和 DuoT5 多阶段检索,在 TREC CAsT 数据集上验证了其优于 CANARD-T5 和 HQE 的检索性能。
2024-10-17 cs.IR
LLM-based Listwise Reranking under the Effect of Positional Bias
University of Amsterdam(阿姆斯特丹大学);University of Cambridge(剑桥大学);Baidu Inc.(百度公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出DebiasFirst方法,通过位置校准和位置感知的数据增强缓解大语言模型在列表级重排序中的位置偏见问题,提升排序效果和鲁棒性。
2026-04-04 cs.IR
Order-Disorder: Imitation Adversarial Attacks for Black-box Neural Ranking Models
Wuhan University(武汉大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校);Northeastern University(东北大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出针对黑盒神经排序模型的模仿对抗攻击方法,通过训练排序模仿模型并生成带伪装的对抗触发器,以极少词元实现排序操纵,并验证其对多种SOTA模型的有效性。
2023-04-18 cs.CL cs.CR cs.IR
I^3 Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
针对双编码器忽略查询-段落交互导致性能受限的问题,提出I^3检索器,通过生成伪查询模拟交互并端到端联合优化,保持推理效率的同时提升检索效果,在MSMARCO和TREC2019上取得最先进性能。
2024-03-20 cs.IR
Layer-wise Token Compression for Efficient Document Reranking
Amazon AGI(亚马逊人工智能);Amazon AWS(亚马逊云科技)
本文提出逐层令牌压缩(LTC)方法,通过在中间Transformer层应用自适应令牌池化,提升文档重排序的效率,实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。
2026-05-21 cs.IR
Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context
基于BERT的文本排序模型极大地提高了自组织检索的最新水平,其中大多数模型倾向于独立地考虑单个查询-文档对。与此同时,在排名模型中考虑跨文档交互和查询特定特征的重要性和有用性已被反复证实,主要是在学习排序的背景下。然而,基于BERT的排名模型还不能完全结合这两种类型的排名上下文,从而忽略了来自排名的文档间关系和查询之间的差异。为了缓解这一差距,在这项工作中,一个端到端的基于转换器的排名模型,名为共同BERT,已提出利用几个BERT架构校准查询文档表示使用伪相关反馈建模前的一组文档的相关性联合。在两个标准测试集上进行的大量实验证实了所提出的模型在提高文本重排序性能方面的有效性。我们计划使我们的实现开源,以便进行进一步的比较。
2021-04-17 cs.IR
Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models
Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学);Jina AI(Jina AI公司)
本文提出PE-Rank方法,利用段落嵌入作为上下文压缩,通过特殊标记输入和动态解码约束,提升基于LLM的列表式重排序效率,同时保持排序效果。
2025-01-28 cs.CL cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中,基于transformer的模型,特别是像BERT这样的预训练语言模型,已经证明了巨大的有效性。然而,由于自我注意力机制的二次复杂性,这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档,在这种情况下,一个丢失潜在的相关信息,分割成几个段落,这可能会导致错过一些信息和高计算复杂性时,通道的数量是大的,或修改的自我注意力机制,使其稀疏的稀疏注意力模型,在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法,其中首先选择一个长文档的本地查询块预排名的关键块,然后几个块被聚合,形成一个短的文档,可以处理的模型,如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR