A Passage-Based Approach to Learning to Rank Documents
根据常见的相关性判断机制，例如TREC的，即使文档包含具有相关信息的非常短的文本段落，也可以认为文档与查询相关。这一事实激发了基于XML的文档检索的工作：从文档的段落中归纳信息的文档排序方法。然而，主要来源的基于XML的信息利用的是XML查询相似性。我们解决的挑战，利用更丰富的基于XML的信息源，以提高文档检索的有效性。具体来说，我们设计了一套学习排名为基础的文件检索方法，利用有效的排名的段落产生的响应查询，也诱导使用学习排名的方法通过排名。一些方法量化了文档段落的排名。其他人利用用于学习段落排名器的段落的基于特征的表示。实证评估证明了我们的方法在高度有效的基线方面的明显优点。我们最好的执行方法是基于学习的文档排序功能使用文档查询功能和查询功能的文档的通道排名最高。
2019-06-05 cs.IR
MarlRank: Multi-agent Reinforced Learning to Rank
University of Alberta（阿尔伯塔大学）；Huawei（华为）；University College London（伦敦大学学院）；Tianjin University（天津大学）
在估计查询和文档之间的相关性时，排序模型在很大程度上忽略了文档之间的互信息。一个共同的智慧是，如果两个文档在相同的查询方面相似，它们更有可能具有相似的相关性得分。为了缓解这个问题，在本文中，我们提出了一个多智能体增强排名模型，名为MarlRank。特别是，通过考虑每个文件作为一个代理，我们制定的排名过程作为一个多代理马尔可夫决策过程（MDP），文件之间的相互作用被纳入排名过程。为了计算排序列表，每个文档不仅考虑其自身的查询文档特征，而且还考虑其相似的文档特征和动作来预测其与查询的相关性。通过将奖励定义为NDCG的函数，我们可以直接在排名性能指标上优化我们的模型。我们在两个LETOR基准数据集上的实验结果表明，我们的模型在最先进的基线上具有显着的性能增益。我们还发现，NDCG呈现出整体上升的趋势，随着交互的步骤，这表明，互信息之间的文档有助于提高排名性能。
2019-09-15 cs.IR cs.LG stat.ML
Scalable In-context Ranking with Generative Models
UT Austin（得克萨斯大学）；Google（谷歌）
本文提出BlockRank方法，利用LLM注意力中的块稀疏性和查询-文档相关性结构，将注意力复杂度从二次降为线性，在保持性能的同时实现高效可扩展的情境内排序。
2025-10-08 cs.IR cs.LG
Learning to Rank with Variable Result Presentation Lengths
Radboud University（拉德堡德大学）
针对排序学习中文档展示长度固定的问题，提出可变展示长度排序任务及VLPL方法，联合优化文档排序与展示长度，有效平衡曝光度与吸引力并提升排序性能。
2025-06-29 cs.IR cs.LG
Socialformer: Social Network Inspired Long Document Modeling for Document Ranking
利用预先训练的语言模型在神经文档排序方面取得了巨大成功。受计算和内存需求的限制，长文档建模成为一个关键问题。最近的工作提出修改Transformer中的全注意矩阵，通过设计稀疏的注意模式。然而，它们中的大多数仅关注固定大小窗口内的术语的局部连接。如何在术语之间建立合适的远程连接以更好地建模文档表示仍然有待探索。在本文中，我们提出了模型Socialformer，它引入了社交网络的特点，设计稀疏注意模式的长文档建模中的文档排序。具体来说，我们考虑了几种注意力模式来构建一个像社交网络的图。这种图具有社交网络的特点，在保证稀疏性的前提下，大多数节点对可以通过较短的路径到达。为了便于高效计算，我们将图分割成多个子图来模拟社交场景中的朋友圈。实验结果证实了该模型在长文档建模中的有效性。
2022-02-22 cs.IR
SetRank: Learning a Permutation-Invariant Ranking Model for Information Retrieval
在信息检索的学习排序中，排序模型从数据中自动学习，然后用于对检索到的文档集进行排序。因此，一个理想的排名模型应该是从文档集合到集合上的排列的映射，并且应该满足两个关键要求：（1）它应该具有建模跨文档交互的能力，以便捕获查询中的本地上下文信息;（2）它应该是排列不变的，这意味着输入文档的任何排列都不会改变输出排名。以前的研究学习排名要么设计单变量的评分函数，每个文件分别评分，因此未能建模的跨文档的相互作用;或构建多变量的评分函数，评分文件顺序，这不可避免地牺牲了排列不变性的要求。在本文中，我们提出了一个神经学习排名模型，称为SetRank，它直接学习定义在任何大小的文档集上的排列不变的排名模型。SetRank采用一堆（诱导）多头自注意块作为其关键组件，用于联合学习所有检索到的文档的嵌入。自注意力机制不仅帮助SetRank从跨文档交互中捕获局部上下文信息，而且还学习输入文档的置换等变表示，从而实现置换不变的排序模型。在三个大规模基准测试上的实验结果表明，SetRank的性能明显优于传统的学习排名模型和最先进的神经IR模型。
2020-05-07 cs.IR
Document Similarity Enhanced IPS Estimation for Unbiased Learning to Rank
针对学习排序中的位置偏差，提出IPSsim估计器，利用文档相似性改进IPS加权，在多个数据集上显著提升无偏排序性能。
2025-07-10 cs.IR
Query-driven Segment Selection for Ranking Long Documents
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
基于transformer的排名显示出最先进的性能。然而，他们的自我注意操作大多无法处理长序列。训练这些排序器的常用方法之一是以启发式方式选择每个文档的某些段（例如第一段）作为训练数据。但是，这些段可能不包含文档中与查询相关的部分。为了解决这个问题，我们提出了查询驱动的段选择从长文档建立训练数据。段选择器为相关样本提供更准确的标签，为不相关样本提供更难预测的标签。实验结果表明，与建议的段选择器训练的基本BERT的排序器显着优于训练的启发式选择的段，并表现出等同于最先进的模型与本地化的自我注意，可以处理更长的输入序列。我们的研究结果开辟了新的方向，设计高效的变压器为基础的排名。
2021-09-10 cs.CL cs.IR cs.LG
Efficient Document Re-Ranking for Transformers by Precomputing Term Representations
深度预训练的Transformer网络在各种排名任务中是有效的，例如问答和ad-hoc文档排序。然而，它们的计算费用认为它们在实践中成本过高。我们提出的方法，称为PreTTR（Precomputing Transformer Term Representations），大大降低了深度Transformer网络的查询时间延迟（在Web文档排序上加速高达42倍），使这些网络更实用，可用于实时排名场景。具体来说，我们在索引时预先计算部分文档术语表示（没有查询），并在查询时将它们与查询表示合并以计算最终的排名分数。由于令牌表示的大小很大，我们还提出了一种有效的方法，通过训练压缩层来匹配注意力分数来减少存储需求。我们的压缩技术将所需的存储空间减少了95%，并且可以在不大幅降低排名性能的情况下应用。
2020-05-26 cs.IR
Ranking-Incentivized Quality Preserving Content Modification
Web是一个典型的竞争性检索环境的例子，许多文档的作者不断修改他们的文档，以提高他们的排名。我们提出了一种自动方法，用于文档内容的质量保持修改-即，保持内容质量--使得文档对于通过其排名可以被观察的未公开的排名功能的查询被排名更高。该方法将文档中的段落替换为其他段落。为了选择这两篇文章，我们使用了一种学习排名方法，并采用了一个双目标优化标准：排名提升和内容质量维护。我们在基于内容的排名比赛中使用这种方法作为机器人。比赛的分析表明，我们的方法的优点，在排名提升，内容质量的维护和相关性方面的人类内容的修改。
2020-06-27 cs.IR
Interpretable Low-Rank Document Representations with Label-Dependent Sparsity Patterns
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
在文档分类的上下文中，其中在文档的语料库中，它们的标签标签是容易知道的，机会在于利用标签信息来学习具有更好的区分属性的文档表示空间。为此，在本文中，应用变分贝叶斯监督非负矩阵分解（监督vbNMF）与标签驱动的稀疏结构的系数提出了歧视性的非减法潜在语义成分发生在TF-IDF文档表示的学习。约束是这样的，追求的组件是经常出现在一个小的标签集，使其有可能产生独特的标签特定的稀疏激活模式的文档表示。一个简单的措施，这种稀疏结构的质量，被称为标签间稀疏性，介绍和实验紧密联系的分类性能。代表一个很大的实际方便，标签间稀疏性被证明是很容易控制在监督的vbNMF由一个单一的参数。
2014-07-25 cs.CL cs.IR cs.LG
Detecting Privileged Documents by Ranking Connected Network Entities
本文提出了一种通过分析连接网络实体来识别特权文档的方法，利用实体分数和连接强度提升识别效果。
2025-12-08 cs.IR
Listwise Learning to Rank by Exploring Unique Ratings
Northwestern University（西北大学）
在本文中，我们提出了新的列表式学习排名模型，减轻现有的缺点。现有的列表式学习排名模型通常来自经典的Plackett-Luce模型，它有三个主要的局限性。(1)它的排列概率忽略了关系，即，对于一个查询，多个文档具有相同的评级的情况。这可能会导致不精确的排列概率和低效的训练，因为逐个选择文档。(2)它不支持具有高度相关性的文件。(3)它有一个松散的假设，即在不同步骤对文档进行采样是独立的。为了克服前两个限制，我们的模型排名从一个候选人集的基础上，以降序排列的独特的评级水平选择文件。训练中的步骤数由唯一评级级别数决定。我们提出了一个新的损失函数和相关的四个模型的加权分类任务的整个序列，通过分配高权重的高评级的优化归一化贴现累积增益（NDCG）的选定的文件。为了克服最后的限制，我们进一步提出了一种新颖有效的方法，通过将自适应的Vanilla递归神经网络（RNN）模型与先前步骤中给定的选定文档相结合来改进预测得分。我们对RNN模型已经选择的所有文档进行编码。在单步的中，我们使用RNN的最后一个单元多次对具有相同评级的所有文档进行排名。我们已经使用三种设置实现了我们的模型：神经网络、具有梯度提升的神经网络和具有梯度提升的回归树。我们在四个公共数据集上进行了实验。实验表明，该模型明显优于最先进的学习排名模型。
2020-01-23 cs.IR cs.LG stat.ML
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Reinforcement Online Learning to Rank with Unbiased Reward Shaping
在线学习排名（OLTR）旨在直接从用户交互（如点击）中获得的隐式反馈中学习排名器。然而，点击是一个有偏见的信号：具体来说，排名靠前的文档可能比排名靠后的文档吸引更多的点击（位置偏见）。在本文中，我们提出了一种新的学习算法OLTR，使用强化学习优化排名：强化在线学习排名（ROLTR）。在ROLTR中，基于分配给点击和未点击文档的奖励来估计排名器的梯度。为了消除奖励信号中包含的用户位置偏差，我们引入了无偏的奖励塑造函数，该函数利用点击和未点击文档的逆倾向评分。事实上，我们的方法也可以建模未点击的文档提供了进一步的优势，因为需要更少的用户交互来有效地训练排名器，从而提高效率。对标准OLTR数据集的实证评估表明，ROLTR实现了最先进的性能，并提供了显着优于其他OLTR方法的用户体验。为了促进我们实验的可重复性，我们在www.example.com上提供所有实验代码。
2022-01-05 cs.IR
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University（乔治城大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然最近对神经排序架构给予了相当大的关注，但对用作这些模型输入的术语表示的关注要少得多。在这项工作中，我们研究了两个预训练的上下文语言模型（ELMo和BERT）可以用于ad-hoc文档排序。通过对TREC基准测试的实验，我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外，我们提出了一种联合方法，将BERT的分类向量纳入现有的神经模型，并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR（上下文嵌入文档排序）。我们还解决了使用这些模型进行排名的实际挑战，包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
PoolRank: Max/Min Pooling-based Ranking Loss for Listwise Learning & Ranking Balance
近年来，人们提出了许多神经检索模型。这些模型学习计算给定查询和文档之间的排名分数。大多数现有模型都是直接使用人类判断的标签以成对方式进行训练，而无需进一步校准。传统的成对方案可能很耗时，并且需要预定义的正负文档对进行训练，由于训练和测试条件之间的文档分布不匹配，可能导致学习偏差。一些流行的现有列表模式依赖于强预定义的概率假设和给定查询的相关和非相关文档之间的明显差异，这可能会由于低质量或模糊的相关性标签而限制模型潜力。为了解决这些问题，我们转向物理启发的排名平衡计划，并提出PoolRank，一个基于池的列表学习框架。该方案具有四个主要优点：（1）PoolRank基于模型性能和丰富文档候选者之间的相对排名，从局部最佳候选者中提取训练信息。(2)通过以多任务学习方式组合四个基于池的损失组件，PoolRank自动校准部分相关和高度不相关文档的排名平衡，而无需昂贵的人工检查。(3)PoolRank可以很容易地推广到任何神经检索模型，而不需要额外的可学习参数或模型结构修改。(4)与成对学习和现有的列表学习方案相比，PoolRank在保持有效收敛速度的同时，为所有研究的检索模型提供了更好的排名性能。
2021-08-08 cs.IR
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Medical School（马萨诸塞大学医学院）
在任何科学中，寻找相关的已发表文章都是一项重要的任务，但随着生物医学领域新工作的爆炸式增长，它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而，生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中，我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准，我们然后评估的方法，使用文本相似度排名的相关性的文章。最后，我们开发和评估了一个新的监督模型，自动排名相关的科学文章。我们的研究结果表明，作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型，我们发现最好的监督学习排名模型（SVM-Rank）显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
针对现有基于LLM的文档重排序方法存在的排序不确定、top-k召回不稳定及token成本高的问题，提出不确定性感知框架REALM，将相关性建模为高斯分布并通过递归贝叶斯更新优化，在提升排序效果的同时显著降低推理成本与延迟。
2025-10-02 cs.IR
Non-Linear Multiple Field Interactions Neural Document Ranking
University of Bristol（布里斯托尔大学）；Cookpad Ltd（Cookpad有限公司）
排名任务通常基于页面主体的文本和用户在页面上的操作（点击）。还有其他元素可以被利用来更好地将排名体验置于情境中（例如，其他字段中的文本、用户进行的查询、图像等）。我们提出了一个领域的相互作用，在两个独立的数据集的多个领域的排名的第一次深入分析。虽然有些作品已经利用了完整的文档结构，但有些方面仍然没有探索。在这项工作中，我们建立在以前的分析，以显示查询字段的相互作用，非线性字段的相互作用，以及底层神经模型的架构如何影响性能。
2020-11-18 cs.AI cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中，基于transformer的模型，特别是像BERT这样的预训练语言模型，已经证明了巨大的有效性。然而，由于自我注意力机制的二次复杂性，这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档，在这种情况下，一个丢失潜在的相关信息，分割成几个段落，这可能会导致错过一些信息和高计算复杂性时，通道的数量是大的，或修改的自我注意力机制，使其稀疏的稀疏注意力模型，在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法，其中首先选择一个长文档的本地查询块预排名的关键块，然后几个块被聚合，形成一个短的文档，可以处理的模型，如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business（雅典经济与商业大学）；Google AI（谷歌人工智能）
我们探索了几种新的文档相关性排名模型，建立在Guo et al.（2016）的深度相关性匹配模型（DRMM）基础上。与DRMM不同，DRMM使用术语的上下文不敏感编码和查询-文档术语交互，我们在整个模型中注入了丰富的上下文敏感编码，灵感来自PACRR（Hui等人，卷积n-gram匹配功能，但以多种方式扩展，包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型（Tsatsaronis等人，2015年）和TREC ROBUST 2004年（Voorhees，2005年），显示它们优于基于BM 25的基线，DRMM和PACRR。
2018-09-11 cs.CL cs.IR
Analysis of E-commerce Ranking Signals via Signal Temporal Logic
Amazon Search（亚马逊搜索）
通过学习排序模型检索的文档的时间位置可以被视为信号。信号携带有用的信息，例如文档随时间或用户行为的下降或上升。在这项工作中，我们建议使用的逻辑形式主义，称为信号时序逻辑（STL），以表征文档行为的排名相应的指定公式。我们的分析表明，有趣的文档行为可以很容易地形式化和检测感谢STL公式。我们在10万个产品信号的数据集上验证了我们的想法。通过所提出的框架，我们发现有趣的模式，如冷启动，热启动，尖峰，并检查它们如何影响我们的学习排序模型。
2021-01-14 cs.FL cs.IR cs.LG
Document Network Projection in Pretrained Word Embedding Space
Université de Lyon（里昂大学）；Lyon 2（里昂第二大学）
我们提出了正则化线性嵌入（RLE），这是一种将链接文档（例如引文网络）的集合投影到预训练的词嵌入空间中的新方法。除了文本内容之外，我们还利用成对相似性矩阵提供补充信息（例如，引文图中两个文档的网络邻近度）。我们首先为每个文档构建一个简单的词向量平均值，然后使用相似性来改变这个平均表示。文档表示可以帮助解决许多信息检索任务，如推荐，分类和聚类。我们证明，我们的方法优于或匹配现有的文件网络嵌入方法的节点分类和链接预测任务。此外，我们表明，它有助于确定相关的关键字来描述文档类。
2020-01-16 cs.CL cs.IR
Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning
CSIRO（联邦科学与工业研究组织）；University of Waterloo（滑铁卢大学）；The University of Queensland（昆士兰大学）
本文提出 Rank-R1，利用强化学习和少量相关性标签赋予 LLM 文档重排器推理能力，在复杂查询及域外场景下以极少训练数据取得优异排序效果并提升可解释性。
2025-03-08 cs.CL cs.IR
RankMamba: Benchmarking Mamba's Document Ranking Performance in the Era of Transformers
University of Utah（犹他大学）
RankMamba通过文档排序任务评估Mamba模型在信息检索中的性能，发现其在相同训练条件下表现优异，但训练效率低于高效Transformer实现。
2026-01-05 cs.CL cs.IR
