Multi-Perspective Relevance Matching with Hierarchical ConvNets for Social Media Search
University of Maryland, College Park（马里兰大学帕克分校）；Facebook Conversational AI（Facebook 对话人工智能）；University of Waterloo（滑铁卢大学）；Stanford University（斯坦福大学）；Comcast Applied AI Research（康卡斯特应用人工智能研究）
尽管神经网络应用于信息检索有很大的兴趣，神经排名模型只被应用于标准的特设检索任务的网页和新闻专线文件。提出了MP-HCNN（Multi-Perspective Hierarchical卷积神经网络，Multi-Perspective Hierarchical Convolutional Neural Network），这是一种专门为短社交媒体帖子排名而设计的新型神经排名模型。我们确定的文档长度，非正式的语言，和异构的相关性信号的功能，区分在我们的领域中的文件，并提出了一个专门设计的模型，考虑到这些特点。我们的模型使用分层卷积层来学习字符，单词和短语级别的潜在语义软匹配相关信号。基于池化的相似性测量层集成来自查询、社交媒体帖子以及帖子中包含的URL之间的多种类型的匹配的证据。使用TREC微博跟踪2011- 2014年的Twitter数据进行的广泛实验表明，我们的模型显着优于先前的基于特征的以及现有的神经排名模型。据我们所知，本文提出了第一个实质性的工作，使用神经排名模型处理社交媒体帖子的搜索。
2019-06-22 cs.CL cs.IR
VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models
Capital One；University of Utah（犹他大学）；Snowflake Inc.（Snowflake公司）
本研究提出VerTox框架，将语料库污染转化为可验证奖励引导强化学习问题，微调LLM生成高流畅度低困惑度的对抗文档，可高效污染神经排序模型并损害下游RAG应用性能。
2026-09-02 cs.CL cs.IR
PageRank without hyperlinks: Structural re-ranking using links induced by language models
受网页搜索的PageRank和HITS（hubs and authorities）算法的启发，我们提出了一种结构化的重新排序方法，用于ad hoc信息检索：我们通过利用它们之间的非对称关系对初始检索集中的文档进行重新排序。具体来说，我们考虑生成链接，这表明从一个文档诱导的语言模型分配给另一个文本的概率很高，在这样做的时候，我们要注意防止对长文档的偏见。我们研究了一些重新排名的标准的基础上的措施，在生成链接形成的图形的中心性，并表明，集成中心性到标准的基于语言模型的检索是非常有效的，在提高精度的顶级。
2006-01-11 cs.CL cs.IR
Understanding the Behaviors of BERT in Ranking
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT，并在两个排名任务上对其进行微调：MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性，同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力，它如何偏好释义标记之间的语义匹配，以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
Beyond [CLS] through Ranking by Generation
Amazon（亚马逊）
生成模型的信息检索，其中排名的文件被视为从一个文件的语言模型生成一个查询的任务，是非常成功的各种IR任务在过去。然而，随着现代深度神经网络的出现，注意力已经转移到对文档和查询的语义相似性进行建模的判别排名函数。最近，GPT2和BART等深度生成模型已被证明是优秀的文本生成器，但它们作为排名器的有效性尚未得到证明。在这项工作中，我们重新审视了生成框架信息检索，并表明我们的生成方法是有效的最先进的基于语义相似性的判别模型的答案选择任务。此外，我们证明了IR的不可能损失的有效性。
2020-10-06 cs.CL cs.IR
Zero-Shot Ranking Socio-Political Texts with Transformer Language Models to Reduce Close Reading Time
Boğaziçi University（海峡大学）；KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群）
我们将分类问题视为一个蕴涵问题，并将zero-shot排序应用于社会政治文本。排在顶部的文档可以被认为是正分类的文档，并且这减少了信息抽取过程的仔细阅读时间。我们使用Transformer语言模型来获得蕴涵概率，并研究不同类型的查询。我们发现，DeBERTa实现更高的平均平均精度分数比RoBERTa和声明形式的类标签被用作查询时，它优于字典定义的类标签。我们表明，可以减少仔细阅读的时间，采取一定比例的排名文件的百分比取决于有多少回忆，他们想要实现。然而，我们的研究结果也表明，随着主题的扩大，应该阅读的文档的比例也会增加。
2022-10-17 cs.CL cs.IR
LRG at TREC 2020: Document Ranking with XLNet-Based Models
BITS Pilani, KK Birla Goa Campus（BITS Pilani KK Birla 果阿校区）；AISSMS IOIT, SPPU（AISSMS IOIT，SPPU）
在流行的娱乐媒体中建立一个良好的信息检索系统是公司和研究人员的一个快速增长的调查领域。我们深入研究播客的信息检索领域。在Spotify的播客挑战赛中，我们给出了一个用户的查询，并给出了一个描述，以便从包含所有播客的给定数据集中找到最相关的短片段。以前的技术，包括唯一的经典信息检索（IR）技术，表现不佳时，描述性查询。另一方面，完全依赖于大型神经网络的模型往往表现得更好。这种技术的缺点是需要大量的时间和计算能力来推断结果。我们实验了两个混合模型，首先过滤出最好的播客用户的查询与经典的IR技术的基础上，然后进行重新排名的入围文件的详细描述的基础上，使用基于transformer的模型。
2021-03-06 cs.CL cs.IR cs.LG
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck（因斯布鲁克大学）
本文提出ASRank，一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法，显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University（高丽大学）
最近，开放域问答（QA）已经与机器理解模型相结合，以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题，其性能在很大程度上取决于文档检索器的性能。然而，由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档，因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量，这也会降低QA系统的性能。在本文中，我们介绍了段落排名检索到的文件的段落，以更高的答案召回，噪音更少。我们发现，使用段落排名器对段落进行排名并聚合答案，平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
On the fractal nature of mutual relevance sequences in the Internet news message flows
Elvisti（埃尔维斯蒂（公司））；Kiev Polytechnical Institute（基辅理工学院）
在信息检索任务中，相关性是指检索系统给出的文档与用户的信息查询在形式上的一致性。一般来说，检索系统找到的文件应该按一定的顺序提交给用户。因此，检索被认为是一个选择的文件正式解决用户的查询，应该补充一定的程序处理相关的设置。很自然地引入了一个文档符合查询的定量度量，即相关性度量。由于不存在确定相关性度量的单一规则，我们将考虑其中两个我们认为最简单的规则。所提出的方法不设任何限制，可以适用于其他相关性措施。
2007-10-01 cs.CL
Entity Labels Are Not Entity Signals: A Framework for Observable Relevance in Document Re-Ranking
Department of Computer Science, Missouri University of Science and Technology（计算机科学系，密苏里科技大学）
提出实体可观测相关性（OER）与概念相关性（CER）的区分，证明CER监督效果差，而OER对齐可显著提升重排序性能。
2026-06-16 cs.AI cs.CL cs.IR
Traditional IR rivals neural models on the MS MARCO Document Ranking Leaderboard
这篇简短的文档描述了一个传统的IR系统，该系统在MS MARCO文档排序排行榜上实现了MRR@100等于0.298（2020年12月6日）。虽然不如大多数基于BERT的模型，但它优于几个神经运行（以及所有非神经运行），包括两个使用大型预训练Transformer模型进行重新排名的提交。我们提供软件和数据来重现我们的结果。
2021-03-17 cs.CL cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University（卡内基梅隆大学）
对于基于深度语言模型（如BERT）的神经重排序器来说，长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量，然后将其汇集到最终的相关性分数中。然而，这些编码和池方法不可避免地引入了一个信息瓶颈：低维表示。在本文中，我们建议，而不是充分的查询到文档的交互建模，利用注意力操作和模块化的Transformer重新排名框架。首先，使用编码器模块独立地对文档块进行编码。然后，交互模块对查询进行编码，并执行从查询到所有文档块表示的联合关注。我们证明，该模型可以使用这个新的自由度，从整个文档中聚合重要信息。实验结果表明，该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
Towards Reducing Manual Workload in Technology-Assisted Reviews: Estimating Ranking Performance
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
进行系统评价（SR）包括多项任务：（i）从数字图书馆（例如，PubMed），（ii）手动阅读和标记的文件相关或不相关的，（iii）从相关的研究中提取信息，和（iv）分析和综合的信息，并得出SR的结论。当研究人员标签的研究，他们可以筛选排名的文件，相关的文件高于不相关的。这种做法，被称为筛选优先级（即，文档排序方法），加快了执行SR的过程，因为标记为相关的文档可以更早地移动到下一个任务。然而，这种方法在减少人工工作量方面是有限的，因为要筛选的文件总数保持不变。为了减少筛选过程中的人工工作量，我们调查了SR的文档排序的质量。这可以指示研究者在排序中相关研究的位置，让他们决定在哪里停止筛选。经过广泛的分析SR文档排序从不同的排名模型，我们假设“主题广度”作为一个因素，影响SR的排名质量。最后，我们提出了一个措施，估计主题广度，并证明该措施是一个简单而有效的方法来预测SR的文档排序的质量。
2022-01-14 cs.CL cs.IR
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research（IBM研究院）
本文研究了PageRank系统中句子位置和词的语义角色的结合，建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明，语义角色信息，当与PageRank系统集成，可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University（乔治城大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然最近对神经排序架构给予了相当大的关注，但对用作这些模型输入的术语表示的关注要少得多。在这项工作中，我们研究了两个预训练的上下文语言模型（ELMo和BERT）可以用于ad-hoc文档排序。通过对TREC基准测试的实验，我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外，我们提出了一种联合方法，将BERT的分类向量纳入现有的神经模型，并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR（上下文嵌入文档排序）。我们还解决了使用这些模型进行排名的实际挑战，包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien（维也纳工业大学）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如，BERT -评估文档中的所有单独段落，然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是，这种高推理成本和延迟根据文档的长度而变化，更长的文档需要更多的时间和计算。为了应对这一挑战，我们采用了一种文档内级联策略，该策略在运行一个更昂贵和更有效的评分模型（称为ETM）之前，使用一个更便宜的模型（称为ESM）修剪候选文档的段落。我们发现最好通过从ETM（有效教师模型的简称）中提取知识蒸馏来训练ESM（有效学生模型的简称），例如，BERT。这种修剪允许我们只在较小的段落集上运行ETM模型，这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明，所提出的文档内级联排名模型（IDCM）通过提供与最先进的基于BERT的文档排序模型基本相同的有效性，导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，预训练的语言模型，如BERT已被应用于信息检索的文档排序，其首先在未标记的大型语料库上预训练通用语言模型，然后在专家标记的相关性数据集上进行特定于排名的微调。理想情况下，IR系统将从用户-系统二元论（用户的观点和系统的观点）来建模相关性。用户视图基于“真实用户”的活动来判断相关性，而系统视图关注来自系统侧的相关性信号，例如，受用户-系统相关性观点和预训练语言模型成功的启发，本文提出了一种新的排名框架Pre-Rank，该框架在预训练和微调范式下同时考虑了用户和系统的观点。具体来说，为了对用户的相关性视图进行建模，Pre-Rank基于大规模用户活动数据（如点击日志）对初始查询文档表示进行预训练。为了对系统的相关性视图进行建模，Pre-Rank进一步根据专家标记的相关性数据对模型进行微调。更重要的是，预先训练的表示与手工制作的学习排名功能一起在广泛而深入的网络架构下进行了微调。通过这种方式，Pre-Rank可以通过结合来自真实搜索用户和IR专家的相关知识和信号来对相关性进行建模。为了验证Pre-Rank的有效性，我们分别使用BERT和SetRank作为底层排名模型，展示了两种实现。基于三个公开的基准测试的实验结果表明，在这两种实现中，Pre-Rank可以分别优于底层的排名模型，并达到了最先进的性能。
2021-08-12 cs.CL cs.IR
TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy
Institute for Clarity in Documentation（文献清晰研究所）；The Thørväld Group（索尔沃尔德集团）；Inria（法国国家信息与自动化研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；The Kumquat Consortium（金桔联盟）
TourRank借鉴体育锦标赛思想，通过多阶段分组策略和积分系统集成排序结果，在有限成本下实现鲁棒的文档排序。
2025-02-06 cs.CL cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，预先训练的语言Transformer模型（如BERT）由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法，利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中，并将生产性能提高了3%以上。为了进一步的研究和评估，我们发布了DaReCzech，这是一个独特的数据集，包含160万个捷克用户查询-文档对，具有手动分配的相关性级别。我们还发布了Small-E-Czech，这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO（联邦科学与工业研究组织）；The University of Queensland（昆士兰大学）
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力，发现额外指令微调可能降低效果，并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research（谷歌研究院）
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此，模型通常利用仅编码器（如BERT）范例或编码器-解码器（如T5）方法。然而，这些范例并非没有缺陷，即，在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型，以文档的形式用于查询生成。随后，我们表明，这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速，因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明，这种新的范式实现的结果是比较昂贵的交叉注意力排名方法，同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm（乌尔姆大学）
本文提出CRAWLDoc方法，通过统一嵌入出版物URL关联的网页资源、锚文本和链接，实现跨出版商和格式的稳健文档排序，并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
Longformer for MS MARCO Document Re-ranking Task
两步文档排序是新的标准，其中初始检索由经典的信息检索方法完成，然后是神经重新排序模型。通过使用基于变压器的模型作为重排序器来实现最佳性能，例如，BERT。我们采用Longformer，一个BERT的长文档模型，在MS MARCO文件重新排序任务。用于训练模型的完整代码可以在https://github.com/isekulic/longformer-marco上找到
2020-09-20 cs.IR
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Query Segmentation for Relevance Ranking in Web Search
在本文中，我们试图回答的问题，如何提高国家的最先进的方法在Web搜索的相关性排序的查询分割。这里，通过查询分割，其意味着将输入查询分割成段，通常是自然语言短语，使得搜索中的相关性排名的性能增加。我们建议采用重新排序的方法在查询分割，首先采用一个生成模型来创建前$k$候选人，然后采用一个判别模型来重新排序的候选人，以获得最终的分割结果。该方法已被广泛用于自然语言处理中的结构预测，但据我们所知，尚未应用于查询分割。此外，我们提出了一种新的方法，使用的查询分割的结果在相关性排名，它把原始查询词和分割的查询短语作为查询表示的单位。我们调查我们的方法是否可以改善三个相关性模型，即BM 25，关键n-gram模型，和依赖模型。我们在三个大规模网络搜索数据集上的实验结果表明，我们的方法确实可以显着提高相关性排名在所有三种情况下。
2013-12-01 cs.IR
Ranking Robustness Under Adversarial Document Manipulations
对于Web检索环境中的许多查询，存在一种持续的排名竞争：作者操纵他们的文档以提升它们的排名。这种竞争不仅在检索有效性方面，而且在排名鲁棒性方面都可能产生不必要的影响。一个恰当的例子是，由于文档的微小的不可识别的扰动，排名可以（迅速）改变。虽然最近人们对分析分类器对对抗性操作的鲁棒性越来越感兴趣，但还没有研究相关排名函数的鲁棒性。我们正式分析不同的定义和方面的鲁棒性的学习排名为基础的排名功能，以解决这一挑战。例如，我们正式表明，增加正则化的线性排名功能增加排名的鲁棒性。这一发现使我们推测，任何排名功能的方差减少，结果增加了鲁棒性。我们提出了几种衡量排名鲁棒性的方法，并利用它们来分析文档作者之间的排名竞争。实证研究结果支持我们的正式分析和猜想RankSVM和LambdaMART。
2018-06-13 cs.IR
Consolidating Ranking and Relevance Predictions of Large Language Models through Post-Processing
针对大语言模型排序能力与相关性标签生成能力不匹配的问题，提出一种结合成对偏好与原始标签的后处理方法，有效平衡了标签准确率与排序性能。
2024-04-17 cs.IR
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore（迈索尔大学）
本文提出了一种简单的基于词类相关性的文本分类方法。最初，处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语，我们通过Guru和Suhil（2015）[1]提出的称为术语类相关性（TCR）的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式，对于每个术语，计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中，测试文档中存在的术语被提取，并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找，采用了B树索引数据结构。最后，在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比，在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明，所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
QDER: Query-Specific Document and Entity Representations for Multi-Vector Document Re-Ranking
Missouri University of Science and Technology（密苏里科技大学）；Department of Computer Science（计算机科学系）；The University of Edinburgh（爱丁堡大学）
提出QDER神经重排序模型，通过在多向量模型中整合知识图谱语义并采用“延迟聚合”保持独立token与实体表示，在五个基准上显著提升检索性能，尤其在困难查询上表现优异。
2025-10-13 cs.CL cs.IR
OrdRankBen: A Novel Ranking Benchmark for Ordinal Relevance in NLP
The Fin AI；Gustavus Adolphus College（古斯塔夫斯·阿道夫斯学院）
针对现有NLP排序基准忽略序数相关性的问题，提出新型基准OrdRankBen及两个数据集，通过引入结构化序数标签实现更精确的多粒度排序评估。
2025-03-02 cs.AI cs.IR
The Opposite of Smoothing: A Language Model Approach to Ranking Query-Specific Document Clusters
利用信息引起的（查询特定）聚类的顶部检索的文件一直被提出作为一种手段，以提高精度的最高排名的返回结果。我们提出了一种新的语言模型的方法来排名查询特定的集群的假设百分比的相关文件，他们包含。虽然大多数以前的集群排名方法集中在集群作为一个整体，我们的模型还利用信息诱导与集群相关的文件。我们的模型大大优于以前的方法，用于识别包含高相关文档百分比的聚类。此外，使用该模型来产生文档排序，产生的精度在顶级的性能，始终优于初始的排名上进行聚类。性能也有利地比较与一个国家的最先进的伪反馈为基础的检索方法。
2014-01-16 cs.IR
DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval
针对信息检索中的相关性排序问题，提出了一种基于深度学习的相关性排序方法.诸如DSSM和CDSSM的现有深度IR模型直接应用神经网络来生成排名分数，而没有对相关性的明确理解。根据人类判断过程，通过以下三个步骤生成相关性标签：1）检测相关位置，2）确定局部相关性，3）聚合局部相关性以输出相关性标签。在本文中，我们提出了一种新的深度学习架构，即DeepRank，来模拟上述人类判断过程。首先，设计一种检测策略来提取相关上下文。然后，通过利用卷积神经网络（CNN）或二维门控递归单元（2D-GRU）应用测量网络来确定局部相关性。最后，使用具有顺序整合和术语门控机制的聚合网络来产生全局相关性得分。DeepRank很好地捕捉了重要的IR特征，包括精确/语义匹配信号，接近度，查询词重要性和不同的相关性要求。在LETOR基准数据集和大规模点击数据上的实验表明，DeepRank可以显著优于学习排名方法和现有的深度学习方法。
2019-07-22 cs.IR
CREDENCE: Counterfactual Explanations for Document Ranking
本研究提出交互式工具CREDENCE，针对信息检索中的文档排序问题，从文档、查询及其他文档维度生成反事实解释，还支持用户自定义扰动以获取相关洞见，提升了排序器的可解释性。
2023-02-10 cs.IR
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性，这样的推理，以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献，在基于码本的压缩。这允许有效的在线解压缩和嵌入组合，以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Efficient Document Re-Ranking for Transformers by Precomputing Term Representations
深度预训练的Transformer网络在各种排名任务中是有效的，例如问答和ad-hoc文档排序。然而，它们的计算费用认为它们在实践中成本过高。我们提出的方法，称为PreTTR（Precomputing Transformer Term Representations），大大降低了深度Transformer网络的查询时间延迟（在Web文档排序上加速高达42倍），使这些网络更实用，可用于实时排名场景。具体来说，我们在索引时预先计算部分文档术语表示（没有查询），并在查询时将它们与查询表示合并以计算最终的排名分数。由于令牌表示的大小很大，我们还提出了一种有效的方法，通过训练压缩层来匹配注意力分数来减少存储需求。我们的压缩技术将所需的存储空间减少了95%，并且可以在不大幅降低排名性能的情况下应用。
2020-05-26 cs.IR
Computationally Efficient Optimization of Plackett-Luce Ranking Models for Relevance and Fairness
最近的工作提出了随机Plackett-Luce（PL）排名模型作为优化相关性和公平性指标的一个强大的选择。与需要启发式优化算法的确定性模型不同，PL模型是完全可微的。理论上，它们可以通过随机梯度下降来优化排名度量。然而，在实践中，梯度的计算是不可行的，因为它需要对所有可能的项目排列进行遍历。因此，实际应用依赖于通过采样技术来近似梯度。在本文中，我们介绍了一种新的算法：PL排名，估计梯度的PL排名模型w.r.t.相关性和公平性指标。与基于策略梯度的现有方法不同，PL-排名利用PL模型和排名指标的特定结构。我们的实验分析表明，PL排名有一个更大的采样效率，是计算成本低于现有的策略梯度，从而在更高的性能更快的收敛。PL-Rank进一步使行业能够将PL模型应用于更相关和更公平的现实世界排名系统。
2021-07-07 cs.IR
Socialformer: Social Network Inspired Long Document Modeling for Document Ranking
利用预先训练的语言模型在神经文档排序方面取得了巨大成功。受计算和内存需求的限制，长文档建模成为一个关键问题。最近的工作提出修改Transformer中的全注意矩阵，通过设计稀疏的注意模式。然而，它们中的大多数仅关注固定大小窗口内的术语的局部连接。如何在术语之间建立合适的远程连接以更好地建模文档表示仍然有待探索。在本文中，我们提出了模型Socialformer，它引入了社交网络的特点，设计稀疏注意模式的长文档建模中的文档排序。具体来说，我们考虑了几种注意力模式来构建一个像社交网络的图。这种图具有社交网络的特点，在保证稀疏性的前提下，大多数节点对可以通过较短的路径到达。为了便于高效计算，我们将图分割成多个子图来模拟社交场景中的朋友圈。实验结果证实了该模型在长文档建模中的有效性。
2022-02-22 cs.IR
Fusion-in-T5: Unifying Document Ranking Signals for Improved Information Retrieval
本文提出统一重排模型 FiT5，将文本匹配、排序特征和全局文档信息融合进单一 T5 模型，在 MS MARCO 和 TREC DL 上超越复杂级联流水线，并开源代码。
2024-05-05 cs.IR
Repeatability Corner Cases in Document Ranking: The Impact of Score Ties
文档排序实验应该是可重复的。然而，在检索过程中，多线程索引和分数关系之间的交互可能会产生不确定的排名，使得可重复性不像人们想象的那样微不足道。在开源Lucene搜索引擎的上下文中，分数关系被内部文档ID打破，这些ID在索引时分配。由于多线程索引使得对大型现代文档集合的实验变得实用，内部文档id在同一集合的不同索引实例之间没有一致地分配，因此分数关系不可预测地被打破。这篇简短的论文探讨了这种分数关系的有效性影响，量化了可归因于这种现象的可变性。解决这种不确定性并确保可重复的文档排序的一个显而易见的解决方案是使用外部集合文档id打破分数限制。但是，这种方法会带来可衡量的效率成本，因为在查询评估期间必须咨询外部标识符。
2019-09-02 cs.IR
Towards More Relevant Product Search Ranking Via Large Language Models: An Empirical Study
本文针对电商搜索排序缺乏黄金标准的问题，提出利用LLMs生成标签和特征以提升基于内容相关性的预测能力，并通过sigmoid变换极化相关性分数，结合在线与离线实验验证了该方法能更有效平衡内容与交互相关性。
2024-09-26 cs.IR
Finding Salient Context based on Semantic Matching for Relevance Ranking
本文提出了一种基于显著性上下文的语义匹配方法来改进信息检索中的相关性排序。我们首先提出了一个新的显著性上下文的概念，然后定义了如何测量它，然后我们展示了如何使用滑动窗口技术来定位最显著的上下文。最后，我们使用查询词和文档语料库中最显著的上下文词之间的语义相似度来对这些文档进行排名。TREC的各种集合上的实验表明，我们的模型相比，国家的最先进的方法的有效性。
2019-09-03 cs.IR
Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023
本文报告了格拉斯哥大学Terrier团队在TREC DL 2023中的参赛工作，通过将大型语言模型的生成式相关反馈与基于monoELECTRA的自适应重排序相结合，在BM25和SPLADE上提升了检索性能。
2024-05-02 cs.IR
Augmented Relevance Datasets with Fine-Tuned Small LLMs
Qwant（宽特科技）；Georgia Tech（佐治亚理工学院）；UTC Paris（巴黎 UTC）
针对构建高质量相关性数据集的资源密集问题，本文提出用微调小型大型语言模型（LLMs）自动化相关性评估以增强训练数据集，实验显示其优于部分闭源模型且大幅提升排序模型性能，为搜索引擎优化提供实用方案。
2025-04-14 cs.CL cs.IR
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
虽然密集检索已被证明是有效和高效的跨任务和语言，它仍然难以创建有效的完全zero-shot稠密检索系统时，没有相关性标签。在本文中，我们认识到零样本学习和编码相关性的困难。相反，我们建议通过假设的文档嵌入（HyDE）。给定一个查询，HyDE第一个zero-shot命令一个遵循查询的语言模型（例如，InstructGPT）生成一个假设文档。该文档捕获相关性模式，但不真实，可能包含错误的细节。然后，一个无监督的对比学习编码器（例如Contriever）将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域，其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来，编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明，HyDE显著优于最先进的无监督密集检索器Contriever，并显示出与微调检索器相当的强大性能，跨越各种任务（例如Web搜索，QA，事实验证）和语言（例如SW，KO，JA）。
2022-12-20 cs.CL cs.IR
Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors
CONICET-Universidad de Buenos Aires（国家科学技术研究委员会-布宜诺斯艾利斯大学）；Quantit（Quantit公司）；Brno University of Technology（布尔诺理工大学）
通过分析监督双编码器检索器在文档嵌入中编码的查询无关信号，发现模型从标注数据中学习到文档级相关性先验，导致低先验文档即使相关也更难被检索，揭示了监督检索的结构性局限。
2026-11-03 cs.AI cs.CL cs.IR
Marginal-Certainty-aware Fair Ranking Algorithm
排名系统在现代互联网服务中无处不在，包括在线市场、社交媒体和搜索引擎。传统的排名系统只关注如何获得更好的相关性估计。当相关性估计可用时，它们通常采用以用户为中心的优化策略，其中通过根据项目的估计相关性对项目进行排序来生成排名列表。然而，这种以用户为中心的优化忽略了一个事实，即项目提供商也从排名系统中获取效用。现有研究表明，这种以用户为中心的优化会对物品提供者造成很大的不公平，其次是对物品提供者的不公平机会和不公平的经济收益。为了解决排名公平性，已经提出了许多公平排名方法。然而，正如我们在本文中所示，这些方法可能是次优的，因为它们直接依赖于相关性估计而不知道不确定性（即，估计的相关性的方差）。为了解决这种不确定性，我们提出了一种新的边缘感知公平算法MCFair。MCFair联合优化公平性和用户效用，而相关性估计以在线方式不断更新。在MCFair中，我们首先开发了一个排名目标，包括不确定性，公平性和用户效用。然后我们直接使用排序目标的梯度作为排序得分。我们从理论上证明了基于梯度的MCFair对于上述排名目标是最优的。从经验上讲，我们发现，在半合成数据集上，MCFair是有效和实用的，与最先进的公平排名方法相比，可以提供更优越的性能。为了便于重现，我们发布了我们的代码https://github.com/Taosheng-ty/WSDM22-MCFair。
2022-12-18 cs.IR
Integrating Lexical and Temporal Signals in Neural Ranking Models for Searching Social Media Streams
University of Maryland（马里兰大学）；University of Waterloo（滑铁卢大学）；Comcast Applied AI Research Labs（康卡斯特应用人工智能研究实验室）
在搜索社交媒体帖子流时，时间是一个重要的相关性信号。可以利用来自初始查询的结果的文档时间戳的分布来推断相关文档的分布，然后可以使用相关文档的分布来对初始结果进行重新排序。以前的实验表明，核密度估计是这个想法的一个简单而有效的实现。本文探讨了另一种方法来挖掘时间信号与循环神经网络。我们的直觉是，神经网络提供了一个更具表现力的框架来捕捉相邻文档在时间上的时间一致性。据我们所知，我们是第一个将词汇和时间信号集成到端到端神经网络架构中的公司，在该架构中，现有的神经排名模型用于生成查询-文档相似性向量，这些向量被馈送到双向LSTM层进行时间建模。我们的结果好坏参半：单独用于文档排序的现有神经模型相对于简单基线产生有限的改进，但是词汇和时间信号的集成相对于竞争性时间基线产生显著的改进。
2017-07-25 cs.CL cs.IR
TU Wien @ TREC Deep Learning '19 -- Simple Contextualization for Re-ranking
TU Wien（维也纳工业大学）
神经网络模型的使用使多个目标相互冲突：理想情况下，我们希望创建一个有效、高效和可解释的神经模型。然而，在大多数情况下，我们必须选择哪一个属性对我们最重要。我们利用TREC 2019深度学习赛道的机会来评估平衡神经重新排名方法的有效性。我们提交了TK（Transformer-Kernel）模型的结果：一个使用高效上下文化机制的ad-hoc搜索神经重排序模型。TK使用非常少的轻量级Transformer层来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分，我们使用了文档长度增强的内核池，这使用户能够深入了解模型。我们的通道排名任务的最佳结果是：0.420 MAP，0.671 nDCG，0.598 P@10（TUW 19-p3完整）。文档排序任务的最佳结果为：0.271 MAP，0.465 nDCG，0.730 P@10（TUW 19-d3重新排序）。
2019-12-03 cs.CL cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测（QEP）任务及 GEP 方法，利用文档组词汇信息预测查询下各组在排序中的曝光分布，实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca（米兰比可卡大学）；Leiden University（莱顿大学）
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述（如可信度）来增强候选文档的方法，实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
GRM: Generative Relevance Modeling Using Relevance-Aware Sample Estimation for Document Retrieval
针对大语言模型生成式查询扩展易产生无关信息损害检索效果的问题，提出采用相关性感知样本估计的生成式相关性建模GRM，通过匹配真实文档与神经重排估计相关性以优化扩展词权重，在三个基准上显著提升检索性能。
2023-06-16 cs.IR
Composite Re-Ranking for Efficient Document Search with BERT
虽然相当大的努力已经投入到基于变压器的排名模型的文档搜索，相关性效率的权衡仍然是一个关键问题的特设排名。为了克服这一挑战，本文提出了BECR（基于BERT的复合重新排序），一个复合重新排序方案，结合了深度上下文令牌交互和传统的词汇术语匹配功能。特别地，BECR利用令牌编码机制将查询表示分解为可预计算的uni-gram和skip-n-gram。通过在双编码器架构之上应用令牌编码，BECR在捕获查询的上下文语义的同时分离了查询和文档之间的注意力。与以前的方法相比，该框架在在线推理期间不执行昂贵的BERT计算。因此，它是显着更快，但仍然能够实现高竞争力的ad-hoc排名的相关性。最后，使用TREC数据集描述了BECR和其他最先进的神经排名基线之间的深入比较，从而进一步证明了BECR的增强的相关性和效率。
2022-01-06 cs.IR
