Relevance Assessments for Web Search Evaluation: Should We Randomise or Prioritise the Pooled Documents? (CORRECTED VERSION)
在深度- $k$池构建网络搜索测试集合的背景下，我们比较了两种方法来排序相关性评估器池文件：优先级策略（PRI）广泛使用的NTCIR，和简单的随机化策略（RND）。为了解决有关PRI和RND的研究问题，我们构建并发布了WWW 3E 8数据集，其中包含32，375个主题文档对的8个独立相关性标签，即，共计259，000个标签。八个相关性标签中的四个是从基于PR 1的池中获得的;另外四个是从基于RND的池中获得的。使用WWW 3E 8，我们比较了PRI和RND在评估员间协议，系统排名协议和对新系统的鲁棒性方面，这些新系统对池没有贡献。我们还利用评估活动日志，我们获得了作为WWW 3E 8的副产品，比较两种策略的评估效率。
2022-11-02 cs.IR
Revisiting Iterative Relevance Feedback for Document and Passage Retrieval
随着越来越多的搜索流量来自手机、智能助理和智能家居设备，新的挑战（例如，有限的呈现空间），并且在信息检索中出现了机会。以前，一种有效的技术，相关反馈（RF），很少被用于实际的搜索场景，由于收集用户的相关性判断的开销。然而，由于用户倾向于与新界面上显示的搜索结果进行更多的交互，因此在每次交互期间获得用户对一些结果的评估是可行的。这使得迭代相关反馈（IRF）技术看起来很有前途。在新的搜索设想中，没有对综合资源框架进行系统研究，其有效性大多未知。在本文中，我们重新访问IRF和扩展它与RF模型近年来提出的。我们进行了大量的实验，分析和比较IRF与标准的top-k RF框架的文件和段落检索。实验结果表明，IRF至少与标准的top-k RF框架一样有效，并且对于段落更有效。这表明IRF在通道检索方面具有巨大的潜力。
2019-06-09 cs.IR
Investigating Bell Inequalities for Multidimensional Relevance Judgments in Information Retrieval
信息检索中的相关性判断受到多种因素的影响。这些不仅包括时事性的文件，但也有其他面向用户的因素，如信任，用户的兴趣等，最近的作品已确定这些各种因素的相关性分为七个方面。在以前的工作中，这些相关性维度被量化，用户的认知状态相对于一个文件表示为一个状态向量在希尔伯特空间中，每个相关性维度代表一个基础。有人指出，在作出判断时，某些文件的相关性方面是不一致的。不相容性是量子理论的一个基本特征，这促使我们使用Bell型不等式来测试相关性判断的量子性质。然而，没有贝尔型不等式测试显示任何违反。我们讨论了我们的方法来构建不兼容的基础文件从现实世界的查询日志数据，实验来测试贝尔不等式在这个数据集和可能的原因缺乏违规。
2019-03-13 cs.IR
Discovering Biases in Information Retrieval Models Using Relevance Thesaurus as Global Explanation
本文提出通过构建相关性词库全局解释神经检索模型，并用于增强BM25以近似神经模型预测，实验揭示了排序模型中的品牌名称偏差。
2024-10-04 cs.IR
Analyzing Adversarial Attacks on Sequence-to-Sequence Relevance Models
该研究针对序列到序列相关性模型面临的提示注入对抗攻击风险，分析了人工模板和LLM改写的查询无关提示注入对多类模型的影响，实验证实此类攻击可操纵seq2seq模型，对仅编码器模型也有轻度影响，而BM25不受影响。
2024-03-12 cs.IR
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性，这样的推理，以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献，在基于码本的压缩。这允许有效的在线解压缩和嵌入组合，以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Counterfactual Query Rewriting to Use Historical Relevance Feedback
本文提出利用历史相关性反馈反事实地重写查询，通过词项扩展或生成关键查询，在 CLEF LongEval 中提升检索效果并优于昂贵的 transformer 方法。
2025-02-06 cs.IR
Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)
如果信息检索（IR）系统不仅检索存储在索引中的相关信息，而且还可以“理解”它并将其合成为单个文档，那会怎么样？我们提出了一个初步的研究，使回答这个问题的第一步。给定一个查询，我们根据该查询的现有相关信息训练一个递归神经网络（RNN）。然后，我们使用RNN来“深度学习”一个单一的、合成的、我们假设的、与该查询相关的文档。我们设计了一个众包实验来评估“深度学习”文档与现有相关文档的相关性。用户会看到一个查询和四个词云（三个现有的相关文档和我们深入学习的合成文档）。综合文件的平均排名是所有文件中最相关的。
2016-06-27 cs.IR
Do Perceived Gender Biases in Retrieval Results Affect Relevance Judgements?
这项工作的影响，性别陈规定型偏见的内容检索结果的相关性判断的用户/注释。特别是，由于在信息检索（IR）的相关性是一个多维的概念，我们研究的价值和质量的检索文件的一些偏见敏感的查询是否可以判断不同的文件的内容时，代表不同的性别。为此，我们进行了一系列已知参与者性别的实验以及未指定参与者性别的实验。一组实验包括检索任务，参与者执行不同的搜索查询和搜索结果文档汇编的评级相关性判断。显示的文档包含不同的性别指示，并且与查询相关或不相关。结果显示了不同性别内容的文档之间的平均判断相关性得分之间的差异。我们的工作启动进一步的研究，在用户的性别刻板印象的看法与他们的判断和影响IR系统的连接，并旨在提高认识，在这一领域可能存在的偏见。
2022-03-03 cs.IR
EviProp: Seeded Relevance Diffusion on Chunk-Page Graphs for Long Multimodal Document Retrieval
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；University of Shanghai for Science and Technology（上海理工大学）
提出EviProp方法，通过构建多模态块-页图并利用个性化PageRank扩散相关性，解决长文档中证据页检索的独立匹配局限，提升检索准确率。
2026-06-08 cs.IR
The Anatomy of Relevance: Topical, Snippet and Perceived Relevance in Search Result Evaluation
当前，搜索引擎的质量通常使用所谓的主题相关性来确定，即，用户意图（表示为查询）与文档内容之间的匹配。在这项工作中，我们要提请注意两个方面的检索系统的性能影响的结果：结果的吸引力（“感知相关性”）和直接有用的片段（“片段相关性”）。感知的相关性可能会影响良好的主题文档的可扩展性，如果好看的片段导致不相关的文档，则看似更好的排名实际上可能对用户不太有用，反之亦然。具有高片段相关性的搜索引擎结果页面（SERP）上的结果项可以增加用户获得的总效用，甚至不需要点击那些项。我们首先需要收集相关性的不同方面（主题，感知和片段相关性），以及这些方面如何改善评估措施。然后，我们讨论了可能的方法来收集这些相关性方面使用众包和由此产生的挑战。
2015-01-26 cs.IR
Modeling Diverse Relevance Patterns in Ad-hoc Retrieval
在ad-hoc检索中评估查询和文档之间的相关性是具有挑战性的，这是由于其不同的模式，即，一个文档可以作为一个整体或部分地与查询相关，只要它为用户的需要提供足够的信息。这种不同的相关性模式需要一个理想的检索模型，能够评估在正确的粒度自适应的相关性。遗憾的是，大多数现有的检索模型计算的相关性在一个单一的粒度，无论是文档范围内或企业级，或使用固定的组合策略，限制了他们的能力，在捕捉不同的相关模式。在这项工作中，我们提出了一个数据驱动的方法，让相关性信号在不同的粒度相互竞争，最终的相关性评估。具体来说，我们提出了一个层次神经匹配模型（HiNT），它由两个堆叠组件，即局部匹配层和全局决策层。局部匹配层的重点是通过对查询和文档的每个段落之间的语义匹配进行建模来产生一组局部相关性信号。全局决策层将局部信号累积成不同的粒度，并允许它们相互竞争以决定最终的相关性得分。实验结果表明，我们的HiNT模型优于现有的国家的最先进的检索模型显着的基准ad-hoc检索数据集。
2018-05-15 cs.IR
A Blueprint of IR Evaluation Integrating Task and User Characteristics: Test Collection and Evaluation Metrics
针对传统信息检索评估指标存在的单维度假设、忽略文档重叠、未考虑文档可用性属性等问题，提出需构建统一框架下的正式模型来解决多维度分级相关性、文档重叠与可用性属性结合的IR评估问题。
2023-05-01 cs.IR
A Study of Factuality, Objectivity and Relevance: Three Desiderata in Large-Scale Information Retrieval?
信息检索（IR）系统处理的许多信息是不可靠的，有偏见的，通常是不可信的[1]，[2]，[3]。然而，事实性和客观性检测并不是IR系统的标准组件，尽管在过去十年中自然语言处理（NLP）中已经成为可能。受此启发，我们询问事实性和客观性检测是否以及如何使IR受益。我们分两部分回答这个问题。首先，我们使用最先进的自然语言处理技术计算两个TREC集合中文档真实性和客观性的概率，并分析其与文档相关性的关系。我们发现，真实性是强烈的，正相关的文件相关性，但客观性不是。其次，我们研究的影响，真实性和客观性的检索效率，将它们作为查询独立的功能，我们结合了竞争力的语言建模基线。对450个TREC查询的实验表明，在强基线上，真实性提高了精度>10%，特别是对于网络搜索中使用的未经策划的数据;客观性给出了混合的结果。一个总体的明显趋势是，当搜索未经策划的（例如网络）文档时，文档的真实性和客观性对IR更有利。据我们所知，这是第一个研究的真实性和客观性的后端IR，贡献新的发现之间的关系相关性和真实性/客观性，并在统计上显着收益的检索效率在竞争激烈的网络搜索任务。
2016-10-08 cs.IR
Generative Retrieval Meets Multi-Graded Relevance
提出 GR$^2$ 框架，通过联合优化标识符的相关性与区别性并采用多级受限对比训练，将生成式检索扩展至多级相关性场景，有效提升了检索性能。
2024-09-27 cs.IR
A Graph-based Relevance Matching Model for Ad-hoc Retrieval
为了在给定查询的情况下检索到更相关、更合适和更有用的文档，通过文本找到关于该查询的线索至关重要。最近的深度学习模型将该任务视为术语级匹配问题，其在文档中寻找精确或相似的查询模式。然而，我们认为，它们本质上是基于当地的互动，并没有推广到无处不在的，非连续的上下文关系。在这项工作中，我们提出了一种新的相关性匹配模型的基础上图神经网络，利用文档级的词的关系进行ad-hoc检索。除了本地的相互作用，我们明确地将一个术语的所有上下文通过文字的图形文本格式。可以相应地揭示匹配模式以提供更准确的相关性分数。我们的方法在两个特设基准上的表现明显优于强基线。我们还通过实验将我们的模型与BERT进行了比较，并展示了我们在长文档上的优势。
2021-01-29 cs.IR
Learning Multiresolution Relevance for Hierarchical Generative Retrieval
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Meituan（美团）
提出RARS方法，通过将文档级相关性分解为层级条件分布来监督查询编码器，在自回归生成式检索中提升多语言ESCI数据集上的检索性能，且推理时无需额外开销。
2026-10-01 cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式，大量的信息在从实际查询大小转换所需信息的过程中丢失，因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示，这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法，预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
Imagine All The Relevance: Scenario-Profiled Indexing with Knowledge Expansion for Dense Retrieval
提出稠密检索框架SPIKE，通过将文档分解为场景检索单元并利用LLM知识蒸馏，显式索引隐式相关性，从而提升推理密集型任务的检索性能与RAG体验。
2025-07-17 cs.IR
RSRank: Learning Relevance from Representational Shifts
Adobe Research（Adobe研究院）
针对RAG系统中重排序依赖启发式阈值和语言模型logit信号的问题，提出基于表示偏移（RS）的相关性信号，通过轻量级训练框架学习映射，在零阈值下过滤无关内容，超越现有重排序器。
2026-06-17 cs.IR
Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets
本文提出在线相关性估计范式，通过在线老虎机算法在排序过程中持续更新查询相关性估计，动态重排候选文档，从而缓解传统望远镜式检索的召回率限制，并在TREC基准上验证其样本高效性和召回率提升效果。
2025-05-07 cs.IR
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
Graph-based Hierarchical Relevance Matching Signals for Ad-hoc Retrieval
特别检索任务是在给定查询和文档集合的情况下对相关文档进行排名。一系列基于深度学习的方法被提出来解决这一问题，并得到了广泛的关注。然而，我们认为，它们本质上是基于本地的单词序列，忽略了微妙的长距离文档级的单词关系。为了解决这个问题，我们显式地通过图结构来建模文档级单词关系，通过图神经网络捕获细微的信息。此外，由于文档集合的复杂性和规模，在更一般的水平上探索不同粒度的分层匹配信号是相当重要的。因此，我们提出了一个基于图的层次相关匹配模型（GHRM）的ad-hoc检索，我们可以捕捉微妙的和一般的层次匹配信号同时。我们通过两个典型的ad-hoc检索基准测试验证了GHRM的效果，综合实验和结果证明了其优于现有方法的优势。
2021-02-22 cs.IR
Generalized Pseudo-Relevance Feedback
针对传统伪相关反馈依赖两大假设、现有生成式方法存在幻觉或仍依赖相关性假设的问题，提出结合强化学习效用导向训练的广义伪相关反馈框架，实现无模型、低相关性假设依赖的鲁棒查询重写，在多基准上性能优于强基线。
2025-10-29 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business（雅典经济与商业大学）；Google AI（谷歌人工智能）
我们探索了几种新的文档相关性排名模型，建立在Guo et al.（2016）的深度相关性匹配模型（DRMM）基础上。与DRMM不同，DRMM使用术语的上下文不敏感编码和查询-文档术语交互，我们在整个模型中注入了丰富的上下文敏感编码，灵感来自PACRR（Hui等人，卷积n-gram匹配功能，但以多种方式扩展，包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型（Tsatsaronis等人，2015年）和TREC ROBUST 2004年（Voorhees，2005年），显示它们优于基于BM 25的基线，DRMM和PACRR。
2018-09-11 cs.CL cs.IR
Topic-Specific Classifiers are Better Relevance Judges than Prompted LLMs
University of Kassel（卡塞尔大学）；HLTCOE, Johns Hopkins University（约翰斯·霍普金斯大学高级国际研究学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Tübingen（蒂宾根大学）
本文提出通过微调monoT5训练针对特定主题的相关性分类器，以提高未被评判文档问题的处理效果，相比使用LLM作为评判者的方法更可靠且更简单。
2026-01-23 cs.IR
Assessing Efficiency-Effectiveness Tradeoffs in Multi-Stage Retrieval Systems Without Using Relevance Judgments
大规模的检索系统通常是作为一个级联序列的阶段实现的-第一个过滤步骤，其中一个大的候选文件集是使用一个简单的技术，如布尔匹配和/或静态文档评分提取;然后一个或多个排名步骤，其中过滤器检索的文档池更精确地使用几十个或几百个不同的功能。然后，返回给用户的文档从最终排名列表的头部开始。在这里，我们将研究用于测量过滤和初步排名阶段的质量的方法，并展示如何使用这些测量来调整系统的整体性能。用于整体系统评估的标准的最高加权度量不适合评估过滤阶段，因为输出是一组文档，而不是有序的文档序列。相反，我们使用一种方法，在这种方法中，质量分数是根据过滤和完整评估之间的差异计算的。与以前的方法不同，我们的方法不需要相关性判断，因此几乎可以用于任何查询集。我们表明，这种质量分数直接相关的实际差异时，测量的有效性的相关性判断。由于质量分数不需要相关性判断，因此它可以用于识别对于给定过滤器表现特别差的查询。使用这些方法，我们探索了广泛的过滤选项，使用数以千计的查询，分类不同方法的相对优点，并确定有用的参数组合。
2015-06-02 cs.IR
Cheap IR Evaluation: Fewer Topics, No Relevance Judgements, and Crowdsourced Assessments
为了评估信息检索（IR）的有效性，一种可能的方法是使用测试集合，它由一组文档，一组信息需求描述（称为主题），以及一组与每个主题相关的文档组成。测试集合在竞争场景中建模：例如，在众所周知的TREC倡议中，参与者在一组主题上运行他们自己的检索系统，并且他们提供检索文档的排名列表;一些检索文档（通常是排名第一的）构成所谓的池，其相关性由人类评估员评估;文档列表然后用于计算有效性度量并对参与者系统进行排名。私人网络搜索公司也进行内部评估;虽然细节大多不为人知，目标也有所不同，但总体方法与测试收集方法有几个问题。这项工作的目的是：（一）发展和改善一些国家的最先进的工作，同时节省资源的IR有效性的评估，和（ii）提出一种新的，更原则和工程，整体的方法来测试收集的有效性评估。[...]
2020-11-01 cs.IR
Learning Groupwise Multivariate Scoring Functions Using Deep Neural Networks
在分类或回归设置中，为每个单独的文档分配标签或值，而在排名设置中，我们确定整个输入文档列表的相关性排序。这种差异导致了排名中文档之间的相对相关性的概念。大多数现有的学习排名算法使用成对或列表损失函数在损失水平上对这种相关性进行建模。然而，它们仅限于单变量评分函数，即，文档的相关性分数是基于文档本身而计算的，而不管列表中的其他文档。为了克服这一限制，我们提出了一个新的框架，多元评分功能，其中的相关性得分的文件是由多个文件的列表中共同确定。我们把这个框架称为GSF--分组评分函数。我们学习GSF与深神经网络架构，并证明了几个代表性的学习排名算法可以建模为特殊情况下，在我们的框架。我们使用来自最大的商业电子邮件搜索引擎之一的点击日志以及公共基准数据集进行评估。在这两种情况下，GSF导致显着的性能改进，特别是在稀疏文本特征的存在下。
2019-08-04 cs.IR
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分，以加速文档检索，使用学习稀疏表示，同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分，以用于跳过和最终排名，并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
Cross-Lingual Relevance Transfer for Document Retrieval
University of Waterloo（滑铁卢大学）
最近的工作表明，多语言BERT作为一个zero-shot跨语言迁移模型的语言处理任务的惊人的能力。我们将这一发现与一个类似的，最近提出的建议，文档检索的文档级的相关性建模，以证明多语言的BERT跨语言的相关性模型传输的能力。对来自不同语系（中文、阿拉伯语、法语、印地语和孟加拉语）的五种不同语言的测试集进行的实验表明，用英语数据训练的模型提高了排名质量，而无需任何特殊处理，无论是（非英语）单语言检索还是跨语言检索。
2019-11-08 cs.CL cs.IR
Selective Weak Supervision for Neural Information Retrieval
本文将神经信息检索民主化到大规模相关性训练信号不可用的场景。我们重温了经典的IR直觉，锚文件关系近似查询文档的相关性，并提出了一种强化弱监督选择方法，ReInfoSelect，它学习选择锚文件对，最好的弱监督神经排名（行动），使用少数相关标签的排名性能作为奖励。迭代地，对于一批锚点-文档对，ReInfoSelect通过神经排名器反向传播梯度，收集其NDCG奖励，并使用策略梯度优化数据选择网络，直到神经排名器的性能在目标相关性度量（收敛）上达到峰值。在我们对三个TREC基准测试的实验中，由ReInfoSelect训练的神经排名器，只有公开的锚数据，显着优于基于特征的学习排序方法，并与私人商业搜索日志训练的神经排名器的有效性相匹配。我们的分析表明，ReInfoSelect根据神经排名器训练的阶段有效地选择了弱监督信号，并直观地选择了类似于查询-文档对的锚点-文档对。
2020-01-28 cs.IR
Explaining Documents' Relevance to Search Queries
我们提出了GenEx，生成模型来解释搜索结果，用户不仅仅是显示查询和文档单词之间的匹配。在搜索结果中添加GenEx解释会极大地影响用户满意度和搜索性能。搜索引擎大多为每个结果提供文档标题、URL和片段。现有的模型无关的解释方法同样集中在词匹配或基于内容的功能。然而，最近的一项用户研究表明，词匹配功能对用户来说是非常明显的，因此价值不大。GenEx通过对结果所涵盖的查询方面提供简洁的描述来解释搜索结果。我们铸造的任务作为一个序列转导问题，并提出了一种新的模型的基础上，Transformer架构。为了表示与给定查询相关的文档，但又不生成查询本身作为解释，在Transformer架构中添加了两个查询关注层和屏蔽查询解码。该模型是在不使用任何人类生成的解释的情况下进行训练的。相反，自动构造训练数据以确保可容忍的噪声水平和可推广的学习模型。实验评估表明，我们的解释模型显着优于基线模型。通过用户研究的评估也表明，我们的解释模型产生简短而有用的解释。
2021-11-02 cs.IR
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
针对现有基于LLM的文档重排序方法存在的排序不确定、top-k召回不稳定及token成本高的问题，提出不确定性感知框架REALM，将相关性建模为高斯分布并通过递归贝叶斯更新优化，在提升排序效果的同时显著降低推理成本与延迟。
2025-10-02 cs.IR
Query Generation with Direct Preference Optimization for Document Expansion in E-commerce Search
Walmart Global Technology（沃尔玛全球技术）；Walmart Global Tech（沃尔玛全球科技）
针对Doc2Query生成查询存在幻觉和重复问题，提出QGDPO方法，利用直接偏好优化和相关性过滤，显著减少不相关预测，已部署至生产环境并提升搜索相关性和用户参与度。
2026-10-06 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中，我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字，更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分，并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组：最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同，因此研究了这些方法在选择查询扩展词时的作用。从最初的研究，我们扩展实验，开发一个基于规则的统计模型，自动选择最好的一组单词，结合tf-idf评分和3种方法在这里解释，在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行，每个测试集上有50个查询，使用Terrier作为检索引擎。
2015-02-18 cs.IR
Is Relevance Propagated from Retriever to Generator in RAG?
本研究针对信息检索任务的主题重叠相关性，利用IR测试集实证探究RAG中检索文档的主题相关性与下游任务效用的关系，发现二者呈弱正相关且相关性随上下文规模增大而降低，同时更优的检索模型通常能提升RAG下游性能。
2025-02-20 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制，从Rocchio到相关性模型，已经显示出使用在被检索文档的初始集合（被称为伪相关集合）中出现的信息来扩展和重新加权用户的初始查询的有用性。最近，稠密检索-通过使用神经上下文语言模型，如BERT分析文档和查询的内容，并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引，用于识别文档相关的查询。出现了两种不同的稠密检索家族：对每个段落和查询使用单个嵌入式表示（例如使用BERT的[CLS]令牌），或通过多个表示（例如使用查询和文档的每个令牌的嵌入）。在这项工作中，我们进行了第一次研究的潜力多表示稠密检索，以提高使用伪相关反馈。特别是，基于使用第一遍稠密检索识别的伪相关文档集，我们提取代表性的反馈嵌入（使用KMeans聚类）--同时确保这些嵌入区分段落（基于IDF）--然后将其添加到查询表示中。这些额外的反馈嵌入，以提高效率的重新排序，以及一个额外的稠密检索操作。事实上，在MSMARCO通道排名数据集上的实验表明，通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法，MAP在TREC 2019查询集上可以提高26%，在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
Modeling Multidimensional User Relevance in IR using Vector Spaces
研究表明，除了话题性之外，文档的相关性判断还受到多种因素的影响。文献中提出的一些多维用户相关性模型（MURM）研究了不同维度的相关性对用户判断的影响。我们的假设是，用户可能会给予更多的重要性，在会话中的某些相关性维度可能会随着会话的进展而动态变化。这激发了使用反馈捕获不同相关性维度的权重的需要，并根据这些权重构建一个模型来对文档进行排序以用于后续查询。我们提出了一个几何模型的灵感来自量子理论的数学框架，以捕捉用户的重要性给予每个维度的相关性和测试我们的假设的数据从网络搜索引擎和TREC会话跟踪。
2018-05-06 cs.IR
Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors
CONICET-Universidad de Buenos Aires（国家科学技术研究委员会-布宜诺斯艾利斯大学）；Quantit（Quantit公司）；Brno University of Technology（布尔诺理工大学）
通过分析监督双编码器检索器在文档嵌入中编码的查询无关信号，发现模型从标注数据中学习到文档级相关性先验，导致低先验文档即使相关也更难被检索，揭示了监督检索的结构性局限。
2026-11-03 cs.AI cs.CL cs.IR
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore（迈索尔大学）
本文提出了一种简单的基于词类相关性的文本分类方法。最初，处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语，我们通过Guru和Suhil（2015）[1]提出的称为术语类相关性（TCR）的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式，对于每个术语，计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中，测试文档中存在的术语被提取，并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找，采用了B树索引数据结构。最后，在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比，在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明，所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
Users and Assessors in the Context of INEX: Are Relevance Dimensions Relevant?
通过分析和比较以下两种行为来确定XML检索的主要方面：评估者在判断返回文档组件的相关性时的行为;以及用户与XML文档组件交互时的行为。我们认为，两个INEX的相关性维度，详尽性和特异性，是不是正交的维度，事实上，每个维度的实证分析表明，两个维度的等级是相互关联的。通过分析评估者和用户之间的一致程度，我们的目标是确定最佳的检索单位。我们的分析结果表明，最高水平的协议是高度相关的和不相关的文件组件，这表明只有INEX 10点相关性量表的端点被认为是以同样的方式由评估员和用户。我们提出了一个新的定义的相关性的XML检索，并认为其相应的相关性规模将是一个更好的选择INEX。
2005-07-28 cs.IR
From "Identical" to "Similar": Fusing Retrieved Lists Based on Inter-Document Similarities
用于融合响应于查询而检索的文档列表的方法通常利用列表中的文档的检索分数和/或排名。我们提出了一种新的融合方法，该方法是基于使用，此外，从文档间的相似性引起的信息。具体来说，我们的方法让来自不同列表的类似文档相互提供相关性状态支持。我们使用基于图的方法来建模文档之间的相关性状态传播。传播由文档间相似性和列表中文档的检索分数决定。实证评估表明，我们的方法在融合TREC运行的有效性。我们最有效的方法的性能超越了只利用检索分数或排名的有效融合方法。
2014-01-16 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈（PRF）根据检索前的文档自动进行查询扩展，以更好地反映用户的信息需求，从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而，现有的PRF方法几乎没有尝试理解文档的内容，这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中，我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中，我们制定的PRF作为一个QA任务，其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色，而目标是找到一些适当的条款，以扩大原始查询，利用上下文信息，这是类似的答案在QA任务。此外，一个基于注意力的指针网络是建立在理解的顶部检索文档的内容，并选择的条款，以代表原始查询更好。我们还表明，将传统的监督学习方法，如LambdaRank，整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明，QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Evaluating Sentence-Level Relevance Feedback for High-Recall Information Retrieval
本研究使用了一种新的模拟框架，以评估是否减少了时间和精力，以实现高召回使用主动学习与孤立的句子，而不是完整的文件，审查相关反馈。在较弱的假设下，即审阅整个文档比单个句子需要更多的时间和精力，模拟结果表明，使用孤立的句子进行相关反馈可以产生相当的准确性和更高的效率，相对于AutoTAR连续主动学习（“CAL”）的最新基线模型实现（BMI）TREC 2015年和2016年全面召回跟踪中使用的方法。
2019-03-28 cs.IR
Generative Relevance Feedback with Large Language Models
针对伪相关性反馈依赖初始检索结果的问题，提出GRF方法，利用LLM生成的长文本构建概率反馈模型，在多类文档检索基准上显著超越现有PRF及稀疏、稠密、扩展模型。
2023-04-25 cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca（米兰比可卡大学）；Leiden University（莱顿大学）
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述（如可信度）来增强候选文档的方法，实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
Finding Salient Context based on Semantic Matching for Relevance Ranking
本文提出了一种基于显著性上下文的语义匹配方法来改进信息检索中的相关性排序。我们首先提出了一个新的显著性上下文的概念，然后定义了如何测量它，然后我们展示了如何使用滑动窗口技术来定位最显著的上下文。最后，我们使用查询词和文档语料库中最显著的上下文词之间的语义相似度来对这些文档进行排名。TREC的各种集合上的实验表明，我们的模型相比，国家的最先进的方法的有效性。
2019-09-03 cs.IR
LLMs Can Patch Up Missing Relevance Judgments in Evaluation
本文提出用 LLM 按详细指令为 IR 评估中的未判断文档自动补全细粒度相关性标签，并在 TREC DL 模拟缺失判断实验中验证其与人工判断高度一致。
2024-05-08 cs.IR
Scalable and Effective Generative Information Retrieval
本文提出RIPOR优化框架，通过前缀导向排序和基于关联性的文档ID构建，首次实现生成式检索在大规模基准上的有效训练，大幅超越现有生成式模型并媲美稠密检索。
2023-11-15 cs.IR
