Discovering Biases in Information Retrieval Models Using Relevance Thesaurus as Global Explanation
本文提出通过构建相关性词库全局解释神经检索模型,并用于增强BM25以近似神经模型预测,实验揭示了排序模型中的品牌名称偏差。
2024-10-04 cs.IR
Query-LIFE: Query-aware Language Image Fusion Embedding for E-Commerce Relevance
本文提出 Query-LIFE 方法,通过基于查询的多模态融合、查询感知模态对齐及 GenFilt 假阴性样本过滤,提升电商搜索中产品相关性建模的准确性,并在 Miravia Search 上验证了其有效提升相关性与转化效率。
2023-11-26 cs.IR
Counterfactual Query Rewriting to Use Historical Relevance Feedback
本文提出利用历史相关性反馈反事实地重写查询,通过词项扩展或生成关键查询,在 CLEF LongEval 中提升检索效果并优于昂贵的 transformer 方法。
2025-02-06 cs.IR
Approximating Categorical Similarity in Sponsored Search Relevance
赞助搜索是网络搜索引擎的主要收入来源。由于赞助搜索遵循点击付费模式,因此显示相关广告以获得点击至关重要。在查询-广告对的相关性建模中,已经探索了查询及其广告候选的匹配类别。该方法涉及将过去看到的查询的缓存类别与候选广告的类别进行匹配。由于查询具有重尾分布,因此该方法的覆盖范围有限。在这项工作中,我们提出了近似的类别相似性的查询广告对使用神经网络,特别是CLSM。查询(或文档)的嵌入是使用其三字母表示生成的,这允许覆盖尾部查询。与直接使用类别相比,结合此功能的离线实验显示AUC ROC提高了5.23%。A/B测试结果显示相关性提高了8.2%。
2018-12-01 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制,从Rocchio到相关性模型,已经显示出使用在被检索文档的初始集合(被称为伪相关集合)中出现的信息来扩展和重新加权用户的初始查询的有用性。最近,稠密检索-通过使用神经上下文语言模型,如BERT分析文档和查询的内容,并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引,用于识别文档相关的查询。出现了两种不同的稠密检索家族:对每个段落和查询使用单个嵌入式表示(例如使用BERT的[CLS]令牌),或通过多个表示(例如使用查询和文档的每个令牌的嵌入)。在这项工作中,我们进行了第一次研究的潜力多表示稠密检索,以提高使用伪相关反馈。特别是,基于使用第一遍稠密检索识别的伪相关文档集,我们提取代表性的反馈嵌入(使用KMeans聚类)--同时确保这些嵌入区分段落(基于IDF)--然后将其添加到查询表示中。这些额外的反馈嵌入,以提高效率的重新排序,以及一个额外的稠密检索操作。事实上,在MSMARCO通道排名数据集上的实验表明,通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法,MAP在TREC 2019查询集上可以提高26%,在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
Query-specific Variable Depth Pooling via Query Performance Prediction towards Reducing Relevance Assessment Effort
本文提出利用QPP估计各查询的潜在相关文档数并设置可变池深度,从而在保持IR系统相对有效性评估的同时显著减少相关性标注工作量。
2023-04-23 cs.IR
Generalized Pseudo-Relevance Feedback
针对传统伪相关反馈依赖两大假设、现有生成式方法存在幻觉或仍依赖相关性假设的问题,提出结合强化学习效用导向训练的广义伪相关反馈框架,实现无模型、低相关性假设依赖的鲁棒查询重写,在多基准上性能优于强基线。
2025-10-29 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University(四川大学)
本文通过混合结构摘要与基于LLM的数据增强方法,提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance
LINE Corporation(LINE公司);Yahoo Japan Corporation(雅虎日本公司);Kyoto University(京都大学)
常见问题(FAQ)检索是一项重要的任务,其目标是根据用户的查询从数据库中检索出合适的问答(QA)对。我们提出了一个FAQ检索系统,认为用户的查询和问题之间的相似性,以及查询和答案之间的相关性。虽然常见的FAQ检索方法是构造标记数据进行训练,但它需要标注成本。因此,我们使用传统的无监督信息检索系统来计算查询和问题之间的相似度。另一方面,可以通过使用FAQ数据库中的QA对来学习查询和答案之间的相关性。最近提出的BERT模型用于相关性计算。由于FAQ页面中的QA对的数量不足以训练模型,我们通过利用与问题中的FAQ集相似的FAQ集来解决这个问题。我们在两个数据集上评估我们的方法。第一个是localgovFAQ,这是我们在日本行政自治区域中构建的数据集。第二个是StackExchange数据集,这是英文的公共数据集。我们证明,我们提出的方法优于基线方法在这些数据集上。
2019-05-24 cs.CL cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架,通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系,利用个性化上下文信号优化文档排序,有效提升了个性化搜索效果。
2023-09-10 cs.IR
Effects of context, complexity, and clustering on evaluation for math formula retrieval
现在有几个用于公式检索任务的测试集合,其中系统的目标是识别有用的数学公式,以响应作为公式提出的查询。这些测试集合在查询格式、查询复杂性、查询数量、内容源和相关性定义方面有所不同。六个公式检索测试集合之间的比较说明,基于查询和/或文档上下文定义相关性可能是必然的,系统结果随公式复杂性而显著变化,并且在对具有相同符号布局的公式进行聚类后判断相关性(即,符号布局树)可能会影响系统首选项排序。
2021-11-20 cs.IR
ReBOL: Retrieval via Bayesian Optimization with Batched LLM Relevance Observations and Query Reformulation
University of Toronto(多伦多大学)
ReBOL通过引入多模态贝叶斯优化和查询重述技术,改进检索阶段的召回率和排名质量,优于现有LLM重排序基线。
2026-03-20 cs.AI cs.IR
Towards a Relevance Posterior in Neural Information Access
University of Glasgow(格拉斯哥大学)
研究现代信息检索系统中相关性操作的局限,提出将其理解为近似后验推理,扩展经典概率检索形式,通过显式似然 - 先验分解转移计算,纳入查询独立文档效用,经实验证明能提升检索效果并给出研究方向。
2026-07-28 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business(雅典经济与商业大学);Google AI(谷歌人工智能)
我们探索了几种新的文档相关性排名模型,建立在Guo et al.(2016)的深度相关性匹配模型(DRMM)基础上。与DRMM不同,DRMM使用术语的上下文不敏感编码和查询-文档术语交互,我们在整个模型中注入了丰富的上下文敏感编码,灵感来自PACRR(Hui等人,卷积n-gram匹配功能,但以多种方式扩展,包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型(Tsatsaronis等人,2015年)和TREC ROBUST 2004年(Voorhees,2005年),显示它们优于基于BM 25的基线,DRMM和PACRR。
2018-09-11 cs.CL cs.IR
Fake News Data Collection and Classification: Iterative Query Selection for Opaque Search Engines with Pseudo Relevance Feedback
从在线搜索引擎中检索信息是许多数据采掘任务中的第一步也是最重要的一步。目前网络上可用的大多数搜索引擎,包括所有社交媒体平台,都是支持短关键字查询的黑盒子(也称为不透明)。在这些设置中,自动地和大规模地检索讨论特定新闻项目的所有帖子和评论是一项具有挑战性的任务。在本文中,我们提出了一种方法,用于生成短关键字查询给定的原型文档。所提出的迭代查询选择算法(IQS)与不透明的搜索引擎交互以迭代地改进查询。在Twitter TREC微博2012和TREC-COVID 2019数据集上进行了评估,与最先进的数据集相比,性能优越。IQS被应用于自动收集约70 K真实和虚假新闻条目的大规模假新闻数据集。该数据集可公开用于研究,包括超过2200万个帐户和6100万条Twitter批准格式的推文。我们证明了数据集对于虚假新闻检测任务的有用性,实现了最先进的性能。
2021-02-21 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)
如果信息检索(IR)系统不仅检索存储在索引中的相关信息,而且还可以“理解”它并将其合成为单个文档,那会怎么样?我们提出了一个初步的研究,使回答这个问题的第一步。给定一个查询,我们根据该查询的现有相关信息训练一个递归神经网络(RNN)。然后,我们使用RNN来“深度学习”一个单一的、合成的、我们假设的、与该查询相关的文档。我们设计了一个众包实验来评估“深度学习”文档与现有相关文档的相关性。用户会看到一个查询和四个词云(三个现有的相关文档和我们深入学习的合成文档)。综合文件的平均排名是所有文件中最相关的。
2016-06-27 cs.IR
Modeling Diverse Relevance Patterns in Ad-hoc Retrieval
在ad-hoc检索中评估查询和文档之间的相关性是具有挑战性的,这是由于其不同的模式,即,一个文档可以作为一个整体或部分地与查询相关,只要它为用户的需要提供足够的信息。这种不同的相关性模式需要一个理想的检索模型,能够评估在正确的粒度自适应的相关性。遗憾的是,大多数现有的检索模型计算的相关性在一个单一的粒度,无论是文档范围内或企业级,或使用固定的组合策略,限制了他们的能力,在捕捉不同的相关模式。在这项工作中,我们提出了一个数据驱动的方法,让相关性信号在不同的粒度相互竞争,最终的相关性评估。具体来说,我们提出了一个层次神经匹配模型(HiNT),它由两个堆叠组件,即局部匹配层和全局决策层。局部匹配层的重点是通过对查询和文档的每个段落之间的语义匹配进行建模来产生一组局部相关性信号。全局决策层将局部信号累积成不同的粒度,并允许它们相互竞争以决定最终的相关性得分。实验结果表明,我们的HiNT模型优于现有的国家的最先进的检索模型显着的基准ad-hoc检索数据集。
2018-05-15 cs.IR
A Graph-based Relevance Matching Model for Ad-hoc Retrieval
为了在给定查询的情况下检索到更相关、更合适和更有用的文档,通过文本找到关于该查询的线索至关重要。最近的深度学习模型将该任务视为术语级匹配问题,其在文档中寻找精确或相似的查询模式。然而,我们认为,它们本质上是基于当地的互动,并没有推广到无处不在的,非连续的上下文关系。在这项工作中,我们提出了一种新的相关性匹配模型的基础上图神经网络,利用文档级的词的关系进行ad-hoc检索。除了本地的相互作用,我们明确地将一个术语的所有上下文通过文字的图形文本格式。可以相应地揭示匹配模式以提供更准确的相关性分数。我们的方法在两个特设基准上的表现明显优于强基线。我们还通过实验将我们的模型与BERT进行了比较,并展示了我们在长文档上的优势。
2021-01-29 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈(PRF)根据检索前的文档自动进行查询扩展,以更好地反映用户的信息需求,从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而,现有的PRF方法几乎没有尝试理解文档的内容,这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中,我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中,我们制定的PRF作为一个QA任务,其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色,而目标是找到一些适当的条款,以扩大原始查询,利用上下文信息,这是类似的答案在QA任务。此外,一个基于注意力的指针网络是建立在理解的顶部检索文档的内容,并选择的条款,以代表原始查询更好。我们还表明,将传统的监督学习方法,如LambdaRank,整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明,QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
A Sensitivity-Aware Test Collection for Search Among Personal Information
University of Glasgow(格拉斯哥大学)
为解决个人信息搜索中的敏感信息泄露问题,构建了包含敏感与非敏感标注的Enron邮件子集测试集,通过众包和LLM扩展查询与相关性评估,并提供了基线性能。
2026-06-29 cs.IR
Approximated Doubly Robust Search Relevance Estimation
从稀疏的、有偏见的点击日志中提取查询文档相关性是网络搜索系统中最基本的任务之一。现有技术主要学习具有查询和文档的语义特征的相关性判断模型,并且直接忽略来自点击日志的反事实相关性评估。虽然学习的语义匹配模型可以为尾查询提供相关性信号,只要语义特征是可用的。然而,这样的范例缺乏的能力,introphilic调整有偏的相关性估计时,它与大量的隐式用户反馈冲突。相反,反事实评估方法,确保无偏的相关性估计与足够的点击信息。然而,它们遭受由长尾查询分布引起的稀疏甚至丢失的点击。在本文中,我们提出了统一的反事实评估和学习方法的无偏相关估计的搜索查询与各种流行。具体来说,我们从理论上开发了一个双重鲁棒估计低偏差和方差,有意结合现有的相关性评估和学习方法的好处。我们进一步在百度搜索中实例化了所提出的无偏相关性估计框架,并针对用于点击行为跟踪的数据管道和使用近似深度神经网络的在线相关性估计设计了全面的实用解决方案。最后,我们提出了广泛的实证评估,以验证我们提出的框架的有效性,发现它在实践中是强大的,并设法大大提高在线排名的性能。
2022-08-16 cs.IR
GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
在信息检索中,基于伪相关反馈的查询扩展是提高检索效率的有效方法.近年来,随着深度学习技术的快速发展,神经文本生成在许多自然语言任务中取得了令人鼓舞的成功。为了充分利用文本生成的优势进行信息检索,本文提出了一种新的方法,有效地将文本生成模型集成到基于PRF的查询扩展中。特别是,我们的方法通过神经文本生成模型生成增强的查询条件的初始查询和伪相关反馈。此外,为了训练生成模型,我们采用了条件生成对抗网(CGANs),提出了PRF-CGAN方法,其中生成器和生成器都以伪相关反馈为条件。我们使用两个基准数据集评估我们的方法在信息检索任务上的性能。实验结果表明,我们的方法取得了相当的性能或优于传统的查询扩展方法的检索和重排序任务。
2021-08-13 cs.AI cs.CL cs.IR
Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance
针对用户检视多个相关结果却少点击导致的相关性饱和偏差,本文提出查询级点击倾向性模型与 DualIPW 机制,结合位置级 IPW 实现无偏排序学习,并在 Baidu-ULTR 上验证其优于现有基线。
2025-02-18 cs.IR
A Multi-Task Architecture on Relevance-based Neural Query Translation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们描述了一种多任务学习方法来训练一个神经机器翻译(NMT)模型与一个基于相关性的辅助任务(RAT)的搜索查询翻译。跨语言信息检索(CLIR)任务的翻译过程通常被视为一个黑箱,它是作为一个独立的步骤来执行的。然而,在并行数据上训练的NMT模型不知道检索语料库的词汇分布。我们用我们的多任务学习架构解决了这个问题,在意大利语-英语查询文档数据集上,该架构比强大的NMT基线提高了16%。我们使用定量和定性分析表明,我们的模型生成平衡和精确的翻译与正则化效果,它实现了从多任务学习范式。
2019-06-17 cs.CL cs.IR
Revisiting the Examination Hypothesis with Query Specific Position Bias
点击率(CTR)提供了有用的用户反馈,可用于推断查询的搜索结果的相关性。然而,查看搜索结果的原始点击率并不是很有意义,因为结果被点击的可能性不仅取决于其相关性,还取决于其显示的位置。浏览行为的一个模型,{ \em检查假设} \cite{RDR07,Craswell08,DP08},指出每个位置都有一定的被检查概率,然后基于搜索片段的相关性被点击。这是基于眼动追踪研究\cite{Claypool01, GJG04},该研究表明用户不太可能在较低的位置查看结果。检查文档的概率中的这种位置相关变化被称为{ \em位置偏差}。我们在这项研究中的主要观察结果是,位置偏差往往与用户正在寻找的信息类型不同。这使得位置偏差{ \em查询特定}。在这项研究中,我们提出了一个模型,用于分析查询特定的位置偏差的点击数据,并使用这些偏差,以获得位置无关的相关性值的搜索结果。我们的模型是基于这样的假设,即对于一个给定的查询,位置点击率的文档是成比例的产品的相关性和{ \em查询特定}的位置偏差。我们比较我们的模型与香草检查假设模型(EH)的一组查询从商业搜索引擎的搜索日志。我们还比较了它与用户浏览模型(UBM)\cite{DP08}扩展的级联模型的Craswell等人\cite{Craswell08},将多个点击在一个查询会话。我们表明,我们的模型,虽然更容易实现,一贯优于EH和UBM的常用措施,如相对误差…
2010-03-12 cs.IR
LLM-Assisted Pseudo-Relevance Feedback
IRLab, CITIC, Universidade da Coruña, Spain(拉科鲁尼亚大学,CITIC,IRLab)
本文提出一种结合大语言模型的伪相关反馈方法,通过在RM3计算前过滤相关文档,提升查询扩展的鲁棒性和准确性。
2026-01-16 cs.IR
DSIRM: Learning Query-Bridged Discrete Semantic Identifiers for E-commerce Relevance Modeling
Taobao & Tmall Group of Alibaba(淘宝与天猫集团)
针对电商搜索中连续嵌入难以捕捉细粒度属性区分的问题,提出查询桥接对比量化的离散语义标识符相关性模型(DSIRM),通过注入查询-物品交互监督学习语义感知分区,并利用生成式大语言模型预测物品标识符,显著提升相关性建模效果。
2026-06-03 cs.AI cs.IR
Aspect-based Academic Search using Domain-specific KB
学术搜索引擎允许科学家探索与给定查询相关的相关工作。通常,用户也知道检索相关文档的“方面”。在这种情况下,可以通过用描述该方面的术语扩展查询来使用现有的搜索引擎。然而,这种方法并不能保证良好的结果,因为简单的关键字匹配并不总是意味着相关性。为了解决这个问题,我们定义并解决了一个新的学术搜索任务,称为“基于方面的检索”,它允许用户指定的方面与查询检索相关的文档的排名列表。其主要思想是使用特定领域的知识库来估计方面的语言模型以及查询,并使用两者的混合来确定文章的相关性。我们的评价结果在开放研究语料库数据集表明,我们的方法优于基于关键字的查询方面的扩展,没有相关反馈。
2020-01-29 cs.IR
Generative Query Reformulation for Effective Adhoc Search
研究生成式语言模型在查询重构中的能力,提出GenQR和GenPRF框架,通过微调和直接提示技术,在多个TREC测试集上显著提升检索有效性,优于统计方法且实现更简单。
2023-08-01 cs.IR
Aligning Query Representation with Rewritten Query and Relevance Judgments in Conversational Search
Université de Montréal(蒙特利尔大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Renmin University of China(中国人民大学);University of Copenhagen(哥本哈根大学);Beijing Jiaotong University(北京交通大学)
本文提出QRACDR模型,通过将查询表示与改写查询及相关文档对齐,结合相关性判断训练查询表示模型,在八个数据集上显著提升了对话式搜索和ad-hoc搜索的性能。
2024-07-29 cs.CL cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University(查理大学)
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集,验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
BERT-Embedding and Citation Network Analysis based Query Expansion Technique for Scholarly Search
研究出版物的巨大增长使得学术搜索引擎很难针对给定的搜索查询带来最相关的论文。多年来,已经提出了许多解决方案来提高学术搜索的有效性,包括利用查询扩展和引文分析。查询扩展技术减轻了查询中使用的语言与索引文档之间的不匹配。然而,这些技术可能会在扩展原始查询的同时引入不相关的信息。近年来,文本检索的上下文化模型BERT在查询扩展方面取得了很大的成功。基于这些问题,并受到BERT成功的启发,本文提出了一种新的方法Qe BERT。QeBERT在查询扩展中利用基于BERT的嵌入和引文网络分析(CNA)来改进学术搜索。具体来说,我们使用上下文感知的BERT嵌入和CNA的查询扩展伪相关反馈(PRF)时尚。ACL数据集上的初步实验结果表明,BERT嵌入可以提供一个有价值的增强查询扩展和提高搜索相关性时,结合CNA。
2023-01-26 cs.IR
Hybrid Pooling with LLMs via Relevance Context Learning
Universidade da Coruña(拉科鲁尼亚大学)
本文提出通过相关性上下文学习方法,利用人类判断生成显式相关性叙述,提升LLM在信息检索数据集构建中的性能。
2026-02-09 cs.IR
Learning Multiresolution Relevance for Hierarchical Generative Retrieval
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Meituan(美团)
提出RARS方法,通过将文档级相关性分解为层级条件分布来监督查询编码器,在自回归生成式检索中提升多语言ESCI数据集上的检索性能,且推理时无需额外开销。
2026-10-01 cs.IR
Exploring the Viability of Synthetic Query Generation for Relevance Prediction
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究探讨了合成查询生成在细粒度相关性预测中的可行性,发现现有QGen方法不如跨域迁移学习,并引入标签条件化QGen模型以改进性能,但仍难以完全捕捉相关性标签的细微差别。
2023-06-16 cs.CL cs.IR
Explaining Documents' Relevance to Search Queries
我们提出了GenEx,生成模型来解释搜索结果,用户不仅仅是显示查询和文档单词之间的匹配。在搜索结果中添加GenEx解释会极大地影响用户满意度和搜索性能。搜索引擎大多为每个结果提供文档标题、URL和片段。现有的模型无关的解释方法同样集中在词匹配或基于内容的功能。然而,最近的一项用户研究表明,词匹配功能对用户来说是非常明显的,因此价值不大。GenEx通过对结果所涵盖的查询方面提供简洁的描述来解释搜索结果。我们铸造的任务作为一个序列转导问题,并提出了一种新的模型的基础上,Transformer架构。为了表示与给定查询相关的文档,但又不生成查询本身作为解释,在Transformer架构中添加了两个查询关注层和屏蔽查询解码。该模型是在不使用任何人类生成的解释的情况下进行训练的。相反,自动构造训练数据以确保可容忍的噪声水平和可推广的学习模型。实验评估表明,我们的解释模型显着优于基线模型。通过用户研究的评估也表明,我们的解释模型产生简短而有用的解释。
2021-11-02 cs.IR
On the Equilibrium of Query Reformulation and Document Retrieval
在本文中,我们联合研究查询重构和文档相关性估计,信息检索(IR)的两个基本方面。它们的交互被建模为一个两人策略博弈:一个参与者,查询制定者,采取行动产生最优查询,期望最大化自己的效用相对于另一个参与者,检索建模者产生的文档的相关性估计;同时,检索建模器,采取行动以产生文档相关性分数,需要根据训练数据相对于由查询公式器产生的细化查询来优化其似然性。当两者都是对方的最佳对策时,它们的均衡将达到。我们推导出我们的平衡理论的IR使用正常形式表示:当一个标准的相关反馈算法与检索模型相结合,他们将共享相同的目标函数,从而形成一个伙伴关系的游戏;相比之下,伪相关反馈追求一个相当不同的目标比检索模型,因此它们之间的相互作用将导致一个通和游戏(虽然隐含的合作)。我们的博弈理论分析不仅产生有用的洞察到IR的两个主要方面,但也提供了新的实用算法,实现检索的平衡状态已被证明带来一致的性能改进,在文本检索和项目推荐。
2018-07-20 cs.GT cs.IR
IITD-DBAI: Multi-Stage Retrieval with Pseudo-Relevance Feedback and Query Reformulation
Indian Institute of Technology, Delhi(印度理工学院德里分校)
解决语境依赖是会话系统中最具挑战性的任务之一。我们向CAsT-2021提交的申请旨在保留所有后续轮次中的关键术语和上下文,并使用经典的信息检索方法。其目的是从语料库中提取尽可能相关的文件。我们参加了自动跟踪,并在CAST-2021中提交了两次运行。我们提交的数据显示,NDCG@3的平均性能优于中位数模型。
2022-03-31 cs.AI cs.CY cs.IR
Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels
本文提出在零样本 LLM 排序器提示中引入细粒度相关性标签,以替代传统二元 Yes/No 判断,并在 8 个 BEIR 数据集上验证其显著提升排序性能。
2024-04-02 cs.IR
Domain Adaptation for Dense Retrieval and Conversational Dense Retrieval through Self-Supervision by Meticulous Pseudo-Relevance Labeling
提出结合查询生成与自监督伪相关标注(使用T5-3B和困难负例)的方法,实现密集检索及对话密集检索的领域自适应,实验证明微调后基线模型性能提升。
2024-03-13 cs.IR
Document Relevance Evaluation via Term Distribution Analysis Using Fourier Series Expansion
除了术语在文档集合中的频率之外,术语的分布在确定给定搜索查询的文档的相关性方面起着重要作用。在本文中,术语分布分析使用傅立叶级数展开作为一种新的方法来计算一个抽象的表示,在文档语料库中的术语位置。在此基础上,提出了两种改进文档相关性评价的方法:(a)基于函数的排序优化,表示用户定义的文档区域;(b)基于重叠顶级文档中的术语分布的查询扩展技术。实验结果表明,所提出的方法在优化检索过程中提供了新的可能性的有效性。
2009-03-01 cs.IR
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University(埃默里大学);The Home Depot(家得宝)
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询,丰富的客户行为(例如,点进数据)可用于推断相关产品类别。然而,对于覆盖大量搜索流量的更罕见的查询,由于缺乏这种信号,仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类,我们适应伪相关反馈(PRF)的方法,利用潜在的知识嵌入在语义或词汇相似的产品文档,以丰富表示更罕见的查询。为此,我们提出了一种新的深度神经模型,称为注意伪相关反馈网络(APRF-Net),以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性,我们收集了来自大型商业搜索引擎的搜索查询,并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明,APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%,对于罕见(尾部)查询,这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
Query Generation with Direct Preference Optimization for Document Expansion in E-commerce Search
Walmart Global Technology(沃尔玛全球技术);Walmart Global Tech(沃尔玛全球科技)
针对Doc2Query生成查询存在幻觉和重复问题,提出QGDPO方法,利用直接偏好优化和相关性过滤,显著减少不相关预测,已部署至生产环境并提升搜索相关性和用户参与度。
2026-10-06 cs.IR
Relevance-based Word Embedding
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
学习词汇术语的高维密集表示,也称为词嵌入,最近在自然语言处理和信息检索任务中引起了很多关注。嵌入向量通常基于大型语料库中的术语接近度来学习。这意味着在公知的词嵌入算法中的目标,word2vec是准确预测给定单词或上下文的相邻单词。然而,这个目标并不一定等同于许多信息检索(IR)任务的目标。各种IR任务的主要目标是捕获相关性,而不是术语接近度,句法,甚至语义相似性。这就是开发基于查询文档相关性信息学习单词表示的无监督的基于相关性的词嵌入模型的动机。在本文中,我们提出了两个学习模型,具有不同的目标函数,一个学习的词汇集为每个查询的相关性分布,和其他分类每个术语属于相关或不相关的类为每个查询。为了训练我们的模型,我们使用了超过600万个独特的查询和响应每个查询检索的排名最高的文档,这些文档被认为与查询相关。我们extraperitively评估我们的学习词表示模型使用两个IR任务:查询扩展和查询分类。在四个TREC集合上的查询扩展实验和在KDD Cup 2005数据集上的查询分类实验表明,基于相关性的词嵌入模型的性能显著优于最先进的基于邻近度的嵌入模型,如word2vec和GloVe。
2017-07-16 cs.CL cs.IR cs.LG
Automated Query-Product Relevance Labeling using Large Language Models for E-commerce Search
Walmart Global Tech(沃尔玛全球技术)
本研究利用大型语言模型结合提示工程技术,自动化电子商务搜索的查询-产品相关性标注,在多个数据集上接近人类水平,显著降低成本和时间,并提升搜索体验。
2025-02-21 cs.AI cs.CL cs.IR
HCMRM: A High-Consistency Multimodal Relevance Model for Search Ads
本文提出高一致性多模态相关性模型HCMRM,通过预训练阶段引入伪查询词三元组建模和微调阶段分层softmax损失,弥合预训练与排序目标差异,并在快手搜索广告系统中实现无关广告减少6.1%、收入提升1.4%。
2025-02-09 cs.IR
Learning to Select: Query-Aware Adaptive Dimension Selection for Dense Retrieval
Beihang University(北京航空航天大学)
本文提出了一种查询感知自适应维度选择框架,通过学习查询嵌入直接预测各维度的重要性,以提升密集检索效果。
2026-02-07 cs.AI cs.IR
LLMs can be Fooled into Labelling a Document as Relevant (best café near me; this paper is perfectly relevant)
研究发现LLM在评估文本相关性时易受查询词出现和操纵指令影响而偏向标记为相关,揭示了LLM生成标签存在偏差风险及部署漏洞。
2025-01-29 cs.IR
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo(滑铁卢大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校)
提出ADORE框架,通过迭代生成伪段落、检索语料库并评估相关性,利用检索反馈指导查询扩展,显著提升检索性能。
2026-06-15 cs.CL cs.IR
Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shandong University(山东大学)
针对信息检索对话中候选回复检索与重排序问题,提出QB-PRF框架,通过无监督对比学习选择同义查询并以多维注意力融合查询袋,从而增强查询表示并提升匹配性能。
2024-03-22 cs.CL cs.IR
Domain Adaptation for Dense Retrieval through Self-Supervision by Pseudo-Relevance Labeling
虽然神经信息检索已经取得了很大的进步,但最近的工作表明,稠密检索模型对具有不同分布的目标域的泛化能力是有限的,这与基于交互的模型所获得的结果形成对比。为了解决这个问题,研究人员采用了对抗学习和查询生成方法;然而,这两种方法的改进有限。在本文中,我们建议使用一个自我监督的方法,其中伪相关标签自动生成的目标域。为此,我们首先在目标域上使用标准BM 25模型来获得文档的第一次排名,然后使用基于交互的模型T53 B来重新排名顶级文档。我们进一步结合这种方法与知识蒸馏依赖于一个基于互动的教师模型训练的源域。我们的实验表明,使用T53 B和MiniLM教师的伪相关性标记平均表现优于其他方法,并有助于改善最先进的查询生成方法GPL时,它是微调的伪相关性标记的数据。
2022-12-13 cs.IR
Unsupervised Search Algorithm Configuration using Query Performance Prediction
eBay Research(易趣研究院)
搜索引擎配置对于不专业的开发人员来说可能相当困难。相反,可以使用自动配置方法来加快开发时间。然而,这样的自动过程通常需要相关性标签来训练监督模型。在这项工作中,我们提出了一个简单的解决方案,查询性能预测的基础上,不需要相关标签,但只有一个样本的查询在一个给定的域。使用两个示例用例,我们证明了我们的解决方案的优点。
2022-10-03 cs.CL cs.IR