Agent4Ranking: Semantic Robust Ranking via Personalized Query Rewriting Using Multi-agent LLM
本文提出Agent4Ranking框架,利用多智能体大语言模型模拟不同人口统计群体进行查询改写,并结合鲁棒MMoE架构与混合损失函数,增强排序模型对多样化查询表述的鲁棒性。
2023-12-24 cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注,因为他们带来了上下文的权力,Transformer模型的高效检索。在这项工作中,我们研究了两个深上下文的基于术语的模型在查询的背景下,通过示例(QBE)检索,其中种子文件作为查询,以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的,因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2,它们都利用BERT标记器作为查询编码器。使用这种方法,在查询时不需要BERT推理,并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明,在逐例查询检索设置中,TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而,我们观察到,BM 25可以显示出竞争力的排名质量相比,TILDE和TILDEV 2这是在对比的结果,这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题,使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE(TILDEv 2)和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是,这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
A Dual Embedding Space Model for Document Ranking
搜索引擎的基本目标是在给定查询的情况下识别具有相关文本的文档。这在本质上是困难的,因为查询和文档可能使用不同的词汇表,或者文档可能包含不相关的查询词。我们调查神经词嵌入作为证据来源的文档排序。我们训练一个word 2 vec嵌入模型在一个大型的未标记的查询语料库,但在如何使用该模型是常用的,我们保留了输入和输出的预测,使我们能够利用这两个嵌入空间,以获得更丰富的分布关系。在排序过程中,我们将查询词映射到输入空间,将文档词映射到输出空间,并通过聚合所有查询-文档词对的余弦相似度来计算查询-文档相关性得分。我们假设,建议的双嵌入空间模型(DESM)捕获的证据,一个文件是否是关于一个查询词除了什么是传统的基于词频的方法建模。我们的实验表明,DESM可以重新排名顶部返回的商业Web搜索引擎,如Bing,比一个基于术语匹配的信号,如TF-IDF的文件。然而,当对一组较大的候选文档进行排名时,我们发现基于嵌入的方法容易出现误报,检索到的文档与查询仅松散相关。我们证明,这个问题可以有效地解决排名的DESM和字数统计功能的线性混合的基础上。
2016-02-02 cs.IR
Learning Optimal Card Ranking from Query Reformulation
移动搜索最近被证明是搜索市场增长的主要贡献者。移动搜索和桌面搜索的关键区别在于,信息呈现仅限于移动终端的屏幕空间。因此,主要的搜索引擎已经采用了一种新类型的搜索结果呈现,称为\textit{information cards},其中每个卡片呈现针对给定查询的来自一个域/垂直的汇总结果,以扩充标准的蓝色链接搜索结果。虽然人们普遍认为信息卡特别适合移动用户体验,但优化此类结果集也具有挑战性。通常,像查询重构这样的用户参与度度量是基于每个查询的卡片的整个排名列表的,并且大多数传统的学习排序算法需要每个项目的相关性标签。在本文中,我们调查的可能性解释查询重组成有效的相关标签的查询卡对。我们继承了传统的学习排名的概念,并提出逐点,成对和列表的查询重构的解释。此外,我们提出了一个学习标签策略,学习每张卡的贡献,相对于查询,这些贡献可以用作标签的训练卡排名模型。我们利用一个国家的最先进的排名模型,并证明了所提出的机制的有效性,从一个主要的搜索引擎的大规模移动数据,显示来自用户参与的标签训练的模型可以显着优于从人类判断标签训练。
2016-06-22 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Interpreting Neural Ranking Models using Grad-CAM
近年来,将深度神经网络应用于信息检索已成为一个重要而及时的课题。例如,与传统的排名模型相比,神经排名模型(NRM)已经显示出有前途的性能。然而,由于神经网络的复杂结构,解释NRM的排名结果变得更加困难。另一方面,大量关于可解释机器学习(IML)的研究正在进行中,包括Grad-CAM。Grad-CAM是一种属性方法,它可以可视化对网络输出有贡献的输入区域。在本文中,我们采用Grad-CAM解释NRM的排名结果。通过采用Grad-CAM,我们分析了每个查询文档术语对如何对给定的查询和文档对的匹配得分做出贡献。可视化结果提供了关于为什么某个文档与给定查询相关的见解。此外,结果表明,神经排名模型捕捉到了相关性的微妙概念。我们的解释方法和可视化结果可以用于片段生成和用户查询意图分析。
2020-05-12 cs.IR
Efficient Neural Ranking using Forward Indexes
神经文档排序方法,特别是Transformer模型,在排名性能方面取得了令人印象深刻的进步。然而,使用这种过度参数化模型的查询处理是资源和时间密集型的。在本文中,我们提出了快进索引-一个简单的向量向前索引,便于使用插值的词汇和语义分数的排名文件-作为上下文重排序和密集索引的基础上最近邻搜索的替代品。Fast-Forward索引依赖于高效的稀疏模型进行检索,并且仅在恒定时间内查找文档和段落的预先计算的密集的基于transformer的向量表示,以便在查询处理期间进行快速的基于CPU的语义相似性计算。我们提出了索引修剪和理论上接地早期停止技术,以提高查询处理吞吐量。我们在TREC-DL数据集上进行了广泛的大规模实验,并显示了仅使用CPU的混合索引在性能和查询处理效率方面的改进。由于词汇和语义相似性的互补优势,快进索引可以使用插值提供更好的排名性能。
2022-04-04 cs.IR
Learning Joint Query Interpretation and Response Ranking
由于信息抽取和语义Web的努力,使用语义注释和结构化知识库对非结构化文本的搜索越来越精细。然而,大多数用户不能熟悉知识库的模式,并要求结构化查询。将自由格式的查询解释为更结构化的表示是当前的一大兴趣。主要范例是根据目的(对类型、实体、属性名称、属性值、关系的引用)对查询标记进行分段或分区,然后在结构化知识库上启动解释的查询。考虑到结构化知识提取永远不会完成,这里我们使用一种保留非结构化文本语料库以及结构化注释的数据表示(实体和关系的提及)。我们提出了两个新的,自然的联合查询解释和响应排名公式,利用知识库和语料库之间的双向信息流。一个,受概率语言模型的启发,在查询解释的不确定性上计算预期响应分数。另一种是基于最大边际判别学习,用潜变量表示这些不确定性。在类型化实体搜索的上下文中,这两个公式都弥合了根本不约束类型的通用查询与每个查询的"完美"目标实体类型由人类提供的上限之间的相当大一部分准确性差距。我们的配方也优于一个两阶段的方法,首先选择一个目标类型,使用最近的查询类型预测技术,然后启动一个类型限制的实体搜索查询。
2012-12-26 cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测(QEP)任务及 GEP 方法,利用文档组词汇信息预测查询下各组在排序中的曝光分布,实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
Exploring Query Understanding for Amazon Product Search
本文基于 Amazon Search 真实系统开展为期一年的研究,分析查询理解对商品排序特征、模型评估的影响,并提出基于查询理解的多任务排序框架。
2024-08-05 cs.IR
Incorporating Query Term Independence Assumption for Efficient Retrieval and Ranking using Deep Neural Networks
Microsoft AI & Research(微软人工智能与研究院)
经典的信息检索(IR)方法,如查询可能性和BM 25,评分文件独立w.r.t.每个查询词,然后累积分数。假设查询术语独立性允许使用这些模型预先计算术语-文档分数--这些模型可以与专门的数据结构(如倒排索引)相结合,以实现高效检索。相比之下,深度神经IR模型将整个查询与文档进行比较,因此通常仅用于后期重新排名。我们将查询项独立性假设纳入三个最先进的神经IR模型:BERT,Duet和CKNRM-并评估它们在段落排名任务上的性能。令人惊讶的是,我们观察到Duet和CKNRM的结果质量没有显著损失,而BERT的结果质量略有下降。然而,通过独立地对每个查询词进行操作,这些计算密集型模型变得易于离线预计算-大大降低了采用最先进的神经排名模型进行查询评估的成本。这种策略使得使用深度模型从大型集合中进行检索变得切实可行,而不是将其使用限制在后期重新排名。
2019-07-08 cs.IR cs.LG
CROSS-JEM: Accurate and Efficient Cross-encoders for Short-text Ranking Tasks
针对现有交叉编码器独立打分忽略联合上下文、精度不足且成本高的问题,提出CROSS-JEM方法,通过联合打分与新型训练目标,实现了短文本排序任务的SOTA精度与4倍以上延迟降低。
2024-09-15 cs.IR
Interpreting search result rankings through intent modeling
鉴于最近的兴趣,可以说是准确的,但不可解释的神经模型,即使与文本特征,文档排序,我们试图回答有关如何解释排名的问题。在本文中,我们采取的第一个步骤对检索模型的可解释性框架的目的是回答3个主要问题“什么是查询的意图,根据排名?“,“为什么一个文档在查询中的排名高于另一个?“和“为什么一个文件与查询相关?“我们的框架是基于这样一个假设,即基于文本的检索模型行为可以使用查询扩展结合一个更简单的检索模型来估计,而不管底层的排名。我们使用Cocktail Web测试集合进行了实验。我们展示了我们的方法如何使用封闭形式符号(允许我们测量解释的准确性)和神经排名模型来实现更简单的模型。我们的研究结果表明,我们确实可以解释更复杂的模型,在某些简化的假设下具有合理的准确性。在一个案例研究中,我们还表明,我们的框架可以用来解释DRMM神经检索模型在各种情况下的结果。
2018-09-13 cs.IR
Composite Re-Ranking for Efficient Document Search with BERT
虽然相当大的努力已经投入到基于变压器的排名模型的文档搜索,相关性效率的权衡仍然是一个关键问题的特设排名。为了克服这一挑战,本文提出了BECR(基于BERT的复合重新排序),一个复合重新排序方案,结合了深度上下文令牌交互和传统的词汇术语匹配功能。特别地,BECR利用令牌编码机制将查询表示分解为可预计算的uni-gram和skip-n-gram。通过在双编码器架构之上应用令牌编码,BECR在捕获查询的上下文语义的同时分离了查询和文档之间的注意力。与以前的方法相比,该框架在在线推理期间不执行昂贵的BERT计算。因此,它是显着更快,但仍然能够实现高竞争力的ad-hoc排名的相关性。最后,使用TREC数据集描述了BECR和其他最先进的神经排名基线之间的深入比较,从而进一步证明了BECR的增强的相关性和效率。
2022-01-06 cs.IR
A New Email Retrieval Ranking Approach
电子邮件检索任务最近得到了很多关注,以帮助用户检索与提交的查询相关的电子邮件。据我们所知,现有的电子邮件检索排名方法排序检索电子邮件的基础上一些启发式规则,这要么是搜索线索或一些预先定义的用户标准植根于电子邮件字段。不幸的是,用户通常不知道有效的规则,获得最好的排名有关他的查询。本文提出了一种新的电子邮件检索排名方法来解决这个问题。它根据评分函数对检索到的电子邮件进行排名,该评分函数取决于关键的电子邮件字段,即主题,内容和发件人。本文还提出了一种架构,允许网络/用户组中的每个用户能够,如果允许的话,知道最重要的网络搜索者谁是感兴趣的,他提交的查询词。在Enron语料库上的实验结果表明,该方法的性能优于现有的邮件检索排序方法。
2010-11-02 cs.IR
Cluster Language Model for Improved E-Commerce Retrieval and Ranking: Leveraging Query Similarity and Fine-Tuning for Personalized Results
本文提出利用K-Means对查询聚类并在各簇上微调聚类语言模型,以较低训练成本改进电商检索准确性,实现优于双编码器模型的个性化检索结果。
2023-09-25 cs.IR
A New Email Retrieval Ranking Approach
电子邮件检索任务最近得到了很多关注,以帮助用户检索与提交的查询相关的电子邮件。据我们所知,现有的电子邮件检索排名方法排序检索电子邮件的基础上一些启发式规则,这要么是搜索线索或一些预先定义的用户标准植根于电子邮件字段。不幸的是,用户通常不知道有效的规则,获得最好的排名有关他的查询。本文提出了一种新的电子邮件检索排名方法来解决这个问题。它根据评分函数对检索到的电子邮件进行排名,该评分函数取决于关键的电子邮件字段,即主题,内容和发件人。本文还提出了一种架构,允许网络/用户组中的每个用户能够,如果允许的话,知道最重要的网络搜索者谁是感兴趣的,他提交的查询词。在Enron语料库上的实验结果表明,该方法的性能优于现有的电子邮件检索排序方法
2010-11-01 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架,通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系,利用个性化上下文信号优化文档排序,有效提升了个性化搜索效果。
2023-09-10 cs.IR
A Passage-Based Approach to Learning to Rank Documents
根据常见的相关性判断机制,例如TREC的,即使文档包含具有相关信息的非常短的文本段落,也可以认为文档与查询相关。这一事实激发了基于XML的文档检索的工作:从文档的段落中归纳信息的文档排序方法。然而,主要来源的基于XML的信息利用的是XML查询相似性。我们解决的挑战,利用更丰富的基于XML的信息源,以提高文档检索的有效性。具体来说,我们设计了一套学习排名为基础的文件检索方法,利用有效的排名的段落产生的响应查询,也诱导使用学习排名的方法通过排名。一些方法量化了文档段落的排名。其他人利用用于学习段落排名器的段落的基于特征的表示。实证评估证明了我们的方法在高度有效的基线方面的明显优点。我们最好的执行方法是基于学习的文档排序功能使用文档查询功能和查询功能的文档的通道排名最高。
2019-06-05 cs.IR
CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准,专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求,即“英国的开放银行监管如何使挑战者银行受益?". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库,其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17,509个文档和实体(每个主题416.9个)的专家判断。手动运行包括387个查询重写,为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析,包括稠密检索和神经重新排序。结果表明,主题是具有挑战性的,为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序,展示了资源的价值,评估和改进面向实体的搜索。我们还表明,手动查询重构显着提高文档排序和实体排名的性能。总体而言,CODEC提供了具有挑战性的研究课题,以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
Using Query Expansion in Manifold Ranking for Query-Oriented Multi-Document Summarization
Beihang University(北京航空航天大学)
流形排序已成功地应用于面向查询的多文档摘要。它不仅利用了句子之间的关系,而且还利用了给定查询和句子之间的关系。然而,原始查询的信息往往是不够的。为此,本文提出了一种结合流形排序的查询扩展方法来解决这一问题。该方法不仅利用查询词本身的信息和知识库WordNet进行同义词扩展,还利用文档集本身的信息进行多种方式的查询扩展(均值扩展、方差扩展和TextRank扩展)。与以往的查询扩展方法相比,我们的方法结合了多种查询扩展方法,更好地表示查询信息,同时在流形排序上做了有益的尝试。此外,我们使用词的重叠度和词之间的接近度来计算句子之间的相似度。在DUC2006和DUC2007数据集上进行了实验,实验结果表明,所提出的查询扩展方法能够显著提高系统性能,使系统性能达到与现有系统相当的水平.
2021-07-31 cs.AI cs.IR cs.LG
Deep Neural Network for Learning to Rank Query-Text Pairs
本文用学习排序方法研究信息检索系统中的文档排序问题。我们提出了ConvRankNet,它结合了Siamese卷积神经网络编码器和RankNet排名模型,可以以端到端的方式进行训练。我们证明了一个一般性的结果证明了成对学习排序方法的线性测试时间复杂度。在OHSUMED数据集上的实验表明,ConvRankNet系统地优于现有的基于特征的模型。
2018-02-25 cs.IR
CREDENCE: Counterfactual Explanations for Document Ranking
本研究提出交互式工具CREDENCE,针对信息检索中的文档排序问题,从文档、查询及其他文档维度生成反事实解释,还支持用户自定义扰动以获取相关洞见,提升了排序器的可解释性。
2023-02-10 cs.IR
Test-Time Optimization of Query Embeddings with Ranking Aware Reward Maximization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出TTT-Embed框架,将排名奖励提炼为轻量学习向量,无需访问模型权重即可优化,在多嵌入模型和MTEB任务上显著提升测试时检索效果,且具备良好泛化性,解决了灾难性遗忘问题。
2026-08-14 cs.IR
Neural-IR-Explorer: A Content-Focused Tool to Explore Neural Re-Ranking Results
在本文中,我们期待超越基于度量的评价信息检索系统,探索背后的排名结果的原因。我们提出了以内容为中心的Neural-IR-Explorer,它使用户能够浏览检索结果,并检查神经重新排序模型的内部工作和细粒度结果。该资源管理器包括可用查询的分类概述,以及带有各种选项的单个查询结果视图,以突出显示查询-文档对之间的语义连接。Neural-IR-Explorer可从以下网址获得:https://neural-ir-explorer.ec.tuwien.ac.at/
2019-12-10 cs.IR
Cross-Document Neural Re-Ranking via Query-Induced Subgraphs
Sapienza University of Rome(罗马第一大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Cambridge(剑桥大学);Istituto Nazionale di Geofisica e Vulcanologia(国家地球物理与火山学研究所);University of Pisa(比萨大学)
提出GNRR框架,利用查询诱导子图和GNN传播跨文档信号,实现线性复杂度重排序,在TREC-DLHard上比TCT-ColBERT提升5.2% AP,优于自注意力方法。
2026-09-15 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business(雅典经济与商业大学);Google AI(谷歌人工智能)
我们探索了几种新的文档相关性排名模型,建立在Guo et al.(2016)的深度相关性匹配模型(DRMM)基础上。与DRMM不同,DRMM使用术语的上下文不敏感编码和查询-文档术语交互,我们在整个模型中注入了丰富的上下文敏感编码,灵感来自PACRR(Hui等人,卷积n-gram匹配功能,但以多种方式扩展,包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型(Tsatsaronis等人,2015年)和TREC ROBUST 2004年(Voorhees,2005年),显示它们优于基于BM 25的基线,DRMM和PACRR。
2018-09-11 cs.CL cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊 Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而,查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距,灵感来自最近的进展,应用上下文模型,如BERT的文档检索任务,本文提出了一种新的查询扩展模型,利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中,所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking
搜索引擎在严格的时间限制下运行,因为快速响应对用户满意度至关重要。因此,神经重新排序模型具有有限的时间预算来重新排序文档。在相同的时间内,更快的重新排序模型可以比效率较低的模型包含更多的文档,从而提高效率。为了利用这一属性,我们提出了TK(Transformer-Kernel):一个神经网络重新排名模型的ad-hoc搜索使用一个有效的上下文化机制。TK使用非常少的Transformer层(最多三个)来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分,我们使用了文档长度增强的内核池,这使用户能够深入了解模型。传统知识提供了有效性和效率之间的最佳比例:在现实的时间限制(最大。每个查询200 ms)TK与BERT和其他重排序模型相比达到了最高的效率。我们在三个大规模的排名集合上证明了这一点:MSMARCO-Passage,MSMARCO-Document和TREC CAR。此外,为了深入了解TK,我们进行了聚类查询分析TK的结果,突出其优势和劣势的查询与不同类型的信息需要,我们展示了如何解释的原因,排名差异的两个文件,通过比较其内部分数。
2020-02-04 cs.IR
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力,发现额外指令微调可能降低效果,并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
Ranking Narrative Query Graphs for Biomedical Document Retrieval (Technical Report)
本文针对生物医学文档检索中图检索精确匹配难以排序的问题,提出基于图的无监督排序、查询松弛和本体重写方法,有效提升了检索的精确率和召回率。
2024-12-06 cs.IR
HyQE: Ranking Contexts with Hypothetical Query Embeddings
Boston University(波士顿大学);Intuit AI Research(Intuit人工智能研究院)
HyQE提出一种无需微调LLM的可扩展上下文排序框架,通过让预训练LLM基于检索上下文生成假设查询,再计算其与用户查询的嵌入相似度来排序,在多个基准上提升了排序性能。
2024-10-20 cs.AI cs.IR
Mind Your Language: Effects of Spoken Query Formulation on Retrieval Effectiveness
语音搜索正在成为与搜索引擎交互的流行模式。因此,研究已经转向构建更好的语音转录引擎、界面和搜索引擎,以更好地处理查询的固有冗长性。然而,当人们考虑其使用的非母语的英语,另一个方面,变得重要的是制定的查询用户。在本文中,我们提出了一个初步的研究结果,我们进行了与非英语母语的人制定查询给定的检索任务。我们的研究结果表明,目前的搜索引擎是敏感的,在他们的排名查询制定,从而突出了需要开发更强大的排名方法。
2013-12-14 cs.IR
Query-level Early Exit for Additive Learning-to-Rank Ensembles
Ca’ Foscari University of Venice(威尼斯卡福斯卡里大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
搜索引擎排名管道通常基于大量机器学习的决策树。查询响应时间的严格约束最近促使研究人员研究算法,以使更快的遍历的加法集成或提前终止的文件,不太可能被排在前k的评估。在本文中,我们调查的新问题的\textit{query-level early exiting},旨在决定提前停止遍历的排名集成的所有候选文件进行评分的查询的盈利能力,通过简单地返回排名的基础上计算的附加分数有限的一部分合奏。除了在查询延迟和吞吐量上的明显优势外,我们还讨论了查询级提前退出对排名有效性的可能积极影响。为此,我们研究了树集成的增量部分对给定查询得分的前k个文档的排名的实际贡献。我们的主要发现是,查询表现出不同的行为,分数积累在遍历的合奏和查询级的早期停止可以显着提高排名质量。我们在两个公共数据集上进行了一个可再现的综合实验评估,结果表明查询级提前退出在NDCG@10方面的总体增益高达7.5%,评分过程的加速高达2.2倍。
2020-04-30 cs.IR cs.LG
Query Chains: Learning to Rank from Implicit Feedback
本文提出了一种使用点进数据来学习网络搜索结果的排名检索函数的新方法。我们观察到,用户搜索网络经常执行一个序列,或链,查询具有类似的信息需求。使用查询链,我们从搜索引擎日志中生成新类型的偏好判断,从而利用用户智能重新制定查询。为了验证我们的方法,我们进行了一个受控的用户研究比较生成的偏好判断明确的相关性判断。我们还实现了一个真实世界的搜索引擎来测试我们的方法,使用修改后的排名SVM从偏好数据中学习改进的排名函数。我们的研究结果表明,显着改善排名的搜索引擎。学习的排名优于静态排名函数,以及在不考虑查询链的情况下训练的排名。
2006-05-08 cs.IR cs.LG
Mixed-initiative Query Rewriting in Conversational Passage Retrieval
本文提出混合主动查询重写模块,通过生成歧义问题并融合用户反馈来替代神经重写,结合 BM25、TCT-ColBERT、MonoT5 和 DuoT5 多阶段检索,在 TREC CAsT 数据集上验证了其优于 CANARD-T5 和 HQE 的检索性能。
2024-10-17 cs.IR
Competitive Retrieval: Going Beyond the Single Query
该研究聚焦多查询竞争检索场景,通过博弈论证明均衡未必存在,实验发现神经排序器比基于特征的排序器更难被操纵提升多查询排名,并提出了预测下一次最高排名文档的有效方法。
2024-04-14 cs.GT cs.IR
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
DREQ: Document Re-Ranking Using Entity-based Query Understanding
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出面向实体的稠密重排序模型DREQ,通过强化查询相关实体并削弱无关实体构建查询特定的混合文档表示,在四个基准上超越现有神经与非神经重排序方法。
2024-01-11 cs.AI cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University(查理大学)
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集,验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
A Simple Linear Ranking Algorithm Using Query Dependent Intercept Variables
Google Research(谷歌研究院)
LETOR网站包含三个信息检索数据集,用作测试排名机器学习思想的基准。参与挑战的算法需要为查询集合的搜索结果分配得分值,并且使用仅依赖于结果的相对得分引起的顺序的标准IR排名度量(NDCG、精度、MAP)来测量。与参与算法中提出的许多想法类似,我们训练线性分类器。与其他参与算法相比,我们为每个查询定义了一个额外的自由变量(截距或基准)。这允许表达不同查询的结果对于确定相关性的目的是不可比较的事实。这种想法的代价是增加了相对较少的讨厌参数。我们的方法很简单,并且我们使用了一个标准的逻辑回归库来测试它。结果击败了报道的参与算法。因此,将我们的方法与其他更复杂的想法结合起来似乎很有希望。
2008-10-15 cs.IR cs.LG
Quam: Adaptive Retrieval through Query Affinity Modelling
本文提出 Quam 查询亲和度模型,利用相关性感知文档相似度图增强自适应检索,在低重排序预算下显著提升召回率,并可作为通用模块嵌入现有方法。
2024-10-26 cs.IR
A Modern Perspective on Query Likelihood with Deep Generative Retrieval Models
现有的神经排序模型遵循文本匹配范式,其中通过预测匹配分数来估计文档与查询的相关性。借鉴经典生成式检索模型的丰富文献,我们引入并形式化了通过生成查询词的累积概率定义的深度生成式检索模型的范式。这种模式提供了一个接地概率相关性估计的观点,同时仍然能够使用现代神经架构。与匹配范式相反,生成排名的概率性质很容易提供一个细粒度的不确定性度量。我们在我们的框架中采用了几种当前的神经生成模型,并引入了一种新的生成排序器(T-PGN),它结合了Transformers的编码能力和指针生成器网络模型。我们利用MS MARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking集合,对段落检索进行了一系列广泛的评估实验。我们的研究结果表明,显着更高的性能的T-PGN模型相比,其他生成模型。最后,我们证明了利用深度生成排名器的不确定性信息为查询/集合理解开辟了新的视角,并显着改善了截止预测任务。
2021-06-25 cs.IR
From Item-Only to Query-Item: Query-Conditioned Generative Search with QGS in Quark
Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学)
针对生成式序列模型在搜索排序中难以处理查询切换导致的语义不连续问题,提出查询条件生成式搜索(QGS),通过将交互编码为(查询,项目)对并使用查询条件下一项目目标训练,结合线性HSTU编码器和HFG-Attention融合异构特征,在Quark搜索中实现了CTR、点击搜索比和浏览时长的显著提升。
2026-05-25 cs.IR
Leveraging User Behavior History for Personalized Email Search
一个有效的电子邮件搜索引擎可以方便用户的搜索任务,提高他们的沟通效率。用户可能对电子邮件的各种排名信号有不同的偏好,例如基于他们手头的任务甚至他们的工作的相关性和新近度。因此,统一的匹配模式对于所有用户来说不是最佳的。相反,一个有效的电子邮件排名应该进行个性化的排名,考虑到用户的特点。已有的研究从不同的角度探索用户特征,使电子邮件搜索结果个性化。然而,很少关注用户的搜索历史来描述用户的特征。虽然用户的历史行为已被证明是有益的,作为上下文在Web搜索中,他们的电子邮件搜索的效果还没有被研究,仍然是未知的。鉴于这些观察,我们建议利用用户搜索历史作为查询上下文来描述用户,并建立一个上下文感知的电子邮件搜索排名模型。与以前基于原始文本的上下文相关排名技术相比,我们在搜索历史中使用排名功能。这使我们免于潜在的隐私泄露,同时为看不见的用户提供更好的泛化能力。因此,我们提出了一个上下文相关的神经排名模型(CNRM),编码的排名功能,在用户的搜索历史查询上下文,并表明它可以显着优于基线神经模型,而不使用上下文。我们还调查了从CNRM获得的查询上下文向量对最先进的学习排名模型LambdaMart通过聚类向量和合并聚类信息的好处。实验结果表明,在LambdaMart上也能获得明显更好的结果,表明查询聚类能够表征不同用户,有效地实现了排序模型的个性化。
2021-03-17 cs.IR
A Semantic Alignment System for Multilingual Query-Product Retrieval
本文主要介绍了我们在KDD CUP 2022的Amazon ESCI挑战赛中获胜的解决方案(团队名称:www),该解决方案在NDCG中获得了0.9043的分数,并在任务1(查询产品排名)中获得第一名。在这次比赛中,参赛者提供了一个真实世界的大规模多语言购物查询数据集,它包含查询产品对英语,日语和西班牙语。本次竞赛提出了三个不同的任务,包括对结果列表进行排名作为任务1,将查询/产品对分类为精确、替代、互补或不相关(ESCI)类别作为任务2,以及为给定查询识别替代产品作为任务3。我们主要集中在任务1,并提出了一个多语言查询产品检索的语义对齐系统。采用预先训练好的多语言语言模型(LM)来获得查询和产品的语义表示。我们的模型都是用交叉熵损失训练的,首先将查询-产品对分类到ESCI的4个类别中,然后我们使用4类概率的加权和来获得排名得分。为了进一步增强模型,我们还进行了精心的数据预处理,通过翻译进行数据增强,使用英语LM专门处理英语文本,使用AWP和FGM进行对抗训练,自蒸馏,伪标签,标签平滑和集成。最后,我们的解决方案在公共和私人排行榜上都优于其他人。
2022-08-05 cs.IR
Recall Begets Recall: Recurrent Memory Ranking for Personalized LLMs
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);AGH University of Science and Technology(AGH科技大学);Alibaba Group(阿里巴巴集团)
针对现有个性化LLM记忆排序器单次遍历易漏相关记忆、固定截断未适配查询需求的问题,提出循环自终止式记忆排序器ReMind,经公开基准实验取得最优效果。
2026-10-14 cs.IR
Long or Short or Both? An Exploration on Lookback Time Windows of Behavioral Features in Product Search Ranking
本文研究了产品搜索排序中行为特征回溯时间窗口的影响,提出一种整合不同时间窗口历史特征的新方法,并利用query层级垂直信号有效聚合信息,在Walmart.com实时流量上验证了其有效性。
2024-09-26 cs.IR
Query-Adaptive Hash Code Ranking for Large-Scale Multi-View Visual Search
Beihang University(北京航空航天大学);Xidian University(西安电子科技大学);University of Technology at Sydney(悉尼科技大学)
基于散列的最近邻搜索在许多应用中变得有吸引力。然而,在散列量化通常退化的判别力时,使用汉明距离排序。此外,对于大规模的视觉搜索,现有的哈希方法不能直接支持多源数据的高效搜索,而文献表明,自适应地结合来自不同来源或视图的互补信息可以显着提高搜索性能。为了解决这些问题,本文提出了一种新的和通用的方法来构建多个哈希表与多个视图,并生成细粒度的排序结果,按位和表的水平。对于每个哈希表,查询自适应逐位加权,以减轻量化损失,同时利用哈希函数的质量和最近邻搜索他们的补充。从表的角度出发,为不同的数据视图建立多个哈希表作为联合索引,在此基础上提出了一种查询特定的排序融合方法,通过在图中扩散的方式对按位排序的结果进行重新排序.在三个著名的基准上进行的图像搜索的综合实验表明,该方法在单表和多表搜索上的性能比现有方法分别提高了17.11%和20.28%。
2019-04-18 cs.IR cs.LG
An In-depth Analysis of Passage-Level Label Transfer for Contextual Document Ranking
本文分析文档切分与段落级标签迁移对检索效果和效率的影响,提出弱监督段落标注方案,在四个数据集上以可控复杂度取得3%–14%的nDCG提升。
2023-12-06 cs.IR
Groupwise Query Performance Prediction with BERT
虽然像BERT这样的大规模预训练语言模型已经推进了IR的最新技术,但到目前为止,它在查询性能预测(QPP)中的应用仍然是基于单个查询的逐点建模。同时,最近的研究表明,一组文档的交叉注意建模可以有效地提高学习排名算法和基于BERT的重新排名的性能。为此,提出了一种基于BERT的groupwise QPP模型,在该模型中,查询列表的排名上下文被联合建模,以预测单个查询的相对性能。在三个标准TREC集合上的广泛实验展示了我们方法的有效性。我们的代码可在https://github.com/VerdureChen/Group-QPP上获得。
2022-04-25 cs.IR
Pretraining De-Biased Language Model with Large-scale Click Logs for Document Ranking
预训练语言模型在各种大规模信息检索任务中取得了巨大的成功。然而,大多数预训练任务是基于伪造的检索数据,其中定制规则产生的查询被假设为用户对给定文档或段落发出的查询。因此,我们探索使用大规模点击日志来预训练语言模型,而不是对模拟查询进行回复。具体来说,我们建议使用用户行为特征来预训练一个用于文档排序的去偏见语言模型。对百度脱敏点击日志的大量实验验证了我们方法的有效性。我们的团队在WSDM Cup 2023网络搜索预训练中以12.16525的折扣累积增益@10(DCG@10)得分在最终排行榜上获得第一名。
2023-02-27 cs.IR
Difficulty-Gated Fusion of Reasoning Views for Temporal Retrieval
UNSW Sydney(新南威尔士大学);University of Innsbruck(因斯布鲁克大学)
该研究针对时序检索中多改写视图融合的精度问题,提出查询难度门控的推理视图融合方法,在Tempo基准上提升了6种检索器的性能,且增益显著。
2026-08-11 cs.IR