Query Term Weighting based on Query Performance Prediction
提出了一种基于查询性能预测的查询词加权方法。为此,根据其对查询性能的预测影响来对给定术语进行加权。这样的效果被认为是表现在响应的基础检索方法的原始查询和它的(简单的)变种的形式,一个单一的长期扩展查询。重点搜索重新排名的基础应用程序,所提出的术语加权方法的有效性证明了使用几个国家的最先进的QPP方法评估TREC语料库。
2019-02-27 cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Conventional Contrastive Learning Often Falls Short: Improving Dense Retrieval with Cross-Encoder Listwise Distillation and Synthetic Data
针对传统对比学习微调在稠密检索中效果不佳的问题,提出交叉编码器列表式蒸馏与多样化合成查询数据的方法,显著提升多数据集检索效果,并达到BERT嵌入模型最先进水平。
2025-05-25 cs.IR
Query-specific Variable Depth Pooling via Query Performance Prediction towards Reducing Relevance Assessment Effort
本文提出利用QPP估计各查询的潜在相关文档数并设置可变池深度,从而在保持IR系统相对有效性评估的同时显著减少相关性标注工作量。
2023-04-23 cs.IR
Selective Query Processing: a Risk-Sensitive Selection of System Configurations
本研究提出一种风险敏感的配置预选方法,结合查询特征相似性选择最佳系统配置,以少量配置显著提升信息检索有效性,并证明按查询自适应系统的可行性。
2023-05-17 cs.IR
Leveraging Large Language Models for Medical Information Extraction and Query Generation
本研究提出将大语言模型整合到临床试验检索系统中,评估发现小型开源LLM的检索效果媲美甚至超越专家查询与现有方法,且响应快、查询词量可控,可平衡医疗场景下的性能与落地性。
2024-10-31 cs.IR
Dynamic Trade-Off Prediction in Multi-Stage Retrieval Systems
现代多阶段检索系统由候选生成阶段和一个或多个重新排序阶段组成。在这种架构中,最终排名列表的质量可能对初始候选池的质量不敏感,特别是在早期精度方面。这提供了几个机会,以提高检索效率,而不会显着牺牲有效性。在本文中,我们探索了一种新的方法来动态预测两个不同的参数在候选生成阶段,可以直接影响整个系统的整体效率和有效性。以前探索这种权衡的工作主要集中在适用于所有查询的全局参数设置上,即使最佳设置因查询而异。相比之下,我们提出了一种技术,使一个参数预测,最大限度地提高效率,在一个有效性的信封上每个查询的基础上,只使用静态预检索功能。使用分类器级联来决定有效性和效率之间的查询特定的权衡点,该分类器级联在可能的参数截止值的范围内权衡可能的效率增益与有效性损失以进行预测。我们的新方法中有趣的转折是训练分类器,而不需要显式的相关性判断。我们表明,我们的框架是可推广的,通过将其应用到两个不同的检索参数-选择常见的前k查询检索算法中的k,并设置一个质量阈值,$ρ$,得分在一个时间近似查询评估算法。实验结果表明,大量的效率增益是可以实现的动态参数的选择。此外,我们的框架提供了一个通用的工具,可用于在选择和调整算法进行机器学习预测之前估计可能的有效性-效率权衡。
2016-10-08 cs.IR
A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Improved Query Topic Models via Pseudo-Relevant Pólya Document Models
基于伪相关反馈的查询扩展是克服词汇不匹配问题和提高检索效率的一种常用方法。在本文中,我们开发了一种新的方法,估计一个查询主题模型从一组伪相关的文件,使用一个新的语言建模框架。我们假设文档是通过多变量Polya分布的混合生成的,并且我们表明,通过识别每个文档中的主题术语,我们可以适当地选择可能属于查询主题模型的术语。几个TREC集合的实验结果表明,新的方法相比,目前国家的最先进的扩展方法。
2016-02-04 cs.IR
On Coherence-based Predictors for Dense Query Performance Prediction
本研究提出基于神经嵌入的连贯性预测器变体,用于预测稠密检索模型(ANCE和TCT-ColBERT)的查询性能,实验显示准确性大幅提升,并发现查询类型显著影响预测稳定性。
2023-10-17 cs.IR
Reason to Retrieve: Enhancing Query Understanding through Decomposition and Interpretation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Baidu Inc.(百度公司);University of Amsterdam(阿姆斯特丹大学)
ReDI通过分解与解释增强查询理解,有效提升长形式复杂查询的检索性能。
2026-02-10 cs.IR
Beyond Correlations: A Downstream Evaluation Framework for Query Performance Prediction
Indian Association for the Cultivation of Science(印度科学培养协会);University of Glasgow(格拉斯哥大学)
本文提出了一种面向下游应用的查询性能预测评估框架,通过利用QPP估计值的分布作为IR融合的先验,提升了融合效果并揭示了QPP有效性与传统相关性评估之间的不一致性。
2026-01-24 cs.IR
A new approach for query expansion using Wikipedia and WordNet
查询扩展(QE)是用于增强信息检索的有效性的公知技术。QE通过添加有助于检索更相关结果的类似术语来重新制定初始查询。在文献中已经提出了几种方法,产生了相当有利的结果,但它们并不均匀地有利于所有类型的查询(个人和短语查询)。其中一个主要原因是使用相同类型的数据源和加权方案,同时扩展单个和短语查询项。结果,查询项之间的整体关系没有被很好地捕获或评分。为了解决这个问题,我们提出了一种新的量化宽松方法,使用维基百科和WordNet作为数据源。具体来说,Wikipedia为短语术语提供了丰富的扩展术语,而WordNet为单个术语提供了相同的扩展术语。我们还提出了新的加权方案的扩展条款:在链接得分(从维基百科中提取的条款)和一个TF-IDF为基础的计划(从WordNet中提取的条款)。在建议的Wikipedia-WordNet-based QE技术(WWQE)中,我们对扩展项进行两次加权:首先,它们分别由加权方案进行评分,然后,加权方案使用相关性得分对所选扩展项进行评分。所提出的方法获得了24%的MAP分数和48%的GMAP分数上的改进,在未扩展的查询上的FIRE数据集。实验结果实现了显着的改善,个人的扩展和其他相关的国家的最先进的方法。我们还分析了通过改变扩展项的数量对所提出的技术的检索效果的影响。
2019-06-20 cs.IR
A Unified Framework for Learned Sparse Retrieval
学习稀疏检索(LSR)是一系列第一阶段的检索方法,其被训练以生成查询和文档的稀疏词汇表示以与倒排索引一起使用。最近引入了许多LSR方法,Splade模型在MSMarco上实现了最先进的性能。尽管它们的模型架构相似,但许多LSR方法在有效性和效率方面表现出很大的差异。所使用的实验设置和配置的差异使得很难比较这些方法并获得见解。在这项工作中,我们分析了现有的LSR方法,并确定关键组件,以建立一个LSR框架,统一所有LSR方法在同一角度下。然后,我们使用一个通用的代码库复制所有突出的方法,并在相同的环境中重新训练它们,这使我们能够量化框架的组件如何影响有效性和效率。我们发现,(1)包括文档术语加权是最重要的方法的有效性,(2)包括查询加权有一个小的积极影响,(3)文档扩展和查询扩展有取消效果。因此,我们展示了如何从最先进的模型中删除查询扩展,可以显着减少延迟,同时保持MSMarco和TripClick基准测试的有效性。我们的代码可在https://github.com/thongnt99/learned-sparse-retrieval上公开获取
2023-03-23 cs.IR
Towards Explaining Query Expansion Performance in Information Retrieval
Indian Statistical Institute(印度统计学院);IIT Bombay(孟买印度理工学院);IIT Bhilai(比莱印度理工学院)
本研究通过理想扩展查询和可分离性两个视角解释查询扩展性能差异,提出度量方法并在多个TREC数据集上验证,发现接近理想扩展查询的查询效果更好。
2026-10-08 cs.CL cs.IR
Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力,发现额外指令微调可能降低效果,并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
Revisiting Query Variants: The Advantage of Retrieval Over Generation of Query Variants for Effective QPP
University of Glasgow(格拉斯哥大学)
针对现有基于生成查询变体的QPP方法易出现主题漂移和幻觉的问题,提出从训练集检索并通过2跳方式扩展查询变体的方法,在TREC DL数据集上较最优生成式方法性能提升约20%。
2025-10-02 cs.IR
SEINE: SEgment-based Indexing for NEural information retrieval
提出基于片段的神经索引方法SEINE,通过片段级倒排索引存储查询-文档交互值,灵活支持多种基于交互的神经检索方法,在MQ2007和MQ2008数据集上实现最高28倍加速且不损失检索有效性。
2023-11-27 cs.IR
Randomised Relevance Model
相关模型是一种著名的检索模型,能够产生有竞争力的结果。但是,由于它们使用了查询扩展,因此可能会非常慢。我们将两个变种的局部敏感哈希(LSH)到查询扩展过程中,解决这个缓慢。两个文件集的结果表明,我们可以获得大量减少的工作量,与一个小的降低效率。我们的方法被证明是添加剂时,修剪查询条件。
2016-07-09 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
DeeperImpact: Optimizing Sparse Learned Index Structures
本文优化稀疏检索方法 DeepImpact,通过以微调 Llama 2 替代 T5 生成查询,并结合难负样本、蒸馏与 CoCondenser 初始化,显著缩小其与 SPLADE 的效果差距。
2024-07-06 cs.IR
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
How does Feedback Signal Quality Impact Effectiveness of Pseudo Relevance Feedback for Passage Retrieval?
伪相关反馈(PRF)假设由第一阶段排序器检索的顶部结果与原始查询相关,并使用它们来改进第二轮检索的查询表示。然而,这种假设往往是不正确的:一些甚至所有的反馈文件可能是不相关的。实际上,PRF方法的有效性很可能取决于反馈信号的质量,从而取决于第一级排序器的有效性。然而,这方面以前很少受到关注。在本文中,我们控制反馈信号的质量,并测量其对一系列PRF方法的影响,包括传统的词袋方法(Rocchio)和密集的基于矢量的方法(学习和不学习)。我们的研究结果表明,重要的作用的反馈信号的质量上的有效性的PRF方法。重要的是,令人惊讶的是,我们的分析表明,并不是所有的PRF方法是相同的,当处理不同质量的反馈信号。这些研究结果是至关重要的,以获得更好地了解的PRF方法,以及哪些和何时应该使用,这取决于反馈信号的质量,并设置在这一领域的未来研究的基础。
2022-05-12 cs.IR
Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation
最近的进展,检索模型的基础上学习稀疏表示生成的Transformers器,使我们再次考虑得分在一个时间查询评估技术的前k检索问题。以前的研究比较文档在一个时间和分数在一个时间的方法一直发现,前者的方法产生较低的平均查询延迟,虽然后者的方法有更多的可预测的查询延迟。在我们对四种不同的检索模型进行的实验中,我们发现Transformers会生成“古怪的权重”,这似乎大大减少了跳过和提前退出优化的机会,而这些优化是标准文档一次技术的核心。因此,得分在一个时间的方法似乎是更有竞争力的查询评估延迟比以前的研究。我们发现,如果可以容忍高达百分之三的有效性损失,得分在一个时间的方法可以产生实质性的收益,平均查询延迟,同时大大减少尾部延迟。
2021-10-28 cs.IR
Groupwise Query Performance Prediction with BERT
虽然像BERT这样的大规模预训练语言模型已经推进了IR的最新技术,但到目前为止,它在查询性能预测(QPP)中的应用仍然是基于单个查询的逐点建模。同时,最近的研究表明,一组文档的交叉注意建模可以有效地提高学习排名算法和基于BERT的重新排名的性能。为此,提出了一种基于BERT的groupwise QPP模型,在该模型中,查询列表的排名上下文被联合建模,以预测单个查询的相对性能。在三个标准TREC集合上的广泛实验展示了我们方法的有效性。我们的代码可在https://github.com/VerdureChen/Group-QPP上获得。
2022-04-25 cs.IR
The Surprising Effectiveness of Rankers Trained on Expanded Queries
L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学);University of Stavanger(斯塔万格大学)
本文针对困难查询排序问题,提出用 LLM 基于相关文档丰富训练查询并训练专用排序器,再结合基础排序器与查询性能分数,在 DL-Hard 上显著超过基线及 SOTA。
2024-06-12 cs.AI cs.IR
Multimodal Query Suggestion with Multi-Agent Reinforcement Learning from Human Feedback
本文提出多模态查询建议任务及RL4Sugg框架,利用大型语言模型和多智能体强化学习优化图像查询建议,提升搜索意图与多样性,实验显示18%改进并已应用于实际产品。
2024-02-09 cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
Exploring the Nexus Between Retrievability and Query Generation Strategies
针对可检索性评估中查询生成方法缺乏验证的问题,对比人工生成查询与查询日志的可检索性分数,发现二者相关性极低,同时找到一种相关性最高的替代查询生成方法,有望提升无日志时的可复现性。
2024-04-15 cs.IR
Breaking Flat: A Generalised Query Performance Prediction Evaluation Framework
Indian Association for the Cultivation of Science(印度科学培养印度协会);University of Glasgow(格拉斯哥大学)
本文提出了一种通用的查询性能预测评估框架,通过三种不同设置评估排序模型的有效性,发现预测最佳排序器比预测查询难度更具挑战性。
2026-01-24 cs.IR
Contextualized Query Embeddings for Conversational Search
本文描述了一个紧凑和有效的模型,低延迟通道检索会话搜索的基础上学习密集表示。在我们的工作之前,国家的最先进的方法使用一个多阶段的管道,包括会话查询重构和信息检索模块。尽管它的有效性,这样的管道通常包括多个神经模型,需要很长的推理时间。此外,独立优化每个模块会忽略它们之间的依赖关系。为了解决这些缺点,我们建议将会话查询重构直接集成到一个稠密检索模型中。为了帮助实现这一目标,我们创建了一个带有伪相关标签的数据集,用于会话搜索,以克服训练数据的缺乏,并探索不同的训练策略。我们证明,我们的模型有效地重写会话查询密集表示在会话搜索和开放域问答数据集。最后,在观察到我们的模型学会调整查询令牌嵌入的$L_2$规范后,我们利用此属性进行混合检索并支持错误分析。
2021-11-26 cs.IR
RAQG-QPP: Query Performance Prediction with Retrieved Query Variants and Retrieval Augmented Query Generation
University of Glasgow(格拉斯哥大学)
本文提出RAQG-QPP方法,利用历史检索查询作为查询变体,结合大语言模型生成变体,提升神经排序模型的查询性能预测效果,实验表明在TREC DL'19和DL'20上比现有方法提升30%。
2026-04-29 cs.IR
Data Fusion of Synthetic Query Variants With Generative Large Language Models
本研究探索利用指令微调大语言模型生成合成查询变体,通过数据融合提升信息检索效果,在TREC基准上优于单查询基线和伪相关反馈方法。
2024-11-06 cs.IR
Query Embedding Pruning for Dense Retrieval
稠密检索技术的最新进展提供了这样的希望,即不仅能够使用诸如BERT之类的上下文化语言模型对文档进行重新排序,而且还能够首先使用这些模型从集合中识别文档。然而,当使用针对每个查询使用多个嵌入式表示的稠密检索方法时,针对每个查询可以检索大量文档,这阻碍了该方法的效率。因此,这项工作是第一个考虑效率的提高,在上下文中的稠密检索方法(即ColBERT),修剪查询项嵌入估计是不是有用的检索相关的文件。我们提出的查询嵌入修剪降低了稠密检索操作的成本,以及减少检索的文档的数量,因此需要完全评分。在MSMARCO段落排名语料库上进行的实验表明,当根据相应标记的收集频率将所使用的查询嵌入的数量从32减少到3时,查询嵌入修剪的有效性在统计上没有显著差异,同时检索到的文档数量减少了70%。就端到端系统的平均响应时间而言,这导致了2.65倍的加速。
2021-08-23 cs.IR
AutoBool: An Reinforcement-Learning trained LLM for Effective Automated Boolean Query Generation for Systematic Reviews
The University of Queensland(昆士兰大学);University of Tübingen(蒂宾根大学);CSIRO(澳大利亚联邦科学与工业研究组织)
AutoBool通过强化学习训练LLM生成高效的布尔查询,显著优于传统方法并接近专家水平。
2025-11-21 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources
本文提出渐进式查询扩展算法ProQE,结合伪相关反馈与大语言模型,在检索过程中迭代扩展查询,以降低按文档收费API场景下的检索成本,并在四个数据集上取得比最先进基线高37%的效果且成本效益最优。
2024-06-11 cs.IR
QueryExplorer: An Interactive Query Generation Assistant for Search and Exploration
本文提出 QueryExplorer,一个支持 HuggingFace 和 PyTerrier 的交互式查询生成、重构与检索界面,通过 LLM 辅助编辑和记录用户反馈,解决按示例查询中的概念漂移问题,支持复杂搜索任务的人机协同实验。
2024-03-23 cs.IR
Low-dimensional Query Projection based on Divergence Minimization Feedback Model for Ad-hoc Retrieval
低维词向量在自然语言处理中有着广泛的应用。在本文中,我们揭示了估计查询向量在特设检索有限的信息是在原始查询。伪相关反馈(PRF)是一种用于更新查询语言模型并利用多个相关术语扩展查询的公知技术。我们制定的查询更新在低维空间首先旋转的查询向量,然后与缩放。这些后续步骤被嵌入到特定于查询的投影矩阵中,该矩阵捕获角度和缩放。在本文中,我们提出了一种新的,但不是最有效的技术,必然的PRF语言建模,查询投影算法的基础上。我们学习每个查询的嵌入系数矩阵,其目的是通过将其转换到更可靠的空间来改进查询的向量表示,然后更新查询语言模型。建议的嵌入式系数发散最小化模型(ECDMM)采取排名靠前的文件检索的查询,并获得一对夫妇的积极和消极的样本集,这些样本用于学习的系数矩阵,将用于投影的查询向量和更新的查询语言模型使用softmax函数。在几种语言的TREC和CLEF数据集上的实验结果证明了ECDMM的有效性。实验结果表明,该算法在MAP、P@5和P@10等方面均优于现有的PRF技术。
2016-12-22 cs.IR
Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);IMT(法国国立高等电信学院);Univ. de Toulouse(图卢兹大学);Université de Toulouse(图卢兹大学);INSPE(国家教育与教学高级学院);UT2J(图卢兹第二让·饶勒斯大学);Université Toulouse Capitole(图卢兹第一大学);UT1(图卢兹第一大学);Edinburgh Napier University(爱丁堡龙比亚大学)
本文全面评估了QPP在跨检索范式和集合上的泛化能力,发现其预测准确性受集合和排序器影响显著,且QPP驱动的选择性查询处理仅带来边际收益,强调了需开发能跨集合泛化、适配稠密检索且服务下游的改进预测器。
2025-04-01 cs.IR cs.LG
Document Expansion by Query Prediction
Tandon School of Engineering, New York University(纽约大学坦登工程学院);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research(脸书人工智能研究院)
一种提高搜索引擎检索效率的技术是用与文档内容相关或代表文档内容的术语来扩展文档。从问答系统的角度来看,这可能包括文档可能回答的问题。根据这一观察结果,我们提出了一种简单的方法,该方法预测将针对给定文档发出哪些查询,然后使用由查询和相关文档对组成的数据集进行训练的香草序列到序列模型来扩展这些预测。通过将我们的方法与高效的重新排序组件相结合,我们在两个检索任务中实现了最先进的技术。在延迟临界状态下,单独的检索结果(没有重新排序)接近计算成本更高的神经重新排序器的有效性,但要快得多。
2019-09-25 cs.IR cs.LG
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
Efficiency and Effectiveness of SPLADE Models on Billion-Scale Web Document Title
NAVER Search(NAVER搜索)
本文研究了SPLADE和扩展SPLADE模型在大规模网页文档检索中的效率与有效性,通过剪枝策略提升效率并保持性能。
2025-11-27 cs.AI cs.IR
Query Performance Prediction: From Ad-hoc to Conversational Search
University of Amsterdam(阿姆斯特丹大学);University of Waterloo(滑铁卢大学)
本文研究了查询性能预测(QPP)在对话式搜索(CS)中的适用性,通过复现现有方法发现大规模训练集下有监督方法优势明显,逐点方法优于逐列表方法,且基于分数的无监督方法对ConvDR检索方法评估高效。
2023-05-18 cs.CL cs.IR cs.LG
Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models
The University of Queensland(昆士兰大学);University of International Business and Economics(国际商务经济大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出 PromptPRF 离线伪相关反馈框架,从初检文档提取特征并融入查询表示,使小型密集检索器零样本接近大模型性能并降低成本。
2025-06-06 cs.IR cs.LG
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
A Linguistically Driven Framework for Query Expansion via Grammatical Constituent Highlighting and Role-Based Concept Weighting
Faculty of IT(信息技术学院);Faculty of Computer Science(计算机科学学院);Monash University(莫纳什大学);University of Lyon(里昂大学)
在本文中,我们提出了一个语言动机的查询扩展框架,识别和编码的重要查询成分,表征查询意图,以提高检索性能。感兴趣的概念被认为是核心概念,代表了搜索目标的要旨,而其余的查询成分,用于指定搜索目标和完成查询结构被分类为描述性,关系或结构。认识到需要形成语义相关的碱基对提取相关的潜在扩展概念的目的,一个算法,它利用句法依赖来捕捉相邻和非相邻的查询概念之间的关系。最后,一个强大的加权方案,适当强调查询成分的重要性,根据其语言的作用,在扩展查询。我们证明了改进的检索效率方面的平均平均精度(MAP)获得的建议基于语言的查询扩展框架,通过实验TREC特设测试集合。
2020-04-25 cs.CL cs.IR
Query by Semantic Sketch
基于草图的查询公式化在图像和视频检索中非常常见,因为这些技术通常补充基于手动或机器生成的注释的文本检索方法。在本文中,我们提出了一种检索方法,允许查询视觉媒体收藏草图的概念图,从而合并基于草图的检索与搜索语义标签。用户可以绘制不同概念标签的空间分布,例如“天空”,“海洋”或“人”,然后使用这些草图找到表现出这些概念的类似分布的图像或视频场景。因此,这种方法不仅考虑了语义概念本身,而且还考虑了它们的语义关系以及它们的空间上下文。有效的矢量表示,即使在大型多媒体集合中也可以进行有效的检索。我们已经将语义草图查询模式集成到我们的检索引擎vitivr中,并证明了它的有效性。
2019-09-27 cs.IR cs.MM
QABISAR: Query-Article Bipartite Interactions for Statutory Article Retrieval
School of Computation, Information, and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
针对法定条文检索中查询与条文孤立建模导致的语义不匹配,提出QABISAR框架,通过二分交互和知识蒸馏增强查询表示,并在专家标注数据集上验证有效。
2024-12-01 cs.CL cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Query Expansion in Information Retrieval Systems using a Bayesian Network-Based Thesaurus
Universidad de Granada(格拉纳达大学)
信息检索(IR)涉及到在一个集合中识别与给定信息需求相关的文档,通常表示为包含术语或关键字的查询,这些术语或关键字被认为是用户正在寻找的内容的良好描述。IR系统可以提高它们的有效性(即,增加检索到的相关文档的数量),这是通过使用查询扩展过程来实现的,该过程自动地将新的术语添加到用户提出的原始查询中。提出了一种基于贝叶斯网络的查询扩展方法。使用一个学习算法,我们构建一个贝叶斯网络,表示出现在一个给定的文档集合中的术语之间的一些关系,这个网络然后被用作一个词库(特定于该集合)。我们还报告了通过我们的方法在三个标准测试集合上获得的结果。
2013-01-30 cs.AI cs.IR
Query Expansion and Entity Weighting for Query Reformulation Retrieval in Voice Assistant Systems
Amazon Alexa AI(亚马逊Alexa人工智能部门)
Alexa、Siri和Google Assistant等语音助手在全球范围内越来越受欢迎。然而,语言变化、语音模式的可变性、环境声学条件和其他这样的因素通常与助理误解用户的查询相关。为了提供更好的客户体验,基于检索的查询重构(QR)系统被广泛用于重构那些被误解的用户查询。目前的QR系统通常专注于神经检索模型训练或直接实体检索以进行重构。然而,这些方法很少同时关注查询扩展和实体加权,这可能限制查询重构检索的范围和准确性。在这项工作中,我们提出了一种新的查询扩展和实体加权方法(QEEW),它利用实体目录中的实体(包括用户的查询,助理的响应,和相应的实体)之间的关系,以提高查询重构性能。在Alexa注释数据上的实验表明,与不使用查询扩展和加权的基线相比,QEEW提高了所有顶级精度指标,特别是top10精度提高了6%;与使用查询扩展和加权的其他基线相比,top10精度提高了5%以上。
2022-02-22 cs.AI cs.IR