Dimension Projection among Languages based on Pseudo-relevant Documents for Query Translation
University of Tehran(德黑兰大学)
在基于词典的跨语言信息检索中,使用排名靠前的文档响应查询被证明是提高查询翻译质量的有效方法。本文提出了一种基于嵌入向量维度投影的查询翻译方法,该方法将源语言中的伪相关文档映射到目标语言中的等价文档。为此,我们首先学习低维向量的单词在伪相关的集合分开,然后旨在找到一个查询依赖的转换矩阵之间的向量的翻译对出现在集合中。在下一步骤中,每个查询词的表示被投影到目标语言,然后,在使用softmax函数之后,建立依赖于查询的翻译模型。最后,该模型用于查询翻译。我们在法语,西班牙语,德语和意大利语的四个CLEF集合上的实验表明,所提出的方法优于基于双语洗牌的词嵌入基线和更多的竞争基线。所提出的方法达到高达87%的机器翻译(MT)的性能在短的查询和相当大的改进,在冗长的查询。
2016-10-08 cs.AI cs.CL cs.IR
Improved Query Topic Models via Pseudo-Relevant Pólya Document Models
基于伪相关反馈的查询扩展是克服词汇不匹配问题和提高检索效率的一种常用方法。在本文中,我们开发了一种新的方法,估计一个查询主题模型从一组伪相关的文件,使用一个新的语言建模框架。我们假设文档是通过多变量Polya分布的混合生成的,并且我们表明,通过识别每个文档中的主题术语,我们可以适当地选择可能属于查询主题模型的术语。几个TREC集合的实验结果表明,新的方法相比,目前国家的最先进的扩展方法。
2016-02-04 cs.IR
Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
近年来,基于稠密表示的检索模型逐渐应用于文档检索任务的第一阶段,表现出比传统稀疏向量空间模型更好的性能。为了获得高效率,这些模型的基本结构在大多数情况下是双编码器。然而,这种简单的结构可能会导致严重的信息丢失,在编码的文档,因为查询是不可知的。为了解决这个问题,我们设计了一种方法,通过迭代聚类过程来模拟对每个文档的查询,并通过多个伪查询(即,集群质心)。为了提高检索过程中使用近似最近邻搜索库,我们还优化了匹配函数的两步得分计算过程。在几个流行的排名和QA数据集上的实验结果表明,我们的模型可以达到最先进的结果。
2021-08-19 cs.CL cs.IR
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University(埃默里大学);The Home Depot(家得宝)
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询,丰富的客户行为(例如,点进数据)可用于推断相关产品类别。然而,对于覆盖大量搜索流量的更罕见的查询,由于缺乏这种信号,仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类,我们适应伪相关反馈(PRF)的方法,利用潜在的知识嵌入在语义或词汇相似的产品文档,以丰富表示更罕见的查询。为此,我们提出了一种新的深度神经模型,称为注意伪相关反馈网络(APRF-Net),以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性,我们收集了来自大型商业搜索引擎的搜索查询,并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明,APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%,对于罕见(尾部)查询,这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
Optimizing Test-Time Query Representations for Dense Retrieval
Korea University(高丽大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文提出TOUR方法,利用测试时检索结果和交叉编码器伪标签迭代优化查询表示,可视为Rocchio算法的推广,在开放域问答和段落检索上显著提升性能与效率。
2023-05-28 cs.CL cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
伪相关反馈(PRF)是一种有效的查询重组技术,以提高检索的准确性。它的目的是减轻查询和其潜在的相关文档之间的语言表达式的不匹配。现有的PRF方法独立地处理源自同一查询但使用不同数量的反馈文档的修订查询,导致严重的查询漂移。在不比较来自同一查询的两个不同修订的效果的情况下,PRF模型可能不正确地集中在更多反馈中增加的附加不相关信息上,并且因此重新制定比使用较少反馈的修订更不有效的查询。理想情况下,如果一个PRF模型可以区分反馈中的无关信息和相关信息,那么反馈文档越多,修改后的查询就越好。为了弥补这一差距,我们提出了损失的损失(LOL)框架来比较训练过程中同一查询的不同版本之间的重构损失。具体地说,我们修改了一个原始查询多次并行使用不同数量的反馈和计算其重构损失。然后,我们在这些重构损失上引入额外的正则化损失,以惩罚使用更多反馈但获得更大损失的修订。通过这种比较正则化,期望PRF模型通过比较不同修订查询的效果来学习抑制额外增加的无关信息。此外,我们提出了一个微分查询重构方法来实现这个框架。该方法在向量空间中对查询进行修正,直接优化查询向量的检索性能,适用于稀疏和稠密检索模型。实验结果表明,该方法对两种典型的稀疏和稠密检索检索模型的有效性和鲁棒性。
2022-04-25 cs.CL cs.IR cs.LG
A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Rethinking On-policy Optimization for Query Augmentation
University of Utah(犹他大学);The University of Queensland(昆士兰大学);University of Waterloo(滑铁卢大学);New York University(纽约大学);University of Notre Dame(圣母大学);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind);University of Oklahoma(俄克拉荷马大学)
本文系统比较了基于提示和强化学习的查询增强方法,发现计算量感知下简单方法常优于RL方法,并提出混合方法OPQE,通过RL生成伪文档以最大化检索性能。
2026-07-01 cs.CL cs.IR
Query-based Video Summarization with Pseudo Label Supervision
University of Amsterdam(阿姆斯特丹大学);BBC Research and Development(英国广播公司研发部)
本文针对基于查询的视频摘要数据稀缺问题,提出利用片段级伪标签进行自监督预训练,并结合语义增强器和互注意力机制,在三个基准上取得了最先进性能。
2023-07-04 cs.AI cs.CV cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制,从Rocchio到相关性模型,已经显示出使用在被检索文档的初始集合(被称为伪相关集合)中出现的信息来扩展和重新加权用户的初始查询的有用性。最近,稠密检索-通过使用神经上下文语言模型,如BERT分析文档和查询的内容,并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引,用于识别文档相关的查询。出现了两种不同的稠密检索家族:对每个段落和查询使用单个嵌入式表示(例如使用BERT的[CLS]令牌),或通过多个表示(例如使用查询和文档的每个令牌的嵌入)。在这项工作中,我们进行了第一次研究的潜力多表示稠密检索,以提高使用伪相关反馈。特别是,基于使用第一遍稠密检索识别的伪相关文档集,我们提取代表性的反馈嵌入(使用KMeans聚类)--同时确保这些嵌入区分段落(基于IDF)--然后将其添加到查询表示中。这些额外的反馈嵌入,以提高效率的重新排序,以及一个额外的稠密检索操作。事实上,在MSMARCO通道排名数据集上的实验表明,通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法,MAP在TREC 2019查询集上可以提高26%,在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation
Salesforce Research(Salesforce研究院)
本研究针对稠密检索依赖人工标注的问题,提出AugTriever框架,通过查询提取和迁移式查询生成两种无监督数据增强方法生成伪查询-文档对,在BEIR和ODQA数据集上实现了优于强基线的无监督稠密检索、域适应及有监督微调效果。
2024-10-30 cs.CL cs.IR
IITD-DBAI: Multi-Stage Retrieval with Pseudo-Relevance Feedback and Query Reformulation
Indian Institute of Technology, Delhi(印度理工学院德里分校)
解决语境依赖是会话系统中最具挑战性的任务之一。我们向CAsT-2021提交的申请旨在保留所有后续轮次中的关键术语和上下文,并使用经典的信息检索方法。其目的是从语料库中提取尽可能相关的文件。我们参加了自动跟踪,并在CAST-2021中提交了两次运行。我们提交的数据显示,NDCG@3的平均性能优于中位数模型。
2022-03-31 cs.AI cs.CY cs.IR
Fake News Data Collection and Classification: Iterative Query Selection for Opaque Search Engines with Pseudo Relevance Feedback
从在线搜索引擎中检索信息是许多数据采掘任务中的第一步也是最重要的一步。目前网络上可用的大多数搜索引擎,包括所有社交媒体平台,都是支持短关键字查询的黑盒子(也称为不透明)。在这些设置中,自动地和大规模地检索讨论特定新闻项目的所有帖子和评论是一项具有挑战性的任务。在本文中,我们提出了一种方法,用于生成短关键字查询给定的原型文档。所提出的迭代查询选择算法(IQS)与不透明的搜索引擎交互以迭代地改进查询。在Twitter TREC微博2012和TREC-COVID 2019数据集上进行了评估,与最先进的数据集相比,性能优越。IQS被应用于自动收集约70 K真实和虚假新闻条目的大规模假新闻数据集。该数据集可公开用于研究,包括超过2200万个帐户和6100万条Twitter批准格式的推文。我们证明了数据集对于虚假新闻检测任务的有用性,实现了最先进的性能。
2021-02-21 cs.IR
Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval
本研究将生成式相关反馈扩展到稠密和学习型稀疏检索,结合伪相关反馈信号,在六个基准上提升精确率和召回率约10%,并显著提高召回率。
2023-05-12 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈(PRF)根据检索前的文档自动进行查询扩展,以更好地反映用户的信息需求,从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而,现有的PRF方法几乎没有尝试理解文档的内容,这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中,我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中,我们制定的PRF作为一个QA任务,其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色,而目标是找到一些适当的条款,以扩大原始查询,利用上下文信息,这是类似的答案在QA任务。此外,一个基于注意力的指针网络是建立在理解的顶部检索文档的内容,并选择的条款,以代表原始查询更好。我们还表明,将传统的监督学习方法,如LambdaRank,整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明,QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
Generative Query Reformulation for Effective Adhoc Search
研究生成式语言模型在查询重构中的能力,提出GenQR和GenPRF框架,通过微调和直接提示技术,在多个TREC测试集上显著提升检索有效性,优于统计方法且实现更简单。
2023-08-01 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Learning to Relate to Previous Turns in Conversational Search
University of Montreal(蒙特利尔大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science, Tsinghua University(清华大学计算机科学系)
针对对话搜索中历史查询并非都有助于当前查询扩展的问题,提出基于检索影响生成伪标签并联合训练选择器与检索器的多任务方法,在四个数据集上验证了有效性。
2023-06-05 cs.CL cs.IR
Skill2Query: Exploiting Skill Structure to Generate Pseudo-Queries for Agent Skill Retrieval
Fudan University(复旦大学);Sun Yat-sen University(中山大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学)
Skill2Query是利用技能知识图谱生成伪查询的框架,可提升多类检索性能,生成的训练数据表现最优,还能提高智能体任务成功率。
2026-08-18 cs.CL cs.IR
Deep Neural Networks for Query Expansion using Word Embeddings
Tehran University(德黑兰大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
查询扩展是缓解信息检索任务中词汇不匹配问题的一种方法。以往的研究表明,通过伪相关反馈等传统方法选择用于查询扩展的术语并不总是有助于检索过程。在本文中,我们表明,这也是真实的最近提出的基于嵌入的查询扩展方法。然后,我们引入一个人工神经网络分类器来预测查询扩展条款的有用性。该分类器使用术语词嵌入作为输入。我们在四个TREC新闻专线和网络集合上进行实验,结果表明,与竞争基线相比,使用分类器选择的扩展项显着提高了检索性能。结果也显示比基线更稳健。
2018-11-08 cs.CL cs.IR
LLM-Assisted Pseudo-Relevance Feedback
IRLab, CITIC, Universidade da Coruña, Spain(拉科鲁尼亚大学,CITIC,IRLab)
本文提出一种结合大语言模型的伪相关反馈方法,通过在RM3计算前过滤相关文档,提升查询扩展的鲁棒性和准确性。
2026-01-16 cs.IR
Exploring the Best Practices of Query Expansion with Large Language Models
本文提出无需训练的多文本生成集成框架MuGI,利用LLMs生成多个伪参考并与查询集成以增强稀疏和稠密检索器,实验证明该方法能广泛提升23M至7B参数模型的检索性能。
2024-06-29 cs.IR
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo(滑铁卢大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校)
提出ADORE框架,通过迭代生成伪段落、检索语料库并评估相关性,利用检索反馈指导查询扩展,显著提升检索性能。
2026-06-15 cs.CL cs.IR
Learning to Select: Query-Aware Adaptive Dimension Selection for Dense Retrieval
Beihang University(北京航空航天大学)
本文提出了一种查询感知自适应维度选择框架,通过学习查询嵌入直接预测各维度的重要性,以提升密集检索效果。
2026-02-07 cs.AI cs.IR
Concept Based vs. Pseudo Relevance Feedback Performance Evaluation for Information Retrieval System
University of Tlemcen(特莱姆森大学)
本文对信息检索系统中的两种查询重构技术,即基于概念的重构和伪相关反馈重构的性能进行了评价。阿拉伯语文本的语料库上进行的实验,使我们能够比较这两个重构技术在提高阿拉伯语文本的信息检索系统的性能的贡献。
2014-03-18 cs.CL cs.IR
Domain Adaptation for Dense Retrieval and Conversational Dense Retrieval through Self-Supervision by Meticulous Pseudo-Relevance Labeling
提出结合查询生成与自监督伪相关标注(使用T5-3B和困难负例)的方法,实现密集检索及对话密集检索的领域自适应,实验证明微调后基线模型性能提升。
2024-03-13 cs.IR
Query Expansion by Prompting Large Language Models
本研究提出利用大语言模型生成能力实现查询扩展的方法,通过对比零样本、少样本及思维链提示,发现思维链提示效果最优,实验证明其在MS-MARCO和BEIR数据集上表现优于传统伪相关反馈等方法。
2023-05-05 cs.IR
A New Query Expansion Approach via Agent-Mediated Dialogic Inquiry
Enhans Seoul, South Korea(首尔增强韩国)
针对LLM查询扩展同质化问题,提出多智能体对话式探究框架AMD,通过苏格拉底提问、对话回答和反思反馈三个角色构建更丰富的查询表示,在BEIR和TREC基准上优于现有方法。
2025-08-14 cs.CL cs.IR cs.LG
Generalized Pseudo-Relevance Feedback
DCST, Tsinghua University(清华大学计算机科学与技术系);Tencent(腾讯)
针对传统伪相关反馈依赖两大假设、现有生成式方法存在幻觉或仍依赖相关性假设的问题,提出结合强化学习效用导向训练的广义伪相关反馈框架,实现无模型、低相关性假设依赖的鲁棒查询重写,在多基准上性能优于强基线。
2025-10-29 cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
PLAID-PRF: Pseudo-Relevance Feedback with Centroid-like Tokens in PLAID
University of International Business and Economics(国际经济贸易大学);University of Glasgow(格拉斯哥大学)
研究在PLAID基础上提出PLAID-PRF方法,通过对顶部检索结果执行伪相关反馈来重新制定查询向量,利用质心向量降低计算成本。实验表明该方法能有效提升检索效果,相比PLAID有显著改进,且计算开销小,实现高效反馈感知后期交互检索。
2026-07-22 cs.CL cs.IR
Remedies against the Vocabulary Gap in Information Retrieval
搜索引擎严重依赖于基于术语的方法,这些方法将查询和文档表示为词袋。文本(文档或查询)由一组单词表示,忽略语法和词序,但保留词频计数。当呈现搜索查询时,引擎然后通过计算查询和文档术语之间的匹配度来根据文档的相关性得分对文档进行排名。虽然基于术语的方法在实践中是直观和有效的,但它们是基于这样的假设的:无论查询语义如何,精确包含查询术语的文档都是高度相关的。当然,基于术语的方法假设不包含查询术语的文档是不相关的。然而,众所周知,在术语级别的高匹配度并不一定意味着高相关性,反之亦然,匹配空查询术语的文档可能仍然是相关的。因此,当查询和文档使用不同的词来描述相同的概念时,就会出现查询和文档之间的词汇差距。如何缓解这种词汇差距所带来的影响,正是本文研究的主题。更具体地说,我们提出(1)的方法来制定一个有效的查询从复杂的文本结构和(2)潜在的向量空间模型,规避词汇差距信息检索。
2017-11-16 cs.AI cs.CL cs.IR
A Vertical PRF Architecture for Microblog Search
在微博检索中,由于查询和帖子的长度较短,查询扩展对于获得良好的搜索结果是必不可少的。由于微博中的信息是高度动态的,一个最新的索引加上伪相关反馈(PRF)与外部语料库有更高的机会检索更多的相关文件和提高排名。本文主要研究的问题是:如何在保持与标准PRF相同的检索精度的同时,降低查询扩展的计算开销?因此,我们建议加快伪相关反馈的查询扩展步骤。假设使用组织成垂直的扩展语料库来扩展查询,将导致更有效的查询扩展过程和改进的检索效果。因此,所提出的查询扩展方法使用分布式搜索架构和资源选择算法来提供高效的查询扩展过程。在TREC微博数据集上的实验表明,该方法在MAP和NDCG@30下的性能与标准PRF相当或优于标准PRF,而计算量降低了3个数量级.
2018-10-08 cs.IR
Improving Query Expansion Using WordNet
本文提出了一种利用WordNet进行查询扩展的新方法。像往常一样,我们从一组伪相关文档中选择候选扩展术语;然而,这些术语的有用性是根据手工制作的词汇资源(如WordNet)中提供的定义来衡量的。对一些标准TREC集合的实验表明,该方法优于现有的基于WordNet的方法。它还可以与KLD和RM 3等已建立的QE方法进行比较。利用早期的工作,其中量化宽松方法的组合被发现优于每个单独的方法(以及其他众所周知的QE方法),我们接下来提出一种基于组合的QE方法,该方法考虑了候选扩展项的有用性的三个不同方面:(i)其在伪相关文档和目标语料库中的分布,(ii)其与查询项的统计关联,以及(iii)其与查询的语义关系,如由术语和查询术语的WordNet定义之间的重叠所确定的。这种不同信息来源的组合似乎在许多测试集合上工作得很好,即,TREC 123、TREC 5、TREC 678、TREC鲁棒新集合和TREC 910集合,并在大多数这些集合上产生了与竞争方法相比的显着改进。
2013-09-19 cs.IR
Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于超椭球区域查询的音乐源分离系统,通过按区域指定目标克服了固定stem范式的局限,并在MoisesDB数据集上实现了最先进的信噪比与检索性能。
2025-01-27 cs.IR cs.LG cs.SD
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
NPRF: A Neural Pseudo Relevance Feedback Framework for Ad-hoc Information Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);SAP SE(SAP公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
伪相关反馈(PRF)通常用于通过使用排名靠前的文档来识别和加权新的查询词来提高传统信息检索(IR)模型的性能,从而减少查询-文档词汇不匹配的影响。虽然神经检索模型最近已经证明了ad-hoc检索的强大结果,但由于现有的PRF方法和神经架构之间的不兼容性,将它们与PRF相结合并不简单。为了弥补这一差距,我们提出了一个端到端神经PRF框架,可以通过嵌入不同的神经模型作为构建块来与现有的神经IR模型一起使用。在两个标准测试集上的大量实验证实了所提出的NPRF框架在提高两个最先进的神经IR模型的性能方面的有效性。
2018-10-30 cs.AI cs.CL cs.IR
Domain Adaptation for Dense Retrieval through Self-Supervision by Pseudo-Relevance Labeling
虽然神经信息检索已经取得了很大的进步,但最近的工作表明,稠密检索模型对具有不同分布的目标域的泛化能力是有限的,这与基于交互的模型所获得的结果形成对比。为了解决这个问题,研究人员采用了对抗学习和查询生成方法;然而,这两种方法的改进有限。在本文中,我们建议使用一个自我监督的方法,其中伪相关标签自动生成的目标域。为此,我们首先在目标域上使用标准BM 25模型来获得文档的第一次排名,然后使用基于交互的模型T53 B来重新排名顶级文档。我们进一步结合这种方法与知识蒸馏依赖于一个基于互动的教师模型训练的源域。我们的实验表明,使用T53 B和MiniLM教师的伪相关性标记平均表现优于其他方法,并有助于改善最先进的查询生成方法GPL时,它是微调的伪相关性标记的数据。
2022-12-13 cs.IR
GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation
Emory University(埃默里大学)
本文提出 GenQREnsemble 零样本 LLM 集成提示方法及融合伪相关反馈的 GenQREnsembleRF,通过多指令释义生成关键词,显著提升查询重构与检索性能。
2024-04-04 cs.AI cs.CL cs.IR
Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models
The University of Queensland(昆士兰大学);University of International Business and Economics(国际商务经济大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出 PromptPRF 离线伪相关反馈框架,从初检文档提取特征并融入查询表示,使小型密集检索器零样本接近大模型性能并降低成本。
2025-06-06 cs.IR cs.LG
Learning Multi-Step Query Rewriting via Corpus Feedback for Conversational Search
INESC-ID;Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
该研究将对话式查询重写转化为序列检索问题,提出基于语料反馈的多步重写智能体,无需人工标注,在多个数据集上优于基线且可泛化,提升了检索效果。
2026-10-09 cs.IR
Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
McGill University \& MILA Montreal Canada;McGill University \& MILA
本文提出RouteHead方法,通过学习轻量级路由器选择最优头部集合以提升注意力重排序性能,实验表明优于现有基线。
2026-04-27 cs.AI cs.CL cs.IR
How does Feedback Signal Quality Impact Effectiveness of Pseudo Relevance Feedback for Passage Retrieval?
伪相关反馈(PRF)假设由第一阶段排序器检索的顶部结果与原始查询相关,并使用它们来改进第二轮检索的查询表示。然而,这种假设往往是不正确的:一些甚至所有的反馈文件可能是不相关的。实际上,PRF方法的有效性很可能取决于反馈信号的质量,从而取决于第一级排序器的有效性。然而,这方面以前很少受到关注。在本文中,我们控制反馈信号的质量,并测量其对一系列PRF方法的影响,包括传统的词袋方法(Rocchio)和密集的基于矢量的方法(学习和不学习)。我们的研究结果表明,重要的作用的反馈信号的质量上的有效性的PRF方法。重要的是,令人惊讶的是,我们的分析表明,并不是所有的PRF方法是相同的,当处理不同质量的反馈信号。这些研究结果是至关重要的,以获得更好地了解的PRF方法,以及哪些和何时应该使用,这取决于反馈信号的质量,并设置在这一领域的未来研究的基础。
2022-05-12 cs.IR
Multi-Modality Transformer for E-Commerce: Inferring User Purchase Intention to Bridge the Query-Product Gap
Kennesaw State University(肯尼索州立大学);The Home Depot, Inc(家得宝公司)
本文提出多模态Transformer模型PINCER,利用点击流和产品目录数据将用户查询转为伪产品表示,以推断购买意图,实验证明其优于现有方法。
2025-01-21 cs.AI cs.IR cs.LG
The Opposite of Smoothing: A Language Model Approach to Ranking Query-Specific Document Clusters
利用信息引起的(查询特定)聚类的顶部检索的文件一直被提出作为一种手段,以提高精度的最高排名的返回结果。我们提出了一种新的语言模型的方法来排名查询特定的集群的假设百分比的相关文件,他们包含。虽然大多数以前的集群排名方法集中在集群作为一个整体,我们的模型还利用信息诱导与集群相关的文件。我们的模型大大优于以前的方法,用于识别包含高相关文档百分比的聚类。此外,使用该模型来产生文档排序,产生的精度在顶级的性能,始终优于初始的排名上进行聚类。性能也有利地比较与一个国家的最先进的伪反馈为基础的检索方法。
2014-01-16 cs.IR
ECLIPSE: Contrastive Dimension Importance Estimation with Pseudo-Irrelevance Feedback for Dense Retrieval
提出 ECLIPSE 方法,利用不相关文档质心估计相关文档噪声维度,在多个基准上显著提升稠密检索性能。
2024-12-19 cs.IR
Searching for the Internet of Things on the Web: Where It Is and What It Looks Like
物联网(IoT)通常是一个引人注目的范例,旨在将日常物品连接到互联网。物联网被认为是未来十年重塑我们日常生活的主要技术之一。物联网在研究和工业领域的各种应用中开启了许多令人兴奋的新机会。然而,许多人抱怨缺乏真实世界的物联网数据。毫不奇怪,如今经常出现的一个常见问题是“物联网已经存在吗?".到目前为止,人们对物联网的真实情况、其属性、数据的呈现方式和用户兴趣知之甚少。为了回答这个问题,在这项工作中,我们对真实的物联网数据进行了深入的分析调查。更具体地说,我们通过Web识别物联网数据源,并开发了一个爬虫引擎,以首次收集大规模的真实世界物联网数据。我们向公众提供我们的工作成果,以帮助社区在未来的研究。特别是,我们收集了近200万个互联网连接对象的数据,并使用来自物联网搜索引擎的真实查询集研究物联网的趋势。根据收集的数据和我们的分析,我们确定了物联网数据的典型特征。我们研究中最有趣的发现是,物联网数据主要使用Web Mapping进行传播,而新兴的物联网解决方案(如物联网)目前尚未得到很好的采用。在我们的研究结果之上,我们进一步讨论了物联网领域未来的挑战和开放研究问题。
2016-07-23 cs.IR cs.NI
Contextualized Query Embeddings for Conversational Search
本文描述了一个紧凑和有效的模型,低延迟通道检索会话搜索的基础上学习密集表示。在我们的工作之前,国家的最先进的方法使用一个多阶段的管道,包括会话查询重构和信息检索模块。尽管它的有效性,这样的管道通常包括多个神经模型,需要很长的推理时间。此外,独立优化每个模块会忽略它们之间的依赖关系。为了解决这些缺点,我们建议将会话查询重构直接集成到一个稠密检索模型中。为了帮助实现这一目标,我们创建了一个带有伪相关标签的数据集,用于会话搜索,以克服训练数据的缺乏,并探索不同的训练策略。我们证明,我们的模型有效地重写会话查询密集表示在会话搜索和开放域问答数据集。最后,在观察到我们的模型学会调整查询令牌嵌入的$L_2$规范后,我们利用此属性进行混合检索并支持错误分析。
2021-11-26 cs.IR
The Number of Terms and Documents for Pseudo-Relevant Feedback for Ad-hoc Information Retrieval
在信息检索系统(IRS)中,自动相关反馈(ARF)是一种查询重组技术,它在不需要用户干预的情况下修改初始查询。它主要通过添加来自外部资源(如本体和/或当前研究结果)的术语来应用。在这方面,我们主要感兴趣的是在本地的分析技术,为ARF在特设IRS阿拉伯文文件。在这篇文章中,我们研究了这种技术中隐含的两个参数的变化对阿拉伯文IRS性能的影响,也就是说,文档的数量«D»和术语的数量«T»。的实验,进行了阿拉伯语语料库文本,使我们能够推断出,有查询,这是不容易改进的查询重构。此外,ARF的成功主要是由于选择了足够数量的文档D,并提取了一组非常少的相关术语T用于检索。
2013-06-17 cs.IR
Data Fusion of Synthetic Query Variants With Generative Large Language Models
本研究探索利用指令微调大语言模型生成合成查询变体,通过数据融合提升信息检索效果,在TREC基准上优于单查询基线和伪相关反馈方法。
2024-11-06 cs.IR
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources
本文提出渐进式查询扩展算法ProQE,结合伪相关反馈与大语言模型,在检索过程中迭代扩展查询,以降低按文档收费API场景下的检索成本,并在四个数据集上取得比最先进基线高37%的效果且成本效益最优。
2024-06-11 cs.IR