Query2doc: Query Expansion with Large Language Models
Microsoft Research(微软研究院)
本文提出query2doc方法,利用大型语言模型生成伪文档来扩展查询,显著提升稀疏和稠密检索系统的性能,无需微调。
2023-10-11 cs.CL cs.IR
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo(滑铁卢大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校)
提出ADORE框架,通过迭代生成伪段落、检索语料库并评估相关性,利用检索反馈指导查询扩展,显著提升检索性能。
2026-06-15 cs.CL cs.IR
Sequence to Sequence Learning for Query Expansion
Ecole Polytechnique(巴黎综合理工学院);Universite du Quebec a Montreal(魁北克大学蒙特利尔分校)
在信息检索的文献中,也没有在检索中探索使用序列到序列算法进行查询扩展。我们试图用一个在开放数据集上训练和测试的自定义查询扩展引擎来填补文献中的这一空白。从开放数据集开始,我们使用基于嵌入的关键词提取构建了一个查询扩展训练集。因此,我们评估了Sequence to Sequence神经网络捕获单词嵌入空间中扩展关系的能力。
2018-12-25 cs.CL cs.IR stat.ML
Experiments on Manual Thesaurus based Query Expansion for Ad-hoc Monolingual Gujarati Information Retrieval Tasks
在本文中,我们提出的实验工作做查询扩展(QE)的古吉拉特语文本文档的检索任务。在信息检索中,准确地估计用户的需求是非常困难的,查询扩展在原始查询的基础上增加检索词,从而提供更多的用户需求信息。查询扩展有多种方法。在我们的工作中,手动词库为基础的查询扩展进行广泛使用的信息检索模型古吉拉特语文本文档的性能进行评估。实验结果表明,查询扩展提高了文本文档的查全率。
2020-01-18 cs.IR
Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
Department of Intelligent Semiconductors, Soongsil University(智能半导体系,顺斯尔大学);School of AI Convergence, Soongsil University(人工智能融合学院,顺斯尔大学);MAUM AI Inc.(MAUM人工智能公司);Adobe Research, USA(Adobe美国研究实验室)
本文质疑基于大语言模型的查询扩展方法在零样本检索中的性能提升可能源于基准测试的知识泄漏,并通过事实验证实验发现生成文档包含黄金证据蕴含信息时性能才持续提升,揭示了现有评估可能被夸大。
2025-06-04 cs.CL cs.IR
Query Expansion Should Be Coordinated: Dense Expands, Sparse Anchors
School of Computing and Artificial Intelligence(计算机与人工智能学院);Southwest Jiaotong University(西南交通大学)
本研究提出DESA通道非对称查询扩展方法,在7个BEIR数据集上提升检索指标,同时降低访问深度,为生成段落的通道特定整合及检索效果与访问深度的联合评估提供支撑。
2026-09-01 cs.CL cs.IR
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
BERT-Embedding and Citation Network Analysis based Query Expansion Technique for Scholarly Search
研究出版物的巨大增长使得学术搜索引擎很难针对给定的搜索查询带来最相关的论文。多年来,已经提出了许多解决方案来提高学术搜索的有效性,包括利用查询扩展和引文分析。查询扩展技术减轻了查询中使用的语言与索引文档之间的不匹配。然而,这些技术可能会在扩展原始查询的同时引入不相关的信息。近年来,文本检索的上下文化模型BERT在查询扩展方面取得了很大的成功。基于这些问题,并受到BERT成功的启发,本文提出了一种新的方法Qe BERT。QeBERT在查询扩展中利用基于BERT的嵌入和引文网络分析(CNA)来改进学术搜索。具体来说,我们使用上下文感知的BERT嵌入和CNA的查询扩展伪相关反馈(PRF)时尚。ACL数据集上的初步实验结果表明,BERT嵌入可以提供一个有价值的增强查询扩展和提高搜索相关性时,结合CNA。
2023-01-26 cs.IR
A Data Driven Approach to Query Expansion in Question Answering
University of Sheffield(谢菲尔德大学)
自然语言问题的自动回答是一个有趣而有用的问题。问答(QA)系统通常在初始阶段执行信息检索。Lucene等引擎提供的信息检索(IR)性能限制了整个系统的性能。例如,对于几乎40%的问题,在低级别没有检索到带有答案的文档。在本文中,回答文本从以前的QA评估举行的文本检索会议(TREC)的一部分,配对查询和分析,试图确定性能增强的话。然后,这些词用于评估查询扩展方法的性能。数据驱动的扩展词被发现对70%以上的难题有帮助。这些词可用于改进和评估查询扩展方法。简单的盲相关反馈(RF)被正确预测为不太可能帮助整体性能,并提供了一个可能的解释,其低价值的IR QA。
2012-03-22 cs.CL cs.IR
Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval
University of California San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(奥多比研究院)
本文提出知识感知查询扩展框架,利用知识图谱文档关系增强大语言模型,并通过文档文本节点表示和关系过滤实现知识感知检索,在文本与关系半结构化检索上优于现有方法。
2025-02-05 cs.CL cs.IR
Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯 Hindu 大学));University College London(伦敦大学学院);Halmstad University(哈尔姆斯塔德大学)
针对大语言模型查询扩展的幻觉问题,提出无需训练的SAFE-QE方法,在保持排序质量的同时大幅减少无支持的幻觉术语,在TREC、BEIR数据集上验证了其有效性。
2026-10-12 cs.CL cs.IR
Exploring Query Categorisation for Query Expansion: A Study
词汇不匹配问题是传统的基于关键词的信息检索系统面临的重要挑战之一。查询扩展(QE)的目的是通过向查询添加相关或同义词或短语来减少这种查询-文档不匹配。现有的几种查询扩展算法已经证明了它们的优点,但它们并不适用于所有类型的查询。我们的长期目标是制定方法来应用针对单个查询的QE技术,而不是将相同的通用QE方法应用于所有查询。作为第一步,我们在本报告中提出了查询类的分类(从QE的角度)。我们已经通过例子讨论了每个查询类的属性。我们还讨论了一些可能对每个查询类别有效的QE策略。在未来的工作中,我们打算使用标准数据集测试所提出的技术,并探索自动查询分类方法。
2015-09-18 cs.IR
Aligned Query Expansion: Efficient Query Expansion for Information Retrieval through LLM Alignment
针对查询扩展中“先生成后过滤”方法成本高且无法教模型识别有效查询的问题,提出AQE方法,利用LLM对齐技术微调模型直接优化检索任务,无需额外过滤,在域内外均显著提升检索效果。
2025-07-15 cs.IR
GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
在信息检索中,基于伪相关反馈的查询扩展是提高检索效率的有效方法.近年来,随着深度学习技术的快速发展,神经文本生成在许多自然语言任务中取得了令人鼓舞的成功。为了充分利用文本生成的优势进行信息检索,本文提出了一种新的方法,有效地将文本生成模型集成到基于PRF的查询扩展中。特别是,我们的方法通过神经文本生成模型生成增强的查询条件的初始查询和伪相关反馈。此外,为了训练生成模型,我们采用了条件生成对抗网(CGANs),提出了PRF-CGAN方法,其中生成器和生成器都以伪相关反馈为条件。我们使用两个基准数据集评估我们的方法在信息检索任务上的性能。实验结果表明,我们的方法取得了相当的性能或优于传统的查询扩展方法的检索和重排序任务。
2021-08-13 cs.AI cs.CL cs.IR
A Hybrid Citation Retrieval Algorithm for Evidence-based Clinical Knowledge Summarization: Combining Concept Extraction, Vector Similarity and Query Expansion for High Precision
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Bluhm Cardiovascular Institute of Northwestern Medicine(西北大学布鲁姆心血管研究所);University of Kansas Medical Center(堪萨斯大学医学中心)
新的信息检索方法,以确定引文相关的临床主题,可以克服知识差距之间存在的主要文献(MEDLINE)和在线临床知识资源,如UpToDate。直接检索MEDLINE数据库或使用查询扩展方法检索MEDLINE数据库会返回大量与查询无关的引文。目前的研究提出了一个引文检索系统,检索引文的循证临床知识总结。该方法结合了查询扩展、基于概念的筛选算法和基于概念的向量相似度。我们还提出了一个信息抽取框架自动概念(人口,干预,比较和疾病)提取。我们评估了我们提出的系统上的所有主题(查询)从UpToDate两种疾病,心力衰竭(HF)和心房颤动(AFib)。根据UpToDate中可用的引用金标准,该系统在HF主题上的总体F分数为41.2%,在AFib主题上的总体F分数为42.4%。与基于查询扩展的基线(HF的F评分为1.3%,AFib为2.2%)和使用疾病下位词和期刊名称、基于概念的筛选和基于术语的向量相似性系统(HF的F评分为37.5%,AFib为39.5%)的查询扩展的系统相比,这一数值显著较高。使用前K个相关引文评估系统,其中K是金标准中的引文数量,HF主题的总体F分数为69.9%,AFib主题为75.1%。此外,当对10个HF和6个AFib临床主题进行测试时,系统每个主题检索到多达18个新的相关引文。
2016-09-06 cs.CL cs.IR
Query Expansion by Prompting Large Language Models
本研究提出利用大语言模型生成能力实现查询扩展的方法,通过对比零样本、少样本及思维链提示,发现思维链提示效果最优,实验证明其在MS-MARCO和BEIR数据集上表现优于传统伪相关反馈等方法。
2023-05-05 cs.IR
Query Expansion Based on Clustered Results
查询扩展是搜索引擎的一种功能,它为用户发出的关键字查询建议一组相关查询。典型的语料库驱动的关键字查询扩展方法返回结果中的流行词作为扩展查询。使用这些方法,扩展的查询可以对应于可能的查询语义的子集,并且因此错过相关结果。针对模糊查询和探索性查询结果相关性难以判断的问题,提出了一种新的关键字查询扩展框架:首先按照用户指定的粒度对查询结果进行聚类,然后生成扩展查询,使得每个聚类的结果集理想情况下应该是对应的聚类。我们正式这个问题,并显示其APX硬度。然后,我们提出了两个有效的算法,分别命名为迭代的单关键字细化和部分消除的收敛,有效地产生一组扩展的查询从聚类结果,提供了一个分类的原始查询结果。我们相信,我们的研究产生一个最佳的查询的基础上查询结果的地面真理不仅在查询扩展的应用程序,但有意义的关键字搜索质量的研究一般。
2011-04-16 cs.IR
Massive Query Expansion by Exploiting Graph Knowledge Bases
基于关键词的搜索引擎存在术语歧义和词汇不匹配的问题。在本文中,我们提出了一个查询扩展技术,丰富的查询表示为关键字和短的自然语言描述。我们提出了一个新的大规模查询扩展策略,丰富了查询使用的知识库,通过确定查询概念,并添加相关的同义词和语义相关的条款。我们提出两种方法:(i)词汇扩展,其在知识库中定位相关概念;以及(ii)拓扑扩展,其分析概念之间的关系网络,并且通过知识图谱的路径和社区分析来建议语义上相关的术语。我们使用两个版本的维基百科作为知识库进行扩展,得出的结论是,词汇和拓扑扩展的组合提供了系统的精度提高了27%以上。
2013-10-21 cs.IR
Using Word Embeddings for Automatic Query Expansion
本文提出了一种基于分布式神经语言模型word 2 vec的自动查询扩展(AQE)框架。word 2 vec在分布式无监督框架中使用语义和上下文关系,为每个词汇条目学习低维嵌入。利用这个框架,我们设计了一个查询扩展技术,其中相关的条款,以一个查询的K-最近邻方法。我们探讨的AQE方法的性能,有和没有反馈查询扩展,和一个简单的K-最近邻的变种,在建议的框架。在标准TREC ad-hoc数据(具有查询集301-450、601-700的盘4、5)和web数据(具有查询集451-550的WT 10 G数据)上的实验示出了比基于标准术语重叠的检索方法的显著改进。然而,所提出的方法无法实现与基于统计共现的反馈方法(如RM 3)相当的性能。我们还发现,基于word 2 vec的查询扩展方法在有和没有任何反馈信息的情况下执行类似。
2016-06-24 cs.IR
Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 Exp4Fuse 排序融合框架,通过融合原始查询与 LLM 零样本扩展查询的稀疏检索结果,在多个数据集上以更低成本取得 SOTA。
2025-06-05 cs.AI cs.CL cs.IR
Local versus Global Strategies in Social Query Expansion
社交媒体中的链接共享可以被视为针对由主题标签表达的查询或主题的协作检索的文档集。时间信息起着重要的作用,以确定正确的上下文,这样的注释是有效的检索目的。我们调查如何社会数据的时间背景下,可以用于查询扩展和比较全球与本地的策略,计算这样的上下文信息的一组标签。
2019-08-05 cs.IR
Towards Explaining Query Expansion Performance in Information Retrieval
Indian Statistical Institute(印度统计学院);IIT Bombay(孟买印度理工学院);IIT Bhilai(比莱印度理工学院)
本研究通过理想扩展查询和可分离性两个视角解释查询扩展性能差异,提出度量方法并在多个TREC数据集上验证,发现接近理想扩展查询的查询效果更好。
2026-10-08 cs.CL cs.IR
QEQR: An Exploration of Query Expansion Methods for Question Retrieval in CQA Services
University of Tehran(德黑兰大学)
本文针对CQA服务中问题检索的词汇鸿沟问题,提出结合词相似度、问题相似度及选择性扩展的查询扩展方法,相对最佳基线提升1.8%。
2024-11-23 cs.CL cs.HC cs.IR
Improving Query Safety at Pinterest
Pinterest(品趣)
搜索引擎中的查询推荐是一把双刃剑,有不可否认的好处,但也有潜在的危害。识别不安全的查询对于保护用户免受不适当的查询建议的影响是必要的。然而,确定这些是不平凡的,因为语言的多样性所造成的大量词汇,社会群体特有的俚语和错别字,因为一个术语的不适当性取决于上下文。在这里,我们将问题描述为查询集扩展,其中我们获得了一个小的且可能有偏见的种子集,目的是识别一组不同的语义相关查询。我们提出了PinSets,查询集扩展系统,它采用了一种简单而强大的机制来搜索用户会话,以近乎完美的精度将一个微小的种子集扩展为数千个相关查询,深入到尾部,以及易于解释的解释。PinSets将其高质量的扩展归功于使用文本和行为技术的混合(即,将查询既视为组合又视为黑盒)。实验结果表明,对于药品相关查询,PinSets将20个种子查询扩展为15,670个正训练样本,准确率超过99%.生成的扩展具有不同的词汇,并正确处理具有模糊安全性的单词。PinSets将Pinterest上的不安全查询建议减少了90%。
2020-06-23 cs.CL cs.IR
Using Query Expansion in Manifold Ranking for Query-Oriented Multi-Document Summarization
Beihang University(北京航空航天大学)
流形排序已成功地应用于面向查询的多文档摘要。它不仅利用了句子之间的关系,而且还利用了给定查询和句子之间的关系。然而,原始查询的信息往往是不够的。为此,本文提出了一种结合流形排序的查询扩展方法来解决这一问题。该方法不仅利用查询词本身的信息和知识库WordNet进行同义词扩展,还利用文档集本身的信息进行多种方式的查询扩展(均值扩展、方差扩展和TextRank扩展)。与以往的查询扩展方法相比,我们的方法结合了多种查询扩展方法,更好地表示查询信息,同时在流形排序上做了有益的尝试。此外,我们使用词的重叠度和词之间的接近度来计算句子之间的相似度。在DUC2006和DUC2007数据集上进行了实验,实验结果表明,所提出的查询扩展方法能够显著提高系统性能,使系统性能达到与现有系统相当的水平.
2021-07-31 cs.AI cs.IR cs.LG
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
Xu: An Automated Query Expansion and Optimization Tool
Queen’s University(女王大学);Gnowit Inc.(Gnowit公司)
互联网上信息的指数增长对信息检索系统产生相关结果是一个巨大的挑战。需要新的方法来重新格式化或扩展用户查询,以生成令人满意的响应,并提高召回率和精度。查询扩展(QE)是一种基于语义相似性度量引入附加标记或短语来扩展用户查询的技术。折衷的是增加的计算复杂性,以找到语义相似的单词和可能增加的噪音在信息检索。尽管在这个问题上的一些研究工作,量化宽松尚未被探索不够,需要更多的工作,在相似性匹配和组合查询条件的目标是检索一个小的最适当的反应。QE在处理复杂查询时应该是可伸缩的、快速的和健壮的,并且具有良好的响应时间和噪声上限。在本文中,我们提出了徐,一个自动QE技术,使用高维聚类的词向量和Datamuse API,一个开源的查询引擎,找到语义相似的话。我们将Xu实现为命令行工具,并使用包含新闻文章和人工生成QE的数据集评估其性能。评估结果表明,Xu优于Datamuse,参考人类生成的QE,准确率约为88%。
2019-05-08 cs.CL cs.IR
Query Expansion and Entity Weighting for Query Reformulation Retrieval in Voice Assistant Systems
Amazon Alexa AI(亚马逊Alexa人工智能部门)
Alexa、Siri和Google Assistant等语音助手在全球范围内越来越受欢迎。然而,语言变化、语音模式的可变性、环境声学条件和其他这样的因素通常与助理误解用户的查询相关。为了提供更好的客户体验,基于检索的查询重构(QR)系统被广泛用于重构那些被误解的用户查询。目前的QR系统通常专注于神经检索模型训练或直接实体检索以进行重构。然而,这些方法很少同时关注查询扩展和实体加权,这可能限制查询重构检索的范围和准确性。在这项工作中,我们提出了一种新的查询扩展和实体加权方法(QEEW),它利用实体目录中的实体(包括用户的查询,助理的响应,和相应的实体)之间的关系,以提高查询重构性能。在Alexa注释数据上的实验表明,与不使用查询扩展和加权的基线相比,QEEW提高了所有顶级精度指标,特别是top10精度提高了6%;与使用查询扩展和加权的其他基线相比,top10精度提高了5%以上。
2022-02-22 cs.AI cs.IR
CEQE: Contextualized Embeddings for Query Expansion
在这项工作中,我们利用上下文敏感的语言模型的最新进展,以提高查询扩展的任务。诸如ELMo和BERT之类的上下文化单词表示模型正在迅速取代静态嵌入模型。我们提出了一个新的模型,上下文嵌入查询扩展(CEQE),利用查询为中心的上下文嵌入向量。我们研究的行为产生的上下文表示的查询扩展在ad-hoc文档检索。我们进行我们的实验概率检索模型,以及结合神经排名模型。我们在两个标准的TREC集合上评估CEQE:Robust和深度学习。我们发现,CEQE在多个集合上优于基于静态嵌入的扩展方法(平均精度在Robust上高达18%,在深度学习上高达31%),并且还改进了经过验证的概率伪相关反馈(PRF)模型。我们进一步发现,多次通过扩展和重新排序的结果在持续的收益与CEQE为基础的方法优于其他方法的有效性。结合神经和基于CEQE的扩展评分的最终模型在Robust上的P@20和AP中分别获得了高达5%和2%的收益,超过了最先进的基于transformer的重新排名模型Birch。
2021-03-09 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
Proactive Query Expansion for Streaming Data Using External Source
查询扩展是通过添加相关词来重新表达原始查询的过程。为了提高查询扩展方法的性能或提高检索结果的质量,选择要添加哪些项是任何信息检索系统的一个重要方面。添加能够积极地影响搜索查询的质量或者信息量足够大的词在返回或收集覆盖特定主题的相关文档中起重要作用,这能够导致提高信息检索系统的效率。通常,使用查询扩展技术来向给定搜索查询添加或替换单词以收集相关数据。本文设计并实现了一个自动查询扩展流水线。我们概述了几种使用不同方法扩展查询的工具。我们的方法依赖于随着时间的推移在流数据中定位紧急事件,并使用概率主题模型从目标文档中找到隐藏的主题。我们使用动态特征向量中心性来触发紧急事件,并使用潜在狄利克雷分配来发现主题。此外,我们使用一个外部数据源作为辅助流,以补充与相关的词的主要流和扩展的查询使用的话从主要和辅助流。对2015年巴尔的摩抗议活动期间发生的事件相关的Twitter数据(主流)进行了实验研究。检索结果的质量是使用流数据的质量指标来衡量的:tweets count,hashtag count和hashtag clustering。
2022-01-17 cs.IR
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University(香港浸会大学);University of Perugia(佩鲁贾大学)
在这项工作中,几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究,并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是,我们专注于基于概念的查询扩展计划,其中,为了有效地提高精度的Web文档检索,以减少用户的浏览时间,主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中,查询扩展的两个关键任务是找到扩展候选,即Web文档域中最接近的概念,并对扩展查询进行适当的排序。我们提出的方法,旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离,PMING距离是一种协作语义接近度度量,即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明,该方法能为用户提供更满意的扩展结果,提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion
City University of Hong Kong(香港城市大学);Baidu Inc.(百度公司)
本文提出零样本查询扩展框架MILL,通过大语言模型生成子查询与文档,并与检索文档相互验证以优化扩展,在三个基准数据集上验证了其有效性。
2024-03-28 cs.AI cs.CL cs.IR
When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文首次全面分析基于大语言模型的查询与文档扩展,发现扩展对弱检索器有益但对强检索器有害,并提出按模型强弱和数据集分布差异选择性使用扩展的实用建议。
2024-02-26 cs.AI cs.CL cs.IR
A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
Improving Information Retrieval Results for Persian Documents using FarsNet
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法查询扩展,它使用FarsNet(波斯语WordNet),以找到类似的令牌相关的查询和扩展的语义含义的查询。为此,我们在FarsNet中使用同义关系,并提取相关的同义词来查询单词。该算法被用于增强信息检索系统和改善搜索结果。与基线方法(不使用查询扩展)相比,该系统的总体评估显示平均平均精度(MAP)提高了约9%。
2018-11-01 cs.CL cs.IR
GOLFer: Smaller LM-Generated Documents Hallucination Filter & Combiner for Query Expansion in Information Retrieval
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 GOLFer,通过幻觉过滤与加权文档组合,使较小开源语言模型可用于查询扩展,并在多类检索数据集上取得优于同类小模型方法、媲美大型 LLM 方法的效果。
2025-06-05 cs.AI cs.CL cs.IR
Orthogonal Query Expansion
在过去的15年里,网络搜索已经取得了巨大的进步。从1995年几乎随机收集的匹配页面开始,今天,搜索引擎倾向于满足用户对精心制定的查询的信息需求。剩下的主要挑战之一是当用户提供了一个表达不好的查询时,如何满足用户的需求。当与用户原始关键字匹配的页面被判断为不令人满意时,使用查询扩展技术来修改结果集。这些技术找到与用户给出的关键字相似的关键字,然后将其附加到原始查询中,从而导致结果集的扰动。然而,当原始查询是充分不适定的,用户的信息需求是最好的满足使用完全不同的关键字,和原始结果集的一个小扰动是注定要失败的。我们提出了一种新的方法,不是基于原始查询的关键字。我们有意寻找正交查询,这是相关的查询,具有较低的相似性,用户的查询。正交查询的结果集与原始查询的结果集在少量页面上相交。正交查询可以访问用户的信息需求,同时由与原始查询完全不同的术语组成。我们说明了我们的方法的有效性,提出了一个查询扩展的方法,从这些意见,提高了使用雅虎BOSS基础设施获得的结果。
2011-09-02 cs.IR
Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion
Independent Researcher(独立研究者)
提出查询自适应语义分块(QASC)方法,通过将查询融入分块过程,利用句子-查询嵌入余弦相似度、上下文窗口扩展和分块级分数聚合,动态构建相关且连贯的文档块,在F1分数上比固定分块提升18-27%,比语义和智能体分块提升8-12%。
2026-05-26 cs.CL cs.IR
Query, Decompose, Compress: Structured Query Expansion for Efficient Multi-Hop Retrieval
Chung-Ang University(中央大学)
本文提出DeCoR框架,通过结构化信息精炼提升多跳检索效率,采用查询分解和文档压缩技术,使小模型在复杂检索中表现优于大模型。
2026-01-14 cs.IR
Effectiveness and Efficiency Trade-off in Selective Query Processing
可以优化搜索引擎中的查询处理以用于所有查询。为此,可以优化系统组件参数,例如加权函数或自动查询扩展模型,或者从过去的查询中学习。然而,通过调整组件参数来逐个查询地优化处理线程可能更有意思;这就是选择性查询处理所做的。选择性查询处理使用在查询时选择的候选处理线程之一。选择基于查询功能。在本文中,我们研究了不同设置中的选择性查询处理,包括有效性和效率;这包括选择性查询扩展和其他形式的选择性查询处理(例如,当项加权函数变化时或者当扩展模型变化时)。我们发现,当使用最佳训练的处理线程及其查询扩展计数器部分时,可以获得有效性和效率之间的最佳权衡。这对于实字引擎来说似乎也是最自然的,因为两个线程使用相同的核心引擎(例如,相同项加权函数)。
2023-02-22 cs.IR
Query Expansion Is More Than Generation: Improving Dense Retrieval through Better Integration
University of Arizona(亚利桑那大学)
该研究针对LLM生成查询扩展导致密集检索器性能下降的问题,提出无需训练的AnchorQE方法,通过编码原始查询与扩展内容并插值,在多个数据集上提升检索效果。
2026-08-27 cs.IR
Beyond the limitation of a single query: Train your LLM for query expansion with Reinforcement Learning
NVIDIA(英伟达);Pennsylvania State University(宾夕法尼亚州立大学)
针对搜索智能体在多跳问答中推理与搜索能力受限的问题,通过强化学习训练 LLM 进行查询扩展,并引入预训练 squeezer 模型辅助理解检索文档,使 3B 模型在多跳 QA 基准上达到 SOTA 且平均提升 4.4%。
2025-10-11 cs.AI cs.CL cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
A new approach for query expansion using Wikipedia and WordNet
查询扩展(QE)是用于增强信息检索的有效性的公知技术。QE通过添加有助于检索更相关结果的类似术语来重新制定初始查询。在文献中已经提出了几种方法,产生了相当有利的结果,但它们并不均匀地有利于所有类型的查询(个人和短语查询)。其中一个主要原因是使用相同类型的数据源和加权方案,同时扩展单个和短语查询项。结果,查询项之间的整体关系没有被很好地捕获或评分。为了解决这个问题,我们提出了一种新的量化宽松方法,使用维基百科和WordNet作为数据源。具体来说,Wikipedia为短语术语提供了丰富的扩展术语,而WordNet为单个术语提供了相同的扩展术语。我们还提出了新的加权方案的扩展条款:在链接得分(从维基百科中提取的条款)和一个TF-IDF为基础的计划(从WordNet中提取的条款)。在建议的Wikipedia-WordNet-based QE技术(WWQE)中,我们对扩展项进行两次加权:首先,它们分别由加权方案进行评分,然后,加权方案使用相关性得分对所选扩展项进行评分。所提出的方法获得了24%的MAP分数和48%的GMAP分数上的改进,在未扩展的查询上的FIRE数据集。实验结果实现了显着的改善,个人的扩展和其他相关的国家的最先进的方法。我们还分析了通过改变扩展项的数量对所提出的技术的检索效果的影响。
2019-06-20 cs.IR
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources
本文提出渐进式查询扩展算法ProQE,结合伪相关反馈与大语言模型,在检索过程中迭代扩展查询,以降低按文档收费API场景下的检索成本,并在四个数据集上取得比最先进基线高37%的效果且成本效益最优。
2024-06-11 cs.IR
A Vertical PRF Architecture for Microblog Search
在微博检索中,由于查询和帖子的长度较短,查询扩展对于获得良好的搜索结果是必不可少的。由于微博中的信息是高度动态的,一个最新的索引加上伪相关反馈(PRF)与外部语料库有更高的机会检索更多的相关文件和提高排名。本文主要研究的问题是:如何在保持与标准PRF相同的检索精度的同时,降低查询扩展的计算开销?因此,我们建议加快伪相关反馈的查询扩展步骤。假设使用组织成垂直的扩展语料库来扩展查询,将导致更有效的查询扩展过程和改进的检索效果。因此,所提出的查询扩展方法使用分布式搜索架构和资源选择算法来提供高效的查询扩展过程。在TREC微博数据集上的实验表明,该方法在MAP和NDCG@30下的性能与标准PRF相当或优于标准PRF,而计算量降低了3个数量级.
2018-10-08 cs.IR
Understanding Graph Structure of Wikipedia for Query Expansion
知识库是知识提取的很好的来源,能够从结构化和非结构化的来源创建知识,并使用它来改进自动化过程,如查询扩展。然而,从非结构化数据源中提取知识仍然是一个开放的挑战。在这方面,了解知识库的结构可以为这种目的的有效性提供显着的好处。特别是,维基百科在过去几年中已经成为一个非常受欢迎的知识库,因为它是一个具有大量信息的通用百科全书,因此涵盖了大量不同的主题。在这篇文章中,我们分析了维基百科的条目和类别如何相互关联,以及这些关系如何支持查询扩展技术。特别是,我们表明,结构的形式密集的周期与最小数量的类别往往识别最相关的信息。
2015-05-06 cs.IR
Event-Centric Query Expansion in Web Search
Tencent Inc.(腾讯公司);University of Science and Technology of China(中国科学技术大学)
本文提出基于事件中心的查询扩展系统EQE,通过事件收集、改写、语义检索和在线排序四阶段快速准确挖掘最优扩展,已在腾讯QQ浏览器搜索中部署并显著提升搜索指标。
2023-05-30 cs.CL cs.IR
Improving Query Expansion Using WordNet
本文提出了一种利用WordNet进行查询扩展的新方法。像往常一样,我们从一组伪相关文档中选择候选扩展术语;然而,这些术语的有用性是根据手工制作的词汇资源(如WordNet)中提供的定义来衡量的。对一些标准TREC集合的实验表明,该方法优于现有的基于WordNet的方法。它还可以与KLD和RM 3等已建立的QE方法进行比较。利用早期的工作,其中量化宽松方法的组合被发现优于每个单独的方法(以及其他众所周知的QE方法),我们接下来提出一种基于组合的QE方法,该方法考虑了候选扩展项的有用性的三个不同方面:(i)其在伪相关文档和目标语料库中的分布,(ii)其与查询项的统计关联,以及(iii)其与查询的语义关系,如由术语和查询术语的WordNet定义之间的重叠所确定的。这种不同信息来源的组合似乎在许多测试集合上工作得很好,即,TREC 123、TREC 5、TREC 678、TREC鲁棒新集合和TREC 910集合,并在大多数这些集合上产生了与竞争方法相比的显着改进。
2013-09-19 cs.IR
LLM-based Query Expansion Fails for Unfamiliar and Ambiguous Queries
该研究揭示基于大语言模型的查询扩展在模型知识不足或查询歧义性高时会显著降低检索效果,系统分析两类失效场景并提出对应评估框架,为检索增强技术的局限提供了参考。
2025-05-19 cs.IR
Natural language technology and query expansion: issues, state-of-the-art and perspectives
Faculty of IT, Monash University(莫纳什大学信息技术学院);University of Lyon(里昂大学);CNRS(法国国家科学研究中心)
丰富的知识资源的可用性促使人们在信息检索技术的开发和增强方面做出了大量的努力。用户的信息需求是用自然语言表达的,成功的检索在很大程度上取决于预期目的的有效沟通。自然语言查询由多个语言特征组成,用于表示预期的搜索目标。造成语义歧义和误解的查询,以及其他因素,如缺乏熟悉的搜索环境的语言特征影响用户的能力,准确地表示他们的信息需求,创造的概念意图差距。后者直接影响返回的搜索结果的相关性,这可能不是用户满意的,因此是影响信息检索系统的有效性的主要问题。我们讨论的核心是识别表征查询意图的重要成分,并通过添加有意义的术语、短语甚至潜在表示来丰富它们,手动或自动地捕获它们的预期含义。具体来说,我们讨论的技术,以实现丰富,特别是那些利用从统计处理的长期依赖关系的文档语料库或从外部知识源,如本体收集的信息。我们放下解剖的通用语言学为基础的查询扩展框架,并提出其基于模块的分解,覆盖的主题问题,从查询处理,信息检索,计算语言学和本体工程。对于每个模块,我们回顾了文献中最先进的解决方案,并根据所使用的技术进行了分类和分析。
2020-04-23 cs.CL cs.IR
Upcycling Candidate Tokens of Large Language Models for Query Expansion
本研究针对大语言模型用于查询扩展时性能与计算成本的权衡问题,提出CTQE方法,通过一次解码提取未选中的候选令牌实现扩展,在更低成本下达到了优异的检索性能。
2025-09-02 cs.IR