Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval
Shanghai Jiao Tong University(上海交通大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字孪生重点实验室);Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波东方理工大学数字孪生研究所)
针对工具文档不完整的问题,提出Tool-DE基准与框架,通过LLM驱动的文档扩展和专用模型Tool-Embed与Tool-Rank,显著提升工具检索性能,达到新最先进水平。
2025-10-26 cs.IR
Information Retrieval via Truncated Hilbert-Space Expansions
除了术语在文档集合中的频率之外,术语的分布在确定文档的相关性方面起着重要作用。本文提出了一种新的表示文档中术语位置的方法。该方法允许一个有效的评估的术语位置信息在查询评估时间。三个应用程序进行了研究:一个基于功能的排名优化表示一个用户定义的文档区域,一个查询扩展技术的基础上重叠的长期分布在排名靠前的文件,和聚类分析的条款在文件中。实验结果证明了该方法的有效性。
2009-10-10 cs.IR
ReFeed: Retrieval Feedback-Guided Dataset Construction for Style-Aware Query Rewriting
MODULABS;Samsung SDS(三星SDS);Dable;MIRI D.I.H Co., Ltd.;Lomin
ReFeed通过检索反馈驱动数据集构建,提升查询重写模型对文档风格的感知能力,改进领域特定场景下的检索效果。
2026-03-02 cs.IR
The Number of Terms and Documents for Pseudo-Relevant Feedback for Ad-hoc Information Retrieval
在信息检索系统(IRS)中,自动相关反馈(ARF)是一种查询重组技术,它在不需要用户干预的情况下修改初始查询。它主要通过添加来自外部资源(如本体和/或当前研究结果)的术语来应用。在这方面,我们主要感兴趣的是在本地的分析技术,为ARF在特设IRS阿拉伯文文件。在这篇文章中,我们研究了这种技术中隐含的两个参数的变化对阿拉伯文IRS性能的影响,也就是说,文档的数量«D»和术语的数量«T»。的实验,进行了阿拉伯语语料库文本,使我们能够推断出,有查询,这是不容易改进的查询重构。此外,ARF的成功主要是由于选择了足够数量的文档D,并提取了一组非常少的相关术语T用于检索。
2013-06-17 cs.IR
Document Set Expansion with Positive-Unlabelled Learning Using Intractable Density Estimation
针对文档集扩展任务中传统正例与无标签(PU)学习方法依赖已知正样本类先验假设的局限性,本文提出一种利用难处理密度估计模型的新颖PU学习框架,并在PubMed和Covid数据集上验证了其有效性。
2024-03-26 cs.IR
Counterfactual Query Rewriting to Use Historical Relevance Feedback
本文提出利用历史相关性反馈反事实地重写查询,通过词项扩展或生成关键查询,在 CLEF LongEval 中提升检索效果并优于昂贵的 transformer 方法。
2025-02-06 cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt(达姆施塔特工业大学)
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景,然而,对于信息搜索场景,用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此,在这项工作中,我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说,我们引入了一个kNN的方法,重新排名的文件的基础上,他们的相似性与查询和用户认为相关的文件。此外,我们还探索了交叉编码器模型,我们使用元学习进行预训练,随后针对每个查询进行微调,仅在反馈文档上进行训练。为了评估我们不同的集成策略,我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明,将相关反馈直接集成到神经重排序模型中可以提高它们的性能,并且将词汇排序与我们表现最好的神经重排序器融合在一起,比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Document Distance for the Automated Expansion of Relevance Judgements for Information Retrieval Evaluation
本文报告使用的文件距离为基础的方法,自动扩大可用的相关性判断的数量时,这些是有限的,减少到只有积极的判断。例如,当唯一可用的判决是从已发表的评论文件的参考文献清单中摘录时,可能会发生这种情况。我们比较了两个文档集的结果:OHSUMED,基于医学研究出版物,TREC-8,基于新闻提要。我们表明,这些扩大的相关性判断的基础上的评价是更可靠的,比那些只使用最初可用的判断,特别是当可用的判断的数量是非常有限的。
2015-01-26 cs.IR
EviQE: Evidence Selection for LLM-Based Query Expansion
Toronto Metropolitan University(多伦多都会大学);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
EviQE通过聚合多个改写器的检索文档并选择紧凑证据集进行查询扩展,在TREC DL和BEIR基准上,基于相关性的证据选择(LLM-Score)显著优于直接改写等方法。
2026-09-15 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
Experiments on Manual Thesaurus based Query Expansion for Ad-hoc Monolingual Gujarati Information Retrieval Tasks
在本文中,我们提出的实验工作做查询扩展(QE)的古吉拉特语文本文档的检索任务。在信息检索中,准确地估计用户的需求是非常困难的,查询扩展在原始查询的基础上增加检索词,从而提供更多的用户需求信息。查询扩展有多种方法。在我们的工作中,手动词库为基础的查询扩展进行广泛使用的信息检索模型古吉拉特语文本文档的性能进行评估。实验结果表明,查询扩展提高了文本文档的查全率。
2020-01-18 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制,从Rocchio到相关性模型,已经显示出使用在被检索文档的初始集合(被称为伪相关集合)中出现的信息来扩展和重新加权用户的初始查询的有用性。最近,稠密检索-通过使用神经上下文语言模型,如BERT分析文档和查询的内容,并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引,用于识别文档相关的查询。出现了两种不同的稠密检索家族:对每个段落和查询使用单个嵌入式表示(例如使用BERT的[CLS]令牌),或通过多个表示(例如使用查询和文档的每个令牌的嵌入)。在这项工作中,我们进行了第一次研究的潜力多表示稠密检索,以提高使用伪相关反馈。特别是,基于使用第一遍稠密检索识别的伪相关文档集,我们提取代表性的反馈嵌入(使用KMeans聚类)--同时确保这些嵌入区分段落(基于IDF)--然后将其添加到查询表示中。这些额外的反馈嵌入,以提高效率的重新排序,以及一个额外的稠密检索操作。事实上,在MSMARCO通道排名数据集上的实验表明,通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法,MAP在TREC 2019查询集上可以提高26%,在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈(PRF)根据检索前的文档自动进行查询扩展,以更好地反映用户的信息需求,从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而,现有的PRF方法几乎没有尝试理解文档的内容,这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中,我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中,我们制定的PRF作为一个QA任务,其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色,而目标是找到一些适当的条款,以扩大原始查询,利用上下文信息,这是类似的答案在QA任务。此外,一个基于注意力的指针网络是建立在理解的顶部检索文档的内容,并选择的条款,以代表原始查询更好。我们还表明,将传统的监督学习方法,如LambdaRank,整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明,QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
+VeriRel: Verification Feedback to Enhance Document Retrieval for Scientific Fact Checking
University of Sheffield(谢菲尔德大学)
本文提出+VeriRel方法,将验证成功纳入文档排序,在三个科学事实验证数据集上提升了文档证据检索性能并促进下游验证。
2025-08-14 cs.CL cs.IR
Generalized Pseudo-Relevance Feedback
DCST, Tsinghua University(清华大学计算机科学与技术系);Tencent(腾讯)
针对传统伪相关反馈依赖两大假设、现有生成式方法存在幻觉或仍依赖相关性假设的问题,提出结合强化学习效用导向训练的广义伪相关反馈框架,实现无模型、低相关性假设依赖的鲁棒查询重写,在多基准上性能优于强基线。
2025-10-29 cs.IR
Generative Relevance Feedback with Large Language Models
针对伪相关性反馈依赖初始检索结果的问题,提出GRF方法,利用LLM生成的长文本构建概率反馈模型,在多类文档检索基准上显著超越现有PRF及稀疏、稠密、扩展模型。
2023-04-25 cs.IR
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
针对LLMs在信息检索中生成响应过于通用难以区分相似文档的问题,提出无监督对齐方法RLCF,通过相似文档组构建对比反馈信号并在PPO中优化模型,显著提升了响应的独特性与检索性能。
2024-03-26 cs.IR
Do the Findings of Document and Passage Retrieval Generalize to the Retrieval of Responses for Dialogues?
最近提出了许多学习稀疏和稠密检索方法,并证明了其在段落检索和文档检索等任务中的有效性。在本文中,我们通过可复制性研究来分析所吸取的教训是否可以推广到对话响应的检索,这是日益流行的对话搜索领域的一项重要任务。不像段落和文档检索,其中文档通常比查询长,在对话的响应排名中,查询(对话上下文)通常比文档(响应)长。此外,对话具有特定的结构,即不同用户的多个话语。考虑到这些差异,我们在这里评估从以前的工作中得到的以下主要发现的可推广性:(F1)查询扩展优于无扩展基线;(F2)文档扩展优于无扩展基线;(F3)zero-shot稠密检索低于稀疏基线;(F4)稠密检索优于稀疏基线;(F5)硬负采样比随机采样更适合训练稠密模型。我们的实验--基于三个不同的信息寻求对话数据集--揭示了五分之四的发现(F2-F5)适用于我们的领域
2023-01-13 cs.IR
Evaluating Sentence-Level Relevance Feedback for High-Recall Information Retrieval
本研究使用了一种新的模拟框架,以评估是否减少了时间和精力,以实现高召回使用主动学习与孤立的句子,而不是完整的文件,审查相关反馈。在较弱的假设下,即审阅整个文档比单个句子需要更多的时间和精力,模拟结果表明,使用孤立的句子进行相关反馈可以产生相当的准确性和更高的效率,相对于AutoTAR连续主动学习(“CAL”)的最新基线模型实现(BMI)TREC 2015年和2016年全面召回跟踪中使用的方法。
2019-03-28 cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊 Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而,查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距,灵感来自最近的进展,应用上下文模型,如BERT的文档检索任务,本文提出了一种新的查询扩展模型,利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中,所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Simplified Longitudinal Retrieval Experiments: A Case Study on Query Expansion and Document Boosting
TH Köln - University of Applied Sciences, Cologne, Germany(科隆应用技术大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Radboud Universiteit Nijmegen(奈梅亨拉德堡德大学);University of Kassel(卡塞尔大学)
本文针对纵向检索评估缺少时间维度且自定义逻辑复杂的问题,基于LongEval 2024提出ir_datasets声明式扩展,以简化实验代码并提升可复现性与可扩展性。
2025-09-22 cs.IR
Neural document expansion for ad-hoc information retrieval
Amazon(亚马逊)
最近,Nogueira等人[2019]提出了一种基于神经Seq 2Seq模型的文档扩展新方法,在短文本检索任务上显示出显着的改进。然而,这种方法需要大量的域内训练数据。在本文中,我们表明,这种神经文档扩展方法可以有效地适应标准的IR任务,标签是稀缺的,许多长文档。
2020-12-27 cs.AI cs.CL cs.IR
Improved Query Topic Models via Pseudo-Relevant Pólya Document Models
基于伪相关反馈的查询扩展是克服词汇不匹配问题和提高检索效率的一种常用方法。在本文中,我们开发了一种新的方法,估计一个查询主题模型从一组伪相关的文件,使用一个新的语言建模框架。我们假设文档是通过多变量Polya分布的混合生成的,并且我们表明,通过识别每个文档中的主题术语,我们可以适当地选择可能属于查询主题模型的术语。几个TREC集合的实验结果表明,新的方法相比,目前国家的最先进的扩展方法。
2016-02-04 cs.IR
On Listwise Reranking for Corpus Feedback
Seoul National University(首尔大学);Delft University of Technology(代尔夫特理工大学)
L2G通过隐式诱导文档图实现高效基于图的检索,无需显式图计算开销,且在效果上与基于oracle的图方法相当。
2025-12-21 cs.IR
Adaptive Latent Entity Expansion for Document Retrieval
本文针对复杂查询检索提出神经重排序前置、潜在实体扩展(LEE)和自适应重排序池细化三种互补技术,在 TREC Robust 2004 和 CODEC 数据集上显著提升了 NDCG、MAP 和 R@1000。
2023-12-04 cs.IR
Query Generation with Direct Preference Optimization for Document Expansion in E-commerce Search
Walmart Global Technology(沃尔玛全球技术);Walmart Global Tech(沃尔玛全球科技)
针对Doc2Query生成查询存在幻觉和重复问题,提出QGDPO方法,利用直接偏好优化和相关性过滤,显著减少不相关预测,已部署至生产环境并提升搜索相关性和用户参与度。
2026-10-06 cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Online Learning to Rank with List-level Feedback for Image Filtering
在线学习排名(OLTR)通过隐式反馈已被广泛研究的情况下,反馈是在个别项目的水平上的文件检索。为了从项目级反馈中学习,当前的算法需要对用户行为进行某些假设。在本文中,我们研究了一个更一般的设置:OLTR与列表级反馈,反馈只提供在整个排名列表的水平。我们提出了两种方法,让在线学习排名在此设置。第一种方法是PGLearn,它使用排名模型来生成策略,并使用策略梯度在线优化策略。第二种方法RegLearn通过回归直接预测观察到的列表级反馈来学习组合单个文档相关性得分。我们评估所提出的方法的图像过滤任务,其中深度神经网络(DNN)用于排名图像响应一组常设查询。我们表明,PGLearn在OLTR中的列表级反馈表现不佳。相反,RegLearn在在线和离线指标中都表现出良好的性能。
2019-01-09 cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
National Taiwan University(國立臺灣大學)
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
Beihang University(北京航空航天大学)
提出DEPT方法,通过端到端训练单个仅解码器LLM实现统一查询扩展与检索,保留调优文档嵌入以解决移动目标问题,在BE基准数据集上提升了检索质量。
2026-08-19 cs.AI cs.IR
Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation
本文提出一种利用连续显式反馈更新密集查询表示的筛选优先级排序方法,无需昂贵微调,在CLEF TAR数据集上验证了其高效性和有效性。
2024-07-17 cs.IR
Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
本文提出利用LLM生成查询扩展文档,并通过对比学习、瓶颈式查询生成与课程学习预训练稠密检索器,显著提升大规模网页搜索的零样本和跨域性能。
2023-08-16 cs.CL cs.IR
GRM: Generative Relevance Modeling Using Relevance-Aware Sample Estimation for Document Retrieval
针对大语言模型生成式查询扩展易产生无关信息损害检索效果的问题,提出采用相关性感知样本估计的生成式相关性建模GRM,通过匹配真实文档与神经重排估计相关性以优化扩展词权重,在三个基准上显著提升检索性能。
2023-06-16 cs.IR
The Simplest Thing That Can Possibly Work: Pseudo-Relevance Feedback Using Text Classification
最近的评论质疑今天在应用机器学习中追求越来越复杂的模型和数学形式主义,以及是否实际上正在取得有意义的实证进展,本文试图用“可能起作用的最简单的东西”来解决几十年来伪相关反馈的问题。我提出了一种技术的基础上训练的文档相关性分类器的每一个信息需要使用伪标签从一个初始的排名列表,然后应用分类器重新排序检索到的文件。实验表明,显着的改善,在一些新闻专线的集合,与初始排名提供的“袋的话”BM 25,以及从一个良好的调优查询扩展模型。虽然这种简单的技术从文献中的几个著名的线程中提取元素,但据我所知,这种精确的组合以前没有被提出和评估。
2019-04-18 cs.IR
ECLIPSE: Contrastive Dimension Importance Estimation with Pseudo-Irrelevance Feedback for Dense Retrieval
提出 ECLIPSE 方法,利用不相关文档质心估计相关文档噪声维度,在多个基准上显著提升稠密检索性能。
2024-12-19 cs.IR
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources
本文提出渐进式查询扩展算法ProQE,结合伪相关反馈与大语言模型,在检索过程中迭代扩展查询,以降低按文档收费API场景下的检索成本,并在四个数据集上取得比最先进基线高37%的效果且成本效益最优。
2024-06-11 cs.IR
Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
Department of Intelligent Semiconductors, Soongsil University(智能半导体系,顺斯尔大学);School of AI Convergence, Soongsil University(人工智能融合学院,顺斯尔大学);MAUM AI Inc.(MAUM人工智能公司);Adobe Research, USA(Adobe美国研究实验室)
本文质疑基于大语言模型的查询扩展方法在零样本检索中的性能提升可能源于基准测试的知识泄漏,并通过事实验证实验发现生成文档包含黄金证据蕴含信息时性能才持续提升,揭示了现有评估可能被夸大。
2025-06-04 cs.CL cs.IR
Imagine All The Relevance: Scenario-Profiled Indexing with Knowledge Expansion for Dense Retrieval
提出稠密检索框架SPIKE,通过将文档分解为场景检索单元并利用LLM知识蒸馏,显式索引隐式相关性,从而提升推理密集型任务的检索性能与RAG体验。
2025-07-17 cs.IR
Iterative Relevance Feedback for Answer Passage Retrieval with Passage-level Semantic Match
相关反馈技术假设用户为前k个(通常是10个)文档提供相关性判断,然后根据这些判断使用新的查询模型重新排名。尽管这是有效的,但最近关于这个主题的研究很少,因为在典型的Web搜索场景中,要求用户对结果列表提供实质性的反馈是不切实际的。然而,在诸如利用灵巧家庭设备的基于语音的搜索的新环境中,在用户与系统的交互期间可能获得关于结果质量的反馈。由于在这种环境中,在一次交互中可以显示的结果的长度和数量受到严格的限制,因此重点应该从浏览结果列表转移到迭代检索,从检索文档转移到检索答案。在本文中,我们研究了迭代相关反馈技术,重点是检索答案段落。我们首先表明,迭代反馈是更有效的答案检索的top-k方法。然后,我们提出了一个迭代反馈模型的基础上的词级语义匹配,并表明它可以产生显着的改进相比,基于词的迭代反馈模型和那些基于术语级语义相似度。
2018-12-20 cs.IR
Learning Multi-Step Query Rewriting via Corpus Feedback for Conversational Search
INESC-ID;Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
该研究将对话式查询重写转化为序列检索问题,提出基于语料反馈的多步重写智能体,无需人工标注,在多个数据集上优于基线且可泛化,提升了检索效果。
2026-10-09 cs.IR
Document Expansion by Query Prediction
Tandon School of Engineering, New York University(纽约大学坦登工程学院);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research(脸书人工智能研究院)
一种提高搜索引擎检索效率的技术是用与文档内容相关或代表文档内容的术语来扩展文档。从问答系统的角度来看,这可能包括文档可能回答的问题。根据这一观察结果,我们提出了一种简单的方法,该方法预测将针对给定文档发出哪些查询,然后使用由查询和相关文档对组成的数据集进行训练的香草序列到序列模型来扩展这些预测。通过将我们的方法与高效的重新排序组件相结合,我们在两个检索任务中实现了最先进的技术。在延迟临界状态下,单独的检索结果(没有重新排序)接近计算成本更高的神经重新排序器的有效性,但要快得多。
2019-09-25 cs.IR cs.LG
Document Set Expansion with Positive-Unlabeled Learning: A Density Estimation-based Approach
University of Sheffield(谢菲尔德大学)
针对文档集扩展中PU学习面临的未知类别先验、数据不平衡及直推式设置限制,提出基于密度估计的puDE框架,无需SCAR假设或先验知识,并在真实数据集上验证其更优效果。
2024-01-20 cs.IR cs.LG
LLM-Assisted Pseudo-Relevance Feedback
IRLab, CITIC, Universidade da Coruña, Spain(拉科鲁尼亚大学,CITIC,IRLab)
本文提出一种结合大语言模型的伪相关反馈方法,通过在RM3计算前过滤相关文档,提升查询扩展的鲁棒性和准确性。
2026-01-16 cs.IR
SAUCE: Truncated Sparse Document Signature Bit-Vectors for Fast Web-Scale Corpus Expansion
Virginia Tech(弗吉尼亚理工大学);IBM Research Almaden(IBM阿尔马登研究院);eBay Inc(eBay公司)
文本表示的最新进展表明,对大量文本的训练对于自然语言理解至关重要。然而,在没有预定义的主题感兴趣的概念的情况下训练的模型在转移到专门领域时通常需要仔细的微调。当足够量的域内文本可能不可用时,从大规模web数据扩展相关文档的种子语料库带来了几个挑战。首先,语料库扩展需要对集合中的每个文档进行评分和排名,随着网络语料库大小的增长,这种操作很快就会变得计算昂贵。依赖于密集向量空间和成对相似性增加了计算开销。其次,随着领域概念变得更加细致入微,捕捉特定领域稀有术语的长尾变得不容易,特别是在有限的种子语料库场景下。在本文中,我们考虑的问题,快速近似语料库扩展给定一个小的种子语料库与一些相关的文件作为查询,捕捉长尾的特定领域的一组概念术语的目标。为了有效地收集大规模特定领域的语料库有限的相关反馈,我们提出了一种新的截断稀疏文档位向量表示,称为签名辅助无监督语料库扩展(SAUCE)。实验结果表明,SAUCE在保证域内词汇覆盖率的同时,降低了计算负担。
2021-08-26 cs.CL cs.IR
Using Query Expansion in Manifold Ranking for Query-Oriented Multi-Document Summarization
Beihang University(北京航空航天大学)
流形排序已成功地应用于面向查询的多文档摘要。它不仅利用了句子之间的关系,而且还利用了给定查询和句子之间的关系。然而,原始查询的信息往往是不够的。为此,本文提出了一种结合流形排序的查询扩展方法来解决这一问题。该方法不仅利用查询词本身的信息和知识库WordNet进行同义词扩展,还利用文档集本身的信息进行多种方式的查询扩展(均值扩展、方差扩展和TextRank扩展)。与以往的查询扩展方法相比,我们的方法结合了多种查询扩展方法,更好地表示查询信息,同时在流形排序上做了有益的尝试。此外,我们使用词的重叠度和词之间的接近度来计算句子之间的相似度。在DUC2006和DUC2007数据集上进行了实验,实验结果表明,所提出的查询扩展方法能够显著提高系统性能,使系统性能达到与现有系统相当的水平.
2021-07-31 cs.AI cs.IR cs.LG
Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval
University of California San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(奥多比研究院)
本文提出知识感知查询扩展框架,利用知识图谱文档关系增强大语言模型,并通过文档文本节点表示和关系过滤实现知识感知检索,在文本与关系半结构化检索上优于现有方法。
2025-02-05 cs.CL cs.IR
When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文首次全面分析基于大语言模型的查询与文档扩展,发现扩展对弱检索器有益但对强检索器有害,并提出按模型强弱和数据集分布差异选择性使用扩展的实用建议。
2024-02-26 cs.AI cs.CL cs.IR
GOLFer: Smaller LM-Generated Documents Hallucination Filter & Combiner for Query Expansion in Information Retrieval
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 GOLFer,通过幻觉过滤与加权文档组合,使较小开源语言模型可用于查询扩展,并在多类检索数据集上取得优于同类小模型方法、媲美大型 LLM 方法的效果。
2025-06-05 cs.AI cs.CL cs.IR
Evaluating Contrastive Feedback for Effective User Simulations
本研究探索将对比训练原理应用于提示工程,通过向大型语言模型提供相关与不相关文档的对比摘要来模拟用户知识状态,并评估不同上下文信息模态对模拟用户性能的影响,为构建更真实的模拟用户奠定基础。
2025-05-06 cs.IR
Embedding Surgery: Localized Updates for Adaptive Ranking Correction in Dense Retrieval
IIT-CNR(意大利国家研究委员会信息科学与技术研究所);Seltz;ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
本研究提出嵌入手术方法,通过对选定文档嵌入的局部最小化更新实现稠密检索的自适应排序修正,在多个基准上取得显著性能提升,且与查询适配方法互补。
2026-09-07 cs.IR
Ontology-Guided Query Expansion for Biomedical Document Retrieval using Large Language Models
University of California Riverside(加州大学河滨分校);Friedrich Schiller University Jena(施莱尔大学耶拿分校)
本文提出本体感知查询扩展流程BMQExpander,融合UMLS医学知识与大型语言模型生成能力,在三个生物医学IR基准上显著提升检索性能,并在查询扰动下表现稳健且幻觉更少。
2025-08-15 cs.IR cs.LG
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University(香港浸会大学);University of Perugia(佩鲁贾大学)
在这项工作中,几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究,并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是,我们专注于基于概念的查询扩展计划,其中,为了有效地提高精度的Web文档检索,以减少用户的浏览时间,主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中,查询扩展的两个关键任务是找到扩展候选,即Web文档域中最接近的概念,并对扩展查询进行适当的排序。我们提出的方法,旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离,PMING距离是一种协作语义接近度度量,即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明,该方法能为用户提供更满意的扩展结果,提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
Using Word Embeddings for Automatic Query Expansion
本文提出了一种基于分布式神经语言模型word 2 vec的自动查询扩展(AQE)框架。word 2 vec在分布式无监督框架中使用语义和上下文关系,为每个词汇条目学习低维嵌入。利用这个框架,我们设计了一个查询扩展技术,其中相关的条款,以一个查询的K-最近邻方法。我们探讨的AQE方法的性能,有和没有反馈查询扩展,和一个简单的K-最近邻的变种,在建议的框架。在标准TREC ad-hoc数据(具有查询集301-450、601-700的盘4、5)和web数据(具有查询集451-550的WT 10 G数据)上的实验示出了比基于标准术语重叠的检索方法的显著改进。然而,所提出的方法无法实现与基于统计共现的反馈方法(如RM 3)相当的性能。我们还发现,基于word 2 vec的查询扩展方法在有和没有任何反馈信息的情况下执行类似。
2016-06-24 cs.IR