An Axiomatic Study of Query Terms Order in Ad-hoc Retrieval
经典的检索方法使用简单的词袋表示查询和文档。这种表示无法捕捉查询和文档的全部语义丰富性。最近的检索模型试图克服这一缺陷,通过使用的方法,如将查询条件之间的依赖关系,使用双元语法表示的文件,邻近检索,并通过检索。虽然这些以前的作品中的一些已经隐含地考虑了术语顺序,但据我们所知,术语顺序并不是任何研究的主要焦点。在本文中,我们只关注在信息检索的术语顺序的效果。我们将证明,在查询中有两个相同顺序的查询词的文档比有两个相反顺序的查询词的文档具有更高的相关概率。使用信息检索的公理化框架,我们引入了一个约束,检索模型必须遵守,以有效地利用查询条件之间的术语顺序依赖。我们修改现有的检索模型,基于这个约束条件,以便如果一对查询条件的顺序是语义上重要的,一个文件,包括这些查询条件在相同的顺序作为查询应该得到更高的分数相比,包括它们在相反的顺序的文件。我们使用TREC新闻专线和网络语料库的实证评估表明,修改后的检索模型显着优于原来的同行。
2018-11-08 cs.IR
Query Embedding Pruning for Dense Retrieval
稠密检索技术的最新进展提供了这样的希望,即不仅能够使用诸如BERT之类的上下文化语言模型对文档进行重新排序,而且还能够首先使用这些模型从集合中识别文档。然而,当使用针对每个查询使用多个嵌入式表示的稠密检索方法时,针对每个查询可以检索大量文档,这阻碍了该方法的效率。因此,这项工作是第一个考虑效率的提高,在上下文中的稠密检索方法(即ColBERT),修剪查询项嵌入估计是不是有用的检索相关的文件。我们提出的查询嵌入修剪降低了稠密检索操作的成本,以及减少检索的文档的数量,因此需要完全评分。在MSMARCO段落排名语料库上进行的实验表明,当根据相应标记的收集频率将所使用的查询嵌入的数量从32减少到3时,查询嵌入修剪的有效性在统计上没有显著差异,同时检索到的文档数量减少了70%。就端到端系统的平均响应时间而言,这导致了2.65倍的加速。
2021-08-23 cs.IR
Experiments on Manual Thesaurus based Query Expansion for Ad-hoc Monolingual Gujarati Information Retrieval Tasks
在本文中,我们提出的实验工作做查询扩展(QE)的古吉拉特语文本文档的检索任务。在信息检索中,准确地估计用户的需求是非常困难的,查询扩展在原始查询的基础上增加检索词,从而提供更多的用户需求信息。查询扩展有多种方法。在我们的工作中,手动词库为基础的查询扩展进行广泛使用的信息检索模型古吉拉特语文本文档的性能进行评估。实验结果表明,查询扩展提高了文本文档的查全率。
2020-01-18 cs.IR
Context Attentive Document Ranking and Query Suggestion
我们提出了一个上下文感知的神经排序模型,利用用户的任务搜索活动,提高检索性能。特别是,一个两级层次递归神经网络被引入到学习搜索上下文表示的个人查询,搜索任务,以及相应的依赖结构,通过共同优化两个同伴检索任务:文档排序和查询建议。为了识别搜索上下文和用户正在进行的搜索活动之间的变量依赖结构,在两个层次的经常性状态的注意力。广泛的实验比较,对一组丰富的基线方法和深入的消融分析证实了我们提出的方法建模搜索上下文埋在搜索任务的价值。
2019-06-05 cs.IR
PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval
密集通道检索(DPR)模型在Web领域的第一阶段检索中表现出很大的有效性增益。然而,在web领域,我们处于具有大量训练数据和查询到通道或查询到文档检索任务的设置中。在本文中,我们研究密集的文档到文档检索有限的标记目标数据的训练,特别是法律案件检索。为了使用DPR模型进行文档到文档的检索,我们提出了一个段落聚合检索模型(PARM),它解放了DPR模型从他们有限的输入长度。PARM在段落级别上检索文档:对于每个查询段落,根据其段落检索相关文档。然后将每个查询段落的相关结果聚合到整个查询文档的一个排名列表中。对于聚合,我们提出了基于向量的聚合与倒数秩融合(VRRF)加权,它结合了基于秩的聚合和主题聚合的密集嵌入的基础上的优点。实验结果表明,VRRF优于基于排名的聚合策略密集文档到文档检索与PARM。我们比较PARM的文档级检索和表现出更高的检索效率的PARM词汇和密集的第一阶段检索两个不同的法律案件检索集合。我们研究如何训练的稠密检索模型的PARM有限的目标数据的段落或文档级别的标签。此外,我们还分析了PARM在词法检索和稠密检索检索结果上的差异。
2022-08-14 cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测(QEP)任务及 GEP 方法,利用文档组词汇信息预测查询下各组在排序中的曝光分布,实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
Learning to Rank Using Localized Geometric Mean Metrics
许多LtR(learning-to-rank)算法关注查询无关模型,即查询和文档不在同一个特征空间中,排序器依赖于查询-文档对的特征集合而不是查询实例和文档之间的相似性。然而,现有的算法没有考虑查询文档特征空间中的局部结构,并且对不相关的噪声特征很脆弱。在本文中,我们提出了一种新的黎曼度量学习算法,以捕捉局部结构和发展一个强大的LtR算法。首先,我们设计了一个称为\textit{ideal candidate document}的概念,将度量学习算法引入查询无关模型。以往的度量学习算法只适用于查询依赖模型,即查询实例和文档属于同一个特征空间,相似度直接从度量空间计算。然后,我们扩展了新的和非常快速的全球几何平均度量学习(GMML)算法,开发一个本地化的GMML,即L-GMML。在结合局部学习指标的基础上,采用归一化贴现累积增益(NDCG)评分器和加权近似秩对损失(WARP)对每个查询候选集的\textit{ideal candidate document}进行优化。最后,我们可以通过\textit{ideal candidate document}和其他候选人之间的相似性快速评估所有候选人。通过利用度量学习算法描述复杂结构信息的能力,我们的方法为我们提供了一种执行LtR任务的原则性且有效的方法。在真实数据集上的实验表明,我们提出的L-GMML算法在精度和计算效率方面优于最先进的度量…
2017-05-22 cs.IR
Extraction of Layout Entities and Sub-layout Query-based Retrieval of Document Images
布局和子布局构成了一个重要的线索,而搜索文档的基础上,其结构,或当文本内容是未知的/无关的。子布局指定文档实体在文档的较小部分内的排列。我们提出了一个有效的基于图的匹配算法,集成了基于哈希的索引,修剪可能大的搜索空间。用户可以使用基于草图的查询来指定感兴趣的子布局的组合。系统支持未指定布局实体的部分匹配。我们处理的情况下,分割预处理错误(文本/非文本块)的对称性最大化为基础的战略,并占多个特定领域的合理分割假设。我们展示了我们的系统的非结构化实体的数据库,包含4776报纸图像的可喜成果。
2016-09-09 cs.IR
Identifying Relevant Document Facets for Keyword-Based Search Queries
作为具有丰富元数据的结构化文档(如产品、电影等)随着信息检索的日益普及,对这些文档的检索已经成为一个重要的信息检索问题。虽然高级搜索界面广泛使用,但大多数用户仍然喜欢使用基于关键字的查询来搜索这些文档。查询关键字通常隐含着对所需文档的一些隐藏限制,这些限制可以表示为文档面值对。为了实现高检索性能,能够识别隐藏在查询中的相关方面值对非常重要。在本文中,我们研究的问题,确定文档的方面值对相关的基于关键字的搜索查询。我们提出了一个机器学习的方法和一组有用的功能,并评估我们的方法使用的电影数据集从INEX。
2015-01-05 cs.IR
Test-Time Adaptation with Query-Dependent Residuals for Visual Document Retrieval
South China University of Technology(华南理工大学);Foshan University(佛山大学)
针对视觉文档检索中部署后难以自适应的问题,提出Q-REACT方法,利用查询相关残差将有限重排序反馈转化为可复用检索改进,在多个任务和骨干网络上提升平均检索性能且开销小。
2026-09-24 cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
Integrating and querying similar tables from PDF documents using deep learning
企业产生的大量公共数据都是半结构化的PDF格式。从PDF格式的报告和其他已发布数据中提取表格数据对于各种数据合并目的(例如分析和汇总公司的财务报告)是有意义的。转换成PDF格式的结构化表格数据,通常会以非结构化的方式通过文本匹配等方式进行处理。这主要是由于PDF文档的二进制格式针对布局和渲染进行了优化,并且对数据的自动解析没有很大的支持。此外,即使PDF文件中的相同表类型在模式、行或列标题中也会有所不同,这使得查询计划难以覆盖所有相关表。本文提出了一种基于深度学习的方法,使SQL类查询和分析的PDF格式的年度报告中的财务表。这是通过表类型分类和最近行搜索来实现的。我们证明了使用在Google新闻上训练的词嵌入进行标题匹配明显优于传统数据库中基于文本匹配的方法。我们还介绍了一个实用的系统,使用这种技术来查询和分析来自各种来源的PDF文档中的财务表。
2019-01-15 cs.IR
Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)
如果信息检索(IR)系统不仅检索存储在索引中的相关信息,而且还可以“理解”它并将其合成为单个文档,那会怎么样?我们提出了一个初步的研究,使回答这个问题的第一步。给定一个查询,我们根据该查询的现有相关信息训练一个递归神经网络(RNN)。然后,我们使用RNN来“深度学习”一个单一的、合成的、我们假设的、与该查询相关的文档。我们设计了一个众包实验来评估“深度学习”文档与现有相关文档的相关性。用户会看到一个查询和四个词云(三个现有的相关文档和我们深入学习的合成文档)。综合文件的平均排名是所有文件中最相关的。
2016-06-27 cs.IR
DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking
LUMIA Lab, Shanghai Jiao Tong University(上海交通大学生涯智能计算实验室);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
该研究针对LLM逐点重排序的文档侧冗余计算问题,提出DoPR压缩文档前缀框架,实现内存缩减与延迟加速,同时保留重排序性能。
2026-09-04 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
TCDE: Topic-Centric Dual Expansion of Queries and Documents with Large Language Models for Information Retrieval
Xi’an Jiaotong University(西安交通大学);University of Massachusetts Boston(麻省大学波士顿分校)
TCDE通过大语言模型实现查询与文档的主题聚焦双扩展,提升信息检索的语义对齐效果。
2025-12-19 cs.IR
Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
Portland State University(波特兰州立大学);EvenUp
针对RAG系统固定top-k检索的弊端,提出基于预检索查询聚类的自适应检索深度框架,离线估计查询难度并聚类推荐检索深度,在线常数时间分配,在真实流量中F1提升36%以上且token减少14%。
2026-09-16 cs.IR
Reproducing Personalised Session Search over the AOL Query Log
尽管AOL查询日志过去麻烦不断,但它仍然是研究社区的重要资源-特别是对于搜索个性化等任务。在使用查询日志进行这些排序实验时,通常很少关注文档语料库。最近的工作通常使用一个语料库,其中包含在日志产生很久之后收集的文档版本。鉴于Web文档容易随着时间的推移而发生变化,我们研究了包含2017年出现的文档的语料库版本(最近的几个作品都使用了它)与我们构建的新版本之间的差异,新版本包含的文档与查询日志产生时(2006年)出现的文档接近。我们证明,这个新版本的语料库对原始日志中存在的文档的覆盖率(93%)远远高于2017年版本(55%)。在重叠的文件中,内容往往相差很大。考虑到这些差异,我们重新进行了最初使用2017年语料库的会话搜索实验,发现当使用我们的语料库进行训练或评估时,系统性能有所提高。我们把结果的背景下,通过引入最近的临时排名基线。我们还确认了AOL语料库中的查询的导航性质,包括URL大大提高了各种模型的性能。我们的语料库版本可以很容易地被其他研究人员重建,并包含在ir-datasets包中。
2022-01-21 cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊 Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而,查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距,灵感来自最近的进展,应用上下文模型,如BERT的文档检索任务,本文提出了一种新的查询扩展模型,利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中,所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context
基于BERT的文本排序模型极大地提高了自组织检索的最新水平,其中大多数模型倾向于独立地考虑单个查询-文档对。与此同时,在排名模型中考虑跨文档交互和查询特定特征的重要性和有用性已被反复证实,主要是在学习排序的背景下。然而,基于BERT的排名模型还不能完全结合这两种类型的排名上下文,从而忽略了来自排名的文档间关系和查询之间的差异。为了缓解这一差距,在这项工作中,一个端到端的基于转换器的排名模型,名为共同BERT,已提出利用几个BERT架构校准查询文档表示使用伪相关反馈建模前的一组文档的相关性联合。在两个标准测试集上进行的大量实验证实了所提出的模型在提高文本重排序性能方面的有效性。我们计划使我们的实现开源,以便进行进一步的比较。
2021-04-17 cs.IR
CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准,专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求,即“英国的开放银行监管如何使挑战者银行受益?". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库,其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17,509个文档和实体(每个主题416.9个)的专家判断。手动运行包括387个查询重写,为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析,包括稠密检索和神经重新排序。结果表明,主题是具有挑战性的,为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序,展示了资源的价值,评估和改进面向实体的搜索。我们还表明,手动查询重构显着提高文档排序和实体排名的性能。总体而言,CODEC提供了具有挑战性的研究课题,以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
Efficient Document Re-Ranking for Transformers by Precomputing Term Representations
深度预训练的Transformer网络在各种排名任务中是有效的,例如问答和ad-hoc文档排序。然而,它们的计算费用认为它们在实践中成本过高。我们提出的方法,称为PreTTR(Precomputing Transformer Term Representations),大大降低了深度Transformer网络的查询时间延迟(在Web文档排序上加速高达42倍),使这些网络更实用,可用于实时排名场景。具体来说,我们在索引时预先计算部分文档术语表示(没有查询),并在查询时将它们与查询表示合并以计算最终的排名分数。由于令牌表示的大小很大,我们还提出了一种有效的方法,通过训练压缩层来匹配注意力分数来减少存储需求。我们的压缩技术将所需的存储空间减少了95%,并且可以在不大幅降低排名性能的情况下应用。
2020-05-26 cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
USUM: Update Summary Generation System
万维网中存在大量的信息,并且大量信息被频繁地添加到万维网中。在这种情况下,特定于查询的多个文档摘要对用户非常有帮助。目前,很少有系统已经提出了查询特定的,提取多文档摘要。如果摘要可用于给定查询上的一组文档,并且如果新文档被添加到语料库,则从头开始生成更新的摘要是耗时的,并且很多时候是不实际/不可能的。在本文中,我们提出了一个解决这个问题。这在源文档不可访问的情况下特别有用。我们巧妙地将当前摘要的句子嵌入到新文档中,然后在该文档上执行特定于查询的摘要生成。我们的实验结果表明,所提出的方法的性能是良好的质量和效率。
2009-07-30 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources
本文提出渐进式查询扩展算法ProQE,结合伪相关反馈与大语言模型,在检索过程中迭代扩展查询,以降低按文档收费API场景下的检索成本,并在四个数据集上取得比最先进基线高37%的效果且成本效益最优。
2024-06-11 cs.IR
Ranking Narrative Query Graphs for Biomedical Document Retrieval (Technical Report)
本文针对生物医学文档检索中图检索精确匹配难以排序的问题,提出基于图的无监督排序、查询松弛和本体重写方法,有效提升了检索的精确率和召回率。
2024-12-06 cs.IR
CREDENCE: Counterfactual Explanations for Document Ranking
本研究提出交互式工具CREDENCE,针对信息检索中的文档排序问题,从文档、查询及其他文档维度生成反事实解释,还支持用户自定义扰动以获取相关洞见,提升了排序器的可解释性。
2023-02-10 cs.IR
ReFeed: Retrieval Feedback-Guided Dataset Construction for Style-Aware Query Rewriting
MODULABS;Samsung SDS(三星SDS);Dable;MIRI D.I.H Co., Ltd.;Lomin
ReFeed通过检索反馈驱动数据集构建,提升查询重写模型对文档风格的感知能力,改进领域特定场景下的检索效果。
2026-03-02 cs.IR
Query-specific Variable Depth Pooling via Query Performance Prediction towards Reducing Relevance Assessment Effort
本文提出利用QPP估计各查询的潜在相关文档数并设置可变池深度,从而在保持IR系统相对有效性评估的同时显著减少相关性标注工作量。
2023-04-23 cs.IR
Harnessing the Power of Reinforcement Learning for Language-Model-Based Information Retriever via Query-Document Co-Augmentation
本文提出一种基于强化学习的LLM检索器,通过双向协同增强查询和文档,解决奖励纠缠问题,显著提升稀疏和密集检索性能,尤其在困难领域。
2025-06-23 cs.IR
Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval
University of Innsbruck(因斯布鲁克大学);Chungbuk National University(忠北国立大学)
提出Argus系列查询条件后期交互检索器,通过区域感知混合专家模块使文档表示依赖查询,在ViDoRe基准上以更低维度和更少训练数据取得领先性能。
2026-06-03 cs.IR
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization
York University(约克大学);Information Retrieval and Knowledge Management Research Lab(信息检索与知识管理研究实验室);School of Information Technology(信息技术学院);Department of Electrical Engineering and Computer Science(电子工程与计算机科学系)
在以查询为中心的多文档摘要(QF-MDS)任务中,给出了一组文档和一个查询,目标是根据给定的查询从这些文档生成摘要。然而,这项任务的一个主要挑战是缺乏可用的标记训练数据集。为了克服这个问题,在本文中,我们提出了一种新的弱监督学习方法,通过利用远程监督。特别地,我们使用与目标数据集相似的数据集作为训练数据,其中我们利用预先训练的句子相似性模型来从多文档黄金参考摘要生成文档集中每个单独文档的弱参考摘要。然后,我们在每个单文档上迭代地训练我们的摘要模型,以减轻在多个文档中训练神经摘要模型时发生的计算复杂性问题(即,长序列)。在文档理解会议(DUC)数据集上的实验结果表明,我们提出的方法设置了一个新的国家的最先进的结果在各种评价指标。
2020-11-03 cs.CL cs.IR
EviQE: Evidence Selection for LLM-Based Query Expansion
Toronto Metropolitan University(多伦多都会大学);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
EviQE通过聚合多个改写器的检索文档并选择紧凑证据集进行查询扩展,在TREC DL和BEIR基准上,基于相关性的证据选择(LLM-Score)显著优于直接改写等方法。
2026-09-15 cs.IR
Counterfactual Query Rewriting to Use Historical Relevance Feedback
本文提出利用历史相关性反馈反事实地重写查询,通过词项扩展或生成关键查询,在 CLEF LongEval 中提升检索效果并优于昂贵的 transformer 方法。
2025-02-06 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business(雅典经济与商业大学);Google AI(谷歌人工智能)
我们探索了几种新的文档相关性排名模型,建立在Guo et al.(2016)的深度相关性匹配模型(DRMM)基础上。与DRMM不同,DRMM使用术语的上下文不敏感编码和查询-文档术语交互,我们在整个模型中注入了丰富的上下文敏感编码,灵感来自PACRR(Hui等人,卷积n-gram匹配功能,但以多种方式扩展,包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型(Tsatsaronis等人,2015年)和TREC ROBUST 2004年(Voorhees,2005年),显示它们优于基于BM 25的基线,DRMM和PACRR。
2018-09-11 cs.CL cs.IR
DREQ: Document Re-Ranking Using Entity-based Query Understanding
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出面向实体的稠密重排序模型DREQ,通过强化查询相关实体并削弱无关实体构建查询特定的混合文档表示,在四个基准上超越现有神经与非神经重排序方法。
2024-01-11 cs.AI cs.IR
Simplified Longitudinal Retrieval Experiments: A Case Study on Query Expansion and Document Boosting
本文针对纵向检索评估缺少时间维度且自定义逻辑复杂的问题,基于LongEval 2024提出ir_datasets声明式扩展,以简化实验代码并提升可复现性与可扩展性。
2025-09-22 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈(PRF)根据检索前的文档自动进行查询扩展,以更好地反映用户的信息需求,从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而,现有的PRF方法几乎没有尝试理解文档的内容,这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中,我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中,我们制定的PRF作为一个QA任务,其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色,而目标是找到一些适当的条款,以扩大原始查询,利用上下文信息,这是类似的答案在QA任务。此外,一个基于注意力的指针网络是建立在理解的顶部检索文档的内容,并选择的条款,以代表原始查询更好。我们还表明,将传统的监督学习方法,如LambdaRank,整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明,QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中,我们提出了一种新的监督的方法,可以将丰富的句子特征到贝叶斯主题模型的原则性的方式,从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Query, Decompose, Compress: Structured Query Expansion for Efficient Multi-Hop Retrieval
Chung-Ang University(中央大学)
本文提出DeCoR框架,通过结构化信息精炼提升多跳检索效率,采用查询分解和文档压缩技术,使小模型在复杂检索中表现优于大模型。
2026-01-14 cs.IR
Explaining Documents' Relevance to Search Queries
我们提出了GenEx,生成模型来解释搜索结果,用户不仅仅是显示查询和文档单词之间的匹配。在搜索结果中添加GenEx解释会极大地影响用户满意度和搜索性能。搜索引擎大多为每个结果提供文档标题、URL和片段。现有的模型无关的解释方法同样集中在词匹配或基于内容的功能。然而,最近的一项用户研究表明,词匹配功能对用户来说是非常明显的,因此价值不大。GenEx通过对结果所涵盖的查询方面提供简洁的描述来解释搜索结果。我们铸造的任务作为一个序列转导问题,并提出了一种新的模型的基础上,Transformer架构。为了表示与给定查询相关的文档,但又不生成查询本身作为解释,在Transformer架构中添加了两个查询关注层和屏蔽查询解码。该模型是在不使用任何人类生成的解释的情况下进行训练的。相反,自动构造训练数据以确保可容忍的噪声水平和可推广的学习模型。实验评估表明,我们的解释模型显着优于基线模型。通过用户研究的评估也表明,我们的解释模型产生简短而有用的解释。
2021-11-02 cs.IR
ReAlign: Optimizing the Visual Document Retriever with Reasoning-Guided Fine-Grained Alignment
Northeastern University(东北大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
本文提出ReAlign方法,利用VLM推理能力生成细粒度视觉描述作为监督信号,提升视觉文档检索性能,实验表明在不同领域数据集上均取得2%的相对提升。
2026-04-08 cs.IR
Quantum emulation of query extension in information retrieval
本文提出了一种称为Melucci隐喻的操作性方案,将信息检索描述为粒子束扮演检索文档流角色的物理测量。从这个角度研究了当粒子-“docuscles”被假定为经典或量子性质时,由额外项进行查询扩展的可能性。结果表明,在这两种情况下,选择一个额外的条款贝叶斯信念修订的基础上仍然是有效的,在定性层面上提高检索到的文件的相关性。
2014-11-14 cs.IR
Multi-Task Learning for Email Search Ranking with Auxiliary Query Clustering
用户的信息需求在不同的任务中有很大的不同,因此他们的查询在表达能力和语义上也会有很大的不同。许多研究已经提出了这样的查询多样性模型,通过获取查询类型和建立查询相关的排名模型。这些研究通常需要一个标记的查询数据集或来自多个用户对同一文档的点击。然而,当手动查询标记不可行时,这些技术不适用,并且由于文档集合的私有性质,聚集的点击不可用,例如,在电子邮件搜索场景中。在本文中,我们研究如何获得查询类型在一个无监督的方式,以及如何将这些信息到查询相关的排名模型。首先,我们开发了一个层次聚类算法的基础上截断SVD和方差最大旋转,以获得粗到细的查询类型。然后,我们研究了三个依赖于查询的排名模型,包括两个利用查询类型信息作为附加特征的神经模型,以及一个将查询类型视为辅助查询聚类预测任务标签的新型多任务神经模型。这个多任务模型经过训练,可以同时对文档进行排名并预测查询类型。我们对数千万个真实电子邮件搜索查询的实验表明,所提出的多任务模型可以显着优于基线神经排名模型,后者要么不包含查询类型信息,要么只是简单地将查询类型作为附加功能。
2018-09-15 cs.IR
Quam: Adaptive Retrieval through Query Affinity Modelling
本文提出 Quam 查询亲和度模型,利用相关性感知文档相似度图增强自适应检索,在低重排序预算下显著提升召回率,并可作为通用模块嵌入现有方法。
2024-10-26 cs.IR
An In-depth Analysis of Passage-Level Label Transfer for Contextual Document Ranking
本文分析文档切分与段落级标签迁移对检索效果和效率的影响,提出弱监督段落标注方案,在四个数据集上以可控复杂度取得3%–14%的nDCG提升。
2023-12-06 cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
Learning to Match Using Local and Distributed Representations of Text for Web Search
诸如潜在语义分析和基于神经嵌入的模型学习文本的分布式表示,并将查询与潜在语义空间中的文档进行匹配。另一方面,在传统的信息检索模型中,术语具有离散或局部表示,并且文档的相关性由查询术语在正文中的精确匹配来确定。我们假设,匹配与分布式表示补充匹配与传统的本地表示,两者的组合是有利的。我们提出了一种新的文档排序模型,该模型由两个独立的深度神经网络组成,一个使用本地表示匹配查询和文档,另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分进行联合训练。我们表明,这种组合或“二重奏”的表现显着优于任何一个神经网络单独的网页排名任务,也显着优于传统的基线和其他最近提出的模型的基础上神经网络。
2016-10-26 cs.IR
Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
Department of Intelligent Semiconductors, Soongsil University(智能半导体系,顺斯尔大学);School of AI Convergence, Soongsil University(人工智能融合学院,顺斯尔大学);MAUM AI Inc.(MAUM人工智能公司);Adobe Research, USA(Adobe美国研究实验室)
本文质疑基于大语言模型的查询扩展方法在零样本检索中的性能提升可能源于基准测试的知识泄漏,并通过事实验证实验发现生成文档包含黄金证据蕴含信息时性能才持续提升,揭示了现有评估可能被夸大。
2025-06-04 cs.CL cs.IR
Coarse-Tuning for Ad-hoc Document Retrieval Using Pre-trained Language Models
Hitotsubashi University(一桥大学);Tokyo University of Technology(东京工科大学)
本文提出粗调作为预训练与微调间的中间阶段,通过查询-文档对预测(QDPP)学习查询表示及关系,显著提升了四个临时文档检索数据集的MRR和nDCG@5。
2024-03-27 cs.AI cs.CL cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
Beihang University(北京航空航天大学)
提出DEPT方法,通过端到端训练单个仅解码器LLM实现统一查询扩展与检索,保留调优文档嵌入以解决移动目标问题,在BE基准数据集上提升了检索质量。
2026-08-19 cs.AI cs.IR
Information Retrieval via Truncated Hilbert-Space Expansions
除了术语在文档集合中的频率之外,术语的分布在确定文档的相关性方面起着重要作用。本文提出了一种新的表示文档中术语位置的方法。该方法允许一个有效的评估的术语位置信息在查询评估时间。三个应用程序进行了研究:一个基于功能的排名优化表示一个用户定义的文档区域,一个查询扩展技术的基础上重叠的长期分布在排名靠前的文件,和聚类分析的条款在文件中。实验结果证明了该方法的有效性。
2009-10-10 cs.IR