Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
Stanford University(斯坦福大学);Amazon AWS(亚马逊云科技);Tel Aviv University(特拉维夫大学)
本研究探讨向量检索中查询编码器的可学习性,发现其质量远低于文档索引的几何容量上限,并理论证明学习查询编码器在计算上可能困难,需指数级统计查询。
2026-10-05 cs.IR cs.LG
Optimizing Query Generation for Enhanced Document Retrieval in RAG
本研究通过引入查询-文档对齐分数并利用LLM精炼查询,优化RAG中的查询生成,以缓解幻觉问题,实验显示平均准确率提升1.6%。
2024-07-17 cs.IR
Extracting Document Relations from Search Corpus by Marginalizing over User Queries
The University of Electro-Communications(东京电波通信大学)
提出 EDR-MQ 框架,通过 MC-RAG 技术对用户查询进行边缘化来估计文档间的联合概率,无需标注数据即可揭示传统方法难以发现的文档关系与跨领域联系。
2025-07-14 cs.IR cs.LG
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
A Dual Embedding Space Model for Document Ranking
搜索引擎的基本目标是在给定查询的情况下识别具有相关文本的文档。这在本质上是困难的,因为查询和文档可能使用不同的词汇表,或者文档可能包含不相关的查询词。我们调查神经词嵌入作为证据来源的文档排序。我们训练一个word 2 vec嵌入模型在一个大型的未标记的查询语料库,但在如何使用该模型是常用的,我们保留了输入和输出的预测,使我们能够利用这两个嵌入空间,以获得更丰富的分布关系。在排序过程中,我们将查询词映射到输入空间,将文档词映射到输出空间,并通过聚合所有查询-文档词对的余弦相似度来计算查询-文档相关性得分。我们假设,建议的双嵌入空间模型(DESM)捕获的证据,一个文件是否是关于一个查询词除了什么是传统的基于词频的方法建模。我们的实验表明,DESM可以重新排名顶部返回的商业Web搜索引擎,如Bing,比一个基于术语匹配的信号,如TF-IDF的文件。然而,当对一组较大的候选文档进行排名时,我们发现基于嵌入的方法容易出现误报,检索到的文档与查询仅松散相关。我们证明,这个问题可以有效地解决排名的DESM和字数统计功能的线性混合的基础上。
2016-02-02 cs.IR
CAiRE-COVID: A Question Answering and Query-focused Multi-Document Summarization System for COVID-19 Scholarly Information Management
EMOS Technologies Inc.(EMOS科技公司)
我们介绍CAiRE-COVID,一个实时问答(QA)和多文档摘要系统,它赢得了Kaggle COVID-19开放研究数据集挑战赛的10个任务之一,由医学专家评判。我们的系统旨在通过回答社区的高优先级问题并总结与问题相关的重要信息,来应对最近挖掘大量关于COVID-19的科学文章的挑战。它将信息抽取与最先进的QA和以查询为中心的多文档摘要技术相结合,从现有文献中选择并突出显示证据片段。我们还提出了以查询为中心的抽象和提取的多文档摘要方法,以提供更多的相关信息的问题。我们进一步进行定量实验,显示每个模块的各种指标的一致改进。我们已经推出了我们的网站CAiRE-COVID,供医学界更广泛地使用,并开放了我们系统的代码,以引导其他研究人员进行进一步的研究。
2020-12-08 cs.CL cs.IR cs.LG
The Opposite of Smoothing: A Language Model Approach to Ranking Query-Specific Document Clusters
利用信息引起的(查询特定)聚类的顶部检索的文件一直被提出作为一种手段,以提高精度的最高排名的返回结果。我们提出了一种新的语言模型的方法来排名查询特定的集群的假设百分比的相关文件,他们包含。虽然大多数以前的集群排名方法集中在集群作为一个整体,我们的模型还利用信息诱导与集群相关的文件。我们的模型大大优于以前的方法,用于识别包含高相关文档百分比的聚类。此外,使用该模型来产生文档排序,产生的精度在顶级的性能,始终优于初始的排名上进行聚类。性能也有利地比较与一个国家的最先进的伪反馈为基础的检索方法。
2014-01-16 cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊 Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而,查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距,灵感来自最近的进展,应用上下文模型,如BERT的文档检索任务,本文提出了一种新的查询扩展模型,利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中,所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Incorporating Query Term Independence Assumption for Efficient Retrieval and Ranking using Deep Neural Networks
Microsoft AI & Research(微软人工智能与研究院)
经典的信息检索(IR)方法,如查询可能性和BM 25,评分文件独立w.r.t.每个查询词,然后累积分数。假设查询术语独立性允许使用这些模型预先计算术语-文档分数--这些模型可以与专门的数据结构(如倒排索引)相结合,以实现高效检索。相比之下,深度神经IR模型将整个查询与文档进行比较,因此通常仅用于后期重新排名。我们将查询项独立性假设纳入三个最先进的神经IR模型:BERT,Duet和CKNRM-并评估它们在段落排名任务上的性能。令人惊讶的是,我们观察到Duet和CKNRM的结果质量没有显著损失,而BERT的结果质量略有下降。然而,通过独立地对每个查询词进行操作,这些计算密集型模型变得易于离线预计算-大大降低了采用最先进的神经排名模型进行查询评估的成本。这种策略使得使用深度模型从大型集合中进行检索变得切实可行,而不是将其使用限制在后期重新排名。
2019-07-08 cs.IR cs.LG
Query-driven Segment Selection for Ranking Long Documents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
基于transformer的排名显示出最先进的性能。然而,他们的自我注意操作大多无法处理长序列。训练这些排序器的常用方法之一是以启发式方式选择每个文档的某些段(例如第一段)作为训练数据。但是,这些段可能不包含文档中与查询相关的部分。为了解决这个问题,我们提出了查询驱动的段选择从长文档建立训练数据。段选择器为相关样本提供更准确的标签,为不相关样本提供更难预测的标签。实验结果表明,与建议的段选择器训练的基本BERT的排序器显着优于训练的启发式选择的段,并表现出等同于最先进的模型与本地化的自我注意,可以处理更长的输入序列。我们的研究结果开辟了新的方向,设计高效的变压器为基础的排名。
2021-09-10 cs.CL cs.IR cs.LG
A Passage-Based Approach to Learning to Rank Documents
根据常见的相关性判断机制,例如TREC的,即使文档包含具有相关信息的非常短的文本段落,也可以认为文档与查询相关。这一事实激发了基于XML的文档检索的工作:从文档的段落中归纳信息的文档排序方法。然而,主要来源的基于XML的信息利用的是XML查询相似性。我们解决的挑战,利用更丰富的基于XML的信息源,以提高文档检索的有效性。具体来说,我们设计了一套学习排名为基础的文件检索方法,利用有效的排名的段落产生的响应查询,也诱导使用学习排名的方法通过排名。一些方法量化了文档段落的排名。其他人利用用于学习段落排名器的段落的基于特征的表示。实证评估证明了我们的方法在高度有效的基线方面的明显优点。我们最好的执行方法是基于学习的文档排序功能使用文档查询功能和查询功能的文档的通道排名最高。
2019-06-05 cs.IR
An Axiomatic Study of Query Terms Order in Ad-hoc Retrieval
经典的检索方法使用简单的词袋表示查询和文档。这种表示无法捕捉查询和文档的全部语义丰富性。最近的检索模型试图克服这一缺陷,通过使用的方法,如将查询条件之间的依赖关系,使用双元语法表示的文件,邻近检索,并通过检索。虽然这些以前的作品中的一些已经隐含地考虑了术语顺序,但据我们所知,术语顺序并不是任何研究的主要焦点。在本文中,我们只关注在信息检索的术语顺序的效果。我们将证明,在查询中有两个相同顺序的查询词的文档比有两个相反顺序的查询词的文档具有更高的相关概率。使用信息检索的公理化框架,我们引入了一个约束,检索模型必须遵守,以有效地利用查询条件之间的术语顺序依赖。我们修改现有的检索模型,基于这个约束条件,以便如果一对查询条件的顺序是语义上重要的,一个文件,包括这些查询条件在相同的顺序作为查询应该得到更高的分数相比,包括它们在相反的顺序的文件。我们使用TREC新闻专线和网络语料库的实证评估表明,修改后的检索模型显着优于原来的同行。
2018-11-08 cs.IR
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization
York University(约克大学);Information Retrieval and Knowledge Management Research Lab(信息检索与知识管理研究实验室);School of Information Technology(信息技术学院);Department of Electrical Engineering and Computer Science(电子工程与计算机科学系)
在以查询为中心的多文档摘要(QF-MDS)任务中,给出了一组文档和一个查询,目标是根据给定的查询从这些文档生成摘要。然而,这项任务的一个主要挑战是缺乏可用的标记训练数据集。为了克服这个问题,在本文中,我们提出了一种新的弱监督学习方法,通过利用远程监督。特别地,我们使用与目标数据集相似的数据集作为训练数据,其中我们利用预先训练的句子相似性模型来从多文档黄金参考摘要生成文档集中每个单独文档的弱参考摘要。然后,我们在每个单文档上迭代地训练我们的摘要模型,以减轻在多个文档中训练神经摘要模型时发生的计算复杂性问题(即,长序列)。在文档理解会议(DUC)数据集上的实验结果表明,我们提出的方法设置了一个新的国家的最先进的结果在各种评价指标。
2020-11-03 cs.CL cs.IR
Conformer-Kernel with Query Term Independence for Document Retrieval
Microsoft(微软);UCL(伦敦大学学院);TU Wien(维也纳工业大学)
在TREC深度学习基准测试中,transformer-Kernel(TK)模型表现出了强大的重新排序性能,可以被认为是基于BERT的排名模型的有效(但效果略差)替代方案。在这项工作中,我们将TK架构扩展到完整的检索设置,将查询项独立的假设。此外,为了降低Transformer层相对于输入序列长度的存储器复杂度,我们提出了一个新的Conformer层。我们表明,一致性的GPU内存需求与输入序列长度呈线性关系,使其成为一个更可行的选择时,排名长的文件。最后,我们证明,将明确的长期匹配信号的模型可以是特别有用的,在完整的检索设置。我们在本文中提出了我们的工作的初步结果。
2020-07-20 cs.CL cs.IR cs.LG
Query Embedding Pruning for Dense Retrieval
稠密检索技术的最新进展提供了这样的希望,即不仅能够使用诸如BERT之类的上下文化语言模型对文档进行重新排序,而且还能够首先使用这些模型从集合中识别文档。然而,当使用针对每个查询使用多个嵌入式表示的稠密检索方法时,针对每个查询可以检索大量文档,这阻碍了该方法的效率。因此,这项工作是第一个考虑效率的提高,在上下文中的稠密检索方法(即ColBERT),修剪查询项嵌入估计是不是有用的检索相关的文件。我们提出的查询嵌入修剪降低了稠密检索操作的成本,以及减少检索的文档的数量,因此需要完全评分。在MSMARCO段落排名语料库上进行的实验表明,当根据相应标记的收集频率将所使用的查询嵌入的数量从32减少到3时,查询嵌入修剪的有效性在统计上没有显著差异,同时检索到的文档数量减少了70%。就端到端系统的平均响应时间而言,这导致了2.65倍的加速。
2021-08-23 cs.IR
Generating Query Focused Summaries from Query-Free Resources
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
大规模数据集的可用性推动了神经模型的发展,这些模型可以从单个或多个文档中创建通用摘要。在这项工作中,我们考虑查询集中的摘要(QFS),一个任务,其中训练数据的形式查询,文档和摘要是不容易获得的。我们建议将QFS分解为(1)查询建模(即,在一组文档内为查询寻找支持证据)和(2)条件语言建模(即,摘要生成)。我们介绍了MaRGE,一个用于证据估计和排名的Masked ROUGE回归框架,它依赖于摘要和查询的统一表示,因此可以将通用数据中的摘要转换为代理查询以学习查询模型。跨QFS基准测试和查询类型的实验表明,尽管从弱监督中学习,我们的模型仍达到了最先进的性能。
2021-05-31 cs.CL cs.IR cs.LG
Experiments on Manual Thesaurus based Query Expansion for Ad-hoc Monolingual Gujarati Information Retrieval Tasks
在本文中,我们提出的实验工作做查询扩展(QE)的古吉拉特语文本文档的检索任务。在信息检索中,准确地估计用户的需求是非常困难的,查询扩展在原始查询的基础上增加检索词,从而提供更多的用户需求信息。查询扩展有多种方法。在我们的工作中,手动词库为基础的查询扩展进行广泛使用的信息检索模型古吉拉特语文本文档的性能进行评估。实验结果表明,查询扩展提高了文本文档的查全率。
2020-01-18 cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business(雅典经济与商业大学);Google AI(谷歌人工智能)
我们探索了几种新的文档相关性排名模型,建立在Guo et al.(2016)的深度相关性匹配模型(DRMM)基础上。与DRMM不同,DRMM使用术语的上下文不敏感编码和查询-文档术语交互,我们在整个模型中注入了丰富的上下文敏感编码,灵感来自PACRR(Hui等人,卷积n-gram匹配功能,但以多种方式扩展,包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型(Tsatsaronis等人,2015年)和TREC ROBUST 2004年(Voorhees,2005年),显示它们优于基于BM 25的基线,DRMM和PACRR。
2018-09-11 cs.CL cs.IR
DREQ: Document Re-Ranking Using Entity-based Query Understanding
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出面向实体的稠密重排序模型DREQ,通过强化查询相关实体并削弱无关实体构建查询特定的混合文档表示,在四个基准上超越现有神经与非神经重排序方法。
2024-01-11 cs.AI cs.IR
Context Attentive Document Ranking and Query Suggestion
我们提出了一个上下文感知的神经排序模型,利用用户的任务搜索活动,提高检索性能。特别是,一个两级层次递归神经网络被引入到学习搜索上下文表示的个人查询,搜索任务,以及相应的依赖结构,通过共同优化两个同伴检索任务:文档排序和查询建议。为了识别搜索上下文和用户正在进行的搜索活动之间的变量依赖结构,在两个层次的经常性状态的注意力。广泛的实验比较,对一组丰富的基线方法和深入的消融分析证实了我们提出的方法建模搜索上下文埋在搜索任务的价值。
2019-06-05 cs.IR
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中,我们提出了一种新的监督的方法,可以将丰富的句子特征到贝叶斯主题模型的原则性的方式,从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval
密集通道检索(DPR)模型在Web领域的第一阶段检索中表现出很大的有效性增益。然而,在web领域,我们处于具有大量训练数据和查询到通道或查询到文档检索任务的设置中。在本文中,我们研究密集的文档到文档检索有限的标记目标数据的训练,特别是法律案件检索。为了使用DPR模型进行文档到文档的检索,我们提出了一个段落聚合检索模型(PARM),它解放了DPR模型从他们有限的输入长度。PARM在段落级别上检索文档:对于每个查询段落,根据其段落检索相关文档。然后将每个查询段落的相关结果聚合到整个查询文档的一个排名列表中。对于聚合,我们提出了基于向量的聚合与倒数秩融合(VRRF)加权,它结合了基于秩的聚合和主题聚合的密集嵌入的基础上的优点。实验结果表明,VRRF优于基于排名的聚合策略密集文档到文档检索与PARM。我们比较PARM的文档级检索和表现出更高的检索效率的PARM词汇和密集的第一阶段检索两个不同的法律案件检索集合。我们研究如何训练的稠密检索模型的PARM有限的目标数据的段落或文档级别的标签。此外,我们还分析了PARM在词法检索和稠密检索检索结果上的差异。
2022-08-14 cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测(QEP)任务及 GEP 方法,利用文档组词汇信息预测查询下各组在排序中的曝光分布,实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
Document clustering with evolved multiword search queries
Sheffield Hallam University(谢菲尔德哈勒姆大学);University College London(伦敦大学学院);University of Brighton(布莱顿大学)
本文提出用演化搜索查询进行文档聚类,通过优化查询减少重叠,并结合KNN分配未匹配文档,在8个数据集上取得最高准确率,同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
Semi-Structured Query Grounding for Document-Oriented Databases with Deep Retrieval and Its Application to Receipt and POI Matching
NAVER Corp(NAVER公司)
面向文档数据库的半结构化查询系统有许多实际应用。我们感兴趣的一个特定应用是将每个金融收据图像与其对应的感兴趣地点(POI,例如,在全国范围内的数据库。该问题在实际生产环境中尤其具有挑战性,在实际生产环境中,数据库中存在许多相似或不完整的条目,并且查询是嘈杂的(例如,光学字符识别中的错误)。在这项工作中,我们的目标是解决实际的挑战时,使用基于嵌入的检索的查询接地问题,在半结构化数据。利用深度语言编码用于检索的最新进展,我们进行了广泛的实验,以找到最有效的模块组合,用于嵌入和检索查询和数据库条目,而无需任何手动设计的组件。所提出的模型显着优于传统的手动模式为基础的模型,同时需要更少的开发和维护成本。我们还讨论了我们实验中的一些核心观察结果,这可能对其他领域中处理类似问题的从业者有所帮助。
2022-02-23 cs.CL cs.IR cs.LG
Learning to Rank Using Localized Geometric Mean Metrics
许多LtR(learning-to-rank)算法关注查询无关模型,即查询和文档不在同一个特征空间中,排序器依赖于查询-文档对的特征集合而不是查询实例和文档之间的相似性。然而,现有的算法没有考虑查询文档特征空间中的局部结构,并且对不相关的噪声特征很脆弱。在本文中,我们提出了一种新的黎曼度量学习算法,以捕捉局部结构和发展一个强大的LtR算法。首先,我们设计了一个称为\textit{ideal candidate document}的概念,将度量学习算法引入查询无关模型。以往的度量学习算法只适用于查询依赖模型,即查询实例和文档属于同一个特征空间,相似度直接从度量空间计算。然后,我们扩展了新的和非常快速的全球几何平均度量学习(GMML)算法,开发一个本地化的GMML,即L-GMML。在结合局部学习指标的基础上,采用归一化贴现累积增益(NDCG)评分器和加权近似秩对损失(WARP)对每个查询候选集的\textit{ideal candidate document}进行优化。最后,我们可以通过\textit{ideal candidate document}和其他候选人之间的相似性快速评估所有候选人。通过利用度量学习算法描述复杂结构信息的能力,我们的方法为我们提供了一种执行LtR任务的原则性且有效的方法。在真实数据集上的实验表明,我们提出的L-GMML算法在精度和计算效率方面优于最先进的度量…
2017-05-22 cs.IR
Extraction of Layout Entities and Sub-layout Query-based Retrieval of Document Images
布局和子布局构成了一个重要的线索,而搜索文档的基础上,其结构,或当文本内容是未知的/无关的。子布局指定文档实体在文档的较小部分内的排列。我们提出了一个有效的基于图的匹配算法,集成了基于哈希的索引,修剪可能大的搜索空间。用户可以使用基于草图的查询来指定感兴趣的子布局的组合。系统支持未指定布局实体的部分匹配。我们处理的情况下,分割预处理错误(文本/非文本块)的对称性最大化为基础的战略,并占多个特定领域的合理分割假设。我们展示了我们的系统的非结构化实体的数据库,包含4776报纸图像的可喜成果。
2016-09-09 cs.IR
Identifying Relevant Document Facets for Keyword-Based Search Queries
作为具有丰富元数据的结构化文档(如产品、电影等)随着信息检索的日益普及,对这些文档的检索已经成为一个重要的信息检索问题。虽然高级搜索界面广泛使用,但大多数用户仍然喜欢使用基于关键字的查询来搜索这些文档。查询关键字通常隐含着对所需文档的一些隐藏限制,这些限制可以表示为文档面值对。为了实现高检索性能,能够识别隐藏在查询中的相关方面值对非常重要。在本文中,我们研究的问题,确定文档的方面值对相关的基于关键字的搜索查询。我们提出了一个机器学习的方法和一组有用的功能,并评估我们的方法使用的电影数据集从INEX。
2015-01-05 cs.IR
Bayesian Query-Focused Summarization
Information Sciences Institute(信息科学研究所)
我们提出了BayeSum(Bayesian summarization),这是一个在以查询为中心的摘要中进行句子提取的模型。BayeSum利用了多个文档与单个查询相关的常见情况。使用这些文档作为查询词的增强,BayeSum不会受到短查询中信息缺乏的影响。我们表明,近似推理BayeSum是可能的大数据集和结果在一个国家的最先进的摘要系统。此外,我们展示了如何BayeSum可以被理解为一个合理的查询扩展技术在语言建模的IR框架。
2009-07-10 cs.CL cs.IR cs.LG
Test-Time Adaptation with Query-Dependent Residuals for Visual Document Retrieval
South China University of Technology(华南理工大学);Foshan University(佛山大学)
针对视觉文档检索中部署后难以自适应的问题,提出Q-REACT方法,利用查询相关残差将有限重排序反馈转化为可复用检索改进,在多个任务和骨干网络上提升平均检索性能且开销小。
2026-09-24 cs.IR
Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
Department of Intelligent Semiconductors, Soongsil University(智能半导体系,顺斯尔大学);School of AI Convergence, Soongsil University(人工智能融合学院,顺斯尔大学);MAUM AI Inc.(MAUM人工智能公司);Adobe Research, USA(Adobe美国研究实验室)
本文质疑基于大语言模型的查询扩展方法在零样本检索中的性能提升可能源于基准测试的知识泄漏,并通过事实验证实验发现生成文档包含黄金证据蕴含信息时性能才持续提升,揭示了现有评估可能被夸大。
2025-06-04 cs.CL cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval
Beihang University(北京航空航天大学)
提出DEPT方法,通过端到端训练单个仅解码器LLM实现统一查询扩展与检索,保留调优文档嵌入以解决移动目标问题,在BE基准数据集上提升了检索质量。
2026-08-19 cs.AI cs.IR
MarlRank: Multi-agent Reinforced Learning to Rank
University of Alberta(阿尔伯塔大学);Huawei(华为);University College London(伦敦大学学院);Tianjin University(天津大学)
在估计查询和文档之间的相关性时,排序模型在很大程度上忽略了文档之间的互信息。一个共同的智慧是,如果两个文档在相同的查询方面相似,它们更有可能具有相似的相关性得分。为了缓解这个问题,在本文中,我们提出了一个多智能体增强排名模型,名为MarlRank。特别是,通过考虑每个文件作为一个代理,我们制定的排名过程作为一个多代理马尔可夫决策过程(MDP),文件之间的相互作用被纳入排名过程。为了计算排序列表,每个文档不仅考虑其自身的查询文档特征,而且还考虑其相似的文档特征和动作来预测其与查询的相关性。通过将奖励定义为NDCG的函数,我们可以直接在排名性能指标上优化我们的模型。我们在两个LETOR基准数据集上的实验结果表明,我们的模型在最先进的基线上具有显着的性能增益。我们还发现,NDCG呈现出整体上升的趋势,随着交互的步骤,这表明,互信息之间的文档有助于提高排名性能。
2019-09-15 cs.IR cs.LG stat.ML
Integrating and querying similar tables from PDF documents using deep learning
企业产生的大量公共数据都是半结构化的PDF格式。从PDF格式的报告和其他已发布数据中提取表格数据对于各种数据合并目的(例如分析和汇总公司的财务报告)是有意义的。转换成PDF格式的结构化表格数据,通常会以非结构化的方式通过文本匹配等方式进行处理。这主要是由于PDF文档的二进制格式针对布局和渲染进行了优化,并且对数据的自动解析没有很大的支持。此外,即使PDF文件中的相同表类型在模式、行或列标题中也会有所不同,这使得查询计划难以覆盖所有相关表。本文提出了一种基于深度学习的方法,使SQL类查询和分析的PDF格式的年度报告中的财务表。这是通过表类型分类和最近行搜索来实现的。我们证明了使用在Google新闻上训练的词嵌入进行标题匹配明显优于传统数据库中基于文本匹配的方法。我们还介绍了一个实用的系统,使用这种技术来查询和分析来自各种来源的PDF文档中的财务表。
2019-01-15 cs.IR
Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)
如果信息检索(IR)系统不仅检索存储在索引中的相关信息,而且还可以“理解”它并将其合成为单个文档,那会怎么样?我们提出了一个初步的研究,使回答这个问题的第一步。给定一个查询,我们根据该查询的现有相关信息训练一个递归神经网络(RNN)。然后,我们使用RNN来“深度学习”一个单一的、合成的、我们假设的、与该查询相关的文档。我们设计了一个众包实验来评估“深度学习”文档与现有相关文档的相关性。用户会看到一个查询和四个词云(三个现有的相关文档和我们深入学习的合成文档)。综合文件的平均排名是所有文件中最相关的。
2016-06-27 cs.IR
DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking
LUMIA Lab, Shanghai Jiao Tong University(上海交通大学生涯智能计算实验室);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
该研究针对LLM逐点重排序的文档侧冗余计算问题,提出DoPR压缩文档前缀框架,实现内存缩减与延迟加速,同时保留重排序性能。
2026-09-04 cs.IR
Competitive Retrieval: Going Beyond the Single Query
该研究聚焦多查询竞争检索场景,通过博弈论证明均衡未必存在,实验发现神经排序器比基于特征的排序器更难被操纵提升多查询排名,并提出了预测下一次最高排名文档的有效方法。
2024-04-14 cs.GT cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
TCDE: Topic-Centric Dual Expansion of Queries and Documents with Large Language Models for Information Retrieval
Xi’an Jiaotong University(西安交通大学);University of Massachusetts Boston(麻省大学波士顿分校)
TCDE通过大语言模型实现查询与文档的主题聚焦双扩展,提升信息检索的语义对齐效果。
2025-12-19 cs.IR
NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
Aalto University(阿alto大学)
利用查询-文档不对称性,通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器,采用点态余弦对齐目标,实现视觉文档检索的高效推理。
2026-09-01 cs.CV cs.IR cs.LG
Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
Portland State University(波特兰州立大学);EvenUp
针对RAG系统固定top-k检索的弊端,提出基于预检索查询聚类的自适应检索深度框架,离线估计查询难度并聚类推荐检索深度,在线常数时间分配,在真实流量中F1提升36%以上且token减少14%。
2026-09-16 cs.IR
On the Equilibrium of Query Reformulation and Document Retrieval
在本文中,我们联合研究查询重构和文档相关性估计,信息检索(IR)的两个基本方面。它们的交互被建模为一个两人策略博弈:一个参与者,查询制定者,采取行动产生最优查询,期望最大化自己的效用相对于另一个参与者,检索建模者产生的文档的相关性估计;同时,检索建模器,采取行动以产生文档相关性分数,需要根据训练数据相对于由查询公式器产生的细化查询来优化其似然性。当两者都是对方的最佳对策时,它们的均衡将达到。我们推导出我们的平衡理论的IR使用正常形式表示:当一个标准的相关反馈算法与检索模型相结合,他们将共享相同的目标函数,从而形成一个伙伴关系的游戏;相比之下,伪相关反馈追求一个相当不同的目标比检索模型,因此它们之间的相互作用将导致一个通和游戏(虽然隐含的合作)。我们的博弈理论分析不仅产生有用的洞察到IR的两个主要方面,但也提供了新的实用算法,实现检索的平衡状态已被证明带来一致的性能改进,在文本检索和项目推荐。
2018-07-20 cs.GT cs.IR
Improving Information Retrieval Results for Persian Documents using FarsNet
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法查询扩展,它使用FarsNet(波斯语WordNet),以找到类似的令牌相关的查询和扩展的语义含义的查询。为此,我们在FarsNet中使用同义关系,并提取相关的同义词来查询单词。该算法被用于增强信息检索系统和改善搜索结果。与基线方法(不使用查询扩展)相比,该系统的总体评估显示平均平均精度(MAP)提高了约9%。
2018-11-01 cs.CL cs.IR
Reproducing Personalised Session Search over the AOL Query Log
尽管AOL查询日志过去麻烦不断,但它仍然是研究社区的重要资源-特别是对于搜索个性化等任务。在使用查询日志进行这些排序实验时,通常很少关注文档语料库。最近的工作通常使用一个语料库,其中包含在日志产生很久之后收集的文档版本。鉴于Web文档容易随着时间的推移而发生变化,我们研究了包含2017年出现的文档的语料库版本(最近的几个作品都使用了它)与我们构建的新版本之间的差异,新版本包含的文档与查询日志产生时(2006年)出现的文档接近。我们证明,这个新版本的语料库对原始日志中存在的文档的覆盖率(93%)远远高于2017年版本(55%)。在重叠的文件中,内容往往相差很大。考虑到这些差异,我们重新进行了最初使用2017年语料库的会话搜索实验,发现当使用我们的语料库进行训练或评估时,系统性能有所提高。我们把结果的背景下,通过引入最近的临时排名基线。我们还确认了AOL语料库中的查询的导航性质,包括URL大大提高了各种模型的性能。我们的语料库版本可以很容易地被其他研究人员重建,并包含在ir-datasets包中。
2022-01-21 cs.IR
Improving Scientific Document Retrieval with Concept Coverage-based Query Set Generation
Korea University(高丽大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Pohang University of Science and Technology(浦项科技大学);Texas A&M University(德克萨斯农工大学);Yonsei University(延世大学)
针对科学文献检索中人工标注数据集构建难、现有合成查询概念覆盖不全的问题,提出CCQGen框架,通过自适应调整生成过程以全面覆盖文献概念,实验证明其显著提升了查询质量和检索性能。
2025-02-16 cs.AI cs.IR
Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context
基于BERT的文本排序模型极大地提高了自组织检索的最新水平,其中大多数模型倾向于独立地考虑单个查询-文档对。与此同时,在排名模型中考虑跨文档交互和查询特定特征的重要性和有用性已被反复证实,主要是在学习排序的背景下。然而,基于BERT的排名模型还不能完全结合这两种类型的排名上下文,从而忽略了来自排名的文档间关系和查询之间的差异。为了缓解这一差距,在这项工作中,一个端到端的基于转换器的排名模型,名为共同BERT,已提出利用几个BERT架构校准查询文档表示使用伪相关反馈建模前的一组文档的相关性联合。在两个标准测试集上进行的大量实验证实了所提出的模型在提高文本重排序性能方面的有效性。我们计划使我们的实现开源,以便进行进一步的比较。
2021-04-17 cs.IR
Dimension Projection among Languages based on Pseudo-relevant Documents for Query Translation
University of Tehran(德黑兰大学)
在基于词典的跨语言信息检索中,使用排名靠前的文档响应查询被证明是提高查询翻译质量的有效方法。本文提出了一种基于嵌入向量维度投影的查询翻译方法,该方法将源语言中的伪相关文档映射到目标语言中的等价文档。为此,我们首先学习低维向量的单词在伪相关的集合分开,然后旨在找到一个查询依赖的转换矩阵之间的向量的翻译对出现在集合中。在下一步骤中,每个查询词的表示被投影到目标语言,然后,在使用softmax函数之后,建立依赖于查询的翻译模型。最后,该模型用于查询翻译。我们在法语,西班牙语,德语和意大利语的四个CLEF集合上的实验表明,所提出的方法优于基于双语洗牌的词嵌入基线和更多的竞争基线。所提出的方法达到高达87%的机器翻译(MT)的性能在短的查询和相当大的改进,在冗长的查询。
2016-10-08 cs.AI cs.CL cs.IR
MRNN: A Multi-Resolution Neural Network with Duplex Attention for Document Retrieval in the Context of Question Answering
University of Arkansas Little Rock(阿肯色大学小石城分校)
自组织检索(问答环境中的文档检索)的主要目标是找到满足自然语言查询中发布的信息需求的相关文档。它需要对查询和语料库中的所有文档有很好的理解,这是困难的,因为自然语言文本的含义取决于上下文、语法和语义。最近,深度神经网络已经被用于响应于查询对搜索结果进行排名。在本文中,我们设计了一个多分辨率神经网络(MRNN),利用整个层次的表示文档检索。MRNN模型能够从学习到的层次表示的所有层中获得一个集成了不同抽象层次的表示,并且设计了一个双重注意组件来改进多分辨率表示,从而确定查询和文档匹配的最佳上下文.更具体地,第一注意力机制根据所学习的查询和文档的多分辨率表示来确定最佳上下文。后一种注意力机制旨在微调表示,使得查询和相关文档更接近。实证研究表明,MRNN与双重注意力是显着优于现有的模型用于ad-hoc检索基准数据集,包括SQuAD,WikiQA,QUASAR,TrecQA。
2019-11-03 cs.CL cs.IR
Remedies against the Vocabulary Gap in Information Retrieval
搜索引擎严重依赖于基于术语的方法,这些方法将查询和文档表示为词袋。文本(文档或查询)由一组单词表示,忽略语法和词序,但保留词频计数。当呈现搜索查询时,引擎然后通过计算查询和文档术语之间的匹配度来根据文档的相关性得分对文档进行排名。虽然基于术语的方法在实践中是直观和有效的,但它们是基于这样的假设的:无论查询语义如何,精确包含查询术语的文档都是高度相关的。当然,基于术语的方法假设不包含查询术语的文档是不相关的。然而,众所周知,在术语级别的高匹配度并不一定意味着高相关性,反之亦然,匹配空查询术语的文档可能仍然是相关的。因此,当查询和文档使用不同的词来描述相同的概念时,就会出现查询和文档之间的词汇差距。如何缓解这种词汇差距所带来的影响,正是本文研究的主题。更具体地说,我们提出(1)的方法来制定一个有效的查询从复杂的文本结构和(2)潜在的向量空间模型,规避词汇差距信息检索。
2017-11-16 cs.AI cs.CL cs.IR
CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准,专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求,即“英国的开放银行监管如何使挑战者银行受益?". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库,其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17,509个文档和实体(每个主题416.9个)的专家判断。手动运行包括387个查询重写,为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析,包括稠密检索和神经重新排序。结果表明,主题是具有挑战性的,为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序,展示了资源的价值,评估和改进面向实体的搜索。我们还表明,手动查询重构显着提高文档排序和实体排名的性能。总体而言,CODEC提供了具有挑战性的研究课题,以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
ReBOL: Retrieval via Bayesian Optimization with Batched LLM Relevance Observations and Query Reformulation
University of Toronto(多伦多大学)
ReBOL通过引入多模态贝叶斯优化和查询重述技术,改进检索阶段的召回率和排名质量,优于现有LLM重排序基线。
2026-03-20 cs.AI cs.IR