Automatic Query Image Disambiguation for Content-Based Image Retrieval
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
呈现给基于内容的图像检索系统的查询图像通常具有各种不同的解释,使得难以识别用户所追求的搜索目标。我们提出了一种克服这种模糊性的技术,同时保持所需的用户交互量最小。为了实现这一点,查询图像的邻域被划分为连贯的聚类,用户可以从中选择相关的。一种新的反馈集成技术,然后重新排名整个数据库方面的用户反馈和原始查询。我们在公开的MIRFLICKR-25 K数据集上评估了我们的方法,在基线检索上,它导致平均精度相对提高了23%,而基线检索并没有区分不同的图像感觉。
2017-11-02 cs.CV cs.IR
Automatic Query Optimization for Retrieving Traffic Tweets
与许多社交媒体和数据经纪公司一样,Twitter通过搜索API(应用程序编程接口)提供数据。除了按日期和位置过滤结果外,研究人员还可以使用布尔文本查询来搜索具有特定内容的推文,使用{ \it AND}、{ \it OR}和{ \it NOT}运算符来选择必须或不得出现在匹配推文中的短语组合。这种布尔文本搜索系统并不是Twitter独有的,它在许多不同的环境中都可以找到,包括学术,法律和医疗数据库,但是由于推文的相对数量和简短性,它在Twitter的用例中被扩展到了极限。此外,在20世纪80年代和90年代期间,在信息检索的主题下,对这种系统的半自动化使用进行了很好的研究,然而,从那时起,对这种系统的研究已经大大下降。因此,我们提出了更新的方法,自动选择和完善复杂的布尔搜索查询,可以隔离相关的结果具有更大的特异性和完整性。此外,我们提出了初步的结果,使用优化的查询收集样本的交通事故相关的推文,以及手动分类和分析它们的结果。
2020-06-21 cs.IR cs.SI
Query Intent Detection from the SEO Perspective
Search ForeSight(搜索前瞻公司)
Google用户在查询时有不同的意图,例如获取信息、购买产品、比较或模拟服务、寻找产品等。了解用户的正确意图有助于i)从搜索引擎优化(SEO)的角度提供更好的网页内容,ii)从搜索引擎的角度提供更令用户满意的结果。在这项研究中,我们的目标是确定用户查询的意图,利用谷歌的结果和机器学习方法。我们提出的方法是一个聚类模型,利用一些功能来检测查询的意图。从聚类查询中提取的关键字列表用于识别新给定查询的意图。将聚类结果与过滤后的关键词预测的意图进行比较,表明了提取的关键词用于检测意图的效率。
2020-06-16 cs.IR cs.LG
Exploring Query Categorisation for Query Expansion: A Study
词汇不匹配问题是传统的基于关键词的信息检索系统面临的重要挑战之一。查询扩展(QE)的目的是通过向查询添加相关或同义词或短语来减少这种查询-文档不匹配。现有的几种查询扩展算法已经证明了它们的优点,但它们并不适用于所有类型的查询。我们的长期目标是制定方法来应用针对单个查询的QE技术,而不是将相同的通用QE方法应用于所有查询。作为第一步,我们在本报告中提出了查询类的分类(从QE的角度)。我们已经通过例子讨论了每个查询类的属性。我们还讨论了一些可能对每个查询类别有效的QE策略。在未来的工作中,我们打算使用标准数据集测试所提出的技术,并探索自动查询分类方法。
2015-09-18 cs.IR
MS-Shift: An Analysis of MS MARCO Distribution Shifts on Neural Retrieval
预训练语言模型最近出现在信息检索中,作为新一代神经系统的支柱,在各种任务上优于传统方法。然而,目前还不清楚这种方法在zero-shot条件下推广到什么程度。最近的BEIR基准通过比较与训练条件不同的数据集和任务上的模型,为这个问题提供了部分答案。我们的目标是解决同样的问题,比较模型下更明确的分布偏移。为此,我们在MS MARCO中构建了三个基于查询的分布偏移(查询语义,查询意图,查询长度),用于评估基于BERT的三个主要神经检索器家族:稀疏,密集和后期交互-以及单BERT重新排名器。我们进一步分析了训练和测试查询分布之间的性能下降。特别是,我们实验两个泛化指标:第一个基于训练/测试查询词汇重叠,第二个基于表示的训练双编码器。直觉上,这些指标验证了测试集离训练集越远,性能下降越严重。我们还表明,模型对转变的反应不同-密集方法受到的影响最大。总体而言,我们的研究表明,它是可能的设计更可控的分布偏移作为一种工具,以更好地理解IR模型的泛化。最后,我们发布了MS MARCO查询子集,它为信息检索中的基准zero-shot传输提供了额外的资源。
2023-01-25 cs.IR
Deep Reinforced Query Reformulation for Information Retrieval
查询重构长期以来一直是缓解信息检索中词汇不匹配问题的关键机制,例如通过用相关查询术语扩展查询或通过生成查询的释义。在这项工作中,我们提出了一个深度强化查询重构(DRQR)模型,自动生成新的查询重构。为了鼓励模型生成查询,可以实现高性能的检索任务时,我们将查询性能预测到我们的奖励函数。此外,为了在信息检索的背景下评估重构查询的质量,我们首先训练我们的DRQR模型,然后将检索排名模型应用于所获得的重构查询。实验在TREC 2020深度学习跟踪MSMARCO文档排序数据集上进行。我们的研究结果表明,我们提出的模型优于几个查询重构模型基线时,执行检索任务。此外,当与各种检索模型(如查询扩展和BERT)结合时,也观察到改进。
2020-07-15 cs.IR
Exploring the Nexus Between Retrievability and Query Generation Strategies
针对可检索性评估中查询生成方法缺乏验证的问题,对比人工生成查询与查询日志的可检索性分数,发现二者相关性极低,同时找到一种相关性最高的替代查询生成方法,有望提升无日志时的可复现性。
2024-04-15 cs.IR
Towards Semi-Automatically Comparing Keyword-Based and Semantic Search Accuracy
Technical University of Munich(慕尼黑工业大学);Gofore GmbH(Gofore有限公司);University of Stuttgart(斯图加特大学)
针对关键词与语义搜索缺乏定量比较的问题,提出半自动框架,通过等价类评估排序准确性与信息完整性,并经工业案例验证语义搜索优势。
2026-09-30 cs.IR
Effectiveness and Efficiency Trade-off in Selective Query Processing
可以优化搜索引擎中的查询处理以用于所有查询。为此,可以优化系统组件参数,例如加权函数或自动查询扩展模型,或者从过去的查询中学习。然而,通过调整组件参数来逐个查询地优化处理线程可能更有意思;这就是选择性查询处理所做的。选择性查询处理使用在查询时选择的候选处理线程之一。选择基于查询功能。在本文中,我们研究了不同设置中的选择性查询处理,包括有效性和效率;这包括选择性查询扩展和其他形式的选择性查询处理(例如,当项加权函数变化时或者当扩展模型变化时)。我们发现,当使用最佳训练的处理线程及其查询扩展计数器部分时,可以获得有效性和效率之间的最佳权衡。这对于实字引擎来说似乎也是最自然的,因为两个线程使用相同的核心引擎(例如,相同项加权函数)。
2023-02-22 cs.IR
Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning
University of South Dakota(南达科他大学)
提出新颖性感知研究智能体,通过结构化多步推理增强RAG,实现论文间重叠、差异及问题-方法缺失的对比分析,在100篇论文语料上支持五种结构化比较能力。
2026-06-23 cs.IR
Learning to Reformulate the Queries on the WEB
幼稚的用户无法制定适当的查询是一个基本的问题,在网络搜索引擎。因此,帮助用户发出更有效的查询是提高用户幸福感的重要途径。一种有效的方法是查询重组,它根据用户发出的当前查询生成新的有效查询。以前的研究通常会生成与原始查询相关的单词和短语。由于查询重构的定义是相当普遍的,这是完全难以开发一个统一的基于术语的方法来解决这个问题。本文使用现成的数据,特别是超过10亿个锚定短语在Cuberweb 09语料库,为了学习一个端到端的编码器-解码器模型,自动生成有效的查询。在序列到序列模型领域的成功研究之后,我们在编码器处采用具有最大池的字符级卷积神经网络,在解码器处采用基于注意力的递归神经网络。整个模型采用无监督的端到端学习方式,在TREC数据集上的实验表明,该方法自动生成的重构查询能够显著提高检索性能。
2019-07-02 cs.IR
Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation
最近的进展,检索模型的基础上学习稀疏表示生成的Transformers器,使我们再次考虑得分在一个时间查询评估技术的前k检索问题。以前的研究比较文档在一个时间和分数在一个时间的方法一直发现,前者的方法产生较低的平均查询延迟,虽然后者的方法有更多的可预测的查询延迟。在我们对四种不同的检索模型进行的实验中,我们发现Transformers会生成“古怪的权重”,这似乎大大减少了跳过和提前退出优化的机会,而这些优化是标准文档一次技术的核心。因此,得分在一个时间的方法似乎是更有竞争力的查询评估延迟比以前的研究。我们发现,如果可以容忍高达百分之三的有效性损失,得分在一个时间的方法可以产生实质性的收益,平均查询延迟,同时大大减少尾部延迟。
2021-10-28 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Unsupervised Query Routing for Retrieval Augmented Generation
针对现有检索增强生成查询路由方法依赖人工标注监督数据、成本高且泛化性差的问题,提出一种构建“上限”响应评估检索质量的无监督方法,可自动生成训练数据,在五个数据集上验证了其更优的可扩展性与泛化能力。
2025-01-14 cs.IR
Query expansion with artificially generated texts
一个众所周知的提高文档检索性能的方法是扩展用户的查询。在文献中已经提出了几种方法,其中一些被认为是产生国家的最先进的结果在IR。在本文中,我们探讨了使用文本生成自动扩展查询。我们依赖于一个著名的神经生成模型GPT-2,它带有针对英语的预训练模型,但也可以在特定语料库上进行微调。通过不同的实验,我们表明,文本生成是一个非常有效的方式来提高IR系统的性能,具有很大的利润(+10%MAP增益),它优于强基线也依赖于查询扩展(LM+ RM 3)。由于GPT代码和模型的可用性,这种概念上简单的方法可以很容易地在任何IR系统上实现。
2020-12-16 cs.IR
Automatic In-Domain Exemplar Construction and LLM-Based Refinement of Multi-LLM Expansions for Query Expansion
School of Computer Science and Technology, Soochow University, Suzhou, China(苏州大学计算机科学与技术学院);Center for Information and Language Processing (CIS), LMU Munich, Munich, Germany(慕尼黑莱茵恩大学信息与语言处理中心);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心);Chalmers University of Technology, Gothenburg, Sweden(楚科奇技术大学)
本文提出一种自动化的查询扩展框架,通过BM25-MonoT5流程构建领域内示例池,并利用无监督的聚类策略生成多样化的演示,再结合两个异构LLM生成扩展并由精炼LLM整合,实现稳定且高效的查询扩展。
2026-03-13 cs.AI cs.IR
Understanding Graph Structure of Wikipedia for Query Expansion
知识库是知识提取的很好的来源,能够从结构化和非结构化的来源创建知识,并使用它来改进自动化过程,如查询扩展。然而,从非结构化数据源中提取知识仍然是一个开放的挑战。在这方面,了解知识库的结构可以为这种目的的有效性提供显着的好处。特别是,维基百科在过去几年中已经成为一个非常受欢迎的知识库,因为它是一个具有大量信息的通用百科全书,因此涵盖了大量不同的主题。在这篇文章中,我们分析了维基百科的条目和类别如何相互关联,以及这些关系如何支持查询扩展技术。特别是,我们表明,结构的形式密集的周期与最小数量的类别往往识别最相关的信息。
2015-05-06 cs.IR
Query Refinement by Multi Word Term expansions and semantic synonymy
我们开发了一个系统,TermWatch(https://stid-bdd.iut.univ-metz.fr/TermWatch/index.pl),它结合了术语的语言提取,它们的结构化成一个术语网络与聚类算法。在本文中,我们将探讨它的能力,在整合最有前途的方面的研究,查询细化:选择有意义的文本单元集群(领域术语),选择紧密的语义关系,集群术语,结构的术语在网络中,使abetter感知领域概念。我们在PASCAL 2005-2006书目数据库(http://www.example.com)的367 645篇英文摘要上进行了实验,并将TermWarch自动构建的结构化术语资源与TermScience资源(http://termsciences.inist.fr/)的英文部分(包含88 211个术语)进行了比较。www.inist.fr
2008-11-04 cs.IR
Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study
本文探索了利用LLM从信息需求描述中自动生成查询及查询变体,发现其虽未完全覆盖人类变体多样性,但在构建测试集时能生成高度相似的相关文档集,在100的池深度下重叠率达71.1%。
2025-01-29 cs.IR
CAPRAG: A Large Language Model Solution for Customer Service and Automatic Reporting using Vector and Graph Retrieval-Augmented Generation
INETUM Tunisia(法国英迪堂突尼斯分公司);University of Carthage(迦太基大学);Institut Pasteur de Tunis(突尼斯巴斯德研究所);University of Tunis El Manar(突尼斯马纳尔大学)
针对银行客户服务,提出混合CAPRAG框架,结合向量与图检索增强生成,处理关系与上下文查询,提升数字银行中的客户参与度。
2025-01-23 cs.AI cs.CL cs.IR
AutoAttention: Automatic Field Pair Selection for Attention in User Behavior Modeling
Shanghai Jiao Tong University(上海交通大学);Tencent Inc.(腾讯公司);Shandong University(山东大学)
在点击率(CTR)预测模型中,用户的兴趣通常被表示为一个固定长度的向量,基于她的历史行为。最近,提出了几种方法来学习每个用户行为的关注权重,并进行加权和池。然而,这些方法仅从目标项侧手动选择几个字段作为查询来与行为交互,而忽略了其他目标项字段以及用户和上下文字段。直接将所有这些字段包括在注意力中可能会引入噪声并降低性能。在本文中,我们提出了一种新的模型命名为AutoAttention,它包括所有项目/用户/上下文侧字段作为查询,并为行为字段和查询字段之间的每个字段对分配一个可学习的权重。通过这些可学习的权重对这些字段对进行修剪,导致自动字段对选择,从而识别和去除噪声字段对。虽然包含更多的字段,但由于使用了简单的注意力函数和字段对选择,AutoAttention的计算成本仍然很低。在公共数据集和腾讯生产数据集上的实验证明了该方法的有效性。
2022-10-27 cs.AI cs.IR
LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
伪相关反馈(PRF)是一种有效的查询重组技术,以提高检索的准确性。它的目的是减轻查询和其潜在的相关文档之间的语言表达式的不匹配。现有的PRF方法独立地处理源自同一查询但使用不同数量的反馈文档的修订查询,导致严重的查询漂移。在不比较来自同一查询的两个不同修订的效果的情况下,PRF模型可能不正确地集中在更多反馈中增加的附加不相关信息上,并且因此重新制定比使用较少反馈的修订更不有效的查询。理想情况下,如果一个PRF模型可以区分反馈中的无关信息和相关信息,那么反馈文档越多,修改后的查询就越好。为了弥补这一差距,我们提出了损失的损失(LOL)框架来比较训练过程中同一查询的不同版本之间的重构损失。具体地说,我们修改了一个原始查询多次并行使用不同数量的反馈和计算其重构损失。然后,我们在这些重构损失上引入额外的正则化损失,以惩罚使用更多反馈但获得更大损失的修订。通过这种比较正则化,期望PRF模型通过比较不同修订查询的效果来学习抑制额外增加的无关信息。此外,我们提出了一个微分查询重构方法来实现这个框架。该方法在向量空间中对查询进行修正,直接优化查询向量的检索性能,适用于稀疏和稠密检索模型。实验结果表明,该方法对两种典型的稀疏和稠密检索检索模型的有效性和鲁棒性。
2022-04-25 cs.CL cs.IR cs.LG
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括(i)使用BM 25的初始检索模块,以及(ii)将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此,我们执行查询解析,即使用QuReTeC(术语分类查询解析模型)将会话历史中缺失的上下文添加到当前回合查询中。我们表明,我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
IITD-DBAI: Multi-Stage Retrieval with Pseudo-Relevance Feedback and Query Reformulation
Indian Institute of Technology, Delhi(印度理工学院德里分校)
解决语境依赖是会话系统中最具挑战性的任务之一。我们向CAsT-2021提交的申请旨在保留所有后续轮次中的关键术语和上下文,并使用经典的信息检索方法。其目的是从语料库中提取尽可能相关的文件。我们参加了自动跟踪,并在CAST-2021中提交了两次运行。我们提交的数据显示,NDCG@3的平均性能优于中位数模型。
2022-03-31 cs.AI cs.CY cs.IR
Same Outcomes, Different Journeys: A Trace-Level Framework for Comparing Human and GUI-Agent Behavior in Production Search Systems
Spotify, Sweden(Spotify瑞典);Spotify, Netherlands(Spotify荷兰);Stockholm University, Sweden(斯德哥尔摩大学)
本文提出一个基于轨迹的评估框架,比较人类和GUI代理在任务结果、努力、查询构建和界面状态导航中的行为差异,通过实验证明代理行为与人类不同,强调轨迹层面诊断的重要性。
2026-04-09 cs.AI cs.IR
Query Expansion in Information Retrieval Systems using a Bayesian Network-Based Thesaurus
Universidad de Granada(格拉纳达大学)
信息检索(IR)涉及到在一个集合中识别与给定信息需求相关的文档,通常表示为包含术语或关键字的查询,这些术语或关键字被认为是用户正在寻找的内容的良好描述。IR系统可以提高它们的有效性(即,增加检索到的相关文档的数量),这是通过使用查询扩展过程来实现的,该过程自动地将新的术语添加到用户提出的原始查询中。提出了一种基于贝叶斯网络的查询扩展方法。使用一个学习算法,我们构建一个贝叶斯网络,表示出现在一个给定的文档集合中的术语之间的一些关系,这个网络然后被用作一个词库(特定于该集合)。我们还报告了通过我们的方法在三个标准测试集合上获得的结果。
2013-01-30 cs.AI cs.IR
Retrieval Augmented Generation Systems: Automatic Dataset Creation, Evaluation and Boolean Agent Setup
Technische Fakultät University of Bielefeld(比勒费尔德大学工程学院)
针对RAG方案缺乏定量比较的问题,本文构建自动化数据集创建与评估流程,并据此开发可由LLM决定是否检索的布尔智能体RAG,以节省token,同时公开代码与数据集。
2024-02-26 cs.CL cs.IR