A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
Efficient Query Rewrite for Structured Web Queries
Web搜索引擎和专业的在线垂直领域越来越多地将来自结构化数据源的结果整合到一起,以回答语义丰富的用户查询。例如,可以使用来自电视数据表的信息来回答查询\WebQuery{Samsung 50 inch led tv}。然而,用户不是领域专家,并且经常输入与底层数据不精确匹配的值。三星生产46或55英寸的LED电视,但不生产50英寸的。因此,上面提到的查询的字面执行将返回零结果。为了最佳的用户体验,搜索引擎将优选返回尽可能接近原始查询的至少最小数量的结果。此外,由于网络搜索中典型的快速检索速度,搜索引擎查询执行是有时限的。在本文中,我们提出的算法,重写用户查询的原则性的方式,表面至少所需数量的结果,同时满足低延迟的约束,以解决这些挑战。我们正式这些要求,并介绍了一个一般的制定的问题。我们表明,在一个自然的配方,这个问题是NP难的最佳解决方案,并提出近似算法,产生良好的重写。我们经验验证我们的算法从商业搜索引擎的购物垂直获得的大规模数据。
2011-08-12 cs.IR
ViQIE: A New Approach for Visual Query Interpretation and Extraction
Web服务通过查询接口访问,这些接口隐藏了包含数千个相关信息的数据库。在用户端,远程数据库是一个接受查询并返回结果的黑盒子,无法访问反映数据和查询含义的数据库模式。因此,Web服务是非常自治的。用户将这种自主性视为一个主要缺点,因为他们经常需要同时组合许多Web服务的查询功能。在这项工作中,我们将提出一种新的方法,它允许用户受益于许多Web服务的查询功能,同时尊重每个服务的自治性。该方法是信息检索研究领域的一个新的贡献,在两个标准数据集上的实验结果表明,该方法具有良好的性能。
2012-05-04 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Optimizing Query Evaluations using Reinforcement Learning for Web Search
在网络搜索中,通常候选生成步骤从包含多达数十亿个网页的集合中选择一小组文档,这些文档随后在呈现给用户之前进行排名和修剪。在Bing中,候选生成涉及使用静态设计的匹配计划扫描索引,这些计划规定了不同匹配标准和停止条件的序列。在这项工作中,我们将匹配规划作为一个强化学习任务,并观察到访问的索引块减少了20%,候选集的质量下降很少或没有下降。
2018-08-18 cs.IR
Query sensitive comparative summarization of search results using concept based segmentation
查询敏感摘要是指根据用户的搜索查询,为用户提供单个或多个网页内容的摘要。本文提出了一种新颖的想法,从一组URL的搜索结果生成一个比较摘要。用户从搜索引擎产生的搜索结果中选择一组网页链接。生成这些选定网站的比较摘要。该方法利用了这些网页的HTML DOM树结构。HTML文档被分割成一组概念块。每个概念块的句子得分相对于查询和特征关键字计算。从不同网页的概念块中抽取重要句子,动态地组成比较摘要。该系统减少了用户浏览各种网站以比较信息所需的时间和精力。通过对内容的比较总结,帮助用户快速决策。
2012-01-11 cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程,以确保保留信息以供将来使用。然而,尽管全球网络档案数量不断增加,但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中,我们专注于这个问题,并提出了一个RDF/S模型和一个分布式框架,用于建立语义配置文件(“层”),描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息,用有用的语义信息(如实体,概念和事件)注释它们,并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能,并使网络档案直接利用其他系统和工具。为了证明他们的查询能力,我们建立和查询三种不同类型的Web档案的语义层。实验评估表明,语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University(香港浸会大学);University of Perugia(佩鲁贾大学)
在这项工作中,几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究,并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是,我们专注于基于概念的查询扩展计划,其中,为了有效地提高精度的Web文档检索,以减少用户的浏览时间,主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中,查询扩展的两个关键任务是找到扩展候选,即Web文档域中最接近的概念,并对扩展查询进行适当的排序。我们提出的方法,旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离,PMING距离是一种协作语义接近度度量,即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明,该方法能为用户提供更满意的扩展结果,提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
Seasonal Web Search Query Selection for Influenza-Like Illness (ILI) Estimation
从网络搜索数据中估计流感样疾病(ILI)是一项重要的网络分析任务。其基本思想是在估计当前ILI活动时,使用与过去ILI活动相关的Web搜索日志中的查询频率作为特征。已经注意到,由于流感是季节性的,因此这种方法可能导致与也表现出季节性但与ILI没有关系的特征/查询的虚假相关性。假相关性反过来会降低性能。为了解决这个问题,我们建议建模的季节性变化的ILI活动和选择查询的季节性模型和观测到的ILI信号的残差相关。实验结果表明,重新排名的查询获得谷歌相关的基础上,他们的相关性与残差强烈青睐ILI相关的查询。
2018-02-19 cs.IR
A Survey on Visual Query Systems in the Web Era (extended version)
随着越来越多的数据集合在网络上对每个人都可用,非专家用户需要简单的方法来从这些集合中检索数据。一种解决方案是所谓的可视化查询系统(VQS),其中查询被可视化地表示,并且用户不必理解诸如SQL或XQuery之类的查询语言。1996年,Catarci的一篇论文回顾了直到那一年可用的可视化查询系统。在本文中,我们回顾VQS从1997年到现在,并试图确定他们是否已经为非专家用户的解决方案。简单的回答是否定的,因为实际上很少有系统被用于实际环境或作为商业工具。我们还收集了VQS的基本特征,例如用于呈现感兴趣的现实的视觉表示或用于表达查询的视觉表示。
2017-08-01 cs.DB cs.IR
Effect of Query Formation on Web Search Engine Results
搜索引擎中的查询一般基于自然语言。查询可以用多种方式表达而不改变其含义,因为它取决于人类在特定时刻的思考。查询的目的是获得最相关的结果,而不考虑查询是如何表达的。在本文中,我们已经研究了搜索引擎的结果覆盖率和前几个结果的相似性的变化时,查询是在两个语义相同,但在不同的格式输入。已通过Google搜索引擎进行搜索。已经选择了15对查询用于研究。t检验已被用于此目的,并已检查的基础上找到的文件总数,前五个和前十个文件的相似性,在两种不同格式的查询输入的结果。已经发现,总覆盖率是相同的,但前几个结果是显著不同的。
2013-03-07 cs.IR
Semantic Query Optimisation with Ontology Simulation
毫无疑问,语义Web在工业界和学术界都获得了发展势头。“语义”这个词指的是“意义”--语义网是一个意义之网。在这个快速变化和以结果为导向的现实世界中,一个人不得不在互联网上努力寻找信息的日子已经过去了,知识管理是主要问题。语义网的愿景是链接、整合和分析来自各种数据源的数据,并形成一个新的信息流,因此是一个相互连接的数据库网络,机器与其他机器相互作用,以产生面向用户的准确结果。随着语义Web框架的出现,在句法Web上搜索信息的简单方法已经过时了。本文提出了一种优化的语义搜索的关键字举例模拟本体的印度大学提出的算法,衍生出有效的语义检索的信息,易于访问和节省时间。
2010-11-01 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时,通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而,网页不仅仅是链接的文本,而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息,表明网页的相关性。例如,查询独立布局(即,原始页面布局)可以帮助识别页面质量,而依赖于查询的布局(即,用匹配的查询词呈现的页面)可以进一步告知丰富的结构信息(例如,大小、位置和接近度)。然而,这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中,我们建议从网页的布局中自动学习丰富的视觉特征(即,网页快照)的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后,我们提出了一种新的视觉感知模型的启发,人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明,这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明,学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
AdaQE-CG: Adaptive Query Expansion for Web-Scale Generative AI Model and Data Card Generation
University of North Texas(北德克萨斯大学);North Carolina State University(北卡罗来纳州立大学);Bellevue High School(贝尔维尤高中)
本文提出AdaQE-CG框架,通过动态信息提取与跨卡片知识迁移解决生成AI文档的三大挑战,引入MetaGAI-Bench基准,实验表明其在多个质量维度上优于现有方法,接近人类水平。
2026-03-16 cs.AI cs.IR
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页,其中大多数是不相关的。在这种情况下,有效的信息检索从不断扩大的网络是一个具有挑战性的任务,特别是,如果查询是模糊的。这里出现的主要问题是,如何获得相关的页面,一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法,因为它的简单性和鲁棒性。分析表明,我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log(AQL),一个由Internet Archive收集的大规模、多来源查询日志,支持检索模型研究与历时性搜索引擎分析,并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网(WWW)是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中,搜索引擎将用户提供的关键字视为孤立的关键字,而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上,通过修改框架,以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释,使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比,它表明,语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
WTR: A Test Collection for Web Table Retrieval
我们描述了Web表格检索任务的测试集合的发展,特点和可用性,它使用了一个大规模的Web表格语料库提取的公共爬行。由于Web表通常具有丰富的上下文信息,如页面标题和周围的段落,我们不仅提供了相关性判断的查询表对,但也相关性判断的查询表上下文对相对于查询,这是被忽略了以前的测试集合。为了方便未来的研究与此基准,我们提供了有关如何预处理数据集的详细信息,以及传统和最近提出的表检索方法的基线结果。我们的实验结果表明,适当使用上下文标签可以受益于以前的表检索方法。
2021-05-05 cs.IR
Evaluation of Query Generators for Entity Search Engines
动态Web应用程序(如混搭)需要高效地访问只能通过实体搜索引擎(如产品或出版物搜索引擎)访问的Web数据。然而,当前大多数mashup系统和应用程序只支持简单的关键字搜索,以便从搜索引擎检索数据。我们建议使用更强大的搜索策略建设所谓的查询生成器。对于给定的一组实体,查询生成器能够自动确定一组搜索查询以从实体搜索引擎检索这些实体。我们证明了查询生成器的有用性,按需Web数据集成和评估的有效性和效率的查询生成器的一个具有挑战性的现实世界的集成方案。
2010-03-23 cs.DB cs.IR
SPARQL Assist Language-Neutral Query Composer
SPARQL查询组合对于外行甚至是经验丰富的生物信息学家来说都是困难的,因为数据模型是不熟悉的。已建立的最佳实践和国际化问题决定了语义Web本体应该使用带有不透明标识符的术语,这进一步使任务复杂化。我们提出SPARQL协助:一个Web应用程序,通过提供上下文敏感的类型提前完成现有的Web表单,解决这些问题。本体术语建议使用它们的标签和描述,利用现有的XML支持国际化和语言中立性。
2010-12-08 cs.IR
Performance Oriented Query Processing In GEO Based Location Search Engines
地理位置搜索引擎允许用户通过将查询集中在特定地理区域上来以直观的方式对搜索结果进行约束和排序。地理搜索技术,也被称为位置搜索,最近受到了主要搜索引擎公司的极大关注。这一领域的学术研究主要集中在从网络中提取地理知识的技术上。在本文中,我们研究了可扩展的地理搜索引擎中的高效查询处理问题。查询处理是标准Web搜索引擎中的主要瓶颈,也是主要引擎使用数千台机器的主要原因。地理搜索引擎查询处理的不同之处在于它需要文本和空间数据处理技术的组合。我们提出了几种算法,有效的查询处理地理搜索引擎,将它们集成到现有的Web搜索查询处理器,并评估它们的大集合的真实数据和查询痕迹。
2010-05-06 cs.IR
An IR-based Evaluation Framework for Web Search Query Segmentation
本文提出了第一个评估框架,直接基于IR性能的Web搜索查询分割。在过去,分割策略主要针对手动注释进行验证。我们的工作表明,通过对少数人类注释分割的评价来判断分割算法的优点很难反映其在基于IR的设置中的有效性。事实上,最先进的算法表现得和人类注释一样好,有时甚至比人类注释更好--这一事实被以前的验证所掩盖。建议的框架也为我们提供了一个客观的理解目前最好的和最好的分割算法之间的差距。我们得出这些结论的基础上,广泛的评估六个分割策略,包括三个最新的算法,相对于一个相对于三个人类注释分割。评估框架还提供了有关哪些片段应该被算法检测到以实现最佳检索结果的见解。我们实验中使用的精心构建的数据集已公开供研究界使用。
2012-09-18 cs.IR
Large-Scale Noun Compound Interpretation Using Bootstrapping and the Web as a Corpus
University of Melbourne(墨尔本大学);National University of Singapore(新加坡国立大学)
针对自然语言处理应用中对语义词汇资源的需求,我们研究了获取名词复合词(NC)的方法,例如,“橙汁”,连同适当的细粒度语义解释,例如,“从……中挤出来”,可以直接用作释义。我们采用自举和网络统计,并利用NC和释义模式之间的关系,联合提取NC和这样的模式在多个交替迭代。在评估中,我们发现,有一个复合名词固定产生更高数量的语义解释的NC和提高准确性,由于更强的语义限制。
2019-11-27 cs.AI cs.CL cs.IR
Neural Architecture for Question Answering Using a Knowledge Graph and Web Corpus
在Web搜索中,实体搜索查询通常会触发一个特殊的问答系统。它可以使用解析器将问题解释为结构化查询,在知识图谱(KG)上执行该结构化查询,并返回直接的实体响应。基于精确解析的QA系统往往是脆弱的:微小的语法变化可能会极大地改变响应。此外,幼儿园的覆盖面参差不齐。在另一个极端,一个大的语料库可能提供更广泛的覆盖面,但在一个非结构化的,不可靠的形式。我们提出了AQQUCN,一个QA系统,优雅地结合KG和语料库证据。AQQUCN接受广泛的查询语法,从格式良好的问题到简短的“电报”关键字序列。面对固有的查询歧义,AQQUCN聚合来自KG和大型语料库的信号,直接对KG实体进行排名,而不是对查询进行一种语义解释。AQQUCN将理想解释建模为不可观察或潜在变量。解释和候选实体响应通过组合来自多个卷积网络的信号来成对评分,这些卷积网络共同对查询、KG和语料库进行操作。在四个公共查询工作负载上,总计超过8,000个具有不同查询语法的查询,与最近系统的实体排名性能相比,我们看到平均平均精度(MAP)有5- 16%的绝对提高。我们的系统在实体集检索方面也很有竞争力,对于具有挑战性的短查询,F1分数几乎翻了一番。
2018-12-06 cs.IR
Wild Card Queries for Searching Resources on the Web
我们提出了一个独立于领域的框架,用于搜索和检索自然语言文本源中的事实和关系。在该框架中,文本集合上的抽取任务被表示为一个将文本片段与通配符相结合的查询,查询结果是一元、二元和一般$n$元元组形式的事实集合.我们的查询机制的一个重要意义在于,尽管它既简单又声明性,但它可以应用于广泛的提取任务。然而,查询自然语言文本的一个问题是,用户指定的查询可能无法检索到足够的精确匹配。与可以通过删除某些术语来放松的术语查询(如在搜索引擎中所做的那样)不同,从通配符查询中删除术语而不破坏其含义更具挑战性。此外,任何查询扩展都有可能引入误报。在本文中,我们解决的问题,查询扩展,也分析了一些排名的替代品,以评分的结果,并删除误报。我们进行实验,并报告我们的查询和评分功能的有效性评估。
2009-08-18 cs.DB cs.IR
PRESY: A Context Based Query Reformulation Tool for Information Retrieval on the Web
问题陈述:网络上的海量信息以及新用户的不断增长给信息检索带来了新的挑战。这些用户越来越难以找到满足其个人需要的相关文件。当然,目前的搜索引擎(如谷歌,必应和雅虎)提供了一个有效的方式来浏览网页内容。然而,结果质量高度依赖于使用查询,这些查询需要更精确地找到相关文档。对于大多数不熟练的用户来说,这项任务仍然很复杂,他们无法在查询中用重要的词来表达自己的需求。因此,我们认为,重新制定的初始用户的查询可以是一个很好的替代方案,以提高信息的选择性。本研究提出一种新的方法,并提出了一个原型系统称为PRESY(Profile-based REformulation SYSTEM)的信息检索在Web上。方法:它使用增量方法通过构建上下文基础来对用户进行分类。后者是由两种类型的上下文(静态和动态)使用用户的配置文件获得。提出的架构实现使用.NET环境进行查询重构测试。结果:实验结果表明,该方法有效地提高了返回内容的精度。这些测试是用最流行的搜索引擎(即谷歌,绑定和雅虎)进行的,特别是因为它们的高选择性。在给定的结果中,我们发现查询重构提高了前三个结果的10.7%和11.7%的下七个返回的元素。因此,我们可以看到,用户初始查询的重新表达提高了返回内容的相关性。
2011-06-12 cs.IR
Using clarification questions to improve software developers' Web search
内容:最近的研究表明,由软件开发人员编写的Web查询在检索相关结果方面不是很成功,与通用Web查询相比,其表现要差得多。到目前为止,大多数方法都使用特定于软件工程的自动化查询重构技术来解决这个问题,这些技术在没有开发人员参与的情况下工作,但受到原始查询内容的限制。换句话说,这些技术自动地改进了现有的查询,但不能贡献新的、以前未提及的概念。目的:在本文中,我们提出了一种技术来指导软件开发人员手动改善自己的Web搜索查询。我们研究了一个会话的方法,以下不成功的查询与澄清的问题,旨在引起额外的查询条件,从而为开发人员提供了一个明确的维度,查询可以改善。研究方法:我们描述了一组澄清问题,来自语料库的软件开发人员的查询和神经的方法来推荐他们的一个新发布的查询。结果如下:我们的评估表明,推荐技术是准确的,预测一个有效的澄清问题的80%的时间,并优于简单的基线,以及最先进的学习排序(LTR)基线。结论:如实验结果所示,所描述的方法是能够推荐适当的澄清问题,软件开发人员和开发人员的样本,从新手到有经验的专业人士认为是有用的。
2022-07-26 cs.IR cs.SE
Query Interpretations from Entity-Linked Segmentations
Martin-Luther-Universität Halle-Wittenberg(马丁·路德大学哈勒-维滕贝格);Bauhaus-Universität Weimar(魏玛包豪斯大学)
网络搜索查询可能是模棱两可的:“尼罗河之源”是指查找有关实际河流的信息还是该名称的棋盘游戏的信息?我们通过推导基于实体的查询解释来解决这个问题:给定某些查询,任务是推导出将查询的适当部分链接到背景知识库中语义兼容实体的所有合理方法。我们建议的方法不仅关注有效性,而且关注效率,因为网络搜索的响应时间不应超过数百毫秒。在我们的方法中,我们使用查询分割作为预处理步骤,找到有前途的基于段的“解释骨架”。然后将这些骨架中的各个片段链接到知识库中的实体,并在最后一步中对合理的组合进行排名。实验比较的所有现有的查询实体链接数据集的组合语料库显示,我们的方法有一个更好的解释准确率在一个更好的运行时间比以前最有效的方法。
2022-01-05 cs.CL cs.IR
Learning Joint Query Interpretation and Response Ranking
由于信息抽取和语义Web的努力,使用语义注释和结构化知识库对非结构化文本的搜索越来越精细。然而,大多数用户不能熟悉知识库的模式,并要求结构化查询。将自由格式的查询解释为更结构化的表示是当前的一大兴趣。主要范例是根据目的(对类型、实体、属性名称、属性值、关系的引用)对查询标记进行分段或分区,然后在结构化知识库上启动解释的查询。考虑到结构化知识提取永远不会完成,这里我们使用一种保留非结构化文本语料库以及结构化注释的数据表示(实体和关系的提及)。我们提出了两个新的,自然的联合查询解释和响应排名公式,利用知识库和语料库之间的双向信息流。一个,受概率语言模型的启发,在查询解释的不确定性上计算预期响应分数。另一种是基于最大边际判别学习,用潜变量表示这些不确定性。在类型化实体搜索的上下文中,这两个公式都弥合了根本不约束类型的通用查询与每个查询的"完美"目标实体类型由人类提供的上限之间的相当大一部分准确性差距。我们的配方也优于一个两阶段的方法,首先选择一个目标类型,使用最近的查询类型预测技术,然后启动一个类型限制的实体搜索查询。
2012-12-26 cs.IR
Learning to Match Using Local and Distributed Representations of Text for Web Search
诸如潜在语义分析和基于神经嵌入的模型学习文本的分布式表示,并将查询与潜在语义空间中的文档进行匹配。另一方面,在传统的信息检索模型中,术语具有离散或局部表示,并且文档的相关性由查询术语在正文中的精确匹配来确定。我们假设,匹配与分布式表示补充匹配与传统的本地表示,两者的组合是有利的。我们提出了一种新的文档排序模型,该模型由两个独立的深度神经网络组成,一个使用本地表示匹配查询和文档,另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分进行联合训练。我们表明,这种组合或“二重奏”的表现显着优于任何一个神经网络单独的网页排名任务,也显着优于传统的基线和其他最近提出的模型的基础上神经网络。
2016-10-26 cs.IR
Learning to Reformulate the Queries on the WEB
幼稚的用户无法制定适当的查询是一个基本的问题,在网络搜索引擎。因此,帮助用户发出更有效的查询是提高用户幸福感的重要途径。一种有效的方法是查询重组,它根据用户发出的当前查询生成新的有效查询。以前的研究通常会生成与原始查询相关的单词和短语。由于查询重构的定义是相当普遍的,这是完全难以开发一个统一的基于术语的方法来解决这个问题。本文使用现成的数据,特别是超过10亿个锚定短语在Cuberweb 09语料库,为了学习一个端到端的编码器-解码器模型,自动生成有效的查询。在序列到序列模型领域的成功研究之后,我们在编码器处采用具有最大池的字符级卷积神经网络,在解码器处采用基于注意力的递归神经网络。整个模型采用无监督的端到端学习方式,在TREC数据集上的实验表明,该方法自动生成的重构查询能够显著提高检索性能。
2019-07-02 cs.IR
KSE-Web: An Analysis of Hybrid Retrieval and LLM-Assisted Query Expansion for Low-Resource Khmer Semantic Search
本文针对低资源高棉语语义搜索,构建专属数据集,评估多种检索方法,发现BM25性能最优,LLM辅助查询扩展未提升效果但模型规模影响显著,为相关研究提供基础。
2026-08-25 cs.AI cs.CL cs.IR
To Click or not to Click? The Role of Contextualized and User-Centric Web Snippets
在搜索网络时,通常可能有太多的结果可用于模糊查询。从检索到的页面中提取的文本片段是页面对查询意图的有用性的指示器,并且可以用于集中搜索结果的范围。在本文中,我们提出了一种新的方法来自动提取网页片段,是高度相关的查询意图和表达的网页的整个内容。我们表明,语义的使用,作为重点检索的基础,产生高质量的文本片段的建议。与使用页面的统计内容获得的片段相比,我们的方法提供的片段在检索性能方面明显更好。此外,我们的研究表明,语义驱动的片段生成也可以用来增强传统的段落检索算法的基础上,字重叠或统计权重,因为它们通常在覆盖范围不同,并产生不同的结果。用户点击查询的相关片段可以用来细化查询结果,并促进最全面的相关文档。
2009-03-14 cs.IR
An Investigation of Biases in Web Search Engine Query Suggestions
基于调查的研究表明,搜索引擎比社交媒体甚至传统新闻更受信任,尽管虚假信息或诽谤的案例是众所周知的。在这项研究中,我们分析了三个搜索引擎的查询建议功能,看看这些功能是否会引入一些偏见的查询和搜索过程中,可能会损害这种信任。我们通过查询2017年德国联邦大选之前德国联邦议院的政治家的名字来测试我们的方法。本研究提出一个架构来系统地检视及自动分析各大搜索引擎提供的人名查询建议的多样性。为了测试我们的框架,我们收集了来自Google,Bing和DuckDuckGo查询建议API的数据,为期四个月,涉及629个不同的德国政治家名字。对这些建议进行了聚类和统计分析,包括不同的偏见,如性别、党派或年龄,以及建议随时间的稳定性。
2019-12-02 cs.CY cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University(查理大学)
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集,验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Reason to Retrieve: Enhancing Query Understanding through Decomposition and Interpretation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Baidu Inc.(百度公司);University of Amsterdam(阿姆斯特丹大学)
ReDI通过分解与解释增强查询理解,有效提升长形式复杂查询的检索性能。
2026-02-10 cs.IR
Towards a Natural Language Query Processing System
解决非技术数据库终端用户和具有正式查询语言知识的用户之间的信息检索差距一直是数据管理和分析研究的一个有趣领域。使用自然语言接口从数据库中查询信息,为最终用户和使用正式查询语言的系统之间的通信挑战提供了机会。以前的研究工作主要集中在开发关系数据库的结构化查询接口。然而,文本、图像和视频等非结构化大数据的发展暴露了传统结构化查询接口的局限性。虽然现有的网络搜索工具证明了自然语言查询的普及性和可用性,但它们返回完整的文档和网页,而不是集中的查询响应,并且不适用于数据库系统。本文报告了我们对后端关系数据库的自然语言查询接口的设计和开发的研究。该研究的新颖之处在于将图数据库定义为中间层,以存储将自然语言查询转换为可以在后端数据库上执行的结构化查询语言所需的必要元数据。我们使用餐厅数据集实现并评估了我们的方法。一些示例查询的翻译结果产生了90%的准确率。
2020-09-25 cs.AI cs.DB cs.IR
Context-Aware Query Rewriting for Improving Users' Search Experience on E-commerce Websites
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
电子商业查询通常简短而模糊。因此,查询理解通常使用查询重写来消除用户输入查询的歧义。在使用电子商业搜索工具时,用户倾向于在购买之前输入多个搜索,我们称之为上下文。这些历史搜索包含关于用户真实购物意图的上下文洞察。因此,建模这样的上下文信息是一个更好的查询重写模型的关键。然而,现有的查询重写模型忽略了用户的历史行为,只考虑即时搜索查询,这往往是一个简短的字符串提供有限的信息,真正的购物意图。我们提出了一个端到端的上下文感知查询重写模型来弥补这一差距,它考虑到搜索上下文。具体来说,我们的模型使用历史搜索查询及其包含的单词构建会话图。然后,我们采用一个图形注意力机制,模型的交叉查询关系和计算上下文信息的会话。该模型随后通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。会话表示然后被解码以生成重写的查询。从经验上讲,我们证明了我们的方法的优越性,以国家的最先进的方法在各种指标。在来自在线购物平台的内部数据上,通过引入上下文信息,与最佳基线方法(基于transformer的模型)相比,我们的模型在MRR(平均倒数排名)指标下实现了11.6%的改进,在HIT@16指标(命中率指标)下实现了20.1%的改进。
2022-09-24 cs.IR cs.LG
Framework for evaluation of sound event detection in web videos
Carnegie Mellon University(卡内基梅隆大学);BITS Pilani(比尔拉科学技术学院皮拉尼分校)
声音事件的最大来源是网络视频。大多数视频在片段级别上缺乏声音事件标签,然而,它们中的相当数量确实响应文本查询,来自搜索引擎使用元数据找到的匹配。在本文中,我们将探讨在何种程度上搜索查询可以作为真正的标签检测的声音事件的视频。我们提出了一个大规模的声音事件识别网络视频的框架。该框架使用对应于从三个数据集中提取的78个声音事件标签的搜索查询来抓取视频。这些数据集被用来训练三个分类器,我们获得了370万个网络视频片段的预测。我们使用搜索查询作为真实标签来评估性能,并将其与人类标签进行比较。两种类型的地面实况表现出接近的性能,在10%以内,并且随着评估的片段数量的增加,表现趋势相似。因此,我们的实验表明,潜在的使用搜索查询作为一个初步的真实标签的声音事件识别在网络视频。
2018-04-04 cs.AI cs.IR cs.SD
A Supervised Learning Algorithm for Binary Domain Classification of Web Queries using SERPs
通用搜索引擎(SE)爬取所有域(例如,体育、新闻、娱乐),但是有时查询的信息需求被限制到特定的域(例如,医学)。我们利用SE的工作作为我们努力的一部分,将特定领域的查询路由到本地数字图书馆(DL)。SE经常被使用,即使它们不是某些类型查询的“最佳”源。而不是告诉用户“使用这种DL的这种查询”,我们打算自动检测查询时,可以更好地服务于本地DL(如私有的,访问控制的DL,不能通过SE爬取)。这并不是一件容易的事情,因为Web查询很短,模糊不清,并且缺乏高质量的标记训练数据(或者创建它的成本很高)。为了检测应该路由到本地的、专门的DL的查询,我们首先将查询发送到Google,然后检查所得到的搜索引擎结果页面(SERP)中的特征,然后将查询分类为属于学者或非学者域。使用400,000 AOL查询的非学者域和400,000来自NASA技术报告服务器(NTRS)的查询的学者域,我们的分类器实现了0.809的精度和F-测量0.805。
2016-05-03 cs.IR
Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search
Baidu Inc.(百度公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出融合蒸馏、监督微调、偏好优化与前瞻解码的生成式 QDTS 框架,使 0.1B 模型超越生产基线并实现低延迟大规模部署。
2025-08-28 cs.CL cs.IR
Automated Query Generation for Evidence Collection from Web Search Engines
University of Sussex(萨塞克斯大学)
人们普遍认为,所谓的事实可以通过在互联网上搜索信息来核实。该过程需要事实检查器基于事实制定搜索查询并将其呈现给搜索引擎。然后,在做出决定之前,需要在搜索结果中识别相关和可信的段落。许多新闻和媒体机构的助理编辑每天都在进行这一工作。在这里,我们问的问题,是否有可能自动化的第一步,即查询生成。我们能不能根据类似于人类专家的事实陈述来自动制定搜索查询?在这里,我们认为相似性的文本相似性和相关的文档返回的搜索引擎。首先,我们介绍了一个中等规模的证据收集数据集,其中包括390个事实陈述以及相关的人类生成的搜索查询和搜索结果。然后,我们研究使用一些基于规则的自动文本生成方法,基于预训练的大语言模型(LLM)生成查询。我们表明,这些方法有不同的优点,并提出了一种混合的方法,在实践中具有优越的性能。
2023-03-15 cs.CL cs.IR
Semantic Information Retrieval Using Ontology In University Domain
当今的传统搜索引擎几乎不提供与用户的搜索查询相关的基本内容。这是因为用户发出的请求的上下文和语义没有得到充分的分析。因此,这里需要一个语义Web搜索出现。SWS即将进入结合了自然语言处理和人工智能的网络搜索领域。本文所做工作的目的是设计、开发和实现一个面向大学领域的语义搜索引擎-- SIEU(Semantic信息抽取in University Domain)。SIEU使用本体作为信息检索过程的知识库。这不仅仅是一个关键字搜索。它是一个层次以上的谷歌或任何其他搜索引擎检索分析只是关键字。在这里,从语法和语义两方面分析查询。所开发的系统检索的Web结果更相关的用户查询,通过关键字扩展。这里获得的结果将足够准确,以满足用户的要求。由于对查询进行了语义分析,因此准确率将得到提高。该系统对从事网络开发的人员和研究人员具有一定的参考价值。Google搜索结果将重新排名并优化,以提供相关链接。为了排名,已经应用了一种算法,该算法为用户查询获取更合适的结果。
2012-07-24 cs.IR
Event-centric Query Suggestion for Online News
查询建议是指向搜索引擎用户建议相关和相关查询以帮助查询形成过程并以最小的努力量加速信息检索的任务。它在搜索需求不被很好理解的情况下非常有用,因此它已被搜索引擎广泛采用,以指导用户的搜索活动。对于新闻网站,用户查询具有内在的时间敏感性。当某个新事件发生时,与该事件相关的查询会突然爆发,并且这种查询会持续一段时间,然后随着该事件逐渐消失。除了在新闻网站上发出的搜索查询的这种时间方面之外,它们还具有另外的独特质量,即,大多数时候,它们旨在获得与事件相关的信息。生成查询建议的现有工作涉及分析查询日志以建议与用户的搜索意图相关的查询。但是在新闻网站的情况下,当与特定事件相关的信息突然爆发时,没有足够的搜索查询被其他用户触发,这导致缺乏点击数据,并且因此给出与一些旧事件相关的查询建议,甚至完全给出一些不相关的建议。在线新闻的上下文中的查询日志的另一个问题是,它们大多包含与流行事件相关的查询,因此无法捕获不太流行的事件或被一些其他更轰动的事件所掩盖的事件。我们提出了一种新的方法来生成以事件为中心的查询建议,使用新闻媒体发布的新闻文章的元数据。我们比较了我们提出的框架与现有的最先进的查询建议机制提供的谷歌新闻,Bing新闻,谷歌搜索和Bing搜索的各种参数。
2022-01-12 cs.IR
Enabling Semantic Analysis of User Browsing Patterns in the Web of Data
Institute of Applied Informatics and Formal Methods(应用信息学与形式方法研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了更好地解释和分析使用模式,一个有用的步骤是形式化用户在Web中访问的资源的语义。我们关注这个问题,并提出了一种方法的语义形式化的使用日志,这奠定了基础,有效的技术查询表达的使用模式。我们还提出了一个查询回答的方法,这是有用的ND在日志表达模式的使用行为,通过制定语义和基于时间的约束。我们已经处理了从DBPedia和语义网狗粮的使用日志中提取的3万多个用户浏览会话。所有这些事件的形式化语义使用各自的领域本体和RDF表示的Web资源被访问。我们通过实验结果表明我们的方法的有效性,以这种方式提供了一个探索性的分析用户浏览theWeb的数据。
2012-04-17 cs.AI cs.HC cs.IR
Ranking Entities in the Age of Two Webs, an Application to Semantic Snippets
链接开放数据倡议的进展正在产生一个结构更合理的数据网。事实上,一些数据集充当枢纽(例如,DBpedia)连接许多其他数据集。他们还使新的Web服务成为可能,用于纯文本中的实体检测(例如,DBpedia Spotlight),从而允许新的应用程序可以从文档Web和数据Web的组合中受益。为了缓解这些新的应用程序的出现,我们提出了一个查询偏置算法(LDRANK)的排名与相关的文本数据的数据资源的Web。我们的算法结合了链接分析和降维。我们使用众包建立一个公开可用的和可重用的数据集,用于评估网页中检测到的数据资源的Web查询偏向排名。我们表明,在这个数据集上,LDRANK优于最先进的。最后,我们使用这种算法的语义片段的建设,我们评估的有用性与基于众包的方法。
2015-09-15 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
ThinkQE: Query Expansion via an Evolving Thinking Process
ThinkQE通过演进的思考过程和语料库交互策略,在测试时实现更全面的查询扩展,优于传统密集检索器和重排序器。
2026-03-09 cs.CL cs.IR
Efficient Diversification of Web Search Results
在本文中,我们分析了各种搜索结果多样化的方法的效率。虽然多样化方法的有效性在过去已经被深入研究,但响应时间和可扩展性问题很少被解决。因此,提出了一个统一的框架,研究性能和可行性的结果多样化的解决方案。首先,我们定义了一个新的方法来检测何时,以及如何,查询结果需要多样化。为了这个目的,我们依靠“查询细化”的概念来估计一个查询是模糊的概率。然后,依靠这种新的歧义检测方法,我们部署和比较标准测试集上,三种不同的多样化的方法:IASelect,xQuAD,和OptSelect。虽然前两个是最近的国家的最先进的建议,后者是本文介绍的原始算法。我们使用标准的TREC网络多样化跟踪测试平台来评估我们的方法对竞争对手的效率和有效性。结果表明,OptSelect能够运行两个数量级的速度比其他两个国家的最先进的方法,并获得可比的数字多样化的有效性。
2011-05-21 cs.IR
User Intent Inference for Web Search and Conversational Agents
Emory University(埃默里大学)
用户意图理解是设计会话代理和搜索引擎的关键步骤。检测或推断用户意图是具有挑战性的,因为用户话语或查询可能是简短的、模糊的并且依赖于上下文。针对这些研究挑战,本文的研究工作主要集中在:1)会话主体的话语主题和意图分类; 2)Web搜索引擎的查询意图挖掘和分类,主要针对电子商务领域。为了解决第一个问题,我提出了新的模型,将实体信息和会话上下文线索,以预测用户的话语的主题和意图。对于第二个研究主题,我计划将现有的Web搜索意图预测方法扩展到电子商务领域,通过:1)开发一个联合学习模型来预测搜索查询的意图和与之相关的产品类别,2)发现新的隐藏用户的意图。所有的模型都将在一个主要的电子商务网站搜索引擎的真实查询上进行评估。来自这些研究的结果可以被利用来提高各种任务的性能,诸如自然语言理解、查询范围确定、查询建议和排名,从而产生丰富的用户体验。
2020-07-08 cs.CL cs.IR
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
Event-Centric Query Expansion in Web Search
Tencent Inc.(腾讯公司);University of Science and Technology of China(中国科学技术大学)
本文提出基于事件中心的查询扩展系统EQE,通过事件收集、改写、语义检索和在线排序四阶段快速准确挖掘最优扩展,已在腾讯QQ浏览器搜索中部署并显著提升搜索指标。
2023-05-30 cs.CL cs.IR
G-Bean: an ontology-graph based web tool for biomedical literature retrieval
目前,大多数人使用PubMed搜索MEDLINE数据库,这是生命科学和生物医学信息的重要书目信息源。然而,PubMed有一些缺点,使得很难找到与用户个人意图有关的相关出版物,特别是对于非专家用户。为了改善PubMed的不足,我们开发了一个基于图的生物医学搜索引擎G-Bean,它通过三个方面的创新来解决PubMed的不足:并行文档索引创建、基于本体图的查询扩展和基于用户搜索意图的文档检索和重新排序。使用106个OHSUMED基准查询的性能评估显示,当使用这些查询搜索MEDLINE数据库时,G-Bean返回的相关结果比PubMed更多。PubMed甚至无法返回某些OHSUMED查询的任何检索结果,因为它无法从自然语言查询字符串自动形成适当的布尔查询语句。G-Bean可在http://bioinformatics.clemson.edu/G-Bean/index.php.G-Bean上获得,它通过基于本体图的查询扩展、自动文档索引和用户搜索意图发现来解决PubMed的局限性。它在从MEDLINE数据库中查找相关文章以满足用户的信息需求方面显示出显着的优势。
2015-08-31 cs.IR