Optimizing Query Evaluations using Reinforcement Learning for Web Search
在网络搜索中，通常候选生成步骤从包含多达数十亿个网页的集合中选择一小组文档，这些文档随后在呈现给用户之前进行排名和修剪。在Bing中，候选生成涉及使用静态设计的匹配计划扫描索引，这些计划规定了不同匹配标准和停止条件的序列。在这项工作中，我们将匹配规划作为一个强化学习任务，并观察到访问的索引块减少了20%，候选集的质量下降很少或没有下降。
2018-08-18 cs.IR
Query sensitive comparative summarization of search results using concept based segmentation
查询敏感摘要是指根据用户的搜索查询，为用户提供单个或多个网页内容的摘要。本文提出了一种新颖的想法，从一组URL的搜索结果生成一个比较摘要。用户从搜索引擎产生的搜索结果中选择一组网页链接。生成这些选定网站的比较摘要。该方法利用了这些网页的HTML DOM树结构。HTML文档被分割成一组概念块。每个概念块的句子得分相对于查询和特征关键字计算。从不同网页的概念块中抽取重要句子，动态地组成比较摘要。该系统减少了用户浏览各种网站以比较信息所需的时间和精力。通过对内容的比较总结，帮助用户快速决策。
2012-01-11 cs.IR
Seasonal Web Search Query Selection for Influenza-Like Illness (ILI) Estimation
从网络搜索数据中估计流感样疾病（ILI）是一项重要的网络分析任务。其基本思想是在估计当前ILI活动时，使用与过去ILI活动相关的Web搜索日志中的查询频率作为特征。已经注意到，由于流感是季节性的，因此这种方法可能导致与也表现出季节性但与ILI没有关系的特征/查询的虚假相关性。假相关性反过来会降低性能。为了解决这个问题，我们建议建模的季节性变化的ILI活动和选择查询的季节性模型和观测到的ILI信号的残差相关。实验结果表明，重新排名的查询获得谷歌相关的基础上，他们的相关性与残差强烈青睐ILI相关的查询。
2018-02-19 cs.IR
VIQI: A New Approach for Visual Interpretation of Deep Web Query Interfaces
Faculty of Sciences of Monastir（莫纳斯提尔科学学院）；Research Unit MARS（MARS研究单元）
Deep Web数据库包含了超过90%的Web相关信息。尽管它们很重要，但用户并没有从这个宝库中获利。许多深网服务在价格、服务质量和设施方面提供有竞争力的服务。随着服务数量的快速增长，用户很难同时请求多个Web服务。在本文中，我们想象一个系统，用户有可能制定一个查询使用一个查询接口，然后系统将查询转换到其余的查询接口。然而，界面是由设计人员创建的，以便用户可以直观地解释，机器无法解释来自给定界面的查询。我们提出了一种新的方法，模拟用户的解释能力，并提取查询从深网查询接口。我们的方法在两个标准数据集上证明了良好的性能。
2012-05-04 cs.AI cs.IR
Effect of Query Formation on Web Search Engine Results
搜索引擎中的查询一般基于自然语言。查询可以用多种方式表达而不改变其含义，因为它取决于人类在特定时刻的思考。查询的目的是获得最相关的结果，而不考虑查询是如何表达的。在本文中，我们已经研究了搜索引擎的结果覆盖率和前几个结果的相似性的变化时，查询是在两个语义相同，但在不同的格式输入。已通过Google搜索引擎进行搜索。已经选择了15对查询用于研究。t检验已被用于此目的，并已检查的基础上找到的文件总数，前五个和前十个文件的相似性，在两种不同格式的查询输入的结果。已经发现，总覆盖率是相同的，但前几个结果是显著不同的。
2013-03-07 cs.IR
Semantic Query Optimisation with Ontology Simulation
毫无疑问，语义Web在工业界和学术界都获得了发展势头。“语义”这个词指的是“意义”--语义网是一个意义之网。在这个快速变化和以结果为导向的现实世界中，一个人不得不在互联网上努力寻找信息的日子已经过去了，知识管理是主要问题。语义网的愿景是链接、整合和分析来自各种数据源的数据，并形成一个新的信息流，因此是一个相互连接的数据库网络，机器与其他机器相互作用，以产生面向用户的准确结果。随着语义Web框架的出现，在句法Web上搜索信息的简单方法已经过时了。本文提出了一种优化的语义搜索的关键字举例模拟本体的印度大学提出的算法，衍生出有效的语义检索的信息，易于访问和节省时间。
2010-11-01 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
A Model for Web Page Usage Mining Based on Segmentation
网页使用挖掘在丰富网页的内容和结构的基础上，从用户与页面的交互收到的反馈起着至关重要的作用。本文提出了一个模型，通过微调挖掘从页面级别到段级别的跟踪活动进行微观管理。所提出的模型使网站管理员能够识别的部分，收到更多的关注，从用户与他人相比。用户行为的细分级别分析提供了一个重要的指标来分析促进页面流量增加的因素。模型的实证验证是通过原型实现。
2012-02-13 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的，仅使用有限的查询样本。此外，查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询，并根据这个样本比较了谷歌和必应的结果，从而解决了这些问题。陪审员是通过众包找到的，数据是使用专门的软件，相关性评估工具（RAT）收集的。我们发现，虽然Google在这两种查询类型上都优于Bing，但信息查询的性能差异相当小。然而，对于导航查询，Google在95.3%的情况下找到了正确答案，而Bing只找到了76.6%的正确答案。我们的结论是，搜索引擎性能的导航查询是非常重要的，因为在这种情况下，用户可以清楚地识别查询，返回正确的结果。因此，这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Query Optimization Over Web Services Using A Mixed Approach
Web服务管理系统（WSMS）可以被认为是管理Web服务的一致和安全的方法。Web服务已经成为Web世界的一个典型部分，管理和共享与之相关的业务资源。在本文中，我们专注于查询优化方面的处理“自然语言“查询，查询到WSMS。映射-选择-组合操作被引导以选择特定的Web服务。我们的研究的主要后果是在一个算法，它使用成本为基础的，以及启发式的查询优化的方法。通过基于成本的评估，并使用贪心算法，形成查询计划。基于启发式的方法进一步优化了评估计划。该方案不仅保证了一个最优的解决方案，它具有最小的偏离理想的解决方案，但也节省了时间，否则用于生成各种查询计划，使用许多数学模型，然后评估每一个。
2012-07-27 cs.DB cs.IR
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页，其中大多数是不相关的。在这种情况下，有效的信息检索从不断扩大的网络是一个具有挑战性的任务，特别是，如果查询是模糊的。这里出现的主要问题是，如何获得相关的页面，一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法，因为它的简单性和鲁棒性。分析表明，我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
Query Interface Integrator For Domain Specific Hidden Web
当今的网络域名准入主要依靠搜索引擎。大量的数据隐藏在数据库背后的搜索接口被称为隐藏的网络，这需要被索引，以便为用户查询。本文将数据库和数据采掘技术用于查询接口集成。查询界面必须尽可能地类似于本地界面的外观和感觉，尽管它是在没有人工支持的情况下自动生成的。这种技术将相关文档保持在相同的域中，使得文档的搜索在时间复杂度方面变得更有效。
2013-11-16 cs.DB cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Social Network Analysis of yahoo web-search engine query logs
Web现在是无可争议的信息仓库。它现在可以为现代问题提供大部分答案。搜索引擎做了一个伟大的工作，结合和排名的最佳结果时，用户试图搜索任何特定的信息。然而，正如我们所知，“能力越大，责任越大”，数据分析师要找到与查询最相关的信息并不是一件容易的事情。一个主要的挑战是，网络搜索引擎面临的困难，认识到用户的具体搜索兴趣，他的初始查询。在这个项目中，我们尝试从Web搜索引擎的查询日志中构建查询网络，其中节点表示查询，边表示查询之间的语义相关性。
2017-05-02 cs.IR cs.SI
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
WTR: A Test Collection for Web Table Retrieval
我们描述了Web表格检索任务的测试集合的发展，特点和可用性，它使用了一个大规模的Web表格语料库提取的公共爬行。由于Web表通常具有丰富的上下文信息，如页面标题和周围的段落，我们不仅提供了相关性判断的查询表对，但也相关性判断的查询表上下文对相对于查询，这是被忽略了以前的测试集合。为了方便未来的研究与此基准，我们提供了有关如何预处理数据集的详细信息，以及传统和最近提出的表检索方法的基线结果。我们的实验结果表明，适当使用上下文标签可以受益于以前的表检索方法。
2021-05-05 cs.IR
SPARQL Assist Language-Neutral Query Composer
SPARQL查询组合对于外行甚至是经验丰富的生物信息学家来说都是困难的，因为数据模型是不熟悉的。已建立的最佳实践和国际化问题决定了语义Web本体应该使用带有不透明标识符的术语，这进一步使任务复杂化。我们提出SPARQL协助：一个Web应用程序，通过提供上下文敏感的类型提前完成现有的Web表单，解决这些问题。本体术语建议使用它们的标签和描述，利用现有的XML支持国际化和语言中立性。
2010-12-08 cs.IR
Performance Oriented Query Processing In GEO Based Location Search Engines
地理位置搜索引擎允许用户通过将查询集中在特定地理区域上来以直观的方式对搜索结果进行约束和排序。地理搜索技术，也被称为位置搜索，最近受到了主要搜索引擎公司的极大关注。这一领域的学术研究主要集中在从网络中提取地理知识的技术上。在本文中，我们研究了可扩展的地理搜索引擎中的高效查询处理问题。查询处理是标准Web搜索引擎中的主要瓶颈，也是主要引擎使用数千台机器的主要原因。地理搜索引擎查询处理的不同之处在于它需要文本和空间数据处理技术的组合。我们提出了几种算法，有效的查询处理地理搜索引擎，将它们集成到现有的Web搜索查询处理器，并评估它们的大集合的真实数据和查询痕迹。
2010-05-06 cs.IR
Multidimensional Web Page Evaluation Model Using Segmentation And Annotations
针对查询的网页评估是信息检索领域围绕的枢轴。上下文敏感的，语义的网页评价是一个重要的问题，需要立即解决。本研究提出一个以多维评估方法计算出的分段分数累积来评估网页的模型。提出的模型是混合的，因为它利用了结构语义和内容语义的评估过程。网页的分数是在一个自下而上的过程中计算的，通过评估单个段的分数，通过一个多维度的方法。该模型采用了一种方法段级注释。所提出的模型进行原型评估，原型上进行的实验证实了该模型的效率在页面的语义评估。
2012-08-14 cs.IR
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London（伦敦大学伯贝克学院）；University of Messina（墨西拿大学）
本文提出Dr Web，一个基于查询语言的模块化Web数据检索引擎，解决动态内容与杂乱数据提取问题，并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
A personalized web page content filtering model based on segmentation
鉴于万维网上通过不同来源的大量内容爆炸，拥有内容过滤工具已成为强制性的。在未成年人访问网页的情况下，对网页内容进行过滤更为重要。传统的网页拦截系统采用布尔方法，要么显示整个页面，要么完全阻止它。随着网页中动态性的增加，网页的不同部分在不同时间实例保持不同类型的内容已经成为一种常见现象。本文提出了一种模型，以阻止在细粒度的水平，即，而不是完全阻止的页面，这将是有效的，只阻止那些段持有的内容被阻止。与传统方法相比，该方法的优点是分块的粒度更细，并且可以自动识别要分块的页面部分。在该模型上进行的实验表明，在过滤出的片段的准确率为88%。
2012-02-09 cs.IR
Neural Architecture for Question Answering Using a Knowledge Graph and Web Corpus
在Web搜索中，实体搜索查询通常会触发一个特殊的问答系统。它可以使用解析器将问题解释为结构化查询，在知识图谱（KG）上执行该结构化查询，并返回直接的实体响应。基于精确解析的QA系统往往是脆弱的：微小的语法变化可能会极大地改变响应。此外，幼儿园的覆盖面参差不齐。在另一个极端，一个大的语料库可能提供更广泛的覆盖面，但在一个非结构化的，不可靠的形式。我们提出了AQQUCN，一个QA系统，优雅地结合KG和语料库证据。AQQUCN接受广泛的查询语法，从格式良好的问题到简短的“电报”关键字序列。面对固有的查询歧义，AQQUCN聚合来自KG和大型语料库的信号，直接对KG实体进行排名，而不是对查询进行一种语义解释。AQQUCN将理想解释建模为不可观察或潜在变量。解释和候选实体响应通过组合来自多个卷积网络的信号来成对评分，这些卷积网络共同对查询、KG和语料库进行操作。在四个公共查询工作负载上，总计超过8，000个具有不同查询语法的查询，与最近系统的实体排名性能相比，我们看到平均平均精度（MAP）有5- 16%的绝对提高。我们的系统在实体集检索方面也很有竞争力，对于具有挑战性的短查询，F1分数几乎翻了一番。
2018-12-06 cs.IR
PRESY: A Context Based Query Reformulation Tool for Information Retrieval on the Web
问题陈述：网络上的海量信息以及新用户的不断增长给信息检索带来了新的挑战。这些用户越来越难以找到满足其个人需要的相关文件。当然，目前的搜索引擎（如谷歌，必应和雅虎）提供了一个有效的方式来浏览网页内容。然而，结果质量高度依赖于使用查询，这些查询需要更精确地找到相关文档。对于大多数不熟练的用户来说，这项任务仍然很复杂，他们无法在查询中用重要的词来表达自己的需求。因此，我们认为，重新制定的初始用户的查询可以是一个很好的替代方案，以提高信息的选择性。本研究提出一种新的方法，并提出了一个原型系统称为PRESY（Profile-based REformulation SYSTEM）的信息检索在Web上。方法：它使用增量方法通过构建上下文基础来对用户进行分类。后者是由两种类型的上下文（静态和动态）使用用户的配置文件获得。提出的架构实现使用.NET环境进行查询重构测试。结果：实验结果表明，该方法有效地提高了返回内容的精度。这些测试是用最流行的搜索引擎（即谷歌，绑定和雅虎）进行的，特别是因为它们的高选择性。在给定的结果中，我们发现查询重构提高了前三个结果的10.7%和11.7%的下七个返回的元素。因此，我们可以看到，用户初始查询的重新表达提高了返回内容的相关性。
2011-06-12 cs.IR
Towards Semantic Query Segmentation
eBay Inc.（eBay公司）
在信息检索任务中，查询词切分是理解用户搜索意图的关键环节之一。它涉及将搜索查询中的标记分组为有意义的短语，这有助于搜索相关性和查询理解等下游任务。在本文中，我们提出了一种新的方法来分割用户查询使用分布式查询嵌入。我们的主要贡献是使用低维特征向量进行查询的分割任务的监督方法，摆脱了传统的手动调整和启发式NLP特征，这些特征非常昂贵。我们对50，000个人类注释的Web搜索引擎查询语料库进行基准测试，达到了与最先进技术相当的准确性。我们的技术的优点是它的速度快，不使用外部知识库，如维基百科的分数提高。这有助于我们将我们的方法推广到其他领域，如电子商务，而无需任何微调。我们证明了这种方法的有效性，另外50,000人注释的电子商务查询语料库从eBay的搜索日志。我们的方法易于实现，并在不同的搜索领域推广，证明了低维嵌入在查询分割任务中的强大功能，为该问题开辟了一个新的研究方向。
2017-07-25 cs.CL cs.IR
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据，而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是，这是繁琐和耗时的，以及困难的数据时，要检索的是大量的。由于复杂的结构化网页，从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期，它们被认为是脚本，如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题，我们正在使用一种新的算法，称为VIPS算法，即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程，以确保保留信息以供将来使用。然而，尽管全球网络档案数量不断增加，但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中，我们专注于这个问题，并提出了一个RDF/S模型和一个分布式框架，用于建立语义配置文件（“层”），描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息，用有用的语义信息（如实体，概念和事件）注释它们，并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能，并使网络档案直接利用其他系统和工具。为了证明他们的查询能力，我们建立和查询三种不同类型的Web档案的语义层。实验评估表明，语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Learning to Match Using Local and Distributed Representations of Text for Web Search
诸如潜在语义分析和基于神经嵌入的模型学习文本的分布式表示，并将查询与潜在语义空间中的文档进行匹配。另一方面，在传统的信息检索模型中，术语具有离散或局部表示，并且文档的相关性由查询术语在正文中的精确匹配来确定。我们假设，匹配与分布式表示补充匹配与传统的本地表示，两者的组合是有利的。我们提出了一种新的文档排序模型，该模型由两个独立的深度神经网络组成，一个使用本地表示匹配查询和文档，另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分进行联合训练。我们表明，这种组合或“二重奏”的表现显着优于任何一个神经网络单独的网页排名任务，也显着优于传统的基线和其他最近提出的模型的基础上神经网络。
2016-10-26 cs.IR
Learning to Reformulate the Queries on the WEB
幼稚的用户无法制定适当的查询是一个基本的问题，在网络搜索引擎。因此，帮助用户发出更有效的查询是提高用户幸福感的重要途径。一种有效的方法是查询重组，它根据用户发出的当前查询生成新的有效查询。以前的研究通常会生成与原始查询相关的单词和短语。由于查询重构的定义是相当普遍的，这是完全难以开发一个统一的基于术语的方法来解决这个问题。本文使用现成的数据，特别是超过10亿个锚定短语在Cuberweb 09语料库，为了学习一个端到端的编码器-解码器模型，自动生成有效的查询。在序列到序列模型领域的成功研究之后，我们在编码器处采用具有最大池的字符级卷积神经网络，在解码器处采用基于注意力的递归神经网络。整个模型采用无监督的端到端学习方式，在TREC数据集上的实验表明，该方法自动生成的重构查询能够显著提高检索性能。
2019-07-02 cs.IR
A Survey on Visual Query Systems in the Web Era (extended version)
随着越来越多的数据集合在网络上对每个人都可用，非专家用户需要简单的方法来从这些集合中检索数据。一种解决方案是所谓的可视化查询系统（VQS），其中查询被可视化地表示，并且用户不必理解诸如SQL或XQuery之类的查询语言。1996年，Catarci的一篇论文回顾了直到那一年可用的可视化查询系统。在本文中，我们回顾VQS从1997年到现在，并试图确定他们是否已经为非专家用户的解决方案。简单的回答是否定的，因为实际上很少有系统被用于实际环境或作为商业工具。我们还收集了VQS的基本特征，例如用于呈现感兴趣的现实的视觉表示或用于表达查询的视觉表示。
2017-08-01 cs.DB cs.IR
Query Interpretations from Entity-Linked Segmentations
Martin-Luther-Universität Halle-Wittenberg（马丁·路德大学哈勒-维滕贝格）；Bauhaus-Universität Weimar（魏玛包豪斯大学）
网络搜索查询可能是模棱两可的：“尼罗河之源”是指查找有关实际河流的信息还是该名称的棋盘游戏的信息？我们通过推导基于实体的查询解释来解决这个问题：给定某些查询，任务是推导出将查询的适当部分链接到背景知识库中语义兼容实体的所有合理方法。我们建议的方法不仅关注有效性，而且关注效率，因为网络搜索的响应时间不应超过数百毫秒。在我们的方法中，我们使用查询分割作为预处理步骤，找到有前途的基于段的“解释骨架”。然后将这些骨架中的各个片段链接到知识库中的实体，并在最后一步中对合理的组合进行排名。实验比较的所有现有的查询实体链接数据集的组合语料库显示，我们的方法有一个更好的解释准确率在一个更好的运行时间比以前最有效的方法。
2022-01-05 cs.CL cs.IR
Webpage Segmentation for Extracting Images and Their Surrounding Contextual Information
School of IT, Monash University（莫纳什大学信息技术学院）
Web图像与有价值的上下文信息密切相关。尽管这些信息长期以来被挖掘用于各种用途，例如图像注释、图像聚类、图像语义内容的推断等，在挖掘这种上下文信息时，对解决问题没有给予足够的关注。在本文中，我们提出了一个网页分割算法，针对提取的网页图像及其上下文信息的基础上，他们出现在网页上的特点。我们进行了用户研究，以获得一个人类标记的数据集，以验证我们的方法的有效性和实验表明，我们的方法可以达到更好的效果相比，现有的分割算法。
2020-05-18 cs.CV cs.IR cs.MM
Evaluation of Query Generators for Entity Search Engines
动态Web应用程序（如混搭）需要高效地访问只能通过实体搜索引擎（如产品或出版物搜索引擎）访问的Web数据。然而，当前大多数mashup系统和应用程序只支持简单的关键字搜索，以便从搜索引擎检索数据。我们建议使用更强大的搜索策略建设所谓的查询生成器。对于给定的一组实体，查询生成器能够自动确定一组搜索查询以从实体搜索引擎检索这些实体。我们证明了查询生成器的有用性，按需Web数据集成和评估的有效性和效率的查询生成器的一个具有挑战性的现实世界的集成方案。
2010-03-23 cs.DB cs.IR
Co-Scraper: query-aware DOM Pruning and Reusable Scraper Synthesis for Lightweight Web Data Extraction
Shanghai Artificial Intelligence Laboratory, OpenDataLab（上海人工智能实验室，开放数据实验室）；University of Science and Technology of China（中国科学技术大学）
提出Co-Scraper两阶段框架，通过查询感知的DOM剪枝和稳定提取策略归纳，利用微调Qwen3-8B模型将网页内容转化为可执行程序化包装器，在SWDE测试集上达到94.78%的F1分数和90.39%的复用成功率。
2026-06-16 cs.AI cs.IR
Wild Card Queries for Searching Resources on the Web
我们提出了一个独立于领域的框架，用于搜索和检索自然语言文本源中的事实和关系。在该框架中，文本集合上的抽取任务被表示为一个将文本片段与通配符相结合的查询，查询结果是一元、二元和一般$n$元元组形式的事实集合.我们的查询机制的一个重要意义在于，尽管它既简单又声明性，但它可以应用于广泛的提取任务。然而，查询自然语言文本的一个问题是，用户指定的查询可能无法检索到足够的精确匹配。与可以通过删除某些术语来放松的术语查询（如在搜索引擎中所做的那样）不同，从通配符查询中删除术语而不破坏其含义更具挑战性。此外，任何查询扩展都有可能引入误报。在本文中，我们解决的问题，查询扩展，也分析了一些排名的替代品，以评分的结果，并删除误报。我们进行实验，并报告我们的查询和评分功能的有效性评估。
2009-08-18 cs.DB cs.IR
Using clarification questions to improve software developers' Web search
内容：最近的研究表明，由软件开发人员编写的Web查询在检索相关结果方面不是很成功，与通用Web查询相比，其表现要差得多。到目前为止，大多数方法都使用特定于软件工程的自动化查询重构技术来解决这个问题，这些技术在没有开发人员参与的情况下工作，但受到原始查询内容的限制。换句话说，这些技术自动地改进了现有的查询，但不能贡献新的、以前未提及的概念。目的：在本文中，我们提出了一种技术来指导软件开发人员手动改善自己的Web搜索查询。我们研究了一个会话的方法，以下不成功的查询与澄清的问题，旨在引起额外的查询条件，从而为开发人员提供了一个明确的维度，查询可以改善。研究方法：我们描述了一组澄清问题，来自语料库的软件开发人员的查询和神经的方法来推荐他们的一个新发布的查询。结果如下：我们的评估表明，推荐技术是准确的，预测一个有效的澄清问题的80%的时间，并优于简单的基线，以及最先进的学习排序（LTR）基线。结论：如实验结果所示，所描述的方法是能够推荐适当的澄清问题，软件开发人员和开发人员的样本，从新手到有经验的专业人士认为是有用的。
2022-07-26 cs.IR cs.SE
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
An Investigation of Biases in Web Search Engine Query Suggestions
基于调查的研究表明，搜索引擎比社交媒体甚至传统新闻更受信任，尽管虚假信息或诽谤的案例是众所周知的。在这项研究中，我们分析了三个搜索引擎的查询建议功能，看看这些功能是否会引入一些偏见的查询和搜索过程中，可能会损害这种信任。我们通过查询2017年德国联邦大选之前德国联邦议院的政治家的名字来测试我们的方法。本研究提出一个架构来系统地检视及自动分析各大搜索引擎提供的人名查询建议的多样性。为了测试我们的框架，我们收集了来自Google，Bing和DuckDuckGo查询建议API的数据，为期四个月，涉及629个不同的德国政治家名字。对这些建议进行了聚类和统计分析，包括不同的偏见，如性别、党派或年龄，以及建议随时间的稳定性。
2019-12-02 cs.CY cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University（香港浸会大学）；University of Perugia（佩鲁贾大学）
在这项工作中，几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究，并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是，我们专注于基于概念的查询扩展计划，其中，为了有效地提高精度的Web文档检索，以减少用户的浏览时间，主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中，查询扩展的两个关键任务是找到扩展候选，即Web文档域中最接近的概念，并对扩展查询进行适当的排序。我们提出的方法，旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离，PMING距离是一种协作语义接近度度量，即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明，该方法能为用户提供更满意的扩展结果，提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
Context-Aware Query Rewriting for Improving Users' Search Experience on E-commerce Websites
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
电子商业查询通常简短而模糊。因此，查询理解通常使用查询重写来消除用户输入查询的歧义。在使用电子商业搜索工具时，用户倾向于在购买之前输入多个搜索，我们称之为上下文。这些历史搜索包含关于用户真实购物意图的上下文洞察。因此，建模这样的上下文信息是一个更好的查询重写模型的关键。然而，现有的查询重写模型忽略了用户的历史行为，只考虑即时搜索查询，这往往是一个简短的字符串提供有限的信息，真正的购物意图。我们提出了一个端到端的上下文感知查询重写模型来弥补这一差距，它考虑到搜索上下文。具体来说，我们的模型使用历史搜索查询及其包含的单词构建会话图。然后，我们采用一个图形注意力机制，模型的交叉查询关系和计算上下文信息的会话。该模型随后通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。会话表示然后被解码以生成重写的查询。从经验上讲，我们证明了我们的方法的优越性，以国家的最先进的方法在各种指标。在来自在线购物平台的内部数据上，通过引入上下文信息，与最佳基线方法（基于transformer的模型）相比，我们的模型在MRR（平均倒数排名）指标下实现了11.6%的改进，在HIT@16指标（命中率指标）下实现了20.1%的改进。
2022-09-24 cs.IR cs.LG
Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search
Baidu Inc.（百度公司）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出融合蒸馏、监督微调、偏好优化与前瞻解码的生成式 QDTS 框架，使 0.1B 模型超越生产基线并实现低延迟大规模部署。
2025-08-28 cs.CL cs.IR
