Query sensitive comparative summarization of search results using concept based segmentation
查询敏感摘要是指根据用户的搜索查询，为用户提供单个或多个网页内容的摘要。本文提出了一种新颖的想法，从一组URL的搜索结果生成一个比较摘要。用户从搜索引擎产生的搜索结果中选择一组网页链接。生成这些选定网站的比较摘要。该方法利用了这些网页的HTML DOM树结构。HTML文档被分割成一组概念块。每个概念块的句子得分相对于查询和特征关键字计算。从不同网页的概念块中抽取重要句子，动态地组成比较摘要。该系统减少了用户浏览各种网站以比较信息所需的时间和精力。通过对内容的比较总结，帮助用户快速决策。
2012-01-11 cs.IR
Seasonal Web Search Query Selection for Influenza-Like Illness (ILI) Estimation
从网络搜索数据中估计流感样疾病（ILI）是一项重要的网络分析任务。其基本思想是在估计当前ILI活动时，使用与过去ILI活动相关的Web搜索日志中的查询频率作为特征。已经注意到，由于流感是季节性的，因此这种方法可能导致与也表现出季节性但与ILI没有关系的特征/查询的虚假相关性。假相关性反过来会降低性能。为了解决这个问题，我们建议建模的季节性变化的ILI活动和选择查询的季节性模型和观测到的ILI信号的残差相关。实验结果表明，重新排名的查询获得谷歌相关的基础上，他们的相关性与残差强烈青睐ILI相关的查询。
2018-02-19 cs.IR
Improved Query Topic Models via Pseudo-Relevant Pólya Document Models
基于伪相关反馈的查询扩展是克服词汇不匹配问题和提高检索效率的一种常用方法。在本文中，我们开发了一种新的方法，估计一个查询主题模型从一组伪相关的文件，使用一个新的语言建模框架。我们假设文档是通过多变量Polya分布的混合生成的，并且我们表明，通过识别每个文档中的主题术语，我们可以适当地选择可能属于查询主题模型的术语。几个TREC集合的实验结果表明，新的方法相比，目前国家的最先进的扩展方法。
2016-02-04 cs.IR
VIQI: A New Approach for Visual Interpretation of Deep Web Query Interfaces
Faculty of Sciences of Monastir（莫纳斯提尔科学学院）；Research Unit MARS（MARS研究单元）
Deep Web数据库包含了超过90%的Web相关信息。尽管它们很重要，但用户并没有从这个宝库中获利。许多深网服务在价格、服务质量和设施方面提供有竞争力的服务。随着服务数量的快速增长，用户很难同时请求多个Web服务。在本文中，我们想象一个系统，用户有可能制定一个查询使用一个查询接口，然后系统将查询转换到其余的查询接口。然而，界面是由设计人员创建的，以便用户可以直观地解释，机器无法解释来自给定界面的查询。我们提出了一种新的方法，模拟用户的解释能力，并提取查询从深网查询接口。我们的方法在两个标准数据集上证明了良好的性能。
2012-05-04 cs.AI cs.IR
Effect of Query Formation on Web Search Engine Results
搜索引擎中的查询一般基于自然语言。查询可以用多种方式表达而不改变其含义，因为它取决于人类在特定时刻的思考。查询的目的是获得最相关的结果，而不考虑查询是如何表达的。在本文中，我们已经研究了搜索引擎的结果覆盖率和前几个结果的相似性的变化时，查询是在两个语义相同，但在不同的格式输入。已通过Google搜索引擎进行搜索。已经选择了15对查询用于研究。t检验已被用于此目的，并已检查的基础上找到的文件总数，前五个和前十个文件的相似性，在两种不同格式的查询输入的结果。已经发现，总覆盖率是相同的，但前几个结果是显著不同的。
2013-03-07 cs.IR
Semantic Query Optimisation with Ontology Simulation
毫无疑问，语义Web在工业界和学术界都获得了发展势头。“语义”这个词指的是“意义”--语义网是一个意义之网。在这个快速变化和以结果为导向的现实世界中，一个人不得不在互联网上努力寻找信息的日子已经过去了，知识管理是主要问题。语义网的愿景是链接、整合和分析来自各种数据源的数据，并形成一个新的信息流，因此是一个相互连接的数据库网络，机器与其他机器相互作用，以产生面向用户的准确结果。随着语义Web框架的出现，在句法Web上搜索信息的简单方法已经过时了。本文提出了一种优化的语义搜索的关键字举例模拟本体的印度大学提出的算法，衍生出有效的语义检索的信息，易于访问和节省时间。
2010-11-01 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的，仅使用有限的查询样本。此外，查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询，并根据这个样本比较了谷歌和必应的结果，从而解决了这些问题。陪审员是通过众包找到的，数据是使用专门的软件，相关性评估工具（RAT）收集的。我们发现，虽然Google在这两种查询类型上都优于Bing，但信息查询的性能差异相当小。然而，对于导航查询，Google在95.3%的情况下找到了正确答案，而Bing只找到了76.6%的正确答案。我们的结论是，搜索引擎性能的导航查询是非常重要的，因为在这种情况下，用户可以清楚地识别查询，返回正确的结果。因此，这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Query Optimization Over Web Services Using A Mixed Approach
Web服务管理系统（WSMS）可以被认为是管理Web服务的一致和安全的方法。Web服务已经成为Web世界的一个典型部分，管理和共享与之相关的业务资源。在本文中，我们专注于查询优化方面的处理“自然语言“查询，查询到WSMS。映射-选择-组合操作被引导以选择特定的Web服务。我们的研究的主要后果是在一个算法，它使用成本为基础的，以及启发式的查询优化的方法。通过基于成本的评估，并使用贪心算法，形成查询计划。基于启发式的方法进一步优化了评估计划。该方案不仅保证了一个最优的解决方案，它具有最小的偏离理想的解决方案，但也节省了时间，否则用于生成各种查询计划，使用许多数学模型，然后评估每一个。
2012-07-27 cs.DB cs.IR
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页，其中大多数是不相关的。在这种情况下，有效的信息检索从不断扩大的网络是一个具有挑战性的任务，特别是，如果查询是模糊的。这里出现的主要问题是，如何获得相关的页面，一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法，因为它的简单性和鲁棒性。分析表明，我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
Query Interface Integrator For Domain Specific Hidden Web
当今的网络域名准入主要依靠搜索引擎。大量的数据隐藏在数据库背后的搜索接口被称为隐藏的网络，这需要被索引，以便为用户查询。本文将数据库和数据采掘技术用于查询接口集成。查询界面必须尽可能地类似于本地界面的外观和感觉，尽管它是在没有人工支持的情况下自动生成的。这种技术将相关文档保持在相同的域中，使得文档的搜索在时间复杂度方面变得更有效。
2013-11-16 cs.DB cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Social Network Analysis of yahoo web-search engine query logs
Web现在是无可争议的信息仓库。它现在可以为现代问题提供大部分答案。搜索引擎做了一个伟大的工作，结合和排名的最佳结果时，用户试图搜索任何特定的信息。然而，正如我们所知，“能力越大，责任越大”，数据分析师要找到与查询最相关的信息并不是一件容易的事情。一个主要的挑战是，网络搜索引擎面临的困难，认识到用户的具体搜索兴趣，他的初始查询。在这个项目中，我们尝试从Web搜索引擎的查询日志中构建查询网络，其中节点表示查询，边表示查询之间的语义相关性。
2017-05-02 cs.IR cs.SI
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
WTR: A Test Collection for Web Table Retrieval
我们描述了Web表格检索任务的测试集合的发展，特点和可用性，它使用了一个大规模的Web表格语料库提取的公共爬行。由于Web表通常具有丰富的上下文信息，如页面标题和周围的段落，我们不仅提供了相关性判断的查询表对，但也相关性判断的查询表上下文对相对于查询，这是被忽略了以前的测试集合。为了方便未来的研究与此基准，我们提供了有关如何预处理数据集的详细信息，以及传统和最近提出的表检索方法的基线结果。我们的实验结果表明，适当使用上下文标签可以受益于以前的表检索方法。
2021-05-05 cs.IR
SPARQL Assist Language-Neutral Query Composer
SPARQL查询组合对于外行甚至是经验丰富的生物信息学家来说都是困难的，因为数据模型是不熟悉的。已建立的最佳实践和国际化问题决定了语义Web本体应该使用带有不透明标识符的术语，这进一步使任务复杂化。我们提出SPARQL协助：一个Web应用程序，通过提供上下文敏感的类型提前完成现有的Web表单，解决这些问题。本体术语建议使用它们的标签和描述，利用现有的XML支持国际化和语言中立性。
2010-12-08 cs.IR
Performance Oriented Query Processing In GEO Based Location Search Engines
地理位置搜索引擎允许用户通过将查询集中在特定地理区域上来以直观的方式对搜索结果进行约束和排序。地理搜索技术，也被称为位置搜索，最近受到了主要搜索引擎公司的极大关注。这一领域的学术研究主要集中在从网络中提取地理知识的技术上。在本文中，我们研究了可扩展的地理搜索引擎中的高效查询处理问题。查询处理是标准Web搜索引擎中的主要瓶颈，也是主要引擎使用数千台机器的主要原因。地理搜索引擎查询处理的不同之处在于它需要文本和空间数据处理技术的组合。我们提出了几种算法，有效的查询处理地理搜索引擎，将它们集成到现有的Web搜索查询处理器，并评估它们的大集合的真实数据和查询痕迹。
2010-05-06 cs.IR
An IR-based Evaluation Framework for Web Search Query Segmentation
本文提出了第一个评估框架，直接基于IR性能的Web搜索查询分割。在过去，分割策略主要针对手动注释进行验证。我们的工作表明，通过对少数人类注释分割的评价来判断分割算法的优点很难反映其在基于IR的设置中的有效性。事实上，最先进的算法表现得和人类注释一样好，有时甚至比人类注释更好--这一事实被以前的验证所掩盖。建议的框架也为我们提供了一个客观的理解目前最好的和最好的分割算法之间的差距。我们得出这些结论的基础上，广泛的评估六个分割策略，包括三个最新的算法，相对于一个相对于三个人类注释分割。评估框架还提供了有关哪些片段应该被算法检测到以实现最佳检索结果的见解。我们实验中使用的精心构建的数据集已公开供研究界使用。
2012-09-18 cs.IR
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London（伦敦大学伯贝克学院）；University of Messina（墨西拿大学）
本文提出Dr Web，一个基于查询语言的模块化Web数据检索引擎，解决动态内容与杂乱数据提取问题，并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
Evaluating Elements of Web-based Data Enrichment for Pseudo-Relevance Feedback Retrieval
在这项工作中，我们分析了一个伪相关检索方法的基础上，Web搜索引擎的结果。通过使用来自Web搜索引擎结果页面和链接内容的文本数据来丰富主题，我们训练特定于主题且具有成本效益的分类器，这些分类器可用于搜索相关文档的测试集合。在Grossman和Cormack最初在TREC Common Core 2018上所做的尝试的基础上，我们考虑到不同的搜索引擎，查询和测试集合，解决了系统性能随时间推移的问题。我们的实验结果显示了所考虑的组件如何以及在多大程度上影响检索性能。总体而言，分析的方法是强大的平均检索性能和一个有前途的方式来使用Web内容的数据丰富的相关反馈方法。
2022-03-10 cs.IR
Neural Architecture for Question Answering Using a Knowledge Graph and Web Corpus
在Web搜索中，实体搜索查询通常会触发一个特殊的问答系统。它可以使用解析器将问题解释为结构化查询，在知识图谱（KG）上执行该结构化查询，并返回直接的实体响应。基于精确解析的QA系统往往是脆弱的：微小的语法变化可能会极大地改变响应。此外，幼儿园的覆盖面参差不齐。在另一个极端，一个大的语料库可能提供更广泛的覆盖面，但在一个非结构化的，不可靠的形式。我们提出了AQQUCN，一个QA系统，优雅地结合KG和语料库证据。AQQUCN接受广泛的查询语法，从格式良好的问题到简短的“电报”关键字序列。面对固有的查询歧义，AQQUCN聚合来自KG和大型语料库的信号，直接对KG实体进行排名，而不是对查询进行一种语义解释。AQQUCN将理想解释建模为不可观察或潜在变量。解释和候选实体响应通过组合来自多个卷积网络的信号来成对评分，这些卷积网络共同对查询、KG和语料库进行操作。在四个公共查询工作负载上，总计超过8，000个具有不同查询语法的查询，与最近系统的实体排名性能相比，我们看到平均平均精度（MAP）有5- 16%的绝对提高。我们的系统在实体集检索方面也很有竞争力，对于具有挑战性的短查询，F1分数几乎翻了一番。
2018-12-06 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中，我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字，更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分，并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组：最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同，因此研究了这些方法在选择查询扩展词时的作用。从最初的研究，我们扩展实验，开发一个基于规则的统计模型，自动选择最好的一组单词，结合tf-idf评分和3种方法在这里解释，在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行，每个测试集上有50个查询，使用Terrier作为检索引擎。
2015-02-18 cs.IR
PRESY: A Context Based Query Reformulation Tool for Information Retrieval on the Web
问题陈述：网络上的海量信息以及新用户的不断增长给信息检索带来了新的挑战。这些用户越来越难以找到满足其个人需要的相关文件。当然，目前的搜索引擎（如谷歌，必应和雅虎）提供了一个有效的方式来浏览网页内容。然而，结果质量高度依赖于使用查询，这些查询需要更精确地找到相关文档。对于大多数不熟练的用户来说，这项任务仍然很复杂，他们无法在查询中用重要的词来表达自己的需求。因此，我们认为，重新制定的初始用户的查询可以是一个很好的替代方案，以提高信息的选择性。本研究提出一种新的方法，并提出了一个原型系统称为PRESY（Profile-based REformulation SYSTEM）的信息检索在Web上。方法：它使用增量方法通过构建上下文基础来对用户进行分类。后者是由两种类型的上下文（静态和动态）使用用户的配置文件获得。提出的架构实现使用.NET环境进行查询重构测试。结果：实验结果表明，该方法有效地提高了返回内容的精度。这些测试是用最流行的搜索引擎（即谷歌，绑定和雅虎）进行的，特别是因为它们的高选择性。在给定的结果中，我们发现查询重构提高了前三个结果的10.7%和11.7%的下七个返回的元素。因此，我们可以看到，用户初始查询的重新表达提高了返回内容的相关性。
2011-06-12 cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程，以确保保留信息以供将来使用。然而，尽管全球网络档案数量不断增加，但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中，我们专注于这个问题，并提出了一个RDF/S模型和一个分布式框架，用于建立语义配置文件（“层”），描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息，用有用的语义信息（如实体，概念和事件）注释它们，并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能，并使网络档案直接利用其他系统和工具。为了证明他们的查询能力，我们建立和查询三种不同类型的Web档案的语义层。实验评估表明，语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Learning to Match Using Local and Distributed Representations of Text for Web Search
诸如潜在语义分析和基于神经嵌入的模型学习文本的分布式表示，并将查询与潜在语义空间中的文档进行匹配。另一方面，在传统的信息检索模型中，术语具有离散或局部表示，并且文档的相关性由查询术语在正文中的精确匹配来确定。我们假设，匹配与分布式表示补充匹配与传统的本地表示，两者的组合是有利的。我们提出了一种新的文档排序模型，该模型由两个独立的深度神经网络组成，一个使用本地表示匹配查询和文档，另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分进行联合训练。我们表明，这种组合或“二重奏”的表现显着优于任何一个神经网络单独的网页排名任务，也显着优于传统的基线和其他最近提出的模型的基础上神经网络。
2016-10-26 cs.IR
Learning to Reformulate the Queries on the WEB
幼稚的用户无法制定适当的查询是一个基本的问题，在网络搜索引擎。因此，帮助用户发出更有效的查询是提高用户幸福感的重要途径。一种有效的方法是查询重组，它根据用户发出的当前查询生成新的有效查询。以前的研究通常会生成与原始查询相关的单词和短语。由于查询重构的定义是相当普遍的，这是完全难以开发一个统一的基于术语的方法来解决这个问题。本文使用现成的数据，特别是超过10亿个锚定短语在Cuberweb 09语料库，为了学习一个端到端的编码器-解码器模型，自动生成有效的查询。在序列到序列模型领域的成功研究之后，我们在编码器处采用具有最大池的字符级卷积神经网络，在解码器处采用基于注意力的递归神经网络。整个模型采用无监督的端到端学习方式，在TREC数据集上的实验表明，该方法自动生成的重构查询能够显著提高检索性能。
2019-07-02 cs.IR
To Click or not to Click? The Role of Contextualized and User-Centric Web Snippets
在搜索网络时，通常可能有太多的结果可用于模糊查询。从检索到的页面中提取的文本片段是页面对查询意图的有用性的指示器，并且可以用于集中搜索结果的范围。在本文中，我们提出了一种新的方法来自动提取网页片段，是高度相关的查询意图和表达的网页的整个内容。我们表明，语义的使用，作为重点检索的基础，产生高质量的文本片段的建议。与使用页面的统计内容获得的片段相比，我们的方法提供的片段在检索性能方面明显更好。此外，我们的研究表明，语义驱动的片段生成也可以用来增强传统的段落检索算法的基础上，字重叠或统计权重，因为它们通常在覆盖范围不同，并产生不同的结果。用户点击查询的相关片段可以用来细化查询结果，并促进最全面的相关文档。
2009-03-14 cs.IR
A Survey on Adversarial Information Retrieval on the Web
这篇调查报告讨论了不同形式的恶意技术，这些技术可能会影响信息检索模型如何检索文档进行查询，以及它们的补救措施。
2020-02-15 cs.IR
A Survey on Visual Query Systems in the Web Era (extended version)
随着越来越多的数据集合在网络上对每个人都可用，非专家用户需要简单的方法来从这些集合中检索数据。一种解决方案是所谓的可视化查询系统（VQS），其中查询被可视化地表示，并且用户不必理解诸如SQL或XQuery之类的查询语言。1996年，Catarci的一篇论文回顾了直到那一年可用的可视化查询系统。在本文中，我们回顾VQS从1997年到现在，并试图确定他们是否已经为非专家用户的解决方案。简单的回答是否定的，因为实际上很少有系统被用于实际环境或作为商业工具。我们还收集了VQS的基本特征，例如用于呈现感兴趣的现实的视觉表示或用于表达查询的视觉表示。
2017-08-01 cs.DB cs.IR
A Supervised Learning Algorithm for Binary Domain Classification of Web Queries using SERPs
通用搜索引擎（SE）爬取所有域（例如，体育、新闻、娱乐），但是有时查询的信息需求被限制到特定的域（例如，医学）。我们利用SE的工作作为我们努力的一部分，将特定领域的查询路由到本地数字图书馆（DL）。SE经常被使用，即使它们不是某些类型查询的“最佳”源。而不是告诉用户“使用这种DL的这种查询”，我们打算自动检测查询时，可以更好地服务于本地DL（如私有的，访问控制的DL，不能通过SE爬取）。这并不是一件容易的事情，因为Web查询很短，模糊不清，并且缺乏高质量的标记训练数据（或者创建它的成本很高）。为了检测应该路由到本地的、专门的DL的查询，我们首先将查询发送到Google，然后检查所得到的搜索引擎结果页面（SERP）中的特征，然后将查询分类为属于学者或非学者域。使用400，000 AOL查询的非学者域和400，000来自NASA技术报告服务器（NTRS）的查询的学者域，我们的分类器实现了0.809的精度和F-测量0.805。
2016-05-03 cs.IR
Evaluation of Query Generators for Entity Search Engines
动态Web应用程序（如混搭）需要高效地访问只能通过实体搜索引擎（如产品或出版物搜索引擎）访问的Web数据。然而，当前大多数mashup系统和应用程序只支持简单的关键字搜索，以便从搜索引擎检索数据。我们建议使用更强大的搜索策略建设所谓的查询生成器。对于给定的一组实体，查询生成器能够自动确定一组搜索查询以从实体搜索引擎检索这些实体。我们证明了查询生成器的有用性，按需Web数据集成和评估的有效性和效率的查询生成器的一个具有挑战性的现实世界的集成方案。
2010-03-23 cs.DB cs.IR
Co-Scraper: query-aware DOM Pruning and Reusable Scraper Synthesis for Lightweight Web Data Extraction
Shanghai Artificial Intelligence Laboratory, OpenDataLab（上海人工智能实验室，开放数据实验室）；University of Science and Technology of China（中国科学技术大学）
提出Co-Scraper两阶段框架，通过查询感知的DOM剪枝和稳定提取策略归纳，利用微调Qwen3-8B模型将网页内容转化为可执行程序化包装器，在SWDE测试集上达到94.78%的F1分数和90.39%的复用成功率。
2026-06-16 cs.AI cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制，从Rocchio到相关性模型，已经显示出使用在被检索文档的初始集合（被称为伪相关集合）中出现的信息来扩展和重新加权用户的初始查询的有用性。最近，稠密检索-通过使用神经上下文语言模型，如BERT分析文档和查询的内容，并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引，用于识别文档相关的查询。出现了两种不同的稠密检索家族：对每个段落和查询使用单个嵌入式表示（例如使用BERT的[CLS]令牌），或通过多个表示（例如使用查询和文档的每个令牌的嵌入）。在这项工作中，我们进行了第一次研究的潜力多表示稠密检索，以提高使用伪相关反馈。特别是，基于使用第一遍稠密检索识别的伪相关文档集，我们提取代表性的反馈嵌入（使用KMeans聚类）--同时确保这些嵌入区分段落（基于IDF）--然后将其添加到查询表示中。这些额外的反馈嵌入，以提高效率的重新排序，以及一个额外的稠密检索操作。事实上，在MSMARCO通道排名数据集上的实验表明，通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法，MAP在TREC 2019查询集上可以提高26%，在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
Better than the real thing? Iterative pseudo-query processing using cluster-based language models
我们提出了一种新的方法，伪反馈为基础的特设检索，使用语言模型从文件和集群。首先，我们对待伪反馈文件产生的原始查询作为一组伪查询，本身可以作为输入的检索过程。观察到响应于伪查询返回的文档可以作为后续轮次的伪查询，我们得出了一个基于伪查询的检索作为迭代过程的公式。实验表明，这一想法的几个具体实例，当与旨在提高精度的技术结合应用时，产生的性能结果可以与先前提出的一些算法相媲美，包括标准的语言建模方法。基于聚类的语言模型的使用是我们算法成功的一个关键因素。
2006-01-11 cs.CL cs.IR
The Role of Word-Eye-Fixations for Query Term Prediction
在整个搜索过程中，用户对所检查的SERP和网站的注视可以揭示他或她的搜索兴趣。凝视行为可以用眼动追踪来捕捉，并用词眼注视来描述。词眼注视包含用户在网页的每个单词上的累积注视持续时间。在这项工作中，我们分析了预测查询条件的字眼注视的作用。我们调查了一系列的会话功能，特别是凝视数据，与查询条件和训练模型预测查询条件之间的关系。我们使用的数据集的50个搜索会话通过实验室研究在社会科学领域获得。使用已建立的机器学习模型，即使只有很少的训练数据，我们也可以以极高的准确度预测查询词。特征分析表明，类别固定，查询相关性和会话主题包含我们的任务最有效的功能。
2020-08-05 cs.IR
Semantic Information Retrieval Using Ontology In University Domain
当今的传统搜索引擎几乎不提供与用户的搜索查询相关的基本内容。这是因为用户发出的请求的上下文和语义没有得到充分的分析。因此，这里需要一个语义Web搜索出现。SWS即将进入结合了自然语言处理和人工智能的网络搜索领域。本文所做工作的目的是设计、开发和实现一个面向大学领域的语义搜索引擎-- SIEU（Semantic信息抽取in University Domain）。SIEU使用本体作为信息检索过程的知识库。这不仅仅是一个关键字搜索。它是一个层次以上的谷歌或任何其他搜索引擎检索分析只是关键字。在这里，从语法和语义两方面分析查询。所开发的系统检索的Web结果更相关的用户查询，通过关键字扩展。这里获得的结果将足够准确，以满足用户的要求。由于对查询进行了语义分析，因此准确率将得到提高。该系统对从事网络开发的人员和研究人员具有一定的参考价值。Google搜索结果将重新排名并优化，以提供相关链接。为了排名，已经应用了一种算法，该算法为用户查询获取更合适的结果。
2012-07-24 cs.IR
Fake News Data Collection and Classification: Iterative Query Selection for Opaque Search Engines with Pseudo Relevance Feedback
从在线搜索引擎中检索信息是许多数据采掘任务中的第一步也是最重要的一步。目前网络上可用的大多数搜索引擎，包括所有社交媒体平台，都是支持短关键字查询的黑盒子（也称为不透明）。在这些设置中，自动地和大规模地检索讨论特定新闻项目的所有帖子和评论是一项具有挑战性的任务。在本文中，我们提出了一种方法，用于生成短关键字查询给定的原型文档。所提出的迭代查询选择算法（IQS）与不透明的搜索引擎交互以迭代地改进查询。在Twitter TREC微博2012和TREC-COVID 2019数据集上进行了评估，与最先进的数据集相比，性能优越。IQS被应用于自动收集约70 K真实和虚假新闻条目的大规模假新闻数据集。该数据集可公开用于研究，包括超过2200万个帐户和6100万条Twitter批准格式的推文。我们证明了数据集对于虚假新闻检测任务的有用性，实现了最先进的性能。
2021-02-21 cs.IR
Wild Card Queries for Searching Resources on the Web
我们提出了一个独立于领域的框架，用于搜索和检索自然语言文本源中的事实和关系。在该框架中，文本集合上的抽取任务被表示为一个将文本片段与通配符相结合的查询，查询结果是一元、二元和一般$n$元元组形式的事实集合.我们的查询机制的一个重要意义在于，尽管它既简单又声明性，但它可以应用于广泛的提取任务。然而，查询自然语言文本的一个问题是，用户指定的查询可能无法检索到足够的精确匹配。与可以通过删除某些术语来放松的术语查询（如在搜索引擎中所做的那样）不同，从通配符查询中删除术语而不破坏其含义更具挑战性。此外，任何查询扩展都有可能引入误报。在本文中，我们解决的问题，查询扩展，也分析了一些排名的替代品，以评分的结果，并删除误报。我们进行实验，并报告我们的查询和评分功能的有效性评估。
2009-08-18 cs.DB cs.IR
Using clarification questions to improve software developers' Web search
内容：最近的研究表明，由软件开发人员编写的Web查询在检索相关结果方面不是很成功，与通用Web查询相比，其表现要差得多。到目前为止，大多数方法都使用特定于软件工程的自动化查询重构技术来解决这个问题，这些技术在没有开发人员参与的情况下工作，但受到原始查询内容的限制。换句话说，这些技术自动地改进了现有的查询，但不能贡献新的、以前未提及的概念。目的：在本文中，我们提出了一种技术来指导软件开发人员手动改善自己的Web搜索查询。我们研究了一个会话的方法，以下不成功的查询与澄清的问题，旨在引起额外的查询条件，从而为开发人员提供了一个明确的维度，查询可以改善。研究方法：我们描述了一组澄清问题，来自语料库的软件开发人员的查询和神经的方法来推荐他们的一个新发布的查询。结果如下：我们的评估表明，推荐技术是准确的，预测一个有效的澄清问题的80%的时间，并优于简单的基线，以及最先进的学习排序（LTR）基线。结论：如实验结果所示，所描述的方法是能够推荐适当的澄清问题，软件开发人员和开发人员的样本，从新手到有经验的专业人士认为是有用的。
2022-07-26 cs.IR cs.SE
Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval
本研究将生成式相关反馈扩展到稠密和学习型稀疏检索，结合伪相关反馈信号，在六个基准上提升精确率和召回率约10%，并显著提高召回率。
2023-05-12 cs.IR
Ranking Entities in the Age of Two Webs, an Application to Semantic Snippets
链接开放数据倡议的进展正在产生一个结构更合理的数据网。事实上，一些数据集充当枢纽（例如，DBpedia）连接许多其他数据集。他们还使新的Web服务成为可能，用于纯文本中的实体检测（例如，DBpedia Spotlight），从而允许新的应用程序可以从文档Web和数据Web的组合中受益。为了缓解这些新的应用程序的出现，我们提出了一个查询偏置算法（LDRANK）的排名与相关的文本数据的数据资源的Web。我们的算法结合了链接分析和降维。我们使用众包建立一个公开可用的和可重用的数据集，用于评估网页中检测到的数据资源的Web查询偏向排名。我们表明，在这个数据集上，LDRANK优于最先进的。最后，我们使用这种算法的语义片段的建设，我们评估的有用性与基于众包的方法。
2015-09-15 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话，结合用户认知状态，通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
QA4PRF: A Question Answering based Framework for Pseudo Relevance Feedback
伪相关反馈（PRF）根据检索前的文档自动进行查询扩展，以更好地反映用户的信息需求，从而改善搜索结果。以往的PRF方法主要选择在检索前几位的文档中出现频率高或与原始查询语义相似度高的扩展项。然而，现有的PRF方法几乎没有尝试理解文档的内容，这对于执行有效的查询扩展以揭示用户的信息需求是非常重要的。在本文中，我们提出了一个基于QA的框架称为QA4PRF利用上下文信息的文档中的PRF。在这样一个框架中，我们制定的PRF作为一个QA任务，其中的查询和每个顶部检索的文档在相应的QA系统中的问题和上下文的角色，而目标是找到一些适当的条款，以扩大原始查询，利用上下文信息，这是类似的答案在QA任务。此外，一个基于注意力的指针网络是建立在理解的顶部检索文档的内容，并选择的条款，以代表原始查询更好。我们还表明，将传统的监督学习方法，如LambdaRank，整合PRF信息将进一步提高QA4PRF的性能。在三个真实数据集上的大量实验表明，QA4PRF显著优于最先进的方法。
2021-11-16 cs.IR
Efficient Diversification of Web Search Results
在本文中，我们分析了各种搜索结果多样化的方法的效率。虽然多样化方法的有效性在过去已经被深入研究，但响应时间和可扩展性问题很少被解决。因此，提出了一个统一的框架，研究性能和可行性的结果多样化的解决方案。首先，我们定义了一个新的方法来检测何时，以及如何，查询结果需要多样化。为了这个目的，我们依靠“查询细化”的概念来估计一个查询是模糊的概率。然后，依靠这种新的歧义检测方法，我们部署和比较标准测试集上，三种不同的多样化的方法：IASelect，xQuAD，和OptSelect。虽然前两个是最近的国家的最先进的建议，后者是本文介绍的原始算法。我们使用标准的TREC网络多样化跟踪测试平台来评估我们的方法对竞争对手的效率和有效性。结果表明，OptSelect能够运行两个数量级的速度比其他两个国家的最先进的方法，并获得可比的数字多样化的有效性。
2011-05-21 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索，以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义，这是一项具有挑战性的任务，因为搜索查询的简短和模糊。本文提出了ANCE-PRF，一种新的查询编码器，使用伪相关反馈（PRF），以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器，该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档，并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变，以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明，该编码器能够有效地捕获PRF文档中的相关信息和互补信息，同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出WebFilter框架，通过结合检索过滤机制和基于行为与结果的奖励策略，提升RAG模型的查询质量和检索精度，实验表明其在领域内和领域外基准测试中表现更优。
2026-03-22 cs.IR
An Investigation of Biases in Web Search Engine Query Suggestions
基于调查的研究表明，搜索引擎比社交媒体甚至传统新闻更受信任，尽管虚假信息或诽谤的案例是众所周知的。在这项研究中，我们分析了三个搜索引擎的查询建议功能，看看这些功能是否会引入一些偏见的查询和搜索过程中，可能会损害这种信任。我们通过查询2017年德国联邦大选之前德国联邦议院的政治家的名字来测试我们的方法。本研究提出一个架构来系统地检视及自动分析各大搜索引擎提供的人名查询建议的多样性。为了测试我们的框架，我们收集了来自Google，Bing和DuckDuckGo查询建议API的数据，为期四个月，涉及629个不同的德国政治家名字。对这些建议进行了聚类和统计分析，包括不同的偏见，如性别、党派或年龄，以及建议随时间的稳定性。
2019-12-02 cs.CY cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University（香港浸会大学）；University of Perugia（佩鲁贾大学）
在这项工作中，几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究，并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是，我们专注于基于概念的查询扩展计划，其中，为了有效地提高精度的Web文档检索，以减少用户的浏览时间，主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中，查询扩展的两个关键任务是找到扩展候选，即Web文档域中最接近的概念，并对扩展查询进行适当的排序。我们提出的方法，旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离，PMING距离是一种协作语义接近度度量，即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明，该方法能为用户提供更满意的扩展结果，提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
在信息检索中，基于伪相关反馈的查询扩展是提高检索效率的有效方法.近年来，随着深度学习技术的快速发展，神经文本生成在许多自然语言任务中取得了令人鼓舞的成功。为了充分利用文本生成的优势进行信息检索，本文提出了一种新的方法，有效地将文本生成模型集成到基于PRF的查询扩展中。特别是，我们的方法通过神经文本生成模型生成增强的查询条件的初始查询和伪相关反馈。此外，为了训练生成模型，我们采用了条件生成对抗网（CGANs），提出了PRF-CGAN方法，其中生成器和生成器都以伪相关反馈为条件。我们使用两个基准数据集评估我们的方法在信息检索任务上的性能。实验结果表明，我们的方法取得了相当的性能或优于传统的查询扩展方法的检索和重排序任务。
2021-08-13 cs.AI cs.CL cs.IR
Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search
Baidu Inc.（百度公司）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出融合蒸馏、监督微调、偏好优化与前瞻解码的生成式 QDTS 框架，使 0.1B 模型超越生产基线并实现低延迟大规模部署。
2025-08-28 cs.CL cs.IR
Dimension Projection among Languages based on Pseudo-relevant Documents for Query Translation
University of Tehran（德黑兰大学）
在基于词典的跨语言信息检索中，使用排名靠前的文档响应查询被证明是提高查询翻译质量的有效方法。本文提出了一种基于嵌入向量维度投影的查询翻译方法，该方法将源语言中的伪相关文档映射到目标语言中的等价文档。为此，我们首先学习低维向量的单词在伪相关的集合分开，然后旨在找到一个查询依赖的转换矩阵之间的向量的翻译对出现在集合中。在下一步骤中，每个查询词的表示被投影到目标语言，然后，在使用softmax函数之后，建立依赖于查询的翻译模型。最后，该模型用于查询翻译。我们在法语，西班牙语，德语和意大利语的四个CLEF集合上的实验表明，所提出的方法优于基于双语洗牌的词嵌入基线和更多的竞争基线。所提出的方法达到高达87%的机器翻译（MT）的性能在短的查询和相当大的改进，在冗长的查询。
2016-10-08 cs.AI cs.CL cs.IR
