Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting
University College London（伦敦大学学院）；University of Liverpool（利物浦大学）；Uppsala University（乌普萨拉大学）
本文提出利用大语言模型作为查询重写器，通过精心设计的指令生成信息性查询重写，并采用“先重写后编辑”过程和模型蒸馏降低延迟，在QReCC数据集上显著提升了对话式搜索的检索性能。
2023-10-18 cs.AI cs.CL cs.HC
Seasonal Web Search Query Selection for Influenza-Like Illness (ILI) Estimation
从网络搜索数据中估计流感样疾病（ILI）是一项重要的网络分析任务。其基本思想是在估计当前ILI活动时，使用与过去ILI活动相关的Web搜索日志中的查询频率作为特征。已经注意到，由于流感是季节性的，因此这种方法可能导致与也表现出季节性但与ILI没有关系的特征/查询的虚假相关性。假相关性反过来会降低性能。为了解决这个问题，我们建议建模的季节性变化的ILI活动和选择查询的季节性模型和观测到的ILI信号的残差相关。实验结果表明，重新排名的查询获得谷歌相关的基础上，他们的相关性与残差强烈青睐ILI相关的查询。
2018-02-19 cs.IR
A Supervised Learning Algorithm for Binary Domain Classification of Web Queries using SERPs
通用搜索引擎（SE）爬取所有域（例如，体育、新闻、娱乐），但是有时查询的信息需求被限制到特定的域（例如，医学）。我们利用SE的工作作为我们努力的一部分，将特定领域的查询路由到本地数字图书馆（DL）。SE经常被使用，即使它们不是某些类型查询的“最佳”源。而不是告诉用户“使用这种DL的这种查询”，我们打算自动检测查询时，可以更好地服务于本地DL（如私有的，访问控制的DL，不能通过SE爬取）。这并不是一件容易的事情，因为Web查询很短，模糊不清，并且缺乏高质量的标记训练数据（或者创建它的成本很高）。为了检测应该路由到本地的、专门的DL的查询，我们首先将查询发送到Google，然后检查所得到的搜索引擎结果页面（SERP）中的特征，然后将查询分类为属于学者或非学者域。使用400，000 AOL查询的非学者域和400，000来自NASA技术报告服务器（NTRS）的查询的学者域，我们的分类器实现了0.809的精度和F-测量0.805。
2016-05-03 cs.IR
Learning to Reformulate the Queries on the WEB
幼稚的用户无法制定适当的查询是一个基本的问题，在网络搜索引擎。因此，帮助用户发出更有效的查询是提高用户幸福感的重要途径。一种有效的方法是查询重组，它根据用户发出的当前查询生成新的有效查询。以前的研究通常会生成与原始查询相关的单词和短语。由于查询重构的定义是相当普遍的，这是完全难以开发一个统一的基于术语的方法来解决这个问题。本文使用现成的数据，特别是超过10亿个锚定短语在Cuberweb 09语料库，为了学习一个端到端的编码器-解码器模型，自动生成有效的查询。在序列到序列模型领域的成功研究之后，我们在编码器处采用具有最大池的字符级卷积神经网络，在解码器处采用基于注意力的递归神经网络。整个模型采用无监督的端到端学习方式，在TREC数据集上的实验表明，该方法自动生成的重构查询能够显著提高检索性能。
2019-07-02 cs.IR
IterCQR: Iterative Conversational Query Reformulation with Retrieval Guidance
本文提出IterCQR，利用IR信号作为奖励迭代训练CQR模型，在无需人工改写的情况下生成上下文完备的独立查询，并在多个数据集及低资源、跨数据集泛化场景中取得SOTA效果。
2024-04-08 cs.IR
Product Insights: Analyzing Product Intents in Web Search
网络搜索引擎经常用于访问关于产品的信息。近年来，随着电子商务的日益普及，这种情况有所增加。然而，当涉及到在网络上搜索产品时，对用户搜索什么以及他们的意图的理解有限。在这项工作中，我们研究搜索日志从必应网络搜索引擎来表征用户的意图和研究用户的行为，产品搜索。我们提出了一个分类的产品意图，通过分析产品搜索查询。这是一个具有挑战性的任务，因为只有15%-17%的网络搜索查询是关于产品的。我们使用查询日志特征来训练机器学习分类器，以基于意图对查询进行分类，总体F1得分为78%。我们进一步分析了产品搜索查询的各种特征，如停留时间，成功，流行度和会话特定信息的搜索指标。
2020-05-19 cs.IR
Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出WebFilter框架，通过结合检索过滤机制和基于行为与结果的奖励策略，提升RAG模型的查询质量和检索精度，实验表明其在领域内和领域外基准测试中表现更优。
2026-03-22 cs.IR
Domain-specific queries and Web search personalization: some investigations
主要的搜索引擎部署个性化的Web结果，通过向用户显示与他们兴趣相关的数据来增强用户的体验。即使这一过程可能会给用户带来好处，同时浏览，它也提出了对搜索结果的选择的关注。特别地，用户可能在不知不觉中被搜索引擎困在被称为“过滤气泡”的保护性信息气泡中，这可能具有将用户与不符合其偏好的信息分离的不期望的效果。本文从早期的结果量化的个性化在谷歌搜索查询结果。受以前作品的启发，我们进行了一些实验，包括由一组具有不同准备配置文件的Google帐户执行的搜索查询。匹配查询结果，我们量化的个性化程度，根据主题的查询和帐户的配置文件。这项工作报告的初步结果，这是更广泛的调查，以衡量Web搜索个性化的第一步。
2015-08-17 cs.IR
ReFeed: Retrieval Feedback-Guided Dataset Construction for Style-Aware Query Rewriting
MODULABS；Samsung SDS（三星SDS）；Dable；MIRI D.I.H Co., Ltd.；Lomin
ReFeed通过检索反馈驱动数据集构建，提升查询重写模型对文档风格的感知能力，改进领域特定场景下的检索效果。
2026-03-02 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的，仅使用有限的查询样本。此外，查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询，并根据这个样本比较了谷歌和必应的结果，从而解决了这些问题。陪审员是通过众包找到的，数据是使用专门的软件，相关性评估工具（RAT）收集的。我们发现，虽然Google在这两种查询类型上都优于Bing，但信息查询的性能差异相当小。然而，对于导航查询，Google在95.3%的情况下找到了正确答案，而Bing只找到了76.6%的正确答案。我们的结论是，搜索引擎性能的导航查询是非常重要的，因为在这种情况下，用户可以清楚地识别查询，返回正确的结果。因此，这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Simrank++: Query rewriting through link analysis of the click graph
我们专注于赞助搜索的查询重写问题。我们基于历史点击图进行重写，该图记录了响应过去用户查询而点击的广告。给定查询q，我们首先考虑Simrank作为识别与q类似的查询的方式，即，查询用户可能对哪些广告感兴趣。我们认为，Simrank未能正确识别我们的应用程序中的查询相似性，我们提出了两个增强版本的Simrank：一个利用点击图边缘的权重，另一个利用``证据。我们通过实验评估我们的新方案，使用实际的点击图和来自雅虎的查询，and using运用a variety品种of metrics指标.我们的结果表明，增强的方法可以产生更多，更好的查询重写。
2007-12-04 cs.DB cs.DL cs.IR
Ensemble Learned Vaccination Uptake Prediction using Web Search Queries
我们提出了一种方法，使用集成学习结合临床和网络挖掘的时间序列数据，以预测未来的疫苗接种率。临床数据是官方疫苗接种登记处，网络数据是从Google趋势收集的查询频率。官方疫苗记录的实验表明，我们的方法有效地预测疫苗接种率（4.7均方根误差）。虽然当结合临床和网络数据时性能最佳，但仅使用网络数据会产生比较性能。据我们所知，这是第一项使用网络数据（有和没有临床数据）预测疫苗接种率的研究。
2016-09-02 cs.IR stat.AP
Modeling Perceived Relevance for Tail Queries without Click-Through Data
点击数据在Web搜索中以各种方式使用，例如估计文档和查询之间的相关性。由于只有搜索片段被用户感知之前发出任何点击，点击引起的相关性通常被称为\emph{perceived relevance}，这已被证明是非常有用的Web搜索。虽然有大量的热门查询的点击数据，但很少有信息可用于不受欢迎的尾部查询。这些尾部查询占据了搜索量的很大一部分，但由于数据稀疏（如有限的点击信息），这些查询的搜索准确率通常不能令人满意。在本文中，我们研究的问题，没有点击数据的查询感知相关建模。我们不依赖于用户的点击数据，而是精心设计了一组片段特征，并使用它们来近似地捕获感知的相关性。我们研究了这组片段功能在两种情况下的有效性：（1）预测感知相关性和（2）提高搜索引擎排名。实验结果表明，我们提出的模型是有效的预测Web搜索结果的相对感知相关性。此外，我们提出的片段功能是有效的，以提高搜索准确性的长尾查询没有点击通过数据。
2011-10-05 cs.IR
Open Domain Question Answering Using Web Tables
Microsoft Research（微软研究院）；Microsoft (Bing)（微软（必应））
从Web文档中提取的表可以用于直接回答许多Web搜索查询。先前关于使用web表格的问答（QA）的工作集中于事实式查询，即，那些可以用一个短字符串回答的，比如人名或数字。然而，许多使用表可回答的查询本质上是非事实的。在本文中，我们开发了一个开放域的QA方法，使用Web表格，适用于factoid和非factoid查询。我们的关键见解是将查询和表之间基于深度神经网络的语义相似性与量化表在文档中的主导地位以及表中信息质量的特征相结合。我们对现实生活中的网络搜索查询的实验表明，我们的方法显着优于国家的最先进的基线方法。我们的解决方案已在一家大型商业网络搜索引擎的生产环境中使用，并为每月数千万次真实用户查询提供直接答案。
2020-01-10 cs.IR cs.LG
Large Language Model based Long-tail Query Rewriting in Taobao Search
针对淘宝搜索长尾查询的语义鸿沟与少召回问题，提出 BEQUE 框架，通过多指令 SFT、离线反馈偏序和对比目标对齐训练 LLM 改写查询，显著提升 GMV、#Trans 和 UV 并已上线。
2024-03-04 cs.IR
MiLQ: Benchmarking IR Models for Bilingual Web Search with Mixed Language Queries
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（POSTECH人工智能研究生院）；Department of Computer Science and Engineering, POSTECH, Republic of Korea（POSTECH计算机科学与工程系）；Lilt, Inc.（Lilt公司）
本文提出首个真实且较受偏好的混合语言查询公开基准 MiLQ，评估多语言 IR 模型并揭示其表现不一致，同时验证英语混用可通过增强 token 匹配改善英文文档检索。
2025-10-19 cs.CL cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化（DPO）将排序信号融入查询生成，以生成高质量合成查询，提升下游检索性能，并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
A Simple yet Effective Framework for Active Learning to Rank
本文针对百度搜索中主动学习排序问题，提出结合排序熵（RE）和预测方差（PV）两种互补准则的样本选择框架，在相同标注预算下使LTR模型的DCG4相对提升1.38%。
2023-02-14 cs.IR
Entity-Relationship Search over the Web
实体关系（E-R）搜索是实体搜索的一种复杂情况，其目标是搜索多个未知实体和连接它们的关系。我们假设一个E-R查询可以被分解为一个子查询序列，每个子查询包含与特定实体或关系相关的关键字。我们采用概率公式的E-R搜索问题。当为实体（例如，上下文项）和实体对（即，关系）创建特定表示时，可以创建子查询与实体加关系表示之间的概率依赖关系的图。据我们所知，这是E-R搜索的第一个概率模型。我们提出并开发了一种新的监督早期融合的E-R搜索模型，可靠性关系依赖模型（ERDM）。它使用马尔可夫随机场模型的E-R子查询和实体/关系文档的术语依赖。我们进行了实验，超过800万的实体和关系的提取，从CCESSWeb-09-B与FACC 1实体链接。我们使用3个不同的查询集合，包括469个E-R查询，获得了有希望的结果，结果表明，它是可以执行E-R搜索，而不使用固定和预定义的实体和关系类型，使广泛的查询被解决。
2018-10-08 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题，提出融合点击反馈的网页摘要框架CPS-MEBR，结合句子级语义交互生成多嵌入，提升检索质量。
2023-05-07 cs.IR
Not All Queries Need Rewriting: When Prompt-Only LLM Refinement Helps and Hurts Dense Retrieval
Adobe（Adobe公司）
本文研究了仅提示的LLM查询重写对密集检索的影响，发现其效果高度依赖领域，通过实验发现重写在不同数据集上产生不同效果，并指出领域适应性后训练比单纯重写更安全。
2026-03-02 cs.AI cs.IR cs.LG
Identifying Aspects for Web-Search Queries
许多网络搜索查询是探索未知信息空间的开始，而不是寻找特定的网页。为了有效地回答这些查询，搜索引擎应该尝试以便于探索的方式组织相关信息的空间。我们描述的Aspector系统，计算方面为一个给定的查询。每个方面是一组搜索查询，这些搜索查询一起表示与原始搜索查询相关的不同信息需求。作为探索空间的有效手段，Aspector计算彼此正交并具有高组合覆盖率的方面。Aspector结合两个信息源来计算方面。我们通过分析查询日志发现候选方面，并将它们聚类以消除冗余。然后，我们使用大规模协作知识库（例如，Wikipedia）来计算不太频繁出现的查询的候选方面，并将可能“语义”相关的方面分组在一起。我们提出了一个用户的研究表明，我们计算的方面被评为有利的三个竞争的替代品-相关搜索提出的谷歌，集群标签分配的集群搜索引擎，并提出了必应导航搜索。
2014-01-16 cs.DB cs.IR
Analyzing Web Search Behavior for Software Engineering Tasks
Web搜索起着不可或缺的作用，在软件工程（SE），以帮助各种任务，如查找文档，调试，安装等，在这项工作中，我们提出了第一个大规模的分析，搜索行为的SE任务使用的搜索查询日志必应，商业网络搜索引擎。首先，我们使用远程监督技术来构建一个机器学习分类器，以提取F1得分为93%的SE搜索查询。然后，我们对一百万个搜索会话进行分析，以了解软件工程相关的查询和会话与其他查询和会话的不同之处。随后，我们提出了一个分类的意图，以确定在软件工程中使用Web搜索的各种情况。最后，我们分析了数百万个SE查询，以了解这些SE搜索意图的分布，搜索指标和趋势。我们的分析表明，SE相关的查询构成了整体网络搜索流量的重要组成部分。此外，我们发现，有六个主要的意图类别，其中网络搜索是用于软件工程。这些技术和见解不仅可以帮助改进现有工具，还可以激发新工具的开发，帮助为SE相关任务查找信息。
2020-08-29 cs.IR cs.SE
On the Applicability of Delicious for Temporal Search on Web Archives
Web档案是存储过去的网页的大型纵向集合，这些网页可能在当前的实时Web上丢失。因此，对这些集合的时间搜索对于寻找突出的缺失网页和历史分析等任务至关重要。然而，这一直是具有挑战性的，由于缺乏流行的信息和适当的地面真相，以评估时间检索模型。在本文中，我们调查的适用性外部纵向资源，以确定重要的和流行的网站在过去和分析的社会书签服务美味。Delicious上带有时间戳的书签提供了关于过去流行时间段的明确线索以及相关描述符。对于给定的时态查询，这些对于识别过去的重要文档是有价值的。纯粹关注召回，我们分析了超过12，000个查询，发现使用Delicious产生的平均召回值从46%到100%，当我们将自己限制在考虑的数据集中最好的代表查询时。这构成了一个有吸引力的和低开销的方法，快速访问到Web档案，而不处理实际的内容。
2017-02-03 cs.IR
M3A: Model, MetaModel, and Anomaly Detection in Web Searches
“爱丽丝”每五分钟提交一次网络搜索，连续三个小时-这正常吗？如何检测Alice和其他用户之间的异常搜索行为？在Alice（或其他用户）的搜索行为中是否有任何明显的模式？我们研究了可能是最大的、公开可用的查询日志，其中包含来自60万用户的3000多万个查询。在本文中，我们提出了一种新的，用户和组级的框架，M3 A：模型，元模型和异常检测。对于每个用户，我们发现并解释了一个令人惊讶的，双模态模式的到达时间间隔（IAT）的登陆查询（用户点击查询）。具体来说，骆驼日志模型提出来描述这样的IAT分布，然后我们注意到在组水平上的参数之间的相关性。因此，我们进一步提出了元模型Meta-Click，捕捉和解释的二维，重尾分布的参数。结合Camel-Log和Meta-Click，提出的M3 A具有以下优点：（1）边缘IAT分布的精确建模，（2）定量解释，（3）异常检测。
2016-06-20 cs.IR
Bootstrapped Grouping of Results to Ambiguous Person Name Queries
当今搜索引擎的一些主要排名功能反映了结果的受欢迎程度，并基于排名模型，如PageRank，隐式反馈聚合等。虽然这些功能可以为大范围的查询提供令人满意的结果，但它们加剧了搜索模糊实体的问题：只有当我们正在寻找的人由高排名的网页表示并且所有必需的信息都包含在该页面中时，搜索一个人才会产生令人满意的结果。否则，用户必须重新制定/细化查询或手动检查低排名结果以找到有问题的人。解决这个问题的一种可能的方法是对结果进行聚类，使得每个聚类代表答案集中出现的一个人。然而，聚类搜索结果已被证明是一个困难的努力本身，其中集群通常是中等质量。大量关于人的有用信息出现在Web 2.0平台上，如LinkedIn、维基百科、Facebook等。我们发现，当搜索模糊的人名时，可以根据出现在其中的个人对来自这些平台的信息进行引导以分组结果。我们已经评估了我们的方法在一个手工标记的数据集上，这个数据集包含了大约5,000个网页，这些网页是从谷歌查询中检索到的，涉及50个模糊的人名。
2013-12-06 cs.IR
Social Network Analysis of yahoo web-search engine query logs
Web现在是无可争议的信息仓库。它现在可以为现代问题提供大部分答案。搜索引擎做了一个伟大的工作，结合和排名的最佳结果时，用户试图搜索任何特定的信息。然而，正如我们所知，“能力越大，责任越大”，数据分析师要找到与查询最相关的信息并不是一件容易的事情。一个主要的挑战是，网络搜索引擎面临的困难，认识到用户的具体搜索兴趣，他的初始查询。在这个项目中，我们尝试从Web搜索引擎的查询日志中构建查询网络，其中节点表示查询，边表示查询之间的语义相关性。
2017-05-02 cs.IR cs.SI
Using Web Page Titles to Rediscover Lost Web Pages
标题由网页中的TITLE元素表示。我们在Yahoo搜索引擎上查询了标题，以确定页面的状态（找到，未找到）。我们根据标题的元素进行了几次测试。这些测试用于辨别我们是否可以根据标题预测页面状态。我们的研究结果提高了我们确定坏标题的能力，但没有提高我们确定好标题的能力。
2010-02-11 cs.IR
WebRec: Enhancing LLM-based Recommendations with Attention-guided RAG from Web
针对现有基于RAG的推荐系统未充分利用网络资源的问题，提出WebRec框架，通过LLM生成适配的检索查询、设计MP-Head模块增强分散相关信息的注意力，有效提升了推荐效果。
2025-11-18 cs.IR
Event-centric Query Suggestion for Online News
查询建议是指向搜索引擎用户建议相关和相关查询以帮助查询形成过程并以最小的努力量加速信息检索的任务。它在搜索需求不被很好理解的情况下非常有用，因此它已被搜索引擎广泛采用，以指导用户的搜索活动。对于新闻网站，用户查询具有内在的时间敏感性。当某个新事件发生时，与该事件相关的查询会突然爆发，并且这种查询会持续一段时间，然后随着该事件逐渐消失。除了在新闻网站上发出的搜索查询的这种时间方面之外，它们还具有另外的独特质量，即，大多数时候，它们旨在获得与事件相关的信息。生成查询建议的现有工作涉及分析查询日志以建议与用户的搜索意图相关的查询。但是在新闻网站的情况下，当与特定事件相关的信息突然爆发时，没有足够的搜索查询被其他用户触发，这导致缺乏点击数据，并且因此给出与一些旧事件相关的查询建议，甚至完全给出一些不相关的建议。在线新闻的上下文中的查询日志的另一个问题是，它们大多包含与流行事件相关的查询，因此无法捕获不太流行的事件或被一些其他更轰动的事件所掩盖的事件。我们提出了一种新的方法来生成以事件为中心的查询建议，使用新闻媒体发布的新闻文章的元数据。我们比较了我们提出的框架与现有的最先进的查询建议机制提供的谷歌新闻，Bing新闻，谷歌搜索和Bing搜索的各种参数。
2022-01-12 cs.IR
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University（韩国大学）；KAIST AI（韩国科学技术院人工智能研究中心）；Seoul National University（首尔国立大学）；AIGEN Sciences（AIGEN科学）
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题，提出RetPO框架，通过构建含41万+重写反馈的RF collection数据集微调小模型，实现与检索器偏好对齐，性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Using clarification questions to improve software developers' Web search
内容：最近的研究表明，由软件开发人员编写的Web查询在检索相关结果方面不是很成功，与通用Web查询相比，其表现要差得多。到目前为止，大多数方法都使用特定于软件工程的自动化查询重构技术来解决这个问题，这些技术在没有开发人员参与的情况下工作，但受到原始查询内容的限制。换句话说，这些技术自动地改进了现有的查询，但不能贡献新的、以前未提及的概念。目的：在本文中，我们提出了一种技术来指导软件开发人员手动改善自己的Web搜索查询。我们研究了一个会话的方法，以下不成功的查询与澄清的问题，旨在引起额外的查询条件，从而为开发人员提供了一个明确的维度，查询可以改善。研究方法：我们描述了一组澄清问题，来自语料库的软件开发人员的查询和神经的方法来推荐他们的一个新发布的查询。结果如下：我们的评估表明，推荐技术是准确的，预测一个有效的澄清问题的80%的时间，并优于简单的基线，以及最先进的学习排序（LTR）基线。结论：如实验结果所示，所描述的方法是能够推荐适当的澄清问题，软件开发人员和开发人员的样本，从新手到有经验的专业人士认为是有用的。
2022-07-26 cs.IR cs.SE
Predicting antimicrobial drug consumption using web search data
抗生素等抗微生物药物的消费与抗微生物药物耐药性有关。因此，对抗菌药物消费的监测是应对抗菌药物耐药性的一个重要因素。许多国家缺乏足够的监测系统。因此，使用网络挖掘数据有可能改善目前的监测方法。为此，我们研究如何以及抗菌药物的消费可以预测基于网络搜索查询，抗菌药物的历史购买数据相比。我们提出了两个预测模型（线性弹性网络和非线性高斯过程），我们训练和评估近6年的每周抗菌药物消费数据来自丹麦和谷歌健康趋势的网络搜索数据。我们提出了一种新的方法来选择网络搜索查询，考虑疾病和药物链接到抗菌药物，以及专业和外行的抗菌药物的描述，所有这些都是我们从开放的网络挖掘。我们发现，基于网络搜索数据的预测稍微错误一些，但总体上与基于抗菌药物购买的预测相当。该边际差异对应于每周使用中的$<1$ \%点平均绝对误差。最好的预测报告时，结合网络搜索和购买数据。这项研究为预测（并因此监测）抗菌药物消费的现实问题提供了一种新的替代解决方案，这在缺乏集中和及时监测系统的国家/地区特别有价值。
2018-03-09 cs.IR
Time-Series Adaptive Estimation of Vaccination Uptake Using Web Search Queries
估计疫苗接种率是确保公共卫生的一个组成部分。最近的研究表明，疫苗接种率可以从网络数据中自动估计，而不是缓慢收集的临床记录或人口调查。这一领域的所有先前工作都假设从网络收集的疫苗接种吸收的特征是时间规律的。我们提出了有史以来第一个从疫苗接种率估计中去除这一假设的方法：我们的方法动态地适应用于估计疫苗接种率的时间序列网络数据的时间波动。我们展示了我们的方法，与不仅使用网络数据而且使用策划的临床数据的竞争基线相比，它的表现优于最先进的技术。对于因媒体负面关注（HPV-1和HPV-2）、疫苗供应问题（DiTeKiPol）和针对12岁儿童（与年幼儿童相比，其疫苗接种更不规则）而导致接种不规则的疫苗，这种性能改善更为明显。
2017-02-23 cs.IR q-bio.QM stat.AP
Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems
Perplexity AI（Perplexity AI公司）
Q2D-Web是一个大规模智能体检索基准，含1.9亿文档和7万查询，提供三组相关性判定，评估13种检索器，并验证子语料库采样可近似全语料库评估。
2026-09-29 cs.CL cs.IR
TableQnA: Answering List Intent Queries With Web Tables
Microsoft（微软）；Microsoft Research（微软研究院）；Amazon（亚马逊）
Web包含大量HTML表格。它们可用于为许多Web查询提供直接答案。我们专注于用这些表回答两类查询：那些寻找实体列表的查询（例如，“加利福尼亚州的城市”）和那些寻求最高级实体的实体（例如，“加州最大的城市”。主要的挑战是在大范围内实现高精度。现有方法训练机器学习模型以从候选者中选择答案;它们依赖于查询与表的内容之间的文本匹配特征以及捕获表质量/重要性的特征。单靠这些特征不足以实现上述目标。我们的主要见解是，我们可以通过以下方式提高精度：（i）首先从上述查询类的查询中提取意图（结构化信息），然后在提取的意图和候选项之间执行结构感知匹配（而不仅仅是文本匹配）以选择答案。我们将（i）建模为序列标记任务。我们利用最先进的深度神经网络模型和词嵌入。该模型需要大规模的训练数据，这是昂贵的，通过手动标记获得，因此，我们开发了一种新的方法来自动生成的训练数据。对于（ii），我们开发了新的功能来计算结构感知匹配并训练机器学习模型。我们对现实生活中的Web搜索查询的实验表明，（i）与基线方法相比，我们的列表和最高级意图查询的意图提取器具有显着更高的精度和覆盖率，（ii）我们的表答案选择器显着优于最先进的基线方法。自2016年以来，该技术已被微软的Bing搜索引擎用于生产。
2020-01-10 cs.IR cs.LG stat.ML
Improving Neural Retrieval with Attribution-Guided Query Rewriting
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS 5505 机构，图卢兹大学）；IRIT, UMR5505 CNRS UT2J, Université de Toulouse（IRIT，CNRS 5505 机构，图卢兹大学）
本文提出归因引导的查询重写方法，通过标记级解释指导LLM澄清模糊查询，提升神经检索效果。
2026-02-12 cs.AI cs.IR cs.LG
Wild Card Queries for Searching Resources on the Web
我们提出了一个独立于领域的框架，用于搜索和检索自然语言文本源中的事实和关系。在该框架中，文本集合上的抽取任务被表示为一个将文本片段与通配符相结合的查询，查询结果是一元、二元和一般$n$元元组形式的事实集合.我们的查询机制的一个重要意义在于，尽管它既简单又声明性，但它可以应用于广泛的提取任务。然而，查询自然语言文本的一个问题是，用户指定的查询可能无法检索到足够的精确匹配。与可以通过删除某些术语来放松的术语查询（如在搜索引擎中所做的那样）不同，从通配符查询中删除术语而不破坏其含义更具挑战性。此外，任何查询扩展都有可能引入误报。在本文中，我们解决的问题，查询扩展，也分析了一些排名的替代品，以评分的结果，并删除误报。我们进行实验，并报告我们的查询和评分功能的有效性评估。
2009-08-18 cs.DB cs.IR
Web Similarity in Sets of Search Terms using Database Queries
Drexel University（德雷塞尔大学）；CWI（荷兰国家数学与计算机科学研究中心）；University of Amsterdam（阿姆斯特丹大学）
归一化网络距离（NWD）是基于万维网或另一个大型电子数据库（例如维基百科）和返回可靠的聚合页面计数的搜索引擎的相似性或归一化语义距离。对于搜索词的集合，NWD给出了从0（相同）到1（完全不同）的尺度上的共同相似性（共同语义）。NWD根据所有（上半）可计算属性近似集合成员的相似性。我们开发的理论，并给出应用程序的分类使用亚马逊，维基百科，和NCBI网站从美国国立卫生研究院。最后一个给出了健康危害之间的新的相关性。NWD对两个的集合的限制产生较早的归一化谷歌距离（NGD），但是集合中的对的NGD的组合不能提取NWD从集合中提取的信息。NWD使一种新的上下文（不同的数据库）学习方法基于Kolmogorov复杂性理论，结合这些数据库的知识。
2020-07-23 cs.CL cs.CV cs.IR
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh（爱丁堡大学）；Baidu Inc.（百度公司）
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量，我们（1）通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性，以及（2）删除语义上与开发和测试查询相似的训练查询。此外，我们还提供了两个用于跨域评估的域外测试集，以及一组用于跨语言检索评估的人工翻译查询。实验结果表明，DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决，如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明，密集检索器不能很好地推广跨领域，跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
Blending Queries and Conversations: Understanding Tactics, Trust, Verification, and System Choice in Web Search and Chat Interactions
本文通过一项用户研究（N=22）探究了用户在结合Web Search与Generative AI-Chat界面上的行为与信任机制，发现GenAI并非搜索万灵药，且用户常因偏好易用性而错置信任，导致结果错误但搜索后信心增加。
2025-04-07 cs.HC cs.IR
DeepMMSearch-R1: Empowering Multimodal LLMs in Multimodal Web Search
Johns Hopkins University（约翰霍普金斯大学）；Apple（苹果公司）
提出DeepMMSearch-R1，首个支持按需多轮搜索的多模态大模型，通过两阶段训练和VQA数据集，实现图像与文本查询的动态构造与自我修正，提升搜索效率与效果。
2025-10-14 cs.CV cs.IR
User Intent Inference for Web Search and Conversational Agents
Emory University（埃默里大学）
用户意图理解是设计会话代理和搜索引擎的关键步骤。检测或推断用户意图是具有挑战性的，因为用户话语或查询可能是简短的、模糊的并且依赖于上下文。针对这些研究挑战，本文的研究工作主要集中在：1）会话主体的话语主题和意图分类; 2）Web搜索引擎的查询意图挖掘和分类，主要针对电子商务领域。为了解决第一个问题，我提出了新的模型，将实体信息和会话上下文线索，以预测用户的话语的主题和意图。对于第二个研究主题，我计划将现有的Web搜索意图预测方法扩展到电子商务领域，通过：1）开发一个联合学习模型来预测搜索查询的意图和与之相关的产品类别，2）发现新的隐藏用户的意图。所有的模型都将在一个主要的电子商务网站搜索引擎的真实查询上进行评估。来自这些研究的结果可以被利用来提高各种任务的性能，诸如自然语言理解、查询范围确定、查询建议和排名，从而产生丰富的用户体验。
2020-07-08 cs.CL cs.IR
Web-Based Question Answering: A Decision-Making Perspective
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们描述了一个调查的概率模型和成本效益分析，以指导资源密集型的基于Web的问答系统使用的程序。首先，我们提供了一个综述问答系统的研究。然后，我们详细介绍了AskMSR，一个基于Web的问答系统的原型。我们讨论了贝叶斯分析的系统生成的答案的质量，并显示我们如何可以赋予系统的能力，作出决定的数量的查询发出的搜索引擎，查询的成本和预期值的查询结果，在精炼的最终答案。最后，我们回顾了一组实验的结果。
2012-10-19 cs.CL cs.IR
Much of Geospatial Web Search Is Beyond Traditional GIS
SpaceTimeLab（空间时间实验室）；Department of Civil, Environmental, and Geomatic Engineering（土木、环境与测绘工程系）；UCL（伦敦大学学院）
通过密集句子嵌入、SetFit分类器和密度聚类，在MS MARCO语料库中发现18%的查询具有地理空间性质，并构建了88类分类体系，揭示地理搜索以事务性和实用性查询为主，多数超出传统GIS和知识图谱范围。
2026-05-29 cs.AI cs.CL cs.HC
On the Merging of Domain-Specific Heterogeneous Ontologies using Wordnet and Web Pattern-based Queries
Faculty of Information Technology（信息技术学院）；Faculty of Computer Science（计算机科学学院）；Monash University（莫纳什大学）；University of Lyon（里昂大学）
本体构成了各种计算机科学学科的基本兴趣，如语义网，信息检索，数据库设计等，它们旨在提供一个正式的，明确的和共享的概念化和不同社区之间的共同领域的理解。此外，它们允许明确定义特定领域的概念及其约束。然而，本体开发的分布式特性和本体工程师观点的差异导致了本体之间的“语义异构性”。语义异构性是实现本体间互操作性的主要障碍。为了克服这一障碍，我们提出了一个多用途的框架，利用WordNet通用知识库：i）发现和纠正不正确的语义关系的概念之间的本体在一个特定的领域。该步骤是本体合并的一个基本步骤。ii）通过计算概念之间的语义关系来合并特定领域的本体。㈢通过在网上获取统计资料，处理WordNet中缺少概念的问题。4.用这些缺失的概念丰富WordNet。一个实验性的框架实例和比较国家的最先进的语法和语义为基础的系统验证我们的建议。
2020-04-30 cs.AI cs.CL cs.IR
Detecting Elevated Air Pollution Levels by Monitoring Web Search Queries: Deep Learning-Based Time Series Forecasting
Emory University（埃默里大学）；Pomona College（波莫纳学院）；Rollins School of Public Health（罗林斯公共卫生学院）
实时空气污染监测是公共卫生和环境监测的重要工具。近年来，使用人工神经网络（ANN）进行空气污染预测和监测的研究急剧增加。大多数先前的工作依赖于从地面监测器和气象数据收集的污染物浓度建模，用于长期预测室外臭氧，氮氧化物和PM2.5。由于传统的、高度复杂的空气质量监测器价格昂贵，而且不能普遍使用，这些模型不能充分服务于那些不住在污染物监测点附近的人。此外，由于先前的模型是建立在从传感器收集的物理测量数据上的，它们可能不适合预测污染暴露对公众健康的影响。本研究的目的是开发和验证模型，使用网络搜索数据，这是公开的近实时的主要搜索引擎的观测污染水平进行临近预报。我们使用传统的监督分类方法和最先进的深度学习方法开发了基于机器学习的新型模型，通过使用普遍可用的气象数据和来自Google Trends的基于Web的搜索量数据来检测美国城市级别的空气污染水平。我们通过预测2017年和2018年美国10个主要大都市统计区（MSA）的三种关键空气污染物（臭氧（O3），二氧化氮（NO2）和细颗粒物（PM2.5））来验证这些方法的性能。
2022-11-09 cs.IR cs.LG
Studying Ransomware Attacks Using Web Search Logs
网络攻击越来越普遍，对个人、企业甚至国家造成重大损害。特别是，勒索软件攻击在过去十年中大幅增长。我们做了第一个研究，挖掘洞察勒索软件攻击通过分析必应网络搜索引擎的查询日志。我们首先提取勒索软件相关的查询，然后构建一个机器学习模型来识别用户寻求勒索软件攻击支持的查询。我们发现用户搜索行为和特征与勒索软件攻击相关。我们还分析了时间和地理空间的趋势，并根据公开信息验证了我们的发现。最后，我们对流行的勒索软件“Nemty”进行了案例研究，以表明通过查询日志分析可以获得有关网络攻击的准确见解。
2020-05-23 cs.CR cs.IR
Topical Result Caching in Web Search Engines
在信息检索系统中采用缓存搜索结果来加快查询处理并减少后端服务器的工作量。出于观察，属于不同的主题有不同的时间-局部性模式的查询，我们研究了一种新的缓存模型称为STD（静态主题动态缓存）。它改进了传统的静态-动态缓存（SDC），在一个静态缓存中存储流行的查询的结果，并管理动态缓存的替换策略，拦截查询流中的时间变化。我们提出的缓存方案包括用于基于主题的缓存的另一层，其中条目被分配给不同的主题（例如，天气，教育）。以主题为特征的查询的结果被保存在专用于它的高速缓存的部分中。这允许使高速缓存空间利用率适应各种主题的时间局部性，并减少由于那些既不足够流行以在静态部分中也不在短时间间隔内被请求以在动态部分中的查询而导致的高速缓存未命中。我们模拟不同的配置STD使用两个现实世界的查询流。实验表明，我们的方法优于SDC的增加高达3%的命中率，和高达36%的差距减少w.r.t.从理论上讲SDC是最优缓存算法.
2020-01-09 cs.DB cs.IR
A Hindi Speech Actuated Computer Interface for Web Search
Visvodaya Technical Academy（维斯沃达亚技术学院）
为了提高系统的简单性和灵活性，通过简化耳机和用户友好的软件设计，开发了一个基于音频诱发的系统。本文介绍了一种用于网络搜索的印地语语音驱动计算机接口（HSACIWS），它接受印地语的口头查询，并在屏幕上提供搜索结果。该系统通过大词汇量连续语音识别（LVCSR）识别语音查询，通过文本检索检索相关文档，并通过Web和语音系统的集成在Web上提供搜索结果。在这个系统中的LVCSR表现出足够的性能水平的语音与声学和语言模型来自查询语料库的目标内容。
2012-11-12 cs.CL cs.HC cs.IR
A Survey on Visual Query Systems in the Web Era (extended version)
随着越来越多的数据集合在网络上对每个人都可用，非专家用户需要简单的方法来从这些集合中检索数据。一种解决方案是所谓的可视化查询系统（VQS），其中查询被可视化地表示，并且用户不必理解诸如SQL或XQuery之类的查询语言。1996年，Catarci的一篇论文回顾了直到那一年可用的可视化查询系统。在本文中，我们回顾VQS从1997年到现在，并试图确定他们是否已经为非专家用户的解决方案。简单的回答是否定的，因为实际上很少有系统被用于实际环境或作为商业工具。我们还收集了VQS的基本特征，例如用于呈现感兴趣的现实的视觉表示或用于表达查询的视觉表示。
2017-08-01 cs.DB cs.IR
Generic Intent Representation in Web Search
Microsoft AI & Research（微软人工智能与研究院）
本文提出了一种通用的意图编码器（GEN编码器），它学习一个分布式的表示空间的用户意图在搜索。利用Bing搜索日志中的大规模用户点击作为对用户意图的弱监督，GEN Encoder学会将具有共享点击的查询映射到类似的端到端嵌入，然后对多个释义任务进行微调。一个内在的评估任务的实验结果-查询意图相似性建模-证明GEN编码器的强大和显着的优势，比以前的表示方法。消融研究揭示了从内隐用户反馈中学习在表征用户意图中的关键作用，以及多任务学习在表征一般性中的贡献。我们还证明了GEN Encoder通过使用有效的近似最近邻搜索来有效地识别具有相同搜索意图的先前查询，从而提高了尾部搜索流量的稀疏性，并减少了一半的未见过查询。最后，我们证明了GEN编码之间的距离反映了搜索会话中的某些信息寻求行为。
2019-07-24 cs.CL cs.IR
Mining User Queries with Information Extraction Methods and Linked Data
目的：高级使用Web Analytics工具可以捕获用户查询的内容。尽管它们具有相关性，但对大量用户查询的手动分析是有问题的。本文展示了使用信息抽取技术和关联数据的潜力，以收集更好地了解用户查询的性质，在一个自动化的方式。设计/方法/办法：本文介绍了在比利时皇家图书馆进行的一项大规模案例研究，其中包括历史报纸平台BelgicaPress在12个月内访问29812次的83854次查询的数据集。通过利用信息抽取方法、知识库和各种权威文件，本文提出了确定有多少百分比的最终用户正在寻找人名和地名的可能性和限制。研究结果：基于定量评估，我们的方法可以成功地确定大多数人和地名从用户查询。由于用户查询的具体性质和所使用的知识库的性质，有限数量的查询仍然过于模糊，无法以自动化方式处理。创意/价值：本文以实证的方式证明了从Web Analytics工具中提取的用户查询中获得更多见解的可能性和限制，并借助信息抽取工具和知识库进行分析。所使用的方法和工具是通用的，可以被其他收藏家重复使用。
2017-09-22 cs.DL cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题，提出一种生成式半监督预训练排序模型GS2P，通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
