Novel Approaches to Accelerating the Convergence Rate of Markov Decision Process for Search Result Diversification
最近，一些研究已经利用马尔可夫决策过程多样化（MDP-DIV）的搜索结果在信息检索。虽然MDP-DIV可以提供有前途的性能，但其收敛速度非常慢，这阻碍了其在实际应用中的可用性。在本文中，我们的目标是提高性能的MDP-DIV加快收敛速度，而不牺牲太多的精度。收敛速度慢的原因主要有两个：行动空间大和数据稀缺。一方面，每个位置的顺序决策都需要对所有候选集进行查询-文档相关性评估，这给MDP带来了巨大的搜索空间;另一方面，由于数据的稀缺性，Agent不得不与环境进行更多的“试错”交互。为了解决这个问题，我们提出了MDP-DIV-kNN和MDP-DIV-NTN方法。MDP-DIV-kNN方法采用$k$最近邻策略，丢弃最近选择的动作（文档）的$k$最近邻居，以减小多样化搜索空间。MDP-DIV-NTN采用预训练的多样化神经张量网络（NTN-DIV）作为评估模型，并将结果与MDP相结合，以产生最终的排名解决方案。实验结果表明，这两种方法确实加快了MDP-DIV的收敛速度，快了3倍，而产生的精度几乎没有下降，甚至更好。
2018-02-23 cs.IR
IntenT5: Search Result Diversification using Causal Language Models
搜索结果多样化是克服不明确查询（例如那些模糊或多方面的查询）的有益方法。现有的方法通常依赖于大量的查询日志和交互数据来生成各种可能的查询意图，然后可以使用这些查询意图来重新排序文档。然而，依赖用户交互数据是有问题的，因为首先需要大量的用户基础来构建足够的日志;公共查询日志本身是不够的。鉴于最近成功的因果语言模型（如文本到文本Transformer（T5）模型）在文本生成任务，我们探讨这些模型的能力，以产生潜在的查询意图。我们发现，鼓励多样性生成的查询，这是有益的，以适应模型，包括一个新的分布式因果语言建模（DCLM）的目标在微调和推理过程中的表示替换。在六个标准评估基准中，我们发现我们的方法（我们称之为Intent 5）提高了搜索结果的多样性，并达到（有时超过）基于专有查询日志使用查询建议时获得的多样性。我们的分析表明，我们的方法是最有效的多方面的查询，并能够有效地推广到查询中看不到的训练数据。
2021-08-09 cs.IR
MA4DIV: Multi-Agent Reinforcement Learning for Search Result Diversification
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）
本文提出MA4DIV，将搜索结果多样化建模为多智能体协作强化学习问题，直接优化多样性指标，在TREC和工业数据集上取得显著效果与效率提升。
2025-02-06 cs.AI cs.IR
Diversification as Risk Minimization
针对模糊查询中少数意图被忽视的问题，提出将多样化视为风险最小化，通过VRisk度量并利用VRisker贪心重排序器优化，在三个数据集上最多降低33%最坏意图失败率，仅牺牲2%平均性能。
2025-10-26 cs.IR
Representation Online Matters: Practical End-to-End Diversification in Search and Recommender Systems
Pinterest, Inc.（Pinterest公司）
本文提出端到端多样化机制，在 Pinterest 搜索与推荐系统中通过分桶检索和行列式点过程多目标优化，在改善肤色表征的同时平衡多样性与效用。
2023-05-26 cs.CY cs.IR cs.LG
Nearest neighbor search plays a fundamental role in many disciplines such as multimedia information retrieval, data-mining, and machine learning. The graph-based search approaches show superior performance over other types of approaches in recent studies. In this paper, the graph-based NN search is revisited. We optimize two key components in the approach, namely the search procedure and the graph that supports the search. For the graph construction, a two-stage graph diversification scheme is proposed, which makes a good trade-off between the efficiency and reachability for the search procedu…
2022-04-02 cs.IR
Web-page Prediction for Domain Specific Web-search using Boolean Bit Mask
搜索引擎是一种网页检索工具。如今，网络搜索者使用高效的搜索引擎来利用他们的时间。为了提高搜索引擎的性能，我们引入了一种独特的机制，它将为Web搜索者提供更突出的搜索结果。在本文中，我们将讨论一个特定领域的Web搜索原型，它将产生预测的网页列表，用户给定的搜索字符串使用布尔位掩码。
2012-06-25 cs.IR
Graph-Based Vector Search: An Experimental Evaluation of the State-of-the-Art
本文针对内存中基于图的向量搜索方法，梳理发展脉络并按五大设计范式分类，在七个最大规模达10亿向量的真实数据集上评估12种前沿方法，得出相关洞见并指出未来研究方向。
2025-09-05 cs.IR cs.PF
Resource Selection for Federated Search on the Web
长期以来，一直没有一个反映真实网络环境的联邦搜索公开数据集，这使得研究人员很难测试他们的联邦搜索算法在网络环境中的有效性。我们提出了几个实验和分析资源选择在网络上使用最近发布的测试集合，包含从100多个真正的搜索引擎的结果，从大型通用网络搜索引擎，如谷歌，必应和雅虎小型特定领域的引擎。首先，我们尝试使用基于查询的采样来估计网络上不合作的搜索引擎的大小，并提出了一种使用CNOW Web09数据集的新方法。我们发现规模估计是非常有效的资源选择。第二，我们表明，一个优化的联邦搜索系统的基础上较小的网络搜索引擎可以替代系统使用大型网络搜索引擎。第三，我们提供了几个流行的资源选择方法的实证比较，发现这些方法是不容易适合在网络上的资源选择。挑战包括稀疏的资源描述和集合的大小极度倾斜。
2016-09-15 cs.IR
A Domain Specific Ontology Based Semantic Web Search Engine
自20世纪90年代出现以来，万维网（WWW）迅速发展成为一个巨大的全球信息矿，并且每天都在增长。Web上存在大量的资源，因此提出了一个严重的问题，准确的搜索。这主要是因为今天的Web是一个人类可读的Web，其中的信息不能被机器轻松处理。高度复杂的，高效的基于关键字的搜索引擎已经发展到今天还没有能够弥合这一差距。因此，提出了语义网的概念，这是由蒂姆·伯纳斯-李设想的机器可解释信息的网络，使机器可处理的形式来表达信息。基于语义Web技术，本文介绍了一个语义Web搜索引擎的设计方法和开发过程，该搜索引擎为特定领域的搜索提供准确的搜索结果。这个搜索引擎是为一个农业网站开发的，该网站提供有关西孟加拉邦的农业信息。
2011-02-03 cs.IR
Product Insights: Analyzing Product Intents in Web Search
网络搜索引擎经常用于访问关于产品的信息。近年来，随着电子商务的日益普及，这种情况有所增加。然而，当涉及到在网络上搜索产品时，对用户搜索什么以及他们的意图的理解有限。在这项工作中，我们研究搜索日志从必应网络搜索引擎来表征用户的意图和研究用户的行为，产品搜索。我们提出了一个分类的产品意图，通过分析产品搜索查询。这是一个具有挑战性的任务，因为只有15%-17%的网络搜索查询是关于产品的。我们使用查询日志特征来训练机器学习分类器，以基于意图对查询进行分类，总体F1得分为78%。我们进一步分析了产品搜索查询的各种特征，如停留时间，成功，流行度和会话特定信息的搜索指标。
2020-05-19 cs.IR
Design and Implementation of a Simple Web Search Engine
我们提出了一个简单的网络搜索引擎的索引和搜索HTML文档使用Python程序设计语言。由于python以其简单的语法和对主流操作系统的强大支持而闻名，我们希望它能对学习信息检索技术，特别是web搜索引擎技术有所帮助。
2012-02-09 cs.IR
Credibility in Web Search Engines
网络搜索引擎应用各种排名信号来实现用户满意度，即，为用户提供最佳结果的结果页面。虽然这些排名信号隐含地考虑了可信度（例如，通过衡量受欢迎程度），没有采用明确的可信度衡量标准。在这一章中，在Web搜索引擎的可信度进行了讨论，在一个广泛的背景下：可信度作为一个措施，包括在搜索引擎的索引文件，作为一个排名信号的可信度，在通用搜索结果的上下文中的可信度，以及使用可信度作为一个明确的衡量排名的目的的可能性。据发现，虽然搜索引擎-至少在一定程度上-显示可信的结果，他们的用户，有没有完全集成的可信度框架的Web搜索引擎。
2012-08-05 cs.IR
Future Web Growth and its Consequences for Web Search Architectures
引言：在开始设计任何计算机系统之前，首先必须评估问题的严重性。在网络搜索引擎的情况下，这种评估相当于确定网络的当前大小、网络的增长率以及搜索它所需的计算资源的数量，并预测未来的历史增长。方法：网络20多年的历史使我们有可能对未来的增长做出短期预测。硬盘驱动器（和智能手机存储卡）的历史较长，因此可以进行短期硬件预测。分析：对互联网使用和硬件增长的历史数据进行了推断。结果：据预测，在十年内，单个硬盘驱动器的存储容量将超过当时网络索引的大小。再过10年，将有可能在同一个硬盘上存储整个可搜索的文本。再过十年，整个可搜索的网络（包括图像）也将适合。结论：这一结果提出了关于搜索引擎未来架构的问题。提出了几种新的模型。在一个模型中，用户的计算机是分布式搜索架构的活动部分。他们在本地设备上搜索预先加载的网络快照（备份文件），这使得在线数据中心可以搜索快照和当前时间之间的差异。有利地，这还使得当用户从互联网断开时可以进行搜索。在另一种模式中，所有文件的所有更改都广播给所有用户（形成星形网络），不需要数据中心。
2013-07-04 cs.IR
Intelligent Agent Based Semantic Web in Cloud Computing Environment
考虑到今天的Web场景，有一个有效的和有意义的搜索在Web上，这是由语义Web提供的需求。现有的搜索引擎是基于关键字的。它们在回答来自用户的智能查询时是脆弱的，因为它们的结果依赖于网页中的信息。而语义搜索引擎提供了高效和相关的结果，因为语义网是当前网络的扩展，其中信息被赋予了定义明确的含义。MetaCrawler是一个搜索工具，它使用几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合结果。本文提出了一种名为SemanTeli的元语义搜索引擎，它可以在云中工作。SemanTelli在智能代理的帮助下从不同的语义搜索引擎（如Hakia、DuckDuckGo、SenseBot）获取结果，这些智能代理消除了现有搜索引擎的局限性。
2013-05-04 cs.IR
Health Information Search Behavior on the Web: A Pilot Study
在网络上搜索健康信息已经成为当今世界不可或缺的一部分，许多人转向网络获取健康信息和健康评估。我们的试点研究调查了用户对搜索结果类型（图像、新闻、视频等）的偏好，并调查用户为了自我诊断的目的而准确解释在线健康信息的能力。初步结果显示，博客和新闻文章是最受用户寻求时，搜索在线信息和存在的挑战，在使用在线健康信息进行自我诊断。
2014-10-27 cs.IR
Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database
基于爬虫的搜索引擎是Web和Internet用户最常用的搜索引擎，它涉及到Web爬虫、数据库存储、排序、索引和向用户显示。但值得注意的是，由于网站的变化越来越大，搜索引擎遭受了很高的时间和传输成本，这些成本消耗在搜索时调查数据库中每个页面的存在，更新数据库，甚至在任何搜索操作中调查其存在。“Exclusive Web Crawler”提出了抓取特征、链接、媒体和其他元素的指导方针，并将抓取结果存储在其网络数据库中的某个表中。通过这样做，搜索引擎将每个站点的表存储在其数据库中，并在其上实现其排名结果。因此，确保了每个表中数据的准确性（以及它的最新性），并且在搜索结果中不显示404结果，因为事实上，该数据爬虫程序抓取网站管理员输入的数据，并且数据库存储他想要显示的任何内容。
2013-05-13 cs.IR
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
Is googling risky? A study on risk perception and experiences of adverse consequences in web search
基于德国互联网代表性样本（N=3,884），研究揭示了用户对网络搜索不良后果的风险感知及其与亲身经历的直接关联，并呼吁开展更多独立研究以监测和缓解搜索风险。
2023-05-26 cs.IR
Developing Smart Web-Search Using RegEx
由于Web应用程序上存储数据的不断增加，仅使用基于关键字的搜索来提供全面的搜索结果变得非常困难，从而增加了Web用户在Web上搜索信息的难度。在本文中，我们提出了使用基于关键字和正则表达式（regEx）搜索的组合方法，使用目标项的字符串进行搜索，以获得最佳结果，即使互联网上世界各地的数据量持续爆炸。其想法是将regEx模式作为搜索引擎算法的一部分嵌入到Web应用程序项目中，以提供与目标项相关的字符串，从而更全面地覆盖搜索结果。用户的搜索查询是由从入口点选择的搜索边界引导的字符串。从搜索操作返回的结果是由搜索边界确定的类别内的不同结果。这被设计为有益于对他/她想要搜索的信息有模糊概念但知道获取信息的边界的用户。该技术可应用于数据处理任务，例如信息抽取和搜索细化。
2021-10-10 cs.IR
How Relevant is the Long Tail? A Relevance Assessment Study on Million Short
已知web搜索引擎的用户大多关注于搜索引擎结果页面的排名靠前的结果。虽然许多研究支持这一众所周知的信息寻求模式，但只有少数研究关注用户因忽视排名较低的结果而错过了什么。为了更多地了解所谓的长尾中的相关性分布，我们对百万短长尾网络搜索引擎进行了相关性评估研究。虽然我们看到搜索引擎结果列表的头部和尾部之间的内容存在明显差异，但我们在二元相关性判断中没有看到统计学显著差异，并且在使用分级相关性时存在弱显著差异。尾部包含不同但仍然有价值的结果。我们认为，长尾可以为网络搜索引擎结果列表的多样化提供丰富的资源，但需要更多的评估来清楚地描述差异。
2016-06-20 cs.IR
An Axiomatic Analysis of Diversity Evaluation Metrics: Introducing the Rank-Biased Utility Metric
许多评价指标已被定义来评估ad-hoc检索和搜索结果多样化系统的有效性。然而，它往往是不清楚的评价指标应用于分析检索系统的性能给定的特定任务。公理化分析是一种信息机制，用于理解度量的基本原理及其对特定场景的适用性。在本文中，我们定义了一个基于约束的公理化框架，研究现有的指标在搜索结果多样化的情况下的适用性。该分析为RBU（Rank-Biased Utility）的定义提供了信息，RBU是对著名的Rank-Biased Precision度量的一种调整，它考虑了冗余和与排名中的文档检查相关的用户工作。我们的实验在标准的多样性评价活动表明，所提出的度量捕获质量标准反映了不同的指标，是合适的，在没有知识的情况下，特定功能的情况下研究。
2018-08-19 cs.IR
Web Search Result Clustering based on Cuckoo Search and Consensus Clustering
Web搜索结果文档的聚类已经成为一个很有前途的工具，以提高检索性能的信息检索（IR）系统。搜索结果往往困扰的问题，如同义词，一词多义，高容量等聚类，而不是解决这些问题，也为用户提供了方便，找到他/她想要的信息。提出了一种基于布谷鸟搜索Meta探试法和一致性聚类的Web搜索结果聚类方法WSRDC-CSCC。布谷鸟搜索为共识聚类提供了坚实的基础。作为一个局部聚类函数，使用k-means技术。最后的聚类数并不取决于这个k。共识聚类发现对象的自然分组。该算法与另一种基于布谷鸟搜索和贝叶斯信息准则的聚类方法进行了比较。实验结果表明，该算法在准确率、查全率和F-测度等方面都优于其他方法，能够准确地找到实际的聚类数
2015-03-23 cs.IR
Context Models For Web Search Personalization
我们提出了我们的解决方案，以Yandex个性化网页搜索的挑战。这个挑战的目的是使用历史搜索日志为一组测试用户个性化前N个文档排序。我们使用了从用户和查询相关的上下文中提取的100多个特征来训练神经网络和基于树的学习排名和回归模型。我们最终提交的作品融合了几种不同的模型，NDCG@10的得分为0.80476，在194个获得三等奖的团队中排名第四。
2015-02-02 cs.IR
Architecture of A Scalable Dynamic Parallel WebCrawler with High Speed Downloadable Capability for a Web Search Engine
今天的万维网（WWW）已经成为一个巨大的信息海洋，它的规模每天都在增长。下载这些庞大数据中的一小部分就像在巨大的海洋中航行，这确实是一项具有挑战性的任务。为了从WWW上下载大量的数据，使爬行过程并行化已成为绝对必要的。在本文中，我们提供了一个动态的并行网络爬虫，命名为“WEB-SAILOR”，它提出了一个可扩展的方法，客户端-服务器模型的基础上，以加快下载过程中的Web搜索引擎在分布式域集特定的环境。WEB-SAILOR消除了多个爬虫程序重叠下载文档的可能性，甚至不会在几个并行的“客户端”爬行过程中产生通信开销。
2011-02-03 cs.IR
MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels
本文提出 MS MARCO Web Search 数据集，以数百万真实点击标签和贴近真实分布的丰富网络数据支持神经索引、嵌入及大语言模型信息访问研究，并提供三项检索挑战基准。
2024-05-13 cs.IR
Predicting antimicrobial drug consumption using web search data
抗生素等抗微生物药物的消费与抗微生物药物耐药性有关。因此，对抗菌药物消费的监测是应对抗菌药物耐药性的一个重要因素。许多国家缺乏足够的监测系统。因此，使用网络挖掘数据有可能改善目前的监测方法。为此，我们研究如何以及抗菌药物的消费可以预测基于网络搜索查询，抗菌药物的历史购买数据相比。我们提出了两个预测模型（线性弹性网络和非线性高斯过程），我们训练和评估近6年的每周抗菌药物消费数据来自丹麦和谷歌健康趋势的网络搜索数据。我们提出了一种新的方法来选择网络搜索查询，考虑疾病和药物链接到抗菌药物，以及专业和外行的抗菌药物的描述，所有这些都是我们从开放的网络挖掘。我们发现，基于网络搜索数据的预测稍微错误一些，但总体上与基于抗菌药物购买的预测相当。该边际差异对应于每周使用中的$<1$ \%点平均绝对误差。最好的预测报告时，结合网络搜索和购买数据。这项研究为预测（并因此监测）抗菌药物消费的现实问题提供了一种新的替代解决方案，这在缺乏集中和及时监测系统的国家/地区特别有价值。
2018-03-09 cs.IR
Feature Modulation to Improve Struggle Detection in Web Search: A Psychological Approach
搜索者斗争是对Web搜索引擎的重要反馈。现有的Web搜索挣扎检测方法依赖于基于努力的特征来识别挣扎时刻。他们的基本假设是，用户花费的努力越多，用户可能就越挣扎。然而，最近的研究表明，这种简单的联系可能是不正确的。借鉴心理学中的反转理论，提出了一种新的斗争检测的特征调制方法。逆转理论（RT）指出，人们并不具有静态的人格特质，而是不断在相反的心理状态之间切换，使他们所付出的努力与他们所感受到的挫折程度之间的关系变得复杂。在理论的支持下，我们的方法基于RT的双模态唤醒模型来调节基于努力的特征。为期一周的Web搜索日志的评估证实，所提出的方法可以显着提高统计最先进的斗争检测方法。
2021-12-09 cs.IR
The Anatomy of Mitos Web Search Engine
设计一个提供有效和高效的信息检索的Web搜索引擎是一项具有挑战性的任务。本文介绍了我们的经验，从设计和开发一个Web搜索引擎提供了广泛的功能，我们报告了一些有趣的实验结果。该引擎的一个相当独特的设计选择是，它的索引基于DBMS，而提供的一些独特功能包括高级希腊语词干提取、实时的结果聚类和高级链接分析技术（也用于垃圾页面检测）。
2008-03-16 cs.IR
Enhanced Trustworthy and High-Quality Information Retrieval System for Web Search Engines
万维网是最重要的信息来源。但是，信息的正确性得不到保证，搜索引擎检索到的信息相互冲突，所提供的信息质量也从低质量到高质量不等。我们提供了增强的可信度，在特定的（实体）和广泛的（内容）查询在网络搜索。可信度的过滤基于5个因素：出处，权威，年龄，流行度和相关链接。基于这5个因素计算可信度，并将其存储，从而提高检索可信网站的性能。计算出的可信度仅针对静态网站存储。质量是根据用户选择的策略提供的。基于质量的检索到的可信信息的排名使用WIQA（Web信息质量评估）框架。
2009-11-18 cs.IR
Web Search of New Linearized Medical Drug Leads
网络是一个潜在的巨大的医疗药物线索来源。但是，尽管有大量关于药物的多维信息，目前商业搜索引擎仅接受线性关键字串作为输入。这项工作使用线性化的分子结构片段作为知识表示单元，作为搜索引擎的输入。结果表明，相当任意的片段是令人惊讶的是没有歧义，获得相对较小的结果集，这是既可管理的和丰富的新的潜在的药物线索。
2014-04-13 cs.IR
An Integrated Search Framework for Leveraging the Knowledge-Based Web Ecosystem
信息爆炸限制了基于知识的网络生态系统（KBWE）中检索词的判断，使得相关信息的检索及其知识管理具有挑战性。现有的信息检索（IR）工具和它们在一个框架中的融合需要关注，在其中搜索结果可以有效地管理。在这篇文章中，我们证明了各种用户和代理在各种KBWE方案的有效使用信息检索服务。本文提出了一种新的集成搜索框架（ISF），它综合利用了爬行策略、Web搜索技术和传统的数据库搜索方法。此外，ISF还提供全面的、动态的、个性化的、面向组织的信息检索服务，服务范围从Internet、Example、Intranet到个人桌面。在这项实证研究中，实验进行了证明在搜索过程中的改进，在概念ISF辨别。实验结果表明，与其他流行的搜索引擎相比，该搜索引擎的准确率有所提高。
2020-12-10 cs.IR
On the Influence of Reading Sequences on Knowledge Gain during Web Search
本文将基于行的阅读模型扩展为跨多行检测阅读顺序的模型，利用公开Web学习任务数据研究眼动特征与知识增益的关系，发现阅读时间更长、处理单词更多及快速阅读伴随更多向后回视均指示更好的Web学习效果。
2024-01-10 cs.IR
SearchLog: A Web Browser Extension for Capturing Search Logs in Laboratory Studies
RMIT University（皇家墨尔本理工大学）
提出SearchLog浏览器扩展，通过记录鼠标、键盘、搜索活动和浏览器状态等结构化交互数据，支持实验室环境下自然搜索日志的收集与分析。
2026-08-31 cs.IR
Toward Efficient and Scalable Design of In-Memory Graph-Based Vector Search
该研究针对内存中基于图的向量搜索算法缺乏系统比较的问题，对12种前沿方法在7个最高10亿向量的真实数据集上做了详尽评估，总结了方法优劣并提出了未来研究方向。
2025-09-06 cs.DB cs.DS cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域，旨在提高网络搜索工具的评价。事实上，网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然，当前的搜索引擎（如Google、Bing和Yahoo）提供了浏览网络内容的有效方式。然而，这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统，其目标是增加搜索工具的选择性，并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试，证明了它对实际搜索工具的适用性。结果表明，语义评估是一种很有前途的方法，以提高性能和行为的搜索引擎以及相关的结果，他们返回。
2012-12-11 cs.IR
Seasonal Web Search Query Selection for Influenza-Like Illness (ILI) Estimation
从网络搜索数据中估计流感样疾病（ILI）是一项重要的网络分析任务。其基本思想是在估计当前ILI活动时，使用与过去ILI活动相关的Web搜索日志中的查询频率作为特征。已经注意到，由于流感是季节性的，因此这种方法可能导致与也表现出季节性但与ILI没有关系的特征/查询的虚假相关性。假相关性反过来会降低性能。为了解决这个问题，我们建议建模的季节性变化的ILI活动和选择查询的季节性模型和观测到的ILI信号的残差相关。实验结果表明，重新排名的查询获得谷歌相关的基础上，他们的相关性与残差强烈青睐ILI相关的查询。
2018-02-19 cs.IR
Optimizing Query Evaluations using Reinforcement Learning for Web Search
在网络搜索中，通常候选生成步骤从包含多达数十亿个网页的集合中选择一小组文档，这些文档随后在呈现给用户之前进行排名和修剪。在Bing中，候选生成涉及使用静态设计的匹配计划扫描索引，这些计划规定了不同匹配标准和停止条件的序列。在这项工作中，我们将匹配规划作为一个强化学习任务，并观察到访问的索引块减少了20%，候选集的质量下降很少或没有下降。
2018-08-18 cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
Tempas: Temporal Archive Search Based on Tags
有限的搜索和访问模式在网络档案已被很好地记录。其中一个主要原因是缺乏对用户访问这些收藏品的模式的了解，而这又归因于缺乏有效的搜索界面。目前的Web档案搜索接口是（a）纯粹的导航或（b）有次优的搜索经验，由于无效的检索模型或查询建模。我们认为，外部纵向资源，如社会书签数据，是识别重要和流行的网站在过去的重要来源。在这种程度上，我们提出Tempas，一个基于标签的时间搜索引擎的Web档案。网站会在特定的兴趣时间发布在几个外部平台上，比如像Delicious这样的书签网站。附加的标签不仅作为检索有用的相关描述符，但也编码的相关性的时间。使用Tempas，我们通过索引标签和时间来解决临时搜索Web存档的挑战。我们允许时间选择搜索词，排名文件的基础上，他们的流行程度，并提供有意义的查询建议，利用标签标签和标签文档共现统计在任意时间窗口。最后，Tempas是一个相当非侵入性的索引框架。通过不处理来自实际Web存档的内容，它构成了快速访问Web存档的有吸引力和低开销的方法。
2017-02-03 cs.IR
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器，它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容，然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
Navigating the Shift: A Comparative Analysis of Web Search and Generative AI Response Generation
University of Toronto（多伦多大学）
本文比较了谷歌搜索与生成式AI在信息源领域、查询意图和信息新鲜度上的差异，揭示了AI生成答案与网络搜索结果在信息生态系统中的不同机制。
2026-05-16 cs.IR
Constructing an Interaction Behavior Model for Web Image Search
用户交互行为是一个有价值的来源隐式相关反馈。在Web图像搜索中，与一般的Web搜索相比，使用了不同类型的搜索结果呈现，这导致了不同的交互机制和用户行为。例如，图像搜索结果是自包含的，因此用户不需要像在一般Web搜索中那样点击结果来查看着陆页，这会生成稀疏的点击数据。此外，二维结果放置而不是线性结果列表使浏览行为更加复杂。因此，很难应用标准的用户行为模型（例如，点击模型）开发的一般Web搜索到Web图像搜索。在本文中，我们使用基于实验室的用户研究数据以及来自商业搜索日志的数据进行全面的图像搜索用户行为分析。然后，我们提出了一种新的交互行为模型，称为基于网格的用户浏览模型（GUBM），其设计的动机是从我们的数据分析观察。GUBM既可以捕捉用户的交互行为，包括光标悬停，又可以减轻位置偏差。GUBM的优点有两个方面：（1）它基于无监督学习方法，不需要手动标注数据进行训练。(2)它基于搜索引擎结果页面（SERP）上的用户交互功能，并且可以轻松地转移到具有基于网格的界面的其他场景，例如视频搜索引擎。我们进行了大量的实验，以测试我们的模型使用大规模的商业图像搜索日志的性能。实验结果表明，在行为预测（困惑），主题相关性和图像质量（归一化折扣累积增益（NDCG）），GUBM优于最先进的基线模型以及原始排名。我们公开了GUBM和相关数据集的实施情况，以供未来的研究使用。
2018-05-08 cs.IR
Web search engines have marked everyone's life by transforming how one searches and accesses information. Search engines give special attention to the user interface, especially search engine result pages (SERP). The well-known ''10 blue links'' list has evolved into richer interfaces, often personalized to the search query, the user, and other aspects. More than 20 years later, the literature has not adequately portrayed this development. We present a study on the evolution of SERP interfaces during the last two decades using Google Search as a case study. We used the most searched queries by…
2023-01-20 cs.IR
Domain-specific queries and Web search personalization: some investigations
主要的搜索引擎部署个性化的Web结果，通过向用户显示与他们兴趣相关的数据来增强用户的体验。即使这一过程可能会给用户带来好处，同时浏览，它也提出了对搜索结果的选择的关注。特别地，用户可能在不知不觉中被搜索引擎困在被称为“过滤气泡”的保护性信息气泡中，这可能具有将用户与不符合其偏好的信息分离的不期望的效果。本文从早期的结果量化的个性化在谷歌搜索查询结果。受以前作品的启发，我们进行了一些实验，包括由一组具有不同准备配置文件的Google帐户执行的搜索查询。匹配查询结果，我们量化的个性化程度，根据主题的查询和帐户的配置文件。这项工作报告的初步结果，这是更广泛的调查，以衡量Web搜索个性化的第一步。
2015-08-17 cs.IR
Web Search Result Clustering based on Heuristic Search and k-means
为用户提供一个简单而有组织的网络搜索结果一直是信息检索研究的热点。不管查询有多小或多模糊，用户总是希望在IR系统的第一显示器上得到期望的结果。对红外系统结果进行聚类，可以提供一种满足用户实际信息需求的方法。本文提出了一种基于余弦相似度的聚类方法，该方法将聚类分析和k-均值聚类技术相结合。我们的启发式方法检测k的初始值以创建初始质心。这消除了值k的外部指定的问题，如果错误地指定，则可能导致不想要的结果。以这种方式创建的质心在Web搜索结果的上下文中更具体和有意义。所提出的方法的另一个优点是去除了k-means的目标均值函数，这使得聚类大小相同。所提出的方法的最终结果包括具有不同大小的不同的文档集群。
2015-08-11 cs.IR
The Interestingness Tool for Search in the Web
作为相关性和意外性的组成部分，可预期性通过网络搜索案例研究进行了测试，并得到了令人满意的结果。但是为了彻底的调查和日常的实际应用，人们需要一个灵活而强大的工具。这项工作描述了这样一个基于知识的搜索工具，它的软件架构和实际实现。它的灵活性特征之一是选择匹配度函数：它可以与Match-Mismatch和Tf-Idf以及其他函数一起工作。该工具已被实验验证的应用程序到各个领域的利益。通过与商业搜索引擎的搜索结果和不同的搜索函数的结果进行比较，验证了该方法的有效性。
2014-05-14 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
On the Applicability of Delicious for Temporal Search on Web Archives
Web档案是存储过去的网页的大型纵向集合，这些网页可能在当前的实时Web上丢失。因此，对这些集合的时间搜索对于寻找突出的缺失网页和历史分析等任务至关重要。然而，这一直是具有挑战性的，由于缺乏流行的信息和适当的地面真相，以评估时间检索模型。在本文中，我们调查的适用性外部纵向资源，以确定重要的和流行的网站在过去和分析的社会书签服务美味。Delicious上带有时间戳的书签提供了关于过去流行时间段的明确线索以及相关描述符。对于给定的时态查询，这些对于识别过去的重要文档是有价值的。纯粹关注召回，我们分析了超过12，000个查询，发现使用Delicious产生的平均召回值从46%到100%，当我们将自己限制在考虑的数据集中最好的代表查询时。这构成了一个有吸引力的和低开销的方法，快速访问到Web档案，而不处理实际的内容。
2017-02-03 cs.IR
Featured Snippets Results in Google Web Search: An Exploratory Study
在本文中，作者分析了163412关键字和结果与特色片段收集本地化波兰谷歌搜索引擎。从获取研究特征片段所需数据的角度，提出了一种从Google搜索引擎中检索数据的方法。据观察，几乎一半的特色片段（48%）来自排名第一的结果。此外，介词与关键词中出现频率最高的实词之间也存在一定的相关性。结果显示，特色片段通常来自值得信赖的网站，例如，维基百科和主要以段落的形式呈现。段落可以通过谷歌助手或家庭助手通过语音搜索阅读。我们的结论与讨论和研究的局限性。
2019-12-03 cs.IR
Clustering Web Search Results For Effective Arabic Language Browsing
浏览搜索结果的过程是传统的Web搜索引擎的主要问题之一，通常用于英语、欧洲和任何其他语言，尤其是阿拉伯语。这个过程是绝对耗时和浏览风格似乎是没有吸引力的。将Web搜索结果组织成集群便于用户快速浏览搜索结果。传统的聚类技术（以数据为中心的聚类算法）是不够的，因为它们不能生成具有高度可读名称或聚类标签的聚类。为了解决这个问题，以描述为中心的算法，如后缀树聚类（STC）算法已被引入并成功和广泛地用于英语，欧洲和汉语的不同适应版本。然而，直到写这篇文章的时候，据我们所知，STC算法还没有应用于阿拉伯语网页摘要搜索结果聚类。在本文中，我们首先提出，研究如何STC可以应用于阿拉伯语？然后，我们通过示例说明，在阿拉伯语片段预处理（词干或词根提取）后不可能应用STC，因为合并过程会产生许多冗余聚类。其次，为了克服这个问题，我们建议将STC集成到一个新的计划中，考虑到阿拉伯语的属性，以使网络越来越适应阿拉伯语用户。所提出的方法自动聚类的Web搜索结果到高质量，高显着的集群标签。得到的聚类不仅具有连贯性，而且能够简洁、准确地将内容传达给用户。因此，阿拉伯语用户可以一目了然地决定集群的内容是否感兴趣。
2013-05-13 cs.IR
This paper describes the approach of the THUIR team at the WSDM Cup 2023 Pre-training for Web Search task. This task requires the participant to rank the relevant documents for each query. We propose a new data pre-processing method and conduct pre-training and fine-tuning with the processed data. Moreover, we extract statistical, axiomatic, and semantic features to enhance the ranking performance. After the feature extraction, diverse learning-to-rank models are employed to merge those features. The experimental results show the superiority of our proposal. We finally achieve second place in …
2023-02-28 cs.IR
Realization of Ontology Web Search Engine
本文描述了本体Web搜索引擎的实现。本体Web搜索引擎既可以作为独立的项目实现，也可以作为其他项目的一部分实现。本文的主要目的是介绍作为语义网专家系统一部分的本体网搜索引擎的实现细节，并给出本体网搜索引擎的运行结果。语义网专家系统将能够处理来自Web的本体，从这些本体生成规则并开发其知识库。
2017-02-22 cs.AI cs.IR
Raising Reliability of Web Search Tool Research through Replication and Chaos Theory
因为万维网是动态的信息集合，所以索引万维网的万维网搜索工具（或“搜索引擎“）是动态的。传统的信息检索评价技术在应用于Web搜索工具时可能无法提供可靠的结果。这项研究是对1996年Ding和Marchionini的经典网络搜索工具研究进行十次重复的结果。它探讨了复制在将一次迭代中的不可靠结果转换为可复制的结果方面的影响，从而在多次迭代后获得可靠的结果。
1999-07-27 cs.DL cs.IR
