Architecture of A Scalable Dynamic Parallel WebCrawler with High Speed Downloadable Capability for a Web Search Engine
今天的万维网（WWW）已经成为一个巨大的信息海洋，它的规模每天都在增长。下载这些庞大数据中的一小部分就像在巨大的海洋中航行，这确实是一项具有挑战性的任务。为了从WWW上下载大量的数据，使爬行过程并行化已成为绝对必要的。在本文中，我们提供了一个动态的并行网络爬虫，命名为“WEB-SAILOR”，它提出了一个可扩展的方法，客户端-服务器模型的基础上，以加快下载过程中的Web搜索引擎在分布式域集特定的环境。WEB-SAILOR消除了多个爬虫程序重叠下载文档的可能性，甚至不会在几个并行的“客户端”爬行过程中产生通信开销。
2011-02-03 cs.IR
Web-page Prediction for Domain Specific Web-search using Boolean Bit Mask
搜索引擎是一种网页检索工具。如今，网络搜索者使用高效的搜索引擎来利用他们的时间。为了提高搜索引擎的性能，我们引入了一种独特的机制，它将为Web搜索者提供更突出的搜索结果。在本文中，我们将讨论一个特定领域的Web搜索原型，它将产生预测的网页列表，用户给定的搜索字符串使用布尔位掩码。
2012-06-25 cs.IR
Resource Selection for Federated Search on the Web
长期以来，一直没有一个反映真实网络环境的联邦搜索公开数据集，这使得研究人员很难测试他们的联邦搜索算法在网络环境中的有效性。我们提出了几个实验和分析资源选择在网络上使用最近发布的测试集合，包含从100多个真正的搜索引擎的结果，从大型通用网络搜索引擎，如谷歌，必应和雅虎小型特定领域的引擎。首先，我们尝试使用基于查询的采样来估计网络上不合作的搜索引擎的大小，并提出了一种使用CNOW Web09数据集的新方法。我们发现规模估计是非常有效的资源选择。第二，我们表明，一个优化的联邦搜索系统的基础上较小的网络搜索引擎可以替代系统使用大型网络搜索引擎。第三，我们提供了几个流行的资源选择方法的实证比较，发现这些方法是不容易适合在网络上的资源选择。挑战包括稀疏的资源描述和集合的大小极度倾斜。
2016-09-15 cs.IR
A Framework for Prefetching Relevant Web Pages using Predictive Prefetching Engine (PPE)
本文提出了一个框架，以增加相关性的网页检索的搜索引擎。该方法引入了一个预测预取引擎（PPE），它利用各种数据采掘算法的日志维护的搜索引擎。该方法的基本前提是，在集群访问的情况下，Web服务器的用户请求的下一个页面通常基于当前和以前请求的页面。在此基础上，绘制规则，然后引导路径预取所需的页面。为了执行预取更多相关页面的预期任务，引入了代理。
2011-09-28 cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
The Essence of the Essence from the Web:The Metasearch Engine
本文研究元搜索引擎如何通过并行分发查询并精炼多个搜索引擎结果来减轻用户负担，并通过与传统搜索引擎的比较研究证明其优越性。
2024-11-06 cs.IR
Enhanced Trustworthy and High-Quality Information Retrieval System for Web Search Engines
万维网是最重要的信息来源。但是，信息的正确性得不到保证，搜索引擎检索到的信息相互冲突，所提供的信息质量也从低质量到高质量不等。我们提供了增强的可信度，在特定的（实体）和广泛的（内容）查询在网络搜索。可信度的过滤基于5个因素：出处，权威，年龄，流行度和相关链接。基于这5个因素计算可信度，并将其存储，从而提高检索可信网站的性能。计算出的可信度仅针对静态网站存储。质量是根据用户选择的策略提供的。基于质量的检索到的可信信息的排名使用WIQA（Web信息质量评估）框架。
2009-11-18 cs.IR
Realization of Ontology Web Search Engine
本文描述了本体Web搜索引擎的实现。本体Web搜索引擎既可以作为独立的项目实现，也可以作为其他项目的一部分实现。本文的主要目的是介绍作为语义网专家系统一部分的本体网搜索引擎的实现细节，并给出本体网搜索引擎的运行结果。语义网专家系统将能够处理来自Web的本体，从这些本体生成规则并开发其知识库。
2017-02-22 cs.AI cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域，旨在提高网络搜索工具的评价。事实上，网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然，当前的搜索引擎（如Google、Bing和Yahoo）提供了浏览网络内容的有效方式。然而，这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统，其目标是增加搜索工具的选择性，并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试，证明了它对实际搜索工具的适用性。结果表明，语义评估是一种很有前途的方法，以提高性能和行为的搜索引擎以及相关的结果，他们返回。
2012-12-11 cs.IR
Keyword Search Engine Enriched by Expert System Features
关键词搜索引擎是大型信息空间的基本要素。Web是世界上最大的信息空间，关键词搜索引擎在其中扮演着至关重要的角色。关键字搜索引擎的出现为Web的发展提供了一个巨大的飞跃。从那时起，网络不断发展，关键字搜索系统已经被证明是不够的。关键词搜索引擎的发展需要一个新的飞跃。这一飞跃可以提供更多的智力关键字搜索引擎。这种关键字搜索引擎的增加的智能可以通过关键字搜索引擎和专家系统的组合来实现。本文揭示了如何做到这一点。
2020-08-28 cs.IR
The Snippets Taxonomy in Web Search Engines
在本文中，作者分析了50 000个关键字的结果，从本地化的波兰谷歌搜索引擎收集。我们提出了一个分类法，在搜索结果中显示为常规，丰富，新闻，特色和实体类型的片段片段。我们观察到相同关键字中重叠片段之间的一些相关性。结果表明，商业关键字不会导致结果具有丰富的或实体类型的片段，而关键字与片段的结果不是商业性质。我们发现，相当数量的片段是学术文章和丰富的卡片旋转木马。我们总结了我们的研究结果的结论和研究的局限性。
2019-10-23 cs.IR
The Retrieval Effectiveness of Web Search Engines: Considering Results Descriptions
目的：比较五个主要的Web搜索引擎（Google、Yahoo、MSN、Ask.com和Seekport）的检索效果，不仅考虑结果，而且考虑结果描述。设计/方法/方式：该研究使用现实生活中的查询。结果是匿名和随机的。结果由提出原始查询的人判断。结果：两个主要的搜索引擎，谷歌和雅虎，表现最好，他们之间没有显着差异。Google提供的结果描述比其他任何搜索引擎都要相关得多。这可能是用户认为该引擎优越的原因之一。研究局限性：该研究基于用户模型，其中用户相当系统地考虑了一定数量的结果。在现实生活中，情况可能并非如此。实际意义：暗示搜索引擎应该关注相关的描述。建议搜索者使用除Google之外的其他搜索引擎。创意/价值：这是第一个主要的研究比较结果和描述系统，并提出了新的检索措施，以考虑到结果的描述
2015-11-18 cs.IR
Penerapan teknik web scraping pada mesin pencari artikel ilmiah
搜索引擎是由特定公司通过已确定的网站提供的硬件和计算机软件的组合。搜索引擎通过定期抓取网络的机器人或网络爬虫程序从网络收集信息。从现有网站中检索信息的过程称为"网页抓取"。"网页抓取是一种从网站中提取信息的技术。Web抓取与Web索引密切相关，至于如何开发一种Web抓取技术，那就是首先通过研究程序制作者将来自网站的HTML文档中的信息带到HTML标签的侧翼，目的是为了收集信息，在程序制作者学习了网站导航技术之后，将信息带到一个模仿我们将创建的网页应用程序中进行抓取。还应该指出的是，这种写作的实施只刮涉及免费的搜索引擎，如：门户网站garuda，印度尼西亚科学期刊数据库（ISJD），谷歌学者。
2014-10-18 cs.IR
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的，导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面，语义搜索引擎提供高效和相关的结果，因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具，它将用户的查询转发到几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎，通过智能代理从不同的语义搜索引擎（如Hakia，DuckDuckGo，SenseBot）获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
A Comparison of Source Distribution and Result Overlap in Web Search Engines
当涉及到搜索引擎时，用户一般更喜欢谷歌。我们的研究旨在找出在谷歌中找到的结果与其他搜索引擎相比的差异。我们比较了来自Google、Bing、DuckDuckGo和Metager的前10名结果，使用了来自德国和美国的Google趋势生成的3，537个查询。谷歌在搜索结果中显示的独特域名比竞争对手多。维基百科和新闻网站是最受欢迎的来源。由于一些顶级来源主导着搜索结果，因此域的分布在所有搜索引擎中也是一致的。Google和Bing之间的重叠率始终低于32%，而Metager与Bing的重叠率高于DuckDuckGo，高达78%。这项研究表明，使用另一个搜索引擎，特别是除了谷歌，提供了更广泛的来源，并可能导致用户找到新的观点。
2022-07-15 cs.IR
A Synonym Based Approach of Data Mining in Search Engine Optimization
在当今互联网信息高速增长的时代，使得用户转向搜索引擎作为传统媒体的替代品。这使得通过数十亿个网页对特定信息进行排序并显示相关数据使得搜索引擎的任务变得困难。对此的补救措施是SEO，即以这种方式优化网站，它将根据排名显示相关网页。这是使搜索引擎优化在网络世界中占据突出地位的主要原因。本文提出了一种基于同义词的数据采掘方法，使提高网站排名的任务更加容易的方式和用户将得到他们的查询答案很容易通过任何搜索引擎在市场上。
2014-07-04 cs.IR
The Evolution of Web Search User Interfaces -- An Archaeological Analysis of Google Search Engine Result Pages
网络搜索引擎改变了人们搜索和访问信息的方式，从而改变了每个人的生活。搜索引擎特别关注用户界面，尤其是搜索引擎结果页面（SERP）。众所周知的“10个蓝色链接”列表已经发展成为更丰富的界面，通常是个性化的搜索查询，用户和其他方面。20多年后，文献没有充分描述这一发展。我们提出了一个研究SERP接口的演变，在过去的二十年中使用谷歌搜索作为案例研究。我们使用每年搜索次数最多的查询从Internet Archive中提取SERP样本。使用这个数据集，我们分析了SERP如何在内容，布局，设计（例如，配色方案、文本样式、图形）、导航和文件大小。我们还分析了与SERP元素相关的用户界面设计模式。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。这个系统的分析描绘了搜索引擎用户界面的发展趋势，更普遍的是，网页设计。我们预计这项工作将引发其他更具体的研究，可以利用我们的数据集。
2023-01-20 cs.IR
Detecting race and gender bias in visual representation of AI on web search engines
网络搜索引擎通过对信息的过滤和排序来影响人们对社会现实的感知。然而，它们的产出往往受到偏见的影响，这可能导致专业职业或性别等主题的代表性不平衡。在我们的论文中，我们使用混合方法的方法来调查存在的种族和性别偏见的人工智能（AI）在图像搜索结果来自六个不同的搜索引擎的代表。我们的研究结果表明，搜索引擎优先考虑人工智能的拟人化图像，将其描绘为白色，而人工智能的非白色图像仅存在于非西方搜索引擎中。相比之下，人工智能的性别代表性更加多样化，对特定性别的倾斜程度更低，这可以归因于对搜索输出中性别偏见的认识更高。我们的观察表明，需要和解决偏见的社会相关的主题，如技术创新的代表性的可能性，并强调设计新的方法来检测偏见在信息检索系统的重要性。
2021-06-26 cs.IR
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
Low cost page quality factors to detect web spam
Web垃圾邮件是对搜索引擎结果质量的一大挑战。准确地检测出网络垃圾信息对于搜索引擎来说是非常重要的。在本文中，我们提出了32个低成本的质量因素分类垃圾邮件和火腿网页的实时的的基础上。这些特征可以分为三类：（i）URL特征，（ii）内容特征，以及（iii）链接特征。我们利用神经网络的弹性反向传播学习算法开发了一个分类器，取得了良好的准确性。该分类器可以实时的应用于搜索引擎的结果，因为这些特征的计算需要很少的CPU资源。
2014-10-08 cs.IR
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London（伦敦大学伯贝克学院）；University of Messina（墨西拿大学）
本文提出Dr Web，一个基于查询语言的模块化Web数据检索引擎，解决动态内容与杂乱数据提取问题，并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
Evaluating Elements of Web-based Data Enrichment for Pseudo-Relevance Feedback Retrieval
在这项工作中，我们分析了一个伪相关检索方法的基础上，Web搜索引擎的结果。通过使用来自Web搜索引擎结果页面和链接内容的文本数据来丰富主题，我们训练特定于主题且具有成本效益的分类器，这些分类器可用于搜索相关文档的测试集合。在Grossman和Cormack最初在TREC Common Core 2018上所做的尝试的基础上，我们考虑到不同的搜索引擎，查询和测试集合，解决了系统性能随时间推移的问题。我们的实验结果显示了所考虑的组件如何以及在多大程度上影响检索性能。总体而言，分析的方法是强大的平均检索性能和一个有前途的方式来使用Web内容的数据丰富的相关反馈方法。
2022-03-10 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的，仅使用有限的查询样本。此外，查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询，并根据这个样本比较了谷歌和必应的结果，从而解决了这些问题。陪审员是通过众包找到的，数据是使用专门的软件，相关性评估工具（RAT）收集的。我们发现，虽然Google在这两种查询类型上都优于Bing，但信息查询的性能差异相当小。然而，对于导航查询，Google在95.3%的情况下找到了正确答案，而Bing只找到了76.6%的正确答案。我们的结论是，搜索引擎性能的导航查询是非常重要的，因为在这种情况下，用户可以清楚地识别查询，返回正确的结果。因此，这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Web search engine based on DNS
目前没有一个网络搜索引擎能够覆盖互联网上60%以上的网页。大多数页面数据库的更新间隔几乎是一个月。这种情况多年来一直没有改变。收敛性和新近性问题已经成为当前网络搜索引擎的瓶颈问题。为了解决这些问题，本文提出了一种新的系统--基于DNS的搜索引擎。该系统采用了类似DNS的分层分布式体系结构，这与目前任何一个商业搜索引擎都不同。从理论上讲，该系统可以覆盖互联网上的所有网页。它的更新间隔甚至可以是一天。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-05-27 cs.IR cs.NI
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
Is googling risky? A study on risk perception and experiences of adverse consequences in web search
基于德国互联网代表性样本（N=3,884），研究揭示了用户对网络搜索不良后果的风险感知及其与亲身经历的直接关联，并呼吁开展更多独立研究以监测和缓解搜索风险。
2023-05-26 cs.IR
Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
From 10 Blue Links Pages to Feature-Full Search Engine Results Pages -- Analysis of the Temporal Evolution of SERP Features
Web搜索引擎结果页面（SERP）是最知名和最常用的网页之一。这些页面开始时只是简单的“10个蓝色链接”页面，但SERP中的信息目前远远超出了这些链接。这些页面中包含了一些功能，以补充自然和赞助结果，并试图提供查询的答案，而不仅仅是指向可能提供该信息的网站。在这项工作中，我们分析了SERP功能在两个领先的网络搜索引擎，谷歌搜索和微软必应的外观和演变。使用一个来自互联网档案馆的SERP样本，我们分析了这些功能的出现和演变。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。
2023-01-19 cs.IR
Social Network Analysis of yahoo web-search engine query logs
Web现在是无可争议的信息仓库。它现在可以为现代问题提供大部分答案。搜索引擎做了一个伟大的工作，结合和排名的最佳结果时，用户试图搜索任何特定的信息。然而，正如我们所知，“能力越大，责任越大”，数据分析师要找到与查询最相关的信息并不是一件容易的事情。一个主要的挑战是，网络搜索引擎面临的困难，认识到用户的具体搜索兴趣，他的初始查询。在这个项目中，我们尝试从Web搜索引擎的查询日志中构建查询网络，其中节点表示查询，边表示查询之间的语义相关性。
2017-05-02 cs.IR cs.SI
Towards the Ontology Web Search Engine
本文提出了本体Web搜索引擎的设计方案。本文的主要目的是开发这样一个项目，可以很容易地实现。本体网络搜索引擎是一种在网络中查找和索引本体的软件。OWL（Web Ontology Languages）是指本体，它们是SWES（Semantic Web专家系统）运行所必需的。SWES是一个专家系统，它将使用从Web上找到的本体，从中生成规则，并将用这些生成的规则补充其知识库。预计SWES将作为一般用户的通用专家系统。
2015-05-04 cs.AI cs.DL cs.IR
Analyzing Web Search Behavior for Software Engineering Tasks
Web搜索起着不可或缺的作用，在软件工程（SE），以帮助各种任务，如查找文档，调试，安装等，在这项工作中，我们提出了第一个大规模的分析，搜索行为的SE任务使用的搜索查询日志必应，商业网络搜索引擎。首先，我们使用远程监督技术来构建一个机器学习分类器，以提取F1得分为93%的SE搜索查询。然后，我们对一百万个搜索会话进行分析，以了解软件工程相关的查询和会话与其他查询和会话的不同之处。随后，我们提出了一个分类的意图，以确定在软件工程中使用Web搜索的各种情况。最后，我们分析了数百万个SE查询，以了解这些SE搜索意图的分布，搜索指标和趋势。我们的分析表明，SE相关的查询构成了整体网络搜索流量的重要组成部分。此外，我们发现，有六个主要的意图类别，其中网络搜索是用于软件工程。这些技术和见解不仅可以帮助改进现有工具，还可以激发新工具的开发，帮助为SE相关任务查找信息。
2020-08-29 cs.IR cs.SE
What Generative Search Engines Like and How to Optimize Web Content Cooperatively
本文提出AutoGEO框架，通过提取生成式引擎偏好规则，结合基于提示的系统和基于规则奖励训练的模型来重写Web内容，有效提升了生成式搜索中的内容关注度并保持搜索效用。
2025-10-13 cs.IR
A New Approach to Design Graph Based Search Engine for Multiple Domains Using Different Ontologies
搜索引擎已经成为人们从万维网（WWW）上搜索任何信息的主要工具。在检索万维网上庞大的数字图书馆时，尽一切努力检索最相关的结果。但是在WWW中，大多数Web页面都是HTML格式的，并且没有这样的标记来告诉爬虫找到任何特定的域。为了找到更相关的结果，我们使用该特定领域的本体。如果我们使用多个领域，那么我们使用多个本体。为了设计一个面向多个领域的特定领域搜索引擎，爬虫必须根据预定义的本体在万维网上抓取特定领域的网页。
2011-09-23 cs.IR
Effect of Query Formation on Web Search Engine Results
搜索引擎中的查询一般基于自然语言。查询可以用多种方式表达而不改变其含义，因为它取决于人类在特定时刻的思考。查询的目的是获得最相关的结果，而不考虑查询是如何表达的。在本文中，我们已经研究了搜索引擎的结果覆盖率和前几个结果的相似性的变化时，查询是在两个语义相同，但在不同的格式输入。已通过Google搜索引擎进行搜索。已经选择了15对查询用于研究。t检验已被用于此目的，并已检查的基础上找到的文件总数，前五个和前十个文件的相似性，在两种不同格式的查询输入的结果。已经发现，总覆盖率是相同的，但前几个结果是显著不同的。
2013-03-07 cs.IR
Mining the Web for Synonyms: PMI-IR versus LSA on TOEFL
本文提出了一种简单的无监督学习算法，用于识别同义词，通过查询Web搜索引擎获得的统计数据的基础上。该算法使用点态互信息（PMI）和信息检索（IR）来度量词对之间的相似性。PMI-IR使用80个同义词测试问题从英语作为外语（TOEFL）和50个同义词测试问题，从收集的测试英语作为第二语言（ESL）的学生进行实证评估。在这两个测试中，该算法获得了74%的分数。PMI-IR与潜在语义分析（LSA）进行了对比，后者在相同的80个托福问题上获得了64%的分数。本文讨论了新的无监督学习算法的潜在应用和LSA和潜在语义索引（LSI）的结果的一些影响。
2002-12-11 cs.CL cs.IR cs.LG
Annotation based automatic action processing
在搜索引擎优化的强大动力背景下，网络上的结构化数据量正在迅速增长。主要的搜索引擎提供商承诺通过使用schema.org的词汇表对网页内容进行注释，从而将其作为结构化数据提供，从而极大地提高可见性。但是除了搜索引擎的使用之外，数据还可以以各种其他方式使用，例如用于自动处理带注释的Web服务或动作。在这项工作中，我们提出了一种方法来消费和处理schema.org注释的数据在网络上，并给出了一个想法，最佳实践可以看起来像。
2018-02-01 cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
IntelligentWeb Agent for Search Engines
在本文中，我们回顾了互联网的发展和技术，是有用的信息搜索和检索在Web上的研究。搜索引擎是检索信息的有效工具。我们在互联网上从几个不同的来源收集数据，例如，用户、主机和Web站点的当前和预计数量。资料来源所述的趋势是一致的，表明过去和未来十年呈指数增长。因此，这并不奇怪，约85%的互联网用户调查声称使用搜索引擎和搜索服务，以找到特定的信息和用户不满意的性能，目前这一代的搜索引擎，检索速度慢，通信延迟，检索结果的质量差。Web代理，程序自主地执行某些任务，已经以蜘蛛，爬虫和机器人的形式存在。代理人提供了大量的好处和危害，正因为如此，他们的发展必须涉及注意技术细节。本文阐述了不同类型的代理，爬虫，机器人等，以一种系统的，自动化的方式挖掘网页内容，并讨论了使用爬虫收集特定类型的信息，从网页，如收获电子邮件地址
2013-10-17 cs.IR
Web crawler strategies for web pages under robot.txt restriction
Sri Vaishnav Institute of Technology and Science（斯里瓦伊什纳夫技术与科学学院）
本文解释搜索引擎与网络爬虫的基本工作机制，重点说明 robot.txt 及机器人排除协议如何限制和指导网页爬取。
2024-02-28 cs.AI cs.IR
A systematic framework to discover pattern for web spam classification
Web垃圾邮件是困扰万维网搜索引擎用户的一个大问题。他们使用欺骗性的技术来获得高排名。虽然许多研究者已经提出了不同的分类和Web垃圾邮件检测的方法，但它仍然是计算机科学中的一个开放性问题。对这些网站进行分析和评价是发现和分类这些网站特征的有效步骤。目前有多种方法和算法可以用来检测这些网站，例如决策树算法。在本文中，我们提出了一个系统的框架，基于CHAID算法和一个改进的字符串匹配算法（KMP）的特征提取和分析这些网站。我们使用Alexa全球500强网站和Bing搜索引擎的500个查询结果的数据集评估了我们的模型和其他方法。
2017-11-19 cs.IR
Performance Oriented Query Processing In GEO Based Location Search Engines
地理位置搜索引擎允许用户通过将查询集中在特定地理区域上来以直观的方式对搜索结果进行约束和排序。地理搜索技术，也被称为位置搜索，最近受到了主要搜索引擎公司的极大关注。这一领域的学术研究主要集中在从网络中提取地理知识的技术上。在本文中，我们研究了可扩展的地理搜索引擎中的高效查询处理问题。查询处理是标准Web搜索引擎中的主要瓶颈，也是主要引擎使用数千台机器的主要原因。地理搜索引擎查询处理的不同之处在于它需要文本和空间数据处理技术的组合。我们提出了几种算法，有效的查询处理地理搜索引擎，将它们集成到现有的Web搜索查询处理器，并评估它们的大集合的真实数据和查询痕迹。
2010-05-06 cs.IR
The Web is missing an essential part of infrastructure: an Open Web Index
一项建立网络索引的建议，该索引将搜索引擎的基础设施部分（索引）与服务部分分开，这将构成无数搜索引擎和其他服务的基础，这些服务在对所有人开放的公共基础设施之上利用网络数据。
2019-03-09 cs.IR cs.SI
WebANNS: Fast and Efficient Approximate Nearest Neighbor Search in Web Browsers
针对浏览器中近似最近邻搜索面临的计算、存储与内存限制，本文提出WebANNS引擎，利用WebAssembly、惰性加载和启发式策略，实现查询延迟最高743.8倍提升并将内存占用降低39%，使浏览器内ANNS达到用户可接受的延迟。
2025-07-02 cs.IR
Machine Readable Web APIs with Schema.org Action Annotations
由四个主要搜索引擎领导的schema.org计划策划了一个用于描述网络内容的词汇表。网络上语义标注的数量正在增加，主要是由于这些搜索引擎提供的工业激励。注释不仅被搜索引擎使用，而且还被其他自动化代理（如智能个人助理（IPA））使用。然而，仅仅注释数据还不足以让自动代理充分发挥其潜力。Web API还应该被注释以自动化服务消费，这样IPA就可以完成预订酒店房间或购买活动门票等任务。虽然在语义Web服务领域已经有了大量的努力，但这些方法在学术界之外并没有得到太多的采用，主要是由于缺乏具体的激励措施和陡峭的学习曲线。在本文中，我们提出了一个轻量级的，自下而上的方法，基于schema.org的行动来注释Web API。我们分析schema.org词汇表的范围内的轻量级语义Web服务的文献，并提出必要的扩展。我们表明，schema.org行动可能是一个合适的词汇表Web API的描述。我们通过注释住宿服务提供商的现有Web API来展示我们的工作。此外，我们简要地演示了如何动态地使用这些API，例如，由对话系统。
2018-05-14 cs.IR
Efficient Query Rewrite for Structured Web Queries
Web搜索引擎和专业的在线垂直领域越来越多地将来自结构化数据源的结果整合到一起，以回答语义丰富的用户查询。例如，可以使用来自电视数据表的信息来回答查询\WebQuery{Samsung 50 inch led tv}。然而，用户不是领域专家，并且经常输入与底层数据不精确匹配的值。三星生产46或55英寸的LED电视，但不生产50英寸的。因此，上面提到的查询的字面执行将返回零结果。为了最佳的用户体验，搜索引擎将优选返回尽可能接近原始查询的至少最小数量的结果。此外，由于网络搜索中典型的快速检索速度，搜索引擎查询执行是有时限的。在本文中，我们提出的算法，重写用户查询的原则性的方式，表面至少所需数量的结果，同时满足低延迟的约束，以解决这些挑战。我们正式这些要求，并介绍了一个一般的制定的问题。我们表明，在一个自然的配方，这个问题是NP难的最佳解决方案，并提出近似算法，产生良好的重写。我们经验验证我们的算法从商业搜索引擎的购物垂直获得的大规模数据。
2011-08-12 cs.IR
Web Search of New Linearized Medical Drug Leads
网络是一个潜在的巨大的医疗药物线索来源。但是，尽管有大量关于药物的多维信息，目前商业搜索引擎仅接受线性关键字串作为输入。这项工作使用线性化的分子结构片段作为知识表示单元，作为搜索引擎的输入。结果表明，相当任意的片段是令人惊讶的是没有歧义，获得相对较小的结果集，这是既可管理的和丰富的新的潜在的药物线索。
2014-04-13 cs.IR
Web pages search engine based on DNS
搜索引擎是获取当今世界上最大的信息源--Internet的主要途径。互联网正在改变我们生活的方方面面。信息检索服务可能是其最重要的服务。但是对于普通用户来说，互联网搜索服务与我们的期望还有很大的差距，存在着大量的无关搜索结果、陈旧的信息等问题。针对这些问题，提出了一种新的系统--基于DNS的搜索引擎。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-03-23 cs.IR cs.NI
Ordinary Search Engine Users assessing Difficulty, Effort, and Outcome for Simple and Complex Search Tasks
搜索引擎是在网络上查找信息的首选工具。他们正在成为回答我们任何搜索需求的共同助手。我们使用它们来执行简单的查找任务，也可以执行相当耗时和更复杂的搜索任务。然而，我们并不太了解用户在执行这些任务时的性能-特别是对于普通用户来说。本研究的目的是更深入地了解网络用户是否管理，以评估难度，时间的努力，查询的努力，和搜索任务的任务结果，如果他们的判断性能与任务的复杂性。我们的研究是在56名具有广泛人口背景的人中进行的。他们在实验室环境中用商业网络搜索引擎进行了一组12个搜索任务。结果证实，这是正常的Web用户很难判断的难度和努力，进行复杂的搜索任务。对简单任务的判断比对复杂任务的判断更可靠。任务复杂度是衡量性能的一个指标。
2012-06-12 cs.IR
Mapping Web Pages by Internet Protocol (IP) addresses: Analyzing Spatial and Temporal Characteristics of Web Search Engine Results
互联网协议（IP）地址经常被几个不同领域的研究人员用作定位Web用户的方法。然而，关于这些位置的准确性有相互竞争的报告，并且在手动比较IP地理定位数据库和网页地理信息方面几乎没有进行过研究。本文将Yahoo搜索引擎中的网页分为十二类，从“博客”、“新闻”到“教育”、“政府”。然后，我们手动将网页内容创建者的邮寄地址或街道地址与给定IP地址的地理定位结果进行比较。我们介绍了一种制图设计方法，通过创建核密度图可视化与特定关键字相关联的网页的信息景观。
2018-10-15 cs.IR cs.NI cs.SI
Why People Search for Images using Web Search Engines
人类与图像搜索引擎交互的意图或目标是什么？了解人们为什么搜索图像是Web图像搜索引擎的主要关注点，因为用户满意度可能会随着意图的变化而变化。以前对图像搜索行为的分析大多是基于查询的，重点是人们搜索什么图像，而不是基于意图的，即人们为什么搜索图像。到目前为止，还没有深入的调查如何不同的图像搜索意图影响用户的搜索行为。在本文中，我们解决了以下问题：（1）为什么人们在基于文本的Web图像搜索系统中搜索图像？（2）图像搜索行为如何随用户意图而变化？（3）我们能否从搜索会话早期的交互中有效地预测用户意图？为此，我们进行了基于实验室的用户研究和商业搜索日志分析。我们表明，用户在图像搜索的意图可以分为三类：探索/学习，娱乐，定位/获取。我们基于实验室的用户研究揭示了不同的用户行为模式下，这三个意图，如第一次点击时间，查询重构，停留时间和鼠标移动的结果页面。在图像搜索会话的早期阶段，即鼠标滚动之前，基于用户交互功能，我们开发了一个意图分类器，该分类器能够实现将意图分类到我们的三个意图类中的有希望的结果。考虑到所有特征都可以在线且不显眼地获得，预测的意图可以为在滚动之后立即选择排名方法提供指导。
2017-11-27 cs.IR
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而，用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页，如广告，导航链接等，在本文中，我们提出了一种快速的算法，称为FastContentExtractor自动检测主要内容块的网页，通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板，可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持，这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
TripClick: The Log Files of a Large Health Web Search Engine
点击日志是各种信息检索（IR）任务的宝贵资源。这包括查询理解/分析，以及学习有效的IR模型，特别是当模型需要大量的训练数据时。我们发布了一个大规模的特定领域的点击日志数据集，从旅行数据库健康网络搜索引擎的用户交互获得。我们的点击日志数据集包括2013年至2020年间收集的约520万次用户交互。我们使用这个数据集来创建一个标准的IR评估基准- TripClick -大约有70万个独特的自由文本查询和130万对查询文档相关性信号，其相关性由两个点击模型估计。因此，该集合是为数不多的提供必要的数据丰富性和规模的数据集之一，以训练具有大量参数的神经IR模型，特别是在健康领域的第一个。使用TripClick，我们进行实验来评估各种IR模型，显示利用这些数据来训练神经架构的好处。特别是，评估结果表明，性能最好的神经IR模型显着提高了性能的大幅度相对于经典的IR模型，特别是对于更频繁的查询。
2021-04-28 cs.IR
