A Framework for Prefetching Relevant Web Pages using Predictive Prefetching Engine (PPE)
本文提出了一个框架，以增加相关性的网页检索的搜索引擎。该方法引入了一个预测预取引擎（PPE），它利用各种数据采掘算法的日志维护的搜索引擎。该方法的基本前提是，在集群访问的情况下，Web服务器的用户请求的下一个页面通常基于当前和以前请求的页面。在此基础上，绘制规则，然后引导路径预取所需的页面。为了执行预取更多相关页面的预期任务，引入了代理。
2011-09-28 cs.IR
What Users See - Structures in Search Engine Results Pages
本文研究了搜索引擎结果页面的组成。我们定义了最流行的网络搜索引擎在其结果页面上使用的元素（例如，有机结果、广告、快捷方式）以及它们在何种程度上用于流行查询与罕见查询。因此，我们向主要的搜索引擎Google、Yahoo、Live.com和Ask发送500个这两种类型的查询。我们计算不同元素被各个引擎使用的频率。总的来说，我们的研究基于42，758个元素。调查结果包括，搜索引擎使用不同的方法来组成结果页面，因此，用户可以看到不同的结果集取决于搜索引擎和搜索查询使用。有机结果仍然在结果页面中发挥主要作用，但不同的快捷方式也很重要。关于某些主机在结果集中的频率，我们发现所有搜索引擎都经常显示维基百科的结果，而其他主机的显示取决于所使用的搜索引擎。谷歌和雅虎都更喜欢自己提供的结果（如YouTube或雅虎答案）。由于我们使用了搜索引擎的.com界面，因此结果可能对其他国家/地区特定的界面无效。
2015-11-18 cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据，而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是，这是繁琐和耗时的，以及困难的数据时，要检索的是大量的。由于复杂的结构化网页，从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期，它们被认为是脚本，如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题，我们正在使用一种新的算法，称为VIPS算法，即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Web-page Prediction for Domain Specific Web-search using Boolean Bit Mask
搜索引擎是一种网页检索工具。如今，网络搜索者使用高效的搜索引擎来利用他们的时间。为了提高搜索引擎的性能，我们引入了一种独特的机制，它将为Web搜索者提供更突出的搜索结果。在本文中，我们将讨论一个特定领域的Web搜索原型，它将产生预测的网页列表，用户给定的搜索字符串使用布尔位掩码。
2012-06-25 cs.IR
Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
Query sensitive comparative summarization of search results using concept based segmentation
查询敏感摘要是指根据用户的搜索查询，为用户提供单个或多个网页内容的摘要。本文提出了一种新颖的想法，从一组URL的搜索结果生成一个比较摘要。用户从搜索引擎产生的搜索结果中选择一组网页链接。生成这些选定网站的比较摘要。该方法利用了这些网页的HTML DOM树结构。HTML文档被分割成一组概念块。每个概念块的句子得分相对于查询和特征关键字计算。从不同网页的概念块中抽取重要句子，动态地组成比较摘要。该系统减少了用户浏览各种网站以比较信息所需的时间和精力。通过对内容的比较总结，帮助用户快速决策。
2012-01-11 cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results
在现代搜索引擎中，网页流行度、PageRank、访问次数和其他衡量网页流行度的指标显著影响搜索结果的排名。人们的假设是，受欢迎程度与质量密切相关，这是一个难以直接衡量的更难以捉摸的概念。不幸的是，流行度和质量之间的相关性是非常弱的新创建的页面，尚未收到许多访问和/或在链接。更糟糕的是，由于新内容的发现主要是通过查询搜索引擎完成的，而且由于用户通常将注意力集中在前几个结果上，新创建的但高质量的页面实际上被"拒之门外"，并且可能需要很长时间才能变得流行。我们提出了一个简单而优雅的解决方案：在搜索结果排名方法中引入可控的随机性。这样做为新页面提供了一个证明其价值的机会，尽管显然使用太多的随机性会降低结果质量并取消所获得的任何好处。因此，在估计新页面质量的探索和利用已知高质量的页面之间存在权衡。我们研究这种权衡分析和通过模拟，在经济目标函数的基础上，随着时间的推移摊销的总结果质量。我们发现，适度的随机性会导致搜索结果的改善。
2005-03-04 cs.IR
Low cost page quality factors to detect web spam
Web垃圾邮件是对搜索引擎结果质量的一大挑战。准确地检测出网络垃圾信息对于搜索引擎来说是非常重要的。在本文中，我们提出了32个低成本的质量因素分类垃圾邮件和火腿网页的实时的的基础上。这些特征可以分为三类：（i）URL特征，（ii）内容特征，以及（iii）链接特征。我们利用神经网络的弹性反向传播学习算法开发了一个分类器，取得了良好的准确性。该分类器可以实时的应用于搜索引擎的结果，因为这些特征的计算需要很少的CPU资源。
2014-10-08 cs.IR
The Evolution of Web Search User Interfaces -- An Archaeological Analysis of Google Search Engine Result Pages
网络搜索引擎改变了人们搜索和访问信息的方式，从而改变了每个人的生活。搜索引擎特别关注用户界面，尤其是搜索引擎结果页面（SERP）。众所周知的“10个蓝色链接”列表已经发展成为更丰富的界面，通常是个性化的搜索查询，用户和其他方面。20多年后，文献没有充分描述这一发展。我们提出了一个研究SERP接口的演变，在过去的二十年中使用谷歌搜索作为案例研究。我们使用每年搜索次数最多的查询从Internet Archive中提取SERP样本。使用这个数据集，我们分析了SERP如何在内容，布局，设计（例如，配色方案、文本样式、图形）、导航和文件大小。我们还分析了与SERP元素相关的用户界面设计模式。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。这个系统的分析描绘了搜索引擎用户界面的发展趋势，更普遍的是，网页设计。我们预计这项工作将引发其他更具体的研究，可以利用我们的数据集。
2023-01-20 cs.IR
Incorporating Clicks, Attention and Satisfaction into a Search Engine Result Page Evaluation Model
现代搜索引擎的结果页面通常为用户提供即时价值，并以易于导航的方式组织信息。核心排名功能有助于实现这一点，结果片段，结果块的智能组织以及对一箱答案或侧面板的广泛使用也是如此。虽然它们对用户有用，并帮助搜索引擎脱颖而出，但这些功能对评估提出了两大挑战。首先，在搜索引擎结果页面（SERP）上存在这样的元素可能会导致点击的缺失，然而，这与不满意无关，即所谓的“良好放弃”。“其次，SERP项目的非线性布局和视觉差异可能会导致用户注意力的非平凡模式，这是现有评估指标无法捕捉的。在本文中，我们提出了一个模型，共同捕捉点击行为，用户注意力和满意度，CAS模型的SERP用户行为，并证明它提供了更准确的预测用户的行动和自我报告的满意度比现有的模型的基础上点击单独。我们使用CAS模型来构建一个新的评估指标，该指标可应用于非线性SERP布局，并可考虑用户直接在SERP上获得的效用。我们证明，这个指标显示出更好的协议与用户报告的满意度比传统的评价指标。
2016-09-02 cs.IR
Eugene Garfield, Francis Narin, and PageRank: The Theoretical Bases of the Google Search Engine
本文通过比较Google Scholar的搜索引擎PageRank与Garfield的引文索引理论的前提，对Google Scholar评估研究人员发表的论文的有效性进行了检验。研究发现，两者的前提是一致的，PageRank和Garfield的引文索引理论相互验证。
2013-12-13 cs.DL cs.IR physics.soc-ph
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的，导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面，语义搜索引擎提供高效和相关的结果，因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具，它将用户的查询转发到几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎，通过智能代理从不同的语义搜索引擎（如Hakia，DuckDuckGo，SenseBot）获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Users' Perception of Search Engine Biases and Satisfaction
搜索引擎可能会一直倾向于某些值，而不是其他值，这被认为是由于内置的基础设施而产生的偏见。许多研究致力于从搜索引擎自身的角度来检测、控制和减轻这些偏见的影响。本研究从终端用户的角度出发，分析了他们对搜索引擎偏见的感知，以及当偏见得到规范时，他们的满意度。在这项研究中，我们将来自搜索引擎Bing的真实搜索页面与结果中具有更多差异（即较少偏见）的合成页面配对。这两个页面都显示了搜索查询的前10个搜索项，我们问参与者他们更喜欢哪一个，为什么他们更喜欢选择的那个。统计分析显示，总体而言，参与者更喜欢原始的Bing页面，并且介绍的位置也与用户的偏好有关。我们发现，用户更喜欢与搜索查询更一致和相关的结果。在一定程度上，引入不确定性破坏了搜索结果的相关性，并损害了用户的满意度。此外，我们证实，用户往往更关注结果的顶部，而不是底部。
2021-05-06 cs.IR
Scoring With the Engine: Retrieval Exposure, Cross-Engine Divergence, and the Limits of Engine-Agnostic GEO Scores
Aiso Boost Ltd.（Aiso Boost 有限公司）
本研究通过审计四个生成式引擎，发现跨引擎引文重叠极低，表明引擎无关评分只能衡量页面质量，无法替代端到端可见性，需分别报告曝光、选择等不同量。
2026-09-22 cs.IR
Is This a Good Title?
丢失的网页、返回404“Page Not Found”错误或HTTP响应代码200但取消引用意外内容的URI在当今的浏览体验中无处不在。我们使用互联网搜索引擎来重新定位这些丢失的页面，并提供帮助自动化重新发现过程的方法。我们提出了查询网页的标题对搜索引擎。我们研究了标题的检索性能，并将它们与来自页面内容的词汇签名进行了比较。由于标题自然地表示文档的内容，因此它们直观地随时间而变化。我们测量当前标题和从互联网档案馆获得的相同页面的副本标题之间的编辑距离，并显示它们的演变。我们进一步研究了随着时间的推移，网页的标题更改和内容修改之间的相关性。最后，我们提供了一个预测模型的质量，任何给定的网页标题在其发现性能。我们的结果显示，标题返回超过60%的URI排名靠前，并且在前10个结果中返回了进一步的相关内容。我们发现，标题衰减缓慢，但远比页面的内容更稳定。我们进一步提取停止标题比可以帮助识别性能不足的搜索引擎查询。
2010-04-15 cs.IR
Web pages search engine based on DNS
搜索引擎是获取当今世界上最大的信息源--Internet的主要途径。互联网正在改变我们生活的方方面面。信息检索服务可能是其最重要的服务。但是对于普通用户来说，互联网搜索服务与我们的期望还有很大的差距，存在着大量的无关搜索结果、陈旧的信息等问题。针对这些问题，提出了一种新的系统--基于DNS的搜索引擎。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-03-23 cs.IR cs.NI
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而，用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页，如广告，导航链接等，在本文中，我们提出了一种快速的算法，称为FastContentExtractor自动检测主要内容块的网页，通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板，可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持，这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
Using Web Page Titles to Rediscover Lost Web Pages
标题由网页中的TITLE元素表示。我们在Yahoo搜索引擎上查询了标题，以确定页面的状态（找到，未找到）。我们根据标题的元素进行了几次测试。这些测试用于辨别我们是否可以根据标题预测页面状态。我们的研究结果提高了我们确定坏标题的能力，但没有提高我们确定好标题的能力。
2010-02-11 cs.IR
Semantic snippet construction for search engine results based on segment evaluation
来自搜索引擎的结果列表包括来自每个结果项的网页的链接和摘录。结果列表中的片段在帮助用户点击它方面起着至关重要的作用。本文提出了一种新的方法来构造基于页面中的片段的语义评估的片段。通过应用模型来评估页面中存在的分段并选择具有最高分数的分段来识别目标分段。该模型使得用户判断点击结果项更容易，因为片段是在基于多个因素的关键评估后语义构建的。所提出的模型的原型实现证实了经验验证。
2012-02-13 cs.IR
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
Multiple Presents: How Search Engines Re-write the Past
互联网搜索引擎的功能是在不断变化的。搜索引擎定期更新索引，用新的网页替换网页，向索引中添加新的网页，并丢失旧的网页。某些搜索引擎可用于在互联网上搜索特定时间段的信息。然而，这些“日期戳”不是由网页在Web中的第一次出现确定的，而是由网页更新或添加新网页的最后日期确定的，搜索引擎的爬虫会在数据库中更新此更改。这对学术研究中搜索引擎的使用以及时间和时间性概念的理论含义具有重要意义。我们使用AltaVista和Google在不同的时间搜索不同的更新频率之间的相互作用。结果的检索和检索信息的结构都随着时间的推移而受到侵蚀。
2009-11-18 cs.IR physics.soc-ph
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
Mapping Web Pages by Internet Protocol (IP) addresses: Analyzing Spatial and Temporal Characteristics of Web Search Engine Results
互联网协议（IP）地址经常被几个不同领域的研究人员用作定位Web用户的方法。然而，关于这些位置的准确性有相互竞争的报告，并且在手动比较IP地理定位数据库和网页地理信息方面几乎没有进行过研究。本文将Yahoo搜索引擎中的网页分为十二类，从“博客”、“新闻”到“教育”、“政府”。然后，我们手动将网页内容创建者的邮寄地址或街道地址与给定IP地址的地理定位结果进行比较。我们介绍了一种制图设计方法，通过创建核密度图可视化与特定关键字相关联的网页的信息景观。
2018-10-15 cs.IR cs.NI cs.SI
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
HiPS: Hierarchical PDF Segmentation of Doctrinal Legal Books
Ruhr University Bochum, RC Trust（鲁尔大学波鸿分校，RC信托）；Otto von Guericke University（奥托·冯·格里克大学）
本文提出HiPS，用于分层PDF分割doctrinal法律书籍，提供了一个包含49本开放获取法律书籍的黄金标准基准，包含9812个手动编纂的标题、层级和页面锚点，同时引入了基于目录和无目录的分割管道，以提高标题检测、层级重建和边界分配的准确性。
2026-06-04 cs.IR
How to make the top ten: Approximating PageRank from in-degree
PageRank已经成为搜索引擎成功的关键因素，它允许在结果的顶部屏幕中排名最重要的点击。将PageRank与其他声望衡量标准（如入度）区分开来的一个关键方面是它的全球性。从信息提供方的角度来看，这使得很难或不可能预测他们的页面将如何排名。因此，市场已经出现了优化的搜索引擎结果。在这里，我们研究的准确性，PageRank可以近似度，本地措施免费提供的搜索引擎。理论分析和实证分析表明，在Web链接图的弱度相关性下，这种近似可以相对准确，为服务和信息提供方提供了一种有效的新的营销工具。
2005-11-03 cs.IR physics.soc-ph
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
An Empirical Investigation On Search Engine Ad Disclosure
这项针对德国搜索引擎用户（N = 1,000）的代表性研究重点关注用户区分Google结果页面上的自然结果和广告的能力。我们将有关Google业务的问题与基于任务的研究相结合，在这些研究中，用户被要求在结果页面的屏幕截图中区分广告和自然结果。我们发现，只有一小部分用户能够可靠地区分广告和自然结果，并且用户对Google商业模式的了解非常有限。我们的结论是，广告的标签不够，许多用户可能会点击广告，假设他们选择有机的结果。
2017-10-23 cs.IR
Multi-reference Cosine: A New Approach to Text Similarity Measurement in Large Collections
一个高效、可扩展的文档相似性检测系统的重要性是不可否认的。搜索引擎需要批量文本相似性度量来检测其索引中的重复和接近重复的网页，以防止多次索引网页。此外，在评分阶段，搜索引擎需要相似性度量来检测网页上的重复内容，以提高其结果的质量。结合降维技术和信息增益理论的思想，提出了一种批量文本相似性检测的新方法。新方法的重点是搜索引擎需要检测重复和接近重复的网页。在NEWS20数据集上对新方法进行了测试，结果表明，新方法在速度和性能上都优于余弦文本相似度算法。最重要的是，它比其他竞争对手的方法，Simhash相似度算法更快，更准确.
2018-10-07 cs.IR
A New Approach to Design Graph Based Search Engine for Multiple Domains Using Different Ontologies
搜索引擎已经成为人们从万维网（WWW）上搜索任何信息的主要工具。在检索万维网上庞大的数字图书馆时，尽一切努力检索最相关的结果。但是在WWW中，大多数Web页面都是HTML格式的，并且没有这样的标记来告诉爬虫找到任何特定的域。为了找到更相关的结果，我们使用该特定领域的本体。如果我们使用多个领域，那么我们使用多个本体。为了设计一个面向多个领域的特定领域搜索引擎，爬虫必须根据预定义的本体在万维网上抓取特定领域的网页。
2011-09-23 cs.IR
Web crawler strategies for web pages under robot.txt restriction
Sri Vaishnav Institute of Technology and Science（斯里瓦伊什纳夫技术与科学学院）
本文解释搜索引擎与网络爬虫的基本工作机制，重点说明 robot.txt 及机器人排除协议如何限制和指导网页爬取。
2024-02-28 cs.AI cs.IR
Web search engine based on DNS
目前没有一个网络搜索引擎能够覆盖互联网上60%以上的网页。大多数页面数据库的更新间隔几乎是一个月。这种情况多年来一直没有改变。收敛性和新近性问题已经成为当前网络搜索引擎的瓶颈问题。为了解决这些问题，本文提出了一种新的系统--基于DNS的搜索引擎。该系统采用了类似DNS的分层分布式体系结构，这与目前任何一个商业搜索引擎都不同。从理论上讲，该系统可以覆盖互联网上的所有网页。它的更新间隔甚至可以是一天。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-05-27 cs.IR cs.NI
From Citation Selection to Citation Absorption: A Measurement Framework for Generative Engine Optimization Across AI Search Platforms
Independent Researcher China；Independent Researcher
本文提出两阶段测量框架，分析生成引擎优化中的引用选择与吸收，发现引用广度与深度存在差异，不同平台在引用数量和影响上表现不同。
2026-04-29 cs.IR
Identify Web-page Content meaning using Knowledge based System for Dual Meaning Words
在搜索引擎产生搜索结果的过程中，网页内容的含义起着很大的作用。大多数情况下，网页的含义存储在标题或元标签区域，但这些含义并不总是匹配的网页内容。为了克服这种情况，我们需要通过网页内容来识别网页的含义。在这种情况下，当网页内容包含双重含义的单词时，很难识别网页的含义。在本文中，我们介绍了一种新的设计和开发机制，识别网页内容的意义，其中持有双重意义的话，在他们的网页内容。
2012-07-16 cs.IR
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下，垃圾邮件发送者鼓励观众访问他们的网站，并提供不应得的广告收益的网页所有者。在最坏的情况下，他们在页面中使用恶意内容，并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术，隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间，也浪费了大量的搜索引擎资源。因此，垃圾邮件检测方法已被提出作为一种解决方案，以减少垃圾网页的负面影响。实验结果表明，这些技术中的一些工作良好，可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类，并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
What Drives AI Citations? Content, Retrieval and Model Knowledge in Generative Engine Optimization (GEO)
University of Toronto（多伦多大学）
该研究探究生成式搜索引擎引用网页的驱动因素，发现生成式引擎优化（GEO）中，模型重写的子查询检索的页面对引用差异解释力远高于页面属性，模型自身知识也会影响品牌提及，相关发现在B2B市场可重复，且公开了数据与代码。
2026-10-14 cs.CL cs.IR cs.LG
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器，它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容，然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
Intelligent Agent Based Semantic Web in Cloud Computing Environment
考虑到今天的Web场景，有一个有效的和有意义的搜索在Web上，这是由语义Web提供的需求。现有的搜索引擎是基于关键字的。它们在回答来自用户的智能查询时是脆弱的，因为它们的结果依赖于网页中的信息。而语义搜索引擎提供了高效和相关的结果，因为语义网是当前网络的扩展，其中信息被赋予了定义明确的含义。MetaCrawler是一个搜索工具，它使用几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合结果。本文提出了一种名为SemanTeli的元语义搜索引擎，它可以在云中工作。SemanTelli在智能代理的帮助下从不同的语义搜索引擎（如Hakia、DuckDuckGo、SenseBot）获取结果，这些智能代理消除了现有搜索引擎的局限性。
2013-05-04 cs.IR
An Efficient Framework for Whole-Page Reranking via Single-Modal Supervision
本文提出 SMAR 框架，借助高质量单模态排序器进行模态级相关性对齐，并仅用有限整页标注训练重排序器，在降低 70-90% 标注成本的同时提升离线与在线搜索效果。
2025-10-19 cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加，网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类，然后描述了Web结构挖掘。本文介绍了不同的网页排序算法，并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法，如网页排名（PR）、加权网页排名（WPR）、超链接诱导主题选择（HITS）、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口，但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Introducing a New Mechanism for Construction of an Efficient Search Model
搜索引擎已成为人们从WWW上检索信息的必然工具。网络研究者们提出了许多基于不同特征的搜索引擎改进算法。这些算法有时是领域相关的，有时是网页排名相关的，有时是效率相关的等等。我们介绍的是这样一种算法，它是多个领域以及效率相关的。在本文中，我们提供了多级索引的顶部基于索引的无环图（IBAG），支持多个本体，以及减少搜索时间。IBAG仅包含与域相关的页面，并由相关页面图（RPaG）构建。我们还提供了一个比较研究的时间复杂度的各种模型。
2011-02-07 cs.IR
A Syntactic Classification based Web Page Ranking Algorithm
现有的搜索引擎由于缺乏对搜索结果的分类，有时会给出令人不满意的搜索结果。如果有某种方法可以了解用户对搜索结果的偏好，并根据偏好对页面进行排名，那么搜索结果对用户来说将更加有用和准确。本文提出了一种基于网页句法分类的网页排序算法。语法分类并不关心网页内容的含义。该方法主要包括三个步骤：根据用户的需求选择网页的一些属性，测量它们，并在不同类型的网页排序时给予不同的权重。通过对一组网页运行模糊c-均值算法和神经网络分类来支持句法分类的存在。对于相同查询字符串的不同页面类型的排名变化也被证明。
2011-02-03 cs.IR
Timely crawling of high-quality ephemeral new content
如今，越来越多的人使用网络作为他们的最新信息的主要来源。在这种情况下，快速抓取和索引新创建的网页已经成为搜索引擎的关键，特别是因为用户流量的显着部分，这些新的网页（如新闻，博客和论坛帖子）增长真的很快，他们出现后，但只持续了几天。在本文中，我们研究的问题，及时发现和抓取这样短暂的新页面（在用户的兴趣）。传统的抓取策略并不给予这些页面任何特定的优先级，因此可能无法足够快地抓取它们，甚至抓取已经过时的内容。因此，我们提出了一个新的度量，经过深思熟虑的这项任务，它考虑到随着时间的推移，用户的兴趣减少短暂的页面。我们发现，大多数短暂的新页面可以在一个相对较小的一组内容源，并提出了一个程序，找到这样一个集合。我们的想法是定期重新抓取内容源并抓取从它们链接的新创建的页面，专注于高质量（就用户兴趣而言）的内容。这方面的主要困难之一是如何有效地在这两项活动之间分配资源。我们找到了自适应的平衡之间的爬行和rerawls通过最大化建议的度量。此外，我们将搜索引擎点击日志，让我们的爬虫了解当前用户的需求。我们的方法的效率，最后证明了实验上的真实世界的数据。
2013-07-24 cs.IR
Towards two-dimensional search engines
我们研究了各种有向网络的统计特性，使用基于Google矩阵的主导向量（称为PageRank和CheiRank）的节点排名。平均而言，PageRank根据传入链接的数量对节点进行排序，而CheiRank则根据传出链接的数量对节点进行排序。这样，节点的排名就变成二维的【形】，为新型二维的【形】搜索引擎的发展铺平了道路。分析了英国、法国和意大利大学网络、维基百科、Linux内核、基因调控等网络在PageRank-CheiRank平面上信息流的统计特性。一个特别强调的是英国大学网络使用大型数据库公开在英国。还分析了垃圾链接控制的方法。
2012-03-02 cond-mat.stat-mech cs.IR
Evaluating search engines and defining a consensus implementation
不同的搜索引擎对同一个关键字提供不同的输出。这可能是由于相关性的不同定义和/或用户偏好的不同知识/预期，但排名也被怀疑偏向自己的内容，这可能会损害其他内容提供方。在本文中，我们提出了一些初步的步骤，严格的比较和分析的搜索引擎，提出了一个共识的相关性的一个页面的定义，相对于一个关键字，从一组搜索引擎。更具体地说，我们查看几个搜索引擎的结果，以获得关键字样本，并根据页面在所有搜索引擎中的排名，为每个关键字定义页面的可见性。这允许为关键字定义搜索引擎的分数，然后定义所有关键字的平均分数。基于页面的可见性，我们还可以将共识搜索引擎定义为每个关键字显示最可见结果的引擎。我们已经实现了这个模型，并提出了一个分析的结果。
2018-08-02 cs.IR cs.SI stat.AP
A Versatile Dataset of Mouse and Eye Movements on Search Engine Results Pages
University of Luxembourg（卢森堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文贡献了一个综合数据集，利用眼动仪构建客观视觉注意力真值，包含47名参与者在Google SERPs上的2,776个交易查询的鼠标和眼动数据，并提供了基线分类实验以启发未来研究。
2025-05-12 cs.CV cs.HC cs.IR
Navigating the Post-API Dilemma | Search Engine Results Pages Present a Biased View of Social Media Data
University of Notre Dame（圣母大学）
本研究针对后API时代社交媒体数据访问缺失问题，通过比较谷歌SERP结果与Reddit、Twitter/X非抽样数据，发现SERP存在热门偏向、内容偏见、情感偏差及主题缺口，得出其并非API可行替代方案的结论。
2024-11-27 cs.CL cs.IR cs.SI
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页，其中大多数是不相关的。在这种情况下，有效的信息检索从不断扩大的网络是一个具有挑战性的任务，特别是，如果查询是模糊的。这里出现的主要问题是，如何获得相关的页面，一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法，因为它的简单性和鲁棒性。分析表明，我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
