Web Page Classification using LLMs for Crawling Support
Hitachi, Ltd. Research and Development Group（日立公司研究开发部）
本文提出利用LLM将网页分为索引页与内容页，并选择索引页作为爬取新页面的起点，实验证明其在分类性能和新页面覆盖率上均优于基线。
2025-05-11 cs.CL cs.IR
In-Degree and PageRank of Web pages: Why do they follow similar power laws?
PageRank是Google设计的一种流行度衡量标准，用于对网页进行排名。实验证实，PageRank服从“幂律”，其指数与In度相同。本文提出了一种新的数学模型来解释这一现象。PageRank和入度之间的关系通过一个随机方程来建模，该随机方程的灵感来自PageRank的原始定义，并且类似于M/G/1队列中忙期的著名分布恒等式。此外，我们采用正则变分理论和Tauberian定理来分析证明PageRank和In度的尾部行为仅相差一个乘法因子，为此我们导出了一个封闭形式的表达式。我们的分析结果与实验数据吻合得很好。
2006-12-04 cs.IR math.PR
Web-page Prediction for Domain Specific Web-search using Boolean Bit Mask
搜索引擎是一种网页检索工具。如今，网络搜索者使用高效的搜索引擎来利用他们的时间。为了提高搜索引擎的性能，我们引入了一种独特的机制，它将为Web搜索者提供更突出的搜索结果。在本文中，我们将讨论一个特定领域的Web搜索原型，它将产生预测的网页列表，用户给定的搜索字符串使用布尔位掩码。
2012-06-25 cs.IR
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
Semantic Web Prefetching Using Semantic Relatedness between Web pages
在快速发展的数字化生活中，互联网已经成为人们的生活方式，即使互联网速度提高，更高的延迟时间仍然是一个挑战。为了减少延迟，可以使用缓存和预取技术。然而，缓存失败的动态网站，不断变化迅速。另一种技术是Web预取，它预取用户将来可能请求的网页。语义Web预取利用关键字和描述性文本，如锚文本，标题，文本周围的锚文本的当前网页预测用户未来的请求。语义信息是在网页设计过程中嵌入到网页中的，其目的是反映网页之间的关系。客户端可以从服务器获取此信息。然而，该技术涉及用于添加外部标签的网页设计者的负载和用于提供该信息以及期望的页面的服务器的负载，这是不期望的。利用用户提供的关键词和当前网页上超链接的锚文本来寻找网页之间的语义关系，给出了顺序语义关系和相似语义关系的算法。这些算法将在客户端实现，这将不会导致设计器的开销和语义信息在服务器上的负载。
2017-06-28 cs.IR
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
An Evaluation of Link Neighborhood Lexical Signatures to Rediscover Missing Web Pages
为了发现丢失网页的新URI，以前已经提出了词汇签名，它由少量的单词组成，这些单词被选择来表示页面的“about”。然而，先前的方法依赖于在页面丢失之前计算词汇签名，或者使用页面的缓存或存档版本来计算词汇签名。我们展示了一个系统，从它的链接邻居，即“反向链接”，或链接到丢失的页面的页面构建一个词汇签名。在测试了各种方法后，我们表明，一个可以构建一个词汇签名丢失的网页使用只有10个反向链接页面。此外，我们表明，只有第一级的反向链接是有用的，在这方面的努力。反向链接用来指向缺失页面的文本被用作创建四字词汇签名的输入。在超过一半的测试用例中，该词法签名被证明可以成功地找到目标URI。
2011-02-04 cs.DL cs.IR cs.SI
A Syntactic Classification based Web Page Ranking Algorithm
现有的搜索引擎由于缺乏对搜索结果的分类，有时会给出令人不满意的搜索结果。如果有某种方法可以了解用户对搜索结果的偏好，并根据偏好对页面进行排名，那么搜索结果对用户来说将更加有用和准确。本文提出了一种基于网页句法分类的网页排序算法。语法分类并不关心网页内容的含义。该方法主要包括三个步骤：根据用户的需求选择网页的一些属性，测量它们，并在不同类型的网页排序时给予不同的权重。通过对一组网页运行模糊c-均值算法和神经网络分类来支持句法分类的存在。对于相同查询字符串的不同页面类型的排名变化也被证明。
2011-02-03 cs.IR
Local and Global Topics in Text Modeling of Web Pages Nested in Web Sites
主题模型是用于分析文本文档集合的流行模型。该模型断言，文件是分布在潜在的主题和潜在的主题分布在词。嵌套文档集合是指文档嵌套在更高层次的结构中，如书籍中的故事、期刊中的文章或网站中的网页。在单个文档集合中，主题是全局的，或者在所有文档中共享。对于嵌套在网站中的网页，主题频率可能会因网站而异。在一个网站中，主题频率几乎肯定会在网页之间变化。主题频率的层次先验模型这种层次结构，并指定一个全球主题分布。网站主题分布围绕全局主题分布而变化，并且网页主题分布围绕网站主题分布而变化。在嵌套的网页集合中，某些主题可能是单个网站所独有的。网页嵌套集合中的局部主题是一个网站所独有的主题。对于美国地方卫生部门网站，对文本的简要检查显示了每个部门特有的地方地理和新闻主题，这些主题在其他部门中不存在。忽略嵌套的主题模型可以识别本地主题，但不将主题标记为本地，也不显式地识别本地主题的网站所有者。对于嵌套在网站内的网页，本地主题模型显式地标记本地主题并标识所属网站。这种识别可用于调整关于全局主题的推断。在美国公共卫生网站数据中，主题覆盖率是在从页面中删除本地主题词后在网站级别定义的。分层局部主题模型可用于识别局部主题，调整关于网站是否覆盖特定健康主题的推断，以及研究健康主题的覆盖程度。
2021-03-30 cs.IR stat.ME
Wextractor: Follow-up of the evolution of prices in web pages
在电子商务世界中，详细网页中的价格跟踪对于购买低于某个阈值的产品等事情非常感兴趣。为了完成这项任务，而不是书签的网页，并重新访问它们，在本文中，我们提出了一种新的Web数据提取系统，称为Wextractor。它包括一个提取方法和一个用于列出检索到的价格的Web应用程序。对于最终用户来说，Wextractor的主要特点是可用性，因为他只需要向感兴趣的页面发出信号，我们的系统就会自动从页面中提取价格。
2017-07-11 cs.IR
Label-Efficient Self-Training for Attribute Extraction from Semi-Structured Web Documents
The Ohio State University（俄亥俄州立大学）；Amazon Science（亚马逊科学）
从HTML文档中提取结构化信息是一个长期研究的问题，具有广泛的应用，包括知识库构建，分面搜索和个性化推荐。先前的工作依赖于来自每个目标网站的几个人工标记的网页或来自一些种子网站的数千个人工标记的网页来训练可转移的提取模型，该模型概括了未见过的目标网站。嘈杂的内容，低站点级别的一致性，以及缺乏注释者之间的协议，使标记网页成为一项耗时且昂贵的考验。我们开发了LEAST --一种用于半结构化Web文档的标签有效的自训练方法来克服这些限制。LEAST利用一些人工标记的页面来伪注释来自目标垂直的大量未标记的网页。它使用自训练在人类标记和伪标记样本上训练可转移的Web提取模型。为了减轻由于噪声训练样本引起的错误传播，LEAST基于其估计的标签准确性对每个训练样本进行重新加权，并将其纳入训练中。据我们所知，这是第一个提出端到端训练的工作，用于仅利用少数人工标记页面的可转移Web提取模型。在大规模公共数据集上进行的实验表明，使用每个种子网站中不到10个人工标记的页面进行训练，LEAST训练的模型在看不见的网站上的表现比以前的最先进的模型高出26个平均F1点以上，减少了人工标记的页面数量，以实现10倍以上的相似性能。
2022-08-27 cs.IR cs.LG
Comparative analysis of various web crawler algorithms
VIT Vellore（维韦卡南达理工学院韦洛尔分校）
本报告比较了五种网络爬虫算法，旨在确定最有效的网页爬取方法，以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
A feasibility study on filtering low-accessibility web pages considering color vision deficiency
Faculty of Informatics, Kindai University（近畿大学信息学部）
本研究提出自动过滤低可访问性网页的方法，使用预测模型评估色觉缺陷用户的可访问性，实验达到0.76 AUC。
2026-06-23 cs.IR
Visual-Aware Representation of Web Pages for Machine Learning Applications
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology（信息技术学院）
本文提出基于FitLayout的网页视觉感知表示与机器学习平台，支持数据集准备、机器学习输入获取，可用于训练图神经网络识别网页关键内容元素，保障结果可复现。
2026-08-20 cs.IR cs.LG
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而，用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页，如广告，导航链接等，在本文中，我们提出了一种快速的算法，称为FastContentExtractor自动检测主要内容块的网页，通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板，可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持，这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
Web Page Categorization Using Artificial Neural Networks
网页分类是在不断增长的网络技术的世界具有挑战性的任务之一。基于不同方法和特征的网页分类方法有很多。本文提出了一种新的基于人工神经网络（ANN）的网页分类方法，通过自动提取网页的特征来实现分类。在这里，我们选择了八个主要类别的网页进行分类，它们是商业与经济、教育、政府、娱乐、体育、新闻与媒体、求职和科学。整个过程的拟议系统是在三个连续的阶段。在第一阶段，通过分析网页的来源自动提取特征。第二阶段包括固定神经网络的输入值;所有值保持在0和1之间。这些值的变化会影响输出。最后，第三阶段确定出八个预定义的类的某个网页的类。该阶段使用人工神经网络的反向传播算法来完成。拟议的概念将促进网络挖掘、从网络和搜索引擎检索信息。
2010-09-25 cs.IR cs.NE
Investigating the Change of Web Pages' Titles Over Time
无法访问的网页是浏览体验的一部分。然而，这些页面的内容往往不是完全丢失，而是丢失了。从网页的文本内容生成的词汇签名（LS）已经被证明适合于在尝试发现（丢失的）网页时作为搜索引擎查询。由于LS是昂贵的生成，我们调查的潜力，网页的标题，因为他们是在一个较低的成本。我们提出的结果，从研究随着时间的推移，标题的变化。我们从互联网档案馆提供的随机抽样网页的副本标题，并显示变化的频率以及Levenshtein分数方面的变化程度。我们发现变化的频率非常低，Levenshtein得分很高，这表明标题平均而言与其原始的第一次观察值（有根比较）相比变化很小，与其先前观察值（滑动）相比变化更小。
2009-07-20 cs.DL cs.IR
A personalized web page content filtering model based on segmentation
鉴于万维网上通过不同来源的大量内容爆炸，拥有内容过滤工具已成为强制性的。在未成年人访问网页的情况下，对网页内容进行过滤更为重要。传统的网页拦截系统采用布尔方法，要么显示整个页面，要么完全阻止它。随着网页中动态性的增加，网页的不同部分在不同时间实例保持不同类型的内容已经成为一种常见现象。本文提出了一种模型，以阻止在细粒度的水平，即，而不是完全阻止的页面，这将是有效的，只阻止那些段持有的内容被阻止。与传统方法相比，该方法的优点是分块的粒度更细，并且可以自动识别要分块的页面部分。在该模型上进行的实验表明，在过滤出的片段的准确率为88%。
2012-02-09 cs.IR
Multi-Record Web Page Information Extraction From News Websites
Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对新闻网站多记录列表页研究不足的问题，本文构建含13,120个网页的俄语大规模数据集，并提出基于MarkupLM的多阶段抽取方法。
2025-02-20 cs.CL cs.IR
A Vague Improved Markov Model Approach for Web Page Prediction
ITM University Gurgaon（ITM大学古尔冈校区）
今天，所有领域的大部分信息都可以通过网络获得。它提高了Web的利用率，也吸引了研究人员的兴趣，以提高Web访问和Web利用的有效性。随着Web客户端的数量增加，执行带宽共享，这降低了Web访问效率。网页预取通过在用户请求之前利用下一个所需的网页来提高Web访问的有效性。它是一种智能预测挖掘，分析用户的Web访问历史并预测下一页。在这项工作中，模糊改进马尔可夫模型进行预测。在这项工作中，提出了模糊规则来执行马尔可夫模型不同级别的修剪。一旦预测表生成，将实施关联挖掘以识别最有效的下一页。本文提出了一种集成模型，以提高预测精度和有效性。
2014-05-08 cs.AI cs.IR
A Model for Web Page Usage Mining Based on Segmentation
网页使用挖掘在丰富网页的内容和结构的基础上，从用户与页面的交互收到的反馈起着至关重要的作用。本文提出了一个模型，通过微调挖掘从页面级别到段级别的跟踪活动进行微观管理。所提出的模型使网站管理员能够识别的部分，收到更多的关注，从用户与他人相比。用户行为的细分级别分析提供了一个重要的指标来分析促进页面流量增加的因素。模型的实证验证是通过原型实现。
2012-02-13 cs.IR
Automated Discovery of Real-Time Network Camera Data From Heterogeneous Web Pages
网络摄像机成本的降低以及连接性的提高使世界各地的实体能够部署大量的摄像机网络。网络摄像机提供实时的【形】视觉数据，可用于研究交通模式、应急响应、安全和其他应用。虽然有许多网络摄像机数据来源，但由于编程接口和网站结构的变化，收集数据仍然很困难。以前的解决方案依赖于手动解析目标网站，需要花费数小时才能完成。我们创建了一个通用的自动化解决方案，用于聚合分布在数千个独特结构的网页上的网络摄像机数据。我们分析异构的网页结构，并确定73个样本网络摄像机网站（每个网站有多个网页）之间的共同特点。然后，这些特征用于构建自动摄像机发现模块，该模块可抓取和聚合网络摄像机数据。我们的系统成功地从237，257个独特的网页中提取了57，364个网络摄像头。
2021-03-23 cs.IR
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
A Framework for Prefetching Relevant Web Pages using Predictive Prefetching Engine (PPE)
本文提出了一个框架，以增加相关性的网页检索的搜索引擎。该方法引入了一个预测预取引擎（PPE），它利用各种数据采掘算法的日志维护的搜索引擎。该方法的基本前提是，在集群访问的情况下，Web服务器的用户请求的下一个页面通常基于当前和以前请求的页面。在此基础上，绘制规则，然后引导路径预取所需的页面。为了执行预取更多相关页面的预期任务，引入了代理。
2011-09-28 cs.IR
Web Page Content Extraction Based on Multi-feature Fusion
随着互联网技术的飞速发展，人们获取的网页资源越来越多。同时，当前深度学习技术的快速发展，往往离不开海量的Web数据资源。另一方面，NLP也是数据处理技术的重要组成部分，如网页数据抽取。目前网页文本的抽取技术主要采用单一的启发式函数或策略，且大多需要人工确定阈值。随着Web资源数量和类型的快速增长，使用单一的策略提取不同页面的文本信息仍然存在问题。提出了一种基于多特征融合的网页文本提取算法。根据Web资源的文本信息特点，以DOM节点为抽取单元设计多个统计特征，并根据启发式策略设计高阶特征。该方法建立一个小型神经网络，以DOM节点的多个特征作为输入，预测节点是否包含文本信息，充分利用不同的统计信息和抽取策略，适应更多类型的页面。实验结果表明，该方法具有较好的网页文本提取能力，避免了人工确定阈值的问题。
2022-10-26 cs.AI cs.IR
A Model for Personalized Keyword Extraction from Web Pages using Segmentation
万维网满足了不同群体中数十亿用户的需求。访问万维网的每一个用户都可能有他/她自己的具体兴趣，并期望万维网对具体要求作出反应。使网络以定制的方式反应的过程是通过个性化来实现的。本文提出了一种新的网页关键词抽取模型，该模型将个性化与网页关键词抽取相结合，通过网页分割来解决网页关键词抽取问题，使问题变得简单有效。该模型被实现为一个原型，并进行了实验，它的经验验证了模型的效率。
2012-04-02 cs.IR
Multidimensional Web Page Evaluation Model Using Segmentation And Annotations
针对查询的网页评估是信息检索领域围绕的枢轴。上下文敏感的，语义的网页评价是一个重要的问题，需要立即解决。本研究提出一个以多维评估方法计算出的分段分数累积来评估网页的模型。提出的模型是混合的，因为它利用了结构语义和内容语义的评估过程。网页的分数是在一个自下而上的过程中计算的，通过评估单个段的分数，通过一个多维度的方法。该模型采用了一种方法段级注释。所提出的模型进行原型评估，原型上进行的实验证实了该模型的效率在页面的语义评估。
2012-08-14 cs.IR
Boilerplate Removal using a Neural Sequence Labeling Model
L3S Research Center（L3S研究中心）
从网页中提取主要内容对于许多应用来说是一项重要的任务，这些应用的范围从可用性方面，如读者在web浏览器中查看新闻文章，到信息检索或自然语言处理。现有的方法是缺乏的，因为它们依赖于大量的手工制作的分类功能。这导致模型被定制为特定的网页分布，例如从某个时间范围，但缺乏泛化能力。我们提出了一个神经序列标签模型，它不依赖于任何手工制作的功能，但只需要HTML标签和出现在网页中的单词作为输入。这使我们能够提供一个浏览器扩展，它使用我们的模型直接在浏览器中突出显示任意网页的内容。此外，我们创建了一个新的，更当前的数据集，以表明我们的模型能够适应网页结构的变化，并优于最先进的模型。
2020-04-22 cs.IR cs.LG stat.ML
Multilingual Attribute Extraction from News Web Pages
ISP RAS（俄罗斯科学院信息学与自动化研究所）；MSU（莫斯科国立大学）
本文构建了一个六语言新闻网页属性提取数据集，通过微调MarkupLM和DOM-LM两种预训练模型，实现了优于现有开源工具的多语言新闻属性自动提取效果。
2025-02-04 cs.CL cs.IR
Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名，是PageRank对网站粒度的适应，第二种称为流行度排名，是基于用户点击页面中的外链的频率，这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验，采用相对熵来比较两种排名方法的分布。对于真实的数据集，我们还采用了非参数测量，称为斯皮尔曼的footrule，我们用它来比较排名前十的网页由两种方法。我们的主要结果是，受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此，这意味着一个网站的拓扑结构是非常有用的，在引导用户通过网站。因此，在实践中，网站排名提供了一个合理的一阶近似的用户在网站内的总体行为，由流行度排名。
2004-12-09 cs.AI cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加，网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类，然后描述了Web结构挖掘。本文介绍了不同的网页排序算法，并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法，如网页排名（PR）、加权网页排名（WPR）、超链接诱导主题选择（HITS）、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口，但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
PLAtE: A Large-scale Dataset for List Page Web Extraction
University of Virginia（弗吉尼亚大学）；University of Utah（犹他大学）；Amazon（亚马逊）
针对半结构化网页信息抽取缺乏大规模训练数据集的问题，研究者推出聚焦购物评论页的PLAtE基准数据集，含5万余商品与15万余属性，还适配了三种SOTA模型并对比其性能优劣。
2023-06-15 cs.CL cs.IR cs.LG
Tag-Pag: A Dedicated Tool for Systematic Web Page Annotations
本研究推出网页标注专用工具Tag-Pag，可系统化完成页面级主题标注，支持内容提取、多版本网页访问及快捷操作，助力相关研究高效开展。
2025-02-22 cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题，提出融合点击反馈的网页摘要框架CPS-MEBR，结合句子级语义交互生成多嵌入，提升检索质量。
2023-05-07 cs.IR
Multi-View Learning for Web Spam Detection
垃圾网页的目的是恶意出现在顶部的搜索结果中过度使用流行的条款。因此，应该使用有效和高效的垃圾邮件检测系统来删除垃圾邮件页面。以前的Web垃圾分类方法使用来自各种信息源（页面内容、Web图、访问日志等）的若干特征。来检测网络垃圾邮件。在本文中，我们遵循页面级分类的方法来建立快速和可扩展的垃圾邮件过滤器。我们表明，每个网页可以进行分类，仅使用自己的HTML内容与令人满意的准确性。为了设计一个多视图分类系统，我们使用了国家的最先进的垃圾邮件分类方法与不同的功能集（视图）作为基本分类器。然后，学习融合模型，以组合基分类器的输出并做出最终预测。结果表明，多视图学习显著提高了分类性能，即AUC提高了22%，同时为并行执行提供了线性加速。
2013-07-24 cs.IR cs.LG
A Scalable Crawling Algorithm Utilizing Noisy Change-Indicating Signals
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对网页更新爬取中利用含噪声变更辅助信号的挑战，提出一种可扩展的最优爬取算法，无需集中计算即可公平适配带宽、稳定速率，实验验证了其通用性。
2025-03-20 cs.IR cs.LG stat.ML
Web crawler strategies for web pages under robot.txt restriction
Sri Vaishnav Institute of Technology and Science（斯里瓦伊什纳夫技术与科学学院）
本文解释搜索引擎与网络爬虫的基本工作机制，重点说明 robot.txt 及机器人排除协议如何限制和指导网页爬取。
2024-02-28 cs.AI cs.IR
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据，而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是，这是繁琐和耗时的，以及困难的数据时，要检索的是大量的。由于复杂的结构化网页，从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期，它们被认为是脚本，如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题，我们正在使用一种新的算法，称为VIPS算法，即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Treelicious: a System for Semantically Navigating Tagged Web Pages
协同标记已成为一种流行的和有效的方法来组织和描述网页上的Web。我们目前Treelicious，一个系统，允许标记的网页分层导航。我们的系统丰富了标准标记系统的导航功能，这些系统通常只利用流行度和共现数据。我们描述了一个原型，利用维基百科的类别结构，允许用户从美味的社会书签服务语义导航页面。在我们的系统中，用户可以执行一个普通的关键字搜索和浏览相关的网页，但也有能力扩大搜索到更一般的主题和缩小到更具体的主题。我们表明，Treelicious确实提供了一个直观的框架，允许改进和有效的知识发现。
2011-02-05 cs.IR
Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
HTML-LSTM: Information Extraction from HTML Tables in Web Pages using Tree-Structured LSTM
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Sony Group Corporation（索尼集团公司）
本文提出HTML-LSTM方法，通过扩展树结构LSTM融合语言与结构信息，将结构不同但内容相似的多个HTML表格整合为单一表格，以支持跨网页信息检索。
2024-09-28 cs.IR cs.LG
Social Ranking Techniques for the Web
社交媒体的激增有可能改变网络的结构和组织。在过去，科学家们把网络看作是一个大的连接组件，以了解超链接的拓扑结构如何与页面中包含的信息质量相关，他们提出了对网页中包含的信息进行排名的技术。我们认为，从网页上的信息和网络数据的社会关系可以结合起来，创造一个个性化的和社会连接的网络。在本文中，我们将网络视为两个网络的组成部分，一个由网页中的信息组成，另一个由社交媒体网站上共享的个人数据组成。它们一起使我们能够分析社交媒体如何在人与人之间传播信息，以及如何使用社交网络的结构来为每个用户专门排名，交付和组织信息。我们通过对用户在Google Buzz和Twitter上共享的网页进行排名实验来验证我们的社交排名概念。
2013-06-26 cs.IR cs.SI physics.soc-ph
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Hierarchical Composable Optimization of Web Pages
创建现代Web媒体体验的过程面临着这样的挑战：需要使内容和呈现选择适应多个受众之间用户兴趣的动态实时波动。我们介绍FAME -敏捷媒体体验框架-它解决了这个可扩展性问题。FAME允许媒体创作者定义抽象的页面模型，然后通过算法实验将其转化为真实的体验。FAME的页面模型由简单的构建块分层组成，反映了大多数Web页面的结构。它们通过可插入的算法分解为具体的页面实例，这些算法针对特定的业务目标优化页面。我们的框架允许从多个源检索动态内容，定义实验的自由度，并约束算法的选择。它在媒体创作过程中提供了一个有效的关注点分离，使具有深刻不同技能的多个利益相关者能够独立地应用他们的工艺并履行职责，以模块化的方式组合和重用彼此的工作。
2011-10-04 cs.IR
Don't read, just look: Main content extraction from web pages using visual features
从网页中提取主要内容提供了主要的信息块，可以删除网页的次要区域，如导航菜单，广告和网站模板。主内容提取具有各种应用：信息检索、搜索引擎优化和浏览器阅读器模式。我们评估了现有的四种主要内容提取方法（Readability.js，Chrome DOM Distiller，Web2Text和Boilernet），其中包括2017年和2020年全球网站的两个英文数据集的网页以及2020年的七个非英文数据集。结果表明，非英语数据集的性能比英语数据集低40%。因此，本文提出了一种多语言的主要内容提取方法，使用视觉特征：元素的位置，大小，距离三个中心。这些中心来自浏览器窗口、Web文档和第一个浏览区域。我们提出了第一个浏览区域，这是一个网页文档的顶面，用于模拟用户第一次遇到网页的情况。由于网页作者为了网页的可用性而将其主要内容放置在中心区域，因此我们可以假设该区域的中心靠近主要内容。我们的网格中心扩展（GCE）方法建议作为假设的用户焦点的三个质心。从最接近这些质心的每个叶节点遍历DOM树，我们的方法检查哪个祖先节点可以是主要的内容候选者。最后，通过在三个主要内容候选中选择最佳内容来提取主要内容。我们的方法在最长共同子序列F1得分上平均比现有方法好14%。特别是，它在英语数据集中提高了25%的性能，在非英语数据集中提高了16%。因此，我们的方法表明，视觉和基本的HTML特征是有效的提取主要内容。
2022-01-25 cs.IR
WebQuest: A Benchmark for Multimodal QA on Web Page Sequences
Google DeepMind（谷歌DeepMind）
提出WebQuest多页问答基准，评估多模态模型在跨网页信息提取、检索与组合上的能力，发现单屏与多屏推理存在显著差距，并验证思维链提示可提升多屏推理表现。
2024-09-24 cs.AI cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
From 10 Blue Links Pages to Feature-Full Search Engine Results Pages -- Analysis of the Temporal Evolution of SERP Features
Web搜索引擎结果页面（SERP）是最知名和最常用的网页之一。这些页面开始时只是简单的“10个蓝色链接”页面，但SERP中的信息目前远远超出了这些链接。这些页面中包含了一些功能，以补充自然和赞助结果，并试图提供查询的答案，而不仅仅是指向可能提供该信息的网站。在这项工作中，我们分析了SERP功能在两个领先的网络搜索引擎，谷歌搜索和微软必应的外观和演变。使用一个来自互联网档案馆的SERP样本，我们分析了这些功能的出现和演变。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。
2023-01-19 cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
Reverse method for labeling the information from semi-structured web pages
我们提出了一种新的技术来推断的结构和提取的令牌的数据从半结构化的Web源，使用一个一致的模板或布局与一些隐式布局生成。从目标内容的感兴趣区域中提取属性并标记。这与总是从根生成树的现有技术形成对比。我们认为，并表明，我们的技术是更简单，更准确和有效的，特别是检测目标网页的模板的变化。
2009-08-06 cs.DS cs.IR
Low cost page quality factors to detect web spam
Web垃圾邮件是对搜索引擎结果质量的一大挑战。准确地检测出网络垃圾信息对于搜索引擎来说是非常重要的。在本文中，我们提出了32个低成本的质量因素分类垃圾邮件和火腿网页的实时的的基础上。这些特征可以分为三类：（i）URL特征，（ii）内容特征，以及（iii）链接特征。我们利用神经网络的弹性反向传播学习算法开发了一个分类器，取得了良好的准确性。该分类器可以实时的应用于搜索引擎的结果，因为这些特征的计算需要很少的CPU资源。
2014-10-08 cs.IR
Health Misinformation Detection in Web Content via Web2Vec: A Structural-, Content-based, and Context-aware Approach based on Web2Vec
针对在线健康信息易传播错误信息的问题，本研究结合网页结构、内容与上下文特征，基于Web2Vec网页嵌入表示方法搭配深度学习模型，探究其在网页健康错误信息检测中的有效性。
2024-07-05 cs.IR
