Wextractor: Follow-up of the evolution of prices in web pages
在电子商务世界中，详细网页中的价格跟踪对于购买低于某个阈值的产品等事情非常感兴趣。为了完成这项任务，而不是书签的网页，并重新访问它们，在本文中，我们提出了一种新的Web数据提取系统，称为Wextractor。它包括一个提取方法和一个用于列出检索到的价格的Web应用程序。对于最终用户来说，Wextractor的主要特点是可用性，因为他只需要向感兴趣的页面发出信号，我们的系统就会自动从页面中提取价格。
2017-07-11 cs.IR
A feasibility study on filtering low-accessibility web pages considering color vision deficiency
Faculty of Informatics, Kindai University（近畿大学信息学部）
本研究提出自动过滤低可访问性网页的方法，使用预测模型评估色觉缺陷用户的可访问性，实验达到0.76 AUC。
2026-06-23 cs.IR
Web Page Classification using LLMs for Crawling Support
Hitachi, Ltd. Research and Development Group（日立公司研究开发部）
本文提出利用LLM将网页分为索引页与内容页，并选择索引页作为爬取新页面的起点，实验证明其在分类性能和新页面覆盖率上均优于基线。
2025-05-11 cs.CL cs.IR
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而，用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页，如广告，导航链接等，在本文中，我们提出了一种快速的算法，称为FastContentExtractor自动检测主要内容块的网页，通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板，可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持，这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
A personalized web page content filtering model based on segmentation
鉴于万维网上通过不同来源的大量内容爆炸，拥有内容过滤工具已成为强制性的。在未成年人访问网页的情况下，对网页内容进行过滤更为重要。传统的网页拦截系统采用布尔方法，要么显示整个页面，要么完全阻止它。随着网页中动态性的增加，网页的不同部分在不同时间实例保持不同类型的内容已经成为一种常见现象。本文提出了一种模型，以阻止在细粒度的水平，即，而不是完全阻止的页面，这将是有效的，只阻止那些段持有的内容被阻止。与传统方法相比，该方法的优点是分块的粒度更细，并且可以自动识别要分块的页面部分。在该模型上进行的实验表明，在过滤出的片段的准确率为88%。
2012-02-09 cs.IR
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
A Model for Web Page Usage Mining Based on Segmentation
网页使用挖掘在丰富网页的内容和结构的基础上，从用户与页面的交互收到的反馈起着至关重要的作用。本文提出了一个模型，通过微调挖掘从页面级别到段级别的跟踪活动进行微观管理。所提出的模型使网站管理员能够识别的部分，收到更多的关注，从用户与他人相比。用户行为的细分级别分析提供了一个重要的指标来分析促进页面流量增加的因素。模型的实证验证是通过原型实现。
2012-02-13 cs.IR
Automated Discovery of Real-Time Network Camera Data From Heterogeneous Web Pages
网络摄像机成本的降低以及连接性的提高使世界各地的实体能够部署大量的摄像机网络。网络摄像机提供实时的【形】视觉数据，可用于研究交通模式、应急响应、安全和其他应用。虽然有许多网络摄像机数据来源，但由于编程接口和网站结构的变化，收集数据仍然很困难。以前的解决方案依赖于手动解析目标网站，需要花费数小时才能完成。我们创建了一个通用的自动化解决方案，用于聚合分布在数千个独特结构的网页上的网络摄像机数据。我们分析异构的网页结构，并确定73个样本网络摄像机网站（每个网站有多个网页）之间的共同特点。然后，这些特征用于构建自动摄像机发现模块，该模块可抓取和聚合网络摄像机数据。我们的系统成功地从237，257个独特的网页中提取了57，364个网络摄像头。
2021-03-23 cs.IR
A Framework for Prefetching Relevant Web Pages using Predictive Prefetching Engine (PPE)
本文提出了一个框架，以增加相关性的网页检索的搜索引擎。该方法引入了一个预测预取引擎（PPE），它利用各种数据采掘算法的日志维护的搜索引擎。该方法的基本前提是，在集群访问的情况下，Web服务器的用户请求的下一个页面通常基于当前和以前请求的页面。在此基础上，绘制规则，然后引导路径预取所需的页面。为了执行预取更多相关页面的预期任务，引入了代理。
2011-09-28 cs.IR
A Model for Personalized Keyword Extraction from Web Pages using Segmentation
万维网满足了不同群体中数十亿用户的需求。访问万维网的每一个用户都可能有他/她自己的具体兴趣，并期望万维网对具体要求作出反应。使网络以定制的方式反应的过程是通过个性化来实现的。本文提出了一种新的网页关键词抽取模型，该模型将个性化与网页关键词抽取相结合，通过网页分割来解决网页关键词抽取问题，使问题变得简单有效。该模型被实现为一个原型，并进行了实验，它的经验验证了模型的效率。
2012-04-02 cs.IR
Multidimensional Web Page Evaluation Model Using Segmentation And Annotations
针对查询的网页评估是信息检索领域围绕的枢轴。上下文敏感的，语义的网页评价是一个重要的问题，需要立即解决。本研究提出一个以多维评估方法计算出的分段分数累积来评估网页的模型。提出的模型是混合的，因为它利用了结构语义和内容语义的评估过程。网页的分数是在一个自下而上的过程中计算的，通过评估单个段的分数，通过一个多维度的方法。该模型采用了一种方法段级注释。所提出的模型进行原型评估，原型上进行的实验证实了该模型的效率在页面的语义评估。
2012-08-14 cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加，网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类，然后描述了Web结构挖掘。本文介绍了不同的网页排序算法，并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法，如网页排名（PR）、加权网页排名（WPR）、超链接诱导主题选择（HITS）、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口，但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Tag-Pag: A Dedicated Tool for Systematic Web Page Annotations
本研究推出网页标注专用工具Tag-Pag，可系统化完成页面级主题标注，支持内容提取、多版本网页访问及快捷操作，助力相关研究高效开展。
2025-02-22 cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
Web Page Categorization Using Artificial Neural Networks
网页分类是在不断增长的网络技术的世界具有挑战性的任务之一。基于不同方法和特征的网页分类方法有很多。本文提出了一种新的基于人工神经网络（ANN）的网页分类方法，通过自动提取网页的特征来实现分类。在这里，我们选择了八个主要类别的网页进行分类，它们是商业与经济、教育、政府、娱乐、体育、新闻与媒体、求职和科学。整个过程的拟议系统是在三个连续的阶段。在第一阶段，通过分析网页的来源自动提取特征。第二阶段包括固定神经网络的输入值;所有值保持在0和1之间。这些值的变化会影响输出。最后，第三阶段确定出八个预定义的类的某个网页的类。该阶段使用人工神经网络的反向传播算法来完成。拟议的概念将促进网络挖掘、从网络和搜索引擎检索信息。
2010-09-25 cs.IR cs.NE
Investigating the Change of Web Pages' Titles Over Time
无法访问的网页是浏览体验的一部分。然而，这些页面的内容往往不是完全丢失，而是丢失了。从网页的文本内容生成的词汇签名（LS）已经被证明适合于在尝试发现（丢失的）网页时作为搜索引擎查询。由于LS是昂贵的生成，我们调查的潜力，网页的标题，因为他们是在一个较低的成本。我们提出的结果，从研究随着时间的推移，标题的变化。我们从互联网档案馆提供的随机抽样网页的副本标题，并显示变化的频率以及Levenshtein分数方面的变化程度。我们发现变化的频率非常低，Levenshtein得分很高，这表明标题平均而言与其原始的第一次观察值（有根比较）相比变化很小，与其先前观察值（滑动）相比变化更小。
2009-07-20 cs.DL cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题，提出融合点击反馈的网页摘要框架CPS-MEBR，结合句子级语义交互生成多嵌入，提升检索质量。
2023-05-07 cs.IR
Multi-Record Web Page Information Extraction From News Websites
Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对新闻网站多记录列表页研究不足的问题，本文构建含13,120个网页的俄语大规模数据集，并提出基于MarkupLM的多阶段抽取方法。
2025-02-20 cs.CL cs.IR
A Vague Improved Markov Model Approach for Web Page Prediction
ITM University Gurgaon（ITM大学古尔冈校区）
今天，所有领域的大部分信息都可以通过网络获得。它提高了Web的利用率，也吸引了研究人员的兴趣，以提高Web访问和Web利用的有效性。随着Web客户端的数量增加，执行带宽共享，这降低了Web访问效率。网页预取通过在用户请求之前利用下一个所需的网页来提高Web访问的有效性。它是一种智能预测挖掘，分析用户的Web访问历史并预测下一页。在这项工作中，模糊改进马尔可夫模型进行预测。在这项工作中，提出了模糊规则来执行马尔可夫模型不同级别的修剪。一旦预测表生成，将实施关联挖掘以识别最有效的下一页。本文提出了一种集成模型，以提高预测精度和有效性。
2014-05-08 cs.AI cs.IR
Mapping Web Pages by Internet Protocol (IP) addresses: Analyzing Spatial and Temporal Characteristics of Web Search Engine Results
互联网协议（IP）地址经常被几个不同领域的研究人员用作定位Web用户的方法。然而，关于这些位置的准确性有相互竞争的报告，并且在手动比较IP地理定位数据库和网页地理信息方面几乎没有进行过研究。本文将Yahoo搜索引擎中的网页分为十二类，从“博客”、“新闻”到“教育”、“政府”。然后，我们手动将网页内容创建者的邮寄地址或街道地址与给定IP地址的地理定位结果进行比较。我们介绍了一种制图设计方法，通过创建核密度图可视化与特定关键字相关联的网页的信息景观。
2018-10-15 cs.IR cs.NI cs.SI
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据，而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是，这是繁琐和耗时的，以及困难的数据时，要检索的是大量的。由于复杂的结构化网页，从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期，它们被认为是脚本，如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题，我们正在使用一种新的算法，称为VIPS算法，即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Treelicious: a System for Semantically Navigating Tagged Web Pages
协同标记已成为一种流行的和有效的方法来组织和描述网页上的Web。我们目前Treelicious，一个系统，允许标记的网页分层导航。我们的系统丰富了标准标记系统的导航功能，这些系统通常只利用流行度和共现数据。我们描述了一个原型，利用维基百科的类别结构，允许用户从美味的社会书签服务语义导航页面。在我们的系统中，用户可以执行一个普通的关键字搜索和浏览相关的网页，但也有能力扩大搜索到更一般的主题和缩小到更具体的主题。我们表明，Treelicious确实提供了一个直观的框架，允许改进和有效的知识发现。
2011-02-05 cs.IR
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Hierarchical Composable Optimization of Web Pages
创建现代Web媒体体验的过程面临着这样的挑战：需要使内容和呈现选择适应多个受众之间用户兴趣的动态实时波动。我们介绍FAME -敏捷媒体体验框架-它解决了这个可扩展性问题。FAME允许媒体创作者定义抽象的页面模型，然后通过算法实验将其转化为真实的体验。FAME的页面模型由简单的构建块分层组成，反映了大多数Web页面的结构。它们通过可插入的算法分解为具体的页面实例，这些算法针对特定的业务目标优化页面。我们的框架允许从多个源检索动态内容，定义实验的自由度，并约束算法的选择。它在媒体创作过程中提供了一个有效的关注点分离，使具有深刻不同技能的多个利益相关者能够独立地应用他们的工艺并履行职责，以模块化的方式组合和重用彼此的工作。
2011-10-04 cs.IR
Don't read, just look: Main content extraction from web pages using visual features
从网页中提取主要内容提供了主要的信息块，可以删除网页的次要区域，如导航菜单，广告和网站模板。主内容提取具有各种应用：信息检索、搜索引擎优化和浏览器阅读器模式。我们评估了现有的四种主要内容提取方法（Readability.js，Chrome DOM Distiller，Web2Text和Boilernet），其中包括2017年和2020年全球网站的两个英文数据集的网页以及2020年的七个非英文数据集。结果表明，非英语数据集的性能比英语数据集低40%。因此，本文提出了一种多语言的主要内容提取方法，使用视觉特征：元素的位置，大小，距离三个中心。这些中心来自浏览器窗口、Web文档和第一个浏览区域。我们提出了第一个浏览区域，这是一个网页文档的顶面，用于模拟用户第一次遇到网页的情况。由于网页作者为了网页的可用性而将其主要内容放置在中心区域，因此我们可以假设该区域的中心靠近主要内容。我们的网格中心扩展（GCE）方法建议作为假设的用户焦点的三个质心。从最接近这些质心的每个叶节点遍历DOM树，我们的方法检查哪个祖先节点可以是主要的内容候选者。最后，通过在三个主要内容候选中选择最佳内容来提取主要内容。我们的方法在最长共同子序列F1得分上平均比现有方法好14%。特别是，它在英语数据集中提高了25%的性能，在非英语数据集中提高了16%。因此，我们的方法表明，视觉和基本的HTML特征是有效的提取主要内容。
2022-01-25 cs.IR
Web Page Content Extraction Based on Multi-feature Fusion
随着互联网技术的飞速发展，人们获取的网页资源越来越多。同时，当前深度学习技术的快速发展，往往离不开海量的Web数据资源。另一方面，NLP也是数据处理技术的重要组成部分，如网页数据抽取。目前网页文本的抽取技术主要采用单一的启发式函数或策略，且大多需要人工确定阈值。随着Web资源数量和类型的快速增长，使用单一的策略提取不同页面的文本信息仍然存在问题。提出了一种基于多特征融合的网页文本提取算法。根据Web资源的文本信息特点，以DOM节点为抽取单元设计多个统计特征，并根据启发式策略设计高阶特征。该方法建立一个小型神经网络，以DOM节点的多个特征作为输入，预测节点是否包含文本信息，充分利用不同的统计信息和抽取策略，适应更多类型的页面。实验结果表明，该方法具有较好的网页文本提取能力，避免了人工确定阈值的问题。
2022-10-26 cs.AI cs.IR
From 10 Blue Links Pages to Feature-Full Search Engine Results Pages -- Analysis of the Temporal Evolution of SERP Features
Web搜索引擎结果页面（SERP）是最知名和最常用的网页之一。这些页面开始时只是简单的“10个蓝色链接”页面，但SERP中的信息目前远远超出了这些链接。这些页面中包含了一些功能，以补充自然和赞助结果，并试图提供查询的答案，而不仅仅是指向可能提供该信息的网站。在这项工作中，我们分析了SERP功能在两个领先的网络搜索引擎，谷歌搜索和微软必应的外观和演变。使用一个来自互联网档案馆的SERP样本，我们分析了这些功能的出现和演变。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。
2023-01-19 cs.IR
Wikipedia Page View Reflects Web Search Trend
关键词出现的频率一般反映了公众对某一主题的兴趣程度。因此，搜索日志是趋势分析的有用资源。然而，对搜索日志的访问通常限于搜索引擎提供商。在本文中，我们调查是否可以估计搜索频率从不同的资源，如维基百科的开放数据的页面浏览量。我们发现经常搜索的关键词与维基百科页面浏览量有非常高的相关性。这表明维基百科页面浏览量可以成为确定全球流行网络搜索趋势的有效工具。
2015-09-07 cs.IR cs.SI
In-Degree and PageRank of Web pages: Why do they follow similar power laws?
PageRank是Google设计的一种流行度衡量标准，用于对网页进行排名。实验证实，PageRank服从“幂律”，其指数与In度相同。本文提出了一种新的数学模型来解释这一现象。PageRank和入度之间的关系通过一个随机方程来建模，该随机方程的灵感来自PageRank的原始定义，并且类似于M/G/1队列中忙期的著名分布恒等式。此外，我们采用正则变分理论和Tauberian定理来分析证明PageRank和In度的尾部行为仅相差一个乘法因子，为此我们导出了一个封闭形式的表达式。我们的分析结果与实验数据吻合得很好。
2006-12-04 cs.IR math.PR
Multilingual Attribute Extraction from News Web Pages
ISP RAS（俄罗斯科学院信息学与自动化研究所）；MSU（莫斯科国立大学）
本文构建了一个六语言新闻网页属性提取数据集，通过微调MarkupLM和DOM-LM两种预训练模型，实现了优于现有开源工具的多语言新闻属性自动提取效果。
2025-02-04 cs.CL cs.IR
Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名，是PageRank对网站粒度的适应，第二种称为流行度排名，是基于用户点击页面中的外链的频率，这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验，采用相对熵来比较两种排名方法的分布。对于真实的数据集，我们还采用了非参数测量，称为斯皮尔曼的footrule，我们用它来比较排名前十的网页由两种方法。我们的主要结果是，受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此，这意味着一个网站的拓扑结构是非常有用的，在引导用户通过网站。因此，在实践中，网站排名提供了一个合理的一阶近似的用户在网站内的总体行为，由流行度排名。
2004-12-09 cs.AI cs.IR
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
Low cost page quality factors to detect web spam
Web垃圾邮件是对搜索引擎结果质量的一大挑战。准确地检测出网络垃圾信息对于搜索引擎来说是非常重要的。在本文中，我们提出了32个低成本的质量因素分类垃圾邮件和火腿网页的实时的的基础上。这些特征可以分为三类：（i）URL特征，（ii）内容特征，以及（iii）链接特征。我们利用神经网络的弹性反向传播学习算法开发了一个分类器，取得了良好的准确性。该分类器可以实时的应用于搜索引擎的结果，因为这些特征的计算需要很少的CPU资源。
2014-10-08 cs.IR
Health Misinformation Detection in Web Content via Web2Vec: A Structural-, Content-based, and Context-aware Approach based on Web2Vec
针对在线健康信息易传播错误信息的问题，本研究结合网页结构、内容与上下文特征，基于Web2Vec网页嵌入表示方法搭配深度学习模型，探究其在网页健康错误信息检测中的有效性。
2024-07-05 cs.IR
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
Web crawler strategies for web pages under robot.txt restriction
Sri Vaishnav Institute of Technology and Science（斯里瓦伊什纳夫技术与科学学院）
本文解释搜索引擎与网络爬虫的基本工作机制，重点说明 robot.txt 及机器人排除协议如何限制和指导网页爬取。
2024-02-28 cs.AI cs.IR
Stacking from Tags: Clustering Bookmarks around a Theme
从最近开始，社会书签服务Delicious的用户除了标记网页外，还可以堆叠网页。堆叠使用户能够围绕特定主题对网页进行分组，目的是向其他人推荐。然而，用户仍然堆叠了他们标记的一小部分，因此许多网页仍然没有堆叠。本文介绍了早期的研究，自动聚类网页的标签，找到堆栈和扩展的建议。
2013-02-20 cs.IR
Nested Browser-Use Learning for Agentic Information Seeking
Tongyi Lab（通义实验室）；Alibaba Group（阿里巴巴集团）
NestBrowse通过嵌套结构实现浏览器操作框架，简化代理推理并提升深层信息检索能力。
2025-12-29 cs.AI cs.CL cs.IR
An Evaluation of Link Neighborhood Lexical Signatures to Rediscover Missing Web Pages
为了发现丢失网页的新URI，以前已经提出了词汇签名，它由少量的单词组成，这些单词被选择来表示页面的“about”。然而，先前的方法依赖于在页面丢失之前计算词汇签名，或者使用页面的缓存或存档版本来计算词汇签名。我们展示了一个系统，从它的链接邻居，即“反向链接”，或链接到丢失的页面的页面构建一个词汇签名。在测试了各种方法后，我们表明，一个可以构建一个词汇签名丢失的网页使用只有10个反向链接页面。此外，我们表明，只有第一级的反向链接是有用的，在这方面的努力。反向链接用来指向缺失页面的文本被用作创建四字词汇签名的输入。在超过一半的测试用例中，该词法签名被证明可以成功地找到目标URI。
2011-02-04 cs.DL cs.IR cs.SI
Live-marker: A personalized web page content marking tool
网络上可用的信息资源数量的巨大增长使得用户在单个页面上花费的总时间非常少。用户重新访问同一页面将能够更快地获取所需的信息，如果他们在以前的访问期间消费的信息以特殊的风格呈现给他们。本文提出了一种模型，使用户标记感兴趣的内容，使它可以很容易地识别在连续访问。除了用户的显式标记之外，该模型还有助于基于用户偏好的隐式标记。基于该模型的原型实现验证了模型的有效性。
2012-02-13 cs.IR
Label-Efficient Self-Training for Attribute Extraction from Semi-Structured Web Documents
The Ohio State University（俄亥俄州立大学）；Amazon Science（亚马逊科学）
从HTML文档中提取结构化信息是一个长期研究的问题，具有广泛的应用，包括知识库构建，分面搜索和个性化推荐。先前的工作依赖于来自每个目标网站的几个人工标记的网页或来自一些种子网站的数千个人工标记的网页来训练可转移的提取模型，该模型概括了未见过的目标网站。嘈杂的内容，低站点级别的一致性，以及缺乏注释者之间的协议，使标记网页成为一项耗时且昂贵的考验。我们开发了LEAST --一种用于半结构化Web文档的标签有效的自训练方法来克服这些限制。LEAST利用一些人工标记的页面来伪注释来自目标垂直的大量未标记的网页。它使用自训练在人类标记和伪标记样本上训练可转移的Web提取模型。为了减轻由于噪声训练样本引起的错误传播，LEAST基于其估计的标签准确性对每个训练样本进行重新加权，并将其纳入训练中。据我们所知，这是第一个提出端到端训练的工作，用于仅利用少数人工标记页面的可转移Web提取模型。在大规模公共数据集上进行的实验表明，使用每个种子网站中不到10个人工标记的页面进行训练，LEAST训练的模型在看不见的网站上的表现比以前的最先进的模型高出26个平均F1点以上，减少了人工标记的页面数量，以实现10倍以上的相似性能。
2022-08-27 cs.IR cs.LG
Scatter Networks: A New Approach for Analyzing Information Scatter on the Web
关于任何给定主题的信息通常分散在网络上。以前，这种分散的特点是通过一组事实（即信息片段）在网页上的分布，表明通常几个页面包含许多关于主题的事实，而许多页面只包含少数事实。虽然这些方法揭示了重要的分散现象，但它们是有损的，因为它们隐藏了特定事实（例如，罕见事实）如何在特定类型的页面（例如，事实丰富的页面）中发生。为了揭示这种不确定性，我们构建了二分网络，由两种类型的顶点组成：网页中包含的事实和网页本身。这样的表示使一系列的网络分析技术的应用，揭示结构特征，如连接性，鲁棒性和聚类。我们讨论了这些功能中的每一个对用户在线查找全面信息的能力的影响。最后，我们比较了网页和事实的二分图结构和网页之间的超链接结构。
2007-05-30 cs.IR
WebQuest: A Benchmark for Multimodal QA on Web Page Sequences
Google DeepMind（谷歌DeepMind）
提出WebQuest多页问答基准，评估多模态模型在跨网页信息提取、检索与组合上的能力，发现单屏与多屏推理存在显著差距，并验证思维链提示可提升多屏推理表现。
2024-09-24 cs.AI cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Visual-Aware Representation of Web Pages for Machine Learning Applications
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology（信息技术学院）
本文提出基于FitLayout的网页视觉感知表示与机器学习平台，支持数据集准备、机器学习输入获取，可用于训练图神经网络识别网页关键内容元素，保障结果可复现。
2026-08-20 cs.IR cs.LG
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器，它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容，然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
Reverse method for labeling the information from semi-structured web pages
我们提出了一种新的技术来推断的结构和提取的令牌的数据从半结构化的Web源，使用一个一致的模板或布局与一些隐式布局生成。从目标内容的感兴趣区域中提取属性并标记。这与总是从根生成树的现有技术形成对比。我们认为，并表明，我们的技术是更简单，更准确和有效的，特别是检测目标网页的模板的变化。
2009-08-06 cs.DS cs.IR
A Hybrid Web Recommendation System based on the Improved Association Rule Mining Algorithm
随着人们对用于为用户提供定制数据的Web推荐系统的兴趣越来越大，我们开始了对该系统的研究。推荐系统一般分为两大类，如协同推荐系统和基于内容的推荐系统。在协作推荐系统的情况下，这些系统试图找出与给定用户具有相同品味的用户，并根据给定用户的喜好推荐网站。而基于内容的推荐系统试图推荐与用户喜欢的那些网站相似的网站。在最近的研究中，我们发现基于关联规则挖掘算法的有效技术被提出来解决网页推荐问题。同样的主要问题是，网页被赋予同等的重要性。在这里，页面的重要性根据访问网页的频率以及用户在该页面上花费的时间而变化。另外，推荐集合中不包括新添加的网页或用户尚未访问的网页的推荐。为了克服这个问题，我们使用了Web使用日志中的自适应关联规则的Web挖掘，其中的关联规则被应用到个性化。该算法纯粹基于Apriori数据采掘算法来生成关联规则。然而，这种方法也存在一些不可避免的缺点。本文提出并研究了一种基于加权关联规则挖掘算法和文本挖掘的新方法。这是改进的算法，增加了语义知识的结果，具有更高的效率，因此提供了更好的质量和性能相比，现有的方法。
2013-11-28 cs.IR
Relating Web pages to enable information-gathering tasks
我们认为，网页之间的关系是用户的意图的功能。我们确定了一类Web任务-信息收集-可以通过搜索引擎提供与用户当前正在查看的页面相关的页面链接来促进。我们定义了三种意向关系，分别对应于用户是a）寻找信息源，b）阅读提供信息的页面，还是c）浏览页面作为扩展信息收集过程的一部分。我们表明，这三种关系可以有效地挖掘使用的文本和链接信息的组合，并提供三个评分机制，对应于他们：{ \em SeekRel}，{ \em FactRel}和{ \em SurfRel}。这些评分机制结合了文本和链接信息。我们建立了一组有能力的子网络-每个子网络对应于一个特定的关键字-反映了万维网的互连结构。通过计算这些子网络上的流量来计算分数。根据Kleinberg（1998）关于在超链接环境中为页面分配权限的工作，链接的容量是从它们所连接的节点的{ \em hub}和{ \em authority}值导出的。我们评估了我们的评分机制，通过运行实验从网络上获取的四个数据集。我们呈现了用户对我们的评分机制返回的顶级结果的相关性的评估，并将其与Google的相似页面功能返回的顶级结果以及Dean和Henzinger（1999）提出的{ \em Companion}算法进行比较。
2010-05-19 cs.DS cs.IR
PageRank: Standing on the shoulders of giants
PageRank是一种网页排名技术，是Google搜索引擎发展和成功的基本要素。该方法仍然是Google用来确定哪些页面最重要的众多信号之一。PageRank背后的主要思想是根据超链接到它的页面的重要性来确定Web页面的重要性。事实上，这不是一个新的理论，以前已经在不同的上下文中成功地利用了。我们回顾了PageRank方法，并将其与我们在Web信息检索、文献计量学、社会计量学和计量经济学领域中发现的一些著名的先前技术联系起来。
2010-08-14 cs.DL cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
