BUbiNG: Massive Crawling for the Masses
虽然网络爬虫已经存在了20年,但几乎没有免费的开源爬虫软件可以保证高吞吐量,克服单机系统的限制,同时随着可用资源的数量线性扩展。本文旨在填补这一空白,通过描述BUbiNG,我们的下一代网络爬虫建立在作者的经验与UbiCrawler [Boldi等。2004]和过去十年的研究主题。BUbiNG是一个开源的Java全分布式爬虫;一个单一的BUbiNG代理,使用相当大的硬件,可以抓取每秒数千页尊重严格的礼貌约束,无论是基于主机和IP。与现有的依赖于批处理技术(如MapReduce)的开源分布式爬虫不同,BUbiNG作业分发基于现代高速协议,以实现非常高的吞吐量。
2016-01-26 cs.IR cs.SI
Tree-based Focused Web Crawling with Reinforcement Learning
AthenaRC(亚特兰蒂斯研究中心)
本研究提出了基于强化学习的聚焦爬虫框架TRES,通过新型马尔可夫决策过程建模和Tree-Frontier树采样算法,在收获率、相关域名数上优于现有方法,大幅减少了每步需评估的URL数量。
2025-05-17 cs.IR cs.LG
iCrawl: Improving the Freshness of Web Collections by Integrating Social Web and Focused Web Crawling
数字人文学科的研究人员和记者需要监控、收集和分析有关埃博拉疫情或乌克兰危机等时事的新鲜在线内容。然而,现有的重点爬行方法只考虑主题方面,而忽略了时间方面,因此不能实现主题连贯和新鲜的Web集合。特别是社交媒体提供了丰富的新鲜内容来源,这是最先进的重点爬虫所不使用的。在本文中,我们解决的问题,使收集新鲜的和相关的Web和社交网络内容的兴趣主题,通过无缝集成的Web和社交媒体在一个新的集成聚焦爬虫。爬虫在单个系统中收集Web和社交媒体内容,并利用新鲜的社交媒体内容流来引导爬虫。
2016-12-19 cs.DL cs.IR
Using sensors in the web crawling process
本文介绍了一种Internet信息现场监控系统,该系统在Web服务器端放置一个特殊的传感器模块,用于检测信息资源的变化,然后只对传感器发出信号的资源进行重新索引。简要的仿真研究结果和给定的“传感器”的概念的实施尝试。
2003-12-17 cs.DL cs.IR
Document Quality Scoring for Web Crawling
University of Pisa(比萨大学);University of Glasgow(格拉斯哥大学)
针对网络低质量内容浪费爬虫资源的问题,扩展基于神经语义质量估计的方法用于爬虫优先级任务,实验证明该方法可提升下游搜索效果,并提供Docker容器便于集成到搜索系统中。
2025-04-15 cs.AI cs.IR
Web Page Classification using LLMs for Crawling Support
Hitachi, Ltd. Research and Development Group(日立公司研究开发部)
本文提出利用LLM将网页分为索引页与内容页,并选择索引页作为爬取新页面的起点,实验证明其在分类性能和新页面覆盖率上均优于基线。
2025-05-11 cs.CL cs.IR
Effective Focused Crawling Based on Content and Link Structure Analysis
一个聚焦的爬虫遍历网络,选择出相关的页面到一个预定义的主题,忽略那些不关心的。在网上冲浪时,很难处理不相关的页面,也很难预测哪些链接会导致高质量的页面。本文提出了一种有效的聚焦爬行技术,以提高Web导航的质量。检查网页的相似性w.r.t.主题关键词使用相似度函数,并且基于Meta数据和从聚焦爬虫生成的结果页面来计算提取出的外链接的优先级。所提出的工作还使用了一种方法来遍历爬行过程中遇到的不相关的页面,以提高特定主题的覆盖率。
2009-06-27 cs.IR
Analysis of a Statistical Hypothesis Based Learning Mechanism for Faster crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-14 cs.IR cs.LG
A Brief History of Web Crawlers
网络爬虫访问互联网应用程序,收集数据,并从访问过的页面了解新的网页。网络爬虫有着悠久而有趣的历史。早期的网络爬虫收集有关网络的统计数据。除了收集有关Web的统计数据和为搜索引擎编制应用程序索引之外,现代爬虫还可以用于对应用程序执行可访问性和漏洞检查。Web的快速扩展以及Web应用程序的复杂性使得抓取过程变得非常具有挑战性。在整个网络爬行的历史中,许多研究人员和工业团体解决了网络爬行器面临的不同问题和挑战。已经提出了不同的解决方案来减少爬行的时间和成本。执行详尽的爬网是一个具有挑战性的问题。此外,捕获现代Web应用程序的模型并自动从中提取数据是另一个悬而未决的问题。以下是从爬行的早期到最近几天使用的不同技术和算法的简要历史。我们引入标准来评估网络爬虫的相对性能。基于这些标准,我们绘制了网络爬虫的演变,并比较了它们的性能
2014-05-05 cs.IR
Change Rate Estimation and Optimal Freshness in Web Page Crawling
INRIA Sophia Antipolis(法国国立信息学及其应用研究院索菲亚·安提波利斯中心);Indian Institute of Science(印度科学学院)
为了提供快速和准确的结果,搜索引擎维护整个网络的本地快照。而且,为了保持本地缓存的新鲜度,它使用了一个爬虫来跟踪各个网页的变化。然而,有限的带宽可用性和服务器的限制强加了一些约束的爬行频率。因此,理想的爬行速率是最大化本地缓存的新鲜度并且还遵守上述约束的速率。Azar et al. 2018最近提出了一种易于处理的算法来解决这个优化问题。然而,它们假定知道确切的页面变化率,这在实践中是不现实的。我们在这里讨论这个问题。具体来说,我们提供了两个新的计划,在线估计页面更改率。两种方案都只需要关于页面改变过程的部分信息,即,他们只需要知道自从上次抓取的实例以来页面是否已经改变。对于这两个计划,我们证明了收敛性,并得出其收敛速度。最后,我们提供了一些数值实验来比较我们提出的估计器与现有估计器的性能(例如,MLE)。
2020-04-05 cs.IR cs.LG cs.SI
WebParF: A Web partitioning framework for Parallel Crawlers
随着WWW的规模和规模不断扩大,有效地探索内容的方法越来越重要。我们如何通过爬行有效地从中检索信息?在这个tera和多核处理器的时代,我们应该把多线程进程看作是一种服务解决方案。那么,更好的是,我们如何通过使用独立工作的并行爬虫来提高爬行性能?本文致力于并行爬虫领域的基本发展[4],突出了其设计所带来的优势和挑战。本文还重点介绍了在各种并行爬行进程或线程之间的URL分布方面,以及在每个分布式URL集合中对URL进行排序。如何将URL从URL边界分发到各个并发执行的抓取进程线程是一个正交问题。本文提供了一个解决方案,通过设计一个框架WebParF的URL边界划分成几个URL队列,同时考虑到各种设计问题。
2014-06-22 cs.IR
Sentence based semantic similarity measure for blog-posts
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
博客-在线数字日记一样的应用程序在Web 2.0开辟了新的和简单的方式来表达意见,想法,和喜欢不喜欢的每一个互联网用户的世界。毫无疑问,博客圈拥有最大的用户生成内容知识库。这种知识的潜力仍有待探索。从这种新的类型中发现知识是相当困难和具有挑战性的,因为它完全不同于其他流行的Web应用类型,如万维网(WWW)。博客文章不像网络文档,体积小,因此缺乏上下文,包含宽松的语法结构。因此,标准的文本相似性度量无法提供良好的结果。在本文中,专门的要求比较一对博客职位进行了彻底的调查。在此基础上,提出了一种面向句子的博客文章语义相似度度量算法。我们将此算法应用于巴基斯坦的政治博客圈的一个子集上,对政治领域不同问题的博客进行聚类,并识别出有影响力的博客。
2012-01-10 cs.AI cs.IR
Movie Recommendation using Web Crawling
本文提出结合网络爬取实时数据与静态数据集训练的推荐系统,采用混合过滤方法,以提升电影推荐的个性化和时效性。
2024-12-14 cs.IR
Analysis of Statistical Hypothesis based Learning Mechanism for Faster Crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-13 cs.AI cs.IR
A Scalable Crawling Algorithm Utilizing Noisy Change-Indicating Signals
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对网页更新爬取中利用含噪声变更辅助信号的挑战,提出一种可扩展的最优爬取算法,无需集中计算即可公平适配带宽、稳定速率,实验验证了其通用性。
2025-03-20 cs.IR cs.LG stat.ML
The Synergy of Automated Pipelines with Prompt Engineering and Generative AI in Web Crawling
The Institute of Internal Auditors (IIA)(内部审计师协会(IIA))
本研究结合生成式AI与提示工程自动化网络爬虫,实验表明Claude AI在脚本质量和适应性上优于ChatGPT-4.0,并集成反爬方案以提升性能。
2024-12-29 cs.AI cs.CL cs.IR
A Novel Architecture for Relevant Blog Page Identifcation
Echelon Institute of Technology(埃切隆理工学院);YMCA University of Science & Technology(YMCA科学技术大学)
博客无疑是网络空间中最丰富的信息来源。博客可以是各种性质的,即个人博客包含混合问题的帖子,或者博客可以是特定领域的,包含特定主题的帖子,这就是原因,他们提供各种各样的相关信息,这些信息通常是集中的。一般的搜索引擎返回大量的网页,这些网页可能会或可能不会给出正确的答案,因为网络是各种信息的储存库,用户在得到他最初要找的东西之前必须浏览各种文档,这是一个非常耗时的过程。因此,如果搜索仅限于博客圈而不是网页,搜索可以更加集中和准确。原因是博客更注重信息。因此,用户只会得到相关的博客,以回应他的查询。这些结果将根据我们提出的方法进行排名,并最终以降序呈现在用户面前
2013-07-31 cs.CL cs.IR
A baseline for content-based blog classification
提出了一种基于内容的网络表示的网络日志(博客)使用基本的词重叠相似性度量。由于博客数据中的强信号,该方法足以准确地对博客进行分类。使用瑞典的博客数据,我们证明,博客,治疗类似的主题是有组织的集群,反过来,层次结构组织在更高的顺序集群。表示的简单性使其在计算上易于处理且透明。因此,我们认为,这种方法是合适的基线时,开发和分析更先进的基于内容的表示的博客圈。
2009-09-25 cs.IR
XPath Agent: An Efficient XPath Programming Agent Based on LLM for Web Crawler
Stanford University(斯坦福大学)
本研究提出专为网页爬虫和Web GUI测试设计的XPath Agent智能体,可基于单条自然语言查询从采样网页自动生成XPath查询,两阶段流水线设计可无缝集成现有工作流,在性能相当的情况下显著降低token用量、提升效率,且已开源。
2024-12-17 cs.AI cs.IR cs.SE
Pbm: A new dataset for blog mining
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
随着Web 2.0提供协作内容创建和共享,文本挖掘变得至关重要。现在研究人员对文本挖掘方法发现知识的兴趣越来越大。文本挖掘研究人员来自不同的领域,如:自然语言处理,计算语言学,机器学习和统计学。一个典型的文本挖掘应用包括文本的预处理、词干提取和词形化、标注和注释、知识模式的推导、结果的评估和解释。有许多方法可以执行文本挖掘任务,如:聚类,分类,情感分析和摘要。对这些任务的评价标准化的必要性日益增加。建立标准化的一个主要组成部分是为这些任务提供标准数据集。虽然有各种标准的数据集可用于传统的文本挖掘任务,但有很少和昂贵的数据集博客挖掘任务。博客作为web2.0时代的一种新体裁,是网络用户的数字化日记,具有时间顺序的条目,包含了大量有用的知识,这给文本挖掘带来了挑战和机遇。在本文中,我们报告了一个新的土著数据集巴基斯坦政治博客圈。本文描述了数据汇集、组织和标准化的过程。我们已经使用这个数据集进行各种文本挖掘任务的博客圈,如:博客搜索,政治情绪分析和跟踪,有影响力的博客的识别,和聚类的博客帖子。我们希望为那些渴望在这一领域进一步追求的人免费提供此数据集。
2012-01-10 cs.AI cs.CL cs.IR
Architecture of A Scalable Dynamic Parallel WebCrawler with High Speed Downloadable Capability for a Web Search Engine
今天的万维网(WWW)已经成为一个巨大的信息海洋,它的规模每天都在增长。下载这些庞大数据中的一小部分就像在巨大的海洋中航行,这确实是一项具有挑战性的任务。为了从WWW上下载大量的数据,使爬行过程并行化已成为绝对必要的。在本文中,我们提供了一个动态的并行网络爬虫,命名为“WEB-SAILOR”,它提出了一个可扩展的方法,客户端-服务器模型的基础上,以加快下载过程中的Web搜索引擎在分布式域集特定的环境。WEB-SAILOR消除了多个爬虫程序重叠下载文档的可能性,甚至不会在几个并行的“客户端”爬行过程中产生通信开销。
2011-02-03 cs.IR
Exploring the Intersections of Web Science and Accessibility
网络是21世纪信息交换的主要方式。然而,确保基于Web的信息是可访问的是复杂的,特别是对于依赖于JavaScript和其他技术来交付和构建表示的Web应用程序;表示通常是HTML、图像或服务器为Web资源交付的其他代码。静态表示越来越少,鉴于表示的动态性质,评估网络信息的可访问性以确保所有用户都能获得信息越来越困难。在这项工作中,我们调查了三个正在进行的研究线程,可以告知Web可访问性解决方案:评估Web可访问性,建模Web用户活动和Web应用程序爬行。当前的Web可访问性研究一直专注于增加可自动测试标准的百分比,但对于复杂的交互式应用程序仍然严重依赖于手动测试。除了网页可访问性研究之外,研究人员还开发了一些机制,可以根据使用模式复制用户与网页的交互。抓取Web应用程序是一个广泛的研究领域;由于Web爬虫和用于创建应用程序的技术不兼容,因此在Web应用程序中公开内容是困难的。我们描述了通过练习用户表单来爬行深网的研究。最后,我们通过一个Web存档用例,对这三个线程的融合以及自动化、基于Web的可访问性评估和保证的未来进行了思考。这些研究工作提供了深入了解用户如何与网站交互,如何自动化和模拟用户交互,如何记录用户交互的结果,以及如何分析,评估和映射产生的网站内容,以确定其相对可访问性。
2019-08-07 cs.CY cs.IR
Why does attention to web articles fall with time?
我们分析了150个博客条目和新闻文章的访问统计数据,时间长达三年。访问率随着出版后时间的逆幂而下降。幂律的有效期可达一千天。不同博客的指数不同,分布在0.6和3.2之间。我们认为,衰减的注意力的网络文章是由链接到它首先下拉列表中的链接在网站的首页,然后从首页消失,其随后的运动进一步进入背景。其他的解释,使用衰减与时间的新奇因素,或一些复杂的理论,人类动力学不能解释所有的实验观察。
2014-12-21 cs.IR physics.soc-ph
Unstable markup: A template-based information extraction from web sites with unstable markup
本文介绍了在ESWC 2014年语义发布挑战赛2014的框架下,将CEUR研讨会会议记录网站爬行到链接开放数据(LOD)数据集的工作结果。我们的方法是基于使用一个可扩展的模板依赖的爬虫和DBpedia链接提取的实体,如大学和国家的名称。
2014-08-06 cs.DL cs.IR
Health Information Search Behavior on the Web: A Pilot Study
在网络上搜索健康信息已经成为当今世界不可或缺的一部分,许多人转向网络获取健康信息和健康评估。我们的试点研究调查了用户对搜索结果类型(图像、新闻、视频等)的偏好,并调查用户为了自我诊断的目的而准确解释在线健康信息的能力。初步结果显示,博客和新闻文章是最受用户寻求时,搜索在线信息和存在的挑战,在使用在线健康信息进行自我诊断。
2014-10-27 cs.IR
La fiabilité des informations sur le web
LIMSI CNRS UPR 3251(法国国家科学研究中心LIMSI实验室(UPR 3251));ENST(法国国立高等电信学院)
在线IR工具必须考虑到与博客、wiki和其他协作出版物的出现有关的新现象。在这些合作网站中,维基百科是一个重要的信息来源。然而,这些信息的质量最近受到质疑。更好地了解贡献者的行为应该可以帮助用户浏览质量可能因来源而异的信息。为了探讨这一想法,我们提出了一个分析的作用,不同类型的贡献者在控制冲突的文章的发布。
2008-05-30 cs.CL cs.CY cs.IR
Analysing Parallel and Passive Web Browsing Behavior and its Effects on Website Metrics
自万维网出现以来,深入了解网络用户的在线浏览行为一直是一个主要的研究课题。它提供了有用的信息,以优化网站设计,网页浏览器设计,搜索引擎产品,和在线广告。我们认为,新技术和新服务继续对人们浏览网络的方式产生重大影响。例如,在YouTube上收听音乐片段或在www.example.com上收听广播电台不需要用户坐在电脑前。社交媒体和社交网站(如Facebook)或微博网站(如Twitter)吸引了以前不太愿意上网的新型用户。人们浏览网页方式的这些变化具有一些新的特征,这些特征到目前为止还没有得到很好的理解。在本文中,我们通过展示DOBBS的第一批结果提供了新颖而独特的见解,DOBBS是我们长期努力创建的一个全面且具有代表性的数据集,用于捕获在线用户行为。我们首先调查的概念,并行浏览和被动浏览,显示浏览网页不再是一个专门的任务,许多用户。基于这些结果,我们然后分析它们对计算用户停留时间的影响-即,用户在网页上花费的时间--这已经成为量化网站受欢迎程度的一个重要指标。
2014-02-21 cs.HC cs.IR