Tree-based Focused Web Crawling with Reinforcement Learning
AthenaRC(亚特兰蒂斯研究中心)
本研究提出了基于强化学习的聚焦爬虫框架TRES,通过新型马尔可夫决策过程建模和Tree-Frontier树采样算法,在收获率、相关域名数上优于现有方法,大幅减少了每步需评估的URL数量。
2025-05-17 cs.IR cs.LG
Document Quality Scoring for Web Crawling
University of Pisa(比萨大学);University of Glasgow(格拉斯哥大学)
针对网络低质量内容浪费爬虫资源的问题,扩展基于神经语义质量估计的方法用于爬虫优先级任务,实验证明该方法可提升下游搜索效果,并提供Docker容器便于集成到搜索系统中。
2025-04-15 cs.AI cs.IR
A Proposed Architecture for Continuous Web Monitoring Through Online Crawling of Blogs
及时了解网络空间中注册的内容,可以极大地帮助心理学家,营销人员和政治分析师熟悉,分析,做出决策并根据社会的不同需求正确行事。Web空间中的海量信息阻碍了我们对整个Web空间的持续在线调查。专注于所考虑的博客限制了我们的工作领域,并使Web空间中的在线爬行成为可能。本文提出了一种使用聚焦爬虫对相关博客进行连续在线爬虫的体系结构,并对所获得的数据进行调查和分析。在线抓取是根据ping服务器机器的最新公告完成的。该算法通过对关键词的定位形成一个加权图,使得聚焦爬虫可以根据加权图获取相关网页的完整文本。
2012-02-08 cs.IR cs.SI
Web Page Classification using LLMs for Crawling Support
Hitachi, Ltd. Research and Development Group(日立公司研究开发部)
本文提出利用LLM将网页分为索引页与内容页,并选择索引页作为爬取新页面的起点,实验证明其在分类性能和新页面覆盖率上均优于基线。
2025-05-11 cs.CL cs.IR
Effective Focused Crawling Based on Content and Link Structure Analysis
一个聚焦的爬虫遍历网络,选择出相关的页面到一个预定义的主题,忽略那些不关心的。在网上冲浪时,很难处理不相关的页面,也很难预测哪些链接会导致高质量的页面。本文提出了一种有效的聚焦爬行技术,以提高Web导航的质量。检查网页的相似性w.r.t.主题关键词使用相似度函数,并且基于Meta数据和从聚焦爬虫生成的结果页面来计算提取出的外链接的优先级。所提出的工作还使用了一种方法来遍历爬行过程中遇到的不相关的页面,以提高特定主题的覆盖率。
2009-06-27 cs.IR
Analysis of a Statistical Hypothesis Based Learning Mechanism for Faster crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-14 cs.IR cs.LG
A Brief History of Web Crawlers
网络爬虫访问互联网应用程序,收集数据,并从访问过的页面了解新的网页。网络爬虫有着悠久而有趣的历史。早期的网络爬虫收集有关网络的统计数据。除了收集有关Web的统计数据和为搜索引擎编制应用程序索引之外,现代爬虫还可以用于对应用程序执行可访问性和漏洞检查。Web的快速扩展以及Web应用程序的复杂性使得抓取过程变得非常具有挑战性。在整个网络爬行的历史中,许多研究人员和工业团体解决了网络爬行器面临的不同问题和挑战。已经提出了不同的解决方案来减少爬行的时间和成本。执行详尽的爬网是一个具有挑战性的问题。此外,捕获现代Web应用程序的模型并自动从中提取数据是另一个悬而未决的问题。以下是从爬行的早期到最近几天使用的不同技术和算法的简要历史。我们引入标准来评估网络爬虫的相对性能。基于这些标准,我们绘制了网络爬虫的演变,并比较了它们的性能
2014-05-05 cs.IR
WebParF: A Web partitioning framework for Parallel Crawlers
随着WWW的规模和规模不断扩大,有效地探索内容的方法越来越重要。我们如何通过爬行有效地从中检索信息?在这个tera和多核处理器的时代,我们应该把多线程进程看作是一种服务解决方案。那么,更好的是,我们如何通过使用独立工作的并行爬虫来提高爬行性能?本文致力于并行爬虫领域的基本发展[4],突出了其设计所带来的优势和挑战。本文还重点介绍了在各种并行爬行进程或线程之间的URL分布方面,以及在每个分布式URL集合中对URL进行排序。如何将URL从URL边界分发到各个并发执行的抓取进程线程是一个正交问题。本文提供了一个解决方案,通过设计一个框架WebParF的URL边界划分成几个URL队列,同时考虑到各种设计问题。
2014-06-22 cs.IR
Movie Recommendation using Web Crawling
本文提出结合网络爬取实时数据与静态数据集训练的推荐系统,采用混合过滤方法,以提升电影推荐的个性化和时效性。
2024-12-14 cs.IR
Analysis of Statistical Hypothesis based Learning Mechanism for Faster Crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-13 cs.AI cs.IR
Comparative analysis of various web crawler algorithms
VIT Vellore(维韦卡南达理工学院韦洛尔分校)
本报告比较了五种网络爬虫算法,旨在确定最有效的网页爬取方法,以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
A Scalable Crawling Algorithm Utilizing Noisy Change-Indicating Signals
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对网页更新爬取中利用含噪声变更辅助信号的挑战,提出一种可扩展的最优爬取算法,无需集中计算即可公平适配带宽、稳定速率,实验验证了其通用性。
2025-03-20 cs.IR cs.LG stat.ML
The Synergy of Automated Pipelines with Prompt Engineering and Generative AI in Web Crawling
The Institute of Internal Auditors (IIA)(内部审计师协会(IIA))
本研究结合生成式AI与提示工程自动化网络爬虫,实验表明Claude AI在脚本质量和适应性上优于ChatGPT-4.0,并集成反爬方案以提升性能。
2024-12-29 cs.AI cs.CL cs.IR
Change Rate Estimation and Optimal Freshness in Web Page Crawling
INRIA Sophia Antipolis(法国国立信息学及其应用研究院索菲亚·安提波利斯中心);Indian Institute of Science(印度科学学院)
为了提供快速和准确的结果,搜索引擎维护整个网络的本地快照。而且,为了保持本地缓存的新鲜度,它使用了一个爬虫来跟踪各个网页的变化。然而,有限的带宽可用性和服务器的限制强加了一些约束的爬行频率。因此,理想的爬行速率是最大化本地缓存的新鲜度并且还遵守上述约束的速率。Azar et al. 2018最近提出了一种易于处理的算法来解决这个优化问题。然而,它们假定知道确切的页面变化率,这在实践中是不现实的。我们在这里讨论这个问题。具体来说,我们提供了两个新的计划,在线估计页面更改率。两种方案都只需要关于页面改变过程的部分信息,即,他们只需要知道自从上次抓取的实例以来页面是否已经改变。对于这两个计划,我们证明了收敛性,并得出其收敛速度。最后,我们提供了一些数值实验来比较我们提出的估计器与现有估计器的性能(例如,MLE)。
2020-04-05 cs.IR cs.LG cs.SI
Unstable markup: A template-based information extraction from web sites with unstable markup
本文介绍了在ESWC 2014年语义发布挑战赛2014的框架下,将CEUR研讨会会议记录网站爬行到链接开放数据(LOD)数据集的工作结果。我们的方法是基于使用一个可扩展的模板依赖的爬虫和DBpedia链接提取的实体,如大学和国家的名称。
2014-08-06 cs.DL cs.IR
BUbiNG: Massive Crawling for the Masses
虽然网络爬虫已经存在了20年,但几乎没有免费的开源爬虫软件可以保证高吞吐量,克服单机系统的限制,同时随着可用资源的数量线性扩展。本文旨在填补这一空白,通过描述BUbiNG,我们的下一代网络爬虫建立在作者的经验与UbiCrawler [Boldi等。2004]和过去十年的研究主题。BUbiNG是一个开源的Java全分布式爬虫;一个单一的BUbiNG代理,使用相当大的硬件,可以抓取每秒数千页尊重严格的礼貌约束,无论是基于主机和IP。与现有的依赖于批处理技术(如MapReduce)的开源分布式爬虫不同,BUbiNG作业分发基于现代高速协议,以实现非常高的吞吐量。
2016-01-26 cs.IR cs.SI
XPath Agent: An Efficient XPath Programming Agent Based on LLM for Web Crawler
Stanford University(斯坦福大学)
本研究提出专为网页爬虫和Web GUI测试设计的XPath Agent智能体,可基于单条自然语言查询从采样网页自动生成XPath查询,两阶段流水线设计可无缝集成现有工作流,在性能相当的情况下显著降低token用量、提升效率,且已开源。
2024-12-17 cs.AI cs.IR cs.SE
Archiving Deferred Representations Using a Two-Tiered Crawling Approach
网络资源的交互性越来越强,导致资源越来越难以存档。归档的困难在于客户端技术的使用(例如,JavaScript)在表示最初加载后更改表示的客户端状态。我们将这些陈述称为延期陈述。我们可以使用无头浏览客户端等工具更好地归档延迟表示。我们使用10,000个种子通用资源标识符(URI),通过比较wget(基线),eXtomJS和Heritrix的性能来探索将eXtomJS(一种无头浏览工具)纳入爬行过程的影响。Heritrix每秒抓取2.065个URI,比WebtomJS快12.15倍,比wget快2.4倍。然而,AtomJS发现了531,484个URI,是Heritrix的1.75倍,是wget的4.11倍。为了充分利用Heritrix的性能优势和EritomJS的URI发现功能,我们推荐一种分层爬取策略,在这种策略中,分类器会预测一个表示是否会被延迟,只有具有延迟表示的资源才会被EritomJS爬取,而没有延迟表示的资源则会被Heritrix爬取。我们表明,这种方法比只使用Heritrix快5.2倍,并且创建的边界(要爬取的URI集)比只使用Heritrix大1.8倍。
2015-08-10 cs.DL cs.IR
Exploring the Intersections of Web Science and Accessibility
网络是21世纪信息交换的主要方式。然而,确保基于Web的信息是可访问的是复杂的,特别是对于依赖于JavaScript和其他技术来交付和构建表示的Web应用程序;表示通常是HTML、图像或服务器为Web资源交付的其他代码。静态表示越来越少,鉴于表示的动态性质,评估网络信息的可访问性以确保所有用户都能获得信息越来越困难。在这项工作中,我们调查了三个正在进行的研究线程,可以告知Web可访问性解决方案:评估Web可访问性,建模Web用户活动和Web应用程序爬行。当前的Web可访问性研究一直专注于增加可自动测试标准的百分比,但对于复杂的交互式应用程序仍然严重依赖于手动测试。除了网页可访问性研究之外,研究人员还开发了一些机制,可以根据使用模式复制用户与网页的交互。抓取Web应用程序是一个广泛的研究领域;由于Web爬虫和用于创建应用程序的技术不兼容,因此在Web应用程序中公开内容是困难的。我们描述了通过练习用户表单来爬行深网的研究。最后,我们通过一个Web存档用例,对这三个线程的融合以及自动化、基于Web的可访问性评估和保证的未来进行了思考。这些研究工作提供了深入了解用户如何与网站交互,如何自动化和模拟用户交互,如何记录用户交互的结果,以及如何分析,评估和映射产生的网站内容,以确定其相对可访问性。
2019-08-07 cs.CY cs.IR
Links tell us about lexical and semantic Web content
最新一代的Web搜索工具开始利用超文本链接信息来改进排名\cite{Brin98,Kleinberg98}和爬行\cite{Menczer00,Ben-Shaul99etal,Chakrabarti99}算法。这种方法背后隐藏的假设,网络的图形结构和它的内容之间的相关性,还没有得到明确的测试,尽管越来越多的研究Web拓扑\cite{Lawrence98,Albert99,Adamic99,Butler00}。在这里,我形式化和定量验证两个Astructures绘制连接链接信息的词汇和语义的Web内容。叮当内容猜想指出,一个页面与链接到它的页面相似,即,人们可以通过查看链接到一个页面的页面来推断该页面的词汇内容。2我还表明,基于链接线索的词汇推断在Web社区中是相当异构的。链接聚类猜想指出,关于同一主题的页面被聚类在一起,即,人们可以通过查看相邻页面来推断页面的含义。这些结果解释了最新搜索技术的成功,并为以主题或用户驱动的方式定位信息的更动态和可扩展的方法开辟了道路。
2001-08-08 cs.DL cs.IR
Modeling Updates of Scholarly Webpages Using Archived Data
庞大的网络给用有限的资源构建大规模搜索引擎带来了高昂的成本。因此,需要优化抓取边界,以提高抓取内容的覆盖率和新鲜度。在本文中,我们提出了一种方法,在网络上使用存档的网页副本的动态变化建模。为了评估其效用,我们使用从Google Scholar配置文件中获得的19,977个作者主页的种子URL对学术网络进行了初步研究。我们首先从互联网档案馆(IA)获得这些网页的存档副本,并估计其实际更新发生的时间。接下来,我们应用最大似然估计其平均更新频率($λ$)值。我们的评估表明,$λ$值来自一个简短的历史存档的数据提供了一个很好的估计,在短期内的真实更新频率,我们的方法提供了更好的估计更新的一部分资源相比,基线模型。在此基础上,我们展示了归档数据的效用,以优化网络爬虫的爬行策略,并发现重要的挑战,启发未来的研究方向。
2020-12-07 cs.DL cs.IR
Web Content Classification: A Survey
随着网络信息量的日益增加,对这些信息进行组织是一种必要的要求。数据采掘的过程是从数据集中提取信息,并将其转换为可理解的结构以供进一步使用。网页内容的分类对于Web信息检索中的许多任务是必不可少的,例如维护Web目录和集中爬行。与传统的文本分类相比,Web内容的不受控制的性质类型对网页分类提出了额外的挑战,但是超文本的互连性质也提供了可以帮助该过程的特征。本文对Web分类进行了详细的讨论,探讨了Web分类在数据采掘领域中的重要性。
2014-05-03 cs.IR
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器,它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容,然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
An Integrated Search Framework for Leveraging the Knowledge-Based Web Ecosystem
信息爆炸限制了基于知识的网络生态系统(KBWE)中检索词的判断,使得相关信息的检索及其知识管理具有挑战性。现有的信息检索(IR)工具和它们在一个框架中的融合需要关注,在其中搜索结果可以有效地管理。在这篇文章中,我们证明了各种用户和代理在各种KBWE方案的有效使用信息检索服务。本文提出了一种新的集成搜索框架(ISF),它综合利用了爬行策略、Web搜索技术和传统的数据库搜索方法。此外,ISF还提供全面的、动态的、个性化的、面向组织的信息检索服务,服务范围从Internet、Example、Intranet到个人桌面。在这项实证研究中,实验进行了证明在搜索过程中的改进,在概念ISF辨别。实验结果表明,与其他流行的搜索引擎相比,该搜索引擎的准确率有所提高。
2020-12-10 cs.IR
Developing Products Update-Alert System for e-Commerce Websites Users Using HTML Data and Web Scraping Technique
网站被认为是任何人都可以访问的无限信息的领域。技术的新趋势促使我们改变我们做生意的方式。互联网现在正迅速成为一个新的地方的业务和进步,在这项技术引起了电子商业网站的数量。这使得营销人员/供应商,零售商和消费者(在本文中统称为用户)的生活方式变得容易,因为它提供了通过互联网销售/订购物品的简单平台。这也要求用户将不得不花费大量的时间和精力来搜索最好的产品交易,产品更新和提供电子商业网站。他们必须自己过滤和比较搜索结果,这需要花费大量时间,并且有可能出现模糊的结果。本文以一个电子商业网站为例,采用网页抓取和抓取的方法,获取HTML数据,根据当前时间确定产品更新。HTML数据经过预处理,提取产品的详细信息,如名称、价格、发布日期和时间等,作为用户的有用信息。
2021-09-02 cs.IR
Evaluating the Usefulness of Sentiment Information for Focused Crawlers
University of Arizona(亚利桑那大学);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
尽管网络上与情感有关的内容很普遍,但在能够有效收集此类内容的重点爬虫方面的工作有限。在这项研究中,我们评估了使用情感相关的信息,增强集中抓取意见丰富的网页内容,关于一个特定的主题的有效性。我们还评估了使用情感标签网络图进一步提高收集准确性的影响。在一个包含超过50万个网页的大型测试平台上的实验结果表明,利用情感信息以及情感标记的网络图的集中爬虫能够收集关于特定主题的更全面的意见相关内容。这些结果对Web 2.0时代的商业和营销情报收集工作具有重要意义。
2013-09-27 cs.CL cs.IR