Change Rate Estimation and Optimal Freshness in Web Page Crawling
INRIA Sophia Antipolis（法国国立信息学及其应用研究院索菲亚·安提波利斯中心）；Indian Institute of Science（印度科学学院）
Konstantin Avrachenkov, Kishor Patil, Gugan Thoppe
备注：
This paper has been accepted to the 13th EAI International Conference on Performance Evaluation Methodologies and Tools, VALUETOOLS'20, May 18--20, 2020, Tsukuba, Japan. This is the author version of the paper
为了提供快速和准确的结果，搜索引擎维护整个网络的本地快照。而且，为了保持本地缓存的新鲜度，它使用了一个爬虫来跟踪各个网页的变化。然而，有限的带宽可用性和服务器的限制强加了一些约束的爬行频率。因此，理想的爬行速率是最大化本地缓存的新鲜度并且还遵守上述约束的速率。Azar et al. 2018最近提出了一种易于处理的算法来解决这个优化问题。然而，它们假定知道确切的页面变化率，这在实践中是不现实的。我们在这里讨论这个问题。具体来说，我们提供了两个新的计划，在线估计页面更改率。两种方案都只需要关于页面改变过程的部分信息，即，他们只需要知道自从上次抓取的实例以来页面是否已经改变。对于这两个计划，我们证明了收敛性，并得出其收敛速度。最后，我们提供了一些数值实验来比较我们提出的估计器与现有估计器的性能（例如，MLE）。
英文摘要：
For providing quick and accurate results, a search engine maintains a local snapshot of the entire web. And, to keep this local cache fresh, it employs a crawler for tracking changes across various web pages. However, finite bandwidth availability and server restrictions impose some constraints on the crawling frequency. Consequently, the ideal crawling rates are the ones that maximise the freshness of the local cache and also respect the above constraints. Azar et al. 2018 recently proposed a tractable algorithm to solve this optimisation problem. However, they assume the knowledge of the exact page change rates, which is unrealistic in practice. We address this issue here. Specifically, we provide two novel schemes for online estimation of page change rates. Both schemes only need partial information about the page change process, i.e., they only need to know if the page has changed or not since the last crawled instance. For both these schemes, we prove convergence and, also, derive their convergence rates. Finally, we provide some numerical experiments to compare the performance of our proposed estimators with the existing ones (e.g., MLE).
Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database
基于爬虫的搜索引擎是Web和Internet用户最常用的搜索引擎，它涉及到Web爬虫、数据库存储、排序、索引和向用户显示。但值得注意的是，由于网站的变化越来越大，搜索引擎遭受了很高的时间和传输成本，这些成本消耗在搜索时调查数据库中每个页面的存在，更新数据库，甚至在任何搜索操作中调查其存在。“Exclusive Web Crawler”提出了抓取特征、链接、媒体和其他元素的指导方针，并将抓取结果存储在其网络数据库中的某个表中。通过这样做，搜索引擎将每个站点的表存储在其数据库中，并在其上实现其排名结果。因此，确保了每个表中数据的准确性（以及它的最新性），并且在搜索结果中不显示404结果，因为事实上，该数据爬虫程序抓取网站管理员输入的数据，并且数据库存储他想要显示的任何内容。
