FastWARC: Optimizing Large-Scale Web Archive Analytics
Web搜索和其他大规模Web数据分析依赖于以标准化和高效格式存储的网页处理存档。自2008年推出以来，IIPC的Web ARCive（WARC）格式已成为此目的的标准格式。作为HTTP请求和响应的单独压缩记录的列表，它允许通过许多程序设计语言中的现成开源解析器对各种Web数据进行恒定时间随机访问，例如WARCIO，Python的事实标准。然而，当处理TB或PB级的Web存档时，这些工具中即使是很小的效率低下也会迅速增加，导致数小时、数天甚至数周的计算时间浪费。回顾WARCIO的基本组件并分析其瓶颈，我们继续构建FastWARC，这是一个新的高性能WARC处理库，用于Python，用C++/Cython编写，其性能提高了1.6- 8倍。
2021-11-22 cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
WARC-DL: Scalable Web Archive Processing for Deep Learning
网络档案已经增长到PB级。除了为过去30年的许多社会和文化发展提供宝贵的背景知识外，它们还为机器学习提供了大量的训练数据。为了从深度学习的最新发展中受益，使用Web存档需要一个可扩展的解决方案来处理它们，支持神经网络的推理和训练。到目前为止，还没有公开可用的库以这种方式处理Web存档，一些现有的应用程序使用变通方法。本文介绍了WARC-DL，这是一个支持深度学习的管道，用于Web存档处理，可扩展到PB级。
2022-09-25 cs.DL cs.IR
Analyzing Web Archives Through Topic and Event Focused Sub-collections
网络档案记录了网络的历史，因此是研究社会发展如何反映在网络上的重要来源。然而，大尺寸的Web档案和他们的时间性质提出了许多挑战，研究人员有兴趣与这些集合。在这项工作中，我们描述了与Web档案工作的挑战，并提出了研究方法论的提取和研究子集合的档案集中在特定的主题和事件。我们讨论了这种方法的机遇和挑战，并建议创建子集合的框架。
2016-12-16 cs.DL cs.IR
The Archives Unleashed Project: Technology, Process, and Community to Improve Scholarly Access to Web Archives
Archives Unleashed项目旨在通过涉及工具创建，流程建模和社区建设的多管齐下的策略来改善对网络档案的学术访问-所有这些都在相互加强的努力中同时进行。随着我们最初设想的三年项目接近尾声，我们报告了我们的进展情况，并分享了一路上学到的经验教训。本文阐述的主要贡献是一个过程模型，将学术研究分解为四个主要活动：过滤，提取，聚合和可视化。基于这些活动可以跨时间，空间和工具分解的见解，有可能生成“衍生产品”，使用我们的档案释放工具包，作为学术研究的有用起点。学者可以从Archives Unleashed Cloud下载这些产品，并像其他数据集一样操作它们，从而提供访问Web档案的权限，而无需任何专业知识。在过去的几年里，我们的平台已经处理了来自大约200个用户的1000多个不同的集合，总计超过280 TB的Web存档。
2020-01-15 cs.DL cs.IR
Access Patterns for Robots and Humans in Web Archives
虽然用户访问模式在现场网络上是很好的理解，一直没有相应的研究用户，人类和机器人，访问网络档案。基于来自互联网档案馆的公共Wayback Machine的样本，我们提出了一组基本的使用模式：Dip（单次访问），Slide（在不同的存档时间访问同一页面），Dive（在大致相同的存档时间访问不同页面）和Skim（列出存档的页面，即，TimeMaps）。机器人几乎只限于蘸取和撇取，但人类的访问在所有四种类型之间变化更大。机器人在会话方面超过人类10：1，在原始HTTP访问方面为5：4，在传输的兆字节方面为4：1。机器人几乎总是访问TimeMaps（95%的访问），但人类主要访问存档的网页（82%的访问）。就独特的存档网页而言，没有对特定时间的总体偏好，但最近的过去（去年内）显示出显著的重复访问。
2013-09-16 cs.DL cs.IR
How to Search the Internet Archive Without Indexing It
在过去的几十年里，文化遗产的重要组成部分是在网络上产生的。虽然容易访问当前的网站是一个很好的基线，最佳访问过去的网站面临着几个挑战。这包括处理大规模的网络存档集合，以及缺乏包含与当今网络搜索最相关的隐含人类反馈的使用日志。在本文中，我们提出了一个面向实体的搜索系统，以支持检索和分析的互联网档案馆。我们使用必应从当前网站检索排名结果列表。此外，我们将检索结果链接到WayBack Machine;从而允许在Internet Archive上进行关键字搜索，而无需处理和索引其原始存档内容。我们的搜索系统通过用户友好的界面补充了现有的网络档案搜索工具，该界面接近现代网络搜索引擎的功能（例如，关键字搜索、查询自动完成和相关的查询建议），并且提供了将用户对当前web的反馈也考虑到web档案搜索的巨大益处。通过大量的实验，我们进行定量和定性分析，以提供见解，使进一步的研究和实际应用的网络档案。
2017-01-28 cs.DL cs.IR
Making Changes in Webpages Discoverable: A Change-Text Search Interface for Web Archives
针对现有网络档案搜索界面无法便捷查找网页变更的问题，研究提出了一款变更文本搜索引擎，支持变更可视化与相关查询，经美国联邦环境网页验证效果良好。
2023-04-30 cs.DL cs.IR
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程，以确保保留信息以供将来使用。然而，尽管全球网络档案数量不断增加，但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中，我们专注于这个问题，并提出了一个RDF/S模型和一个分布式框架，用于建立语义配置文件（“层”），描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息，用有用的语义信息（如实体，概念和事件）注释它们，并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能，并使网络档案直接利用其他系统和工具。为了证明他们的查询能力，我们建立和查询三种不同类型的Web档案的语义层。实验评估表明，语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Modeling Updates of Scholarly Webpages Using Archived Data
庞大的网络给用有限的资源构建大规模搜索引擎带来了高昂的成本。因此，需要优化抓取边界，以提高抓取内容的覆盖率和新鲜度。在本文中，我们提出了一种方法，在网络上使用存档的网页副本的动态变化建模。为了评估其效用，我们使用从Google Scholar配置文件中获得的19，977个作者主页的种子URL对学术网络进行了初步研究。我们首先从互联网档案馆（IA）获得这些网页的存档副本，并估计其实际更新发生的时间。接下来，我们应用最大似然估计其平均更新频率（$λ$）值。我们的评估表明，$λ$值来自一个简短的历史存档的数据提供了一个很好的估计，在短期内的真实更新频率，我们的方法提供了更好的估计更新的一部分资源相比，基线模型。在此基础上，我们展示了归档数据的效用，以优化网络爬虫的爬行策略，并发现重要的挑战，启发未来的研究方向。
2020-12-07 cs.DL cs.IR
Extracting Event-Centric Document Collections from Large-Scale Web Archives
Web档案通常范围非常广泛，规模非常大。这使得数据分析看起来令人生畏，特别是对于非计算机科学家来说。这些收藏品是社会科学、历史科学研究人员和有兴趣研究历史事件的记者日益重要的资料来源。然而，除了检索各个断开连接的文档之外，目前没有任何访问方法可以帮助用户有效地访问信息，特别是关于特定事件的信息。因此，我们提出了一种新的方法来提取以事件为中心的文档集，从大规模的Web档案。该方法依赖于专门的聚焦提取算法。我们的实验在德国的Web档案（涵盖了19年的时间段）表明，我们的方法可以提取不同的事件类型的事件为中心的集合。
2017-07-28 cs.DL cs.IR
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
MementoEmbed and Raintale for Web Archive Storytelling
对于传统的图书馆馆藏，档案管理员可以从馆藏中选择一个具有代表性的样本，并将其展示在特色的物理或数字图书馆空间。Web存档集合可能由数千个存档页面或纪念品组成。一个档案管理员应该如何展示这个样本来吸引访问者到他们的收藏品？搜索引擎和社交媒体平台通常将网页表示为由文本片段、标题和图像组成的卡片。网络讲故事是一种流行的方法，将这些卡片分组，以总结一个主题。不幸的是，社交媒体平台并不具有存档意识，并且未能始终如一地为纪念品创造良好的体验。他们也不允许他们的卡的UI更改。因此，我们创建了MementoEmbed来为单个纪念品生成卡片，而Raintale用于创建整个故事，档案管理员可以将其导出为各种格式。
2020-08-01 cs.DL cs.HC cs.IR
Memento: Time Travel for the Web
网络是短暂的。许多资源具有随时间变化的表示，并且其中许多表示永远丢失。少数幸运的资源能够以带有自己URI的存档资源的形式重新出现。例如，某些内容管理系统维护反映其改变资源的冻结先前状态的版本页面。档案反复抓取网络以获得资源的实际表示，并随后通过特殊用途的存档资源使这些资源可用。在这两种情况下，存档副本的URI都是从它们表示先前状态的资源的URI按协议断开的。事实上，最常见的Web协议HTTP中缺乏时态功能，这使得无法根据原始资源的URI访问存档的资源。这使得访问存档资源成为人类和软件代理的重大发现挑战，这通常涉及从原始资源到存档资源的大量链接，或者搜索原始URI的存档。本文提出了基于协议的Memento解决方案来解决这个问题，并描述了一个概念验证实验，其中包括主要服务器的档案内容，包括维基百科和互联网档案馆。Memento解决方案基于现有的HTTP功能，以一种新的方式应用于添加时间维度。其结果是一个框架，其中存档的资源可以通过其原始的URI无缝地访问：基于协议的Web时间旅行。
2009-11-06 cs.DL cs.IR
ArcLink: Optimization Techniques to Build and Retrieve the Temporal Web Graph
互联网是社会和文化的关键，但存在规模问题。互联网档案馆的Wayback Machine可以重放捕获的网页，因为它们在某个时间点存在，但它提供有关Web图的广泛内容和结构元数据的能力有限。虽然实时网络已经开发了丰富的API生态系统来促进网络应用程序（例如，Google和Twitter的API），但Web存档社区尚未广泛实现这种级别的访问。我们提出了ArcLink，一个概念验证系统，它通过优化时间网络图的构建、存储和访问来补充开源Wayback Machine安装。我们将Web图的构建分为四个阶段（过滤，提取，存储和访问），并探索每个阶段的优化。ArcLink扩展了当前的Web存档接口，以返回每个URI的内容和结构元数据。我们将展示如何将此API应用于检索inlinks，outlinks，anchortext和PageRank等应用程序。
2013-06-11 cs.IR
GitHub Repository Complexity Leads to Diminished Web Archive Availability
该研究通过分析超12000个主要来自GitHub的仓库主页及源码树，发现其Web存档存在不同程度损坏，且源文件存档率极低，主页链接的文件存档率最高，深层目录存档率骤降。
2025-05-21 cs.DL cs.IR cs.SE
Diversification Based Static Index Pruning - Application to Temporal Collections
如今，网络档案馆保存了大部分网络的历史。随着媒体从印刷版转向数字版，获取这些庞大的信息源正日益引起国家和国际机构以及研究界的关注。这些集合本身就很大，导致索引文件不适合内存，并增加了查询响应时间。减小索引大小是减少此查询响应时间的一种直接方法。静态索引修剪方法通过删除一部分发布来减少索引的大小。在网络档案的上下文中，有必要删除帖子，同时保留档案的时间多样性。现有的修剪方法都没有考虑（时间）多样化。在本文中，我们提出了一种基于多样化的静态索引修剪方法。它不同于现有的修剪方法，通过在修剪上下文中集成多样化。我们的目标是修剪索引，同时保持检索的有效性和多样性修剪，同时最大限度地提高给定的IR评价指标，如DCG。我们将展示如何在Web档案的背景下应用这种方法。最后，我们展示了两个集合，使用我们的方法，而不是多样性遗忘的方法可以提高修剪后的时间集合的搜索效率。
2013-08-22 cs.IR
Identifying Documents In-Scope of a Collection from Web Archives
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of North Texas（北德克萨斯大学）
Web存档数据通常包含高质量的文档，这些文档对于创建专门的文档集合非常有用，例如，科学数字图书馆和技术报告储存库。在这样做的时候，有一个自动的方法，可以区分感兴趣的文件收集的大量文件的网络存档机构收集的大量需要。在本文中，我们探讨了不同的学习模型和特征表示，以确定最好的性能从Web存档数据中识别感兴趣的文件。具体来说，我们研究了机器学习和深度学习模型以及从整个文档或文档的特定部分提取的“词袋”（BoW）特征，以及捕获文档结构的结构特征。我们把我们的评估集中在三个数据集，我们从三个不同的Web档案创建。我们的实验结果表明，只关注文档的特定部分（而不是全文）的BoW分类器在所有三个数据集上的性能优于所有比较方法。
2020-09-02 cs.CL cs.DL cs.IR
GoogleTrendArchive: A Year-Long Archive of Real-Time Web Search Trends Worldwide
University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）
该研究提出GoogleTrendArchive数据集，包含一年内125个国家1358个地点的实时搜索趋势数据，通过捕捉实时搜索激增现象，为研究集体注意力动态提供系统分析工具。
2026-03-23 cs.IR cs.SI
Using Micro-collections in Social Media to Generate Seeds for Web Archive Collections
在一个被消失的资源所困扰的网络中，网络档案收集提供了一种有价值的手段来保存对研究从选举到疾病爆发的过去事件至关重要的网络资源。这些存档的收藏品从策展人手工选择的种子URI（统一资源标识符）开始。策展人通过删除不相关的URI并添加来自可信和权威来源的URI来产生高质量的种子，但收集这些种子非常耗时。策展人为发现种子而采用的两种主要策略包括抓取Web（例如，Google）搜索引擎结果页面（SERP）和社交媒体（例如，Twitter）的SERP。在这项工作中，我们研究了三个社交媒体平台，以便深入了解不同来源产生的种子的特征。首先，我们开发了一个简单的词汇表，用于描述不同平台上的社交媒体帖子。其次，我们介绍了一种新的来源，用于从单个或多个用户创建的社交媒体帖子的线程对话中的URI生成种子。社交媒体网站上的用户经常创建和分享有关新闻事件的帖子，这些帖子由手工选择的新闻故事，推文，视频等URI组成。在这项工作中，我们将这些帖子称为微集合，我们认为它们是种子的重要来源，因为创建微集合所付出的努力是编辑活动的一个指标，也是领域专业知识的展示。第三，我们从Reddit、Twitter和Scoop.it的449，347个社交媒体帖子中生成了23，112个带有文本和标签查询的种子集合。我们从传统的抓取SERP帖子和微集合中收集了总共120，444个URI。我们在多个维度上描述了由此产生的种子集合，包括U…
2019-05-29 cs.DL cs.IR
TimeMachine: Entity-centric Search and Visualization of News Archives
我们提出了一个动态的网络工具，允许使用以实体为中心的方法进行交互式搜索和可视化的大型新闻档案。用户能够使用表达新闻故事或事件的关键词短语来搜索实体，并且系统基于自动提取和索引的实体简档来检索与用户查询最相关的实体。从计算新闻学的角度来看，TimeMachine允许用户使用从新闻文章中提取的同现网络中自动识别实体名称，工作，引用和实体之间的关系来探索媒体内容。TimeMachine演示可在http://maquinadotempo.sapo.pt/上获得
2016-01-05 cs.IR
Profiling Web Archival Voids for Memento Routing
以前的工作对网络档案剖析的重点是档案控股，以描述什么是目前在档案。这项工作定义并探索了Archival Voids，以建立一种方法来表示Web存档中不存在的URI空间部分。档案持有和档案空白配置文件可以独立工作或作为补充，以最大限度地提高记忆聚合器的准确性。我们讨论了可用于创建归档空洞配置文件的各种真实来源。我们使用来自Arquivo.pt的访问日志来创建各种存档无效配置文件，并根据我们的MemGator访问日志进行分析以进行评估。我们发现，如果Arquivo.pt提供基于URI的Archival Voids配置文件，这些URI被请求了数百次，但从未返回任何成功响应，那么我们可以避免超过8%的额外误报。
2021-08-06 cs.DL cs.IR
Reconstructing Websites for the Lazy Webmaster
在灾难性事件发生之前，通常不会考虑备份或保存网站。在面对完整的网站损失，“懒惰”的网站管理员或有关的第三方可能能够从互联网档案馆恢复一些他们的网站。其他页面也可以从商业搜索引擎缓存中抢救。我们引入了“惰性保存”的概念--作为Web基础设施（搜索引擎和缓存）正常操作的结果而执行的数字保存。我们提出Warrick，一个工具，自动化的过程中，从互联网档案馆，谷歌，MSN和雅虎的网站重建。使用Warrick，我们已经重建了24个不同大小和组成的网站，以证明从公共Web基础设施的网站重建的可行性和局限性。为了衡量Warrick的机会窗口，我们分析了新的Web资源进入和离开搜索引擎缓存所需的时间。
2005-12-16 cs.CY cs.IR
Everyone is a Curator: Human-Assisted Preservation for ORE Aggregations
开放档案倡议组织（OAI）最近创建了对象重用和交换（ORE）项目，该项目定义了用于描述Web资源聚合的资源映射（ReM）。这些集合容易受到许多相同的保存挑战，面临其他网络资源。在本文中，我们研究如何聚合的Web资源可以保存在典型的存储库环境之外，而是依赖于成千上万的交互式用户在Web社区和Web基础设施（收集的Web档案，搜索引擎，和个人存档服务），以促进保存。灵感来自于Web 2.0服务，如digg、deli.cio.us和Yahoo！Buzz，我们已经开发了一个名为ReMember的轻量级系统，它试图利用网络社区的集体能力来进行保存，而不是仅仅将策展责任的负担放在少数专家身上。
2009-01-28 cs.DL cs.IR
Finding Person Relations in Image Data of the Internet Archive
L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））
万维网上的多媒体内容正在迅速增长，并且包含了对不同领域的许多应用有价值的信息。出于这个原因，自90年代中期以来，互联网档案馆计划一直在收集数十亿个时间版本的网页。然而，大量的数据很少用适当的元数据标记，并且需要自动方法来启用语义搜索。通常，互联网档案馆的文本内容被用来提取实体及其在政治和娱乐等领域的可能关系，而图像和视频内容通常被忽略。在本文中，我们介绍了一个系统的人识别图像内容的网络新闻存储在互联网档案馆。因此，该系统补充了文本中的实体识别，并允许研究人员和分析人员更精确地跟踪媒体报道和人员关系。基于深度学习人脸识别方法，我们提出了一个系统，自动检测感兴趣的人，并收集样本材料，随后用于识别他们的图像数据的互联网档案馆。我们在一个适当的标准基准数据集上评估了人脸识别系统的性能，并通过两个用例证明了该方法的可行性。
2019-05-28 cs.CV cs.DL cs.IR
SHARI -- An Integration of Tools to Visualize the Story of the Day
像Google News和Flipboard这样的工具可以用来传达每日新闻，但过去的新闻呢？在本文中，我们描述了如何将几个现有的工具与网络档案馆控股进行新闻分析和可视化的“最大的故事”，为给定的日期。StoryGraph将新闻文章聚类在一起，以识别共同的新闻故事。Hypercane利用ArchiveNow将StoryGraph生成的URL存储在Web存档中。Hypercane分析这些URL，以确定最常见的术语，实体和最高质量的图像，用于社交媒体故事讲述。然后，Raintale使用这些工具的输出来生成给定日期的新闻故事的可视化。我们将此过程命名为SHARI（StoryGraph Hypercane ArchiveNow Raintale Integration）。
2020-08-01 cs.DL cs.HC cs.IR
The Off-Topic Memento Toolkit
Web档案集是根据特定目的创建的。策展人选择种子或原始资源，然后由存档系统捕获并存储为存档网页或纪念品。构建Web存档集合的系统通常被配置为多次重新访问相同的原始资源。这对于理解一个正在展开的新闻故事或一个组织的演变非常有用。不幸的是，随着时间的推移，这些原始资源中的一些可能会偏离主题，不再适合该集合最初创建的目的。他们可能会因为网站重新设计，域名所有权的变化，财务问题，黑客攻击，技术问题，或者因为他们的内容已经从原来的主题转移。即使它们偏离了主题，存档系统仍然会捕获它们，因此，对这些收藏品进行研究的任何人都必须识别这些偏离主题的纪念品。因此，我们提出了离题纪念品工具包，它允许用户检测Web存档集合内的离题纪念品。这个工具包识别的纪念品可以从收藏中单独删除，或者只是从下游分析中排除。以下相似性度量可用：字节计数，单词计数，余弦相似性，Jaccard距离，Sørensen-Dice距离，使用原始文本内容的Simhash，使用术语频率的Simhash，以及通过gensim库的潜在语义索引。我们记录这些相似性措施的实施。我们拥有手动分析生成的黄金标准数据集，其中包含主题外和主题内的纪念品。使用这个黄金标准数据集，我们为每个指标建立一个对应于最佳F1分数的默认阈值。我们还提供了一个潜在的未来方向，该工具包可能采取的概述。
2018-09-17 cs.DL cs.IR
Cobwebs from the Past and Present: Extracting Large Social Networks using Internet Archive Data
由于其应用潜力和所涉及的广泛技术挑战，来自各种来源的社交图构建一直受到研究人员的关注。万维网提供了大量的不断更新的数据和信息，由各种各样的内容提供方创建的广泛的主题，并使提取的人的网络和他们的时间演化的研究有价值的社会以及计算机科学家。在本文中，我们介绍了SocGraph -一个从互联网档案馆在1996年至2013年的17年间收集的约20亿个网页内容中提取和探索社会关系的系统。我们描述了从提取的关系构建大型社交图的方法，并引入了一个接口来研究它们的时间演化。
2017-01-12 cs.IR cs.SI physics.soc-ph
Colour Contrast on the Web: A WCAG 2.1 Level AA Compliance Audit of Common Crawl's Top 500 Domains
Common Crawl Foundation（Common Crawl 基金会）
研究通过分析Common Crawl顶级500个域名的颜色对比合规性，发现大量网站未能达到WCAG 2.1级别AA的对比度要求，揭示了网页可访问性中的普遍问题。
2026-02-27 cs.HC cs.IR
Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections
Common Crawl Foundation（Common Crawl基金会）；University of Pennsylvania（宾夕法尼亚大学）
本文提出利用纵向数据估计网络爬虫覆盖率，通过分析后续爬虫的URL重叠，采用尿布过程模型进行线性回归推断，得出德语学术网稳定爬虫配置下约46%的覆盖率。
2026-04-05 cs.DL cs.IR cs.IT
GovScape: A Public Multimodal Search System for 70 Million Pages of Government PDFs
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of North Texas（北德克萨斯大学）；American Institute of Physics（美国物理联合会）；Boston University（波士顿大学）
本文提出GovScape，一个支持多模态搜索的公共系统，用于搜索7000万页的政府PDF文件，展示了其在大规模PDF数据处理中的高效性和可扩展性。
2026-05-18 cs.DL cs.IR
Measuring What the Crawler Sees: Discovery Curves, Core Persistence, and Shell Dynamics in Longitudinal Web Crawls
Common Crawl Foundation（Common Crawl 基金会）
研究纵向网络爬虫，定义形式语言并通过发现曲线扩展分析。以Common Crawl和GAW为例，发现成对包含关系与发现曲线投影不一致，用双组件瓮模型调和，得出外壳不均匀，κ为秩解析泛化切入点。
2026-07-16 cs.DL cs.IR physics.soc-ph
