ArchiveWeb: Collaboratively Extending and Exploring Web Archive Collections
精选的网络档案收藏包含由存档组织收集的重点数字内容，以提供涵盖特定主题和事件的代表性样本，以保存它们供未来探索和分析。在本文中，我们将讨论如何最好地支持这些馆藏的协同建设和探索，通过ArchiveWeb系统。ArchiveWeb是使用迭代评估驱动的基于设计的研究方法开发的，在所有阶段都有相当多的用户反馈。本文介绍了我们目前的原型搜索，构建，探索和讨论网络档案集的功能，以及从七个存档组织对这个原型的反馈，我们的计划，以改善系统的下一个版本。
2017-02-01 cs.DL
The Use of Web Archives in Disinformation Research
该文介绍了网络档案在虚假信息研究中的应用实例，汇总了老道明大学WS-DL团队的相关工作，展示了其在网页变更调查、归档社交媒体研究及已知虚假信息分析方面的用途。
2023-06-16 cs.DL
Bots, Seeds and People: Web Archives as Infrastructure
网络存档领域提供了人类和自动化代理人合作的独特组合，以实现网络的保存。几个世纪以来的档案鉴定理论正在被移植到万维网的社会技术环境中，并取得了不同程度的成功。档案管理员和机器人的工作与网络的材料接触，提出了一个独特的和未充分研究的CSCW形状的问题。为了调查这个空间，我们对档案管理员和技术人员进行了半结构化的采访，他们直接参与了从网络上为档案选择内容的工作。这些半结构化的访谈确定了主题领域，这些主题领域为网络档案中的评估过程提供了信息，其中一些主题领域被编码在数学和算法中。使网络档案的基础设施清晰的档案管理员，自动代理和未来的研究人员提出了CSCW和档案社区的挑战。
2016-11-08 cs.DL
ArchiveWeb: collaboratively extending and exploring web archive collections - How would you like to work with your collections?
精选的网络档案集包含由存档组织，团体和个人收集的重点数字内容，以提供涵盖特定主题和事件的代表性样本，以保存它们供未来探索和分析。在本文中，我们将讨论如何最好地支持这些馆藏的协同建设和探索，通过ArchiveWeb系统。ArchiveWeb是使用迭代评估驱动的基于设计的研究方法开发的，在所有阶段都有相当多的用户反馈。本文的第一部分描述了我们在项目的第一年从最初的需求工程阶段获得的重要见解和当前ArchiveWeb系统的主要功能，用于搜索，构建，探索和讨论Web档案集。第二部分总结了我们从存档组织和图书馆收到的关于这个版本的反馈，以及我们为下一个版本改进和扩展系统的相应计划。
2017-02-01 cs.DL
Replaying Archived Twitter: When your bird is broken, will it bring you down?
历史学家和研究人员相信网络档案馆可以保存在实时网络上不再存在的社交媒体内容。然而，我们在实时网络上看到的内容以及它在存档中的重播方式并不总是相同的。在本文中，我们记录并分析了自Twitter于2020年6月强制使用其新UI以来Twitter存档中存在的问题。大多数Web存档无法存档新的UI，导致存档的Twitter页面显示Twitter的“出错”错误。存档新UI的挑战迫使Web存档继续使用旧UI。为了分析由于这一变化而导致的网络档案数据中信息的潜在损失，我们使用了美国第45任总统的个人Twitter帐户@realDonaldTrump，该帐户于2021年1月8日被Twitter暂停。特朗普的账户被推特贴上了大量散布错误信息的标签，但我们发现，在网络档案中没有证据证明他的一些推文曾经被分配过标签。我们还研究了新UI的存档版本中时间违规的可能性，这可能导致重播在实时Web上从未存在的页面。我们的目标是教育可能使用网络档案的研究人员，并在根据存档的Twitter页面得出结论时提醒他们。
2021-08-27 cs.DL
Focused Crawl of Web Archives to Build Event Collections
事件集合通常是通过在专家指定的种子URI的基础上抓取实时Web来构建的。聚焦Web爬行是一种技术，其中爬行器由与事件有关的参考内容引导。考虑到网络的动态特性和主题发展的速度，抓取的时间是两种方法都要考虑的问题。我们调查的可行性进行集中抓取存档的网页。通过利用Memento基础设施，我们从22个网络档案中获取资源，这些档案有助于构建事件集合。我们在四个事件上创建集合，并将其资源的相关性与通过抓取实时网络以及手动策划的集合构建的集合进行比较。我们的研究结果表明，在存档的网络上进行集中抓取是可以做到的，并且确实会产生高度相关的集合，特别是对于过去发生的事件。
2018-04-04 cs.DL
Who and What Links to the Internet Archive
互联网档案馆（IA）的Wayback Machine是最大和最古老的公共网络档案馆，已成为我们最近的历史和文化遗产的重要存储库。尽管它很重要，但关于它是如何被发现和使用的研究却很少。基于Web访问日志，我们分析用户正在寻找什么，他们为什么来IA，他们来自哪里，以及页面如何链接到IA。我们发现，用户请求的英文页面最多，其次是欧洲语言。大多数人类用户访问Web存档是因为他们在实时Web上找不到所请求的页面。大约65%的请求存档页面不再存在于实时网络上。我们发现，超过82%的人类会话通过其他网站的推荐连接到Wayback Machine，而只有15%的机器人有自动登录器。大多数来自网站的链接（86%）是在特定时间点指向单个存档页面，其中83%不再存在于实时网络上。
2013-09-16 cs.DL
Web Archives for Verifying Attribution in Twitter Screenshots
本研究提出利用Web档案验证Twitter截图归属的方法，通过提取截图中的用户名、时间戳和推文文本，在Wayback Machine中定位存档推文，并在1,571条截图数据集上进行了评估。
2025-10-27 cs.DL
Linking Things on the Web: A Pragmatic Examination of Linked Data for Libraries, Archives and Museums
关联数据的网络出版范式在文化遗产领域（图书馆、档案馆和博物馆）越来越受欢迎。乍一看，关联数据的原理似乎很简单。然而，尝试将这些想法付诸实践的经验丰富的Web开发人员，设计师和架构师经常发现自己必须消化和理解有关Web架构，语义Web，人工智能和身份的哲学本质的争论。在本文中，我将讨论关联数据对文化遗产社区感兴趣的一些原因，部署它的一些痛点，并描述文化遗产组织实现关联数据目标的一些实用方法，并提供我们今天在Web上的例子。
2013-06-20 cs.DL
Archive Assisted Archival Fixity Verification Framework
公共和私人网络档案的数量已经增加，我们隐含地信任这些档案提供的内容。检查固定性以确保归档的资源自捕获时起保持不变。一些网络存档不允许用户访问固定性信息，更重要的是，即使固定性信息可用，它也是由请求存档资源的同一个存档提供的。在本研究中，我们提出了两种方法，即原子和块，建立和检查存档资源的固定性。在Atomic方法中，每个存档网页的固定性信息存储在JSON文件（或清单）中，并在将其传播到几个按需Web存档之前在知名的Web位置（Archival Fixity服务器）中发布。在块方法中，我们首先将多个存档页面的固定性信息批量放在一个可二进制搜索的文件（或块）中，然后再将其发布并传播到存档中。在这两种方法中，固定性信息不是直接从档案中获得的。相反，我们计算固定性信息（例如，散列值）。Atomic方法的一个优点是，即使没有ArchivalFixityServer，也能够验证归档页面的固定性。Block方法需要将更少的资源推入归档，并且它比Atomic方法更快地执行固定性验证。平均而言，向perma.cc、archive.org和webcitation.org需archive.is时间分别是www.example.com的1.25倍、4倍和36倍，而向archive.org传播区块所需的时间是perma.cc的3.5倍。在验证归档页面的固定性方面，Block方法比Atomic方法快4.46倍…
2019-05-29 cs.DL
Cited But Not Archived: Analyzing the Status of Code References in Scholarly Articles
本文分析了学术文章中Git托管平台URI的存档状态，发现93.98%仍可公开访问，68.39%被Software Heritage存档，81.43%被Web档案存档，揭示了代码引用面临的存档缺失风险。
2024-01-10 cs.DL
Evaluating Sliding and Sticky Target Policies by Measuring Temporal Drift in Acyclic Walks Through a Web Archive
当用户使用存档的用户界面（UI）查看存档页面时，用户从列表中选择要查看的日期时间。然后显示存档的网页（如果可用）。从该显示中，web存档UI尝试通过在存档页面之间平滑地转换来模拟web浏览体验。在此过程中，目标日期时间会随着每个链接的变化而变化;偏离最初选择的日期时间。当浏览稀疏存档的页面时，这种近乎无声的漂移可以在几次点击中持续多年。我们对存档页面进行了20万次非循环遍历，每次遍历最多跟踪50个链接，比较两种目标日期时间策略的结果。滑动目标策略允许目标日期时间像在存档UI（如Internet Archive的Wayback Machine）中一样更改。由Memento API表示的Sticky Target策略在整个遍历过程中保持目标日期时间相同。我们发现，滑动目标策略漂移随着步行步数、访问的域数和选择（可用链接数）而增加。然而，Sticky Target策略控制时间漂移，将其平均保持在30天以内，而不管访问的域的长度或数量。粘性目标策略显示随着选择的增加而有所增加，但这可能是由其他因素引起的。我们的结论是，基于步行长度，粘性目标政策一般产生至少30天的漂移比滑动目标政策。
2013-09-21 cs.DL
Robots Still Outnumber Humans in Web Archives, But Less Than Before
为了识别机器人和人类并分析其各自的访问模式，我们使用了互联网档案馆（IA）2012年和2019年的Wayback Machine访问日志，以及Arquivo.pt（葡萄牙网络档案馆）2019年的访问日志。我们在访问日志中识别用户会话，并根据其浏览行为将这些会话分类为人类或机器人。为了更好地了解用户如何浏览Web存档，我们评估了这些会话以发现用户访问模式。基于这两个档案和两年的IA访问日志（2012年与2019年），我们比较了检测到的机器人与人类及其用户访问模式和时间偏好。IA 2012中检测到的机器人总数大于IA 2019（请求中增加21%，会话中增加18%）。机器人占Arquivo.pt（2019）中98%的请求（97%的会话）。我们发现，机器人在IA 2012中几乎完全局限于“Dip”和“Skim”访问模式，但在IA 2019中展示了所有模式及其组合。人类和机器人都对不久前存档的网页表现出偏好。
2022-08-27 cs.DL
The Dawn of Today's Popular Domains: A Study of the Archived German Web over 18 Years
Web已经存在并成熟了25年。今天流行的网站在此期间经历了巨大的变化，有几个几乎从一开始就存在，许多新的网站多年来变得流行。这使得我们有必要看看这些网站是如何发展的，以及它们可能告诉我们关于Web的未来。因此，我们开始了一项纵向研究，几乎跨越了整个时期的Web，根据收集的数据从1996年开始的互联网档案馆，回顾分析如何流行的Web到现在已经演变了过去18年。在我们的研究中，我们专注于德国网站，特别是17个类别中最受欢迎的100个网站。本文介绍了一个选择的最有趣的发现方面的体积，大小以及年龄的网络。虽然Web Dynamics领域的相关工作主要集中在变化率和分析不到一年的数据集上，但我们研究了18年来网站的演变。我们发现，我们调查的页面中约有70%的页面不到一年，到目前为止，年龄和大小都呈指数级增长。如果这种增长速度继续下去，来自热门域名的页面数量将在未来两年几乎翻一番。此外，我们还深入了解了由Internet Archive提供的数据集，该数据集拥有迄今为止最大和最完整的Web存档。
2017-02-03 cs.DL
MementoMap Framework for Flexible and Adaptive Web Archive Profiling
在这项工作中，我们提出了MementoMap，一个灵活的和自适应的框架，有效地总结持有的网络档案。我们描述了一种简单但可扩展的文件格式，适用于MementoMap。我们使用了Arquivo.pt的完整索引，包括5 B纪念品（存档的网页/文件），以了解其持有的性质和形状。我们从HTTP状态码为200 OK的HTML页面中生成了具有不同详细信息的MementoMaps。此外，我们设计了一个单遍，内存效率和并行化友好的算法，以压缩一个大的MementoMap到一个小的和一个文件中的二进制搜索方法进行有效的查找。我们分析了超过三年的MemGator（Memento聚合器）日志，以了解14个公共网络档案的响应行为。我们通过使用来自MemGator日志的330万个唯一URI测量其准确性来评估MementoMaps。我们发现，小于1.5%相对成本的MementoMap（与所有唯一原始URI的综合列表相比）可以正确识别相应存档中60%的查找URI的存在或不存在，同时保持100%召回（即，零假阴性）。
2019-05-29 cs.DL
Big Data Science Over the Past Web
网络档案保存独特的和历史上有价值的信息。它们记录了各种各样的人发表的过去事件和记忆，如记者，政治家和普通人，他们分享了他们对多个主题的证词和意见。因此，历史学家和社会学家等研究人员使用网络档案作为信息来源，以了解自万维网早期以来的最近历史。从网络档案中提取知识的典型方法是使用其搜索功能来查找和分析历史内容。在分析复杂的主题时，这可能是一个缓慢而肤浅的过程，因为Web存档随着时间的推移保存了大量的数据。大数据科学工具可以应对这个数量级，使研究人员能够从存档数据中自动提取有意义的知识。这些知识不仅有助于解释过去，而且有助于通过对事件和行为的计算建模来预测未来。目前，大数据工具、机器学习框架和深度学习算法的前景广阔，它们显著提高了几个计算任务的可扩展性和性能，特别是在文本、图像和音频方面。网络档案馆一直在利用这一整套技术，为用户提供更强大的工具来探索和利用历史数据。本章介绍了这些工具的几个例子，并概述了它们的应用，以支持纵向研究网络档案集。
2021-08-03 cs.DL
ArchiveSpark: Efficient Web Archive Access, Extraction and Derivation
网络档案是各学科研究人员的宝贵资源。然而，使用它们作为学术来源，研究人员需要一个工具，提供有效的访问Web存档数据的提取和派生的较小的数据集。除了有效的访问，我们确定了其他五个目标的基础上，实际研究人员的需求，如易用性，可扩展性和可重用性。为了实现这些目标，我们提出了ArchiveSpark，一个高效的，分布式的Web档案处理框架，建立了一个研究语料库的工作，现有的和标准化的数据格式通常由Web存档机构。通过使用广泛可用的元数据索引，ArchiveSpark中的性能优化可以显著提高数据处理的速度。我们的基准测试表明，ArchiveSpark比其他方法更快，无需依赖任何额外的数据存储，同时通过将查询和派生与外部工具无缝集成来提高可用性。
2017-02-03 cs.DB cs.DL
Garbage, Glitter, or Gold: Assigning Multi-dimensional Quality Scores to Social Media Seeds for Web Archive Collections
从民众起义到流行病，网络是科学家和历史学家重建和研究过去事件的重要参考来源。不幸的是，Web受到引用腐烂的困扰，导致重要的Web资源消失。Web存档集合通过保存记录重要故事/事件的Web资源，在它们消失之前帮助减少引用腐烂的代价。这些集合通常以称为种子的URL开始，由专家手工选择或从社交媒体上刮取。社会化媒体内容的质量差异很大，因此，我们提出了一个框架，分配多维质量分数的社会化媒体种子的故事和事件的Web档案收集。我们利用社交媒体研究的贡献，根据可信度，声誉和影响力将质量归因于社交媒体内容和用户。我们将这些与来自网络档案研究的额外贡献相结合，强调在选择种子时考虑地理和时间限制的重要性。接下来，我们开发了质量代理（QP）框架，该框架为从社交媒体中提取的种子分配了10个主要维度的质量分数：流行度，地理，时间，主题专家，可检索性，相关性，声誉和稀缺性。我们实例化的框架，并表明，种子可以在多个QP类，映射到不同的政策，如优先种子从本地新闻，信誉良好和/或流行的来源，等QP框架是可扩展的和强大的种子排名。我们的研究结果表明，质量代理导致选择的质量种子增加精度（约0.13）时，新颖性是和不优先。这些贡献提供了一个可解释的分数适用于排名和选择质量种子的Web档案收集和其他领域。
2021-07-06 cs.DL
Impact of HTTP Cookie Violations in Web Archives
某些网站上的某些HTTP Cookie可能是归档抓取中内容偏差的来源。在抓取时禁用Cookie，但在重放时不使用它们可能会导致Cookie违规，从而导致在实时网络上不存在的污损复合纪念品。为了解决这些问题，我们建议爬虫程序存储具有较短到期时间的Cookie，并且归档重放系统将Vary头中的值与URI一起考虑。
2019-06-17 cs.DL
Linking Mathematical Software in Web Archives
网络是我们今天各种信息的主要来源。这包括有关软件的信息以及相关材料，如源代码、文档、相关出版物和更改日志。这些数据在研究中特别重要，以便进行，理解和重建涉及软件的科学实验。swMATH是一个数学软件目录，试图识别科学文章中提到的软件，并提供额外的信息以及到Web的链接。然而，就像软件本身一样，Web是动态的，而且Web上的信息很可能在科学出版物中引用后发生了变化。因此，保留Web上的软件资源以捕获其随时间变化的状态至关重要。我们发现swMATH中大约40%的网站已经包含在现有的Web存档中。其中，60%包含某种文档，大约45%甚至提供软件工件的下载。因此，今天已经可以根据相应文章的出版日期建立链接。所包含的数据能够丰富具有时间维度的现有信息。未来，专门的基础设施将改善软件资源的覆盖面，并允许在科学出版物中明确引用。
2017-02-03 cs.DL
WARC-DL: Scalable Web Archive Processing for Deep Learning
网络档案已经增长到PB级。除了为过去30年的许多社会和文化发展提供宝贵的背景知识外，它们还为机器学习提供了大量的训练数据。为了从深度学习的最新发展中受益，使用Web存档需要一个可扩展的解决方案来处理它们，支持神经网络的推理和训练。到目前为止，还没有公开可用的库以这种方式处理Web存档，一些现有的应用程序使用变通方法。本文介绍了WARC-DL，这是一个支持深度学习的管道，用于Web存档处理，可扩展到PB级。
2022-09-25 cs.DL cs.IR
Analyzing Web Archives Through Topic and Event Focused Sub-collections
网络档案记录了网络的历史，因此是研究社会发展如何反映在网络上的重要来源。然而，大尺寸的Web档案和他们的时间性质提出了许多挑战，研究人员有兴趣与这些集合。在这项工作中，我们描述了与Web档案工作的挑战，并提出了研究方法论的提取和研究子集合的档案集中在特定的主题和事件。我们讨论了这种方法的机遇和挑战，并建议创建子集合的框架。
2016-12-16 cs.DL cs.IR
How Much of the Web Is Archived?
虽然互联网档案馆的Wayback Machine是最大和最知名的网络档案馆，但在过去几年中出现了一些公共网络档案馆。由于资源、受众和馆藏发展政策各不相同，这些档案相互之间有不同程度的重叠。虽然可以根据URI的数量、每个URI的副本数量以及与其他存档的交集来衡量单个存档，但到目前为止，还没有答案来回答“Web有多少是存档的？“我们通过使用来自DMOZ、Delicious、Bitly和搜索引擎索引的样本URI来近似Web来研究这个问题;并计算存在于各种公共Web存档中的样本URI的副本数量。每个样本集都有自己的偏倚。从我们的样本集的结果表明，范围从35%-90%的网站至少有一个存档的副本，17%-49%之间有2-5个副本，1%-8%有6-10个副本，8%-63%有超过10个副本在公共网络档案。URI副本的数量随着时间的变化而变化，但不超过31.3%的URI每月存档一次以上。
2013-01-06 cs.DL cs.IR
The Archives Unleashed Project: Technology, Process, and Community to Improve Scholarly Access to Web Archives
Archives Unleashed项目旨在通过涉及工具创建，流程建模和社区建设的多管齐下的策略来改善对网络档案的学术访问-所有这些都在相互加强的努力中同时进行。随着我们最初设想的三年项目接近尾声，我们报告了我们的进展情况，并分享了一路上学到的经验教训。本文阐述的主要贡献是一个过程模型，将学术研究分解为四个主要活动：过滤，提取，聚合和可视化。基于这些活动可以跨时间，空间和工具分解的见解，有可能生成“衍生产品”，使用我们的档案释放工具包，作为学术研究的有用起点。学者可以从Archives Unleashed Cloud下载这些产品，并像其他数据集一样操作它们，从而提供访问Web档案的权限，而无需任何专业知识。在过去的几年里，我们的平台已经处理了来自大约200个用户的1000多个不同的集合，总计超过280 TB的Web存档。
2020-01-15 cs.DL cs.IR
Caching HTTP 404 Responses Eliminates Unnecessary Archival Replay Requests
在重放时，存档网页上的JavaScript可能会生成重复的HTTP请求，从而导致对Web存档的不必要流量。在一个例子中，一个存档的页面平均每分钟有超过1000个请求。这些请求对用户不可见，因此如果用户在浏览器选项卡中打开这样的存档页面，他们将不知道他们的浏览器正在继续生成Web存档的流量。我们发现需要定期更新的网页（例如，无线电播放列表、体育比分的更新、图像轮播）更有可能做出这样的重复请求。如果网页请求的资源未存档，则某些Web存档可能会尝试通过从实时Web请求资源来修补存档。如果请求的资源在实时网络上不可用，则资源无法存档，并且响应仍然是HTTP 404。一些存档的页面继续像在实时Web上一样频繁地轮询服务器，而一些页面在请求返回HTTP 404响应时会更频繁地轮询服务器，从而产生大量不必要的流量。在很大程度上，这样的网页实际上是对Web存档的拒绝服务攻击。Web存档需要大量的计算、网络和存储资源来存档页面，然后成功地重放页面，就像它们在实时Web上一样，这些资源不应该花费在不必要的HTTP流量上。我们提出的解决方案是使用Cache-Control HTTP响应头优化归档重放。我们在测试环境中实现了这种方法，并缓存了HTTP 404响应，以防止浏览器的请求到达Web存档服务器。
2022-12-01 cs.DL cs.NI
Access Patterns for Robots and Humans in Web Archives
虽然用户访问模式在现场网络上是很好的理解，一直没有相应的研究用户，人类和机器人，访问网络档案。基于来自互联网档案馆的公共Wayback Machine的样本，我们提出了一组基本的使用模式：Dip（单次访问），Slide（在不同的存档时间访问同一页面），Dive（在大致相同的存档时间访问不同页面）和Skim（列出存档的页面，即，TimeMaps）。机器人几乎只限于蘸取和撇取，但人类的访问在所有四种类型之间变化更大。机器人在会话方面超过人类10：1，在原始HTTP访问方面为5：4，在传输的兆字节方面为4：1。机器人几乎总是访问TimeMaps（95%的访问），但人类主要访问存档的网页（82%的访问）。就独特的存档网页而言，没有对特定时间的总体偏好，但最近的过去（去年内）显示出显著的重复访问。
2013-09-16 cs.DL cs.IR
How to Search the Internet Archive Without Indexing It
在过去的几十年里，文化遗产的重要组成部分是在网络上产生的。虽然容易访问当前的网站是一个很好的基线，最佳访问过去的网站面临着几个挑战。这包括处理大规模的网络存档集合，以及缺乏包含与当今网络搜索最相关的隐含人类反馈的使用日志。在本文中，我们提出了一个面向实体的搜索系统，以支持检索和分析的互联网档案馆。我们使用必应从当前网站检索排名结果列表。此外，我们将检索结果链接到WayBack Machine;从而允许在Internet Archive上进行关键字搜索，而无需处理和索引其原始存档内容。我们的搜索系统通过用户友好的界面补充了现有的网络档案搜索工具，该界面接近现代网络搜索引擎的功能（例如，关键字搜索、查询自动完成和相关的查询建议），并且提供了将用户对当前web的反馈也考虑到web档案搜索的巨大益处。通过大量的实验，我们进行定量和定性分析，以提供见解，使进一步的研究和实际应用的网络档案。
2017-01-28 cs.DL cs.IR
Making Changes in Webpages Discoverable: A Change-Text Search Interface for Web Archives
针对现有网络档案搜索界面无法便捷查找网页变更的问题，研究提出了一款变更文本搜索引擎，支持变更可视化与相关查询，经美国联邦环境网页验证效果良好。
2023-04-30 cs.DL cs.IR
Web Archive Analytics
网络档案分析是利用可公开访问的网页及其演变的研究目的-在组织上可能为研究人员的程度。为了更好地理解这一任务的复杂性，本文的第一部分将世界上所有被捕获、创建和复制的数据（“全球数据网”）与其他重要数据集（如公共互联网及其网页）或互联网档案馆保存的数据进行了比较。最近，Webis研究小组（作者所属的一个大学讲座网络）与互联网档案馆达成协议，下载其网络档案的大部分用于研究目的。本文的第二部分描述了我们处理这些数据宝藏的基础设施：我们最终将托管来自Internet Archive和Common Crawl的约8 PB的Web存档数据，目标是补充现有的大型Web语料库，并在Internet Archive的30 PB Web存档中形成无偏见的子集。
2021-07-02 cs.DL cs.NI cs.SI
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程，以确保保留信息以供将来使用。然而，尽管全球网络档案数量不断增加，但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中，我们专注于这个问题，并提出了一个RDF/S模型和一个分布式框架，用于建立语义配置文件（“层”），描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息，用有用的语义信息（如实体，概念和事件）注释它们，并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能，并使网络档案直接利用其他系统和工具。为了证明他们的查询能力，我们建立和查询三种不同类型的Web档案的语义层。实验评估表明，语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Visualizing Webpage Changes Over Time
我们报告TMVis的发展，一个Web服务，以提供可视化的个人网页如何随着时间的推移而变化。我们利用过去的研究，总结收集的网页与缩略图大小的屏幕截图，并选择一个小的代表性过去存档的网页从一个大的集合。我们提供四种可视化：图像网格，图像滑块，时间轴和GIF动画。可以生成图像网格和图像滑块的嵌入代码，以将它们包含在单独的网页上。动画GIF可以作为图像文件下载，用于相同的目的。这个工具可以用来让来自不同学科的学者，以及一般公众，探索网络档案的时间性质。我们希望这些可视化只是一个开始，并将为其他人提供一个起点，为Web存档用户扩展这些类型的产品。
2020-06-03 cs.DL
Adapting the Hypercube Model to Archive Deferred Representations and Their Descendants
网络是今天的主要出版媒介，使网络存档成为历史和分析目的的重要活动。网页的交互性越来越强，导致网页越来越难以存档。客户端技术（例如，JavaScript）启用可能改变表示的客户端状态的交互。我们将通过JavaScript加载嵌入式资源的表示称为延迟表示。很难将所有的资源都存档在延迟表示中，结果是存档的网页要么不完整，要么错误地从实时网络加载嵌入式资源。我们提出了一种发现和爬行延迟表示及其后代（只能通过客户端事件到达的表示状态）的方法。我们适应Dincturk等人。超立方体模型构建一个模型存档后代，我们测量的后代和必要的嵌入式资源的数量在一个概念验证爬行。我们的方法确定了每个种子URI爬行的平均38.5个后代，其中70.9%是通过onclick事件到达的。这种方法也增加了比Heritrix多15.6倍的嵌入式资源，但速度比简单使用Heritrix慢38.9倍。我们证明了我们的数据集有两个层次的后代。最后，我们提出了爬行策略和归档后代的存储要求的分析。
2016-01-20 cs.DL
Extracting Event-Centric Document Collections from Large-Scale Web Archives
Web档案通常范围非常广泛，规模非常大。这使得数据分析看起来令人生畏，特别是对于非计算机科学家来说。这些收藏品是社会科学、历史科学研究人员和有兴趣研究历史事件的记者日益重要的资料来源。然而，除了检索各个断开连接的文档之外，目前没有任何访问方法可以帮助用户有效地访问信息，特别是关于特定事件的信息。因此，我们提出了一种新的方法来提取以事件为中心的文档集，从大规模的Web档案。该方法依赖于专门的聚焦提取算法。我们的实验在德国的Web档案（涵盖了19年的时间段）表明，我们的方法可以提取不同的事件类型的事件为中心的集合。
2017-07-28 cs.DL cs.IR
Temporally Extending Existing Web Archive Collections for Longitudinal Analysis
本文提出一种在时间上扩展现有Web Archive集合以进行纵向分析的方法论，通过整合多源制品构建新数据集，揭示Trump政府删除的网站术语中有87%由Obama政府添加。
2025-05-30 cs.DL
Evaluating the SiteStory Transactional Web Archive With the ApacheBench Tool
传统的Web存档是通过定期抓取网站并存档来自Web服务器的响应来创建的。虽然易于实施和常见的部署，这种形式的存档通常会错过更新，并可能不适合所有的保存方案，例如，一个网站需要（可能是为了记录合规性）保留它所提供的所有页面的副本。与此相反，事务性归档与Web服务器一起工作，以记录已提供的所有页面。洛斯阿拉莫斯国家实验室开发了SiteSory，这是一个用Java编写的开源事务性存档解决方案，在Apache Web服务器上运行，提供了一个Memento兼容的访问接口和WARC文件导出功能。我们在的预发布版本上使用ApacheBench实用程序来测量不同环境和不同计算机上的响应时间和内容交付时间。性能测试旨在确定SiteStory作为高保真自动Web存档的生产级解决方案的可行性。我们发现SiteStory在执行事务归档时不会显著影响内容服务器的性能。当内容服务器处于负载下时，每个Web页面访问的内容服务器性能从0.076秒降低到0.086秒，当资源具有许多嵌入式和不断变化的资源时，从0.15秒降低到0.21秒。
2012-10-05 cs.DL cs.PF
Rules of Acquisition for Mementos and Their Content
从网页中提取文本有很多应用，包括网页爬行优化和文档聚类。虽然已经有很多关于从实时网页获取内容的文章，但存档网页的内容获取（称为纪念品）仍然是一项相对较新的业务。在对近70万个网页进行研究的过程中，我们遇到了获取纪念品和从中提取文本的问题。通过HTTP获取纪念品内容预计是一个相对无痛的练习，但我们已经发现了相反的情况。我们还发现，HTML的解析，已经知道是有问题的，可以更复杂的，当一个人试图提取的纪念品的文本在许多网络档案，由于涉及不同的纪念品呈现行为的问题，以及在他们的纪念品的HTML的年龄。为了让其他人在许多网络档案中获得纪念品，我们在这里记录了这些经历。
2016-02-22 cs.DL
MementoEmbed and Raintale for Web Archive Storytelling
对于传统的图书馆馆藏，档案管理员可以从馆藏中选择一个具有代表性的样本，并将其展示在特色的物理或数字图书馆空间。Web存档集合可能由数千个存档页面或纪念品组成。一个档案管理员应该如何展示这个样本来吸引访问者到他们的收藏品？搜索引擎和社交媒体平台通常将网页表示为由文本片段、标题和图像组成的卡片。网络讲故事是一种流行的方法，将这些卡片分组，以总结一个主题。不幸的是，社交媒体平台并不具有存档意识，并且未能始终如一地为纪念品创造良好的体验。他们也不允许他们的卡的UI更改。因此，我们创建了MementoEmbed来为单个纪念品生成卡片，而Raintale用于创建整个故事，档案管理员可以将其导出为各种格式。
2020-08-01 cs.DL cs.HC cs.IR
Aggregator Reuse and Extension for Richer Web Archive Interaction
Memento聚合器使用户能够通过单个HTTP端点及时查询多个Web存档以捕获URI。虽然这种一对多的接入点对研究人员和最终用户很有用，但聚合器能够为最终用户提供黑盒式聚合之外的其他功能。本文确定了Memento聚合的最新技术水平，抽象了其过程，突出了缺点，并提供了系统的增强。
2022-10-03 cs.DL cs.NI cs.SI
Memento: Time Travel for the Web
网络是短暂的。许多资源具有随时间变化的表示，并且其中许多表示永远丢失。少数幸运的资源能够以带有自己URI的存档资源的形式重新出现。例如，某些内容管理系统维护反映其改变资源的冻结先前状态的版本页面。档案反复抓取网络以获得资源的实际表示，并随后通过特殊用途的存档资源使这些资源可用。在这两种情况下，存档副本的URI都是从它们表示先前状态的资源的URI按协议断开的。事实上，最常见的Web协议HTTP中缺乏时态功能，这使得无法根据原始资源的URI访问存档的资源。这使得访问存档资源成为人类和软件代理的重大发现挑战，这通常涉及从原始资源到存档资源的大量链接，或者搜索原始URI的存档。本文提出了基于协议的Memento解决方案来解决这个问题，并描述了一个概念验证实验，其中包括主要服务器的档案内容，包括维基百科和互联网档案馆。Memento解决方案基于现有的HTTP功能，以一种新的方式应用于添加时间维度。其结果是一个框架，其中存档的资源可以通过其原始的URI无缝地访问：基于协议的Web时间旅行。
2009-11-06 cs.DL cs.IR
Improved methodology for longitudinal Web analytics using Common Crawl
针对Common Crawl纵向研究计算与存储成本高的问题，提出通过扩展索引添加时间戳、筛选代表性分段两种方法，可大幅降低资源消耗，并在URI长度变化分析中得到新发现。
2024-04-15 cs.DL cs.NI
The Many Shapes of Archive-It
网络档案是数字保存的一个关键领域，它满足了记者、社会科学家、历史学家和政府机构的需求。这些团体的用例通常要求他们自己指导归档过程，选择自己的原始资源或种子，并创建自己的Web归档集合。我们专注于Archive-It中的收藏，这是一项由Internet Archive于2005年推出的订阅服务，旨在允许组织创建自己的存档网页或纪念品收藏。理解这些集合可以通过用户提供的元数据或通过文本分析来完成，但是元数据在集合之间的应用并不一致，并且一些Archive-It集合由数十万个种子组成，使得下载每个纪念品的时间成本很高。我们的工作建议使用结构元数据作为理解这些集合的另一种方式。我们探索这些集合中当前存在的结构特征，这些结构特征可以揭示策展和爬行行为。我们采用了收藏增长曲线的概念来理解Archive-It收藏策展和爬行行为。我们还介绍了几个种子功能，并了解组成集合的资源的多样性。最后，我们使用每个集合的描述来确定Archive-It集合的四个语义类别。使用确定的结构特征，我们审查了运行的结果与20个分类器，并能够预测的语义类别的集合使用加权平均F1得分为0.720的随机森林分类器，从而桥接结构的描述。我们的方法是有用的，因为它节省了研究人员的时间和带宽。通过它们的语义类别识别集合允许进一步的下游处理针对这些类别进行定制。
2018-06-18 cs.DL
GitHub Repository Complexity Leads to Diminished Web Archive Availability
该研究通过分析超12000个主要来自GitHub的仓库主页及源码树，发现其Web存档存在不同程度损坏，且源文件存档率极低，主页链接的文件存档率最高，深层目录存档率骤降。
2025-05-21 cs.DL cs.IR cs.SE
Examining the Challenges in Archiving Instagram
研究Instagram虚假信息传播时被封禁账户的存档问题，发现Wayback Machine等公共存档存在重定向登录页及质量缺陷，并开发Python脚本成功抓取2012至2018年的存档记录。
2024-01-04 cs.DL
Social Cards Probably Provide For Better Understanding Of Web Archive Collections
被各种研究人员使用，网络档案收集已成为宝贵的证据来源。如果一个研究人员看到一个不是他们创建的网络档案集，他们如何知道里面是什么，以便他们可以将其用于自己的研究？搜索引擎结果和社交媒体链接被表示为替代品，即底层页面的易于理解的小摘要。搜索引擎和社交媒体有不同的关注点，因此产生了与网络档案不同的替代品。搜索引擎代理帮助用户回答“这个链接能满足我的信息需求吗？“社交媒体代理人帮助用户决定“我应该点击这个吗？“我们的用例略有不同。我们假设，代理人组在一起是有用的汇总集合。我们希望帮助用户回答“底层集合包含什么？“不过，我们应该用哪个代孕呢？在Mechanical Turk的参与者中，我们评估了六种不同的代理类型。我们发现，代理的类型并不影响的时间来完成我们提出的任务的参与者。特别感兴趣的是社交卡，通常在社交媒体上找到的代理，以及浏览器缩略图，在浏览器中呈现的网页的屏幕截图。分别在$p=0.0569$和$p=0.0770$，我们发现社交卡和社交卡与浏览器缩略图并排配对可能比流行的Archive-It网络存档平台目前使用的代理人提供更好的集合理解。我们测量用户与每个代理人的互动，发现用户与社交卡的互动比其他类型少。这项研究的结果对我们的网络档案摘要工作，实时网络策展平台，社交媒体等都有影响。
2019-05-30 cs.DL cs.HC cs.SI
Avoiding Spoilers in Fan Wikis of Episodic Fiction
各种基于粉丝的关于情节小说的维基（例如，电视节目、小说、电影）存在于万维网上。这些wiki提供了关于复杂故事的丰富信息，但如果读者在观看过程中落后，他们就有可能遇到“剧透”--在节目作者预定的时间之前泄露关键情节点的信息。浏览者可以浏览网页存档中的维基，以便在特定的剧集日期之前查看页面，从而避免剧透。不幸的是，由于网络存档如何选择“最佳”页面，仍然有可能看到剧透（特别是在稀疏的存档中）。在本文中，我们将讨论如何使用Memento来避免剧透。Memento使用TimeGates来确定将哪个最佳存档页面返回给用户，目前使用最小距离启发式。我们量化了这种启发式是如何不足以避免破坏者，分析从粉丝维基和互联网档案馆收集的数据。我们创建了一个算法来计算在给定的wiki文章中遇到剧透的概率。我们进行了一项实验，16个维基网站的流行电视节目。我们发现这些网页中有38%在互联网档案馆中不可用。我们发现，当访问互联网档案馆中的粉丝维基页面时，有多达66%的机会遇到剧透。使用互联网档案馆的示例访问日志，我们发现向Wayback Machine请求wikia.com页面的实际请求中有19%以剧透告终。我们建议使用不同的最小距离启发式算法minpast，用于wiki，使用所需的日期时间作为上限。
2015-06-20 cs.DL
Web Archives Metadata Generation with GPT-4o: Challenges and Insights
National Library Board, Singapore（新加坡国家图书馆委员会）；Nanyang Technological University, Singapore（南洋理工大学）；National University of Singapore（新加坡国立大学）
本研究探索使用GPT-4o为网络存档自动生成元数据，通过数据缩减和提示工程实现99.9%成本降低，但质量仍逊于人工，提出LLM应作为辅助工具。
2025-06-19 cs.AI cs.DL
Identifying Documents In-Scope of a Collection from Web Archives
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of North Texas（北德克萨斯大学）
Web存档数据通常包含高质量的文档，这些文档对于创建专门的文档集合非常有用，例如，科学数字图书馆和技术报告储存库。在这样做的时候，有一个自动的方法，可以区分感兴趣的文件收集的大量文件的网络存档机构收集的大量需要。在本文中，我们探讨了不同的学习模型和特征表示，以确定最好的性能从Web存档数据中识别感兴趣的文件。具体来说，我们研究了机器学习和深度学习模型以及从整个文档或文档的特定部分提取的“词袋”（BoW）特征，以及捕获文档结构的结构特征。我们把我们的评估集中在三个数据集，我们从三个不同的Web档案创建。我们的实验结果表明，只关注文档的特定部分（而不是全文）的BoW分类器在所有三个数据集上的性能优于所有比较方法。
2020-09-02 cs.CL cs.DL cs.IR
The Case For Alternative Web Archival Formats To Expedite The Data-To-Insight Cycle
WARC文件格式被广泛用于Web存档，以保存收集的Web内容供将来使用。随着网络档案的快速增长以及将这些档案重新用作统计和分析研究的大数据源的兴趣越来越大，将这些数据转化为见解的速度变得至关重要。在本文中，我们表明，WARC格式进行批处理工作负载的显着性能损失。我们跟踪这些惩罚的根本原因，其数据结构，编码和寻址方法。然后，我们进行对照实验来说明这些问题有多严重。实际上，只需将WARC文件重新格式化为Parquet或Avro格式，就可以获得一到两个数量级的性能增益。虽然这些结果并不一定构成对Avro或Parquet的认可，但Web存档社区考虑用更有效的Web存档格式取代WARC的时机已经到来。
2020-03-31 cs.DB cs.DL
Understanding Web Archiving Services and Their (Mis)Use on Social Media
Web存档服务在当今的信息生态系统中扮演着越来越重要的角色，它可以确保信息的持续可用性，也可以故意缓存可能被删除或移除的内容。其中，自2001年以来，Wayback Machine一直在主动存档大量网页的版本，而像archive.is这样的新服务允许用户创建特定网页的按需快照，这些快照可以作为可以在Web上共享的时间胶囊。在本文中，我们对Web存档服务及其在社交媒体上的使用进行了大规模分析，揭示了这个生态系统中涉及的参与者，存档的内容以及如何共享。我们抓取和研究：1）来自archive.is的21 M URL，跨越近两年，2）356 K archive.is加上391 K Wayback Machine URL，这些URL在四个社交网络上共享：Reddit，Twitter，Gab和4chan的Politically Incorrect board（/pol/）超过14个月。我们观察到，新闻和社交媒体帖子是最常见的存档内容类型，这可能是由于它们被认为是短暂的和/或有争议的性质。此外，存档服务的URL在Reddit和4chan的“边缘”社区中广泛共享，以保留可能有争议的内容。最后，我们发现有证据表明，版主推动甚至强迫用户使用档案，而不是直接链接，用于具有相反意识形态的新闻来源，这可能会剥夺他们的广告收入。
2018-04-09 cs.CY cs.DL cs.SI
On the Change in Archivability of Websites Over Time
随着网络技术的发展，网络档案工作者努力跟上，以便我们的数字历史得以保存。web技术的最新进展已经引入了客户端侧执行的脚本，该脚本在没有引用标识符的情况下加载数据或者需要用户交互（例如，当页面滚动时加载内容）。这些进步使得捕获网页的自动化方法变得更加困难。由于发布网页的方案不断发展，网页保存工具的能力不断提高，网页的可存档性随着时间的推移而变化。在本文中，我们表明，一个网页的可存档性可以推断出被存档的页面的类型，这与该页面的可访问性方面的动态内容。我们展示了具体的例子，当这些技术被引入通过引用的网页，通过长期的可用技术的发展一直存在的纪念品。查明这些网页过去在无障碍方面无法存档的原因，可作为一种指导，以确保使用良好做法方法发布长期内容，使其可供保存。
2013-07-30 cs.DL
Using Micro-collections in Social Media to Generate Seeds for Web Archive Collections
在一个被消失的资源所困扰的网络中，网络档案收集提供了一种有价值的手段来保存对研究从选举到疾病爆发的过去事件至关重要的网络资源。这些存档的收藏品从策展人手工选择的种子URI（统一资源标识符）开始。策展人通过删除不相关的URI并添加来自可信和权威来源的URI来产生高质量的种子，但收集这些种子非常耗时。策展人为发现种子而采用的两种主要策略包括抓取Web（例如，Google）搜索引擎结果页面（SERP）和社交媒体（例如，Twitter）的SERP。在这项工作中，我们研究了三个社交媒体平台，以便深入了解不同来源产生的种子的特征。首先，我们开发了一个简单的词汇表，用于描述不同平台上的社交媒体帖子。其次，我们介绍了一种新的来源，用于从单个或多个用户创建的社交媒体帖子的线程对话中的URI生成种子。社交媒体网站上的用户经常创建和分享有关新闻事件的帖子，这些帖子由手工选择的新闻故事，推文，视频等URI组成。在这项工作中，我们将这些帖子称为微集合，我们认为它们是种子的重要来源，因为创建微集合所付出的努力是编辑活动的一个指标，也是领域专业知识的展示。第三，我们从Reddit、Twitter和Scoop.it的449，347个社交媒体帖子中生成了23，112个带有文本和标签查询的种子集合。我们从传统的抓取SERP帖子和微集合中收集了总共120，444个URI。我们在多个维度上描述了由此产生的种子集合，包括U…
2019-05-29 cs.DL cs.IR
Tracking the History and Evolution of Entities: Entity-centric Temporal Analysis of Large Social Media Archives
2015年希腊总理的声望如何演变？在那个时期，人们对他的主要看法是如何变化的？是否有任何有争议的子时期？在这段时间里，还有哪些实体与他有关？要回答这些问题，需要分析有关查询实体的存档文档和数据，例如旧新闻文章或社交媒体档案。特别是，用户生成的内容张贴在社交网络，如Twitter和Facebook，可以被视为我们的社会的综合文件，因此，有意义的分析方法，这些存档的数据是社会学家，历史学家和其他感兴趣的各方谁想要研究的历史和演变的实体和事件的巨大价值。为此，在本文中，我们提出了一个以实体为中心的方法来分析社会媒体档案，我们定义的措施，允许研究实体如何反映在社会媒体在不同的时间段和不同的方面，如流行，态度，争议，并与其他实体的连接。一个使用四年的大型Twitter档案的案例研究说明了这种以实体为中心的多方面分析可以获得的见解。
2018-10-24 cs.DL cs.IR cs.SI
A Chromium-based Memento-aware Web Browser
Web浏览器提供了一种用户友好的浏览Web的方式。用户依靠他们的Web浏览器来提供有关他们正在访问的网站的信息，例如安全状态。浏览器还提供了一个用户界面（UI），其中包含有关每个打开的选项卡的视觉提示，包括选项卡是否正在播放音频或需要身份验证才能查看的图标。然而，当前的浏览器并不区分实时网络和过去的网络。如果用户加载了一个存档的网页，称为纪念品，他们必须依靠页面本身中存在的UI元素来通知他们他们正在查看的页面不是实时网页。此外，记忆体感知不仅仅是识别已经存档的页面。浏览器应该让用户能够存档实时网页，基本上是创建他们在网上冲浪时发现的重要网页的纪念品。在本报告中，介绍了创建一个能够识别纪念品的概念验证浏览器的过程。该浏览器是通过添加到Google的开源Web浏览器Chromium的实现而创建的。为支持Memento的浏览器创建这个原型表明，所实现的特性非常适合当前的Chromium实现。用户体验通过添加memento-awareness得到增强，并且对Chromium代码库的更改最小。
2021-04-27 cs.CR cs.DL
