The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
WARC-DL: Scalable Web Archive Processing for Deep Learning
网络档案已经增长到PB级。除了为过去30年的许多社会和文化发展提供宝贵的背景知识外，它们还为机器学习提供了大量的训练数据。为了从深度学习的最新发展中受益，使用Web存档需要一个可扩展的解决方案来处理它们，支持神经网络的推理和训练。到目前为止，还没有公开可用的库以这种方式处理Web存档，一些现有的应用程序使用变通方法。本文介绍了WARC-DL，这是一个支持深度学习的管道，用于Web存档处理，可扩展到PB级。
2022-09-25 cs.DL cs.IR
Analyzing Web Archives Through Topic and Event Focused Sub-collections
网络档案记录了网络的历史，因此是研究社会发展如何反映在网络上的重要来源。然而，大尺寸的Web档案和他们的时间性质提出了许多挑战，研究人员有兴趣与这些集合。在这项工作中，我们描述了与Web档案工作的挑战，并提出了研究方法论的提取和研究子集合的档案集中在特定的主题和事件。我们讨论了这种方法的机遇和挑战，并建议创建子集合的框架。
2016-12-16 cs.DL cs.IR
How Much of the Web Is Archived?
虽然互联网档案馆的Wayback Machine是最大和最知名的网络档案馆，但在过去几年中出现了一些公共网络档案馆。由于资源、受众和馆藏发展政策各不相同，这些档案相互之间有不同程度的重叠。虽然可以根据URI的数量、每个URI的副本数量以及与其他存档的交集来衡量单个存档，但到目前为止，还没有答案来回答“Web有多少是存档的？“我们通过使用来自DMOZ、Delicious、Bitly和搜索引擎索引的样本URI来近似Web来研究这个问题;并计算存在于各种公共Web存档中的样本URI的副本数量。每个样本集都有自己的偏倚。从我们的样本集的结果表明，范围从35%-90%的网站至少有一个存档的副本，17%-49%之间有2-5个副本，1%-8%有6-10个副本，8%-63%有超过10个副本在公共网络档案。URI副本的数量随着时间的变化而变化，但不超过31.3%的URI每月存档一次以上。
2013-01-06 cs.DL cs.IR
The Archives Unleashed Project: Technology, Process, and Community to Improve Scholarly Access to Web Archives
Archives Unleashed项目旨在通过涉及工具创建，流程建模和社区建设的多管齐下的策略来改善对网络档案的学术访问-所有这些都在相互加强的努力中同时进行。随着我们最初设想的三年项目接近尾声，我们报告了我们的进展情况，并分享了一路上学到的经验教训。本文阐述的主要贡献是一个过程模型，将学术研究分解为四个主要活动：过滤，提取，聚合和可视化。基于这些活动可以跨时间，空间和工具分解的见解，有可能生成“衍生产品”，使用我们的档案释放工具包，作为学术研究的有用起点。学者可以从Archives Unleashed Cloud下载这些产品，并像其他数据集一样操作它们，从而提供访问Web档案的权限，而无需任何专业知识。在过去的几年里，我们的平台已经处理了来自大约200个用户的1000多个不同的集合，总计超过280 TB的Web存档。
2020-01-15 cs.DL cs.IR
Access Patterns for Robots and Humans in Web Archives
虽然用户访问模式在现场网络上是很好的理解，一直没有相应的研究用户，人类和机器人，访问网络档案。基于来自互联网档案馆的公共Wayback Machine的样本，我们提出了一组基本的使用模式：Dip（单次访问），Slide（在不同的存档时间访问同一页面），Dive（在大致相同的存档时间访问不同页面）和Skim（列出存档的页面，即，TimeMaps）。机器人几乎只限于蘸取和撇取，但人类的访问在所有四种类型之间变化更大。机器人在会话方面超过人类10：1，在原始HTTP访问方面为5：4，在传输的兆字节方面为4：1。机器人几乎总是访问TimeMaps（95%的访问），但人类主要访问存档的网页（82%的访问）。就独特的存档网页而言，没有对特定时间的总体偏好，但最近的过去（去年内）显示出显著的重复访问。
2013-09-16 cs.DL cs.IR
How to Search the Internet Archive Without Indexing It
在过去的几十年里，文化遗产的重要组成部分是在网络上产生的。虽然容易访问当前的网站是一个很好的基线，最佳访问过去的网站面临着几个挑战。这包括处理大规模的网络存档集合，以及缺乏包含与当今网络搜索最相关的隐含人类反馈的使用日志。在本文中，我们提出了一个面向实体的搜索系统，以支持检索和分析的互联网档案馆。我们使用必应从当前网站检索排名结果列表。此外，我们将检索结果链接到WayBack Machine;从而允许在Internet Archive上进行关键字搜索，而无需处理和索引其原始存档内容。我们的搜索系统通过用户友好的界面补充了现有的网络档案搜索工具，该界面接近现代网络搜索引擎的功能（例如，关键字搜索、查询自动完成和相关的查询建议），并且提供了将用户对当前web的反馈也考虑到web档案搜索的巨大益处。通过大量的实验，我们进行定量和定性分析，以提供见解，使进一步的研究和实际应用的网络档案。
2017-01-28 cs.DL cs.IR
Making Changes in Webpages Discoverable: A Change-Text Search Interface for Web Archives
针对现有网络档案搜索界面无法便捷查找网页变更的问题，研究提出了一款变更文本搜索引擎，支持变更可视化与相关查询，经美国联邦环境网页验证效果良好。
2023-04-30 cs.DL cs.IR
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
Building and Querying Semantic Layers for Web Archives (Extended Version)
Web存档是收集Web部分的过程，以确保保留信息以供将来使用。然而，尽管全球网络档案数量不断增加，但缺乏有效和有意义的探索方法仍然是将其转化为可用和有用的信息源的主要障碍。在本文中，我们专注于这个问题，并提出了一个RDF/S模型和一个分布式框架，用于建立语义配置文件（“层”），描述语义信息的Web档案的内容。语义层允许描述有关存档文档的元数据信息，用有用的语义信息（如实体，概念和事件）注释它们，并将所有这些数据作为链接数据发布在Web上。这种结构化的存储库提供了先进的查询和集成功能，并使网络档案直接利用其他系统和工具。为了证明他们的查询能力，我们建立和查询三种不同类型的Web档案的语义层。实验评估表明，语义层可以回答现有的基于关键字的系统不能充分满足的信息需求。
2018-10-24 cs.DL cs.IR
Modeling Updates of Scholarly Webpages Using Archived Data
庞大的网络给用有限的资源构建大规模搜索引擎带来了高昂的成本。因此，需要优化抓取边界，以提高抓取内容的覆盖率和新鲜度。在本文中，我们提出了一种方法，在网络上使用存档的网页副本的动态变化建模。为了评估其效用，我们使用从Google Scholar配置文件中获得的19，977个作者主页的种子URL对学术网络进行了初步研究。我们首先从互联网档案馆（IA）获得这些网页的存档副本，并估计其实际更新发生的时间。接下来，我们应用最大似然估计其平均更新频率（$λ$）值。我们的评估表明，$λ$值来自一个简短的历史存档的数据提供了一个很好的估计，在短期内的真实更新频率，我们的方法提供了更好的估计更新的一部分资源相比，基线模型。在此基础上，我们展示了归档数据的效用，以优化网络爬虫的爬行策略，并发现重要的挑战，启发未来的研究方向。
2020-12-07 cs.DL cs.IR
Extracting Event-Centric Document Collections from Large-Scale Web Archives
Web档案通常范围非常广泛，规模非常大。这使得数据分析看起来令人生畏，特别是对于非计算机科学家来说。这些收藏品是社会科学、历史科学研究人员和有兴趣研究历史事件的记者日益重要的资料来源。然而，除了检索各个断开连接的文档之外，目前没有任何访问方法可以帮助用户有效地访问信息，特别是关于特定事件的信息。因此，我们提出了一种新的方法来提取以事件为中心的文档集，从大规模的Web档案。该方法依赖于专门的聚焦提取算法。我们的实验在德国的Web档案（涵盖了19年的时间段）表明，我们的方法可以提取不同的事件类型的事件为中心的集合。
2017-07-28 cs.DL cs.IR
URL-BERT: Training Webpage Representations via Social Media Engagements
Texas A&M University（德克萨斯A&M大学）；VerSe Innovation Labs（VerSe创新实验室）；Twitter Inc（推特公司）；UC San Diego（加州大学圣迭戈分校）
本文提出 URL-BERT，通过结合社交媒体互动图嵌入与对比预训练目标，使多语言 BERT 更好地理解 URL 和网页，并在多个任务及 Twitter 基准上验证其有效性。
2023-10-25 cs.CL cs.IR
MementoEmbed and Raintale for Web Archive Storytelling
对于传统的图书馆馆藏，档案管理员可以从馆藏中选择一个具有代表性的样本，并将其展示在特色的物理或数字图书馆空间。Web存档集合可能由数千个存档页面或纪念品组成。一个档案管理员应该如何展示这个样本来吸引访问者到他们的收藏品？搜索引擎和社交媒体平台通常将网页表示为由文本片段、标题和图像组成的卡片。网络讲故事是一种流行的方法，将这些卡片分组，以总结一个主题。不幸的是，社交媒体平台并不具有存档意识，并且未能始终如一地为纪念品创造良好的体验。他们也不允许他们的卡的UI更改。因此，我们创建了MementoEmbed来为单个纪念品生成卡片，而Raintale用于创建整个故事，档案管理员可以将其导出为各种格式。
2020-08-01 cs.DL cs.HC cs.IR
Memento: Time Travel for the Web
网络是短暂的。许多资源具有随时间变化的表示，并且其中许多表示永远丢失。少数幸运的资源能够以带有自己URI的存档资源的形式重新出现。例如，某些内容管理系统维护反映其改变资源的冻结先前状态的版本页面。档案反复抓取网络以获得资源的实际表示，并随后通过特殊用途的存档资源使这些资源可用。在这两种情况下，存档副本的URI都是从它们表示先前状态的资源的URI按协议断开的。事实上，最常见的Web协议HTTP中缺乏时态功能，这使得无法根据原始资源的URI访问存档的资源。这使得访问存档资源成为人类和软件代理的重大发现挑战，这通常涉及从原始资源到存档资源的大量链接，或者搜索原始URI的存档。本文提出了基于协议的Memento解决方案来解决这个问题，并描述了一个概念验证实验，其中包括主要服务器的档案内容，包括维基百科和互联网档案馆。Memento解决方案基于现有的HTTP功能，以一种新的方式应用于添加时间维度。其结果是一个框架，其中存档的资源可以通过其原始的URI无缝地访问：基于协议的Web时间旅行。
2009-11-06 cs.DL cs.IR
GitHub Repository Complexity Leads to Diminished Web Archive Availability
该研究通过分析超12000个主要来自GitHub的仓库主页及源码树，发现其Web存档存在不同程度损坏，且源文件存档率极低，主页链接的文件存档率最高，深层目录存档率骤降。
2025-05-21 cs.DL cs.IR cs.SE
ArcLink: Optimization Techniques to Build and Retrieve the Temporal Web Graph
互联网是社会和文化的关键，但存在规模问题。互联网档案馆的Wayback Machine可以重放捕获的网页，因为它们在某个时间点存在，但它提供有关Web图的广泛内容和结构元数据的能力有限。虽然实时网络已经开发了丰富的API生态系统来促进网络应用程序（例如，Google和Twitter的API），但Web存档社区尚未广泛实现这种级别的访问。我们提出了ArcLink，一个概念验证系统，它通过优化时间网络图的构建、存储和访问来补充开源Wayback Machine安装。我们将Web图的构建分为四个阶段（过滤，提取，存储和访问），并探索每个阶段的优化。ArcLink扩展了当前的Web存档接口，以返回每个URI的内容和结构元数据。我们将展示如何将此API应用于检索inlinks，outlinks，anchortext和PageRank等应用程序。
2013-06-11 cs.IR
SHARI -- An Integration of Tools to Visualize the Story of the Day
像Google News和Flipboard这样的工具可以用来传达每日新闻，但过去的新闻呢？在本文中，我们描述了如何将几个现有的工具与网络档案馆控股进行新闻分析和可视化的“最大的故事”，为给定的日期。StoryGraph将新闻文章聚类在一起，以识别共同的新闻故事。Hypercane利用ArchiveNow将StoryGraph生成的URL存储在Web存档中。Hypercane分析这些URL，以确定最常见的术语，实体和最高质量的图像，用于社交媒体故事讲述。然后，Raintale使用这些工具的输出来生成给定日期的新闻故事的可视化。我们将此过程命名为SHARI（StoryGraph Hypercane ArchiveNow Raintale Integration）。
2020-08-01 cs.DL cs.HC cs.IR
Web Links Prediction And Category-Wise Recommendation Based On Browser History
Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）
网络浏览器不应该仅仅用于浏览网页，还应该帮助用户找到他们的目标网站，并根据他们的行为推荐类似类型的网站。在本文中，我们提出了两种方法，使Web浏览器更智能的链接预测，它的工作在打字的地址栏和推荐的网站，根据几个类别。我们提出的链接预测系统实际上是频率预测的基础上预测的第一次访问，最后一次访问和URL计数。但推荐系统是最具挑战性的，因为它需要在不访问网页的情况下根据名称对Web URL进行分类。因此，我们使用现有的模型进行URL分类。现有的唯一方法给出了不令人满意的结果和低精度。因此，我们添加了超参数优化与现有的方法，找到现有的URL分类模型的最佳参数，并提供更好的准确性。在本文中，我们提出了一个类别明智的推荐系统，使用频率值和总访问的个人网址类别。
2019-02-21 cs.IR cs.LG stat.ML
Identifying Documents In-Scope of a Collection from Web Archives
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of North Texas（北德克萨斯大学）
Web存档数据通常包含高质量的文档，这些文档对于创建专门的文档集合非常有用，例如，科学数字图书馆和技术报告储存库。在这样做的时候，有一个自动的方法，可以区分感兴趣的文件收集的大量文件的网络存档机构收集的大量需要。在本文中，我们探讨了不同的学习模型和特征表示，以确定最好的性能从Web存档数据中识别感兴趣的文件。具体来说，我们研究了机器学习和深度学习模型以及从整个文档或文档的特定部分提取的“词袋”（BoW）特征，以及捕获文档结构的结构特征。我们把我们的评估集中在三个数据集，我们从三个不同的Web档案创建。我们的实验结果表明，只关注文档的特定部分（而不是全文）的BoW分类器在所有三个数据集上的性能优于所有比较方法。
2020-09-02 cs.CL cs.DL cs.IR
Diversification Based Static Index Pruning - Application to Temporal Collections
如今，网络档案馆保存了大部分网络的历史。随着媒体从印刷版转向数字版，获取这些庞大的信息源正日益引起国家和国际机构以及研究界的关注。这些集合本身就很大，导致索引文件不适合内存，并增加了查询响应时间。减小索引大小是减少此查询响应时间的一种直接方法。静态索引修剪方法通过删除一部分发布来减少索引的大小。在网络档案的上下文中，有必要删除帖子，同时保留档案的时间多样性。现有的修剪方法都没有考虑（时间）多样化。在本文中，我们提出了一种基于多样化的静态索引修剪方法。它不同于现有的修剪方法，通过在修剪上下文中集成多样化。我们的目标是修剪索引，同时保持检索的有效性和多样性修剪，同时最大限度地提高给定的IR评价指标，如DCG。我们将展示如何在Web档案的背景下应用这种方法。最后，我们展示了两个集合，使用我们的方法，而不是多样性遗忘的方法可以提高修剪后的时间集合的搜索效率。
2013-08-22 cs.IR
GoogleTrendArchive: A Year-Long Archive of Real-Time Web Search Trends Worldwide
University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）
该研究提出GoogleTrendArchive数据集，包含一年内125个国家1358个地点的实时搜索趋势数据，通过捕捉实时搜索激增现象，为研究集体注意力动态提供系统分析工具。
2026-03-23 cs.IR cs.SI
Using Micro-collections in Social Media to Generate Seeds for Web Archive Collections
在一个被消失的资源所困扰的网络中，网络档案收集提供了一种有价值的手段来保存对研究从选举到疾病爆发的过去事件至关重要的网络资源。这些存档的收藏品从策展人手工选择的种子URI（统一资源标识符）开始。策展人通过删除不相关的URI并添加来自可信和权威来源的URI来产生高质量的种子，但收集这些种子非常耗时。策展人为发现种子而采用的两种主要策略包括抓取Web（例如，Google）搜索引擎结果页面（SERP）和社交媒体（例如，Twitter）的SERP。在这项工作中，我们研究了三个社交媒体平台，以便深入了解不同来源产生的种子的特征。首先，我们开发了一个简单的词汇表，用于描述不同平台上的社交媒体帖子。其次，我们介绍了一种新的来源，用于从单个或多个用户创建的社交媒体帖子的线程对话中的URI生成种子。社交媒体网站上的用户经常创建和分享有关新闻事件的帖子，这些帖子由手工选择的新闻故事，推文，视频等URI组成。在这项工作中，我们将这些帖子称为微集合，我们认为它们是种子的重要来源，因为创建微集合所付出的努力是编辑活动的一个指标，也是领域专业知识的展示。第三，我们从Reddit、Twitter和Scoop.it的449，347个社交媒体帖子中生成了23，112个带有文本和标签查询的种子集合。我们从传统的抓取SERP帖子和微集合中收集了总共120，444个URI。我们在多个维度上描述了由此产生的种子集合，包括U…
2019-05-29 cs.DL cs.IR
Profiling Web Archival Voids for Memento Routing
以前的工作对网络档案剖析的重点是档案控股，以描述什么是目前在档案。这项工作定义并探索了Archival Voids，以建立一种方法来表示Web存档中不存在的URI空间部分。档案持有和档案空白配置文件可以独立工作或作为补充，以最大限度地提高记忆聚合器的准确性。我们讨论了可用于创建归档空洞配置文件的各种真实来源。我们使用来自Arquivo.pt的访问日志来创建各种存档无效配置文件，并根据我们的MemGator访问日志进行分析以进行评估。我们发现，如果Arquivo.pt提供基于URI的Archival Voids配置文件，这些URI被请求了数百次，但从未返回任何成功响应，那么我们可以避免超过8%的额外误报。
2021-08-06 cs.DL cs.IR
A Fuzzy Approach for Feature Evaluation and Dimensionality Reduction to Improve the Quality of Web Usage Mining Results
P.A. College of Engineering（P.A.工程学院）；J.N.T. University（J.N.T.大学）
Web使用挖掘是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。在预处理阶段，原始Web日志数据被转换成一组用户简档。每个用户简档捕获一组表示用户会话的URL。可以将聚类应用于该会话化数据，以便在用户导航模式中捕获相似的兴趣和趋势。由于会话化数据可能包含数千个用户会话，并且每个用户会话可能由数百个URL访问组成，因此通过消除低支持度URL来实现降维。非常小的会话也会被删除，以过滤掉数据中的噪声。但是直接消除低支持URL和小会话可能会导致大量信息的丢失，特别是当低支持URL和小会话的计数很大时。我们提出了一个模糊的解决方案来处理这个问题，通过分配权重的URL和用户会话的基础上的模糊隶属函数。在分配权重之后，我们应用模糊c均值聚类算法来发现用户简档的聚类。在本文中，我们描述了我们的模糊集理论的方法来执行特征选择（或降维）和会话权重分配。最后，我们比较了我们的软计算为基础的降维方法与传统的方法，直接消除小会话和低支持计数的URL。我们的研究结果表明，模糊特征评价和降维结果更好的性能和有效性指标的发现集群。
2015-09-01 cs.AI cs.DB cs.IR
Everyone is a Curator: Human-Assisted Preservation for ORE Aggregations
开放档案倡议组织（OAI）最近创建了对象重用和交换（ORE）项目，该项目定义了用于描述Web资源聚合的资源映射（ReM）。这些集合容易受到许多相同的保存挑战，面临其他网络资源。在本文中，我们研究如何聚合的Web资源可以保存在典型的存储库环境之外，而是依赖于成千上万的交互式用户在Web社区和Web基础设施（收集的Web档案，搜索引擎，和个人存档服务），以促进保存。灵感来自于Web 2.0服务，如digg、deli.cio.us和Yahoo！Buzz，我们已经开发了一个名为ReMember的轻量级系统，它试图利用网络社区的集体能力来进行保存，而不是仅仅将策展责任的负担放在少数专家身上。
2009-01-28 cs.DL cs.IR
Finding Person Relations in Image Data of the Internet Archive
L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））
万维网上的多媒体内容正在迅速增长，并且包含了对不同领域的许多应用有价值的信息。出于这个原因，自90年代中期以来，互联网档案馆计划一直在收集数十亿个时间版本的网页。然而，大量的数据很少用适当的元数据标记，并且需要自动方法来启用语义搜索。通常，互联网档案馆的文本内容被用来提取实体及其在政治和娱乐等领域的可能关系，而图像和视频内容通常被忽略。在本文中，我们介绍了一个系统的人识别图像内容的网络新闻存储在互联网档案馆。因此，该系统补充了文本中的实体识别，并允许研究人员和分析人员更精确地跟踪媒体报道和人员关系。基于深度学习人脸识别方法，我们提出了一个系统，自动检测感兴趣的人，并收集样本材料，随后用于识别他们的图像数据的互联网档案馆。我们在一个适当的标准基准数据集上评估了人脸识别系统的性能，并通过两个用例证明了该方法的可行性。
2019-05-28 cs.CV cs.DL cs.IR
Measuring What the Crawler Sees: Discovery Curves, Core Persistence, and Shell Dynamics in Longitudinal Web Crawls
Common Crawl Foundation（Common Crawl 基金会）
研究纵向网络爬虫，定义形式语言并通过发现曲线扩展分析。以Common Crawl和GAW为例，发现成对包含关系与发现曲线投影不一致，用双组件瓮模型调和，得出外壳不均匀，κ为秩解析泛化切入点。
2026-07-16 cs.DL cs.IR physics.soc-ph
A Simple Mechanism for Focused Web-harvesting
重点网络采集部署，实现自动化和全面的索引数据库作为虚拟专题数据集成的替代方式。网络采集不仅通过指定目标URL来实现和扩展，还通过预定义人工编辑的采集参数来提高速度和准确性。收获参数集包括三个主要组成部分。首先，从目标URL的第一页开始计算包含所需信息的最终页面的深度尺度。其次，对焦点的数目要确定准确的框内包含的相关信息。最后，结合关键字来识别嵌入在这些最后页面中的相关图像或全文的超链接。参与机构的管理人员可通过一个综合网络界面访问所有参数，并可根据每个目标完全定制。本文还简要介绍了印尼科学索引的一个实际实施情况，该索引涵盖了印尼所有的科学信息。
2008-09-03 cs.CY cs.IR
Cobwebs from the Past and Present: Extracting Large Social Networks using Internet Archive Data
由于其应用潜力和所涉及的广泛技术挑战，来自各种来源的社交图构建一直受到研究人员的关注。万维网提供了大量的不断更新的数据和信息，由各种各样的内容提供方创建的广泛的主题，并使提取的人的网络和他们的时间演化的研究有价值的社会以及计算机科学家。在本文中，我们介绍了SocGraph -一个从互联网档案馆在1996年至2013年的17年间收集的约20亿个网页内容中提取和探索社会关系的系统。我们描述了从提取的关系构建大型社交图的方法，并引入了一个接口来研究它们的时间演化。
2017-01-12 cs.IR cs.SI physics.soc-ph
The Off-Topic Memento Toolkit
Web档案集是根据特定目的创建的。策展人选择种子或原始资源，然后由存档系统捕获并存储为存档网页或纪念品。构建Web存档集合的系统通常被配置为多次重新访问相同的原始资源。这对于理解一个正在展开的新闻故事或一个组织的演变非常有用。不幸的是，随着时间的推移，这些原始资源中的一些可能会偏离主题，不再适合该集合最初创建的目的。他们可能会因为网站重新设计，域名所有权的变化，财务问题，黑客攻击，技术问题，或者因为他们的内容已经从原来的主题转移。即使它们偏离了主题，存档系统仍然会捕获它们，因此，对这些收藏品进行研究的任何人都必须识别这些偏离主题的纪念品。因此，我们提出了离题纪念品工具包，它允许用户检测Web存档集合内的离题纪念品。这个工具包识别的纪念品可以从收藏中单独删除，或者只是从下游分析中排除。以下相似性度量可用：字节计数，单词计数，余弦相似性，Jaccard距离，Sørensen-Dice距离，使用原始文本内容的Simhash，使用术语频率的Simhash，以及通过gensim库的潜在语义索引。我们记录这些相似性措施的实施。我们拥有手动分析生成的黄金标准数据集，其中包含主题外和主题内的纪念品。使用这个黄金标准数据集，我们为每个指标建立一个对应于最佳F1分数的默认阈值。我们还提供了一个潜在的未来方向，该工具包可能采取的概述。
2018-09-17 cs.DL cs.IR
Detection of fake news on CoViD-19 on Web Search Engines
University of Catania（卡塔尼亚大学）；INFN Sezione di Catania（意大利国家核物理研究所卡塔尼亚分部）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
2020年1月初，中国报告了武汉市首例新型冠状病毒（SARS-CoV-2）病例后，不可靠且不完全准确的信息开始比病毒本身传播得更快。除了这种流行病，人们还经历了一种平行的信息流行病，即，大量的信息，其中一些是误导性的，甚至是有害的，已经在全球范围内广泛传播。虽然社交媒体越来越多地被用作信息源，但网络搜索引擎，如谷歌或雅虎，仍然是在Web上查找信息的强大且值得信赖的资源。这是因为它们能够捕获最大量的信息，帮助用户快速确定最相关、最有用的搜索结果，尽管这些结果并不总是最可靠的。本研究旨在通过捕获和分析流经搜索引擎的文本信息来检测潜在的误导和虚假内容。通过使用与最近的CoViD-19大流行相关的真实世界数据集，我们首先应用重采样技术来解决类别不平衡问题，然后使用现有的机器学习算法对不可靠的新闻进行分类。通过提取新闻文章的相关统一资源定位符（URL）的词汇和基于主机的特征，我们表明，所提出的方法，所以常见的钓鱼和恶意URL检测，可以提高分类器的效率和性能。基于这些发现，我们建议同时使用文本和URL特征可以提高假新闻检测方法的有效性。
2021-06-05 cs.CL cs.IR cs.LG
Semantics Delivery Network: Rethinking Web Retrieval Infrastructure for LLM Agents
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对LLM智能体检索效率低的问题，提出语义交付网络SemDN，以块粒度索引和缓存Web内容，实现跨智能体共享，初步实验显示其提升答案质量并减少冗余。
2026-10-23 cs.IR cs.LG cs.NI
Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections
Common Crawl Foundation（Common Crawl基金会）；University of Pennsylvania（宾夕法尼亚大学）
本文提出利用纵向数据估计网络爬虫覆盖率，通过分析后续爬虫的URL重叠，采用尿布过程模型进行线性回归推断，得出德语学术网稳定爬虫配置下约46%的覆盖率。
2026-04-05 cs.DL cs.IR cs.IT
