XML Warehousing and OLAP
本文的目的是概述文献中的主要XML仓库方法，以及对XML数据执行OLAP分析的现有方法（称为XML-OLAP或XOLAP; Wang et al.，2005年）。我们还讨论了在这方面的问题和未来的趋势，并说明了这个主题，提出了一个统一的，XML数据仓库体系结构和一组XOLAP运算符表示的XML代数的设计。
2017-01-30 cs.DB
Spatio-Temporal Queries for moving objects Data warehousing
在过去的十年中，移动对象数据库（MOD）吸引了大量的研究人员的关注。一些研究工作进行了扩展传统的数据库技术，以适应移动对象的位置信息的不断变化所带来的新的要求。移动对象的管理、查询、存储和挖掘是移动对象研究的重点方向。这种对移动对象的广泛兴趣是最近无处不在的位置感知设备（诸如PDA、移动电话等）的自然结果，以及可以从这些新数据库中提取的各种信息。在本文中，我们提出了一个时空数据仓库（STDW），有效地查询移动对象的位置信息。该方案引入了新的措施，如方向多数和其他方向为基础的措施，提高决策的基础上的位置信息。
2013-07-11 cs.DB
Apache Hive: From MapReduce to Enterprise-grade Big Data Warehousing
Apache Hive是一个用于分析大数据工作负载的开源关系数据库系统。在本文中，我们描述了从批处理工具到完全成熟的企业数据仓库系统的旅程中的关键创新。我们提出了一种混合架构，将传统的MPP技术与最近的大数据和云概念相结合，以实现当今分析应用程序所需的规模和性能。我们通过沿着四个主轴详细介绍增强功能来探索系统：事务、优化器、运行时和联邦。然后，我们提供实验结果来演示系统在典型工作负载下的性能，最后看看社区路线图。
2019-03-26 cs.DB
Optimizing Semi-Stream CACHEJOIN for Near-Real-Time Data Warehousing
流数据连接是近实时数据仓库中的一个关键过程。为此，文献中提供了一种称为CACHEJOIN（Cache Join）的聚焦非均匀流数据的自适应半流连接算法。然而，该算法不能最佳地利用存储器和CPU资源，因此由于其两个阶段（称为流探测（SP）阶段和盘探测（DP）阶段）的顺序执行，其服务速率次优。结合CACHEJOIN的优点，本文提出了两种改进方案：一是P-CACHEJOIN（Parallel Cache Join），它使CACHEJOIN的两个阶段能够并行处理;这增加了加入的流记录的数量，因此大大提高了吞吐量。第二种称为OP-CACHEJOIN（优化并行缓存连接），它在DP阶段执行时将存储的数据并行加载到内存中。我们提出了我们的两种方法与现有的CACHEJOIN经验使用合成偏斜数据集的性能分析。
2019-10-15 cs.DB
An Architecture Framework for Complex Data Warehouses
如今，许多决策支持应用程序需要利用的数据，不仅是数字或符号，而且是多媒体，多结构，多媒体，多模态，和/或多版本。我们称这种数据为复杂数据。管理和分析复杂的数据涉及到许多关于其结构，存储和处理的不同问题，而元数据是所有这些过程中的关键元素。这样的问题已经由经典的数据仓库（即，适用于“简单”数据）。然而，数据仓库方法需要适应复杂的数据。在本文中，我们首先提出了一个精确的，但开放的复杂数据的定义。然后，我们提出了一个通用的体系结构框架仓库复杂的数据。这种体系结构严重依赖于元数据和与领域相关的知识，并依赖于XML语言，XML语言有助于存储数据、元数据和特定于领域的知识，并促进各种仓储过程之间的通信。
2007-07-10 cs.DB
Building an Effective Data Warehousing for Financial Sector
本文介绍了一个金融控股公司的数据仓库的实现过程和业务数据的多维分析。目标是创建一个商业智能系统，以简单、快速但又通用的方式，允许访问有关银行账户余额的最新、汇总、真实和/或预测信息。该系统利用Microsoft SQL Server提供的Integration Services和Analysis Services工具，对支持现金管理信息的业务数据库信息进行提取和处理。最终用户界面是一个数据透视表，它被适当地安排以浏览所生成的多维数据集可用的信息。结果表明，采用在线分析处理多维数据集提供了更好的性能，并提供了一个更自动化和更强大的过程来分析当前和临时汇总的财务数据余额相比，当前的过程基于从交易数据库构建的静态报告。
2017-09-18 cs.DB
Warehousing Complex Archaeological Objects
数据组织是文化遗产应用中的一个困难和重要组成部分。多年来，人们通过各种方法和设备创造和处理了大量的考古陶瓷数据。这些陶瓷数据存储在数据库中，这些数据库同时快速增加了可用信息的量。然而，这样的数据库通常集中于一种类型的陶瓷描述符，例如，定性文本描述、岩相学或化学分析结果，并且不互操作。因此，涉及考古陶瓷的研究不能轻易地利用所有这些类型的信息。在这篇应用论文中，我们介绍了Ceramom数据库的演变，其中包括考古特征的文本描述符，化学分析结果和各种图像，包括岩相和织物图像。为了说明什么样的新的分析是允许这样的数据库，我们源到一个数据仓库，并提出了一个样本在线分析处理（OLAP）的情况下，以获得深入了解陶瓷上下文。
2016-08-23 cs.DB
The Data Lakehouse: Data Warehousing and More
本文提出数据湖仓一体架构，融合RDBMS-OLAP与云数据湖优势，解决传统数据仓库的局限，并分解数据仓库组件以展示其满足性及额外能力。
2023-10-12 cs.DB
A Novel Multi-Secret Sharing Approach for Secure Data Warehousing and On-Line Analysis Processing in the Cloud
云计算有助于降低成本，提高业务灵活性，并为许多类型的应用程序（包括数据仓库和在线分析处理）部署具有高投资回报率的解决方案。然而，将敏感数据存储和传输到云中会引起合理的安全问题。在本文中，我们提出了一种新的多秘密共享方法部署在云中的数据仓库，并允许在线分析处理，同时加强数据的隐私性，完整性和可用性。我们首先从理论上验证我们的方法的相关性，然后用一个简单的随机数据集和星型架构基准实验。我们也证明了它的优越性，相关的方法。
2017-01-19 cs.CR cs.DB
An MAS-Based ETL Approach for Complex Data
在数据仓库过程中，数据集成阶段至关重要。许多数据集成的方法已经在文献中发表。然而，随着互联网的发展，各种类型的数据（图像，文本，声音，视频，数据库......）已经增加，并且结构化这样的数据是一项困难的任务。我们将这些可能是结构化或非结构化的数据称为“复杂数据”。在本文中，我们提出了一种新的方法，复杂的数据集成，基于多智能体系统（MAS），在协会的数据仓库的方法。我们的目标是利用MAS来执行复杂数据的集成阶段。我们确实认为数据集成过程的不同任务是由代理提供的服务。为了验证这种方法，我们实际上已经开发了一个复杂的数据集成MAS。
2008-09-16 cs.DB
Hub Star Modeling 2.0 for Medallion Architecture
本文提出针对奖章架构的增强型 Hub Star 建模方法，通过泛化 hub 和 star 概念简化白银层数据建模，并在 Databricks 和零售数据集上验证，脚本开源。
2025-04-23 cs.DB
Frequent Query Matching in Dynamic Data Warehousing
动态数据仓库（DDW）由于其结构和访问机制的动态性，在决策支持的灵活性和随需应变方面具有传统数据仓库无法比拟的优势。DDW是一个数据框架，它可以轻松地适应数据源的变化，从而允许用户进行无缝查询。物化视图（Materialized Views，MV）被证明是一种有效的方法来增强从DDW中检索数据的过程，因为结果是预先计算并存储在其中的。然而，由于物化视图的静态性质，MV访问层可以提供的动态性水平受到限制。因此，物化视图的集合与不断变化的报告要求不兼容。重要的是MV集合与当前和即将到来的查询一致。上述问题的解决方案必须考虑以下方面：（a）MV必须与OLAP查询匹配，以便识别MV是否可以回答查询，（b）实现MV集合中的可扩展性，必须合并一种直观的机制来修剪它并检索紧密匹配的MV，（c）MV集合必须能够对应于定期变化的用户查询模式而演变。因此，本文的主要目标是探索这些方面，并为MV访问层提供一个全面的解决方案，以消除MV收集和报告要求之间的不匹配。我们的贡献，以解决这个问题，包括查询匹配技术，域匹配技术和维护的MV收集。我们开发了一个实验平台，使用真实的数据集，以评估所提出的技术的性能和精度方面的有效性。
2017-03-06 cs.DB cs.DS
A Simplified Approach for Quality Management in Data Warehouse
随着组织意识到面向决策的数据库的好处，数据仓库的重要性不断增加。然而，这种快速发展的绊脚石是数据仓库各个阶段的数据质量问题。质量可以被定义为一种卓越的衡量标准或一种没有缺陷的状态。用户欣赏高质量的产品和现有的文献表明，许多组织的有重大的数据质量问题，具有重大的社会和经济影响。提出了一种基于元数据的质量管理系统，用于管理数据仓库中数据的质量。该方法通过检验质量参数的期望值与实际值，对数据仓库系统的质量进行分析。所提出的方法是支持与元数据框架，可以存储额外的信息来分析质量参数，只要需要。
2013-10-08 cs.CY cs.DB
Using Data Warehouse to Support Building Strategy or Forecast Business Tend
数据仓库通过其将来自多个信息源的异构数据集成到公共存储空间中以进行查询和分析的能力，在战略决策方面变得越来越重要。因此，它可以演变成一个多层结构，在这种结构中，组织的各个部分将信息从主数据仓库带入它们自己的系统。这些可能包括分析数据库或相关数据集市。随着数据仓库的发展，组织在捕获与客户的所有交互信息方面变得越来越好。数据仓库可以在客户的整个生命周期内跟踪客户交互。
2011-12-14 cs.DB
A Join Index for XML Data Warehouses
XML数据仓库为利用复杂数据的决策支持应用程序提供了一个有趣的基础。然而，目前原生XML数据库管理系统（DBMS）的性能有限，有必要研究如何优化它们。在本文中，我们提出了一个新的连接索引，是专门适应XML仓库的多维体系结构。它消除了连接操作，同时保留了原始仓库中包含的信息。理论研究和实验结果表明，我们的连接索引的效率。它们还表明，在存储和分析XML数据时，原生XML DBMS可以与XML兼容的关系DBMS竞争。
2008-09-11 cs.DB
Pattern tree-based XOLAP rollup operator for XML complex hierarchies
随着XML作为表示业务数据的标准的兴起，XML数据仓库作为决策支持应用程序的合适解决方案出现了。在这种情况下，有必要允许对XML数据立方体进行OLAP分析。因此，需要XQuery扩展。为了定义一个正式的框架，并允许对用XQuery表示的分析查询进行急需的性能优化，需要定义一个代数。然而，文献中的XML-OLAP（XOLAP）代数在很大程度上仍然依赖于关系模型。因此，我们在本文中提出了一个基于模式树的上卷操作符，以处理复杂层次结构中表示的多维XML数据。
2011-02-04 cs.DB
Search Driven Analysis of Heterogenous XML Data
XML存储库上的分析处理通常是通过设计复杂的数据转换来实现的，这些转换将文档分解为一个通用的数据仓库模式。这可能非常耗时和昂贵，尤其是当底层XML数据在结构上有很多变化，并且只有属性的子集构成有意义的维度和事实时。今天，还没有工具来探索XML数据集，发现有趣的属性、维度和事实，并快速原型化OLAP解决方案。在本文中，我们提出了一个系统，称为SEDA，使用户能够从简单的关键字风格的查询，并以交互方式完善查询的结果摘要的基础上。然后，SEDA将查询结果映射到一组已知的或新创建的事实和维度上，并导出一个星型模式及其实例，以供输入现成的OLAP工具进行进一步分析。
2009-09-09 cs.DB
View Synthesis from Schema Mappings
在数据管理中，特别是在数据集成、数据交换、查询优化和数据隐私中，视图的概念起着核心作用。在数据集成、数据混搭和数据仓库等多种环境中，需要从不同模式上的查询之间的一组已知对应关系开始设计视图。在本文中，我们处理这样的设计过程自动化的问题。我们称这个新的问题为“视图合成模式映射”：给定一组模式映射，每个相关的查询源模式的查询目标模式，自动合成每个源的视图在目标模式的方式，对于每个映射，查询源是一个重写的查询目标wrt的合成视图。我们研究视图合成模式映射在关系设置，查询和视图是（工会）合取查询，并在半结构化数据设置，查询和视图是（双向）定期路径查询，以及工会的合取。我们为每种情况提供了技术和复杂性上界。
2010-03-05 cs.DB
OBDA for the Web: Creating Virtual RDF Graphs On Top of Web Data Sources
由于多样性，Web数据有许多不同的结构和格式，包括HTML表和REST API（例如，社交媒体API）是最受欢迎的。Web数据的一个大子集也以Velocity为特征，因为数据经常更新，以便消费者可以获得相应数据集的最新版本。但是，目前这些数据源还没有得到语义Web工具的有效支持。为了解决多样性和速度，我们提出Ontop4theWeb，一个系统，映射到虚拟RDF三元组的各种格式的Web数据，从而允许查询它们的飞行，而不物化为RDF。我们演示了Ontop4theWeb如何使用SPARQL统一查询流行的，但异构的Web数据源，如HTML表和Web API。我们在许多用例中展示了我们的方法，例如Twitter，Foursquare，Yelp和HTML表格。我们进行了彻底的实验评估，验证了我们的框架的高效率，这超出了目前在这一领域的最先进的，在功能和性能方面。
2020-05-22 cs.DB
Web Usage mining framework for Data Cleaning and IP address Identification
万维网是最广为人知的信息源，易于获得和搜索。它由数十亿个相互连接的文档组成，网页由数百万人创作。不同用户对页面的访问记录在Web日志中。这些日志文件以各种格式存在。由于Web使用量的增加，Web日志文件的大小以更快的速度增加。Web挖掘就是将数据采掘技术应用于这些日志文件。它可以分为Web使用挖掘、Web结构挖掘和Web内容挖掘三类。Web使用挖掘是挖掘用户的使用模式，然后可以使用这些模式来个性化网站并创建有吸引力的网站。它包括三个主要阶段：预处理，模式发现和模式分析。本文重点介绍了预处理的数据清理和IP地址识别阶段。为这两个阶段提出了方法。最后对IP地址识别后的剩余用户数进行了总结。
2014-08-23 cs.DB
An Analysis of Structured Data on the Web
在本文中，我们分析了Web上的结构化数据的性质和分布。网络规模的信息抽取，或者说从整个网络中抽取信息来创建结构化表格的问题，正引起人们的广泛研究兴趣。我们进行了一项研究，以了解和量化的价值，网络规模的提取，以及结构化的信息是如何分布在顶级聚合网站和尾巴网站的各种有趣的领域。我们相信这是同类研究中的第一项，并为我们通过网络进行信息抽取提供了新的见解。
2012-03-29 cs.DB
SPARQL for a Web of Linked Data: Semantics and Computability (Extended Version)
万维网目前正在演变成一个链接数据网，其中内容提供方发布和链接数据，就像他们在过去20年中对超文本所做的那样。虽然声明性查询语言SPARQL实际上是用于从Web查询事先定义的数据集，但不存在用于查询关联数据Web本身的语言。然而，很自然地会问SPARQL是否也适合这样的目的。在本文中，我们正式调查的适用性SPARQL作为一个查询语言在Web上的关联数据。特别是，我们研究了两个查询模型：1）一个完整的Web语义的范围内的查询是一套完整的链接数据在Web上和2）一个家庭的可达性为基础的语义，限制范围的数据，是通过遍历某些数据链路。对于这两种模式，我们讨论的属性，如单调性和可计算性，以及查询的影响，是无限大的，由于数据生成服务器的Web。
2012-04-06 cs.DB
Evaluating navigational RDF queries over the Web
语义Web及其底层的数据格式RDF，由于其类似于图的结构，自然适合于导航查询。当考虑Web上的RDF数据时，这一点尤其明显，其中各种单独发布的数据集相互引用，并形成一个称为关联数据网的巨大图表。虽然通过SPARQL属性路径支持对单个RDF数据集的导航查询，但对在链接数据上评估它们知之甚少。在本文中，我们提出了一种基于经典的人工智能搜索算法A* 的Web属性路径查询评估方法，显示其在Web的开放世界设置的最优性，并使用现实世界的查询访问各种RDF数据集在线测试。
2017-03-14 cs.DB
A novel multi-threaded web crawling model
针对大规模网络数据采集需求，提出一种多线程网络爬虫模型，通过数据分片分配线程、爬取与解析均采用多线程并发的设计，经测试其性能较单线程方法有显著优化。
2024-05-09 cs.DB
Discovering new technique for mapping relational database based on semantic web technology
Web上的大部分数据仍然存储在关系数据库中。因此，在关系数据库和本体之间建立对应关系，以存储Web数据就显得尤为重要。本文提出了一种将存储在关系数据库中的数据映射到语义Web的新方法，利用基于数据库模式规范的简单映射，并解释了如何使用关系数据库来定义关系数据库与OWL本体之间的映射机制。开发了一个框架，成功地将关系数据库迁移到OWL文档中。实验结果表明，该方法是可行和有效的。
2021-09-30 cs.DB
LDQL: A Query Language for the Web of Linked Data (Extended Version)
链接数据网由大量相互链接的RDF文档组成，形成了一个巨大的分布式语义数据库。有效地查询这种分布式数据源是语义Web领域的一个重要的开放问题。在本文中，我们提出了LDQL，一个声明性的语言来查询Web上的关联数据。LDQL的一个新颖之处在于它分别表示（i）描述预期查询结果的模式，以及（ii）选择用于计算结果的数据源的Web导航路径。我们提出了一个正式的语法和语义，证明等价规则，并研究语言的表达能力。特别是，我们表明，LDQL是严格更有表现力的查询形式主义，以前已经提出了在Web上的关联数据。高表达性允许LDQL定义在Web上完全执行在计算上不可行的查询。我们正式研究这个问题，并提供了一个语法充分条件，以避免这个问题，满足这个条件的查询，确保有一个程序，以有效地评估在Web上的关联数据。
2015-07-19 cs.DB
The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model
数据仓库绝大多数是通过自底向上的过程构建的，该过程从源的标识开始，继续从这些源提取和转换数据，然后根据期望的多维关系模式将数据加载到一组数据集市中。最终用户商业智能工具被添加到具体化的多维模式之上，以推动组织中的决策制定。不幸的是，这种自下而上的方法在所需的熟练用户和仓库的庞大规模方面都是昂贵的。本文提出了一个自顶向下的框架，其中数据仓库是由一个概念模型驱动。该框架提供了设计时和运行时间环境。在设计时，业务用户首先使用概念建模语言作为多维对象模型来指定所需的业务信息;然后将概念模型映射到预先存在的逻辑多维表示。在运行时间，系统将把用户概念模型与映射一起变换成逻辑多维表示上的视图。我们专注于用户如何从现有的数据仓库中抽象概念，以及如何将这个概念模型映射到逻辑多维表示。我们还给出了一个指示，什么查询语言是使用的概念模型。最后，我们认为，我们的框架是一个步骤，沿着允许自动生成的数据仓库。
2010-09-01 cs.DB
Extraction of Flat and Nested Data Records from Web Pages
本文研究了从给定网页中识别和提取扁平和嵌套数据记录的问题。随着万维网上可用的信息源的爆炸式增长，识别相关信息片段变得越来越困难，因为网页通常混杂有不相关的内容，如广告、导航面板、版权通知等，围绕网页的主要内容。因此，挖掘这些数据区域和数据记录以便从这些网页中提取信息以提供增值服务是有用的。现有的从网页中挖掘数据区域和数据记录的自动技术由于其性能差而仍然不能令人满意。本文提出了一种新的方法，自动识别和提取网页中的扁平和嵌套的数据记录。它包括两个步骤：（1）基于视觉线索信息的数据区域识别与提取。(2)从网页的数据区域自动识别和提取平面和嵌套数据记录。对于第一步，提出了一种新的更有效的方法，该方法利用视觉线索找到由所有类型的标签形成的数据区域。对于第二步，提出了一种更有效和高效的方法，即基于视觉线索的Web数据提取（VCED），该方法从数据区域中提取每个记录，并基于每个记录中存在的数据项的数量和所覆盖的区域的视觉线索信息来识别它是平面数据记录还是嵌套数据记录。我们的实验结果表明，该技术是有效的，优于现有的技术。
2010-01-31 cs.DB
Data Context Informed Data Wrangling
准备潜在的大型和复杂的数据集以进行进一步分析或手动检查的过程通常称为数据整理。在传统的仓储环境中，这样一个过程中的步骤是使用提取-转换-加载平台来执行的，在指定、配置或调优其中许多平台时需要大量的手动参与。具有成本效益的数据整理流程需要确保数据整理步骤尽可能受益于自动化。在本文中，我们定义了一种方法来完全自动化的端到端的数据争吵过程中，将数据上下文，其中关联的部分目标模式与潜在的虚假的扩展数据的类型是常见的。基于实例的证据与数据分析一起为在争吵过程中的几个步骤中通知自动化铺平了道路，具体来说，匹配，映射验证，值格式转换和数据修复。房地产数据显示自动争吵的结果有很大的改善，这种方法进行了评估。
2018-11-22 cs.DB cs.DC
WebRelate: Integrating Web Data with Spreadsheets using Examples
Web源和关系数据之间的数据集成是数据科学家和电子表格用户面临的一个关键挑战。以编程方式将Web数据与关系数据连接起来有两个主要挑战。首先，大多数网站没有公开直接的接口来获取表格数据，因此用户需要制定一个逻辑来为关系表中的每个输入行访问不同的网页。其次，在到达期望的网页之后，用户需要编写复杂的脚本来提取相关数据，这通常以输入数据为条件。由于许多数据科学家和最终用户来自不同的背景，编写如此复杂的基于正则表达式的逻辑脚本来执行数据集成任务通常超出了他们的编程专业知识。我们提出WebRelate，一个系统，允许用户加入半结构化的Web数据与关系数据在电子表格中使用输入输出的例子。WebRelate将Web数据集成任务分解为两个子任务：i）URL学习和ii）依赖输入的Web提取。第一个子任务为包含关系表中所有行的所需数据的网页生成URL。WebRelate通过使用几个示例URL学习字符串转换程序来实现这一点。第二子任务使用要从相应网页提取的所需数据的示例，并学习用于提取其他行的数据的程序。我们设计了表达特定领域的语言的URL生成和Web数据提取，并提出了有效的合成算法，学习程序在这些DSL从几个输入输出的例子。我们评估WebRelate的88现实世界的Web数据集成任务，从在线帮助论坛和Excel产品团队，并表明，WebRelate可以学习所需的程序在几秒钟内使用只有1个例子的大多数任务。
2017-11-15 cs.DB cs.PL
Service Wrapper: a system for converting web data into web services
Web服务通过可调用的API广泛应用于许多领域，然而，数据并不总是以这种方式可用。我们经常需要从结构不规则的网页中获取一些数据。许多开发人员使用Web数据提取方法来生成包装器，以从网站中获取有用的内容并将其转换为结构良好的文件。然而，这些方法是专门为专业包装程序开发人员设计的，对没有这方面专业知识的用户不友好。在这项工作中，我们构建了一个服务包装器系统，将网页中的可用数据转换为Web服务。此外，还介绍了一套算法来解决整个转换过程中的问题。人们可以使用我们的系统将Web数据转换成Web服务，通过傻瓜式的操作，并调用这些服务，通过一个简单的步骤，这大大扩展了Web数据的使用。我们的案例展示了我们系统的易用性、高可用性和稳定性。
2019-10-17 cs.DB cs.IR
Scalability of Data Binding in ASP.NET Web Applications
ASP.NET Web应用程序通常使用服务器控件来提供动态网页，并使用数据绑定服务器控件来显示和维护数据库数据。大多数开发人员在开发Web应用程序时使用ASP.NET服务器控件的默认属性，这允许快速开发可行的应用程序。但是，创建高性能、多用户和可伸缩的Web应用程序需要使用自定义代码增强服务器控件。在这项实证研究中，我们评估了各种技术方法对数据驱动的ASP.NET Web应用程序中分页和排序功能的影响：Web服务器上的Web服务器控件中的自动数据分页和排序;数据库服务器上的分页和排序;索引和非索引数据库列;集群与非集群索引。当使用基于SQL存储过程和聚集索引的自定义分页时，我们观察到显著的性能改进。
2012-11-05 cs.DB cs.SE
ORCA: a Benchmark for Data Web Crawlers
Web上可用的RDF知识图谱的数量不断增长。因此，为下游应用程序大规模收集这些图需要使用爬虫。虽然存在数据Web爬虫，并且可以对一般Web爬虫进行调整以专注于数据Web，但目前还没有基准来公平地评估它们的性能。我们的工作通过提出Orca基准来缩小这一差距。Orca生成一个合成数据Web，它与原始Web解耦，并支持对数据Web爬虫进行公平和可重复的比较。我们的评估表明，Orca可以用来揭示现有爬虫的不同优点和缺点。该基准测试是开源的，可在https://github.com/dice-group/orca上获得。
2020-10-29 cs.DB cs.PF
Maintaining Consistency of Data on the Web
越来越多的数据可以在网上获得，估计2002年有10亿份文件。大多数文档都是Web页面，其数据被认为是XML格式，并期望它最终取代HTML。设计和维护网站时的一个常见问题是，网页上的数据经常复制或派生自其他数据，即所谓的基本数据，而派生或复制页中通常不包含这些数据。因此，在修改Web页面或关系数据库中的基本数据时，副本和派生变得不一致。例如，在将论文分配给学生并修改了详细描述该论文的网页后，该论文仍然错误地包含在提供的论文列表中，在正在进行的论文列表中缺失，并且在指导教师的教学记录中缺失。本文提出了一个解决方案，提出了一个组合的方法，提供了维护数据的一致性，在Web页面中，（i）复制数据在关系数据库，或（ii）复制或从Web页面中的数据派生。修改基本数据后，修改会立即推送到受影响的Web页面。在那里，维护是增量执行的，只修改页面的受影响部分，而不是从头开始重新生成整个页面。
2005-02-09 cs.DB cs.DS
Towards a Query Language for the Web of Data (A Vision Paper)
关于查询Web of Data的研究仍处于起步阶段。在本文中，我们提供了一个初始的一般功能，我们设想应该考虑，以定义一个查询语言的Web数据。此外，对于这些功能中的每一个，我们提出了在查询Web of Data之前没有解决的问题。我们相信，解决这些问题并研究这些特征可能会指导未来10年的数据网络研究。
2011-10-13 cs.DB cs.NI
Discovering More Accurate Frequent Web Usage Patterns
Web使用挖掘是Web挖掘的一种，它利用数据采掘技术从万维网用户的浏览行为中发现有价值的信息。与传统的数据采掘一样，数据准备和模式发现是Web使用挖掘的主要问题。Web使用挖掘的第一阶段是数据处理阶段，包括从服务器日志中重建会话操作。会话重构的成功与否直接影响到下一阶段频繁模式发现的质量。在反应式web使用挖掘技术中，源数据是web服务器日志和web服务器域所服务的web页面的拓扑。在用户交互式浏览网站期间收集的其他类型的信息，例如Cookie或包含类似信息的网络日志，不会被使用。Web使用挖掘的下一个阶段是发现频繁的用户导航模式。在该阶段中，模式发现方法被应用于在第一阶段中获得的重构会话上，以便发现频繁用户模式。在本文中，我们提出了一个频繁的Web使用模式发现方法，可以应用会话重建阶段后。为了比较会话重建阶段和模式发现阶段的准确性，我们使用了一个代理模拟器，它模拟Web用户的行为，并生成Web用户导航以及Web服务器保存的日志数据。
2008-04-09 cs.DB cs.DS
Data management in Systems biology II - Outlook towards the semantic web
使用本体的好处，由各自的数据标准定义，示出。它提出了如何本体可以用于语义丰富的数据，以及如何这可以有助于语义Web的愿景成为现实。指出了当前语义网发展中存在的问题，忽略了语义网的标准、工具和开发框架，并展望了语义网中数据搜索和挖掘的人工智能和代理，为从数据管理到信息和最终真正的知识管理系统铺平了道路。
2009-12-15 cs.DB q-bio.OT
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长，并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加，网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站，出版商必须了解他们的用户需求。因此，分析用户行为是网页设计的重要组成部分。Web使用挖掘（WUM）是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤：预处理，知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
Web3DB: Web 3.0 RDBMS for Individual Data Ownership
本文提出 Web3DB，一种结合区块链与去中心化存储的 Web 3.0 关系型数据库管理系统，通过模块化架构与密码学抽签实现安全查询，解决传统集中式数据库缺陷。
2025-04-03 cs.DB cs.DC
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Distributed Semantic Web Data Management in HBase and MySQL Cluster
网络上的各种计算和数据资源正在通过机器可解释的语义描述来增强，以促进更好的搜索、发现和集成。这种相互关联的元数据构成了语义Web，其数量可能会增加Web的规模。语义Web数据的有效管理（使用W3C的资源描述框架（RDF）表示）对于支持新的数据密集型、启用语义的应用程序至关重要。在这项工作中，我们研究和比较两种方法来分布式RDF数据管理基于新兴的云计算技术和传统的关系数据库聚类技术。特别是，我们设计了分布式RDF数据存储和查询方案HBase和MySQL集群和进行实证比较，这些方法的商品机器集群使用的数据集和查询从第三种来源的挑战和利哈伊大学基准。我们的研究揭示了有趣的模式，查询评估，表明我们的算法是有前途的，并表明云计算具有很大的潜力，可扩展的语义Web数据管理。
2011-05-11 cs.DB cs.PF
The Case For Alternative Web Archival Formats To Expedite The Data-To-Insight Cycle
WARC文件格式被广泛用于Web存档，以保存收集的Web内容供将来使用。随着网络档案的快速增长以及将这些档案重新用作统计和分析研究的大数据源的兴趣越来越大，将这些数据转化为见解的速度变得至关重要。在本文中，我们表明，WARC格式进行批处理工作负载的显着性能损失。我们跟踪这些惩罚的根本原因，其数据结构，编码和寻址方法。然后，我们进行对照实验来说明这些问题有多严重。实际上，只需将WARC文件重新格式化为Parquet或Avro格式，就可以获得一到两个数量级的性能增益。虽然这些结果并不一定构成对Avro或Parquet的认可，但Web存档社区考虑用更有效的Web存档格式取代WARC的时机已经到来。
2020-03-31 cs.DB cs.DL
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London（伦敦大学伯贝克学院）；University of Messina（墨西拿大学）
本文提出Dr Web，一个基于查询语言的模块化Web数据检索引擎，解决动态内容与杂乱数据提取问题，并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
Creating Knowledge Graphs for Geographic Data on the Web
University of Bonn（波恩大学）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
地理数据在各种Web、语义Web和机器学习应用中起着至关重要的作用。OpenStreetMap和知识图谱是Web上地理数据的重要补充来源。然而，数据的准确性，缺乏地理和语义特征的集成，以及不完整的表示大大限制了数据的效用。验证、丰富和语义表示对于使地理数据可用于语义网和机器学习至关重要。本文介绍了我们最近开发的解决这些挑战的方法。
2023-02-17 cs.AI cs.DB cs.IR
