arXiv 2203.069492022-03-14cs.DB

Relational Databases Ingestion into a NoSQL Data Warehouse

Fatma Abdelhedi, Rym Jemmali, Gilles Zurfluh

备注：: 6 pages, 11 figures

英文摘要：

The digital transformation of companies has led to the evolution of databases towards Big Data. Our work is part of this context and concerns more particularly the mechanisms to extract datasets stored in a Data Lake and to store the data in a Data Warehouse. The latter will allow, in a second time, decisional analysis. In this paper, we present the extraction mechanism limited to relational databases. To automate this process, we used the Model Driven Architecture (MDA), which offers a formalized environment for schema transformation. From the physical schemas describing a Data Lake, we propose transformation rules that allow the creation of a Data Warehouse stored on a document-oriented NoSQL system. An experimentation of the transformation process has been performed on a medical application.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于LSM的存储系统的高效数据摄取和查询处理

Efficient Data Ingestion and Query Processing for LSM-Based Storage Systems

近年来，日志结构化合并（Log Structured Merge，LSM）树因其优越的写入性能而被NoSQL和NewSQL系统广泛采用。尽管它的流行，但是，大多数现有的工作都集中在基于LSM的键值存储，只有一个主要的LSM树索引;辅助结构，这是关键的支持ad-hoc查询，得到了较少的关注。在本文中，我们专注于高效的数据摄取和查询处理的通用基于LSM的存储系统。我们首先提出并评估了一系列的优化，有效的批量点查找，显着提高基于LSM的二级索引的适用范围。然后，我们提出了几个新的和有效的维护策略基于LSM的存储系统。最后，我们已经实施和实验评估的Apache AsterixDB系统的上下文中提出的技术，我们在这里提出的结果。

2019-01-07cs.DB

面向工作负载的云数据仓库增量重新聚类

Workload-Aware Incremental Reclustering in Cloud Data Warehouses

Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Snowflake Inc.（Snowflake公司）；Shanghai Qi Zhi Institute（上海人工智能实验室）

本文提出WAIR算法，通过识别关键边界微分区实现高效的数据修剪，提升查询性能并降低重新聚类成本。

2026-03-16cs.DB

AsterixDB：可扩展的开源BDMS

AsterixDB: A Scalable, Open Source BDMS

AsterixDB是一个全新的全功能BDMS（大数据管理系统），其功能集将其与当今开源大数据生态系统中的其他平台区分开来。它的特性使其非常适合Web数据仓库、社交数据存储和分析等应用程序，以及与大数据相关的其他用例。AsterixDB具有灵活的NoSQL风格数据模型;支持广泛查询的查询语言;可扩展的运行时;分区的、基于LSM的数据存储和索引（包括B+树、R树和文本索引）;支持外部和本地存储的数据;丰富的内置类型集;支持模糊、空间和时间类型和查询;内置的数据馈送概念，用于摄取数据;以及类似于NoSQL存储的事务支持。AsterixDB的开发始于2009年，并于2013年中期发布了最初的开源版本。本文是第一个完整的描述所产生的开源AsterixDB系统。本文介绍了系统的数据模型、查询语言及其软件体系结构。还包括该项目的当前状态的摘要，以及与替代技术相比AsterixDB的表现，包括并行关系DBMS，流行的NoSQL存储和流行的基于Hadoop的SQL数据分析平台，这两种技术都可以做的事情。还包括对该系统所经历的一些初步试验的简要描述，以及基于这些早期“客户”参与的经验教训（和制定的计划）。

2014-07-02cs.DB

可扩展网络数据处理流水线的累加性能评估

Evaluating Accumulo Performance for a Scalable Cyber Data Processing Pipeline

流式大数据应用程序在创建可扩展的数据流管道方面面临挑战，其中必须收集、存储、查询和分析多个数据流。这些数据源的特征在于它们的数量（就数据集大小而言）、速度（就数据率而言）和种类（就字段和类型而言）。对于许多应用，分布式NoSQL数据库是传统关系数据库管理系统的有效替代品。本文考虑了一个网络态势感知系统，使用Apache Accumulo数据库提供可扩展的数据仓库，实时数据摄取，并响应查询人类用户和分析算法。我们评估Accumulo的摄取的可扩展性作为客户端进程和服务器的数量的函数。我们还描述了一个灵活的数据模型与有效的技术查询规划和查询优化，以提供响应结果。查询性能根据客户端接收初始结果集的延迟进行评估。Accumulo的性能是使用真实的网络数据在多达8个节点的数据库上测量的。

2014-07-21cs.DB

A Big Data Lake for Multilevel Streaming Analytics

School of Computing（计算机学院）

Large organizations are seeking to create new architectures and scalable platforms to effectively handle data management challenges due to the explosive nature of data rarely seen in the past. These data management challenges are largely posed by the availability of streaming data at high velocity from various sources in multiple formats. The changes in data paradigm have led to the emergence of new data analytics and management architecture. This paper focuses on storing high volume, velocity and variety data in the raw formats in a data storage architecture called a data lake. First, we pres…

2020-09-25cs.AIcs.DBcs.DC