arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2312.08557cs.DB
收藏

使用 pyCube 在 Python 中创建和查询数据立方体

Creating and Querying Data Cubes in Python using pyCube

Sigmundur Vang, Christian Thomsen, Torben Bach Pedersen

AI总结:

本文提出基于 Python 的 pyCube 工具,支持为 RDBMS 数据半自动创建并管理数据立方体,以及通过结果元数据编程查询;SSB 实验显示其在运行时间、内存和可读性上均优于 pandas 实现。

摘要:

数据立方体用于分析通常包含在数据仓库中的大型数据集。最流行的数据立方体工具使用图形用户界面(GUI)进行数据分析。传统上这没有问题,因为人们并不期望数据分析师是技术人员。然而,在随后的几十年里,数据格局发生了巨大变化,要求公司雇用由高度技术化的数据科学家组成的大型团队,以管理和使用不断增长的数据量。这些数据科学家通常使用 Python、交互式 notebook、pandas 等工具,而现代数据立方体工具仍然基于 GUI。本文提出了一种名为 pyCube 的基于 Python 的数据立方体工具。pyCube 能够为存储在 RDBMS 中的数据半自动创建数据立方体,并管理数据立方体元数据。pyCube 的编程接口使数据科学家能够通过指定期望的结果元数据来查询数据立方体。pyCube 在 Star Schema Benchmark(SSB)上进行了实验评估。结果表明,pyCube 在运行时间和内存方面都大幅优于 pandas 中 SSB 查询的不同实现,同时更易于读写。

英文摘要:

Data cubes are used for analyzing large data sets usually contained in data warehouses. The most popular data cube tools use graphical user interfaces (GUI) to do the data analysis. Traditionally this was fine since data analysts were not expected to be technical people. However, in the subsequent decades the data landscape changed dramatically requiring companies to employ large teams of highly technical data scientists in order to manage and use the ever increasing amount of data. These data scientists generally use tools like Python, interactive notebooks, pandas, etc. while modern data cube tools are still GUI based. This paper proposes a Python-based data cube tool called pyCube. pyCube is able to semi-automatically create data cubes for data stored in an RDBMS and manages the data cube metadata. pyCube's programmatic interface enables data scientist to query data cubes by specifying the expected metadata of the result. pyCube is experimentally evaluated on Star Schema Benchmark (SSB). The results show that pyCube vastly outperforms different implementations of SSB queries in pandas in both runtime and memory while being easier to read and write.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑