一种简单有效的数据立方体实体化MapReduce算法
A Simple and Efficient MapReduce Algorithm for Data Cube Materialization
摘要：
数据立方体物化是Gray等人介绍的经典数据库运算符。~（数据采掘和知识发现，卷。1），这对于许多分析任务至关重要。Nandi等人~（《知识与数据工程汇刊》，卷。~ 6)首先使用MapReduce框架研究了大规模数据集的立方体物化，并在2012年提出了一种简单广播算法的复杂修改，以在25分钟内使用2k台机器处理216 GB立方体大小的数据集。我们采取了不同的方法，并提出了一个简单的MapReduce算法，该算法（1）最大限度地减少了复制-添加操作的总数，（2）利用计算的局部性，（3）在机器之间均匀地平衡工作。结果表明，该算法表现出优异的性能，并在54分钟内物化了一个立方体大小为35.0G元组和1.75T字节的真实数据集，2014年使用了0.4k台机器。
英文摘要：
Data cube materialization is a classical database operator introduced in Gray et al.~(Data Mining and Knowledge Discovery, Vol.~1), which is critical for many analysis tasks. Nandi et al.~(Transactions on Knowledge and Data Engineering, Vol.~6) first studied cube materialization for large scale datasets using the MapReduce framework, and proposed a sophisticated modification of a simple broadcast algorithm to handle a dataset with a 216GB cube size within 25 minutes with 2k machines in 2012. We take a different approach, and propose a simple MapReduce algorithm which (1) minimizes the total number of copy-add operations, (2) leverages locality of computation, and (3) balances work evenly across machines. As a result, the algorithm shows excellent performance, and materialized a real dataset with a cube size of 35.0G tuples and 1.75T bytes in 54 minutes, with 0.4k machines in 2014.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
