PipeGen:用于混合分析的数据管道生成器
PipeGen: Data Pipe Generator for Hybrid Analytics
摘要:
我们开发了一个名为PipeGen的工具,用于数据库管理系统(DBMS)之间的高效数据传输。PipeGen针对无共享引擎上的数据分析工作负载。它支持用户试图在不同的DBMS中执行分析的不同部分或想要组合和分析存储在不同系统中的数据的场景。这些系统可以位于同一集群中,也可以位于不同集群中。为了实现高性能,PipeGen利用所有DBMS的能力将数据导出(可能是并行导出)为通用数据格式,如CSV或JSON。它通过高效的二进制数据传输功能自动扩展这些导入和导出功能,避免在文件系统上具体化传输的数据。我们实现了一个原型的PipeGen和评估它自动生成五个不同的DBMS之间的数据管道。我们的实验表明,与使用CSV跨系统手动导出和导入数据相比,PipeGen的速度提高了3.8倍。
英文摘要:
We develop a tool called PipeGen for efficient data transfer between database management systems (DBMSs). PipeGen targets data analytics workloads on shared-nothing engines. It supports scenarios where users seek to perform different parts of an analysis in different DBMSs or want to combine and analyze data stored in different systems. The systems may be colocated in the same cluster or may be in different clusters. To achieve high performance, PipeGen leverages the ability of all DBMSs to export, possibly in parallel, data into a common data format, such as CSV or JSON. It automatically extends these import and export functions with efficient binary data transfer capabilities that avoid materializing the transmitted data on the file system. We implement a prototype of PipeGen and evaluate it by automatically generating data pipes between five different DBMSs. Our experiments show that PipeGen delivers speedups up to 3.8x compared with manually exporting and importing data across systems using CSV.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。