arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 1409.0798cs.DB
收藏

DataHub:大规模协作数据科学和数据集版本管理

DataHub: Collaborative Data Science & Dataset Version Management at Scale

Anant Bhardwaj, Souvik Bhattacherjee, Amit Chavan, Amol Deshpande, Aaron J. Elmore, Samuel Madden, Aditya G. Parameswaran

摘要:

关系数据库对数据协作的支持有限,团队协作管理和分析大型数据集。受git等软件版本控制系统的启发,我们提出了(a)数据集版本控制系统,使用户能够创建,分支,合并,差异和搜索大型分散的数据集集合,以及(b)平台DataHub,使用户能够在此版本控制系统上执行协作数据分析。我们概述了大规模提供数据集版本控制的挑战。

英文摘要:

Relational databases have limited support for data collaboration, where teams collaboratively curate and analyze large datasets. Inspired by software version control systems like git, we propose (a) a dataset version control system, giving users the ability to create, branch, merge, difference and search large, divergent collections of datasets, and (b) a platform, DataHub, that gives users the ability to perform collaborative data analysis building on this version control system. We outline the challenges in providing dataset version control at scale.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑