DataHub:大规模协作数据科学和数据集版本管理
DataHub: Collaborative Data Science & Dataset Version Management at Scale
摘要:
关系数据库对数据协作的支持有限,团队协作管理和分析大型数据集。受git等软件版本控制系统的启发,我们提出了(a)数据集版本控制系统,使用户能够创建,分支,合并,差异和搜索大型分散的数据集集合,以及(b)平台DataHub,使用户能够在此版本控制系统上执行协作数据分析。我们概述了大规模提供数据集版本控制的挑战。
英文摘要:
Relational databases have limited support for data collaboration, where teams collaboratively curate and analyze large datasets. Inspired by software version control systems like git, we propose (a) a dataset version control system, giving users the ability to create, branch, merge, difference and search large, divergent collections of datasets, and (b) a platform, DataHub, that gives users the ability to perform collaborative data analysis building on this version control system. We outline the challenges in providing dataset version control at scale.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。