arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2203.08007cs.SEcs.LG
收藏

公共数据集中的数据气味

Data Smells in Public Datasets

Delft University of Technology(代尔夫特理工大学)

Arumoy Shome, Luis Cruz, Arie van Deursen

摘要:

人工智能(AI)在医疗保健、野生动物保护、自动驾驶和刑事司法系统等高风险领域的采用,要求采用以数据为中心的AI方法。数据科学家花了大部分时间研究和处理数据,但缺乏帮助他们进行数据分析的工具。这项研究确定了公共数据集中经常出现的数据质量问题。类似于代码气味,我们引入了一个新的数据气味目录,可用于指示机器学习系统中问题或技术债务的早期迹象。为了了解数据集中数据质量问题的普遍性,我们分析了25个公共数据集,并确定了14个数据气味。

英文摘要:

The adoption of Artificial Intelligence (AI) in high-stakes domains such as healthcare, wildlife preservation, autonomous driving and criminal justice system calls for a data-centric approach to AI. Data scientists spend the majority of their time studying and wrangling the data, yet tools to aid them with data analysis are lacking. This study identifies the recurrent data quality issues in public datasets. Analogous to code smells, we introduce a novel catalogue of data smells that can be used to indicate early signs of problems or technical debt in machine learning systems. To understand the prevalence of data quality issues in datasets, we analyse 25 public datasets and identify 14 data smells.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑