SimClone：利用值相似性检测表格数据克隆
SimClone: Detecting Tabular Data Clones using Value Similarity
AI总结：
提出SimClone方法，利用值相似性检测表格数据克隆，无需结构信息，性能优于现有方法至少20%，并具备可视化定位功能。
摘要：
数据克隆被定义为数据集中同一数据的多份副本。数据集之间存在数据克隆可能会导致诸如管理数据资产困难以及在使用带有克隆的数据集构建AI软件时违反数据许可等问题。然而，检测数据克隆并非易事。先前该领域的大多数研究依赖结构信息（如字体大小、列标题）来检测数据克隆。然而，用于构建AI软件的表格数据集通常以无任何结构信息的方式存储。在本文中，我们提出了一种名为SimClone的新方法，用于在无需依赖结构信息的情况下检测表格数据集中的数据克隆。SimClone方法利用值相似性进行数据克隆检测。我们还提出了一种可视化方法，作为SimClone方法的一部分，以帮助定位数据集对之间克隆数据的确切位置。我们的结果表明，在F1分数和AUC方面，SimClone的性能至少比当前最先进的方法高出20%。此外，SimClone的可视化组件有助于在前20个真正例预测中，以Precision@10值为0.80的方式识别数据集中数据克隆的确切位置。
英文摘要：
Data clones are defined as multiple copies of the same data among datasets. Presence of data clones between datasets can cause issues such as difficulties in managing data assets and data license violations when using datasets with clones to build AI software. However, detecting data clones is not trivial. Majority of the prior studies in this area rely on structural information to detect data clones (e.g., font size, column header). However, tabular datasets used to build AI software are typically stored without any structural information. In this paper, we propose a novel method called SimClone for data clone detection in tabular datasets without relying on structural information. SimClone method utilizes value similarities for data clone detection. We also propose a visualization approach as a part of our SimClone method to help locate the exact position of the cloned data between a dataset pair. Our results show that our SimClone outperforms the current state-of-the-art method by at least 20\% in terms of both F1-score and AUC. In addition, SimClone's visualization component helps identify the exact location of the data clone in a dataset with a Precision@10 value of 0.80 in the top 20 true positive predictions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
