arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.15100cs.CRcs.LG
收藏

机器学习模型数据使用审计的通用框架

A General Framework for Data-Use Auditing of ML Models

Duke University(杜克大学)

Zonghao Huang, Neil Zhenqiang Gong, Michael K. Reiter

AI总结:

本文提出一种通用方法,利用现有黑盒成员推理与序贯假设检验,在无需预知ML任务的情况下审计模型训练中的数据使用,以可调误报率检测数据使用,并在图像分类器和基础模型上验证了有效性。

摘要:

审计机器学习(ML)模型训练中的数据使用是一个日益紧迫的挑战,因为众多ML从业者经常在未经许可的情况下利用内容创作者的成果来训练模型。在本文中,我们提出了一种通用方法,用于审计ML模型在训练中是否使用了数据所有者的数据,且无需预先了解数据可能被用于何种ML任务。该方法利用任何现有的黑盒成员推理方法,结合我们自行设计的序贯假设检验,以可量化、可调的误报率检测数据使用情况。我们通过将所提框架应用于审计两类ML模型(即图像分类器和基础模型)中的数据使用情况,展示了其有效性。

英文摘要:

Auditing the use of data in training machine-learning (ML) models is an increasingly pressing challenge, as myriad ML practitioners routinely leverage the effort of content creators to train models without their permission. In this paper, we propose a general method to audit an ML model for the use of a data-owner's data in training, without prior knowledge of the ML task for which the data might be used. Our method leverages any existing black-box membership inference method, together with a sequential hypothesis test of our own design, to detect data use with a quantifiable, tunable false-detection rate. We show the effectiveness of our proposed framework by applying it to audit data use in two types of ML models, namely image classifiers and foundation models.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑