arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2502.12976cs.CRcs.LG
收藏

使用合成数据训练真的能保护隐私吗?

Does Training with Synthetic Data Truly Protect Privacy?

National University of Singapore(新加坡国立大学);ETH Zurich(苏黎世联邦理工学院)

Yunpeng Zhao, Jie Zhang

AI总结:

本文考察核心集选择、数据集蒸馏、无数据知识蒸馏和扩散模型合成数据四种训练范式,指出它们虽都使用合成数据,隐私保护效果却差异显著,强调须严格评估以免产生虚假隐私感。

摘要:

随着合成数据在机器学习任务中日益普及,许多没有形式化差分隐私保证的方法都使用合成数据进行训练。这些方法往往明确或隐含地声称能够保护原始训练数据的隐私。在本研究中,我们考察了四种不同的训练范式:核心集选择、数据集蒸馏、无数据知识蒸馏,以及由扩散模型生成的合成数据。尽管这些方法都利用合成数据进行训练,但它们在隐私保护方面得出了截然不同的结论。我们提醒,用于保护数据隐私的经验性方法需要谨慎而严格的评估;否则,它们可能带来虚假的隐私安全感。

英文摘要:

As synthetic data becomes increasingly popular in machine learning tasks, numerous methods--without formal differential privacy guarantees--use synthetic data for training. These methods often claim, either explicitly or implicitly, to protect the privacy of the original training data. In this work, we explore four different training paradigms: coreset selection, dataset distillation, data-free knowledge distillation, and synthetic data generated from diffusion models. While all these methods utilize synthetic data for training, they lead to vastly different conclusions regarding privacy preservation. We caution that empirical approaches to preserving data privacy require careful and rigorous evaluation; otherwise, they risk providing a false sense of privacy.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑