The European General Data Protection Regulation asserts data subjects' right to be forgotten, i.e., their right to request that all their personal data be deleted from an organizations' data stores. However, fulfilling such requests in large-scale systems is technically challenging. It requires that organizations keep track of all locations in which an individual's data is stored, be able to access and delete it in a reasonable time frame, and be able to prove that all such data was in fact deleted. In addition, organizations must cope with complexities such as multiple, distributed, and continuously evolving systems of record, complex data retention policies and deletion approval workflows. We present a first design pattern and practical implementation of the right to be forgotten on a large scale in Big Data and cloud environments.
The Right to be Forgotten in Federated Learning: An Efficient Realization with Rapid Retraining
City University of Hong Kong(香港城市大学);Nanjing University of Science and Technology(南京理工大学);Monash University(莫纳什大学);The Hong Kong University of Science and Technology(香港科技大学)
在机器学习中,\textit{the right to be forgotten}的出现催生了一个名为\textit{machine unlearning}的范式,该范式使数据持有者能够主动从训练模型中删除其数据。现有的机器遗忘技术集中于集中式训练,其中访问所有持有者的训练数据是服务器进行遗忘过程所必须的。当无法完全访问所有训练数据时,如何实现遗忘,这在很大程度上还有待探索。一个值得注意的例子是联邦学习(FL),其中每个参与的数据持有者在本地进行训练,而不将其训练数据共享给中央服务器。本文研究了FL系统中的机器遗忘问题。我们从FL中的非学习问题的正式定义开始,并提出了一种快速的再训练方法来完全删除训练FL模型中的数据样本。由此产生的设计允许数据持有者有效地联合进行遗忘过程,同时将其训练数据保持在本地。我们的形式收敛性和复杂性分析表明,我们的设计可以保持高效率的模型效用。在四个真实世界的数据集上进行了广泛的评估,说明了我们提出的实现的有效性和性能。
Certifying the Right to Be Forgotten: Primal-Dual Optimization for Sample and Label Unlearning in Vertical Federated Learning
College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore and Digital Trust Centre (DTC), Singapore(南洋理工大学计算与数据科学学院(CCDS)及新加坡数字信任中心(DTC));College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院(CCDS));School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
Label Leakage Attacks in Machine Unlearning: A Parameter and Inversion-Based Approach
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络安全学院);School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);Guangzhou Institute of Internet of Things(广州物联网研究院)
Machine Unlearning: Taxonomy, Metrics, Applications, Challenges, and Prospects
Nanjing University of Science and Technology(南京理工大学);Xidian University(西安电子科技大学);CSIRO(联邦科学与工业研究组织);University of Western Australia(西澳大学);University of Technology Sydney(悉尼科技大学)
Towards Probabilistic Verification of Machine Unlearning
ETH Zürich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
被遗忘权(Right to be forgotten),也被称为删除权(Right to erasure),是指个人有权将其数据从存储数据的实体中删除。这一长期持有的概念的地位最近在欧盟的《通用数据保护条例》(GDPR)中得到了法律上的巩固。因此,有必要建立一种机制,使用户能够核实服务提供商是否遵守其删除请求。在这项工作中,我们采取的第一步,提出了一个正式的框架,研究设计的验证机制,数据删除请求-也被称为机器遗忘-的背景下,提供机器学习作为一种服务(MLaaS)的系统。我们的框架允许严格量化的任何验证机制的基础上,标准的假设检验。此外,我们提出了一种新的基于后门的验证机制,并证明其有效性,在证明数据删除具有高置信度,从而提供了一个基础,定量推断机器遗忘。我们在一系列网络架构上评估了我们的方法,例如多层感知器(MLP),卷积神经网络(CNN),残差网络(ResNet)和长短期记忆(LSTM),以及超过5个不同的数据集。我们证明了我们的方法对ML服务的准确性影响最小,但提供了高置信度的遗忘验证。即使只有少数用户使用我们的系统来确定是否符合删除数据的要求,我们建议的机制也可以工作。特别是,只有5%的用户参与,用后门修改了一半的数据,只有30个测试查询,我们的验证机制的误报率和漏报率都低于$10^{-3}$。我们还显示了我们的方法的有效性,通过测试它对一个自适应的对手,使用一个国家的最先进…