近期的数字权利框架赋予用户从存储和处理其个人信息的系统中删除其数据的权利(例如 GDPR 中的“被遗忘权”)。在涉及众多用户交互并存储衍生信息的复杂系统中,删除应如何形式化?我们认为先前的方法存在不足。Cao 和 Yang [2015] 的机器遗忘定义范围过窄,不适用于一般的交互式场景。Garg 等人 [2020] 提出的“删除即机密性”这一自然方法则过于严格:由于要求已删除数据的保密性,它排除了社交功能。我们提出一种新的形式化框架:删除即控制。该框架允许用户的数据在删除前被自由使用,同时在删除后施加一个有意义的约束——从而赋予用户更多控制权。删除即控制为在多样场景中实现删除提供了新途径。我们将其应用于社交功能,并对文献中的多种机器遗忘定义给出了新的统一视角。这一工作通过历史独立性的新型自适应推广来完成。删除即控制还为机器遗忘目标提供了一种新方法,即在尊重用户删除请求的同时维护模型。我们证明,发布一系列在持续发布机制下满足差分隐私的更新模型即可满足删除即控制。与机器遗忘文献中的结果不同,此类算法的准确度不依赖于被删除数据点的数量。
英文摘要:
Recent digital rights frameworks give users the right to delete their data from systems that store and process their personal information (e.g., the "right to be forgotten" in the GDPR). How should deletion be formalized in complex systems that interact with many users and store derivative information? We argue that prior approaches fall short. Definitions of machine unlearning Cao and Yang [2015] are too narrowly scoped and do not apply to general interactive settings. The natural approach of deletion-as-confidentiality Garg et al. [2020] is too restrictive: by requiring secrecy of deleted data, it rules out social functionalities. We propose a new formalism: deletion-as-control. It allows users' data to be freely used before deletion, while also imposing a meaningful requirement after deletion--thereby giving users more control. Deletion-as-control provides new ways of achieving deletion in diverse settings. We apply it to social functionalities, and give a new unified view of various machine unlearning definitions from the literature. This is done by way of a new adaptive generalization of history independence. Deletion-as-control also provides a new approach to the goal of machine unlearning, that is, to maintaining a model while honoring users' deletion requests. We show that publishing a sequence of updated models that are differentially private under continual release satisfies deletion-as-control. The accuracy of such an algorithm does not depend on the number of deleted points, in contrast to the machine unlearning literature.
The Right to be Forgotten in Federated Learning: An Efficient Realization with Rapid Retraining
City University of Hong Kong(香港城市大学);Nanjing University of Science and Technology(南京理工大学);Monash University(莫纳什大学);The Hong Kong University of Science and Technology(香港科技大学)
在机器学习中,\textit{the right to be forgotten}的出现催生了一个名为\textit{machine unlearning}的范式,该范式使数据持有者能够主动从训练模型中删除其数据。现有的机器遗忘技术集中于集中式训练,其中访问所有持有者的训练数据是服务器进行遗忘过程所必须的。当无法完全访问所有训练数据时,如何实现遗忘,这在很大程度上还有待探索。一个值得注意的例子是联邦学习(FL),其中每个参与的数据持有者在本地进行训练,而不将其训练数据共享给中央服务器。本文研究了FL系统中的机器遗忘问题。我们从FL中的非学习问题的正式定义开始,并提出了一种快速的再训练方法来完全删除训练FL模型中的数据样本。由此产生的设计允许数据持有者有效地联合进行遗忘过程,同时将其训练数据保持在本地。我们的形式收敛性和复杂性分析表明,我们的设计可以保持高效率的模型效用。在四个真实世界的数据集上进行了广泛的评估,说明了我们提出的实现的有效性和性能。
Certifying the Right to Be Forgotten: Primal-Dual Optimization for Sample and Label Unlearning in Vertical Federated Learning
College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore and Digital Trust Centre (DTC), Singapore(南洋理工大学计算与数据科学学院(CCDS)及新加坡数字信任中心(DTC));College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院(CCDS));School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
Machine Unlearning: Taxonomy, Metrics, Applications, Challenges, and Prospects
Nanjing University of Science and Technology(南京理工大学);Xidian University(西安电子科技大学);CSIRO(联邦科学与工业研究组织);University of Western Australia(西澳大学);University of Technology Sydney(悉尼科技大学)
Label Leakage Attacks in Machine Unlearning: A Parameter and Inversion-Based Approach
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络安全学院);School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);Guangzhou Institute of Internet of Things(广州物联网研究院)
University of Virginia(弗吉尼亚大学);University of Lausanne(洛桑大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
Towards Probabilistic Verification of Machine Unlearning
ETH Zürich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
被遗忘权(Right to be forgotten),也被称为删除权(Right to erasure),是指个人有权将其数据从存储数据的实体中删除。这一长期持有的概念的地位最近在欧盟的《通用数据保护条例》(GDPR)中得到了法律上的巩固。因此,有必要建立一种机制,使用户能够核实服务提供商是否遵守其删除请求。在这项工作中,我们采取的第一步,提出了一个正式的框架,研究设计的验证机制,数据删除请求-也被称为机器遗忘-的背景下,提供机器学习作为一种服务(MLaaS)的系统。我们的框架允许严格量化的任何验证机制的基础上,标准的假设检验。此外,我们提出了一种新的基于后门的验证机制,并证明其有效性,在证明数据删除具有高置信度,从而提供了一个基础,定量推断机器遗忘。我们在一系列网络架构上评估了我们的方法,例如多层感知器(MLP),卷积神经网络(CNN),残差网络(ResNet)和长短期记忆(LSTM),以及超过5个不同的数据集。我们证明了我们的方法对ML服务的准确性影响最小,但提供了高置信度的遗忘验证。即使只有少数用户使用我们的系统来确定是否符合删除数据的要求,我们建议的机制也可以工作。特别是,只有5%的用户参与,用后门修改了一半的数据,只有30个测试查询,我们的验证机制的误报率和漏报率都低于$10^{-3}$。我们还显示了我们的方法的有效性,通过测试它对一个自适应的对手,使用一个国家的最先进…
TruVRF: Towards Triple-Granularity Verification on Machine Unlearning
School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
Machine Unlearning of Pre-trained Large Language Models
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);The Hong Kong Polytechnic University(香港理工大学);University of Melbourne(墨尔本大学);Carnegie Mellon University(卡内基梅隆大学)
DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks
SKLOIS, Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所智能信息处理实验室);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(网络与交换技术国家重点实验室,北京邮电大学);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);The Future Network of Intelligence Institute, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)未来智联网络研究院);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院)
Textual Unlearning Gives a False Sense of Unlearning
The State Key Laboratory of Blockchain and Data Security, Zhejiang University, P. R. China(区块链与数据安全国家重点实验室,浙江大学,中华人民共和国);School of Cyber Science and Technology, Zhejiang University, P. R. China(网络安全与技术学院,浙江大学,中华人民共和国);ETH Zurich, Switzerland(苏黎世联邦理工学院,瑞士)