Instance-Level Difficulty: A Missing Perspective in Machine Unlearning
Dalhousie University（达尔豪斯大学）
该研究针对当前机器遗忘研究忽视样本个体遗忘难度差异的问题，通过多算法多数据集的实例级分析，总结出四个影响遗忘难度的因素，证明其与算法无关、仅和目标模型及训练数据相关，呼吁学界关注实例级遗忘难度。
2026-10-12 cs.LG
MUBox: A Critical Evaluation Framework of Deep Machine Unlearning
Fordham University（福特汉姆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出 MUBox 综合评估框架，集成23种深度机器遗忘方法、6类场景与11项指标，系统比较后发现现有方法效果不稳、指标需多维互补，且去投毒表现取决于攻击类型。
2025-05-13 cs.CR cs.LG
Deep Unlearning via Randomized Conditionally Independent Hessians
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近的立法已经引起了对机器遗忘的兴趣，即，从预测模型中删除特定的训练样本，就好像它们从未存在于训练数据集中一样。由于损坏的/对抗性的数据或仅仅是用户更新的隐私要求，也可能需要遗忘。对于不需要训练的模型（k-NN），简单地删除最接近的原始样本可能是有效的。但是这个想法不适用于学习更丰富表示的模型。利用基于优化的更新的最新想法与模型维度d的比例很差，这是由于反转了损失函数的Hessian。我们使用一个新的条件独立系数，L-CODEC的变体，以确定一个子集的模型参数与最语义重叠的个人样本水平。我们的方法完全避免了需要反转（可能）巨大的矩阵。通过利用马尔可夫毯选择，我们假设L-CODEC也适用于深度学习以及视觉中的其他应用。与替代方案相比，L-CODEC使近似遗忘在其他不可行的设置中成为可能，包括用于人脸识别的视觉模型，人员重新识别和可能需要识别排除的遗忘样本的NLP模型。代码可以在https://github.com/vsingh-group/LCODEC-deep-unlearning/上找到
2022-07-13 cs.CV cs.LG
Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning System
Singapore Management University（新加坡管理大学）；University of Virginia（弗吉尼亚大学）；Zhejiang University（浙江大学）
该研究提出一种基于机器遗忘的新型黑盒后门攻击方法，通过投毒与缓解数据训练模型后提交遗忘请求激活后门，并提出对应检测缓解方法，实验验证了攻击可行性及分片对攻防的影响。
2023-12-13 cs.CR cs.LG
DynFrs: An Efficient Framework for Machine Unlearning in Random Forest
ZJUI Institute, Zhejiang University（浙江大学ZJUI学院）
针对随机森林在隐私合规场景下的机器遗忘需求，提出结合Occ(q)子采样与Lzy惰性标记的DynFrs框架，可适配各类随机森林，在极端随机树上实现了数量级更快的遗忘速度与更优预测精度。
2025-03-19 cs.LG
SCU: An Efficient Machine Unlearning Scheme for Deep Learning Enabled Semantic Communications
School of Computer Science, University of Technology Sydney（悉尼科技大学计算机学院）；Macquarie University（麦考瑞大学）
针对深度学习赋能的语义通信中用户数据擦除需求，提出SCU方案，通过最小化互信息实现编解码器联合遗忘，并采用对比补偿方法恢复模型效用，在三个数据集上验证了有效性与效率。
2025-02-27 cs.CR cs.LG
Fast Yet Effective Machine Unlearning
Mavvex Labs（Mavvex实验室）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；National University of Singapore（新加坡国立大学）
本文提出一种基于误差最大化噪声生成和损伤-修复权重操作的机器遗忘框架，无需查看完整训练数据即可快速、可扩展地遗忘单个或多个类别，并保持模型整体性能。
2023-05-31 cs.LG
Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective
Indian Institute of Science（印度科学学院）；Indian Institutes of Science Education and Research（印度科学教育与研究学院）
本文提出一种基于贝叶斯视角的深度网络类遗忘方法PBU，通过最小化对数似然并结合Fisher Information矩阵的Mahalanobis距离与参数$l_2$距离的稳定性正则化，在仅需未学习数据点的情况下实现高效类遗忘并保持其他类性能。
2024-03-24 cs.CV cs.LG
Certified Per-Instance Unlearning Using Individual Sensitivity Bounds
DI ENS, École normale supérieure, Université PSL, CNRS（巴黎大学（ENS）数据科学研究所，巴黎政治学院，法国国家科学研究中心）；CMAP, École polytechnique, Institut Polytechnique de Paris（巴黎高等理工学院计算数学与应用物理研究所，巴黎理工学院）
提出基于逐实例噪声校准的认证遗忘方法，通过推导岭回归中朗之万动力学的个体灵敏度界限，在保证遗忘认证的同时大幅减少噪声注入。
2026-10-14 cs.LG stat.ML
Challenges and Pitfalls of Bayesian Unlearning
IBM Research（IBM研究院）；University of Cambridge（剑桥大学）
机器遗忘是指移除训练数据的子集的任务，从而移除其对训练模型的贡献。近似非学习是完成这项任务的一类方法，它避免了在保留的数据上从头开始重新训练模型的需要。贝叶斯规则可用于将近似非学习转换为推理问题，其目标是通过划分删除数据的可能性来获得更新后的后验。然而，这有其自身的一系列挑战，因为人们通常无法获得模型参数的确切后验。在这项工作中，我们研究使用拉普拉斯近似和变分推理，以获得更新后的后验。以一个为回归任务训练的神经网络为例，我们深入了解了贝叶斯非学习在实际场景中的适用性。
2022-09-13 cs.AI cs.LG stat.ML
CaMU: Disentangling Causal Effects in Deep Model Unlearning
University of Queensland（昆士兰大学）；University of Adelaide（阿德莱德大学）
针对现有机器遗忘方法易因遗忘与剩余数据交织导致剩余性能下降或遗忘信息复现的问题，该研究提出因果机器遗忘框架CaMU，通过干预剩余数据信息解耦因果效应，实现遗忘数据影响消除与剩余信息保留的平衡，首次从因果视角为深度模型遗忘提供新方案。
2024-01-30 cs.LG stat.ME
Counterfactual Certification for Sequential Unlearning with Long-Run Performance Guarantees
DI ENS, École normale supérieure, Université PSL, CNRS（法国高等师范学院，巴黎文理研究大学，法国国家科学研究中心）；CMAP, École polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎理工学院）
该研究针对序列删除请求的机器遗忘问题，提出固定微调预算下的反事实认证方法，可使性能损失一致有界，在FEMNIST数据集上表现优于现有序列方法及训练时差分隐私。
2026-10-14 cs.LG stat.ML
PrivUn: Unveiling Latent Ripple Effects and Shallow Forgetting in Privacy Unlearning
Xiaoyi Chen（陈晓艺）；Haoyuan Wang（王浩元）；Siyuan Tang（唐思远）；Sijia Liu（刘思佳）；Liya Su（苏丽雅）；XiaoFeng Wang（王小峰）
本文提出PrivUn框架，通过三级攻击场景和定量分析揭示隐私去学习方法的不足，发现梯度驱动的涟漪效应和浅层遗忘问题，并提出关联感知核心集选择和多层深度干预策略。
2026-04-23 cs.CL cs.LG
Adversarial Mixup Unlearning
The Hong Kong University of Science and Technology（香港科技大学）
针对机器遗忘中的灾难性遗忘问题，本文提出 MixUnlearn 框架，通过对抗生成 mixup 样本并结合多重对比损失，在删除目标信息的同时保留关键知识，性能优于现有方法。
2025-02-14 cs.LG
Machine Unlearning for Class Removal through SISA-based Deep Neural Network Architectures
Department of Computer Science and Engineering（计算机科学与工程系）；Brac University（布拉大学）；Dhaka, Bangladesh（孟加拉国达卡）
本文提出一种改进的SISA框架，用于在卷积神经网络中实现类别级无学习，通过增强的重放机制和门控网络提升选择性遗忘效率，实验表明该方法能有效移除特定类别数据并保持模型性能。
2026-04-30 cs.CR cs.CV cs.LG
ReVeil: Unconstrained Concealed Backdoor Attack on Deep Neural Networks using Machine Unlearning
Center for Cyber Security, New York University Abu Dhabi（纽约大学阿布扎比分校网络安全中心）
本文提出 ReVeil，一种在数据收集阶段实施、无需模型访问或辅助数据的隐蔽后门攻击，可规避主流检测并在部署后借机器遗忘恢复高 ASR。
2025-02-17 cs.AI cs.CR cs.LG
Federated Unlearning Model Recovery in Data with Skewed Label Distributions
School of Computer Science and Technology（计算机科学与技术学院）；Dalian University of Technology（大连理工大学）；School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文针对联邦学习中标签分布倾斜导致遗忘后模型偏差的问题，提出一种结合深度学习过采样与基于密度去噪的联邦遗忘模型恢复方法，有效提升了模型性能恢复及倾斜类准确率。
2024-12-20 cs.LG
Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）
针对噪声训练数据降低DNN性能的问题，提出融合归因引导数据划分、神经元剪枝与微调的机器遗忘框架，在CIFAR-10等任务上提升准确率并缩短重训练时间。
2025-06-13 cs.LG
What makes unlearning hard and what to do about it
University of Warwick（华威大学）；University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
该研究探究了影响机器遗忘难度的两个关键特征，据此提出RUM精细化遗忘元算法框架，通过细化遗忘集为同质化子集再分别遗忘的方式，显著提升了现有最优遗忘算法的性能，深化了对机器遗忘的科学认知。
2024-10-30 cs.LG
From Adaptive Query Release to Machine Unlearning
The Johns Hopkins University（约翰斯·霍普金斯大学）
该研究将机器遗忘问题形式化为自适应查询类学习算法的对应遗忘算法设计，给出线性和前缀和查询类的高效遗忘算法，将其应用于随机凸优化等问题并得到更优的风险与复杂度保证，还推广到动态流场景。
2023-07-20 cs.LG stat.ML
Towards Reliable Testing of Machine Unlearning
Cornell University（康奈尔大学）
本文提出了一种基于因果的路径中心视角，通过因果模糊测试生成预算干预，以估计残留直接和间接影响并生成可操作的泄漏报告，解决机器无学习测试中的覆盖路径、调试诊断、回归执行和黑盒适用性问题。
2026-04-16 cs.AI cs.LG cs.SE
Statistical Roughness-Informed Machine Unlearning
Electrical Engineering and Computer Science, University of California, Merced, CA 95343, USA（电气工程与计算机科学系，加州大学默塞德分校）；Department of Applied Mathematics, University of California, Merced, CA 95343, USA（应用数学系，加州大学默塞德分校）；Department of Innovation and Research, North Carolina State University, Raleigh, NC, USA（创新与研究系，北卡罗来纳州立大学）；Automation (MESA) Lab, Department of Mechanical Engineering, School of Engineering, University of California, Merced, CA 95343, USA（自动化（MESA）实验室，机械工程系，工程学院，加州大学默塞德分校）
SRAGU通过统计粗糙度自适应梯度方法提升深度学习模型在大规模或对抗性删除下的稳定性与效用
2026-02-10 cs.LG
Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning
Saint Louis University（圣路易斯大学）；University of Kansas（堪萨斯大学）
本文提出一种结合目标分类损失与成员推理损失的机器遗忘机制，通过消除模型权重和激活值中的隐私敏感信息，在四个数据集和四种架构上验证了其在遗忘效果、延迟和主要任务保真度方面的优越性。
2024-07-05 cs.LG
Machine unlearning via GAN
机器学习模型，尤其是深度模型，可能会无意中记住有关其训练数据的信息。恶意攻击者可以通过成员推断攻击或模型反演攻击对模型进行攻击，从而窃取训练数据的某些属性。一些法规，如欧盟的GDPR，制定了“被遗忘的权利”来保护用户的数据隐私，增强了个人对其数据的主权。因此，从训练模型中去除训练数据信息已成为一个关键问题。在本文中，我们提出了一种基于GAN的算法来删除深度模型中的数据，与从头开始重新训练相比，它显著提高了删除速度，特别是在复杂的场景中。我们在五个常用的数据集上进行了实验，实验结果表明了我们的方法的有效性。
2021-11-22 cs.AI cs.LG
DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal
JP Morgan Chase（摩根大通）
提出DeepClean轻量级机器遗忘算法，利用Fisher信息矩阵对角线选择性更新权重，在跨架构下高效遗忘敏感数据子集，同时最小化对保留数据的影响。
2024-04-26 cs.CR cs.CV cs.LG
Data Selection for Transfer Unlearning
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
针对迁移学习场景下非静态数据的遗忘需求，提出从辅助静态数据集选择相关样本微调的方法，符合宽松遗忘定义且效率更高，在多数据集上准确率优于精确遗忘基线，小静态集下接近上限。
2024-05-16 cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology（武汉理工大学）；University of Macau（澳门大学）
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题，提出首个专用遗忘框架Q-MUL，通过相似标签分配和自适应梯度重加权解决上述问题，经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
Reminiscence Attack on Residuals: Exploiting Approximate Machine Unlearning for Privacy
The Hong Kong Polytechnic University（香港理工大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文揭示近似机器遗忘的隐式残差隐私风险，提出 ReA 成员推断攻击，并设计双阶段框架以接近随机猜测的攻击准确率实现高效隐私保护。
2025-07-28 cs.LG
Orthogonal Soft Pruning for Efficient Class Unlearning
Qinghui Gong（青辉公）；Xue Yang（岳阳）；Xiaohu Tang（唐晓虎）
针对联邦学习中数据遗忘的性能权衡与非IID下特征纠缠问题，提出FedOrtho框架，结合正交卷积核与单次软剪枝实现多粒度高效遗忘，取得SOTA效果并大幅降低成本。
2025-11-14 cs.AI cs.LG
Erase at the Core: Representation Unlearning for Machine Unlearning
Korea University（韩国大学）
Erase at the Core通过多层对比性擦除和深度监督学习，有效减少模型表示相似性，提升机器擦除的表示层面遗忘能力。
2026-02-27 cs.CV cs.LG
DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks
SKLOIS, Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所智能信息处理实验室）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
机器遗忘对于保证模型安全和保护用户隐私具有重要意义。此外，许多法律条文明确规定，用户有权要求模型提供者从训练集中删除自己的数据，即被遗忘权。遗忘数据的简单方法是从头开始重新训练模型，这在现代深度神经网络中变得非常耗时和资源消耗。通过重构模型或训练数据的其他非学习方法努力在开销和模型可用性之间获得平衡。在本文中，我们提出了一种称为DeepObliviate的方法，可以有效地实现机器遗忘，而无需修改正常的训练模式。我们的方法通过将中间模型存储在硬盘上来改进原始训练过程。给定一个要遗忘的数据点，我们首先量化它在存储模型中留下的时间剩余记忆。受影响的模型将被重新训练，我们根据剩余记忆的趋势决定何时终止重新训练。最后，我们通过结合重新训练的模型和未受影响的模型来缝合未学习的模型。我们在五个数据集和深度学习模型上广泛评估了我们的方法。与从零开始再培训的方法相比，我们的方法可以达到99.0%，95.0%，91.9%，96.7%，准确率为74.1%，$\times$为66.7 $\times$，75.0 $\times$，33.3 $\times$，29.4 $\times$，13.7 $\times$在MNIST、SVHN、CIFAR-10、Purchase和ImageNet数据集。与最先进的unlearning方法相比，我们提高了5.8%的准确率，32.5 $\times$预测加速，并在这些数…
2021-05-13 cs.AI cs.CR cs.LG
On the Plasticity Collapse in Continual Machine Unlearning
Illinois Institute of Technology（伊利诺伊理工学院）；Amazon（亚马逊公司）；Northwestern University（西北大学）；University of Michigan（密歇根大学）
本研究发现持续机器遗忘场景存在可塑性崩溃的固有问题，通过理论分析和多组实验证实其普遍性，为开发保可塑性遗忘算法提供了依据。
2026-09-01 cs.AI cs.LG
Deep Unlearn: Benchmarking Machine Unlearning for Image Classification
Imperial College London（伦敦帝国理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对图像分类任务中的深度神经网络机器遗忘方法进行了全面基准测试，评估了18种方法在10种初始化下共100K个模型的表现，发现MSG和CT方法在准确性和效率上始终更优，并指出需要采用NG+等更好的基线进行充分比较。
2025-06-30 cs.AI cs.LG
Remembering Everything Makes You Vulnerable: A Limelight on Machine Unlearning for Personalized Healthcare Sector
Ludwig-Maximilians-University（路德维希-马克西米利安大学）；The Neotia University（尼奥蒂亚大学）
本文针对个性化医疗模型在对抗攻击下的隐私脆弱性，提出机器遗忘算法选择性移除敏感数据点，以增强模型鲁棒性并保持预训练模型准确性。
2024-07-05 cs.LG
Machine Unlearning Method Based On Projection Residual
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Shanghai International Studies University（上海外国语大学）
机器学习模型（主要是神经网络）在现实生活中的应用越来越多。用户将他们的数据提供给模型进行训练。但这些过程往往是单向的。一旦经过训练，模型就会记住数据。即使从数据集中删除数据，这些数据的影响仍然存在于模型中。随着世界各地越来越多的法律法规保护数据隐私，通过机器遗忘让模型完全忘记这些数据变得更加重要。本文采用基于牛顿迭代法的投影残差法。主要目的是在线性回归模型和神经网络模型的背景下实现机器遗忘任务。该方法主要采用迭代加权的方法，完全忘记数据及其相应的影响，其计算代价在数据的特征维度上是线性的。该方法可以改进现有的机器学习方法。同时，它与训练集的大小无关。通过特征注入测试（FIT）对结果进行了评估。实验表明，该方法删除数据更彻底，接近模型再训练。
2022-09-30 cs.AI cs.LG
Beyond Uniform Deletion: A Data Value-Weighted Framework for Certified Machine Unlearning
Department of Information Systems（信息系统系）；Xi'an Jiaotong University（西安交通大学）；Arizona State University（亚利桑那州立大学）
针对现有机器遗忘算法忽视数据流值异构性导致模型性能下降的问题，提出数据流值加权遗忘（DVWU）框架，通过基于数据流值的加权策略实现差异化遗忘，适配多种方法并经实验验证性能更优、鲁棒性更强且具可扩展性。
2025-11-10 cs.LG stat.ML
Machine Unlearning for the XGBoost Model with Network Intrusion Datasets
GECAD, ISEP, Polytechnic of Porto（GECAD、ISEP、波尔图理工大学）
针对XGBoost模型提出XGBoost-Forget遗忘方法，在表格型网络入侵数据集上实现高效遗忘，保持模型性能的同时显著提升遗忘速度。
2026-06-18 cs.AI cs.LG
Machine Unlearning Fails to Remove Data Poisoning Attacks
Harvard University（哈佛大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；MIT（麻省理工学院）；Google（谷歌）
研究发现现有机器遗忘方法无法有效消除数据污染攻击，需更全面的评估以避免对深度学习无保证的遗忘技术产生错误信心。
2026-01-15 cs.AI cs.CR cs.CY
Machine Unlearning in the Era of Quantum Machine Learning: An Empirical Study
University of Bucharest, Romania（布加勒斯特大学（罗马尼亚））
本文研究了量子混合神经网络中机器反学习的行为，发现量子模型能有效支持反学习，但结果依赖于电路深度、纠缠结构和任务复杂性。
2026-04-09 cs.AI cs.CV cs.LG
Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills
Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本文首次系统研究了大型推理模型的机器遗忘问题，发现传统算法无法擦除CoT中的敏感信息，并提出$R^2MU$方法在保留推理能力的同时有效抑制敏感推理痕迹及最终答案生成。
2025-10-10 cs.AI cs.LG
Understanding Fine-tuning in Approximate Unlearning: A Theoretical Perspective
Department of Computer Science and Engineering（计算机科学与工程系）；State University of New York at Buffalo（纽约州立大学布法罗分校）；School of Information Science and Technology（信息科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文提出基于保留的遮蔽策略，通过理论分析揭示微调方法在反向学习中的局限性，并改进反向学习和保留准确性。
2025-11-22 cs.LG stat.ML
SoK: Unlearnability and Unlearning for Model Dememorization
RMIT University（皇家墨尔本理工大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；CSIRO and Adelaide University（澳大利亚CSIRO与阿德莱德大学）
本文系统分析了模型去记忆化方法，揭示了不可学性与去学习的脆弱性及相互作用，提出了统一的分类体系和理论保障，为统一ML生命周期中的去记忆化机制奠定基础。
2026-05-12 cs.AI cs.CR cs.LG
An Information Theoretic Evaluation Metric For Strong Unlearning
针对深度神经网络强遗忘评估中现有黑盒指标无法捕捉中间层残留信息的问题，本文提出基于信息论的白盒指标IDI，通过量化中间特征保留信息，有效评估不同数据集和架构下的强遗忘程度。
2025-11-12 cs.AI cs.LG
Gradient Surgery for One-shot Unlearning on Generative Model
LG AI Research（LG人工智能研究院）
针对被遗忘权监管下的生成模型遗忘需求，提出基于梯度投影的单次遗忘方法，通过操纵梯度规范样本影响交互，性能优于现有基线并提供首个生成模型遗忘理论分析。
2023-07-18 cs.AI cs.LG
Reconstruction Attacks on Machine Unlearning: Simple Models are Vulnerable
Amazon AWS AI/ML（亚马逊AWS AI/ML）；University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文揭示机器遗忘更新机制存在高精度重建攻击漏洞，即使线性回归等简单模型也会导致被删除数据被完整恢复，该攻击可推广至多种损失函数与架构并在多类数据集上得到验证。
2024-05-30 cs.CR cs.LG
Soft Weighted Machine Unlearning
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对机器遗忘中过度遗忘导致信息损失的问题，本文提出基于加权影响函数的软加权框架，通过解析凸二次规划分配样本权重，实现细粒度调整，在公平性和鲁棒性任务上优于硬加权方案。
2025-05-24 cs.AI cs.LG
VeriFi: Towards Verifiable Federated Unlearning
Zhejiang University（浙江大学）；Fudan University（复旦大学）；University of Manchester（曼彻斯特大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
联邦学习（FL）是一种协作学习范式，参与者联合训练一个强大的模型，而不共享他们的私人数据。FL的一个理想特性是实现被遗忘权（RTBF），即，离开的参与者有权请求从全局模型中删除其私有数据。然而，unlearning本身可能不足以实现RTBF，除非unlearning效果可以独立验证，这是当前文献中被忽视的一个重要方面。在本文中，我们提出了可验证的联邦unlearning的概念，并提出了VeriFi，一个统一的框架，集成了联邦unlearning和验证，允许系统分析unlearning和量化其效果，多种unlearning和验证方法的不同组合。在VeriFi中，离开的参与者被授予验证权（RTV），即参与者在离开之前通知服务器，然后在接下来的几轮通信中主动验证遗忘效果。在接收到离开通知后，在服务器端立即进行学习，而验证由离开的参与者通过两个步骤在本地完成：标记（注入精心设计的标记以识别离开者）和检查（检查全局模型在标记上的性能变化）。基于VeriFi，我们首次对可验证的联邦unlearning进行了系统的大规模研究，考虑了7种unlearning方法和5种验证方法。特别是，我们提出了一个更有效和FL友好的unlearning方法，和两个更有效和强大的非侵入性验证方法。我们在7个数据集和4种类型的深度学习模型上广泛评估了VeriFi。我们的分析建立了重要的经验理解更值得信赖的联邦unle…
2022-05-25 cs.CR cs.LG
The Measure of Deception: An Analysis of Data Forging in Machine Unlearning
Department of Mathematics, UC San Diego（加州大学圣地亚哥分校数学系）；Department of Mathematics and Halıcıoglu Data Science Institute, UC San Diego（加州大学圣地亚哥分校数学系与哈勒吉奥卢数据科学研究所）
本文分析机器遗忘中对抗性伪造数据的可行性，证明伪造集测度随容差ε按ε^{(d-r)/2}衰减，且随机采样到伪造点的概率极小，表明伪造受限且可被检测。
2026-05-04 cs.LG stat.ML
Attack and Reset for Unlearning: Exploiting Adversarial Noise toward Machine Unlearning through Parameter Re-initialization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 ARU 方法，利用对抗噪声生成参数掩码并重置偏向遗忘集的网络参数，在 MUFAC 和 MUCAC 面部遗忘基准上取得最优效果，实现更彻底的机器遗忘。
2024-01-17 cs.CR cs.CV cs.LG
Lightweight machine unlearning in neural network
近年来，机器学习神经网络已经深入到人们的生活中。作为便利的代价，人们的隐私信息也存在泄露的风险。适时引入“被遗忘权”，规定个人有权基于本人同意，对个人信息处理活动撤回同意。为了解决这个问题，机器遗忘被提出，它允许模型擦除所有私有信息的记忆。以前的研究，包括再训练和增量学习来更新模型，通常会占用额外的存储空间，或者很难应用于神经网络。我们的方法只需要对目标模型的权重做一个很小的扰动，并使其朝着用剩余数据子集训练的模型的方向移动，直到完全消除未学习数据对模型的贡献。在本文中，五个数据集上的实验证明了我们的方法的有效性机器遗忘，我们的方法是15倍的速度比再训练。
2021-11-10 cs.AI cs.LG
Unrolling SGD: Understanding Factors Influencing Machine Unlearning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器遗忘是使部署的机器学习模型忘记其某些训练数据点的过程。虽然从零开始对模型进行简单的重新训练是一种选择，但对于深度学习模型来说，它几乎总是与巨大的计算开销相关联。因此，已经提出了几种近似遗忘的方法，以及相应的度量标准，这些度量标准形式化了模型忘记数据点意味着什么。在这项工作中，我们首先对近似非学习的方法和度量进行分类。因此，我们识别验证错误，即，近似未学习模型和单纯再训练模型的权重之间的L2差，作为近似未学习度量，因为它包含了一大类其他度量，所以应该对其进行优化。我们从理论上分析了经典的训练算法，随机梯度下降（SGD），表面的变量，这是有关减少近似unlearning SGD的验证误差。从这个分析中，我们首先得到一个易于计算的代理验证错误（称为unlearning错误）。该分析还为新的训练目标惩罚的设计提供了信息，该惩罚限制了SGD期间权重的总体变化，从而有助于以较低的验证误差近似遗忘。我们通过CIFAR-10、CIFAR-100和IMDB情感分析对学习的实证评估来验证我们的理论工作。
2022-03-02 cs.CR cs.LG
Deep Unlearning: Fast and Efficient Gradient-free Approach to Class Forgetting
Purdue University（普渡大学）；Elmore Family School of Electrical and Compute Engineering（埃尔莫尔家族电气与计算机工程学院）
本文提出无梯度的深度类别反学习算法，通过奇异值分解分离保留与类别判别特征并更新权重，在低样本需求下保持保留精度、实现近随机遗忘并抵御 MIA。
2024-08-05 cs.AI cs.CV cs.LG
Machine Unlearning: Linear Filtration for Logit-based Classifiers
St. Pölten University of Applied Sciences（圣帕尔滕应用科技大学）；Management Center Innsbruck（因斯布鲁克管理中心）
最近颁布的立法赋予个人决定以何种方式使用其个人数据的某些权利，特别是“被遗忘权”。这给机器学习带来了挑战：当一个人撤回使用模型训练过程中数据的许可时，该如何继续？从这个问题中出现了机器遗忘领域，它可以被广泛地描述为如何“从模型中删除训练数据”的研究。我们的工作补充了这一研究方向，为分类模型（例如深度神经网络）的类范围删除请求的特定设置。作为第一步，我们提出线性过滤作为一种直观的，计算效率高的消毒方法。我们的实验证明了在对抗性环境中比天真删除方案的好处。
2020-07-08 cs.LG stat.ML
On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
机器遗忘，即让模型忘记它的一些训练数据，随着隐私立法促进被遗忘权的变体，变得越来越重要。在深度学习的背景下，机器遗忘的方法大致分为两类：精确遗忘方法，其中实体通过从头开始重新训练模型来正式消除数据点对模型的影响，以及近似遗忘，其中实体近似通过精确遗忘获得的模型参数以节省计算成本。在本文中，我们首先证明了近似非学习的定义，即试图证明近似非学习模型接近于精确再训练模型，是不正确的，因为人们可以使用不同的数据集获得相同的模型。因此，人们可以在根本不修改模型的情况下忘却。然后，我们转向精确的遗忘方法，并询问如何验证他们的遗忘主张。我们的研究结果表明，即使对于给定的训练轨迹，也无法正式证明训练过程中使用的某些数据点的缺失。因此，我们的结论是，unlearning仅在算法层面上定义良好，其中实体对unlearning的唯一可能的可审计声明是，他们使用了一种特定的算法，该算法旨在允许在审计期间进行外部审查。
2022-02-19 cs.AI cs.CR cs.LG
