An Introduction to Machine Unlearning
NatWest Group（国民西敏寺银行集团）；UCL（伦敦大学学院）
可能需要从机器学习模型中去除训练数据的指定子集的影响，以解决隐私、公平性和数据质量等问题。在删除子集后，在剩余的数据上从头开始重新训练模型是一种有效但通常不可行的选择，因为它的计算开销很大。因此，在过去的几年里，已经看到了一些新的方法来有效地去除，形成了“机器遗忘“领域，然而，迄今为止发表的文献的许多方面是不同的，缺乏共识。在本文中，我们总结和比较七个国家的最先进的机器遗忘算法，巩固在该领域使用的核心概念的定义，调和不同的方法来评估算法，并讨论相关的问题，在实践中应用机器遗忘。
2022-09-02 cs.LG
Contrastive Unlearning: A Contrastive Approach to Machine Unlearning
Zhejiang University（浙江大学）；Emory University（埃默里大学）
针对机器遗忘中难以兼顾彻底性、效率与模型性能的问题，提出对比式遗忘框架，通过对比优化表征空间移除遗忘样本影响，并在多数据集和模型上取得最优效果。
2024-01-19 cs.CR cs.LG
FUNU: Boosting Machine Unlearning Efficiency by Filtering Unnecessary Unlearning
Hong Kong Polytechnic University（香港理工大学）
为提升机器遗忘效率，本文提出FUNU方法，通过利用参考模型识别移除请求中在剩余数据集中有相似邻居的数据点来过滤不必要的遗忘，从而缩减请求规模并减少执行时间，同时提供了隐私保证的理论分析与实验验证。
2025-01-28 cs.LG
Evaluating Machine Unlearning via Epistemic Uncertainty
TU Dortmund University（多特蒙德工业大学）
最近，人们对机器遗忘的兴趣越来越大，这主要是由于《通用数据保护条例》（GDPR）和《加州消费者隐私法》等法律要求。因此，提出了多种方法来从训练模型中去除特定目标数据点的影响。然而，在评估遗忘的成功时，当前的方法要么使用对抗攻击，要么将其结果与最优解进行比较，后者通常包含从头开始的再训练。我们认为，这两种方法在实践中都是不够的。在这项工作中，我们提出了一个评价指标的机器遗忘算法的基础上认识的不确定性。据我们所知，这是机器遗忘的一般评估指标的第一个定义。
2022-09-19 cs.LG
Towards Natural Machine Unlearning
本文提出一种自然机器遗忘方法，通过向遗忘样本注入正确信息并配对标签，显著减少过度遗忘并增强超参数鲁棒性，优于现有最先进方法。
2025-10-10 cs.LG
A More Practical Approach to Machine Unlearning
本文提出面向实用机器遗忘的首 epoch 梯度上升方法，发现 GPT-2 嵌入层是关键且可减半空间复杂度，并通过实证验证其优于全模型梯度上升。
2024-06-13 cs.AI cs.LG
Forgetting Similar Samples: Can Machine Unlearning Do it Better?
City University of Macau（澳门城市大学）；Guangzhou University（广州大学）
本文研究了机器去学习在存在相似样本时的有效性，发现现有方法未能有效消除目标样本影响，并提出改进方案。
2026-01-11 cs.CR cs.LG
Verification of Machine Unlearning is Fragile
University of Virginia（弗吉尼亚大学）
本文探讨了机器去学习验证的脆弱性，提出两种对抗性去学习过程以绕过现有验证策略，揭示了验证方法的局限性。
2026-04-21 cs.CR cs.LG
Towards Aligned Data Forgetting via Twin Machine Unlearning
针对机器遗忘中数据遗忘与黄金模型对齐的目标，提出双机机器学习方法，通过孪生问题训练预测器迁移，显著提升遗忘模型与黄金模型的对齐程度。
2025-01-23 cs.LG
Machine Unlearning via Null Space Calibration
University of Technology Sydney（悉尼科技大学）；University of Queensland（昆士兰大学）；City University of Macau（澳门城市大学）
本文提出基于零空间校准的机器遗忘方法UNSC，通过将遗忘过程限制在剩余样本的零空间并利用伪标记增强，有效解决过度遗忘问题并提升模型在剩余数据上的性能。
2024-04-21 cs.AI cs.LG
Models Designed to Forget: Machine Unlearning via Key Deletion
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文提出了一种新的机器遗忘方法，通过设计使模型具备遗忘能力。MUNKEY模型通过删除实例标识符实现直接零样本遗忘，无需权重更新或原始数据访问，在多个数据集上优于现有方法。
2026-10-27 cs.LG
Beyond Uniform Deletion: A Data Value-Weighted Framework for Certified Machine Unlearning
Department of Information Systems（信息系统系）；Xi'an Jiaotong University（西安交通大学）；Arizona State University（亚利桑那州立大学）
针对现有机器遗忘算法忽视数据流值异构性导致模型性能下降的问题，提出数据流值加权遗忘（DVWU）框架，通过基于数据流值的加权策略实现差异化遗忘，适配多种方法并经实验验证性能更优、鲁棒性更强且具可扩展性。
2025-11-10 cs.LG stat.ML
Machine Unlearning: Solutions and Challenges
本文综述机器遗忘方法，将其分为精确遗忘与近似遗忘两类，分析各自优劣并提出未来方向，为可信机器学习中的选择性数据删除提供路线图。
2024-03-15 cs.AI cs.LG
Improved Localized Machine Unlearning Through the Lens of Memorization
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Google DeepMind（谷歌DeepMind）；Imperial College London（伦敦帝国学院）
本文针对局部机器遗忘问题，借鉴记忆化研究提出改进的参数局部化策略，并设计 DEL 算法重置并微调关键参数，在多项数据集和指标上取得最优结果。
2024-12-03 cs.LG
Fairness and Robustness in Machine Unlearning
Sungkyunkwan University（成均馆大学）
针对机器学习遗忘无法实现精确遗忘的问题，首次聚焦其公平性与鲁棒性，提出基于方差-偏差权衡的公平性猜想，通过ResNet和ViT验证公平性与鲁棒性的关联，并提出评估指标，证明中间层和最后层遗忘的有效性。
2025-04-18 cs.LG
How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?
Faculty of Computer and Information Science（计算机与信息科学学院）
本文研究了深度神经网络去学习任务中模型参数化水平（即网络宽度）对性能的影响，探讨了不同去学习方法在不同参数化水平、去学习目标（隐私保护或偏见消除）以及是否显式使用被删除示例时的表现差异，发现过度参数化模型在隐私和偏见消除方面表现更优，但会带来一定的泛化能力下降。
2026-05-19 cs.LG
Machine unlearning through fine-grained model parameters perturbation
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与电子工程学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；Faculty of Computing, Engineering & Media, De Montfort University（德蒙福特大学计算、工程与媒体学院）
本研究提出细粒度Top-K和Random-k参数扰动的非精确机器遗忘策略，同时设计SPD-GAN及遗忘率、记忆保留率等新指标，在控制成本的同时实现高效隐私保护，且不明显降低模型性能。
2025-01-15 cs.AI cs.LG
Similarity-Aware Machine Unlearning
University of Manchester（曼彻斯特大学）；University of Sheffield（谢菲尔德大学）；Paris Dauphine - PSL University（巴黎多芬大学 - 巴黎文理研究大学）
针对现有机器遗忘方法易对相似保留样本造成附带损害的问题，提出感知保留集的定位方法，结合余弦相似度构建评估集，在CIFAR-10与ResNet18的11组实验中验证了方法的有效性。
2026-08-04 cs.LG
Model Sparsity Can Simplify Machine Unlearning
Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）；Cisco Research（思科研发）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；ByteDance Research（字节跳动研究）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出基于模型稀疏化的机器遗忘新范式，通过权重剪枝与稀疏正则化缩小近似遗忘与精确遗忘的差距，显著提升遗忘效能，并可用于防御后门攻击、增强迁移学习。
2024-01-27 cs.LG
Signal-Guided Optimization for Machine Unlearning
针对当前模型遗忘方法缺乏精确引导信号的问题，提出GSUO框架，设计特定任务细粒度引导信号指导遗忘过程，适用于多种遗忘任务。实验表明，该框架在遗忘有效性、泛化、效率等方面表现出色，优于14个基线。
2026-07-15 cs.AI cs.LG
Privacy Preservation through Practical Machine Unlearning
Department of Computer Science and Engineering（计算机科学与工程系）；Mississippi State University（密苏里州立大学）
本文提出通过实用机器无学习方法，在保持模型性能的同时实现隐私保护，探讨了无学习框架在处理部分标记数据集中的应用及计算权衡。
2025-12-09 cs.CR cs.LG
Unlearning Information Bottleneck: Machine Unlearning of Systematic Patterns and Biases
Yale University（耶鲁大学）；Wuhan University（武汉大学）；EPFL（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
提出去学习信息瓶颈（UIB）框架，利用变分上界和动态先验调整参数，以高效移除系统模式与偏见，同时保持模型性能。
2024-05-22 cs.AI cs.LG
Siamese Machine Unlearning with Knowledge Vaporization and Concentration
The Hong Kong University of Science and Technology（香港科技大学）
针对机器遗忘成本高、依赖剩余数据等问题，提出知识汽化与浓缩概念，并基于孪生网络实现无需额外内存和完整剩余数据集的高效选择性遗忘。
2024-12-02 cs.LG
On the Plasticity Collapse in Continual Machine Unlearning
Illinois Institute of Technology（伊利诺伊理工学院）；Amazon（亚马逊公司）；Northwestern University（西北大学）；University of Michigan（密歇根大学）
本研究发现持续机器遗忘场景存在可塑性崩溃的固有问题，通过理论分析和多组实验证实其普遍性，为开发保可塑性遗忘算法提供了依据。
2026-09-01 cs.AI cs.LG
Machine Unlearning for Traditional Models and Large Language Models: A Short Survey
Renmin University of China（中国人民大学）
本文综述了传统模型与大语言模型的机器遗忘技术，涵盖定义、分类、评估标准及挑战，并提出有效性与效率评估方法，指出当前局限与未来研究方向。
2024-04-01 cs.CR cs.LG
Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning
Carnegie Mellon University Software Engineering Institute（卡内基梅隆大学软件工程研究所）
本文指出现有机器遗忘算法评估仅依赖基础成员推理攻击的缺陷，提出三种替代评估方法，并通过在多个计算机视觉数据集上的实验验证其有效性，呈现了该领域更详细的现状。
2024-05-29 cs.LG
Towards Reliable Forgetting: A Survey on Machine Unlearning Verification
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Griffith University（格里菲斯大学）
本文综述了机器遗忘验证方法，提出行为验证与参数验证两类分类，分析现有方法的假设、优缺点及实际部署中的漏洞，指出当前验证研究的开放问题。
2026-04-07 cs.LG
Efficient Verified Machine Unlearning For Distillation
University of Warwick（沃里克大学）
针对师生知识蒸馏场景下教师端遗忘需完整重训练学生的高成本问题，提出PURGE框架，通过成分映射和增量多教师策略分区蒸馏、维持数据隔离，实现高效可验证的机器遗忘，同时保持学生准确率与基线相当。
2025-10-21 cs.LG
Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions
本文提出了一种针对非凸损失函数的认证机器去学习算法，通过回退到学习过程早期步骤实现数据删除，证明了隐私和效用的权衡，并展示了优于现有方法的性能。
2025-12-15 cs.LG
WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework
Department of Computer Science（计算机科学系）；Rensselaer Polytechnic Institute（拉特克利夫理工学院）
WIN-U提出了一种无需保留数据的机器反向学习框架，通过单次牛顿步骤和Woodbury矩阵恒等式实现高效反向学习，提升去噪效果和鲁棒性。
2026-04-15 cs.LG
Revisiting Machine Unlearning with Dimensional Alignment
Seoul National University（首尔大学）；IPAI, Seoul National University（首尔大学IPAI）
本文提出一种基于维度对齐指标的机器遗忘框架，通过正则化损失、自蒸馏和交替训练有效消除遗忘集信息并保留保留集知识，同时引入了更准确的新评估工具。
2024-12-21 cs.LG
Survey of Security and Data Attacks on Machine Unlearning In Financial and E-Commerce
本文综述了金融与电商场景下针对机器遗忘的隐私与安全攻击，并系统梳理了差分隐私、密码学保证和零知识证明等防御策略，以保障数据完整性与模型安全。
2024-09-29 cs.CR cs.LG
Efficient Knowledge Deletion from Trained Models through Layer-wise Partial Machine Unlearning
Applied AI and Data Science（应用人工智能与数据科学）；The Mærsk Mc-Kinney Møller Institute（马士基·麦克-金ney·穆勒研究所）；University of Southern Denmark（南丹麦大学）
针对现有机器遗忘技术易致性能下降、需微调且存储需求大的问题，提出两种结合逐层部分操作的新型遗忘算法，经实验验证其能更好保留模型效能，部分失忆遗忘还无需事后微调。
2024-03-12 cs.AI cs.LG
Position: Bridge the Gaps between Machine Unlearning and AI Regulation
University of Cambridge（剑桥大学）
本立场论文指出机器遗忘在辅助AI监管（如欧盟AIA）合规方面存在技术现状与实际应用间的差距，系统梳理了潜在应用场景并标明了技术缺口，呼吁研究人员解决这些开放问题以释放其潜力。
2025-11-04 cs.AI cs.LG
MUBox: A Critical Evaluation Framework of Deep Machine Unlearning
Fordham University（福特汉姆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出 MUBox 综合评估框架，集成23种深度机器遗忘方法、6类场景与11项指标，系统比较后发现现有方法效果不稳、指标需多维互补，且去投毒表现取决于攻击类型。
2025-05-13 cs.CR cs.LG
Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios
School of Information, Renmin University of China（中国人民大学信息学院）；School of Computer Science and Big Data, Minjiang University（闽江学院计算机与大数据学院）；RMIT University（皇家墨尔本理工大学）
针对高遗忘率下传统梯度遗忘方法依赖大量历史梯度的问题，提出Mini-Unlearning方法，利用收缩映射和最小历史梯度子集实现高效可扩展遗忘，在准确性和安全性上超越现有技术。
2024-06-24 cs.AI cs.CR cs.LG
Machine Unlearning for Streaming Forgetting
The University of Queensland（昆士兰大学）；University of Adelaide（阿德莱德大学）
本文针对流式数据删除请求场景，提出一种将遗忘建模为分布偏移的流式遗忘范式及无需访问原始训练数据的高效算法，并给出非凸条件下的遗憾界理论保证。
2025-07-21 cs.LG
Machine Unlearning via Algorithmic Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
我们研究了机器遗忘的问题，并确定了算法稳定性的概念，总变差（TV）的稳定性，我们认为，是适合的目标，准确的遗忘。对于凸风险最小化问题，我们设计了基于噪声随机梯度下降（SGD）的TV稳定算法。我们的主要贡献是设计相应的有效的unlearning算法，这是基于构建一个（最大）耦合的马尔可夫链的噪声SGD过程。为了理解准确性和学习效率之间的权衡，我们给出了凸风险最小化的TV稳定算法的过度经验和种群风险的上界和下界。我们的技术推广到任意的非凸函数，我们的算法是差分私有的。
2021-02-25 cs.LG stat.ML
Adversarial Machine Unlearning
UC Santa Cruz（加州大学圣克鲁兹分校）；Stellar Cyber, Inc.（斯特拉尔网络公司）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出一种基于 Stackelberg 博弈的对抗性机器遗忘框架，将 MIA 纳入算法设计，并通过隐式微分优化梯度以限制攻击成功。
2024-06-11 cs.CR cs.LG
Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation
School of Information Engineering, Zhongnan University of Economics and Law（信息工程学院，中南财经政法大学）；China University of Geosciences, Wuhan（中国地质大学（武汉））；City University of Macau（澳门城市大学）
本文提出基于层级相关性分析与神经元路径扰动的零样本类别遗忘方法，通过识别并扰动高相关神经元，在保护隐私的同时保持模型效用。
2025-06-20 cs.CR cs.LG
Lifting Data-Tracing Machine Unlearning to Knowledge-Tracing for Foundation Models
Boston University（波士顿大学）
本文提出将数据追踪的机器遗忘提升为基础模型的知识追踪，以应对多样化遗忘请求，并更接近人类遗忘机制，通过视觉语言模型案例展示实现范式。
2026-05-25 cs.CV cs.LG
Towards Aligned Data Removal via Twin Machine Unlearning
Xi'an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）
针对机器遗忘中模型与黄金模型对齐的目标，提出孪生机器遗忘（TMU）方法，通过定义孪生问题并迁移泛化标签预测器，实现数据对齐移除且不损害模型准确率。
2025-05-02 cs.AI cs.LG
Sharpness-Aware Parameter Selection for Machine Unlearning
David R. Cheriton School of Computer Science University of Waterloo（多伦多大学戴维·R·切里顿计算机科学学院）；Department of Computer Science Emory University（埃默里大学计算机科学系）
本文提出一种锐度感知的参数选择方法，通过选取Hessian矩阵对角值最大的参数子集进行更新，实现高效、低成本的机器遗忘，并提供了理论依据和实验验证。
2025-04-24 cs.LG
Ready2Unlearn: A Learning-Time Approach for Preparing Models with Future Unlearning Readiness
Hong Kong University of Science and Technology（香港科技大学）；University of Notre Dame（圣母大学）
Ready2Unlearn在训练阶段主动准备模型以具备未来可删除能力，提升效率和系统性。
2026-03-08 cs.AI cs.LG
Sharpness-Aware Machine Unlearning
Purdue University（普渡大学）
本文提出Sharp MinMax方法，通过分离模型学习保留信号和无学习遗忘信号，提升无学习性能，同时发现SAM在特定条件下会牺牲去噪能力。
2026-03-07 cs.LG
Protecting the Neural Networks against FGSM Attack Using Machine Unlearning
Department of Computer Engineering, Faculty of Engineering, Saveh Branch, Islamic Azad University（伊斯兰阿扎德大学萨韦分校工程学院计算机工程系）；Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文针对FGSM对抗攻击，将机器遗忘技术应用于LeNet神经网络，通过在原始数据上重训练使模型“忘记”特定数据点，显著提升了模型的对抗鲁棒性。
2025-11-03 cs.LG
Towards Adversarial Evaluations for Inexact Machine Unlearning
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Oxford（牛津大学）；ETH Zurich（苏黎世联邦理工学院）；MPI-IS（马克斯·普朗克智能系统研究所）；Meta AI
机器学习模型面临着越来越多的关于个人用户数据存储以及后门或系统偏差等损坏数据的不利影响的担忧。机器遗忘可以通过允许从学习模型中事后删除受影响的训练数据来解决这些问题。准确地实现这一任务是计算昂贵的，因此，最近的作品提出了不精确的非学习算法来解决这个近似以及评估方法来测试这些算法的有效性。在这项工作中，我们首先概述了一些必要的标准，评估方法，并显示没有现有的评估满足他们。然后，我们设计了一种更强大的黑盒评估方法，称为类间混淆（IC）测试，它在训练过程中反向操作数据，以检测非学习过程的不足。我们还提出了两种分析动机的基线方法~（EU-k和CF-k），它们优于几种流行的不精确非学习方法。总的来说，我们展示了对抗性评估策略如何有助于分析各种遗忘现象，从而指导更强大的遗忘算法的开发。
2023-02-22 cs.CV cs.LG
Tight Bounds for Machine Unlearning via Differential Privacy
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
本文针对 Sekhari 等人提出的机器遗忘问题，通过差分隐私算法，完全弥合了删除容量的上下界差距，获得了紧界。
2023-09-02 cs.LG
On the Limitations and Prospects of Machine Unlearning for Generative AI
Tsinghua University（清华大学）；Imperial College London（伦敦帝国学院）；Southeast University（东南大学）
本文系统探讨了机器遗忘在生成式AI中的问题定义、在LLMs和扩散模型上的局限性，并从基准、评估指标和效用-遗忘权衡三方面提出未来发展方向。
2024-08-01 cs.AI cs.LG
Unlearning during Learning: An Efficient Federated Machine Unlearning Method
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Nanyang Technological University（南洋理工大学）
本文提出FedAU，一种在联邦学习过程中集成轻量级遗忘模块的高效机器遗忘框架，支持多客户端并发及多粒度遗忘，实验证明其能在保持模型精度的同时实现有效遗忘。
2025-03-27 cs.DC cs.LG
SIMU: Selective Influence Machine Unlearning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出SIMU框架，通过选择性更新编码遗忘集的临界神经元，在保持模型原有知识的同时实现高效机器遗忘。
2025-10-09 cs.AI cs.LG
Soft Weighted Machine Unlearning
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对机器遗忘中过度遗忘导致信息损失的问题，本文提出基于加权影响函数的软加权框架，通过解析凸二次规划分配样本权重，实现细粒度调整，在公平性和鲁棒性任务上优于硬加权方案。
2025-05-24 cs.AI cs.LG
DFMU: Data-Frugal Machine Unlearning
提出一种数据节俭的机器遗忘方法DFMU，通过单次前向和后向传播计算模型计算块的重要性分数，基于知识保留剪枝实现快速收敛，仅需13%数据样本即可达到比现有方法高40%的保留准确率，平均处理时间快88%。
2026-06-25 cs.LG
Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
提出博弈论机器遗忘算法，通过遗忘与隐私模块的竞争关系，在保持模型性能的同时降低额外隐私泄露风险。
2024-11-06 cs.CY cs.LG
