MUBox: A Critical Evaluation Framework of Deep Machine Unlearning
Fordham University(福特汉姆大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出 MUBox 综合评估框架,集成23种深度机器遗忘方法、6类场景与11项指标,系统比较后发现现有方法效果不稳、指标需多维互补,且去投毒表现取决于攻击类型。
2025-05-13 cs.CR cs.LG
Adversarial Machine Unlearning
UC Santa Cruz(加州大学圣克鲁兹分校);Stellar Cyber, Inc.(斯特拉尔网络公司);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出一种基于 Stackelberg 博弈的对抗性机器遗忘框架,将 MIA 纳入算法设计,并通过隐式微分优化梯度以限制攻击成功。
2024-06-11 cs.CR cs.LG
Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation
School of Information Engineering, Zhongnan University of Economics and Law(信息工程学院,中南财经政法大学);China University of Geosciences, Wuhan(中国地质大学(武汉));City University of Macau(澳门城市大学)
本文提出基于层级相关性分析与神经元路径扰动的零样本类别遗忘方法,通过识别并扰动高相关神经元,在保护隐私的同时保持模型效用。
2025-06-20 cs.CR cs.LG
Near-Optimal Machine Unlearning Utility for Smooth Strongly Convex Losses
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心)
针对平滑强凸随机优化中的近似ε-遗忘问题,本文通过证明超额总体风险的上界和下界(紧至条件数因子),几乎解决了遗忘的基本统计代价,并提出了在ε≫d时相比从头再训练和差分隐私基线具有指数级精度提升的遗忘算法。
2026-09-18 cs.CR cs.LG
Random Relabeling for Efficient Machine Unlearning
Pennsylvania State University(宾夕法尼亚州立大学)
针对数据隐私法规下高效数据删除的挑战,提出适用于通用监督学习的随机重标记遗忘方案,以在线处理连续删除请求,并为基于logit的分类器开发了基于概率分布相似性的删除认证方法。
2023-05-21 cs.CR cs.LG
TruVRF: Towards Triple-Granularity Verification on Machine Unlearning
School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对机器遗忘缺乏可靠验证方法的问题,提出非侵入式三重粒度验证框架TruVRF,通过三项指标检测不同类型不诚信服务器,在多数据集上表现稳健且具备通用性。
2024-08-12 cs.CR cs.LG
TAPE: Tailored Posterior Difference for Auditing of Machine Unlearning
University of Technology Sydney(悉尼科技大学);Soochow University(苏州大学)
针对机器遗忘审计依赖后门、效率低的问题,本文提出独立于原始训练的 TAPE,利用一阶梯影响估计、影子模型与隐私重构审计多样本遗忘,效率提升至少4.5倍。
2025-03-17 cs.CR cs.LG
A Robust Certified Machine Unlearning Method Under Distribution Shift
本文提出了一种基于分布感知的认证无学习方法,通过迭代牛顿更新和信任区域约束,以应对非i.i.d.删除情况下的分布偏移问题,提高认证无学习的效率和有效性。
2026-01-11 cs.CR cs.LG
BadFU: Backdoor Federated Learning through Adversarial Machine Unlearning
University of Newcastle(新castle大学);Shanghai Jiao Tong University(上海交通大学)
BadFU首次揭示联邦遗忘中的后门攻击:恶意客户端利用后门与伪装样本正常训练,待请求遗忘伪装样本后使全局模型进入后门状态,暴露现有联邦遗忘机制的关键安全漏洞。
2025-08-21 cs.CR cs.LG
Instance-Level Difficulty: A Missing Perspective in Machine Unlearning
Dalhousie University(达尔豪斯大学)
该研究针对当前机器遗忘研究忽视样本个体遗忘难度差异的问题,通过多算法多数据集的实例级分析,总结出四个影响遗忘难度的因素,证明其与算法无关、仅和目标模型及训练数据相关,呼吁学界关注实例级遗忘难度。
2026-10-12 cs.LG
Unrolling SGD: Understanding Factors Influencing Machine Unlearning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器遗忘是使部署的机器学习模型忘记其某些训练数据点的过程。虽然从零开始对模型进行简单的重新训练是一种选择,但对于深度学习模型来说,它几乎总是与巨大的计算开销相关联。因此,已经提出了几种近似遗忘的方法,以及相应的度量标准,这些度量标准形式化了模型忘记数据点意味着什么。在这项工作中,我们首先对近似非学习的方法和度量进行分类。因此,我们识别验证错误,即,近似未学习模型和单纯再训练模型的权重之间的L2差,作为近似未学习度量,因为它包含了一大类其他度量,所以应该对其进行优化。我们从理论上分析了经典的训练算法,随机梯度下降(SGD),表面的变量,这是有关减少近似unlearning SGD的验证误差。从这个分析中,我们首先得到一个易于计算的代理验证错误(称为unlearning错误)。该分析还为新的训练目标惩罚的设计提供了信息,该惩罚限制了SGD期间权重的总体变化,从而有助于以较低的验证误差近似遗忘。我们通过CIFAR-10、CIFAR-100和IMDB情感分析对学习的实证评估来验证我们的理论工作。
2022-03-02 cs.CR cs.LG
SecureCut: Federated Gradient Boosting Decision Trees with Efficient Machine Unlearning
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
提出SecureCut框架,无需从头重训即可在垂直联邦学习场景下实现实例与特征级机器遗忘,兼顾隐私保证与模型性能。
2023-11-22 cs.CR cs.LG
Machine Unlearning of Features and Labels
Technische Universität Braunschweig(布伦瑞克工业大学);KASTEL Security Research Labs, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT)KASTEL安全研究实验室)
本文提出首个基于影响函数和闭式参数更新的特征与标签机器遗忘方法,可追溯纠正数据泄露,在强凸损失下具有理论保证,在非凸损失下实验证明有效且显著更快。
2023-08-07 cs.CR cs.LG
AMUN: Adversarial Machine UNlearning
UIUC(伊利诺伊大学香槟分校)
针对机器遗忘中精确方法计算开销大、近似方法效果不足的问题,提出对抗性机器遗忘(AMUN)方法,通过在遗忘样本对应对抗样本上微调模型,在图像分类任务上优于现有SOTA方法,且能抵御成员推理攻击。
2025-11-14 cs.CR cs.LG
Towards Efficient Target-Level Machine Unlearning Based on Essential Graph
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);Shenzhen Institute of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术研究院)
针对实例内部分目标难以高效、彻底遗忘的问题,本文提出目标遗忘方法,利用本质图刻画重要参数关系并保护剩余目标参数,结合基于剪枝的遗忘实现有效擦除。
2024-06-16 cs.CR cs.LG
Rectifying Privacy and Efficacy Measurements in Machine Unlearning: A New Inference Attack Perspective
University of Connecticut(康涅狄格大学);Illinois Institute of Technology(伊利诺伊理工学院);Stevens Institute of Technology(史蒂文斯理工学院);Alibaba Group(阿里巴巴集团)
本研究指出现有机器遗忘评估框架的关键缺陷,提出基于似然推理的RULI评估框架,通过双目标攻击以单样本粒度衡量遗忘效能与隐私风险,发现现有先进遗忘方法存在被低估的隐私漏洞,提供了严谨可扩展的细粒度评估方法。
2025-06-16 cs.CR cs.LG
Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios
School of Information, Renmin University of China(中国人民大学信息学院);School of Computer Science and Big Data, Minjiang University(闽江学院计算机与大数据学院);RMIT University(皇家墨尔本理工大学)
针对高遗忘率下传统梯度遗忘方法依赖大量历史梯度的问题,提出Mini-Unlearning方法,利用收缩映射和最小历史梯度子集实现高效可扩展遗忘,在准确性和安全性上超越现有技术。
2024-06-24 cs.AI cs.CR cs.LG
Hard to Forget: Poisoning Attacks on Certified Machine Unlearning
School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);Department of Computer Science(计算机科学系);Amherst College(阿默斯特学院)
删除权要求从组织持有的数据中删除用户信息,并对下游产品(如学习模型)进行严格解释。从头开始重新训练,忽略特定用户的数据,完全消除了它对结果模型的影响,但计算成本很高。机器“不学习”减轻了完全重新训练的成本:相反,模型是增量更新的,可能只需要在近似误差累积时进行重新训练。在未学习和再训练模型的不可重复性上,隐私保证已经取得了快速进展,但目前的形式主义并没有对计算进行实际限制。在本文中,我们演示了攻击者如何利用这种疏忽,突出了一个新的攻击面引入了机器遗忘。我们认为攻击者的目的是增加数据删除的计算成本。我们得出并实证调查中毒攻击认证的机器遗忘,战略设计的训练数据触发完全再训练时删除。
2022-02-10 cs.CR cs.LG
Towards Unveiling Vulnerabilities of Large Reasoning Models in Machine Unlearning
Iowa State University(爱荷华州立大学)
本文研究大规模推理模型在机器反向学习中的安全漏洞,提出一种能生成误导性推理轨迹的攻击方法,并通过白盒和黑盒实验验证其有效性。
2026-04-05 cs.CR cs.LG
Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning
Department of Electrical and Computer Engineering(电气与计算机工程系);Georgia Institute of Technology(佐治亚理工学院);Department of Mathematics(数学系);Massachusetts Institute of Technology(麻省理工学院)
针对机器遗忘,提出基于噪声梯度下降的 Langevin 遗忘框架,统一 DP 学习与隐私认证遗忘,支持非凸问题、节省复杂度并实现顺序和批量遗忘。
2025-09-24 cs.LG
Attack and Reset for Unlearning: Exploiting Adversarial Noise toward Machine Unlearning through Parameter Re-initialization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 ARU 方法,利用对抗噪声生成参数掩码并重置偏向遗忘集的网络参数,在 MUFAC 和 MUCAC 面部遗忘基准上取得最优效果,实现更彻底的机器遗忘。
2024-01-17 cs.CR cs.CV cs.LG
Mirror Mirror on the Wall, Have I Forgotten it All? A New Framework for Evaluating Machine Unlearning
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出计算性遗忘形式化定义,并利用成员推理与 KL 散度攻击揭示现有遗忘方法可与重训练镜像模型区分,证明确定性方法及 DP 方法存在根本局限。
2025-05-13 cs.AI cs.CR cs.LG
Multi-Objective Reference-Aligned Machine Unlearning
提出多目标框架RAUL,通过将遗忘样本的预测对齐到参考分布(均匀分布或保留集经验分布)来约束遗忘目标,并利用雅可比下降解决多目标优化,实现接近完整重训练的遗忘效果。
2026-05-29 cs.LG
Machine Unlearning: Taxonomy, Metrics, Applications, Challenges, and Prospects
Nanjing University of Science and Technology(南京理工大学);Xidian University(西安电子科技大学);CSIRO(联邦科学与工业研究组织);University of Western Australia(西澳大学);University of Technology Sydney(悉尼科技大学)
本文系统综述机器遗忘领域,涵盖算法分类、评估度量、应用挑战与攻击,并展望未来研究方向。
2024-03-13 cs.CR cs.CY cs.LG
Towards Independence Criterion in Machine Unlearning of Features and Labels
Yale University(耶鲁大学);Penn State University(宾夕法尼亚州立大学);Wuhan University(武汉大学);EPFL(洛桑联邦理工学院)
本研究提出基于影响函数和分布独立性原理的机器遗忘框架,以应对分布偏移下非均匀特征与标签移除的挑战,在保护隐私的同时维持模型性能与泛化能力。
2024-03-12 cs.AI cs.CR cs.LG
Dataset Condensation Driven Machine Unlearning
本文面向图像分类提出数据集浓缩驱动的机器遗忘方法,通过新浓缩技术与遗忘方案平衡隐私、效用和效率,并用于防御成员推理、模型反演及从浓缩模型中移除数据。
2024-05-12 cs.LG
Benchmarking Federated Machine Unlearning methods for Tabular Data
University of Birmingham(伯明翰大学);University of Southampton(南安普顿大学);AdviceRobo(阿德维克罗博公司)
本文针对表格数据在联邦学习环境下的机器遗忘方法进行基准测试,评估了微调和基于梯度等算法在保真度、可认证性和计算效率上的表现,发现树模型可认证性强而梯度方法计算效率高。
2025-04-01 cs.LG
Learn to Forget: Machine Unlearning via Neuron Masking
如今,机器学习模型,特别是神经网络,在许多现实世界的应用中变得流行起来。这些模型是基于用户数据的单向旅行进行训练的:只要用户贡献他们的数据,就没有办法撤回;众所周知,神经网络会记住它的训练数据。这与GDPR的“被遗忘权”条款相矛盾,可能导致违法行为。为此,机器遗忘成为一个热门的研究课题,它允许用户消除记忆他们的私人数据从一个训练有素的机器学习model.In本文中,我们提出了第一个统一的度量称为遗忘率来衡量一个机器遗忘方法的有效性。该方法基于隶属度推理的概念,描述了在进行去学习后,被剔除的数据从“记忆”到“未知”的转化率。我们还提出了一种新的unlearning方法calledForsaken。它优于以前的工作,无论是效用或效率(当达到相同的遗忘率)。我们用八个标准数据集对Forsaken进行基准测试,以评估其性能。实验结果表明,该算法的平均遗忘率可达90%以上,而准确率损失仅为5%。
2021-08-02 cs.CR cs.LG stat.ML
Machine Unlearning for Causal Inference
本文首次将机器遗忘技术引入因果推断领域,提出基于神经网络倾向得分模型的遗忘方法,在Lalonde数据集上验证了有效性,为因果分析场景下的用户隐私保护提供了新方案。
2023-08-24 cs.LG
Efficient Machine Unlearning by Model Splitting and Core Sample Selection
Technical University of Munich(慕尼黑技术大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文针对机器遗忘的效率与验证难题,提出广义遗忘指标及感知遗忘的训练方法 MaxRR,可在多数情形下实现精确遗忘,否则也能获得接近完全重训练的高效遗忘效果。
2025-05-11 cs.LG stat.ML
An Introduction to Machine Unlearning
NatWest Group(国民西敏寺银行集团);UCL(伦敦大学学院)
可能需要从机器学习模型中去除训练数据的指定子集的影响,以解决隐私、公平性和数据质量等问题。在删除子集后,在剩余的数据上从头开始重新训练模型是一种有效但通常不可行的选择,因为它的计算开销很大。因此,在过去的几年里,已经看到了一些新的方法来有效地去除,形成了“机器遗忘“领域,然而,迄今为止发表的文献的许多方面是不同的,缺乏共识。在本文中,我们总结和比较七个国家的最先进的机器遗忘算法,巩固在该领域使用的核心概念的定义,调和不同的方法来评估算法,并讨论相关的问题,在实践中应用机器遗忘。
2022-09-02 cs.LG
FUNU: Boosting Machine Unlearning Efficiency by Filtering Unnecessary Unlearning
Hong Kong Polytechnic University(香港理工大学)
为提升机器遗忘效率,本文提出FUNU方法,通过利用参考模型识别移除请求中在剩余数据集中有相似邻居的数据点来过滤不必要的遗忘,从而缩减请求规模并减少执行时间,同时提供了隐私保证的理论分析与实验验证。
2025-01-28 cs.LG
On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
机器遗忘,即让模型忘记它的一些训练数据,随着隐私立法促进被遗忘权的变体,变得越来越重要。在深度学习的背景下,机器遗忘的方法大致分为两类:精确遗忘方法,其中实体通过从头开始重新训练模型来正式消除数据点对模型的影响,以及近似遗忘,其中实体近似通过精确遗忘获得的模型参数以节省计算成本。在本文中,我们首先证明了近似非学习的定义,即试图证明近似非学习模型接近于精确再训练模型,是不正确的,因为人们可以使用不同的数据集获得相同的模型。因此,人们可以在根本不修改模型的情况下忘却。然后,我们转向精确的遗忘方法,并询问如何验证他们的遗忘主张。我们的研究结果表明,即使对于给定的训练轨迹,也无法正式证明训练过程中使用的某些数据点的缺失。因此,我们的结论是,unlearning仅在算法层面上定义良好,其中实体对unlearning的唯一可能的可审计声明是,他们使用了一种特定的算法,该算法旨在允许在审计期间进行外部审查。
2022-02-19 cs.AI cs.CR cs.LG
Evaluating Machine Unlearning via Epistemic Uncertainty
TU Dortmund University(多特蒙德工业大学)
最近,人们对机器遗忘的兴趣越来越大,这主要是由于《通用数据保护条例》(GDPR)和《加州消费者隐私法》等法律要求。因此,提出了多种方法来从训练模型中去除特定目标数据点的影响。然而,在评估遗忘的成功时,当前的方法要么使用对抗攻击,要么将其结果与最优解进行比较,后者通常包含从头开始的再训练。我们认为,这两种方法在实践中都是不够的。在这项工作中,我们提出了一个评价指标的机器遗忘算法的基础上认识的不确定性。据我们所知,这是机器遗忘的一般评估指标的第一个定义。
2022-09-19 cs.LG
The Utility and Complexity of in- and out-of-Distribution Machine Unlearning
EPFL(瑞士联邦理工学院);Stanford University(斯坦福大学)
本文分析近似机器遗忘的效用、时间和空间复杂度权衡,提出输出扰动的经验风险最小化实现分布内遗忘的紧致权衡,并针对分布外遗忘提出鲁棒噪声梯度下降变体以摊销时间复杂性。
2026-10-08 cs.CR cs.LG math.OC
SALAD: Systematic Assessment of Machine Unlearning on LLM-Aided Hardware Design
NYU Tandon School of Engineering(纽约大学Tandon工程学院);NYU Abu Dhabi(纽约大学阿布扎克分校)
针对大语言模型辅助硬件设计中的数据安全问题,提出SALAD评估方案,利用无需全量重训的机器遗忘技术选择性移除敏感或有害内容,有效降低相关安全风险。
2025-10-06 cs.AI cs.CR cs.LG
When Machine Unlearning Jeopardizes Privacy
University of Virginia(弗吉尼亚大学);University of Lausanne(洛桑大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
被遗忘权是指数据所有者有权从存储数据的实体中删除数据。在机器学习(ML)的上下文中,被遗忘权要求ML模型所有者从用于构建ML模型的训练集中删除数据所有者的数据,这一过程称为机器遗忘。虽然最初的设计是为了保护数据所有者的隐私,但我们认为机器遗忘可能会在ML模型中留下一些数据的印记,从而产生意想不到的隐私风险。在本文中,我们进行了第一次研究调查无意的信息泄漏所造成的机器遗忘。我们提出了一种新的成员推断攻击,它利用ML模型的两个版本的不同输出来推断目标样本是否是原始模型的训练集的一部分,但不在相应的未学习模型的训练集。我们的实验表明,提出的成员推断攻击取得了很好的性能。更重要的是,我们证明了我们的攻击在多个情况下优于对原始ML模型的经典成员推断攻击,这表明机器遗忘可能会对隐私产生反作用。我们注意到,隐私退化对于广义ML模型尤其重要,其中经典的成员推理表现不佳。我们进一步研究了四种机制来减轻新发现的隐私风险,并表明仅发布预测标签、温度缩放和差分隐私是有效的。我们相信,我们的研究结果可以帮助改善隐私保护的实际实现的机器遗忘。我们的代码可在https://github.com/MinChen00/UnlearningLeaks上获得。
2021-09-14 cs.CR cs.LG stat.ML
Towards Natural Machine Unlearning
本文提出一种自然机器遗忘方法,通过向遗忘样本注入正确信息并配对标签,显著减少过度遗忘并增强超参数鲁棒性,优于现有最先进方法。
2025-10-10 cs.LG
A More Practical Approach to Machine Unlearning
本文提出面向实用机器遗忘的首 epoch 梯度上升方法,发现 GPT-2 嵌入层是关键且可减半空间复杂度,并通过实证验证其优于全模型梯度上升。
2024-06-13 cs.AI cs.LG
Towards Aligned Data Forgetting via Twin Machine Unlearning
针对机器遗忘中数据遗忘与黄金模型对齐的目标,提出双机机器学习方法,通过孪生问题训练预测器迁移,显著提升遗忘模型与黄金模型的对齐程度。
2025-01-23 cs.LG
Machine Unlearning via Null Space Calibration
University of Technology Sydney(悉尼科技大学);University of Queensland(昆士兰大学);City University of Macau(澳门城市大学)
本文提出基于零空间校准的机器遗忘方法UNSC,通过将遗忘过程限制在剩余样本的零空间并利用伪标记增强,有效解决过度遗忘问题并提升模型在剩余数据上的性能。
2024-04-21 cs.AI cs.LG
Models Designed to Forget: Machine Unlearning via Key Deletion
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
本文提出了一种新的机器遗忘方法,通过设计使模型具备遗忘能力。MUNKEY模型通过删除实例标识符实现直接零样本遗忘,无需权重更新或原始数据访问,在多个数据集上优于现有方法。
2026-10-27 cs.LG
Beyond Uniform Deletion: A Data Value-Weighted Framework for Certified Machine Unlearning
Department of Information Systems(信息系统系);Xi'an Jiaotong University(西安交通大学);Arizona State University(亚利桑那州立大学)
针对现有机器遗忘算法忽视数据流值异构性导致模型性能下降的问题,提出数据流值加权遗忘(DVWU)框架,通过基于数据流值的加权策略实现差异化遗忘,适配多种方法并经实验验证性能更优、鲁棒性更强且具可扩展性。
2025-11-10 cs.LG stat.ML
Machine Unlearning: Solutions and Challenges
本文综述机器遗忘方法,将其分为精确遗忘与近似遗忘两类,分析各自优劣并提出未来方向,为可信机器学习中的选择性数据删除提供路线图。
2024-03-15 cs.AI cs.LG
Improved Localized Machine Unlearning Through the Lens of Memorization
Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Google DeepMind(谷歌DeepMind);Imperial College London(伦敦帝国学院)
本文针对局部机器遗忘问题,借鉴记忆化研究提出改进的参数局部化策略,并设计 DEL 算法重置并微调关键参数,在多项数据集和指标上取得最优结果。
2024-12-03 cs.LG
Fairness and Robustness in Machine Unlearning
Sungkyunkwan University(成均馆大学)
针对机器学习遗忘无法实现精确遗忘的问题,首次聚焦其公平性与鲁棒性,提出基于方差-偏差权衡的公平性猜想,通过ResNet和ViT验证公平性与鲁棒性的关联,并提出评估指标,证明中间层和最后层遗忘的有效性。
2025-04-18 cs.LG
How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?
Faculty of Computer and Information Science(计算机与信息科学学院)
本文研究了深度神经网络去学习任务中模型参数化水平(即网络宽度)对性能的影响,探讨了不同去学习方法在不同参数化水平、去学习目标(隐私保护或偏见消除)以及是否显式使用被删除示例时的表现差异,发现过度参数化模型在隐私和偏见消除方面表现更优,但会带来一定的泛化能力下降。
2026-05-19 cs.LG
Machine unlearning through fine-grained model parameters perturbation
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与电子工程学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Shenzhen Research Institute, Hunan University(湖南大学深圳研究院);Faculty of Computing, Engineering & Media, De Montfort University(德蒙福特大学计算、工程与媒体学院)
本研究提出细粒度Top-K和Random-k参数扰动的非精确机器遗忘策略,同时设计SPD-GAN及遗忘率、记忆保留率等新指标,在控制成本的同时实现高效隐私保护,且不明显降低模型性能。
2025-01-15 cs.AI cs.LG
Similarity-Aware Machine Unlearning
University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学);Paris Dauphine - PSL University(巴黎多芬大学 - 巴黎文理研究大学)
针对现有机器遗忘方法易对相似保留样本造成附带损害的问题,提出感知保留集的定位方法,结合余弦相似度构建评估集,在CIFAR-10与ResNet18的11组实验中验证了方法的有效性。
2026-08-04 cs.LG
Machine Unlearning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
一旦用户在网上分享了他们的数据,他们通常很难撤销访问权并要求删除数据。机器学习(ML)加剧了这个问题,因为任何用所述数据训练的模型都可能记住它,使用户面临成功的隐私攻击暴露其信息的风险。然而,让模型忘记是出了名的困难。我们引入SISA训练,这是一个框架,通过战略性地限制训练过程中数据点的影响来加快遗忘过程。虽然我们的框架适用于任何学习算法,但它旨在实现深度神经网络的随机梯度下降等有状态算法的最大改进。SISA训练减少了与unlearning相关的计算开销,即使在最坏的情况下,unlearning请求在整个训练集中统一进行。在某些情况下,服务提供商可能对将由用户发出的遗忘请求的分发具有优先权。我们可以将此优先级考虑在内,以相应地对数据进行分区和排序,并进一步减少来自unlearning的开销。我们的评估涵盖了来自不同领域的多个数据集,以及相应的遗忘动机。在没有分布假设的情况下,对于简单的学习任务,我们观察到SISA训练将从购买数据集中取消学习点的时间提高了4.63倍,SVHN数据集提高了2.45倍,而不是从头开始重新训练。SISA训练还为ImageNet分类等复杂学习任务的再训练提供了1.36倍的速度;在迁移学习的帮助下,这导致了准确性的小幅下降。我们的工作有助于机器遗忘中的实际数据治理。
2020-12-15 cs.AI cs.CR cs.LG
Model Sparsity Can Simplify Machine Unlearning
Michigan State University(密歇根州立大学);IBM Research(IBM研究院);Cisco Research(思科研发);University of California, Santa Cruz(加州大学圣克鲁兹分校);ByteDance Research(字节跳动研究);Carnegie Mellon University(卡内基梅隆大学)
该研究提出基于模型稀疏化的机器遗忘新范式,通过权重剪枝与稀疏正则化缩小近似遗忘与精确遗忘的差距,显著提升遗忘效能,并可用于防御后门攻击、增强迁移学习。
2024-01-27 cs.LG
TrustErase: Auditable Instant Machine Unlearning with Passport-Embedded Representations
University of Catania(卡塔尼亚大学)
提出TrustErase框架,利用护照嵌入表示实现无需数据、可验证的即时遗忘,通过参数高效适配层中的护照作为密钥,仅需停用即可移除特定类别或数据集,无需重训练或微调。
2026-06-17 cs.AI cs.CR cs.LG
Machine Unlearning of Pre-trained Large Language Models
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);The Hong Kong Polytechnic University(香港理工大学);University of Melbourne(墨尔本大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对预训练大型语言模型中的“被遗忘权”问题,提出一个包含七种方法的机器遗忘框架,建立遗忘性能基准,证明其计算效率比重新训练高出超过$10^5$倍,并发现梯度上升与梯度下降结合能提升超参数鲁棒性。
2024-05-30 cs.AI cs.CL cs.CR
Signal-Guided Optimization for Machine Unlearning
针对当前模型遗忘方法缺乏精确引导信号的问题,提出GSUO框架,设计特定任务细粒度引导信号指导遗忘过程,适用于多种遗忘任务。实验表明,该框架在遗忘有效性、泛化、效率等方面表现出色,优于14个基线。
2026-07-15 cs.AI cs.LG