Erase at the Core: Representation Unlearning for Machine Unlearning
Korea University(韩国大学)
Erase at the Core通过多层对比性擦除和深度监督学习,有效减少模型表示相似性,提升机器擦除的表示层面遗忘能力。
2026-02-27 cs.CV cs.LG
Targeted Therapy in Data Removal: Object Unlearning Based on Scene Graphs
School of Computing, Macquarie University(麦考瑞大学计算学院)
针对MLaaS中样本内特定对象难以遗忘的问题,提出基于场景图并用影响函数降低开销的对象级遗忘框架,在图像重建与合成中实现更细粒度的隐私保护。
2024-11-25 cs.CV cs.LG
Robust Continual Unlearning against Knowledge Erosion and Forgetting Reversal
Sungkyunkwan University(成均馆大学);The Catholic University of Korea(韩国天主大学);Secure Machines Lab(安全机器实验室)
本文提出SAFER框架,通过保持保留数据的表示稳定性并施加负对数边际,有效缓解持续卸载中的知识侵蚀和遗忘逆转问题,实现多阶段稳定性能。
2026-04-21 cs.CV cs.LG
Prompting Forgetting: Unlearning in GANs via Textual Guidance
The Pennsylvania State University(宾夕法尼亚州立大学);Meta
本文提出 Text-to-Unlearn 框架,仅通过文本提示即可在预训练 GANs 中选择性地遗忘特征、身份及多属性等概念,无需额外数据集或监督微调,为生成模型的内容移除提供了高效灵活的跨模态解决方案。
2025-04-01 cs.CV cs.LG
Machine Unlearning in Forgettability Sequence
本文研究机器学习反学习中不同样本的遗忘难度差异,发现高隐私风险样本更难遗忘,并提出由 Ranking 和 SeqUnlearn 模块组成的通用反学习框架 RSU,以实现更精确的遗忘。
2024-10-21 cs.CV cs.LG
Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning
Department of Electrical and Computer Engineering(电气与计算机工程系);Georgia Institute of Technology(佐治亚理工学院);Department of Mathematics(数学系);Massachusetts Institute of Technology(麻省理工学院)
针对机器遗忘,提出基于噪声梯度下降的 Langevin 遗忘框架,统一 DP 学习与隐私认证遗忘,支持非凸问题、节省复杂度并实现顺序和批量遗忘。
2025-09-24 cs.LG
Instance-Level Difficulty: A Missing Perspective in Machine Unlearning
Dalhousie University(达尔豪斯大学)
该研究针对当前机器遗忘研究忽视样本个体遗忘难度差异的问题,通过多算法多数据集的实例级分析,总结出四个影响遗忘难度的因素,证明其与算法无关、仅和目标模型及训练数据相关,呼吁学界关注实例级遗忘难度。
2026-10-12 cs.LG
Attack and Reset for Unlearning: Exploiting Adversarial Noise toward Machine Unlearning through Parameter Re-initialization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 ARU 方法,利用对抗噪声生成参数掩码并重置偏向遗忘集的网络参数,在 MUFAC 和 MUCAC 面部遗忘基准上取得最优效果,实现更彻底的机器遗忘。
2024-01-17 cs.CR cs.CV cs.LG
SIFU: Sequential Informed Federated Unlearning for Efficient and Provable Client Unlearning in Federated Optimization
Accenture Labs(埃森哲实验室);INRIA Sophia-Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);INRIA Paris(巴黎国立计算机与自动化研究所);DIENS - PSL(巴黎文理研究大学计算机科学系)
针对联邦学习中客户端数据遗忘缺乏通用且可证明方法的问题,提出SIFU方法,适用于凸与非凸优化,无需额外客户端计算成本,提供正式遗忘质量保证,并在实验中优于现有方法。
2024-03-16 cs.LG
Few-Shot Unlearning by Model Inversion
Pohang University of Science and Technology(浦项科技大学)
我们考虑了一个实际的机器遗忘场景来删除目标数据集,这会导致训练模型出现意想不到的行为。在标准的遗忘场景中,目标数据集通常被假设为完全可识别的。然而,如果训练数据集在非学习时不可访问,那么这种完美的识别几乎是不可能的。与以前的方法需要一个完整的目标集,我们认为Few-Shot unlearning场景时,只有几个样本的目标数据。为此,我们制定了指定遗忘请求背后的意图的Few-Shot遗忘问题(例如,纯粹的去学习、错误标记校正、隐私保护),并且我们设计了一个简单的框架,该框架(i)通过模型反演来检索训练数据的代理,该模型反演充分利用了在去学习的上下文中可用的信息;(ii)根据去学习意图来调整代理;以及(iii)用调整后的代理来更新模型。我们证明了我们的方法只使用目标数据的一个子集可以优于最先进的unlearning方法,即使目标数据的完整指示。
2023-03-14 cs.LG
Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出生命周期遗忘承诺管理(LUCM)任务及一种高效样本级遗忘完整性度量指标,用于监测欠遗忘和过遗忘,并揭示现有近似遗忘算法在遗忘效用一致性与公平性方面的不足。
2024-04-30 cs.CR cs.LG
Contrastive Unlearning: A Contrastive Approach to Machine Unlearning
Zhejiang University(浙江大学);Emory University(埃默里大学)
针对机器遗忘中难以兼顾彻底性、效率与模型性能的问题,提出对比式遗忘框架,通过对比优化表征空间移除遗忘样本影响,并在多数据集和模型上取得最优效果。
2024-01-19 cs.CR cs.LG
Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs
Michigan State University(密歇根州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);IBM Research(IBM研究院)
本文发现大型语言模型在经历机器遗忘后会在行为和内部表征中留下可检测的“指纹”,并通过分类器利用预测logits或文本输出以超过90%的准确率识别遗忘模型。
2026-05-30 cs.LG
FedShard: Federated Unlearning with Efficiency Fairness and Performance Fairness
针对联邦遗忘中客户端效率与性能公平性未被充分探索的问题,提出首个兼顾双公平性的FedShard算法,设计公平性评估指标,验证其公平性并缓解不公平风险,遗忘速度为从头重训练的1.3-6.2倍、最先进方法的4.9倍。
2025-11-11 cs.LG
Unlearning in- vs. out-of-distribution data in LLMs under gradient-based method
School of Cybersecurity and Privacy, Georgia Institute of Technology(佐治亚理工学院网络安全与隐私学院);Google Brain(谷歌大脑);National University of Singapore(新加坡国立大学);Google DeepMind(谷歌DeepMind)
本工作提出评估生成模型遗忘质量的指标,研究基于梯度方法下LLM遗忘分布内与分布外数据的效果,发现分布外遗忘需更多步骤但权衡更优,分布内遗忘则性能迅速下降。
2024-11-07 cs.LG
How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?
Faculty of Computer and Information Science(计算机与信息科学学院)
本文研究了深度神经网络去学习任务中模型参数化水平(即网络宽度)对性能的影响,探讨了不同去学习方法在不同参数化水平、去学习目标(隐私保护或偏见消除)以及是否显式使用被删除示例时的表现差异,发现过度参数化模型在隐私和偏见消除方面表现更优,但会带来一定的泛化能力下降。
2026-05-19 cs.LG
Model Sparsity Can Simplify Machine Unlearning
Michigan State University(密歇根州立大学);IBM Research(IBM研究院);Cisco Research(思科研发);University of California, Santa Cruz(加州大学圣克鲁兹分校);ByteDance Research(字节跳动研究);Carnegie Mellon University(卡内基梅隆大学)
该研究提出基于模型稀疏化的机器遗忘新范式,通过权重剪枝与稀疏正则化缩小近似遗忘与精确遗忘的差距,显著提升遗忘效能,并可用于防御后门攻击、增强迁移学习。
2024-01-27 cs.LG
Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning
Seoul National University(首尔国立大学);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出Ssiuu方法,通过属性引导正则化有效抑制虚假反向学习神经元,提升反向学习的鲁棒性和准确性。
2026-03-04 cs.LG
Targeted Unlearning with Single Layer Unlearning Gradient
University of California Riverside(加州大学河滨分校);University of Maryland(马里兰大学)
本文提出单层遗忘梯度(SLUG)方法,通过一次性梯度计算更新单个关键层,在保持模型效用的同时高效移除目标信息,在CLIP等模型上实现与现有方法相当但计算成本更低的遗忘性能。
2025-05-29 cs.LG
Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods
New York University(纽约大学)
本研究黑盒评估 LLM 遗忘方法,发现 LLMU 和 RMU 在 WMDP 及新生物学数据集上显著降低通用能力,且易受提示和改写攻击,训练无关数据可恢复性能,表明未能真正遗忘。
2025-02-23 cs.CL cs.LG
Efficient Machine Unlearning by Model Splitting and Core Sample Selection
Technical University of Munich(慕尼黑技术大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文针对机器遗忘的效率与验证难题,提出广义遗忘指标及感知遗忘的训练方法 MaxRR,可在多数情形下实现精确遗忘,否则也能获得接近完全重训练的高效遗忘效果。
2025-05-11 cs.LG stat.ML
The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
Singapore University of Technology and Design(新加坡科技设计大学);The Hong Kong University of Science and Technology(香港科技大学)
本文建立持续学习与机器遗忘之间的理论桥梁,通过定义后遗忘超额风险揭示保留历史知识与定向遗忘的权衡,并分析梯度法与海森法在遗忘损失和存储开销上的优劣,提出混合策略。
2026-06-29 cs.LG
WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models
Michigan State University(密歇根州立大学);IBM Research(IBM研究院)
针对大语言模型遗忘机制中权重与遗忘过程关系未被广泛研究的问题,提出权重归因引导的遗忘方法WAGLE,在多种方法、场景和模型中提升遗忘性能,为增强LLM遗忘提供首个原则性权重归因方法。
2025-04-12 cs.LG
Understanding Machine Unlearning Through the Lens of Mode Connectivity
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
该研究首次通过模式连通性视角探究机器遗忘,发现遗忘模型多位于连通盆地,MCU可揭示模型隐私差异,其集成能提升泛化与鲁棒性,且平滑性关联遗忘难度。
2026-08-04 cs.AI cs.CL cs.CV
Data Unlearning in Diffusion Models
Stanford University(斯坦福大学)
针对扩散模型数据遗忘成本高且现有方法不稳定的问题,提出具有理论保证的SISS损失函数,在多个数据集上实现质量与遗忘的帕累托最优,并有效缓解Stable Diffusion近90%提示词的记忆问题。
2025-03-02 cs.LG
Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation
School of Information Engineering, Zhongnan University of Economics and Law(信息工程学院,中南财经政法大学);China University of Geosciences, Wuhan(中国地质大学(武汉));City University of Macau(澳门城市大学)
本文提出基于层级相关性分析与神经元路径扰动的零样本类别遗忘方法,通过识别并扰动高相关神经元,在保护隐私的同时保持模型效用。
2025-06-20 cs.CR cs.LG
Unlearning or Obfuscating? Jogging the Memory of Unlearned LLMs via Benign Relearning
Carnegie Mellon University(卡内基梅隆大学)
本文提出良性再学习攻击,证明现有近似 LLM 遗忘方法可用少量松散相关数据逆转,并在三个基准上揭示其仅抑制输出而非真正遗忘。
2025-03-17 cs.LG
Inference-time Unlearning Using Conformal Prediction
Google(谷歌)
本文提出了一种利用符合预测的推理时间反学习框架,通过验证器反馈改进生成响应质量,减少计算开销并提高反学习效果。
2026-02-03 cs.LG
WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework
Department of Computer Science(计算机科学系);Rensselaer Polytechnic Institute(拉特克利夫理工学院)
WIN-U提出了一种无需保留数据的机器反向学习框架,通过单次牛顿步骤和Woodbury矩阵恒等式实现高效反向学习,提升去噪效果和鲁棒性。
2026-04-15 cs.LG
Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios
School of Information, Renmin University of China(中国人民大学信息学院);School of Computer Science and Big Data, Minjiang University(闽江学院计算机与大数据学院);RMIT University(皇家墨尔本理工大学)
针对高遗忘率下传统梯度遗忘方法依赖大量历史梯度的问题,提出Mini-Unlearning方法,利用收缩映射和最小历史梯度子集实现高效可扩展遗忘,在准确性和安全性上超越现有技术。
2024-06-24 cs.AI cs.CR cs.LG
Deep Regression Unlearning
Mavvex Labs(Mavvex实验室);Kalinga Institute of Industrial Technology(卡林加工业技术学院);National University of Singapore(新加坡国立大学)
本文针对深度回归模型遗忘问题,提出 Blindspot 权重优化方法和高斯微调方法,并适配回归遗忘指标,在视觉、语言和预测任务上验证了其有效性。
2023-05-31 cs.LG
Dataset Condensation Driven Machine Unlearning
本文面向图像分类提出数据集浓缩驱动的机器遗忘方法,通过新浓缩技术与遗忘方案平衡隐私、效用和效率,并用于防御成员推理、模型反演及从浓缩模型中移除数据。
2024-05-12 cs.LG
Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space
School of Electronic Engineering, Xidian University(电子工程学院)
本文提出旋转控制反学习方法,通过认知旋转空间量化和控制连续反学习过程,有效解决累积灾难性效用损失问题,并在无保留数据集的情况下实现SOTA性能。
2026-01-04 cs.CL cs.LG
FUNU: Boosting Machine Unlearning Efficiency by Filtering Unnecessary Unlearning
Hong Kong Polytechnic University(香港理工大学)
为提升机器遗忘效率,本文提出FUNU方法,通过利用参考模型识别移除请求中在剩余数据集中有相似邻居的数据点来过滤不必要的遗忘,从而缩减请求规模并减少执行时间,同时提供了隐私保证的理论分析与实验验证。
2025-01-28 cs.LG
Conformal Unlearning: A New Paradigm for Unlearning in Conformal Predictors
Nanyang Technological University(南洋理工大学)
本文提出了一种新的符合性反学习范式,通过有限样本和不确定性的保证,有效移除特定数据点的误覆盖,同时保持预测的准确性。
2026-02-12 cs.LG stat.ML
SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
Michigan State University(密歇根州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院)
本文首次探讨了优化器选择在LLM遗忘中的重要性,提出基于二阶优化的遗忘框架SOUL,将静态影响遗忘扩展为动态迭代过程,并在多种任务和模型上显著优于传统一阶方法。
2024-06-24 cs.CL cs.LG
Fairness and Robustness in Machine Unlearning
Sungkyunkwan University(成均馆大学)
针对机器学习遗忘无法实现精确遗忘的问题,首次聚焦其公平性与鲁棒性,提出基于方差-偏差权衡的公平性猜想,通过ResNet和ViT验证公平性与鲁棒性的关联,并提出评估指标,证明中间层和最后层遗忘的有效性。
2025-04-18 cs.LG
DRAUN: An Algorithm-Agnostic Data Reconstruction Attack on Federated Unlearning Systems
Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎赫尔分校网络安全中心)
本文提出首个针对联邦遗忘系统的数据重建攻击框架DRAUN,从理论和实验上证明现有联邦遗忘方法存在隐私漏洞,可被恶意服务器利用遗忘更新重建被移除的数据。
2025-06-02 cs.LG
Certified Graph Unlearning
UIUC(伊利诺伊大学厄巴纳-香槟分校)
图结构数据在实践中无处不在,并且经常使用图神经网络(GNN)进行处理。随着最近法律的通过,确保“被遗忘的权利”,图形数据删除的问题已经变得非常重要。为了解决这个问题,我们引入了第一个已知的GNN的\emph{certified graph unlearning}框架。与标准的机器遗忘相比,在处理复杂的图形数据时,出现了新的分析和启发式遗忘挑战。首先,需要考虑三种不同类型的遗忘请求,包括节点特征、边和节点遗忘。其次,要建立可证明的性能保证,需要解决传播过程中与特征混合相关的挑战。以简单图卷积(SGC)及其广义PageRank(GPR)扩展为例说明了底层分析,从而为GNN的认证学习奠定了理论基础。我们对六个基准数据集的实证研究表明,与不利用图形信息的完整再训练方法和方法相比,该方法具有出色的性能-复杂性权衡。例如,当对Cora数据集上的节点的$20\%$进行非学习时,我们的方法在测试准确性方面仅遭受$0.1\%$损失,同时与完全再训练相比,提供了$4$倍的速度提升。我们的计划也优于不利用图形信息的学习方法,$12\%$增加测试准确性的可比时间复杂度。
2022-10-28 cs.LG
An Unlearning Framework for Continual Learning
针对持续学习中的安全与隐私需求,本文提出无需数据的遗忘框架UnCLe,通过超网络和任务嵌入生成参数并与噪声对齐实现遗忘,在多个视觉数据集上验证了其能在最小干扰下顺序执行学习与遗忘。
2025-09-22 cs.LG
Machine Unlearning via Null Space Calibration
University of Technology Sydney(悉尼科技大学);University of Queensland(昆士兰大学);City University of Macau(澳门城市大学)
本文提出基于零空间校准的机器遗忘方法UNSC,通过将遗忘过程限制在剩余样本的零空间并利用伪标记增强,有效解决过度遗忘问题并提升模型在剩余数据上的性能。
2024-04-21 cs.AI cs.LG
Easy Data Unlearning Bench
epfl(苏黎世联邦理工学院);harvard(哈佛大学)
本文提出了一种统一的基准测试套件,通过KLoM度量简化机器删除算法的评估,促进研究和最佳实践。
2026-02-18 cs.LG
Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization
MUDMAN通过干扰掩码和归一化技术提升大语言模型反学习的鲁棒性,有效防止危险能力的恢复。
2025-11-28 cs.AI cs.CL cs.LG
Ready2Unlearn: A Learning-Time Approach for Preparing Models with Future Unlearning Readiness
Hong Kong University of Science and Technology(香港科技大学);University of Notre Dame(圣母大学)
Ready2Unlearn在训练阶段主动准备模型以具备未来可删除能力,提升效率和系统性。
2026-03-08 cs.AI cs.LG
Models Designed to Forget: Machine Unlearning via Key Deletion
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
本文提出了一种新的机器遗忘方法,通过设计使模型具备遗忘能力。MUNKEY模型通过删除实例标识符实现直接零样本遗忘,无需权重更新或原始数据访问,在多个数据集上优于现有方法。
2026-10-27 cs.LG
Auditing of Unlearning Algorithms
Stanford University(斯坦福大学);University of Zurich(苏黎世大学)
研究无学习算法能否消除训练数据影响这一问题,利用成员推理攻击计算无学习参数ε下限的审计器来评估多种算法,发现有严格保证的算法ε边界小,经验方法边界大,审计器为证伪无学习声明提供工具并经实验验证。
2026-07-08 cs.CR cs.LG
A More Practical Approach to Machine Unlearning
本文提出面向实用机器遗忘的首 epoch 梯度上升方法,发现 GPT-2 嵌入层是关键且可减半空间复杂度,并通过实证验证其优于全模型梯度上升。
2024-06-13 cs.AI cs.LG
Rethinking Federated Unlearning via the Lens of Memorization
Royal Melbourne Institute of Technology(皇家墨尔本理工学院);Griffith University(格里菲斯大学);Swinburne University of Technology(斯威本理工大学)
针对联邦学习中遗忘数据与保留数据重叠导致遗忘无效和客户端不公平的问题,提出基于分组记忆评估的联邦记忆剪枝方法,通过重置负责记忆的冗余参数实现高效遗忘。
2026-05-23 cs.AI cs.LG
Parallel Unlearning in Inherited Model Networks
Information Security Center, State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(信息安全部,网络与交换技术国家重点实验室,北京邮电大学);Global Big Data Technologies Centre, University of Technology Sydney(大数据技术中心,悉尼大学)
本文提出一种基于DAG的并行反学习框架,利用FIM和MFIM实现高效、低开销的模型继承网络反学习。
2025-11-24 cs.LG stat.ML
Unlearning Information Bottleneck: Machine Unlearning of Systematic Patterns and Biases
Yale University(耶鲁大学);Wuhan University(武汉大学);EPFL(洛桑联邦理工学院);University of Bern(伯尔尼大学)
提出去学习信息瓶颈(UIB)框架,利用变分上界和动态先验调整参数,以高效移除系统模式与偏见,同时保持模型性能。
2024-05-22 cs.AI cs.LG
Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出反向学习腐败攻击,通过在训练图中注入特定节点并请求删除,导致图神经网络性能下降,揭示了隐私法规下反向学习的脆弱性。
2026-03-19 cs.CR cs.LG
Signal-Guided Optimization for Machine Unlearning
针对当前模型遗忘方法缺乏精确引导信号的问题,提出GSUO框架,设计特定任务细粒度引导信号指导遗忘过程,适用于多种遗忘任务。实验表明,该框架在遗忘有效性、泛化、效率等方面表现出色,优于14个基线。
2026-07-15 cs.AI cs.LG
Near-Optimal Machine Unlearning Utility for Smooth Strongly Convex Losses
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心)
针对平滑强凸随机优化中的近似ε-遗忘问题,本文通过证明超额总体风险的上界和下界(紧至条件数因子),几乎解决了遗忘的基本统计代价,并提出了在ε≫d时相比从头再训练和差分隐私基线具有指数级精度提升的遗忘算法。
2026-09-18 cs.CR cs.LG
Beyond Uniform Deletion: A Data Value-Weighted Framework for Certified Machine Unlearning
Department of Information Systems(信息系统系);Xi'an Jiaotong University(西安交通大学);Arizona State University(亚利桑那州立大学)
针对现有机器遗忘算法忽视数据流值异构性导致模型性能下降的问题,提出数据流值加权遗忘(DVWU)框架,通过基于数据流值的加权策略实现差异化遗忘,适配多种方法并经实验验证性能更优、鲁棒性更强且具可扩展性。
2025-11-10 cs.LG stat.ML