SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models
National University of Singapore(国立新加坡大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);CFAR and IHPC, A*STAR(CFAR和IHPC,A*STAR)
SafeRedir通过提示嵌入重定向实现图像生成模型的鲁棒去学习,无需修改模型即可有效消除不安全内容并提升对抗性攻击抵抗力。
2026-01-13 cs.AI cs.CR cs.CV
Reinforcement Unlearning via Group Relative Policy Optimization
Chair of Responsible Data Science(负责任数据科学教授职位);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出PURGE方法,通过群体相对策略优化框架将反学习建模为可验证问题,有效减少敏感数据影响,提升模型流畅性和鲁棒性,实验表明其在反学习效果和实用性上优于现有方法。
2026-03-20 cs.LG
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google(谷歌);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在本文中,我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$(即,$F$对其预测的置信度如何?)。我们首先分析Madry等人提出的对抗训练公式。我们证明了,在各种实例下,他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量,它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上,我们提出了高度置信近邻(${\tt HCNN}$),一个框架,结合置信信息和最近邻搜索,以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法,并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果,并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学)
不可学习的示例攻击是数据投毒技术,可用于保护公共数据免受未经授权的使用,用于训练深度学习模型。这些方法向原始图像添加了隐形扰动,从而使得深度学习模型难以有效地从这些训练数据中学习。目前的研究表明,对抗性训练可以在一定程度上减轻不可学习的示例攻击的影响,而常见的数据增强方法对此类毒药无效。然而,对抗训练需要大量的计算资源,并且可能导致非平凡的准确性损失。在本文中,我们介绍了UEraser方法,该方法通过有效的数据增强策略和损失最大化对抗增强的组合,胜过当前针对不同类型的最先进的不可学习示例攻击的防御。与当前的SOTA对抗训练方法形成鲜明对比的是,UEraser使用对抗增强,这超出了当前unlearning攻击和防御所假设的$ \ell_p $扰动预算的范围。它还有助于提高模型的泛化能力,从而防止准确性损失。UEraser通过误差最大化数据增强消除了遗忘效应,从而恢复了训练模型的准确性。有趣的是,UEraser-Lite是一种没有对抗性增强的快速变体,在保持干净的准确性方面也非常有效。在挑战不可学习的CIFAR-10、CIFAR-100、SVHN和使用各种攻击产生的ImageNet子集数据集时,它获得的结果与干净训练期间获得的结果相当。我们还证明了它对可能的自适应攻击的有效性。我们的代码是开源的,可供深度学习社区使用:https://github.com/lafeat/ueraser。
2023-03-27 cs.CR cs.CV cs.LG
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
对抗性训练产生针对特定威胁模型的鲁棒模型,例如,$L_\infty$对抗性示例。通常,鲁棒性不会推广到以前看不见的威胁模型,例如,其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练(CCAT)通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例,鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性,并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估,我们开发了新的白盒和黑盒攻击,通过最大化置信度直接攻击CCAT。对于每种威胁模型,我们使用$7$攻击,最多$50$重启和$5000$迭代,并报告最坏情况下的鲁棒测试错误,扩展到我们的置信阈值设置,在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
AMUN: Adversarial Machine UNlearning
UIUC(伊利诺伊大学香槟分校)
针对机器遗忘中精确方法计算开销大、近似方法效果不足的问题,提出对抗性机器遗忘(AMUN)方法,通过在遗忘样本对应对抗样本上微调模型,在图像分类任务上优于现有SOTA方法,且能抵御成员推理攻击。
2025-11-14 cs.CR cs.LG
Tackling Fake Forgetting through Uncertainty Quantification
Illinois Institute of Technology(伊利诺伊理工学院);Michigan State University(密歇根州立大学);Northwestern University(西北大学)
本文提出CR指标和CPU框架,通过置信预测提升遗忘质量,解决传统遗忘评估的可靠性问题。
2026-05-12 cs.AI cs.LG
Adversarial Machine Unlearning
UC Santa Cruz(加州大学圣克鲁兹分校);Stellar Cyber, Inc.(斯特拉尔网络公司);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出一种基于 Stackelberg 博弈的对抗性机器遗忘框架,将 MIA 纳入算法设计,并通过隐式微分优化梯度以限制攻击成功。
2024-06-11 cs.CR cs.LG
LLM Unlearning via Neural Activation Redirection
University of Cambridge(剑桥大学);Meta;UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);FAIR at Meta(Meta的FAIR)
本文提出 LUNAR 方法,基于线性表示假说,通过将遗忘数据表示重定向到无法回答的激活区域,实现高效、可控且鲁棒的 LLM 遗忘,显著提升遗忘效果与模型效用。
2025-10-07 cs.AI cs.LG
Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出反向学习腐败攻击,通过在训练图中注入特定节点并请求删除,导致图神经网络性能下降,揭示了隐私法规下反向学习的脆弱性。
2026-03-19 cs.CR cs.LG
To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
University of Warwick(华威大学)
本文提出按文本序列在LLM中的记忆程度差异化遗忘的新视角,贡献新评估指标、对抗攻击及两种遗忘方法,并通过大规模实验验证其效果。
2024-05-06 cs.AI cs.CL cs.LG
Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
针对开源LLM的安全对齐与遗忘功能,提出嵌入空间攻击,直接操纵输入token的连续嵌入表示,可更高效绕过对齐触发有害行为,并能从遗忘后模型中提取删除信息,揭示其为重要威胁模型。
2025-04-16 cs.LG
Increasing Confidence in Adversarial Robustness Evaluations
University of Tübingen(图宾根大学);Google(谷歌)
已经提出了数百种防御措施,以使深度神经网络对最小(对抗性)输入扰动具有鲁棒性。然而,这些防御中只有少数人坚持了他们的主张,因为正确评估鲁棒性是非常具有挑战性的:弱攻击通常无法找到对抗性的例子,即使它们在不知不觉中存在,从而使脆弱的网络看起来很健壮。在本文中,我们提出了一个测试来识别弱攻击,从而弱防御评估。我们的测试稍微修改了一个神经网络,以保证每个样本都存在对抗性样本。因此,任何正确的攻击都必须成功地破坏这个修改过的网络。在之前发布的13个防御中,有11个防御的原始评估没有通过我们的测试,而破坏这些防御的更强大的攻击通过了它。我们希望攻击单元测试--比如我们的--将成为未来鲁棒性评估的主要组成部分,并增加对一个目前充满怀疑的经验领域的信心。
2022-06-28 cs.CR cs.CV cs.LG
Attack and Reset for Unlearning: Exploiting Adversarial Noise toward Machine Unlearning through Parameter Re-initialization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 ARU 方法,利用对抗噪声生成参数掩码并重置偏向遗忘集的网络参数,在 MUFAC 和 MUCAC 面部遗忘基准上取得最优效果,实现更彻底的机器遗忘。
2024-01-17 cs.CR cs.CV cs.LG
BadFU: Backdoor Federated Learning through Adversarial Machine Unlearning
University of Newcastle(新castle大学);Shanghai Jiao Tong University(上海交通大学)
BadFU首次揭示联邦遗忘中的后门攻击:恶意客户端利用后门与伪装样本正常训练,待请求遗忘伪装样本后使全局模型进入后门状态,暴露现有联邦遗忘机制的关键安全漏洞。
2025-08-21 cs.CR cs.LG
Potion: Towards Poison Unlearning
University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
针对仅能识别部分投毒数据时现有模型遗忘方法失效的问题,本研究提出抗离群点的改进SSD方法与PTN超参数搜索方法,在投毒修复率和模型准确率保持上均显著优于现有方案。
2024-09-11 cs.LG
Generative Adversarial Networks Unlearning
China University of Geosciences(中国地质大学);University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学)
针对 GAN 遗忘中潜在空间破坏与判别准则缺失问题,提出基于替换机制和伪标签的级联遗忘方法,实现高效样本与类别遗忘且几乎不影响下游任务。
2023-08-19 cs.CR cs.LG
An Efficient and Margin-Approaching Zero-Confidence Adversarial Attack
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
白盒对抗攻击有两种主要的范例,它们试图施加输入扰动。第一种范式称为固定扰动攻击,在给定的扰动水平内制作对抗样本。第二种范式,称为零置信度攻击,找到导致错误分类所需的最小扰动,也称为输入特征的裕度。虽然前一种范式得到了很好的解决,但后一种范式却没有。现有的零置信度攻击要么引入显著的近似误差,要么太耗时。因此,我们提出了MARGINATTACK,一个零置信度的攻击框架,能够计算的利润,提高了准确性和效率。实验结果表明,MARGINATTACK算法比现有的零置信度攻击算法具有更小的安全裕度,并且能够与现有的固定扰动攻击算法相匹配。此外,它的运行速度明显快于Carlini-Wagner攻击,目前最准确的零置信度攻击算法。
2019-10-01 cs.LG stat.ML
Adversarial confidence and smoothness regularizations for scalable unsupervised discriminative learning
Nanyang Technological University(南洋理工大学)
在本文中,我们认为一个通用的概率判别学习器从功能的观点,并认为,要使它学习好,有必要限制其假设空间的一组非平凡的分段常数函数。为了实现这一目标,我们提出了一个可扩展的无监督正则化框架。在理论方面,我们证明了这个框架有助于建立一个事实上自信和平滑的判别模型,并将其与对抗性禁忌游戏、谱聚类和虚拟对抗性训练联系起来。在实验中,我们将深度神经网络作为我们的学习者,并证明,当在无监督环境中在我们的框架下训练时,它们不仅可以实现最先进的聚类结果,而且可以很好地推广合成和真实数据。
2018-06-04 cs.LG stat.ML
Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出动态遗忘攻击(DUA)评估LLM遗忘脆弱性,并设计潜在对抗遗忘(LAU)框架,通过最小-最大优化增强遗忘鲁棒性,显著提升遗忘效果且几乎不影响模型能力。
2024-08-20 cs.AI cs.CL cs.CR
An Adversarial Perspective on Machine Unlearning for AI Safety
ETH Zurich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
本文从对抗视角证明现有越狱方法经谨慎应用可攻破机器遗忘,并提出自适应方法恢复被RMU等遗忘方法移除的危险能力,从而质疑遗忘方法相比安全训练的鲁棒性优势。
2025-05-31 cs.AI cs.CL cs.CR
Towards Adversarial Evaluations for Inexact Machine Unlearning
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Oxford(牛津大学);ETH Zurich(苏黎世联邦理工学院);MPI-IS(马克斯·普朗克智能系统研究所);Meta AI
机器学习模型面临着越来越多的关于个人用户数据存储以及后门或系统偏差等损坏数据的不利影响的担忧。机器遗忘可以通过允许从学习模型中事后删除受影响的训练数据来解决这些问题。准确地实现这一任务是计算昂贵的,因此,最近的作品提出了不精确的非学习算法来解决这个近似以及评估方法来测试这些算法的有效性。在这项工作中,我们首先概述了一些必要的标准,评估方法,并显示没有现有的评估满足他们。然后,我们设计了一种更强大的黑盒评估方法,称为类间混淆(IC)测试,它在训练过程中反向操作数据,以检测非学习过程的不足。我们还提出了两种分析动机的基线方法~(EU-k和CF-k),它们优于几种流行的不精确非学习方法。总的来说,我们展示了对抗性评估策略如何有助于分析各种遗忘现象,从而指导更强大的遗忘算法的开发。
2023-02-22 cs.CV cs.LG
Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications
DEI(迪埃学院);ARCES(自动控制与电子工程系);University of Bologna(博洛尼亚大学);CEMSE(计算与建模工程中心);KAUST(科威特大学);Italy(意大利);Saudi Arabia(沙特阿拉伯)
本文提出MACS框架,通过分析中间激活生成分类图,用于统一检测分布外样本、对抗攻击和分布内误分类,实验表明其性能优于现有方法。
2025-12-22 cs.AI cs.LG
Adversarial Mixup Unlearning
The Hong Kong University of Science and Technology(香港科技大学)
针对机器遗忘中的灾难性遗忘问题,本文提出 MixUnlearn 框架,通过对抗生成 mixup 样本并结合多重对比损失,在删除目标信息的同时保留关键知识,性能优于现有方法。
2025-02-14 cs.LG
Layered Unlearning for Adversarial Relearning
MIT(麻省理工学院)
针对训练后修改易被对抗性重学习绕过的问题,本文提出分层遗忘算法 LU,通过分阶段构建差异化抑制机制提升多种遗忘方法的鲁棒性。
2025-05-14 cs.LG
PCA: Semi-supervised Segmentation with Patch Confidence Adversarial Training
Hebei University of Technology(河北工业大学);University of Oxford(牛津大学)
基于深度学习的半监督学习(SSL)方法在医学图像分割中取得了很好的效果,可以利用大量未标记数据减轻医生昂贵的标注费用。与大多数现有的半监督学习方法不同,基于对抗训练的方法通过学习分割图的数据分布来区分来自不同来源的样本,从而使分割器生成更准确的预测。我们认为,目前的性能限制,这种方法的特征提取和学习偏好的问题。在本文中,我们提出了一种新的半监督对抗方法称为补丁的信心对抗训练(PCA)的医学图像分割。而不是单一的标量分类结果或像素级的置信度图,我们提出的ESTA创建补丁的置信度图,并将它们分类的补丁的规模。未标记数据的预测学习每个块中的像素结构和上下文信息,以获得足够的梯度反馈,这有助于迭代收敛到最优状态,提高半监督分割性能。此外,在机器人的输入,我们补充图像上的语义信息约束,使其更简单的未标记的数据,以适应预期的数据分布。在自动心脏诊断挑战(ACDC)2017数据集和脑肿瘤分割(BraTS)2019挑战数据集上进行的大量实验表明,我们的方法优于最先进的半监督方法,这证明了其对医学图像分割的有效性。
2022-07-24 cs.CV cs.LG eess.IV
Zero-Shot Machine Unlearning with Proxy Adversarial Data Generation
University of Queensland(昆士兰大学);City University of Macau(澳门城市大学);University of Technology Sydney(悉尼科技大学)
针对零样本机器遗忘场景下仅能获取待遗忘样本、易出现过度遗忘的问题,提出ZS-PAG框架,通过生成对抗样本近似剩余数据、在特定子空间执行遗忘并结合基于影响的伪标记策略,有效避免过度遗忘且性能优于基线方法。
2025-07-29 cs.AI cs.LG
COLUR: Confidence-Oriented Learning, Unlearning and Relearning with Noisy-Label Data for Model Restoration and Refinement
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学);Macquarie University(麦考瑞大学);Shanghai Ballsnow Intelligent Technology Co. Ltd(上海Ballsnov智能技术有限公司)
针对噪声标签导致的模型性能退化,提出基于遗忘机制的COLUR框架,通过协同训练遗忘噪声影响并精炼置信度再学习,在四个真实数据集上优于现有方法。
2025-06-24 cs.LG
$\textbf{AGT$^{AO}$}$: Robust and Stabilized LLM Unlearning via Adversarial Gating Training with Adaptive Orthogonality
School of Computer Science and Technology, Xi’an Jiaotong University, China(西安交通大学计算机科学与技术学院);MOE KLINNS Lab, Xi’an Jiaotong University, China(西安交通大学MOE KLINNS实验室);Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China(陕西省大数据知识工程重点实验室)
AGT$^{AO}$通过对抗门控训练与自适应正交性,实现LLM反向学习的鲁棒性和实用性平衡。
2026-02-02 cs.CL cs.LG
Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
针对现有大语言模型遗忘评估忽略知识隐式关联、易高估效果的问题,提出带置信度的知识图谱表征与LLM推理评判的评估框架,新基准实验验证其更严谨真实。
2025-10-22 cs.CL cs.LG
Image Can Bring Your Memory Back: A Novel Multi-Modal Guided Attack against Image Generation Model Unlearning
Institute of Data Science, National University of Singapore(数据科学研究所,新加坡国立大学);S-Lab, Nanyang Technological University(南洋理工大学S实验室);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)
Recall提出一种新颖的多模态引导攻击框架,针对图像生成模型去学习的鲁棒性进行攻击,展示其在对抗有效性、计算效率和语义保真度上的优势。
2026-02-16 cs.CR cs.CV cs.LG
Rethinking Backdoor Adversarial Unlearning through the Lens of Catastrophic Forgetting in Continual Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Key Laboratory of Media Security, Shenzhen University(深圳大学媒体安全深圳市重点实验室)
本文将后门学习与去学习建模为持续学习视角下的三阶段过程,基于灾难性遗忘机制推导完全后门去学习的必要条件,并提出盲反演-后门对抗性去学习(BI-BAU)方法,通过期望最大化算法优化最大后验目标,有效消除后门效应。
2026-06-15 cs.AI cs.LG
Discriminative Adversarial Unlearning
University at Buffalo(布法罗大学)
提出基于极小极大优化和成员推理攻击的判别式对抗遗忘框架,结合自监督目标解决特征空间差异,在标准数据集上逼近从头训练的理想基准并超越现有方法。
2024-02-13 cs.AI cs.LG
Remembering Everything Makes You Vulnerable: A Limelight on Machine Unlearning for Personalized Healthcare Sector
Ludwig-Maximilians-University(路德维希-马克西米利安大学);The Neotia University(尼奥蒂亚大学)
本文针对个性化医疗模型在对抗攻击下的隐私脆弱性,提出机器遗忘算法选择性移除敏感数据点,以增强模型鲁棒性并保持预训练模型准确性。
2024-07-05 cs.LG
Harry Potter is Still Here! Probing Knowledge Leakage in Targeted Unlearned Large Language Models via Automated Adversarial Prompting
University of Science, VNU-HCM(越南国立大学胡志明市理科大学);Indiana University(印第安纳大学)
提出LURK框架,通过自动生成对抗性后缀提示探测已遗忘LLM中隐藏的哈利·波特知识,揭示现有遗忘评估标准的漏洞,提供更严格的鲁棒性诊断工具。
2025-05-22 cs.AI cs.CL cs.CR
Protecting the Neural Networks against FGSM Attack Using Machine Unlearning
Department of Computer Engineering, Faculty of Engineering, Saveh Branch, Islamic Azad University(伊斯兰阿扎德大学萨韦分校工程学院计算机工程系);Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本文针对FGSM对抗攻击,将机器遗忘技术应用于LeNet神经网络,通过在原始数据上重训练使模型“忘记”特定数据点,显著提升了模型的对抗鲁棒性。
2025-11-03 cs.LG
AdvAnchor: Enhancing Diffusion Model Unlearning with Adversarial Anchors
本文提出AdvAnchor方法,通过生成与不良概念嵌入相似但排除其定义属性的对抗性锚点,在扩散模型遗忘中缓解消除不良概念与保留其他概念之间的性能权衡,实验表明其优于现有方法。
2024-12-28 cs.AI cs.CL cs.LG
How to Protect Models against Adversarial Unlearning?
IDENTT Corporation(IDENTT公司);Wrocław University of Science and Technology(沃拉夫大学科学与技术学院)
本文研究对抗性遗忘问题,即恶意方通过发送遗忘请求恶化模型性能,并提出一种新方法,在自发过程和对抗行为下保护模型性能免受遗忘副作用影响。
2025-07-15 cs.AI cs.LG
Adversarial Unlearning of Backdoors via Implicit Hypergradient
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
我们提出了一个极小极大制定从一个给定的中毒模型的基础上一小部分干净的数据删除后门。这个公式包含了许多以前关于后门删除的工作。我们提出了隐式Bacdoor对抗性非学习(I-BAU)算法来解决极大极小问题。与以前的工作,分解成单独的内部和外部问题的极大极小,我们的算法利用隐式超梯度来考虑内部和外部优化之间的相互依赖性。我们从理论上分析了它的收敛性以及通过求解干净数据上的极小极大问题所获得的鲁棒性对未知测试数据的推广性。在我们的评估中,我们将I-BAU与六种最先进的后门防御方法在两个数据集和各种攻击设置上对七种后门攻击进行了比较,包括攻击者针对一个类的常见设置以及针对多个类的重要但未充分研究的设置。I-BAU的性能与最佳基线相当,并且通常明显优于最佳基线。特别是,它的性能对触发器,攻击设置,中毒率和干净数据大小的变化更加鲁棒。此外,I-BAU需要更少的计算才能生效;特别是,它比单目标攻击设置中最有效的基线快$13\times$。此外,它可以在防御者只能访问100个干净样本的极端情况下保持有效-所有基线都无法产生可接受的结果。
2022-02-06 cs.CR cs.CV cs.LG
Markov Chain Monte Carlo-Based Machine Unlearning: Unlearning What Needs to be Forgotten
National University of Singapore(新加坡国立大学);Trustwave(信波科技)
随着机器学习(ML)模型在许多现实应用中的使用越来越流行,模型维护需要解决一些实际挑战。其中一个挑战是“撤消”用于训练模型的特定数据集子集的效果。这个特定子集可能包含攻击者注入的恶意或敌对数据,这会影响模型性能。另一个原因可能是服务提供商需要删除与特定用户有关的数据以尊重用户的隐私。在这两种情况下,问题都是从训练模型中“遗忘”训练数据的特定子集,而不会导致从头开始重新训练整个模型的昂贵过程。为此,本文提出了一种基于马尔可夫链蒙特卡罗的机器遗忘(MCU)算法。MCU有助于有效和高效地从训练数据集的子集中学习训练模型。此外,我们证明了使用MCU,我们能够解释训练数据集的子集对模型预测的影响。因此,MCU对于检查数据子集以识别要删除的对抗性数据是有用的。同样,MCU可以用来从训练的ML模型中删除用户个人数据的血统,从而维护用户的“被遗忘权”。我们经验性地评估了我们提出的MCU算法在现实世界的网络钓鱼和糖尿病数据集上的性能。结果表明,MCU可以通过有效地去除训练数据集的一个子集的影响,并优于现有的算法,利用剩余的数据集,实现了理想的性能。
2022-02-28 cs.CR cs.LG
CE-U: Cross Entropy Unlearning
Tacnode US Inc(美国塔克诺德公司)
本文提出 CE-U 交叉熵遗忘损失函数,统一学习与遗忘框架,克服梯度上升的梯度消失与爆炸问题,并在 TOFU 上以 LLaMA2-7B 达到最先进性能。
2025-03-15 cs.LG
Verification of Machine Unlearning is Fragile
University of Virginia(弗吉尼亚大学)
本文探讨了机器去学习验证的脆弱性,提出两种对抗性去学习过程以绕过现有验证策略,揭示了验证方法的局限性。
2026-04-21 cs.CR cs.LG
Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation
Computer Science(计算机科学)
本文提出AMUN和TRW方法,通过对抗性技术提升机器遗忘的可靠性与性能。
2025-12-07 cs.LG
Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs
Department of Computer Science, Université Paris-Dauphine(巴黎-索邦大学计算机科学系);Institute of Mathematics, EPFL(苏黎世联邦理工学院数学研究所);Computational Engineering Lab, Empa(Empa计算工程实验室)
本文提出一种基于约束干预的LLM遗忘与对抗鲁棒性统一方法,通过最小权重调整实现敏感信息遗忘和越狱攻击防御,无需预言机分类器,性能优于现有方法。
2025-10-16 cs.CL cs.CR cs.CY
GraphMU: Repairing Robustness of Graph Neural Networks via Machine Unlearning
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chengdu University of Information Technology(成都信息工程大学);Chongqing Normal University(重庆师范大学)
针对现有GNN对抗防御方法无法修复已投毒模型的问题,本文提出基于机器遗忘的GNN修复框架GraphMU,搭配遗忘验证方法,在多数据集多攻击场景下验证其可有效恢复受投毒GNN性能。
2024-06-19 cs.LG cs.SI
Forgetting to Witness: Efficient Federated Unlearning and Its Visible Evaluation
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出首个完整联邦去学习流程,通过高效方法和可视化框架评估模型遗忘能力,无需存储历史数据。
2026-04-06 cs.CR cs.LG
Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy
Imperial College London(帝国理工学院伦敦校区);The Alan Turing Institute(艾伦·图灵研究所)
针对训练数据扰动验证不足的问题,本工作提出抽象梯度训练(AGT)统一框架,通过界定参数可达集,为数据投毒、机器遗忘和差分隐私场景下的模型鲁棒性提供形式化验证方法。
2025-11-12 cs.LG
Adapt then Unlearn: Exploring Parameter Space Semantics for Unlearning in Generative Adversarial Networks
Indian Institute of Science(印度科学学院);Indian Institute of Technology Patna(巴特那印度理工学院)
针对训练数据集不可访问的预训练GAN,提出两阶段“先适配后遗忘”方法,通过适配负样本、引入排斥正则化器,在保持生成质量的同时实现不期望特征遗忘,为高保真度GAN的遗忘任务提供首个解决方案。
2025-02-12 cs.AI cs.CV cs.LG
RUB: Evaluating Residual Knowledge in Unlearned Models
Electrical and Computer Engineering University of Alberta(电气与计算机工程大学阿尔伯塔大学)
提出鲁棒未学习原则及统一基准RUB,通过未学习映射攻击(UMA)检测残留信息,揭示现有方法在对抗评估下的脆弱性。
2026-06-18 cs.CV cs.LG
Federated Graph Unlearning
针对联邦图学习中的被遗忘权问题,提出统一框架,采用原型梯度与对抗图生成的双策略,分别处理元遗忘和客户端遗忘,显著提升预测精度与遗忘效果。
2025-08-04 cs.LG
Distribution-Guided and Constrained Quantum Machine Unlearning
Department of Electrical Engineering, Lahore University of Management Sciences, Lahore 54792, Pakistan.(电气工程系,拉合尔管理科学大学,巴基斯坦拉合尔);Department of Physics, Lahore University of Management Sciences, Lahore 54792, Pakistan.(物理系,拉合尔管理科学大学,巴基斯坦拉合尔)
本文提出了一种基于分布和约束的量子机器学习去学习框架,通过可调节的目标分布和保留约束,有效控制遗忘与保留行为之间的权衡,提升去学习的可靠性与可解释性。
2026-02-09 cs.LG quant-ph
Evaluating Machine Unlearning via Epistemic Uncertainty
TU Dortmund University(多特蒙德工业大学)
最近,人们对机器遗忘的兴趣越来越大,这主要是由于《通用数据保护条例》(GDPR)和《加州消费者隐私法》等法律要求。因此,提出了多种方法来从训练模型中去除特定目标数据点的影响。然而,在评估遗忘的成功时,当前的方法要么使用对抗攻击,要么将其结果与最优解进行比较,后者通常包含从头开始的再训练。我们认为,这两种方法在实践中都是不够的。在这项工作中,我们提出了一个评价指标的机器遗忘算法的基础上认识的不确定性。据我们所知,这是机器遗忘的一般评估指标的第一个定义。
2022-09-19 cs.LG
Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning
Seoul National University(首尔国立大学);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出Ssiuu方法,通过属性引导正则化有效抑制虚假反向学习神经元,提升反向学习的鲁棒性和准确性。
2026-03-04 cs.LG
Source-Free Class Relearning: Diagnosing Forgetting in Class Unlearning
ÉTS Montreal(蒙特利尔工程学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);CNRS, CentraleSupélec - Université Paris-Saclay(法国国家科学研究中心、中央高等电力学院-巴黎萨克雷大学);LIVIA(LIVIA实验室);ILLS(ILLS机构)
该研究提出无源重学习审计(SFRA)方法,在无源设置下诊断类遗忘中的遗忘问题,引入重学习得分(RS)量化遗忘类可恢复性,发现多种遗忘方法存在显著无源可恢复性。
2026-09-03 cs.CV cs.LG