Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization
MUDMAN通过干扰掩码和归一化技术提升大语言模型反学习的鲁棒性，有效防止危险能力的恢复。
2025-11-28 cs.AI cs.CL cs.LG
Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs
IBM Research（IBM研究院）
本文提出 SPUNGE 框架，通过按数据属性分割遗忘数据、分别遗忘并合并模型，增强任意机器遗忘方法的效果，并在最先进 LLM 上验证其安全性提升与通用能力保持。
2024-06-17 cs.AI cs.CL cs.LG
A Closer Look at Machine Unlearning for Large Language Models
University of Science and Technology of China（中国科学技术大学）；Sea AI Lab, Singapore（新加坡Sea AI实验室）
本文探讨了LLMs机器遗忘的评估与方法问题，提出三个新评估指标，并针对无目标和有目标遗忘分别引入最大化熵目标与答案保留损失，有效提升了遗忘效果与模型性能的平衡。
2025-08-10 cs.AI cs.CL cs.LG
Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs
TCS Research, Hyderabad（TCS研究院，海得拉巴）；IIIT Hyderabad（IIIT海得拉巴）
提出影子遗忘范式，通过神经语义投影器遗忘（NSPU）框架在匿名化遗忘数据上实现机器遗忘，保护隐私的同时保持模型效用，计算效率提升至少10倍。
2026-05-26 cs.AI cs.CL cs.CR
Explainable LLM Unlearning Through Reasoning
本文提出基于推理的反学习方法TRU，通过引入推理引导的反学习目标，实现更可靠且可解释的LLM反学习，同时保持模型通用能力。
2026-02-08 cs.AI cs.CL cs.LG
Offset Unlearning for Large Language Models
University of Southern California（南加州大学）；Microsoft Research（微软研究院）；University of California, Davis（加州大学戴维斯分校）
针对黑盒LLMs遗忘敏感数据的需求，提出δ-Unlearning框架，通过对比小模型logits学习偏移量，有效遗忘目标数据并保持通用性能。
2025-05-23 cs.AI cs.CL cs.LG
Does Localization Inform Unlearning? A Rigorous Examination of Local Parameter Attribution for Knowledge Unlearning in Language Models
Hanyang University（汉阳大学）
本文通过实验验证局部参数更新对语言模型知识去学习的有效性，发现参数局部性并不必然指示有效知识去除。
2025-09-17 cs.CL
SAEs Can Improve Unlearning: Dynamic Sparse Autoencoder Guardrails for Precision Unlearning in LLMs
Carnegie Mellon University（卡内基梅隆大学）；Leonardo Labs（莱昂纳多实验室）
本文提出动态稀疏自编码器护栏（DSG）方法，通过动态特征选择和分类器实现精确机器遗忘，在遗忘-效用权衡、效率、稳定性和抗重新学习攻击上显著优于现有方法。
2026-10-14 cs.AI cs.CL cs.CR
UnStar: Unlearning with Self-Taught Anti-Sample Reasoning for LLMs
National University of Singapore（新加坡国立大学）；KIIT Bhubaneswar（基蒂布巴内斯瓦尔大学）
本文提出UnSTAR方法，通过自教生成的反样本实现大语言模型的细粒度定向遗忘学习，可在不影响相关知识的前提下高效移除特定关联。
2024-10-22 cs.AI cs.CL cs.LG
How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective
University of Cambridge（剑桥大学）；Meta
本文提出PISTOL结构化数据集构建方法，揭示数据互联性对LLM遗忘的影响，发现互联性越强、知识图谱越密，遗忘难度越大，且领域偏斜时难以平衡各领域保持性能。
2025-03-10 cs.AI cs.CL cs.LG
LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning
Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
提出LACUNA测试平台，通过注入合成个人身份信息到模型参数，评估遗忘方法是否真正擦除知识，发现现有方法定位不精确且易受重现攻击，而精确定位可实现强擦除。
2026-09-29 cs.AI cs.CL cs.LG
SEUF: Is Unlearning One Expert Enough for Mixture-of-Experts LLMs?
University of Notre Dame（诺丁汉大学）；Michigan State University（密歇根州立大学）；Cisco Research（思科研究）
针对MoE LLMs遗忘中的过度遗忘和效用下降问题，提出选定专家遗忘框架SEUF，通过专家归因和路由器锚定损失实现可控遗忘，在仅遗忘0.06%参数下显著提升遗忘质量和模型效用。
2025-06-30 cs.AI cs.CL cs.LG
Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出选择性遗忘（SU）方法，通过仅遗忘目标文档中与不想要信息相关的关键子集词元，在实现有效遗忘的同时显著保持模型通用效用。
2025-06-01 cs.CL
Collapse of Irrelevant Representations (CIR) Ensures Robust and Non-Disruptive LLM Unlearning
Jagiellonian University（杰尔乔夫大学）；University of Oxford（牛津大学）
针对现有大模型遗忘方法难以彻底移除危险知识且易损伤通用性能的问题，本文提出无关表征坍缩（CIR）技术，在Llama-3.1-8B上实现了更优的危险知识遗忘效果，且对通用性能干扰极小、计算效率高。
2025-11-13 cs.AI cs.CL cs.LG
Hierarchical Federated Unlearning for Large Language Models
George Mason University（乔治·玛莎大学）
针对大语言模型实际遗忘需求连续异构、涉及去中心化敏感数据导致的遗忘与保留性能失衡问题，提出一种基于任务适配器解耦和分层合并的可扩展隐私保护联邦遗忘方法，在多个基准上验证了其有效性。
2025-10-19 cs.AI cs.CL cs.LG
Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出动态遗忘攻击（DUA）评估LLM遗忘脆弱性，并设计潜在对抗遗忘（LAU）框架，通过最小-最大优化增强遗忘鲁棒性，显著提升遗忘效果且几乎不影响模型能力。
2024-08-20 cs.AI cs.CL cs.CR
Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods
New York University（纽约大学）
本研究黑盒评估 LLM 遗忘方法，发现 LLMU 和 RMU 在 WMDP 及新生物学数据集上显著降低通用能力，且易受提示和改写攻击，训练无关数据可恢复性能，表明未能真正遗忘。
2025-02-23 cs.CL cs.LG
Multilingual Unlearning in LLMs: Transfer, Dynamics, and Reversibility
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）
本文通过扩展TOFU基准到五种语言，研究大型语言模型中的多语言遗忘，发现遗忘迁移在不同语言间高度可变，且遗忘主要作用于后期解码层而非共享的跨语言潜在空间，因此可以通过推理时的单一引导方向逆转大部分遗忘效果。
2026-06-02 cs.CL
The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）；IBM Research（IBM研究院）
本文提出了一种动态框架，用于评估大语言模型消除方法的鲁棒性，通过复杂结构查询揭示消除技术在多跳设置中的脆弱性，并提供可扩展的评估方法。
2026-03-11 cs.AI
Which Retain Set Matters for LLM Unlearning? A Case Study on Entity Unlearning
Department of Artificial Intelligence, Chung-Ang University, Seoul, Korea（人工智能系， Chung-Ang 大学）
本文通过实体遗忘案例研究保留集各子集对LLM遗忘的影响，发现与目标移除数据句法相似的子集性能下降最严重，将其用于正则化可全面提升遗忘效果，证明句法相似性是有效遗忘的关键因素。
2025-05-28 cs.CL
Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Hong Kong（香港大学）
该研究提出大语言模型实体级遗忘新任务，系统评估主流遗忘算法发现其效果不佳，明确知识覆盖度、遗忘集规模及实体引入方式对遗忘效果的影响，为相关研究提供参考。
2025-05-19 cs.CL
Model Unlearning Objectives Vary for Distinct Language Functions
Pennsylvania State University（宾夕法尼亚州立大学）；Scale AI
本文提出针对不同语言功能（危险知识遗忘和毒性遗忘）应设计不同的遗忘方法，并分别提出基于余弦的元学习变体RMU和多层目标方法，在多个7-8B模型上取得良好效果。
2026-05-26 cs.CL
Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space
School of Electronic Engineering, Xidian University（电子工程学院）
本文提出旋转控制反学习方法，通过认知旋转空间量化和控制连续反学习过程，有效解决累积灾难性效用损失问题，并在无保留数据集的情况下实现SOTA性能。
2026-01-04 cs.CL cs.LG
Unlearning Under Imbalance: Benchmarking Fairness in Multimodal LLM Unlearning
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
研究多模态大语言模型遗忘中的公平性问题，提出FAIRGET基准和FAUN算法，通过模拟现实场景下不平衡的遗忘请求，在考虑数据不平衡性质时遗忘身份，实验证明该方法在遗忘质量和公平性上具有优越性。
2026-07-24 cs.AI cs.CV
Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM
Rice University（里士大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对精确遗忘后仍存在的隐私风险，提出利用遗忘前模型信号引导遗忘后模型的新型数据提取攻击，在多个基准上提升提取成功率，呼吁遗忘方法评估需考虑更广泛的威胁模型。
2025-10-22 cs.AI cs.CL cs.CR
SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
Michigan State University（密歇根州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM沃森人工智能实验室，IBM研究院）
本文首次探讨了优化器选择在LLM遗忘中的重要性，提出基于二阶优化的遗忘框架SOUL，将静态影响遗忘扩展为动态迭代过程，并在多种任务和模型上显著优于传统一阶方法。
2024-06-24 cs.CL cs.LG
Evaluating Deep Unlearning in Large Language Models
针对现有LLM事实遗忘方法忽视演绎关联的问题，提出深度遗忘设置及三个评估指标，构建基准数据集并实验，发现现有方法存在缺陷，需开发针对性算法实现稳健深度事实遗忘。
2025-11-11 cs.CL
Not All Data Are Unlearned Equally
Mila – Quebec AI Institute（魁北克AI研究所）；McGill University（麦吉尔大学）；Saarland University（萨尔兰大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）
本研究针对大语言模型遗忘任务，打破了“所有待遗忘数据平等”的假设，证明预训练数据中知识出现频率越高越难遗忘，同时发现两类评估方式存在不一致且随模型规模增大加剧，为优化遗忘方法与评估体系提供依据。
2025-09-01 cs.CL
PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning
Indiana University Bloomington（印第安纳大学布卢明顿分校）
提出PreUnlearn方法，通过数据特征预测遗忘操作对同领域和远距离知识的附带损害，实现遗忘前的风险审计。
2026-09-23 cs.CL
Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness
Provable Responsible AI and Data Analytics Lab（可证负责任人工智能与数据 analytics 实验室）；King Abdullah University of Science and Technology（卡塔尔国王 Abdullah 科学与技术大学）；National University of Singapore（新加坡国家大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出 IAM 框架，通过插值模型在样本上的泛化—拟合差距度量样本级遗忘完整性，可低成本扩展至 LLM，并揭示近似遗忘中过度与不足遗忘风险。
2025-06-06 cs.AI cs.CR cs.LG
DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher
George Mason University（乔治·玛森大学）
DUET通过结合上下文化和蒸馏方法，实现高效大语言模型去学习，提升遗忘控制与数据效率。
2026-02-26 cs.AI cs.LG
A Model Merging Approach for Continual MLLM Unlearning
针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。
2026-08-06 cs.AI cs.LG
GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs
The University of Melbourne（墨尔本大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）；Stevens Institute of Technology（斯蒂文斯理工学院）
本文提出梯度整流遗忘框架GRU，通过调节遗忘过程中梯度更新方向来减少对无关响应的副作用，从而缓解大语言模型遗忘与保留之间的权衡，并在多个基准上验证了有效性。
2025-06-05 cs.CL cs.LG
SAGE: Retain-Aware Post-Hoc Sanitization of Final Unlearning Vector
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）
提出SAGE方法，通过事后净化最终更新向量，在不重新运行原始遗忘流程的情况下，缓解大语言模型遗忘与保留能力之间的权衡。
2026-06-18 cs.AI cs.LG
Mechanistic Unlearning: Robust Knowledge Unlearning and Editing via Mechanistic Localization
University of Maryland（马里兰大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Bristol（布里斯托大学）；Google DeepMind（谷歌DeepMind）
本文利用机制可解释性定位事实回忆的查找表机制组件，将知识编辑与反学习限制在该电路内，从而提升跨格式鲁棒性、抗重学习与抗攻击能力并减少副作用。
2024-12-05 cs.CL cs.LG
Harmonizing Multi-Objective LLM Unlearning via Unified Domain Representation and Bidirectional Logit Distillation
George Mason University（乔治·马歇尔大学）；Michigan State University（密歇根州立大学）
本文提出一种多目标去学习框架，通过统一领域表示和双向logit蒸馏，解决去学习中的多个目标，包括去除不良知识、保持通用效用、避免对邻近概念的过度拒绝以及确保对抗性探测攻击的鲁棒性。
2026-04-16 cs.AI cs.LG
PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
The University of Tokyo（东京大学）；Tokyo University of Science（东京科学大学）
针对现有大多模态模型遗忘基准仅覆盖单次微调知识遗忘的局限，提出含预训练知识遗忘、长期可持续性评估两个维度的PULSE协议，评估发现现有方法在预训练知识遗忘和顺序遗忘场景下存在明显不足。
2025-10-28 cs.AI cs.LG
ROKA: Robust Knowledge Unlearning against Adversaries
University of California, Merced（加州大学梅尔塞德斯分校）；California State University, East Bay（加州州立大学东湾分校）
ROKA通过神经愈合机制实现鲁棒的知识反学习，有效对抗间接反学习攻击，同时保护保留数据的准确性。
2026-02-28 cs.AI cs.LG
On the importance of multiple training seeds for evaluating machine unlearning
Department of Computer Science（计算机科学系）；School of Mathematics（数学学院）；School of Science（科学学院）；Statistics and Physics（统计学与物理学）；Loughborough University（洛桑大学）；Newcastle University（新castle大学）
本文指出评估机器遗忘算法时仅使用单个训练种子可能导致结果不具代表性，并通过图像分类、联邦学习排序和大语言模型实验验证了问题普遍性，最后给出选择训练和遗忘种子数量的指导。
2026-06-05 cs.AI cs.LG
Learning-Time Encoding Shapes Unlearning in LLMs
UC, San Diego（加州大学圣地亚哥分校）
本文实证研究大语言模型学习阶段的知识编码方式对事后去学习效果的影响，发现释义描述学习提升去学习性能，而逐条知识去学习具挑战性。
2025-06-18 cs.CL cs.LG
Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Guidance with Proxy Constraint
Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Amazon（亚马逊）
EGUP通过纠缠引导与代理约束缓解大语言模型卸载过度遗忘问题，提升卸载-效用权衡性能。
2026-09-23 cs.AI cs.LG
TOFU: A Task of Fictitious Unlearning for LLMs
Carnegie Mellon University（卡内基梅隆大学）
本文提出TOFU基准，通过200个合成作者档案及遗忘集和配套指标，系统评估大语言模型遗忘效果，并发现现有基线方法均无法实现有效遗忘。
2024-01-11 cs.CL cs.LG
Rethinking Post-Unlearning Behavior of Large Vision-Language Models
Seoul National University（首尔国立大学）
本文提出新的反遗忘任务和PUBG方法，旨在生成隐私保护且信息丰富的后反遗忘响应，解决现有方法导致的退化、幻觉或过度拒绝问题。
2026-04-20 cs.AI cs.CV cs.LG
UCD: Unlearning in LLMs via Contrastive Decoding
MIT（麻省理工学院）；Boston University（波士顿大学）
本研究针对大语言模型的机器遗忘需求，提出基于对比解码的推理阶段遗忘算法UCD，通过两个不同训练设置的小模型引导原模型输出，在TOFU和MUSE基准上实现了遗忘效果与模型效用的更好平衡。
2025-06-12 cs.CL cs.CR cs.LG
Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models
University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出迭代对比遗忘（ICU）框架，通过知识遗忘引导、对比学习增强和迭代遗忘精化三个模块，在不依赖原始训练数据的前提下实现敏感信息遗忘并保持模型表达能力。
2025-09-18 cs.AI cs.CL cs.LG
Textual Unlearning Gives a False Sense of Unlearning
The State Key Laboratory of Blockchain and Data Security, Zhejiang University, P. R. China（区块链与数据安全国家重点实验室，浙江大学，中华人民共和国）；School of Cyber Science and Technology, Zhejiang University, P. R. China（网络安全与技术学院，浙江大学，中华人民共和国）；ETH Zurich, Switzerland（苏黎世联邦理工学院，瑞士）
本文提出 U-LiRA+ 审计方法及黑盒、白盒 TULA 泄露攻击，证明文本遗忘后仍可高置信检测并重构被遗忘文本，揭示现有机制存在严重隐私风险。
2025-06-10 cs.AI cs.CL cs.CR
Cross-Lingual Unlearning of Selective Knowledge in Multilingual Language Models
KAIST AI（韩国科学技术院人工智能学院）；Yonsei University（延世大学）
本文针对多语言语言模型中单语言遗忘无法跨语言迁移的问题，提出一种自适应遗忘方案，通过语言相关权重实现选择性跨语言知识擦除，在保持整体性能的同时提升安全性。
2024-10-03 cs.CL
"Alexa, can you forget me?" Machine Unlearning Benchmark in Spoken Language Understanding
Politecnico di Torino（托斯卡纳理工学院）
本文提出UnSLU-BENCH基准，首次针对语音语言理解中的机器卸学进行评估，通过八种技术对比揭示卸学方法的有效性和计算可行性差异。
2025-05-26 cs.CL cs.SD eess.AS
