Intrinsic Test of Unlearning Using Parametric Knowledge Traces
New York University(纽约大学);University of Toronto(多伦多大学);International Digital Economy Academy (IDEA), China(国际数字经济学院(IDEA));Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
针对大语言模型遗忘评估仅依赖行为测试、未监测参数内残留知识的问题,提出基于词汇投影的内部评估方法,构建含概念参数知识轨迹的ConceptVectors基准,发现现有方法仅推理时抑制概念,直接消融概念向量可有效移除知识并降低对抗风险。
2025-09-01 cs.AI cs.CL
Can Scientific Claims Be Removed from Large Language Models? A Systematic Evaluation of Claim-Level Unlearning
TCS Research(塔塔咨询服务研究部);Yale University(耶鲁大学)
本文针对大型语言模型中过时科学主张的传播风险,提出科学主张遗忘任务并构建基准SciUnlearn,发现现有遗忘方法无法有效消除主张级知识,需专门的结构化知识移除方法。
2026-08-24 cs.AI
Safety Alignment via Constrained Knowledge Unlearning
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));University of Macau, China(澳门大学);Nankai University, China(南开大学);Zhejiang University, China(浙江大学);Peng Cheng Laboratory, China(鹏城实验室);Shaqra University, Saudi Arabia(沙克拉大学)
针对LLM易受越狱攻击的问题,提出约束知识遗忘(CKU)策略,通过定位并保留有用神经元、遗忘有害知识,在提升安全性的同时保持模型性能。
2026-10-19 cs.AI cs.CL
Understanding the Dilemma of Unlearning for Large Language Models
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出可解释框架 unPact,通过提示 token 归因与贡献追踪分析六种遗忘方法,发现现有LLM遗忘要么知识可经关键词强调恢复,要么导致通用能力崩溃。
2025-09-29 cs.AI cs.CL
What the "Spotless" Mind Remembers: How Knowledge Entanglement Shapes What Leaks After Unlearning in LLMs
Computer Science University of Southern California(计算机科学南加州大学);Computer Science Indiana University(计算机科学印第安纳大学)
该研究探究LLM中知识纠缠与遗忘后事实泄露的关系,发现GA+KL等算法会反转纠缠度与回忆率的正相关,训练出可预测遗忘后提示事实性的模型用于模型审计。
2026-08-28 cs.AI cs.CL
Opt-Out: Investigating Entity-Level Unlearning for Large Language Models via Optimal Transport
KAIST AI(韩国科学技术院人工智能研究所);Hyundai Motor Company(现代汽车公司)
本文提出基于最优传输的实体级遗忘方法Opt-Out,利用Wasserstein距离擦除目标实体全部知识,并构建首个实体级遗忘数据集ELUDe,实验证明其优于现有方法且无需完整重训练。
2025-06-06 cs.CL
Does Localization Inform Unlearning? A Rigorous Examination of Local Parameter Attribution for Knowledge Unlearning in Language Models
Hanyang University(汉阳大学)
本文通过实验验证局部参数更新对语言模型知识去学习的有效性,发现参数局部性并不必然指示有效知识去除。
2025-09-17 cs.CL
A Neuro-inspired Interpretation of Unlearning in Large Language Models through Sample-level Unlearning Difficulty
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学)
本文受神经科学启发提出MRD指标量化样本级遗忘难度,并基于该指标设计加权采样方法优化大语言模型遗忘算法,实验证明其能提升遗忘效率与效果。
2025-04-09 cs.AI cs.CL cs.LG
Harry Potter is Still Here! Probing Knowledge Leakage in Targeted Unlearned Large Language Models via Automated Adversarial Prompting
University of Science, VNU-HCM(越南国立大学胡志明市理科大学);Indiana University(印第安纳大学)
提出LURK框架,通过自动生成对抗性后缀提示探测已遗忘LLM中隐藏的哈利·波特知识,揭示现有遗忘评估标准的漏洞,提供更严格的鲁棒性诊断工具。
2025-05-22 cs.AI cs.CL cs.CR
Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出动态遗忘攻击(DUA)评估LLM遗忘脆弱性,并设计潜在对抗遗忘(LAU)框架,通过最小-最大优化增强遗忘鲁棒性,显著提升遗忘效果且几乎不影响模型能力。
2024-08-20 cs.AI cs.CL cs.CR
ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models
Pune Institute of Computer Technology(浦那计算机技术学院);University of California, Irvine(加州大学欧文分校)
该研究针对大语言模型遗忘能力评估的缺陷,提出ConceptGuard基准,聚焦两用概念,发现现有遗忘技术存在性能缺陷,为实用安全的遗忘方法提供思路。
2026-10-19 cs.CL
ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models
University of Science and Technology of China(中国科学技术大学)
提出ZeroUnlearn框架,通过模型编辑将机器遗忘重新定义为精确的知识重映射问题,利用封闭解乘法参数更新实现高效、定向的少样本遗忘。
2026-06-03 cs.AI cs.CL cs.LG
RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出RWKU基准,在遗忘语料与保留语料均不可访问的现实设定下,以200位知名人物为遗忘目标,通过成员推断攻击和对抗探针等评估LLM知识遗忘效果。
2024-06-16 cs.AI cs.CL cs.LG
UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets
Shandong University(山东大学);Beijing University of Posts and Telecommunications(北京邮电大学);Leiden University(莱顿大学)
针对LLM遗忘方法因忽略逻辑相关知识导致模型可重构目标内容的问题,提出UIPE方法通过移除与遗忘目标高度相关的知识来增强遗忘效果,在TOFU基准上显著提升了多种主流方法性能。
2025-03-06 cs.CL
Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation
本文针对跨模态知识遗忘迁移研究缺口,推出UNLINK-VL基准,实验发现跨模态遗忘存在不对称性,纯文本遗忘迁移效果差,凸显跨模态遗忘与评估的必要性。
2026-08-05 cs.AI
PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning
Indiana University Bloomington(印第安纳大学布卢明顿分校)
提出PreUnlearn方法,通过数据特征预测遗忘操作对同领域和远距离知识的附带损害,实现遗忘前的风险审计。
2026-09-23 cs.CL
Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges
Information Engineering University(信息工程大学);Tsinghua University(清华大学)
本文综述大语言模型知识遗忘,形式化定义任务,将方法分为参数优化、参数合并和上下文学习三类,并梳理评估数据集、挑战与未来方向。
2023-12-08 cs.CL
Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Xi’an Jiaotong University(西安交通大学)
本文提出一种MLLM反学习方法,通过冻结LLM主干并微调视觉模块,在保留非目标视觉知识和全部文本知识的同时,有效遗忘目标视觉知识。
2026-05-07 cs.AI
Measuring the Depth of LLM Unlearning via Activation Patching
Sungkyunkwan University(全北大学)
提出遗忘深度评分(UDS),通过激活修补量化遗忘的机制深度,在150个遗忘模型上的元评估中达到最高忠实性和鲁棒性。
2026-10-06 cs.AI cs.CL cs.LG
Confess What You Know: Forget-Set Misalignment with Model Knowledge in LLM Unlearning
Dongguk University-Seoul(东国大学首尔校区)
针对LLM遗忘中遗忘集与模型知识错位的问题,提出数据盲框架CONFS,通过构建与模型对齐的遗忘集,实现了良好的遗忘-效用平衡,优于其他数据盲遗忘集构建方法。
2026-09-02 cs.AI cs.CL cs.LG
To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models
Zhejiang University(浙江大学);Platform and Content Group, Tencent(腾讯平台与内容事业群);Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型知识遗忘边界模糊、易过度擦除必要知识的问题,本研究推出KnowUnDo基准评估遗忘效果,提出利用梯度精准定位敏感参数的MemFlex方法,在精准遗忘与知识保留上均优于现有方法。
2024-10-06 cs.AI cs.CL cs.CV
Probing Knowledge Holes in Unlearned LLMs
Virginia Tech(弗吉尼亚理工大学);Cisco Research(思科研究)
本文发现机器遗忘技术会在LLM中产生标准基准无法捕捉的“知识空洞”,并提出测试用例生成框架探测这些区域,揭示了高达98.7%的测试用例出现响应异常,表明需重新思考遗忘模型的知识保留评估方法。
2025-10-27 cs.AI cs.LG
Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs
IBM Research(IBM研究院)
本文提出 SPUNGE 框架,通过按数据属性分割遗忘数据、分别遗忘并合并模型,增强任意机器遗忘方法的效果,并在最先进 LLM 上验证其安全性提升与通用能力保持。
2024-06-17 cs.AI cs.CL cs.LG
ROKA: Robust Knowledge Unlearning against Adversaries
University of California, Merced(加州大学梅尔塞德斯分校);California State University, East Bay(加州州立大学东湾分校)
ROKA通过神经愈合机制实现鲁棒的知识反学习,有效对抗间接反学习攻击,同时保护保留数据的准确性。
2026-02-28 cs.AI cs.LG
Beyond Superficial Forgetting: Thorough Unlearning through Knowledge Density Estimation and Block Re-insertion
KUnBR通过知识密度估计和块重新插入策略,有效解决大语言模型中有害知识的彻底移除问题,实现高效的遗忘与模型实用性平衡。
2025-11-23 cs.AI cs.LG
Tool Unlearning for Tool-Augmented LLMs
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对工具增强型LLM首次提出工具遗忘任务,并设计ToolDelete方法,通过知识移除与成员推断攻击评估,在多个数据集上实现有效遗忘且不损害其他能力。
2025-08-06 cs.AI cs.CL cs.LG
Knowledge Unlearning for Mitigating Privacy Risks in Language Models
KAIST(韩国科学技术院);Konkuk University(建国大学);Seoul National University(首尔大学);LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
预训练的语言模型(LM)在初始预训练期间记住大量知识,包括可能侵犯个人生活和身份隐私的信息。以前解决语言模型隐私问题的工作主要集中在数据预处理和差分隐私方法上,这两种方法都需要重新训练底层LM。我们提出知识unlearning作为一种替代方法,以减少隐私风险的LM事后。我们表明,简单地对目标令牌序列执行梯度上升可以有效地忘记它们,而对于较大的LM,一般语言建模性能几乎没有下降;有时甚至可以通过几次迭代来大幅提高底层LM。我们还发现,顺序遗忘比尝试一次性遗忘所有数据更好,并且遗忘高度依赖于哪种数据(域)被遗忘。通过与以前的数据预处理方法和已知用于减轻LM隐私风险的解码方法进行比较,我们表明,在易受提取攻击的数据先验已知的情况下,unlearning可以提供更强的经验隐私保证,同时更加有效和鲁棒。我们在https://github.com/joeljang/knowledge-unlearning上发布了复制结果所需的代码和数据集。
2022-12-19 cs.CL
Not All Data Are Unlearned Equally
Mila – Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);Saarland University(萨尔兰大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本研究针对大语言模型遗忘任务,打破了“所有待遗忘数据平等”的假设,证明预训练数据中知识出现频率越高越难遗忘,同时发现两类评估方式存在不一致且随模型规模增大加剧,为优化遗忘方法与评估体系提供依据。
2025-09-01 cs.CL
RESTOR: Knowledge Recovery in Machine Unlearning
University of Maryland(马里兰大学);Mistral AI;Stanford University(斯坦福大学);Allen Institute for AI(人工智能研究院);University of Washington(华盛顿大学)
针对机器遗忘评估难题,提出RESTOR框架,通过同时评估遗忘目标知识与恢复原始知识状态,揭示现有算法仅重遗忘不重恢复等缺陷,并发现定位遗忘目标可提升性能。
2025-05-26 cs.CL
Breaking Chains: Unraveling the Links in Multi-Hop Knowledge Unlearning
KAIST AI(韩国科学技术院人工智能学院)
本文针对现有多跳知识遗忘方法在中间跳被遗忘时无法彻底移除知识的问题,提出基于不确定性的MUNCH框架,通过分解多跳查询并利用模型不确定性来增强遗忘效果,且可与现有遗忘技术灵活集成。
2024-10-17 cs.CL
Concept Unlearning in Large Language Models via Self-Constructed Knowledge Triplets
本文提出概念遗忘(CU)任务,通过让LLM自构知识三元组并与内部知识表示对齐,实现人物、事件等概念级遗忘,同时保留无关知识。
2025-09-19 cs.CL cs.LG
KnowledgeSmith: Uncovering Knowledge Updating in LLMs with Model Editing and Unlearning
Carnegie Mellon University(卡内基梅隆大学);William & Mary(威廉与玛丽学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出KnowledgeSmith框架,系统研究LLM的知识更新机制,通过结构化干预揭示知识传播、可塑性与鲁棒性等特性。
2026-03-25 cs.CL
Mechanistic Unlearning: Robust Knowledge Unlearning and Editing via Mechanistic Localization
University of Maryland(马里兰大学);Georgia Institute of Technology(佐治亚理工学院);University of Bristol(布里斯托大学);Google DeepMind(谷歌DeepMind)
本文利用机制可解释性定位事实回忆的查找表机制组件,将知识编辑与反学习限制在该电路内,从而提升跨格式鲁棒性、抗重学习与抗攻击能力并减少副作用。
2024-12-05 cs.CL cs.LG
Learning-Time Encoding Shapes Unlearning in LLMs
UC, San Diego(加州大学圣地亚哥分校)
本文实证研究大语言模型学习阶段的知识编码方式对事后去学习效果的影响,发现释义描述学习提升去学习性能,而逐条知识去学习具挑战性。
2025-06-18 cs.CL cs.LG
Robust MLLM Unlearning via Visual Knowledge Distillation
Xidian University, China(西安电子科技大学);XJTU University, China(西安交通大学);Amazon.com, USA(亚马逊公司)
本文提出通过视觉知识蒸馏实现多模态大语言模型的鲁棒去学习,有效保留文本知识并提升效率。
2026-02-01 cs.AI cs.CV
DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher
George Mason University(乔治·玛森大学)
DUET通过结合上下文化和蒸馏方法,实现高效大语言模型去学习,提升遗忘控制与数据效率。
2026-02-26 cs.AI cs.LG
Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学)
本文提出TokenUnlearn框架,通过标记级归因实现精确撤销,结合知识意识信号和熵意识信号生成重要性评分,改进梯度信噪比,实验显示在遗忘效果和效用保持方面优于序列级基线。
2026-05-01 cs.CL
Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models
针对未学习多模态大语言模型存在的知识缺口问题,提出带锚定正则化的选择性保护方法,在保障未学习安全性的同时大幅恢复模型响应质量。
2026-08-04 cs.AI
Model Unlearning Objectives Vary for Distinct Language Functions
Pennsylvania State University(宾夕法尼亚州立大学);Scale AI
本文提出针对不同语言功能(危险知识遗忘和毒性遗忘)应设计不同的遗忘方法,并分别提出基于余弦的元学习变体RMU和多层目标方法,在多个7-8B模型上取得良好效果。
2026-05-26 cs.CL
Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学)
该研究提出大语言模型实体级遗忘新任务,系统评估主流遗忘算法发现其效果不佳,明确知识覆盖度、遗忘集规模及实体引入方式对遗忘效果的影响,为相关研究提供参考。
2025-05-19 cs.CL
Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
针对现有大语言模型遗忘评估忽略知识隐式关联、易高估效果的问题,提出带置信度的知识图谱表征与LLM推理评判的评估框架,新基准实验验证其更严谨真实。
2025-10-22 cs.CL cs.LG
Multilingual Unlearning in LLMs: Transfer, Dynamics, and Reversibility
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
本文通过扩展TOFU基准到五种语言,研究大型语言模型中的多语言遗忘,发现遗忘迁移在不同语言间高度可变,且遗忘主要作用于后期解码层而非共享的跨语言潜在空间,因此可以通过推理时的单一引导方向逆转大部分遗忘效果。
2026-06-02 cs.CL
CALIBURN: Self-Calibrated LLM Unlearning Alignment
George Mason University(乔治·马歇尔大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
CATNIP通过校准和令牌化的负偏好对齐方法,实现有效LLM去学习,无需保留数据或对比对,提升知识遗忘与保留的平衡。
2026-09-03 cs.CL
Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning
Department of Natural Language Processing, MBZUAI.;University of Oxford.;RIKEN Center for Advanced Intelligence Project.;TMLR Group, Department of Computer Science, Hong Kong Baptist University
本文提出D^2方法,通过限制潜在表示中的响应分布来擦除不受欢迎的知识,同时区分保留知识,从而实现安全且一致的拒绝机制,以提高大语言模型去学习的效果。
2026-05-16 cs.AI cs.LG
UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI
Google DeepMind(谷歌DeepMind)
本文提出“反遗忘”概念,指出大语言模型中被遗忘的知识可通过上下文学习重新引入,因此仅靠遗忘不足以实现内容监管,仍需内容过滤机制。
2024-06-27 cs.AI cs.CL cs.CR
Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating
University of Virginia(弗吉尼亚大学);NEC Laboratories America(美国NEC实验室)
针对LLM更新中编辑与遗忘任务间的冲突及知识存储低效问题,提出基于知识码本的无冲突框架LOKA,通过相似性感知映射优化存储并利用特定任务记忆解决冲突,有效提升了模型知识更新效果。
2025-01-31 cs.CL
Avoiding Copyright Infringement via Large Language Model Unlearning
University of Pennsylvania(宾夕法尼亚大学);University of Notre Dame(圣母大学);Northwestern University(西北大学)
针对LLMs因生成受版权保护内容引发的问题,提出稳定序列遗忘(SSU)框架,通过识别移除对应权重更新、引入随机标签损失等方法,在遗忘效果与通用能力间实现有效权衡,优于现有基线。
2025-02-11 cs.CL
Knowledge Beyond Language: Bridging the Gap in Multilingual Machine Unlearning Evaluation
GSCST, Seoul National University(首尔国立大学GSCST);AIIS, Seoul National University(首尔国立大学AIIS);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系);Korean Surgical Researcher Foundation, Republic of Korea(韩国外科研究员基金会)
本文提出两种新指标评估多语言信息分布,分析不同语言对间信息一致去除,为多语言机器遗忘评估提供新视角。
2026-05-14 cs.CL
GONE: Structural Knowledge Unlearning via Neighborhood-Expanded Distribution Shaping
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
本文提出GONE基准,用于评估LLM在结构知识图谱中的知识卸载能力,引入NEDS框架通过图连接性识别相关邻居,实现精确的遗忘边界划分,展示出在知识编辑和卸载任务中的优越性能。
2026-09-03 cs.CL cs.LG
Evaluating Deep Unlearning in Large Language Models
针对现有LLM事实遗忘方法忽视演绎关联的问题,提出深度遗忘设置及三个评估指标,构建基准数据集并实验,发现现有方法存在缺陷,需开发针对性算法实现稳健深度事实遗忘。
2025-11-11 cs.CL
PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
The University of Tokyo(东京大学);Tokyo University of Science(东京科学大学)
针对现有大多模态模型遗忘基准仅覆盖单次微调知识遗忘的局限,提出含预训练知识遗忘、长期可持续性评估两个维度的PULSE协议,评估发现现有方法在预训练知识遗忘和顺序遗忘场景下存在明显不足。
2025-10-28 cs.AI cs.LG
Unlearning vs. Obfuscation: Are We Truly Removing Knowledge?
Department of Engineering, University of Cambridge(剑桥大学工程系);Department of Informatics, King’s College London(伦敦大学国王学院信息学院);SCB 10X, SCBX Group(SCB 10X,SCBX集团)
本文区分遗忘与混淆,提出DF-MCQ方法,通过KL散度展平多项选择题预测分布,实现高拒绝率与高不确定性的真正知识移除。
2025-09-08 cs.AI cs.LG
In-Context Unlearning: Language Models as Few Shot Unlearners
Harvard University(哈佛大学)
本文提出上下文遗忘方法,在推理时通过提供带有错误标签的特定输入使大型语言模型无需更新参数即可遗忘训练实例,实验表明其效果可与需要访问模型参数的先进方法相当或更优。
2024-06-06 cs.AI cs.CR cs.LG
Prompt Attacks Reveal Superficial Knowledge Removal in Unlearning Methods
Supervised Program for Alignment Research (SPAR)(对齐研究监督计划)
本研究通过提示攻击揭示部分机器遗忘方法仅实现表层知识移除,系统评估八种技术后发现ELM等易受攻击,RMU和TAR稳健,还公开了评估框架以推动相关研究。
2025-08-14 cs.AI cs.CL cs.CR