ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出基于TIES-Merging模型合并的遗忘系统,在SemEval-2025任务4中排名第二,并分析遗忘过程与评估指标不足,强调需更全面的评估方法。
2025-04-20 cs.AI cs.CL cs.CV
Operationalising the Right to be Forgotten in LLMs: A Lightweight Sequential Unlearning Framework for Privacy-Aligned Deployment in Politically Sensitive Environments
Department of Mathematics(数学系);Munster Technological University(穆恩斯特技术大学);Department of Computer Science(计算机科学系)
本文提出一种轻量级顺序反学习框架,用于在政治敏感环境中实现隐私对齐的LLM部署,通过正向微调稳定良性能力,再通过层受限负向微调抑制敏感模式,实验显示其在保持事实准确性和流畅性的同时有效抑制行为。
2026-04-14 cs.AI
Atyaephyra at SemEval-2025 Task 4: Low-Rank Negative Preference Optimization
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院)
本文提出结合低秩适配的负偏好优化方法,用于大语言模型敏感内容遗忘任务,通过高效计算额外正则化项提升遗忘稳定性,并在 SemEval 2025 任务中显著超越基线。
2025-05-07 cs.AI cs.CL cs.LG
Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM
Rice University(里士大学);Carnegie Mellon University(卡内基梅隆大学)
该研究针对精确遗忘后仍存在的隐私风险,提出利用遗忘前模型信号引导遗忘后模型的新型数据提取攻击,在多个基准上提升提取成功率,呼吁遗忘方法评估需考虑更广泛的威胁模型。
2025-10-22 cs.AI cs.CL cs.CR
Catastrophic Failure of LLM Unlearning via Quantization
The Pennsylvania State University(宾夕法尼亚州立大学);Harvard University(哈佛大学);Amazon(亚马逊公司)
该研究发现大语言模型的机器遗忘可能仅隐藏知识而非真正擦除,经量化处理后被遗忘信息会恢复,实验显示带效用约束的遗忘方法全精度下保留21%目标遗忘知识,4位量化后升至83%,揭示了现有遗忘方法的潜在缺陷。
2025-03-21 cs.AI cs.CL
How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective
University of Cambridge(剑桥大学);Meta
本文提出PISTOL结构化数据集构建方法,揭示数据互联性对LLM遗忘的影响,发现互联性越强、知识图谱越密,遗忘难度越大,且领域偏斜时难以平衡各领域保持性能。
2025-03-10 cs.AI cs.CL cs.LG
QUAIL: Quantization Aware Unlearning for Mitigating Misinformation in LLMs
Department of Computer Science University of British Columbia(计算机科学系 首都大学)
QUAIL通过量化感知去学习方法,有效缓解大语言模型中因量化导致的虚假信息恢复问题。
2026-01-21 cs.AI cs.LG
A Comprehensive Evaluation of LLM Unlearning Robustness under Multi-Turn Interaction
本文研究多轮交互环境下LLM去学习的稳定性,发现静态评估可能高估实际效果,强调需确保交互场景下的稳定遗忘。
2026-03-15 cs.AI cs.CL
RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models
Harbin Institute of Technology(哈尔滨工业大学)
针对大型语言模型遗忘个人信息时难以平衡遗忘质量与模型效用的问题,提出基于反向KL散度的知识蒸馏遗忘算法RKLD,有效实现高质量遗忘并维持模型效用。
2024-06-04 cs.CL
Rethinking Post-Unlearning Behavior of Large Vision-Language Models
Seoul National University(首尔国立大学)
本文提出新的反遗忘任务和PUBG方法,旨在生成隐私保护且信息丰富的后反遗忘响应,解决现有方法导致的退化、幻觉或过度拒绝问题。
2026-04-20 cs.AI cs.CV cs.LG
REBEL: Hidden Knowledge Recovery via Evolutionary-Based Evaluation Loop
Jagiellonian University(雅盖隆大学);IDEAS Research Institute(IDEAS研究所)
REBEL通过进化方法生成对抗性提示,揭示当前去学习方法仅提供表面保护,能有效恢复模型中被误认为遗忘的知识。
2026-02-05 cs.AI cs.LG
On the Recoverability of Private Information Unlearning in Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Ottawa(渥太华大学);Tongji University(同济大学)
本研究针对大型语言模型的私有信息遗忘问题,构建含虚假私有信息的合成数据集,提出白盒审计框架,发现五种现有遗忘方法中,逆贪心解码可恢复所谓已遗忘的信息,表明当前遗忘方法常无法完全消除敏感信息,需更可靠方法保障LLMs隐私。
2026-09-01 cs.CL cs.LG
The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);IBM Research(IBM研究院)
本文提出了一种动态框架,用于评估大语言模型消除方法的鲁棒性,通过复杂结构查询揭示消除技术在多跳设置中的脆弱性,并提供可扩展的评估方法。
2026-03-11 cs.AI
GRAIL: Gradient-Based Adaptive Unlearning for Privacy and Copyright in LLMs
Korea University(高丽大学)
针对大语言模型因学习敏感信息引发的“被遗忘权”等问题及现有单域遗忘方法无法应对多域场景的缺陷,提出GRAIL多域遗忘框架,通过梯度信息和自适应参数定位策略,在保证遗忘成功率的同时提升知识保留成功率17%。
2025-04-17 cs.AI cs.CL
Understanding the Dilemma of Unlearning for Large Language Models
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出可解释框架 unPact,通过提示 token 归因与贡献追踪分析六种遗忘方法,发现现有LLM遗忘要么知识可经关键词强调恢复,要么导致通用能力崩溃。
2025-09-29 cs.AI cs.CL
Linguistic Loopholes in LLM Unlearning: From a 174-Language Benchmark to Coverage-Aware Unlearning
Johns Hopkins University(约翰霍普金斯大学)
针对LLM遗忘中的跨语言漏洞,提出语言预算多语言遗忘任务及COVER方法,通过选择源语言最大化覆盖率,在三个模型家族上显著降低残留访问。
2026-10-01 cs.AI cs.CL
Forgetting to Forget: Attention Sink as A Gateway for Backdooring LLM Unlearning
Michigan State University(密歇根州立大学);National University of Singapore(新加坡国立大学);IBM Research(IBM研究院)
该研究针对LLM遗忘过程,提出利用注意力汇作为网关的后门攻击方法,可使模型在无触发器时正常遗忘,有触发器时恢复被遗忘知识,经实验验证有效。
2026-08-25 cs.CL cs.LG
Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs
TCS Research, Hyderabad(TCS研究院,海得拉巴);IIIT Hyderabad(IIIT海得拉巴)
提出影子遗忘范式,通过神经语义投影器遗忘(NSPU)框架在匿名化遗忘数据上实现机器遗忘,保护隐私的同时保持模型效用,计算效率提升至少10倍。
2026-05-26 cs.AI cs.CL cs.CR
Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
School of Cyber Science and Engineering, Southeast University(东南大学网络空间科学与工程学院);College of Artificial Intelligence and Automation, Hohai University(河海大学人工智能与自动化学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
提出单图像遗忘(SIU)方法,通过微调单个图像几步实现多模态大语言模型对概念视觉识别的遗忘,并建立MMUBench基准,实验显示其性能超越现有方法且能抵御成员推断和越狱攻击。
2025-03-28 cs.AI cs.CV
REMIND: Input Loss Landscapes Reveal Residual Memorization in Post-Unlearning LLMs
Technion - Israel Institute of Technology(技术离子-以色列理工学院)
本文提出REMIND方法,通过分析输入邻域损失景观检测大语言模型遗忘后的残余记忆,仅需查询访问即可更敏感地评估遗忘效果,并在多模型、多数据集及改写输入上表现鲁棒。
2025-11-06 cs.CL cs.LG
Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning
AIRI;Sber AI Lab;HSE University(HSE大学);Skoltech;ISP RAS Research Center for Trusted Artificial Intelligence(ISP RAS可信人工智能研究中心)
本研究通过构建DUET基准,分析了预训练与监督微调阶段的事实显著性对机器遗忘效果的影响,发现微调后的模型遗忘更平滑且保留率更高。
2026-05-30 cs.CL
Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning
Fudan University(复旦大学);Central South University(中南大学);Michigan State University(密歇根州立大学)
本文评估并改进LLM去学习中的诚实性,提出正式定义并引入评估指标,实验显示现有方法无法满足标准,提出ReVa方法提升去学习效果和诚实性。
2026-05-09 cs.AI cs.LG
SUA: Stealthy Multimodal Large Language Model Unlearning Attack
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊);University of Sheffield(谢菲尔德大学)
本文提出SUA框架,通过学习通用噪声模式攻击多模态大语言模型的遗忘机制,以恢复被遗忘的敏感知识,并通过嵌入对齐损失提升攻击隐蔽性,实验证明其有效且具有泛化能力。
2025-09-21 cs.AI cs.LG
Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs
提出FOM-UL层选择性遗忘框架,通过遗忘-保留显著性分数选择Transformer层进行定向更新,在TOFU等基准上提升遗忘效果、保持效用并增强量化鲁棒性。
2026-09-10 cs.AI cs.LG
What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests
TU Berlin(柏林技术大学)
本文提出WikiMem数据集和模型无关指标,通过校准负对数似然量化LLMs中个体事实关联,为被遗忘权请求动态构建遗忘集奠定基础。
2025-07-15 cs.CL cs.CY cs.LG
Sparse-Autoencoder-Guided Internal Representation Unlearning for Large Language Models
本文提出一种稀疏自编码器引导的内部激活干预遗忘方法,将目标实体激活对齐到未知实体,在不损害非目标知识的前提下实现大语言模型的真正遗忘并避免模型崩溃。
2025-09-19 cs.CL cs.LG
Machine Unlearning of Pre-trained Large Language Models
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);The Hong Kong Polytechnic University(香港理工大学);University of Melbourne(墨尔本大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对预训练大型语言模型中的“被遗忘权”问题,提出一个包含七种方法的机器遗忘框架,建立遗忘性能基准,证明其计算效率比重新训练高出超过$10^5$倍,并发现梯度上升与梯度下降结合能提升超参数鲁棒性。
2024-05-30 cs.AI cs.CL cs.CR
Robust LLM Unlearning Against Relearning Attacks: The Minor Components in Representations Matter
Shanghai University of Finance and Economics(上海金融学院);Alibaba Group(阿里巴巴集团);Southern University of Science and Technology(南方科技大学);Beihang University(北航)
本文研究了LLM去学习中对抗重新学习攻击的脆弱性,发现现有方法主要优化主导成分,而次要成分更抗反转。提出Minor Component Unlearning方法,通过聚焦稳健方向提升抗攻击能力。
2026-10-06 cs.CL
Forget to Know, Remember to Use: Context-Aware Unlearning for Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon(亚马逊)
针对现有遗忘方法损害上下文可用性的问题,提出一种插件式目标项,在保持遗忘效果和保留集性能的同时恢复模型对已遗忘知识的上下文使用能力。
2026-05-27 cs.CL
Knowledge Unlearning for Mitigating Privacy Risks in Language Models
KAIST(韩国科学技术院);Konkuk University(建国大学);Seoul National University(首尔大学);LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
预训练的语言模型(LM)在初始预训练期间记住大量知识,包括可能侵犯个人生活和身份隐私的信息。以前解决语言模型隐私问题的工作主要集中在数据预处理和差分隐私方法上,这两种方法都需要重新训练底层LM。我们提出知识unlearning作为一种替代方法,以减少隐私风险的LM事后。我们表明,简单地对目标令牌序列执行梯度上升可以有效地忘记它们,而对于较大的LM,一般语言建模性能几乎没有下降;有时甚至可以通过几次迭代来大幅提高底层LM。我们还发现,顺序遗忘比尝试一次性遗忘所有数据更好,并且遗忘高度依赖于哪种数据(域)被遗忘。通过与以前的数据预处理方法和已知用于减轻LM隐私风险的解码方法进行比较,我们表明,在易受提取攻击的数据先验已知的情况下,unlearning可以提供更强的经验隐私保证,同时更加有效和鲁棒。我们在https://github.com/joeljang/knowledge-unlearning上发布了复制结果所需的代码和数据集。
2022-12-19 cs.CL
The More Popular, The Harder to Forget: Adaptive Popularity for LLM Unlearning
AIRI;Sber AI Lab(Sber AI实验室);Skoltech(斯科尔科沃科学技术研究院);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息学研究所可信人工智能研究中心)
针对现有LLM遗忘方法未区分训练数据频率的问题,提出AdaPop方法,经实验其在转述查询和对抗性重构下均能显著减少遗忘内容泄露。
2026-08-17 cs.CL
R-TOFU: Unlearning in Large Reasoning Models
Hongik University(Hongik大学);Yonsei University(Yonsei大学)
针对大型推理模型在思维链中残留私有信息的问题,提出R-TOFU基准和Reasoned IDK方法,实现更有效的机器遗忘并保持推理能力。
2025-05-27 cs.CL
Trajectory-Guided Forget-Recover Network for Continual LLM Unlearning
针对持续大语言模型遗忘的两大挑战,提出TFR-Net,通过跟踪通道级风险抑制持久目标相关通道、恢复休眠通道,在四个数据集上取得更优的遗忘效果与保留性能权衡。
2026-08-05 cs.AI cs.LG
ROKA: Robust Knowledge Unlearning against Adversaries
University of California, Merced(加州大学梅尔塞德斯分校);California State University, East Bay(加州州立大学东湾分校)
ROKA通过神经愈合机制实现鲁棒的知识反学习,有效对抗间接反学习攻击,同时保护保留数据的准确性。
2026-02-28 cs.AI cs.LG
AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models
针对多模态大语言模型中视觉概念遗忘研究不足的问题,提出AUVIC对抗性视觉概念遗忘框架,通过对抗性扰动精确移除目标视觉概念且不影响相似实体,构建首个群体场景基准VCUBench,实现最优目标遗忘率且非目标性能下降极小。
2025-11-14 cs.AI cs.CV
TOFU: A Task of Fictitious Unlearning for LLMs
Carnegie Mellon University(卡内基梅隆大学)
本文提出TOFU基准,通过200个合成作者档案及遗忘集和配套指标,系统评估大语言模型遗忘效果,并发现现有基线方法均无法实现有效遗忘。
2024-01-11 cs.CL cs.LG
Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
针对现有大语言模型遗忘评估忽略知识隐式关联、易高估效果的问题,提出带置信度的知识图谱表征与LLM推理评判的评估框架,新基准实验验证其更严谨真实。
2025-10-22 cs.CL cs.LG
Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models
本文提出轻量级联邦大语言模型学习与遗忘框架Oblivionis,通过将联邦学习与遗忘统一为双重优化目标,整合多种算法实现训练后选择性移除客户端私有数据,在遗忘效果与模型效用间取得稳健平衡。
2025-11-08 cs.AI cs.CR cs.LG
ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition
Fujian Normal University(福建师范大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);Data61 CSIRO(Data61澳大利亚联邦科学与工业研究组织)
本文提出ICED框架,通过多模态大语言模型构建任务特定概念词汇,实现VLMs中概念级去学习,有效去除目标知识并保留非目标语义,实验表明其在目标遗忘和模型效用方面表现优异。
2026-05-15 cs.AI cs.CV cs.LG
PPE-Bench: A Benchmark for Evaluating MLLM Unlearning under Private-Public Entanglement
The Pennsylvania State University(宾夕法尼亚州立大学);University of Sheffield(谢菲尔德大学)
研究针对现有MLLM遗忘基准测试的局限性,提出PPE-Bench基准测试,包含公私纠缠图像,引入两种方法在遗忘中保护公共信息,实验发现现有方法能减少隐私泄露,但常损害相邻公共信息。
2026-08-28 cs.AI cs.CR cs.CV
"Alexa, can you forget me?" Machine Unlearning Benchmark in Spoken Language Understanding
Politecnico di Torino(托斯卡纳理工学院)
本文提出UnSLU-BENCH基准,首次针对语音语言理解中的机器卸学进行评估,通过八种技术对比揭示卸学方法的有效性和计算可行性差异。
2025-05-26 cs.CL cs.SD eess.AS
FAME: Fictional Actors for Multilingual Erasure
FAME通过多语言虚构数据评估机器去训练技术,支持实体级和实例级遗忘,提供受控环境以验证去训练方法的有效性。
2025-12-17 cs.CL
Stochastic Meta-Unlearning: Bridging Language Backbone and Multimodal Unlearning
UNC at Chapel Hill(北卡罗来纳大学教堂山分校);Cisco Research(思科研究院);Michigan State University(密歇根州立大学)
研究视觉语言模型的机器遗忘问题,提出随机元遗忘框架,利用VLM级反馈学习初始化,经内、外循环更新语言主干,实验证明该方法在遗忘-保留权衡上表现最佳,能提升准确率且可迁移。
2026-07-22 cs.CL cs.LG