Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network
Department of Computer Engineering, College of Science & Technology(计算机工程系,科学与技术学院)
本文提出一种基于紧凑型概率神经网络的模式分类方法,通过简单的一次性网络生长算法自动确定结构和参数,实现连续增量学习与遗忘任务,实验表明其在分类性能和连续学习任务中表现优异。
2026-03-21 cs.CV cs.LG
Towards Certified Unlearning for Deep Neural Networks
University of Virginia(弗吉尼亚大学)
本文提出简单技术将可信反向学习扩展到非凸目标,通过逆Hessian近似降低时间复杂度,并探讨非收敛训练和顺序反向学习,实验证明方法有效性及可信反向学习优势。
2026-04-21 cs.LG stat.ML
LLM Unlearning via Neural Activation Redirection
University of Cambridge(剑桥大学);Meta;UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);FAIR at Meta(Meta的FAIR)
本文提出 LUNAR 方法,基于线性表示假说,通过将遗忘数据表示重定向到无法回答的激活区域,实现高效、可控且鲁棒的 LLM 遗忘,显著提升遗忘效果与模型效用。
2025-10-07 cs.AI cs.LG
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection
Deakin University(迪肯大学)
针对机器遗忘需删除指定样本影响且保留剩余知识的问题,提出 PGU 方法,通过正交于保留数据梯度子空间的投影梯度与 SGD 更新实现高效、可扩展遗忘。
2023-12-07 cs.CV cs.LG
PRUNE: A Patching Based Repair Framework for Certifiable Unlearning of Neural Networks
Zhejiang University(浙江大学);Singapore Management University(新加坡管理学院);Huzhou Institute of Industrial Control Technology(湖州工业控制技术研究所)
提出基于修补的神经网络遗忘框架PRUNE,通过最小修补实现可认证的数据遗忘,并迭代选择代表性数据点以遗忘整个集合,兼顾效果与效率。
2025-10-23 cs.AI cs.CR cs.LG
GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Adobe(奥多比);Harvard University(哈佛大学)
图去学习涉及从训练的图神经网络(GNN)模型中删除节点、节点标签和关系等图形元素,对于数据元素可能变得不相关、不准确或隐私敏感的现实应用至关重要。然而,现有的方法图unlearning要么恶化模型的权重共享所有节点或未能有效地删除边缘,由于他们的强烈依赖于局部图邻域。为了解决这些限制,我们引入了GNNDelete,这是一种新的模型不可知的逐层操作符,它优化了两个关键属性,即边缘一致性和邻域影响,用于图形学习。边缘一致性确保从模型权重和相邻表示中删除删除元素的影响,而邻域影响确保删除后保留剩余的模型知识。GNNDelete更新表示以从模型中删除节点和边,同时保留其余的学习知识。我们在七个真实世界的图上进行了实验,结果表明GNNDelete在边缘、节点和节点特征删除任务上的性能比现有方法高出38.8%(AUC),在区分删除的边缘和未删除的边缘上的性能比现有方法高出32.2%。此外,GNNDelete是高效的,比在WordNet18上从头开始重新训练GNN节省了12.3倍的时间和9.3倍的空间。
2023-02-26 cs.AI cs.LG
How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?
Faculty of Computer and Information Science(计算机与信息科学学院)
本文研究了深度神经网络去学习任务中模型参数化水平(即网络宽度)对性能的影响,探讨了不同去学习方法在不同参数化水平、去学习目标(隐私保护或偏见消除)以及是否显式使用被删除示例时的表现差异,发现过度参数化模型在隐私和偏见消除方面表现更优,但会带来一定的泛化能力下降。
2026-05-19 cs.LG
Machine Unlearning using Forgetting Neural Networks
Winona State University(温纳州立大学);Institute of Science and Technology Austria(奥地利科学技术研究院)
本文提出基于遗忘神经网络的无学习方法,通过乘法衰减因子显式编码遗忘,有效移除与训练数据相关的信息,同时保持模型性能。
2025-12-29 cs.AI cs.LG cs.NE
Machine Unlearning for Class Removal through SISA-based Deep Neural Network Architectures
Department of Computer Science and Engineering(计算机科学与工程系);Brac University(布拉大学);Dhaka, Bangladesh(孟加拉国达卡)
本文提出一种改进的SISA框架,用于在卷积神经网络中实现类别级无学习,通过增强的重放机制和门控网络提升选择性遗忘效率,实验表明该方法能有效移除特定类别数据并保持模型性能。
2026-04-30 cs.CR cs.CV cs.LG
Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出反向学习腐败攻击,通过在训练图中注入特定节点并请求删除,导致图神经网络性能下降,揭示了隐私法规下反向学习的脆弱性。
2026-03-19 cs.CR cs.LG
A Cognac Shot To Forget Bad Memories: Corrective Unlearning for Graph Neural Networks
IIIT Hyderabad(海得拉巴国际信息技术研究所);University of Stuttgart(斯图加特大学)
针对图数据错误经消息传递传播的问题,本文提出 Cognac 纠正性图遗忘方法,仅识别 5% 操纵数据即可有效消除其影响,性能优于从头重训且效率提升 8 倍。
2025-06-09 cs.AI cs.CR cs.LG
ReVeil: Unconstrained Concealed Backdoor Attack on Deep Neural Networks using Machine Unlearning
Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎比分校网络安全中心)
本文提出 ReVeil,一种在数据收集阶段实施、无需模型访问或辅助数据的隐蔽后门攻击,可规避主流检测并在部署后借机器遗忘恢复高 ASR。
2025-02-17 cs.AI cs.CR cs.LG
Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN先进人工智能项目中心)
本文研究了神经网络中特征学习与遗忘的二元性,通过快慢动态分析揭示特征遗忘的机制与条件,提出特征遗忘由数据主非线性项强度和第二层权重初始尺度决定。
2026-02-07 cs.LG physics.data-an stat.ML
Certified Unlearning for Neural Networks
Stanford University, USA(斯坦福大学);EPFL, Switzerland(苏黎世联邦理工学院)
本文提出一种基于随机后处理隐私放大和保留数据带噪微调的神经网络认证遗忘方法,无需损失函数假设,并在理论权衡与实验中证明其保证和性能优于基线。
2025-06-10 cs.CR cs.LG stat.ML
On Newton's Method to Unlearn Neural Networks
National University of Singapore(新加坡国立大学)
本文针对神经网络反学习中牛顿法因Hessian矩阵退化导致计算失败和性能下降的问题,提出了CureNewton方法,利用三次正则化有效解决退化问题,无需手动微调,在多种模型和数据集上实现了与最先进算法相竞争的反学习性能。
2024-08-27 cs.AI cs.LG
IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks
The University of Virginia(弗吉尼亚大学);The University of Houston(休斯顿大学)
本文提出名为IDEA的灵活认证遗忘框架,通过近似方法处理图上四类遗忘请求,适用于多种GNN架构与优化目标,并提供理论保证,实验证明其优越性。
2024-07-28 cs.LG
Protecting the Neural Networks against FGSM Attack Using Machine Unlearning
Department of Computer Engineering, Faculty of Engineering, Saveh Branch, Islamic Azad University(伊斯兰阿扎德大学萨韦分校工程学院计算机工程系);Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本文针对FGSM对抗攻击,将机器遗忘技术应用于LeNet神经网络,通过在原始数据上重训练使模型“忘记”特定数据点,显著提升了模型的对抗鲁棒性。
2025-11-03 cs.LG
Unlearning Inversion Attacks for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);North Carolina State University(北卡罗来纳州立大学)
本文提出TrendAttack方法,通过识别置信度陷阱和自适应预测机制,揭示图去学习中存在关键隐私漏洞。
2025-12-05 cs.AI cs.CR cs.LG
Node-level Contrastive Unlearning on Graph Neural Networks
Emory University(埃默里大学)
针对图神经网络中图实体相互依赖导致反学习困难的问题,提出节点级对比反学习(Node-CUL),通过直接优化嵌入空间并引入邻域重建方法,在维持模型效用的同时实现了最佳的反学习效果。
2025-03-04 cs.CR cs.LG
Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
Hubei Key Laboratory of Transportation Internet of Things, School of Computer Science and Artificial Intelligence, Wuhan University of Technology, China(交通物联网湖北重点实验室,计算机科学与人工智能学院,武汉理工大学,中国);College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
针对量化模型中的机器遗忘问题,提出正交熵遗忘框架(OEU),通过熵引导无偏遗忘和梯度正交投影消除梯度冲突,兼顾遗忘效果与模型效用。
2026-05-22 cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology(武汉理工大学);University of Macau(澳门大学)
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题,提出首个专用遗忘框架Q-MUL,通过相似标签分配和自适应梯度重加权解决上述问题,经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core
本文提出'数字代谢'假说,通过再生反学习解耦逻辑与事实,实现纯神经逻辑核心,提升模型推理能力并减少幻觉。
2026-01-15 cs.AI cs.LG
Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所);Center for Data Science(数据科学中心);New York University(纽约大学)
本文理论分析梯度上升法在两层ReLU神经网络中的机器遗忘,提出$(ε, δ, τ)$-成功准则,证明其能有效逼近重训模型并保持泛化。
2025-10-16 cs.CR cs.LG cs.NE
Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);JPMorgan Chase & Co.(摩根大通公司)
Fast-NTK提出一种基于神经正切核的参数高效遗忘算法,通过微调批归一化层或视觉提示降低计算复杂度,实现大规模模型(如8800万参数)的高效数据遗忘,性能媲美传统重训练方法。
2023-12-22 cs.LG
Machine Unlearning Method Based On Projection Residual
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Shanghai International Studies University(上海外国语大学)
机器学习模型(主要是神经网络)在现实生活中的应用越来越多。用户将他们的数据提供给模型进行训练。但这些过程往往是单向的。一旦经过训练,模型就会记住数据。即使从数据集中删除数据,这些数据的影响仍然存在于模型中。随着世界各地越来越多的法律法规保护数据隐私,通过机器遗忘让模型完全忘记这些数据变得更加重要。本文采用基于牛顿迭代法的投影残差法。主要目的是在线性回归模型和神经网络模型的背景下实现机器遗忘任务。该方法主要采用迭代加权的方法,完全忘记数据及其相应的影响,其计算代价在数据的特征维度上是线性的。该方法可以改进现有的机器学习方法。同时,它与训练集的大小无关。通过特征注入测试(FIT)对结果进行了评估。实验表明,该方法删除数据更彻底,接近模型再训练。
2022-09-30 cs.AI cs.LG
GraphMU: Repairing Robustness of Graph Neural Networks via Machine Unlearning
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chengdu University of Information Technology(成都信息工程大学);Chongqing Normal University(重庆师范大学)
针对现有GNN对抗防御方法无法修复已投毒模型的问题,本文提出基于机器遗忘的GNN修复框架GraphMU,搭配遗忘验证方法,在多数据集多攻击场景下验证其可有效恢复受投毒GNN性能。
2024-06-19 cs.LG cs.SI
DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks
SKLOIS, Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所智能信息处理实验室);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
机器遗忘对于保证模型安全和保护用户隐私具有重要意义。此外,许多法律条文明确规定,用户有权要求模型提供者从训练集中删除自己的数据,即被遗忘权。遗忘数据的简单方法是从头开始重新训练模型,这在现代深度神经网络中变得非常耗时和资源消耗。通过重构模型或训练数据的其他非学习方法努力在开销和模型可用性之间获得平衡。在本文中,我们提出了一种称为DeepObliviate的方法,可以有效地实现机器遗忘,而无需修改正常的训练模式。我们的方法通过将中间模型存储在硬盘上来改进原始训练过程。给定一个要遗忘的数据点,我们首先量化它在存储模型中留下的时间剩余记忆。受影响的模型将被重新训练,我们根据剩余记忆的趋势决定何时终止重新训练。最后,我们通过结合重新训练的模型和未受影响的模型来缝合未学习的模型。我们在五个数据集和深度学习模型上广泛评估了我们的方法。与从零开始再培训的方法相比,我们的方法可以达到99.0%,95.0%,91.9%,96.7%,准确率为74.1%,$\times$为66.7 $\times$,75.0 $\times$,33.3 $\times$,29.4 $\times$,13.7 $\times$在MNIST、SVHN、CIFAR-10、Purchase和ImageNet数据集。与最先进的unlearning方法相比,我们提高了5.8%的准确率,32.5 $\times$预测加速,并在这些数…
2021-05-13 cs.AI cs.CR cs.LG
Learn to Forget: Machine Unlearning via Neuron Masking
如今,机器学习模型,特别是神经网络,在许多现实世界的应用中变得流行起来。这些模型是基于用户数据的单向旅行进行训练的:只要用户贡献他们的数据,就没有办法撤回;众所周知,神经网络会记住它的训练数据。这与GDPR的“被遗忘权”条款相矛盾,可能导致违法行为。为此,机器遗忘成为一个热门的研究课题,它允许用户消除记忆他们的私人数据从一个训练有素的机器学习model.In本文中,我们提出了第一个统一的度量称为遗忘率来衡量一个机器遗忘方法的有效性。该方法基于隶属度推理的概念,描述了在进行去学习后,被剔除的数据从“记忆”到“未知”的转化率。我们还提出了一种新的unlearning方法calledForsaken。它优于以前的工作,无论是效用或效率(当达到相同的遗忘率)。我们用八个标准数据集对Forsaken进行基准测试,以评估其性能。实验结果表明,该算法的平均遗忘率可达90%以上,而准确率损失仅为5%。
2021-08-02 cs.CR cs.LG stat.ML
Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement
Shanghai Jiao Tong University(上海交通大学)
本文提出一种统一的基于梯度的机器遗忘方法,通过将遗忘更新嵌入由剩余数据二阶Hessian构建的流形几何中,并设计快慢参数更新策略隐式逼近显著遗忘方向,在分类与生成任务上以极低计算成本实现高效遗忘。
2024-09-29 cs.AI cs.LG
MRD-LiNet: A Novel Lightweight Hybrid CNN with Gradient-Guided Unlearning for Improved Drought Stress Identification
Department of Computer Science and Engineering, North Eastern Regional Institute of Science and Technology(计算机科学与工程系,北东部科学与技术研究所)
针对干旱胁迫识别中模型参数多、资源受限的问题,提出轻量级混合CNN框架MRD-LiNet,结合梯度引导遗忘机制,实现15倍参数缩减并保持高精度,适用于精准农业。
2025-09-08 cs.AI cs.CV cs.LG
Physics-Aware Machine Unlearning for Cyber-Physical Systems
Florida International University(佛罗里达国际大学)
本文提出物理引导的梯度上升机器遗忘方法,通过物理残差约束权重更新,在IEEE 34节点系统上验证可同时移除投毒并恢复物理合规性。
2026-09-30 cs.LG
Sparse Feature Policy Unlearning Mitigates State Hallucination in Vision-Language-Action Models
Chung-Ang University(中央大学);Georgia Institute of Technology(佐治亚理工学院);NAVER AI Lab(NAVER AI实验室)
针对VLA模型中的状态幻觉问题,通过稀疏自编码器识别相关特征,提出SOUL方法选择性遗忘幻觉策略知识,在模拟和真实环境中显著减少失败并提升任务成功率。
2026-10-08 cs.AI cs.LG cs.RO
Unlearning Backdoor Attacks through Gradient-Based Model Pruning
Queensland University of Technology(昆士兰科技大学)
该研究将后门缓解建模为遗忘任务,提出利用遗忘损失梯度指导模型剪枝以识别并移除CNN中的后门元素,在有限真实数据场景下优于现有方法。
2024-05-07 cs.CR cs.LG
An Illusion of Unlearning? Assessing Machine Unlearning Through Internal Representations
The Ohio State University(俄亥俄州立大学);New Jersey Institute of Technology(新泽西理工学院)
本文通过分析内部表示揭示机器遗忘方法的缺陷,指出特征-分类器不一致是主要问题,并提出基于类均特征分类器的改进方法,提升遗忘效果同时保持保留精度。
2026-04-09 cs.LG
Verifiable and Provably Secure Machine Unlearning
BIFOLD & TU Berlin(BIFOLD与柏林工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);The University of Melbourne(墨尔本大学);University of Toronto & Vector Institute(多伦多大学与向量研究所)
将可验证机器遗忘视为安全问题,首次提出其密码学定义与框架,利用SNARKs和哈希链构建可证明安全的协议,并验证了其在线性回归、逻辑回归及神经网络上的可行性。
2025-03-05 cs.LG
Dynamic Graph Unlearning: A General and Efficient Post-Processing Method via Gradient Transformation
RMIT University(皇家墨尔本理工大学);The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学)
针对动态图神经网络(DGNN)的隐私遗忘需求,本文首次提出一种通用高效的后处理方法Gradient Transformation,将遗忘请求直接映射为参数更新,在六个数据集上实现了效用保持与显著加速。
2025-02-03 cs.LG
Deep Unlearn: Benchmarking Machine Unlearning for Image Classification
Imperial College London(伦敦帝国理工学院);Nokia Bell Labs(诺基亚贝尔实验室)
本文针对图像分类任务中的深度神经网络机器遗忘方法进行了全面基准测试,评估了18种方法在10种初始化下共100K个模型的表现,发现MSG和CT方法在准确性和效率上始终更优,并指出需要采用NG+等更好的基线进行充分比较。
2025-06-30 cs.AI cs.LG
Lethe: Link Inference Attacks For Evaluation of Edge Unlearning Methods
University of Aarhus(奥胡斯大学);University of L’Aquila(拉奎拉大学);Indian Institute of Technology Delhi(印度理工学院德里分校);Luiss Guido Carli University(路易斯圭多卡里大学)
本文提出首个边缘遗忘综合基准Lethe,含15种方法与8个数据集,采用链接推理攻击替代代理准确率指标,解决现有边缘遗忘评估的系统性局限。
2026-10-16 cs.LG
ToFU: Transforming How Federated Learning Systems Forget User Data
School of Computer Science(计算机科学学院);Statistics, Trinity College Dublin, Ireland(统计学,都柏林信任学院,爱尔兰);School of Computer Science, University College Dublin, Ireland(计算机科学学院,都柏林大学学院,爱尔兰)
本文提出变换引导联邦遗忘框架ToFU,通过在训练中引入变换减少实例记忆,从源头简化遗忘过程,并可即插即用提升现有联邦遗忘方法的性能与效率。
2025-09-19 cs.DC cs.LG
From Hope to Safety: Unlearning Biases of Deep Models via Gradient Penalization in Latent Space
Fraunhofer Heinrich Hertz Institut(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所(BIFOLD))
针对深度模型依赖虚假关联的问题,提出基于概念激活向量与潜在空间梯度惩罚的概念级校正方法,以鲁棒方向降低偏见敏感性,并在多数据集和架构上验证有效。
2023-12-18 cs.AI cs.CV cs.CY
The Measure of Deception: An Analysis of Data Forging in Machine Unlearning
Department of Mathematics, UC San Diego(加州大学圣地亚哥分校数学系);Department of Mathematics and Halıcıoglu Data Science Institute, UC San Diego(加州大学圣地亚哥分校数学系与哈勒吉奥卢数据科学研究所)
本文分析机器遗忘中对抗性伪造数据的可行性,证明伪造集测度随容差ε按ε^{(d-r)/2}衰减,且随机采样到伪造点的概率极小,表明伪造受限且可被检测。
2026-05-04 cs.LG stat.ML
Federated Unlearning Made Practical: Seamless Integration via Negated Pseudo-Gradients
Department of Computer Science and Engineering, University of Bologna(计算机科学与工程系,博洛尼亚大学);Department of Information and Electrical Engineering and Applied Mathematics, University of Salerno(信息与电气工程及应用数学系,萨勒诺大学)
本文提出PUF方法,利用否定伪梯度实现联邦遗忘,无需额外假设,无缝集成FL流程,在多个数据集上达到最先进遗忘效果。
2025-10-24 cs.LG
GraphGuard: Detecting and Counteracting Training Data Misuse in Graph Neural Networks
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Monash University(莫纳什大学);Shanghai Jiao Tong University(上海交通大学);Griffith University(格里菲斯大学)
针对图神经网络及MLaaS平台中的训练数据滥用问题,提出无需原始训练数据的GraphGuard方法,结合带放射性数据的成员推理检测滥用,利用合成图实现定向遗忘,在四个真实数据集上检测率近100%,遗忘后准确率下降不足5%。
2023-12-13 cs.CR cs.LG
Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles
Department of Electrical Engineering and Electronics, University of Liverpool(利物浦大学电子工程与电子系);Department of Computer and Information Science, Linköping University(林雪平大学计算机与信息科学系)
本文提出将 SGHMC 提议融入 SMC 的 SMCSGHMC 算法,以小批量采样实现可扩展贝叶斯推断,并在分类、OOD 检测和迁移学习中提升校准与泛化。
2025-05-16 cs.LG stat.CO stat.ML
MoreauGrad: Sparse and Robust Interpretation of Neural Networks via Moreau Envelope
The Chinese University of Hong Kong(香港中文大学)
解释深度神经网络的预测一直是计算机视觉文献中非常感兴趣的话题。虽然已经提出了几种基于梯度的解释方案来揭示神经网络预测中的影响变量,但通常观察到标准的基于梯度的解释框架缺乏对输入扰动的鲁棒性和结合稀疏性和组稀疏性结构的先验知识的灵活性。在这项工作中,我们提出MoreauGrad作为分类器神经网络的Moreau包络的基础上的解释方案。我们表明,MoreauGrad结果在一个光滑和强大的解释多层神经网络,可以有效地计算通过一阶优化方法。此外,我们表明MoreauGrad可以自然地与$L_1$范数正则化技术相结合,以输出稀疏或组稀疏解释,这些解释是适用于广泛的深度学习应用的先验条件。我们经验评估建议MoreauGrad计划的标准计算机视觉数据集,显示定性和定量的成功MoreauGrad方法相比,标准的基于梯度的解释方法。
2023-01-08 cs.AI cs.CV cs.LG
Fooling Neural Network Interpretations via Adversarial Model Manipulation
Sungkyunkwan University(成均馆大学)
我们问神经网络解释方法是否可以通过对抗性模型操作来愚弄,这被定义为一个模型微调步骤,旨在从根本上改变解释而不损害原始模型的准确性,例如,VGG 19、ResNet 50和DenseNet 121。通过将解释结果直接纳入目标函数的惩罚项中进行微调,我们表明,最先进的基于显着图的解释器,例如,LRP,Grad-CAM和SimpleGrad可以很容易地被我们的模型操作所欺骗。我们提出了两种类型的愚弄,被动和主动,并证明这样的愚弄推广以及整个验证集以及转移到其他解释方法。我们的研究结果是通过视觉上显示被愚弄的解释和报告定量指标来衡量与原始解释的偏差来验证的。我们认为,神经网络解释方法相对于我们的对抗模型操作的稳定性是检查开发鲁棒和可靠的神经网络解释方法的重要标准。
2019-11-01 cs.AI cs.CV cs.LG
Semantics for Global and Local Interpretation of Deep Neural Networks
The University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
具有高表现力的深度神经网络(DNN)在许多任务中已经实现了最先进的性能。然而,它们的分布式特征表示很难从语义上解释。在这项工作中,人类可解释的语义概念与特征空间中的向量相关联。关联过程在数学上被表述为优化问题。从最优解获得的语义向量被应用于全局和局部地解释深度神经网络。全局解释对于理解DNN学习的知识是有用的。对本地行为的解释可以帮助更好地理解DNN做出的个人决策。实证实验演示了如何使用识别的语义来解释现有的DNN。
2019-10-21 cs.CV cs.LG
Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients
University of Waterloo(滑铁卢大学);Perimeter Institute for Theoretical Physics(周界理论物理研究所);Homes Plus Magazine Inc.(Homes Plus杂志公司)
本文提出一种统一框架,通过将训练后的神经网络嵌入等价函数类并与符号搜索空间求交,为分类器及任意神经元寻找决策边界概念的闭式人类可读解释。
2024-10-01 cs.AI cs.LG
Extracting Rules from Neural Networks with Partial Interpretations
University of Bergen(卑尔根大学)
本文研究了从神经网络模型中提取Horn逻辑表示的规则的问题。我们的工作是基于精确的学习模型,其中学习者通过查询与教师(神经网络模型)进行交互,以学习一个抽象的目标概念,在我们的情况下,这是一组霍恩规则。我们认为部分解释制定查询。这些可以被理解为世界的一种表征,其中关于命题真实性的部分知识是未知的。我们采用Angluin的算法通过查询学习霍恩规则,并评估我们的策略经验。
2022-04-01 cs.AI cs.LG
"No Matter What You Do": Purifying GNN Models via Backdoor Unlearning
Yangzhou University(扬州大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Zhejiang University(浙江大学)
针对GNN后门攻击防御研究空白,提出首个后门缓解方法GCleaner,通过解释方法恢复触发器并结合知识蒸馏与梯度可解释知识进行后门遗忘,仅需1%干净数据即可将攻击成功率降至10%且几乎不损失模型性能。
2024-11-13 cs.CR cs.LG
CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks
University of British Columbia(不列颠哥伦比亚大学)
随着深度卷积神经网络(DCNN)的广泛应用,DCNN不仅要做出准确的预测,还要解释它们如何做出决策,这一点变得越来越重要。在这项工作中,我们提出了一个CHannel-wise解纠缠解释(CHIP)模型,为DCNN的预测提供视觉解释。该模型利用稀疏正则化提取网络中信道的类区分重要性。在这里,我们首先引入网络扰动技术来学习模型。该模型不仅能够从网络中提取全局视角知识,而且能够为网络的特定预测提供分类判别的视觉解释。值得注意的是,所提出的模型能够解释网络的不同层,而无需重新训练。通过结合不同层次的解释知识,我们进一步提出了高分辨率和分类判别的精化CHIP目视解释。在标准数据集上的实验结果表明,与现有的视觉解释方法相比,该模型为图像分类任务中的网络预测提供了很好的视觉解释。此外,在ILSVRC 2015弱监督定位任务的应用中,所提出的方法优于相关方法。
2019-12-13 cs.CV cs.LG
Towards Comparative Physical Interpretation of Spatial Variability Aware Neural Networks: A Summary of Results
University of Minnesota(明尼苏达大学)
给定空间变异性感知神经网络(SVANN),目标是研究数学(或计算)模型,用于对它们的透明度进行比较物理解释(例如,可模拟性、可分解性和算法透明性)。这个问题很重要,因为它涉及到一些重要的用例,比如可重用性、调试和在法庭上对陪审团的解释。挑战包括大量的模型参数、神经网络的泛化性能的空洞界限、过拟合的风险、对噪声的敏感性等,这些都削弱了解释模型的能力。由于缺乏对物理约束的考虑(例如,质量平衡)和性质(例如,地理学第二定律)。这项工作研究SVANN的物理解释,使用新的比较方法的基础上,地理异质性的功能。基于特征的物理解释的建议方法进行了评估,湿地制图的案例研究。提出的物理解释提高了SVANN模型的透明度,分析结果突出了模型透明度和模型性能之间的权衡(例如,F1-评分)。我们还描述了一个解释的基础上,地理异构过程建模为偏微分方程(PDE)。
2021-10-29 cs.AI cs.LG
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性,以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性,获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中,我们采取了不同的方法来研究卷积神经网络,提出了一个抽象的代数解释,使用有限变换半群理论。具体来说,卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素,其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性,以获得对卷积神经网络的表示属性的见解,包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外,因此对于处理位于不规则格上的数据是有用的。此外,所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE
Interpretation of Neural Networks is Susceptible to Universal Adversarial Perturbations
Sharif University of Technology(谢里夫理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出通用解释扰动(UPI),通过梯度优化和PCA方法计算扰动,有效改变神经网络基于梯度的解释,并在标准图像数据集上验证其普适性与有效性。
2024-04-21 cs.AI cs.CR cs.CV