Hard to Forget: Poisoning Attacks on Certified Machine Unlearning
School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);Department of Computer Science(计算机科学系);Amherst College(阿默斯特学院)
删除权要求从组织持有的数据中删除用户信息,并对下游产品(如学习模型)进行严格解释。从头开始重新训练,忽略特定用户的数据,完全消除了它对结果模型的影响,但计算成本很高。机器“不学习”减轻了完全重新训练的成本:相反,模型是增量更新的,可能只需要在近似误差累积时进行重新训练。在未学习和再训练模型的不可重复性上,隐私保证已经取得了快速进展,但目前的形式主义并没有对计算进行实际限制。在本文中,我们演示了攻击者如何利用这种疏忽,突出了一个新的攻击面引入了机器遗忘。我们认为攻击者的目的是增加数据删除的计算成本。我们得出并实证调查中毒攻击认证的机器遗忘,战略设计的训练数据触发完全再训练时删除。
2022-02-10 cs.CR cs.LG
Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions
本文提出了一种针对非凸损失函数的认证机器去学习算法,通过回退到学习过程早期步骤实现数据删除,证明了隐私和效用的权衡,并展示了优于现有方法的性能。
2025-12-15 cs.LG
Certified Unlearning in Decentralized Federated Learning
School of Computer Science and Technology, Shandong University, Qingdao, China(山东大学计算机科学与技术学院);School of Electrical Engineering and Computer Science, TU Berlin, Berlin, Germany(柏林技术大学电气工程与计算机科学学院);College of Computer Science and Technology, Ocean University of China, Qingdao, China(中国海洋大学计算机科学与技术学院)
本文提出了一种基于牛顿式更新的去中心化联邦学习认证去学习框架,通过量化数据影响传播并利用曲率信息构建修正更新,确保去学习模型难以区分于重新训练模型。
2026-01-10 cs.LG stat.ML
On Optimization Complexity of Second-Order Certified Unlearning
研究模型遗忘中认证遗忘的优化复杂性,利用一致凸正则化器证明相关距离新界,开发新二阶遗忘算法,在实现线性模型认证遗忘上有快速收敛率,涵盖逻辑与指数回归遗忘,显示二阶信息优势。
2026-07-23 cs.LG math.OC
A Robust Certified Machine Unlearning Method Under Distribution Shift
本文提出了一种基于分布感知的认证无学习方法,通过迭代牛顿更新和信任区域约束,以应对非i.i.d.删除情况下的分布偏移问题,提高认证无学习的效率和有效性。
2026-01-11 cs.CR cs.LG
Certifiably Robust Image Watermark
Duke University(杜克大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文首次提出基于随机平滑的可认证鲁棒图像水印方法,针对移除和伪造攻击提供可认证鲁棒性保证,并设计估计算法及进行广泛实验评估。
2024-07-04 cs.CR cs.CV cs.LG
Universal Lipschitz Approximation in Bounded Depth Neural Networks
Perspecta Labs(Perspecta实验室)
对机器学习模型的对抗攻击是我们越来越依赖这些模型的一个相当大的障碍。因此,可证明的鲁棒(认证)机器学习模型是一个主要的兴趣话题。Lipschitz连续模型为解决这一问题提供了一种很有前途的方法。通过利用保持低Lipschitz常数的神经网络的变体的表达能力,我们证明了使用FullSort激活函数的三层神经网络是通用Lipschitz函数逼近器(ULA)。这既解释了实验结果,也为未来创建更好的认证模型铺平了道路。最后,我们提出的实验结果表明,ULAs不仅是一个新颖的,但有竞争力的方法来提供认证的分类器,使用这些结果来激励几个潜在的主题进一步研究。
2019-04-09 cs.LG stat.ML
Forgetting Any Data at Any Time: A Theoretically Certified Unlearning Framework for Vertical Federated Learning
School of Computer Science, Peking University(北京大学计算机学院)
针对垂直联邦学习缺乏合规遗忘机制的问题,提出首个具有理论保证的模型与数据无关、支持异步遗忘的框架,可随时移除任意数据,满足被遗忘权要求。
2025-02-24 cs.AI cs.LG
On the Extreme Variance of Certified Local Robustness Across Model Seeds
Georgia Institute of Technology(佐治亚理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究揭示了训练种子差异导致认证鲁棒性极值方差显著,质疑了验证结果的可靠性,并呼吁增加置信区间报告和更全面的验证方法。
2026-04-02 cs.LG
Quantum Interval Bound Propagation for Certified Training of Quantum Neural Networks
University of Florida, Gainesville, FL, USA(佛罗里达大学)
本文提出量子区间界传播(QIBP)方法,用于量子机器学习的认证训练,通过区间和仿射算术探索精度与设计权衡,验证模型在对抗扰动下的鲁棒性。
2026-05-01 cs.LG quant-ph
Certified Graph Unlearning
UIUC(伊利诺伊大学厄巴纳-香槟分校)
图结构数据在实践中无处不在,并且经常使用图神经网络(GNN)进行处理。随着最近法律的通过,确保“被遗忘的权利”,图形数据删除的问题已经变得非常重要。为了解决这个问题,我们引入了第一个已知的GNN的\emph{certified graph unlearning}框架。与标准的机器遗忘相比,在处理复杂的图形数据时,出现了新的分析和启发式遗忘挑战。首先,需要考虑三种不同类型的遗忘请求,包括节点特征、边和节点遗忘。其次,要建立可证明的性能保证,需要解决传播过程中与特征混合相关的挑战。以简单图卷积(SGC)及其广义PageRank(GPR)扩展为例说明了底层分析,从而为GNN的认证学习奠定了理论基础。我们对六个基准数据集的实证研究表明,与不利用图形信息的完整再训练方法和方法相比,该方法具有出色的性能-复杂性权衡。例如,当对Cora数据集上的节点的$20\%$进行非学习时,我们的方法在测试准确性方面仅遭受$0.1\%$损失,同时与完全再训练相比,提供了$4$倍的速度提升。我们的计划也优于不利用图形信息的学习方法,$12\%$增加测试准确性的可比时间复杂度。
2022-10-28 cs.LG
A Certified Unlearning Approach without Access to Source Data
Department of Electrical and Computer Engineering, University of California, Riverside, CA, USA(加州大学河滨分校电子与计算机工程系);Brookhaven National Laboratory, Upton, NY, USA(布鲁克海文国家实验室)
本文提出一种无需访问源数据的认证删除方法,通过替代数据集和噪声缩放技术,在不接触原始数据的情况下实现有效数据删除,并通过实验验证其在隐私保护中的有效性。
2025-12-18 cs.CR cs.LG stat.ML
Certified Unlearning for Neural Networks
Stanford University, USA(斯坦福大学);EPFL, Switzerland(苏黎世联邦理工学院)
本文提出一种基于随机后处理隐私放大和保留数据带噪微调的神经网络认证遗忘方法,无需损失函数假设,并在理论权衡与实验中证明其保证和性能优于基线。
2025-06-10 cs.CR cs.LG stat.ML
IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks
The University of Virginia(弗吉尼亚大学);The University of Houston(休斯顿大学)
本文提出名为IDEA的灵活认证遗忘框架,通过近似方法处理图上四类遗忘请求,适用于多种GNN架构与优化目标,并提供理论保证,实验证明其优越性。
2024-07-28 cs.LG
Certified Reinforcement Learning with Logic Guidance
University of Oxford(牛津大学);Microsoft Research(微软研究院);Magdalen College, University of Oxford(牛津大学莫德林学院);Amazon, Inc.(亚马逊公司)
针对安全关键控制问题,提出一种无模型RL算法,利用LTL目标和LDGBA实时塑造奖励,并在假设下保证最大概率满足规范。
2023-06-06 cs.LG stat.ML
Certified machine learning: Rigorous a posteriori error bounds for PDE defined PINNs
University of Stuttgart(斯图加特大学);Stuttgart Center for Simulation Science(斯图加特模拟科学中心)
针对物理信息神经网络缺乏预测误差保证的问题,提出一种无需真解、仅依赖 PDE 先验信息的严格后验误差上界,并在四类方程上验证。
2022-10-07 cs.LG cs.NA math.NA
Distributional Machine Unlearning via Selective Data Removal
Stanford University(斯坦福大学);EPFL(瑞士联邦理工学院)
本文提出了一种基于选择性数据删除的分布机器遗忘方法,通过Kullback-Leibler散度约束实现高效删除与保留平衡,实验表明在低散度环境下样本效率显著提升。
2026-01-14 cs.CR cs.LG stat.ML
Random Relabeling for Efficient Machine Unlearning
Pennsylvania State University(宾夕法尼亚州立大学)
针对数据隐私法规下高效数据删除的挑战,提出适用于通用监督学习的随机重标记遗忘方案,以在线处理连续删除请求,并为基于logit的分类器开发了基于概率分布相似性的删除认证方法。
2023-05-21 cs.CR cs.LG
Privacy Enhancing Machine Learning via Removal of Unwanted Dependencies
Princeton University(普林斯顿大学)
物联网和大数据的快速崛起促进了大量数据驱动的应用程序,以提高我们的生活质量。然而,数据汇集的无所不在和无所不包的性质可能会产生隐私问题。因此,迫切需要开发技术,确保数据只用于预期目的,让用户控制他们共享的信息。为此,本文研究了监督和对抗学习方法的新变体,这些方法在数据发送给特定应用程序之前删除数据中的敏感信息。所探索的方法以端到端的方式同时优化隐私保护特征映射和预测模型。此外,模型的构建重点是对用户侧施加很少的计算负担,以便可以以廉价的方式在设备上对数据进行脱敏。在移动传感和人脸数据集上的实验结果表明,我们的模型可以成功地保持预测模型的实用性能,同时导致敏感的预测表现不佳。
2021-09-08 cs.LG stat.ML
Confound-leakage: Confound Removal in Machine Learning Leads to Leakage
Forschungszentrum Jülich(于利希研究中心);Heinrich-Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所);University Hospital Frankfurt(法兰克福大学医院);RWTH Aachen University(亚琛工业大学)
数据分析的机器学习(ML)方法现在被广泛应用于包括流行病学和医学在内的许多领域。要应用这些方法,必须首先消除混淆,这通常是在应用ML之前通过线性回归按特征去除其方差来完成的。在这里,我们展示了这种常见的混淆去除方法,这种方法会导致ML模型产生误导性的结果。具体地说,这种常见的去干扰方法可能会泄漏信息,使得当随后应用非线性ML方法时,无效或中等影响被放大到近乎完美的预测。我们确定和评估这种混淆泄漏的可能机制,并提供切实可行的指导,以减轻其负面影响。我们通过分析一个临床数据集来证明混杂泄漏在现实世界中的重要性,在该数据集中,预测注意缺陷多动障碍(ADHD)与抑郁症作为混杂因素的准确性被高估。我们的研究结果对ML工作流的实现和部署具有广泛的影响,并警告不要天真地使用标准混淆删除方法。
2022-10-27 cs.AI cs.LG stat.ML
RobustNeuralNetworks.jl: a Package for Machine Learning and Data-Driven Control with Certified Robustness
University of Sydney, Australian Centre for Robotics(悉尼大学澳大利亚机器人中心)
本文介绍 Julia 软件包 RobustNeuralNetworks.jl,它基于 REN 和 LBDN 构建可满足用户自定义鲁棒性指标的模型,并可与 Flux.jl 集成,用于图像分类、强化学习和非线性状态观测器设计。
2025-09-29 cs.LG cs.SY eess.SY
White Paper Machine Learning in Certified Systems
IRT Saint Exupéry(圣埃克苏佩里技术研究所)
机器学习(ML)似乎是最有前途的解决方案之一,可以部分或完全自动化目前由人类实现的一些复杂任务,例如驾驶车辆,识别语音等,它也是实现和嵌入经典实现技术无法实现的新功能的机会。然而,ML技术引入了新的潜在风险。因此,它们只应用于其好处被认为值得增加风险的系统中。在实践中,ML技术提出了多种挑战,可能会阻止它们在提交认证限制的系统中使用。但实际的挑战是什么?可以通过选择适当的ML技术或采用新的工程或认证实践来克服它们吗?这些是由图卢兹圣埃克苏佩里技术研究所(IRT)成立的ML认证3工作组(WG)解决的一些问题,作为DEEL项目的一部分。
2021-03-18 cs.AI cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University(斯坦福大学)
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击,恶意用户注入虚假的训练数据,目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御,很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题,首先进行离群值删除,然后进行经验风险最小化的防御者。我们的近似依赖于两个假设:(1)数据集足够大,足以保持训练和测试误差之间的统计集中,以及(2)干净(非中毒)数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对,为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲,我们发现即使在简单的防御下,MNIST-1-7和Dogfish数据集也能抵御攻击,而相比之下,IMDB情感数据集只需添加3%的中毒数据,就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Adversarial Boot Camp: label free certified robustness in one epoch
McGill University(麦吉尔大学)
机器学习模型容易受到对抗攻击的攻击。解决这一漏洞的一种方法是认证,它侧重于保证对给定扰动大小具有鲁棒性的模型。最近认证模型的一个缺点是它们是随机的:它们需要多个计算昂贵的模型评估,并将随机噪声添加到给定的输入中。在我们的工作中,我们提出了一个确定性的认证方法,结果在一个可证明的强大的模型。这种方法基于具有特定正则化损失的训练与高斯平均值的期望值之间的等效性。我们在ImageNet-1 k上实现了认证模型,通过在不使用标签信息的情况下重新训练一个具有这种损失的模型一个时期。
2020-10-05 cs.CR cs.CV cs.LG
Certified Machine Unlearning via Noisy Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文提出利用投影带噪声随机梯度下降实现机器遗忘,在凸性假设下建立首个近似遗忘保证,支持序列与批量遗忘,相比重新训练节省复杂度,并在相同隐私约束下以极低的梯度计算量实现相似效用。
2025-02-01 cs.CR cs.LG
The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
Singapore University of Technology and Design(新加坡科技设计大学);The Hong Kong University of Science and Technology(香港科技大学)
本文建立持续学习与机器遗忘之间的理论桥梁,通过定义后遗忘超额风险揭示保留历史知识与定向遗忘的权衡,并分析梯度法与海森法在遗忘损失和存储开销上的优劣,提出混合策略。
2026-06-29 cs.LG
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习模型容易受到数据中毒攻击,其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中,攻击者可以修改训练集,但不能修改测试输入,而在后门攻击中,攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书(即,一个辩护的证据)。我们提出了BagFlip,一个模型无关的认证方法,可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击,并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Towards Aligned Data Removal via Twin Machine Unlearning
Xi'an Jiaotong University(西安交通大学);Xidian University(西安电子科技大学)
针对机器遗忘中模型与黄金模型对齐的目标,提出孪生机器遗忘(TMU)方法,通过定义孪生问题并迁移泛化标签预测器,实现数据对齐移除且不损害模型准确率。
2025-05-02 cs.AI cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University(杜克大学)
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器,使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外,每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻(kNN)和半径近邻(rNN)具有固有的多数表决机制。在这项工作中,我们表明,在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证,对数据投毒攻击和后门攻击。此外,我们对MNIST和CIFAR 10的评估结果表明,kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Certified machine learning: A posteriori error estimation for physics-informed neural networks
Stuttgart Center for Simulation Science(斯图加特模拟科学中心);University of Stuttgart(斯图加特大学)
针对物理信息神经网络(PINN)的可靠性问题,本文在常微分方程设定下推导出无需真实解先验知识、可用于训练外输入的严格预测误差后验上界,并通过两个学术问题验证其认证与控制应用价值。
2022-08-02 cs.LG cs.NA math.NA
Hessian-Free Online Certified Unlearning
Zhejiang University(浙江大学);Southern University of Science and Technology(南方科技大学);Northwestern University(西北大学)
本文提出一种无海森矩阵的高效机器遗忘方法,通过仿射随机递归维护每个训练数据的统计向量,并基于统计量重收集实现在线近即时删除,在遗忘保证、删除容量和时空开销上均优于现有方法。
2025-02-06 cs.AI cs.LG
Correct-By-Construction: Certified Individual Fairness through Neural Network Training
Singapore Management University(新加坡国立管理学院)
本文提出一个构造即正确的个体公平性训练框架,通过可证明公平的初始化和基于随机化响应机制的公平保持训练算法,在无需训练期神经网络验证的情况下,形式化保证并高效地训练出既公平又准确的模型。
2025-08-21 cs.LG
Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning
Department of Electrical and Computer Engineering(电气与计算机工程系);Georgia Institute of Technology(佐治亚理工学院);Department of Mathematics(数学系);Massachusetts Institute of Technology(麻省理工学院)
针对机器遗忘,提出基于噪声梯度下降的 Langevin 遗忘框架,统一 DP 学习与隐私认证遗忘,支持非凸问题、节省复杂度并实现顺序和批量遗忘。
2025-09-24 cs.LG
Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks
Duke University(杜克大学)
在\emph{data poisoning attack}中,攻击者修改、删除和/或插入一些训练样本以破坏学习的机器学习模型。\emph{Bootstrap Aggregating (bagging)}是一种众所周知的集成学习方法,其使用基础学习算法在训练数据集的随机子样本上训练多个基础模型,并使用多数投票来预测测试示例的标签。我们证明了内在的认证鲁棒性装袋对数据投毒攻击。具体而言,我们表明,装袋与任意基地学习算法可证明预测相同的标签时,修改,删除,和/或插入训练样本的数量是有界的阈值测试的例子。此外,我们表明,我们推导出的阈值是紧的,如果没有假设的基础学习算法。我们评估我们的方法上MNIST和CIFAR 10。例如,我们的方法在MNIST上实现了$91.1\%$的认证精度,当任意修改,删除和/或插入100个训练样本时。代码可从以下网址获得:\url{https://github.com/jjy1994/BaggingCertifyDataPoisoning}。
2020-12-09 cs.CR cs.LG
Certified Minimax Unlearning with Generalization Rates and Deletion Capacity
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(ZJU-杭州全球科技创新中心)
针对极小-极大模型的认证机器遗忘问题,提出基于全海森完全牛顿更新与高斯机制的认证遗忘算法,推导泛化速率与删除容量,性能优于差分隐私极小-极大学习基线且匹配标准统计学习模型的最优水平。
2024-10-30 cs.LG
Towards Certified Malware Detection: Provable Guarantees Against Evasion Attacks
Department of Computer Applications, Cochin University of Science and Technology(计算机应用系,科钦大学科学与技术学院);Department of Electrical, Computer and Biomedical Engineering, University of Pavia(电气、计算机与生物医学工程系,帕维亚大学)
本文提出基于随机平滑的可信恶意软件检测框架,通过特征剥离和目标噪声注入,提供对抗逃避攻击的可证明鲁棒性。
2026-04-22 cs.CR cs.LG
Certified Causal Defense with Generalizable Robustness
Case Wester Reserve University(凯斯西储大学);University of Virginia(弗吉尼亚大学)
提出GLEAN框架,通过可认证因果因子学习解耦因果关系与虚假相关性,并设计因果认证防御策略,实现跨分布偏移域的鲁棒性泛化。
2026-05-28 cs.CR cs.LG stat.ME
Unlearning Algorithmic Biases over Graphs
Department of Electrical Engineering and Computer Science University of California Irvine(电气工程与计算机科学系加州大学伊维特分校);Department of Electrical and Computer Engineering University of Rochester(电气与计算机工程系罗切斯特大学)
针对图数据的偏见放大问题,本文提出无需训练的图消除学习方法,通过单步牛顿更新及特征、结构消除策略实现可认证的偏见缓解,在真实网络中验证了其效用-复杂度权衡优势。
2025-05-20 cs.LG cs.SI
Certified Robustness in Federated Learning
King Abdullah Univerity of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
联邦学习最近获得了极大的关注和普及,由于其在分布式数据上私下训练机器学习模型的有效性。然而,与单节点监督学习设置一样,在联邦学习中训练的模型容易受到被称为对抗攻击的不可感知的输入转换的影响,质疑它们在安全相关应用中的部署。在这项工作中,我们研究了联邦训练,个性化和认证的鲁棒性之间的相互作用。特别是,我们部署了随机平滑,这是一种广泛使用的可扩展的认证方法,用于认证在联邦设置上训练的深度网络,以防止输入扰动和转换。我们发现,简单的联邦平均技术是有效的,不仅更准确,而且更可靠的鲁棒性模型,相比,训练只在本地数据。我们进一步分析了个性化,这是联邦训练中的一种流行技术,它增加了模型对本地数据的偏见,增强了鲁棒性。我们展示了个性化的几个优势,在构建更强大的模型和更快的训练方面。最后,我们探讨了全局和局部(即个性化)模型混合的鲁棒性,发现局部模型的鲁棒性随着它们偏离全局模型而降低
2022-10-26 cs.LG
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
已知机器学习算法易受数据投毒攻击的影响,其中对手操纵训练数据以降低所得分类器的性能。在这项工作中,我们提出了一个统一的观点,随机平滑任意函数,我们利用这种新的特性,提出了一种新的策略,用于建立分类器,逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例,我们利用我们的框架来构建线性分类器,这些分类器对标签翻转的强变体具有鲁棒性,其中每个测试示例都是独立的。换句话说,对于每个测试点,我们的分类器都包括一个认证,即如果一些训练标签被反向改变,它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器,我们推导出一个变种,提供了一个确定性的,分析的界限,回避了传统上从抽样子程序的概率证书。此外,我们得到这些认证的界限,最小的额外的运行时复杂性超过标准分类,没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下,提供了第一个多类分类算法,是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
Fully Decentralized Certified Unlearning
NYU Abu Dhabi(纽约大学阿布扎比分校)
该研究提出了一种去中心化认证反学习方法 RR-DU,在保证隐私安全的同时提升模型性能。
2025-12-09 cs.LG
An Introduction to Machine Unlearning
NatWest Group(国民西敏寺银行集团);UCL(伦敦大学学院)
可能需要从机器学习模型中去除训练数据的指定子集的影响,以解决隐私、公平性和数据质量等问题。在删除子集后,在剩余的数据上从头开始重新训练模型是一种有效但通常不可行的选择,因为它的计算开销很大。因此,在过去的几年里,已经看到了一些新的方法来有效地去除,形成了“机器遗忘“领域,然而,迄今为止发表的文献的许多方面是不同的,缺乏共识。在本文中,我们总结和比较七个国家的最先进的机器遗忘算法,巩固在该领域使用的核心概念的定义,调和不同的方法来评估算法,并讨论相关的问题,在实践中应用机器遗忘。
2022-09-02 cs.LG
Towards Strong Certified Defense with Universal Asymmetric Randomization
University of Connecticut(康涅狄格大学);Cisco Research(思科研究);Illinois Institute of Technology(伊利诺伊理工学院)
提出UCAN通用非对称随机化技术,将各向同性噪声转为各向异性,增强任意随机平滑方法,在多个数据集上认证准确率大幅提升。
2025-10-22 cs.CR cs.LG
Incident duration prediction using a bi-level machine learning framework with outlier removal and intra-extra joint optimisation
University of Technology Sydney(悉尼科技大学)
由于事件的随机性,预测交通事件的持续时间是一项具有挑战性的任务。准确预测事故将持续多长时间的能力可以为最终用户的路线选择和交通运营管理人员在处理非经常性交通拥堵方面提供显着的好处。本文提出了一种新的双层机器学习框架,该框架增强了离群点去除和内外联合优化,用于预测来自澳大利亚悉尼和美国旧金山的三个异构数据集的事件持续时间。首先,我们使用事件数据日志开发了一种二元分类预测方法,这使我们能够将交通事故分为短期或长期。我们找到了短期与长期交通事件持续时间之间的最佳阈值,目标是类平衡和预测性能,同时还比较了二进制与多类分类方法。其次,为了将事件持续时间预测的粒度提高到分钟级别,我们提出了一种新的内部-外部联合优化算法(IEO-ML),该算法扩展了多个基线ML模型,并在数据集上对多个回归场景进行了测试。最终结果表明:a)40-45分钟是识别短期与长期事件的最佳分割阈值,这些事件应单独建模,b)我们提出的IEO-ML方法在所有情况下的$66\%$中显着优于基线ML模型,展示了其在准确事件持续时间预测方面的巨大潜力。最后,我们评估了特征的重要性,并显示时间,位置,事件类型,事件报告源和天气在前10个关键因素,影响事件将持续多久。
2022-05-18 cs.LG
FUNU: Boosting Machine Unlearning Efficiency by Filtering Unnecessary Unlearning
Hong Kong Polytechnic University(香港理工大学)
为提升机器遗忘效率,本文提出FUNU方法,通过利用参考模型识别移除请求中在剩余数据集中有相似邻居的数据点来过滤不必要的遗忘,从而缩减请求规模并减少执行时间,同时提供了隐私保证的理论分析与实验验证。
2025-01-28 cs.LG
Fair Machine Unlearning: Data Removal while Mitigating Disparities
Harvard University(哈佛大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对现有机器遗忘方法忽略公平性的问题,本文提出了首个能从公平目标中高效遗忘数据的公平机器遗忘方法,并从理论和真实数据集实验上证明了其能有效遗忘数据并维持公平性。
2024-02-16 cs.AI cs.LG
GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing
Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院);Research Institute of Tsinghua University in Shenzhen(深圳清华大学研究院)
经过认证的防御,如随机平滑,已显示出建立可靠的机器学习系统对$\ell_p$ -范数有界攻击的承诺。然而,现有的方法不足以或无法证明地防御语义转换,特别是那些没有封闭形式的表达式(如散焦模糊和像素化),这在实践中更常见,往往不受限制。为了填补这一空白,我们提出了广义随机平滑(GSmooth),一个统一的理论框架,通过一种新的维度增强策略来证明对一般语义变换的鲁棒性。在GSmooth框架下,我们提出了一个可扩展的算法,该算法使用代理图像到图像网络来近似复杂的变换。代理模型为研究语义转换的性质和证明健壮性提供了一个强有力的工具。在多个数据集上的实验结果表明,我们的方法对多种语义转换和腐败的鲁棒性认证的有效性,这是无法实现的替代基线。
2022-06-29 cs.AI cs.CR cs.CV
Diffusion Denoised Smoothing for Certified and Adversarial Robust Out-Of-Distribution Detection
Fraunhofer Institute for Cognitive Systems IKS(弗劳恩霍夫认知系统研究所IKS)
本文提出扩散去噪平滑方法,在不依赖网络架构和额外训练的情况下认证OOD检测的ℓ₂鲁棒性,并提升对抗攻击检测性能,在CIFAR10/100上指标平均提升约13%/5%。
2023-08-10 cs.AI cs.CV cs.LG
DFMU: Data-Frugal Machine Unlearning
提出一种数据节俭的机器遗忘方法DFMU,通过单次前向和后向传播计算模型计算块的重要性分数,基于知识保留剪枝实现快速收敛,仅需13%数据样本即可达到比现有方法高40%的保留准确率,平均处理时间快88%。
2026-06-25 cs.LG
Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU
Aalborg University(奥尔堡大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Milestone Systems(里程碑系统公司);Pioneer Center for Artificial Intelligence(先锋人工智能中心)
本文研究双曲对比学习中的机器遗忘,通过将对齐校准适配到双曲多模态模型MERU,证明双曲几何在概念移除上的优势,揭示其与欧几里得模型遗忘动态的差异,推进机器遗忘技术并提供几何特性对概念表示的见解。
2025-04-14 cs.AI cs.CL cs.CV
Machine Unlearning for Class Removal through SISA-based Deep Neural Network Architectures
Department of Computer Science and Engineering(计算机科学与工程系);Brac University(布拉大学);Dhaka, Bangladesh(孟加拉国达卡)
本文提出一种改进的SISA框架,用于在卷积神经网络中实现类别级无学习,通过增强的重放机制和门控网络提升选择性遗忘效率,实验表明该方法能有效移除特定类别数据并保持模型性能。
2026-04-30 cs.CR cs.CV cs.LG
BlockCert: Certified Blockwise Extraction of Transformer Mechanisms
BlockCert通过认证分块提取Transformer机制,提供可验证的误差界和覆盖率指标,实验证明其在多个模型上有效且具有实际应用价值。
2025-11-20 cs.AI cs.CL cs.LG
DRSM: De-Randomized Smoothing on Malware Classifier Providing Certified Robustness
University of Maryland - College Park(马里兰大学帕克分校)
本文提出 DRSM,通过窗口消融的去随机化平滑为恶意软件静态检测提供认证鲁棒性,并发布 PACE 良性可执行文件数据集。
2023-10-03 cs.CR cs.LG
Localized Shortcut Removal
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);TU Munich(慕尼黑工业大学);University of Southampton(南安普顿大学)
针对数据中比真实特征更小且更局部化的机器学习捷径问题,提出一种利用对抗性训练透镜检测并消除图像中无关预测线索的方法,在不损害模型在干净数据上性能的同时提升了模型的泛化能力。
2023-05-23 cs.CV cs.LG eess.IV