Certified Signed Graph Unlearning
Wuhan University of Technology(武汉理工大学);Wuhan Textile University(武汉纺织大学);University of Southern Queensland(南方大学)
针对现有图遗忘方法应用于符号图神经网络时丢失符号信息、性能下降的问题,提出三阶段的认证符号图遗忘方法CSGU,可提供可证明隐私保障,在效用保留和遗忘效果上均优于现有方法。
2025-11-18 cs.AI cs.LG
Random Relabeling for Efficient Machine Unlearning
Pennsylvania State University(宾夕法尼亚州立大学)
针对数据隐私法规下高效数据删除的挑战,提出适用于通用监督学习的随机重标记遗忘方案,以在线处理连续删除请求,并为基于logit的分类器开发了基于概率分布相似性的删除认证方法。
2023-05-21 cs.CR cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University(斯坦福大学)
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击,恶意用户注入虚假的训练数据,目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御,很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题,首先进行离群值删除,然后进行经验风险最小化的防御者。我们的近似依赖于两个假设:(1)数据集足够大,足以保持训练和测试误差之间的统计集中,以及(2)干净(非中毒)数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对,为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲,我们发现即使在简单的防御下,MNIST-1-7和Dogfish数据集也能抵御攻击,而相比之下,IMDB情感数据集只需添加3%的中毒数据,就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
On Optimization Complexity of Second-Order Certified Unlearning
研究模型遗忘中认证遗忘的优化复杂性,利用一致凸正则化器证明相关距离新界,开发新二阶遗忘算法,在实现线性模型认证遗忘上有快速收敛率,涵盖逻辑与指数回归遗忘,显示二阶信息优势。
2026-07-23 cs.LG math.OC
Forgetting Any Data at Any Time: A Theoretically Certified Unlearning Framework for Vertical Federated Learning
School of Computer Science, Peking University(北京大学计算机学院)
针对垂直联邦学习缺乏合规遗忘机制的问题,提出首个具有理论保证的模型与数据无关、支持异步遗忘的框架,可随时移除任意数据,满足被遗忘权要求。
2025-02-24 cs.AI cs.LG
Certified Graph Unlearning
UIUC(伊利诺伊大学厄巴纳-香槟分校)
图结构数据在实践中无处不在,并且经常使用图神经网络(GNN)进行处理。随着最近法律的通过,确保“被遗忘的权利”,图形数据删除的问题已经变得非常重要。为了解决这个问题,我们引入了第一个已知的GNN的\emph{certified graph unlearning}框架。与标准的机器遗忘相比,在处理复杂的图形数据时,出现了新的分析和启发式遗忘挑战。首先,需要考虑三种不同类型的遗忘请求,包括节点特征、边和节点遗忘。其次,要建立可证明的性能保证,需要解决传播过程中与特征混合相关的挑战。以简单图卷积(SGC)及其广义PageRank(GPR)扩展为例说明了底层分析,从而为GNN的认证学习奠定了理论基础。我们对六个基准数据集的实证研究表明,与不利用图形信息的完整再训练方法和方法相比,该方法具有出色的性能-复杂性权衡。例如,当对Cora数据集上的节点的$20\%$进行非学习时,我们的方法在测试准确性方面仅遭受$0.1\%$损失,同时与完全再训练相比,提供了$4$倍的速度提升。我们的计划也优于不利用图形信息的学习方法,$12\%$增加测试准确性的可比时间复杂度。
2022-10-28 cs.LG
A Certified Unlearning Approach without Access to Source Data
Department of Electrical and Computer Engineering, University of California, Riverside, CA, USA(加州大学河滨分校电子与计算机工程系);Brookhaven National Laboratory, Upton, NY, USA(布鲁克海文国家实验室)
本文提出一种无需访问源数据的认证删除方法,通过替代数据集和噪声缩放技术,在不接触原始数据的情况下实现有效数据删除,并通过实验验证其在隐私保护中的有效性。
2025-12-18 cs.CR cs.LG stat.ML
Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
Renmin University of China(中国人民大学)
针对现有可认证图遗忘方法在大规模图上因需重新计算图传播而不实用的问题,提出ScaleGUN,集成近似图传播技术实现十亿边图的可认证遗忘,在三种场景下提供保证且效率远超重新训练/传播。
2025-02-18 cs.LG
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
在许多工程实施中,安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而,强化学习算法不能完全保证实际操作的安全性。为了解决这个问题,这项工作采用了控制障碍函数强化学习,并提出了一个补偿算法,完全保持安全。具体而言,已利用平方和规划来搜索最优控制器,并同时调整学习超参数。因此,保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比,本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks
The University of Virginia(弗吉尼亚大学);The University of Houston(休斯顿大学)
本文提出名为IDEA的灵活认证遗忘框架,通过近似方法处理图上四类遗忘请求,适用于多种GNN架构与优化目标,并提供理论保证,实验证明其优越性。
2024-07-28 cs.LG
Certified Unlearning in Decentralized Federated Learning
School of Computer Science and Technology, Shandong University, Qingdao, China(山东大学计算机科学与技术学院);School of Electrical Engineering and Computer Science, TU Berlin, Berlin, Germany(柏林技术大学电气工程与计算机科学学院);College of Computer Science and Technology, Ocean University of China, Qingdao, China(中国海洋大学计算机科学与技术学院)
本文提出了一种基于牛顿式更新的去中心化联邦学习认证去学习框架,通过量化数据影响传播并利用曲率信息构建修正更新,确保去学习模型难以区分于重新训练模型。
2026-01-10 cs.LG stat.ML
Hessian-Free Online Certified Unlearning
Zhejiang University(浙江大学);Southern University of Science and Technology(南方科技大学);Northwestern University(西北大学)
本文提出一种无海森矩阵的高效机器遗忘方法,通过仿射随机递归维护每个训练数据的统计向量,并基于统计量重收集实现在线近即时删除,在遗忘保证、删除容量和时空开销上均优于现有方法。
2025-02-06 cs.AI cs.LG
Unlearning Algorithmic Biases over Graphs
Department of Electrical Engineering and Computer Science University of California Irvine(电气工程与计算机科学系加州大学伊维特分校);Department of Electrical and Computer Engineering University of Rochester(电气与计算机工程系罗切斯特大学)
针对图数据的偏见放大问题,本文提出无需训练的图消除学习方法,通过单步牛顿更新及特征、结构消除策略实现可认证的偏见缓解,在真实网络中验证了其效用-复杂度权衡优势。
2025-05-20 cs.LG cs.SI
Efficient and Mathematically Robust Operations for Certified Neural Networks Inference
Airbus Central R&T(空中客车中央研究与技术部)
本文针对认证神经网络推理的硬件挑战,通过评估求和与点积算法并采用定点运算替代IEEE 754浮点运算,以经验方法确定最佳位宽,在保证可接受精度的同时实现显著硬件效率。
2024-01-16 cs.AR cs.LG
SoK: Certified Robustness for Deep Neural Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学)
本文系统梳理了深度神经网络可认证鲁棒方法,提出分类体系并构建首个统一开源基准平台,评估20余种代表性验证与训练方法,揭示其特性、联系与未来方向。
2023-04-12 cs.CR cs.LG stat.ML
Certified Uncertainty Propagation in One-Shot Federated Bayesian Models via Posterior Event Transport
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
针对单次联邦贝叶斯模型,提出通过后验事件传输的部署一致认证框架,精确刻画FedAvg聚合下的安全概率下界,实验显示传输认证与直接全局认证存在显著差异。
2026-09-16 cs.LG
SoK: Machine Unlearning for Large Language Models
Michigan State University(密歇根州立大学);IBM T. J. Watson Research Center(IBM 托马斯·J·沃森研究中心)
本文从“真正移除知识还是仅抑制行为效应”的意图维度提出 LLM 遗忘新分类,并梳理方法、评估局限与部署挑战。
2025-06-10 cs.CR cs.LG
Exact and Certified Data Shapley for Weighted Nearest Neighbor Regression
Faculty of Information Technology, Monash University(莫纳什大学信息技术学院)
研究加权 KNN 回归和软标签预测的数据 Shapley 问题,提出首个伪多项式时间精确算法、认证 FPTAS 等方法,给出复杂度分析和扩展,发布开源库及基准真值,在下游检测中体现精确性价值。
2026-10-06 cs.AI cs.DS cs.LG
An Introduction to Machine Unlearning
NatWest Group(国民西敏寺银行集团);UCL(伦敦大学学院)
可能需要从机器学习模型中去除训练数据的指定子集的影响,以解决隐私、公平性和数据质量等问题。在删除子集后,在剩余的数据上从头开始重新训练模型是一种有效但通常不可行的选择,因为它的计算开销很大。因此,在过去的几年里,已经看到了一些新的方法来有效地去除,形成了“机器遗忘“领域,然而,迄今为止发表的文献的许多方面是不同的,缺乏共识。在本文中,我们总结和比较七个国家的最先进的机器遗忘算法,巩固在该领域使用的核心概念的定义,调和不同的方法来评估算法,并讨论相关的问题,在实践中应用机器遗忘。
2022-09-02 cs.LG
Reference-Tail Trust:Certified Probability Floors for Learned Updates Inside a Deployed Network
提出参考尾信任框架,在冻结GNN内进行有界学习更新并认证预测,通过概率下限和预算控制,实现可认证的GNN适应,优于现有校正器。
2026-09-29 cs.AI cs.LG
deep21: a Deep Learning Method for 21cm Foreground Removal
Princeton University(普林斯顿大学);Sorbonne Université(索邦大学);Flatiron Institute(熨斗研究所);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
我们试图从21厘米强度映射观测中去除前景污染物。我们证明了一个具有UNet架构和三维卷积的深度卷积神经网络(CNN),在模拟观测的基础上进行训练,可以有效地将宇宙中性氢(HI)信号的频率和空间模式与存在噪声的前景分开。在所有相关的角尺度和频率下,清理后的地图恢复了10%以内的宇宙学聚类统计。与标准主成分分析(PCA)方法相比,这相当于在小角度尺度($\ell > 300$)上减少了超过一个数量级的预测方差,并且提高了小径向尺度($k_{\parallel} > 0.17\ \rm h\ Mpc^{-1})$)的准确性。我们通过训练UNets的集合来估计网络预测的后验置信区间。我们的方法证明了分析21厘米强度图的可行性,而不是派生的汇总统计,为即将到来的无线电实验,只要模拟的前景模型是足够现实的。我们在Github https://github.com/tlmakinen/deep21上提供了用于此分析的代码,并通过随附的http://bit.ly/deep21-colab Colab notebook提供了基于浏览器的实验和UNet模型教程。
2021-06-01 astro-ph.CO cs.LG
R-GEAN: Regimen-Guided Edit Action Network for Within-Admission Medication Change Prediction
Gwangju Institute of Science and Technology (GIST)(光州科学技术院)
针对住院期间用药变更预测,提出R-GEAN非对称候选评分网络,在24万次入院数据上以编辑综合指标0.464优于基线,揭示完整方案与编辑级评估的差异。
2026-09-22 cs.AI cs.IR cs.LG