Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University(北京交通大学)
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁,因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而,很少有人关注自动路径搜索的对抗性研究。在本文中,我们证明了显性对抗示例在针对A3 C路径查找时是有效的,并设计了一种通用显性对抗示例生成方法(CDG)来生成针对任何给定地图的显性对抗示例。此外,本文还提出了基于梯度带的对抗训练方法,该方法采用随机选取的单个优势对抗样本进行训练,不做任何修改,实现了对广义优势对抗样本的“1:N”攻击免疫。大量实验结果表明,CDG算法的最低生成精度为91.91%,基于梯度带的对抗训练算法的最低免疫精度为93.89%,证明该方法能够实现A3 C路径查找的广义攻击免疫,且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University(上海交通大学);MarkableAI Inc.(MarkableAI公司);Université de Nantes(南特大学);Alibaba Group(阿里巴巴集团)
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
SAPAG: A Self-Adaptive Privacy Attack From Gradients
University of Connecticut(康涅狄格大学);Northeastern University(东北大学);Duke University(杜克大学);Amazon Web Services, Inc.(亚马逊云科技公司);Stevens Institute of Technology(史蒂文斯理工学院)
分布式学习,如联邦学习或协作学习,可以对来自用户的分散数据进行模型训练,并且只收集局部梯度,其中数据在接近其来源的地方进行处理,以保护数据隐私。不集中训练数据的性质解决了隐私敏感数据的隐私问题。近年来的研究表明,在分布式机器学习系统中,第三方可以通过公开共享的梯度重构真实的训练数据。然而,现有的重构攻击框架缺乏对不同深度神经网络(DNN)架构和不同权重分布初始化的通用性,并且只能在早期训练阶段成功。为了解决这些限制,在本文中,我们提出了一个更一般的隐私攻击梯度,SAPAG,它使用高斯核的梯度差作为距离测量。我们的实验表明,SAPAG可以构建训练数据在不同的DNN与不同的权重初始化和DNN在任何训练阶段。
2020-09-14 cs.CR cs.LG stat.ML
Efficient Project Gradient Descent for Ensemble Adversarial Attack
Purdue University(普渡大学)
最近的进展表明,深度神经网络对故意制作的对抗性示例不具有鲁棒性,其中许多示例是通过向清晰的输入添加人类不可感知的扰动而生成的。考虑$l_2$范数攻击,项目梯度下降(PGD)和Carlini和Wagner(C\&W)攻击是两种主要的方法,其中PGD控制对抗示例的最大扰动,而C\&W方法将扰动作为正则化项与损失函数一起优化。如果我们仔细地为任何单个输入设置参数,两种方法都变得相似。一般来说,当固定所有输入的参数时,PGD攻击执行得更快,但比C\&W获得更大的扰动来找到对抗性示例。在这份报告中,我们提出了一个有效的修改PGD方法攻击集成模型,自动改变集成权重和步长每次迭代每个输入。该方法生成的对抗性样本比PGD方法更小,同时与C &W方法相比仍然有效。我们的方法在IJCAI 19有针对性的对抗攻击比赛中获得了第一名。
2019-06-07 cs.CR cs.LG stat.ML
On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping
University of Maryland, College Park(马里兰大学帕克分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
机器学习算法容易受到数据投毒攻击。先前的分类法侧重于特定的场景,例如,不加区别的或有针对性的攻击,使防御相应的已知攻击的子集。然而,这不可避免地在对手和捍卫者之间引发了军备竞赛。在这项工作中,我们研究了依赖于所有中毒攻击所共有的工件的攻击不可知防御的可行性。具体来说,我们关注所有攻击之间的一个共同元素:它们修改计算的梯度以训练模型。我们确定了两个主要的文物的梯度计算中存在的毒药:(1)他们的$\ell_2$规范有显着更高的幅度比干净的梯度,(2)他们的方向不同于干净的梯度。基于这些观察,我们提出了一个通用的中毒防御的先决条件:它必须绑定梯度幅度和最小化方向的差异。我们称之为梯度成形。作为评估梯度成形可行性的示例工具,我们使用差分私有随机梯度下降(DP-SGD),它在训练期间剪辑和扰动个体梯度以获得隐私保证。我们发现,DP-SGD,即使在配置,不产生有意义的隐私保证,增加了模型的鲁棒性不分青红皂白的攻击。它还减轻了最坏情况下的有针对性的攻击,并增加了对手在多毒药场景中的成本。我们发现DP-SGD唯一无效的攻击是强大的,但不切实际的,不分青红皂白的攻击。我们的研究结果表明,虽然我们目前缺乏一个通用的中毒防御,梯度成形是未来研究的一个有前途的方向。
2020-02-27 cs.CR cs.LG
Erratum Concerning the Obfuscated Gradients Attack on Stochastic Activation Pruning
Amazon Web Services(亚马逊云服务);Google Brain(谷歌大脑)
随机激活修剪(SAP)(Dhillon等人,2018年)是对对抗性示例的防御,这些示例被攻击并被“混淆的证据”论文(Athalye等人,2018年)。我们在重新实施中发现了一个缺陷,人为地削弱了SAP。当SAP被正确应用时,所提出的攻击是无效的。然而,我们发现,一个新的使用BPDA攻击技术仍然可以减少SAP的准确性为0.1%。
2020-09-30 cs.LG stat.ML
Inverting Gradient Attacks Makes Powerful Data Poisoning
Meta;École polytechnique(巴黎综合理工学院)
本研究针对非凸场景下数据投毒能否达到梯度攻击危害的问题,利用梯度反转技术实现了数据投毒对梯度攻击的模拟,首次通过占比低至1%的投毒点将神经网络性能降至随机水平。
2024-12-11 cs.CR cs.LG
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology(佐治亚理工学院)
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一,因为攻击者在迭代训练期间秘密地监视梯度更新,而不影响模型训练质量,并且使用泄漏的梯度秘密地重建敏感的训练数据,具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准,但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私(DP)的梯度泄漏弹性深度学习的替代方法。首先,我们分析了具有差分隐私的深度学习的现有实现,该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证,但该方法精度低并且容易受到梯度泄漏攻击。其次,我们提出了一种梯度泄漏弹性深度学习方法,通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同,不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术,这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后,我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Towards Reasonable Budget Allocation in Untargeted Graph Structure Attacks via Gradient Debias
Westlake University(西湖大学);Zhejiang University(浙江大学)
本文指出无目标图结构攻击中负交叉熵损失导致预算分配不合理,提出一种基于新颖攻击目标的简单攻击模型,生成不受节点置信度影响的无权重梯度,在灰盒投毒攻击场景下无需额外超参数即可显著提升基于梯度的边扰动有效性。
2023-03-29 cs.CR cs.LG
Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks
Sun Yat-Sen University(中山大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Minnesota(明尼苏达大学)
针对拜占庭攻击下分布式SGD因梯度噪声难区分恶意消息的问题,提出基于几何中位数聚合的Byrd-SAGA方差缩减方法,在攻击者不足半数时可证线性收敛,实验验证其鲁棒性优于抗攻击分布式SGD。
2021-02-03 cs.AI cs.CR cs.LG
Local Differential Privacy is Not Enough: A Sample Reconstruction Attack against Federated Learning with Local Differential Privacy
Xidian University(西安电子科技大学);University of Kent(肯特大学);Fuzhou University(福州大学);University of New South Wales(新南威尔士大学)
针对本地差分隐私(LDP)联邦学习中现有样本重建攻击失效的问题,提出结合梯度压缩(基于样本特征推理结构)和重建样本去噪(零梯度观察噪声+缩放置信区间)的攻击方法,可针对任意目标模型重建样本且对模型精度影响小,证明LDP联邦学习需进一步改进防御机制。
2025-02-12 cs.CR cs.LG
Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University(普林斯顿大学);Adobe Research(Adobe研究院)
梯度反转攻击(Gradient Inversion Attack)是联邦学习安全性和隐私保护面临的一种新威胁,恶意窃听者或协议参与者可以利用梯度反转攻击恢复(部分)客户端的隐私数据。本文评估了现有的攻击和防御。我们发现,一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后,我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡,并发现以适当的方式将它们结合起来会使攻击变得不那么有效,即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明,目前可以通过轻微的数据实用程序损失来防御最先进的攻击,如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
Scaling up the randomized gradient-free adversarial attack reveals overestimation of robustness using established attacks
University of Tübingen(图宾根大学)
现代神经网络对于对抗性操纵是高度不鲁棒的。大量的工作已经投入到技术,通过正式的保证计算鲁棒性的下限,并建立可证明的鲁棒模型。然而,仍然很难保证较大的网络或对较大扰动的鲁棒性。因此,攻击策略需要提供严格的实际鲁棒性上界。我们显着改进了ReLU网络的随机无梯度攻击[9],特别是通过将其扩展到大型网络。我们表明,我们的攻击实现了类似或显着较小的鲁棒性的准确性比国家的最先进的攻击,如PGD或Carlini和瓦格纳之一,从而揭示了高估的鲁棒性,这些国家的最先进的方法。我们的攻击不是基于梯度下降方案,在这个意义上是无梯度的,这使得它对超参数的选择不太敏感,因为不需要仔细选择步长。
2019-09-25 cs.CR cs.CV cs.LG
Robustness of Bayesian Neural Networks to Gradient-Based Attacks
University of Trieste(的里雅斯特大学);University of Oxford(牛津大学);SISSA(国际高等研究院)
对抗攻击的脆弱性是在安全关键型应用中采用深度学习的主要障碍之一。尽管在实践和理论方面作出了重大努力,但问题仍然存在。本文分析了贝叶斯神经网络(BNN)在大数据、过参数化极限下的对抗攻击几何。我们表明,在极限情况下,对基于梯度的攻击的脆弱性是由于数据分布的退化而产生的,即,当数据位于周围空间的低维子流形上时。作为一个直接的后果,我们证明了在极限BNN后验是强大的基于梯度的对抗攻击。在MNIST和Fashion MNIST数据集上的实验结果支持这一论点,这些数据集具有使用Hamilton Monte Carlo和变分推理训练的BNN,表明BNN可以对基于梯度的对抗攻击表现出高准确性和鲁棒性。
2020-06-24 cs.LG stat.ML
Beyond Gradients: Exploiting Adversarial Priors in Model Inversion Attacks
Institute for Artificial Intelligence in Medicine(医学人工智能研究所);Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
像联邦学习这样的协作机器学习设置可能容易受到对抗性干扰和攻击。一类这样的攻击被称为模型反演攻击,其特征在于对手对模型进行逆向工程以提取表示,从而公开训练数据。这种攻击的先前实现通常只依赖于捕获的数据(即共享梯度),而不利用对手自己控制的数据作为训练联盟的一部分。在这项工作中,我们提出了一种新的模型反演框架,该框架建立在基于梯度的模型反演攻击的基础上,但还依赖于将重建图像的特征和风格与对手控制的数据相匹配。我们的技术在质量和数量上都优于现有的基于梯度的方法,同时仍然保持相同的诚实但好奇的威胁模型,允许对手在保持隐蔽的同时获得增强的重建。
2022-03-01 cs.CR cs.LG
Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning
Meta AI;Cornell University(康奈尔大学)
针对联邦学习中现有梯度压缩等防御被认为能有效抵御梯度反演攻击的结论,本文提出一种基于辅助数据训练模型的简单自适应攻击,可攻破视觉与语言任务下的现有防御,揭示被低估的隐私风险。
2023-06-09 cs.CR cs.LG
Logit Pairing Methods Can Fool Gradient-Based Attacks
Saarland University(萨尔兰大学);University of Tübingen(蒂宾根大学)
最近,Kannan et al. [2018]提出了几种logit正则化方法来提高分类器的对抗鲁棒性。我们证明了他们提出的计算速度快的方法--干净的Logit配对(CLP)和Logit挤压(LSQ)--只是使制作对抗性示例的基于梯度的优化问题变得更加困难,而没有提供实际的鲁棒性。我们发现,对抗性Logit配对(ALP)确实可以提供对抗性示例的鲁棒性,特别是当与对抗性训练相结合时,我们在各种设置中对其进行了研究。然而,对抗准确性的提高比以前声称的要小得多。最后,我们的研究结果表明,对迭代PGD攻击的评估在很大程度上依赖于所使用的参数,并可能导致错误的结论模型的鲁棒性。
2019-03-12 cs.CR cs.LG stat.ML
Optimal Defenses Against Gradient Reconstruction Attacks
Peking University(北京大学);Columbia University(哥伦比亚大学);New York University(纽约大学)
本文针对联邦学习中的梯度重建攻击,推导重建误差理论下界,并定制参数与模型特异的噪声和剪枝防御,实现数据保护与模型效用的最优权衡。
2024-11-06 cs.AI cs.CR cs.LG
A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
本文全面分析了基于transformer模型的梯度泄露攻击,证明了仅从梯度恢复数据的条件,并在差分隐私框架下理论分析了引入噪声防御的隐私成本及SGD算法的收敛性。
2023-11-22 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
Approaching the Harm of Gradient Attacks While Only Flipping Labels
École Polytechnique(巴黎高等理工学院);CMAP, École Polytechnique(巴黎高等理工学院)
本文研究仅翻转有限训练标签的受限攻击对分布式学习的可用性威胁,提出每轮最优贪心规则,证明其可迁移至鲁棒聚合器,危害接近梯度攻击。
2026-09-09 cs.CR cs.LG stat.ML
AGSOA:Graph Neural Network Targeted Attack Based on Average Gradient and Structure Optimization
School of Computer Science(计算机学院);Qinghai Normal University(青海师范大学)
针对现有图神经网络梯度攻击易陷局部最优、隐蔽性差的问题,提出包含平均梯度计算与结构优化模块的AGSOA攻击方法,在三个数据集上误分类率较最优基线提升2%-8%。
2024-06-19 cs.AI cs.CR cs.LG
An Eye for an Eye: Defending against Gradient-based Attacks with Gradients
Illinois Institute of Technology(伊利诺伊理工学院);Rochester Institute of Technology(罗切斯特理工学院)
深度学习模型已被证明容易受到对抗攻击的攻击。特别是,基于梯度的攻击最近表现出很高的成功率。梯度测量每个图像像素如何影响模型输出,其中包含用于生成恶意扰动的关键信息。在本文中,我们表明,梯度也可以作为一个强大的武器来抵御对抗攻击。通过使用梯度图和对抗图像作为输入,我们提出了一个双流恢复网络(TRN)来恢复对抗图像。为了对两个输入流的扰动图像进行最优恢复,提出了一种梯度图估计机制来估计对抗图像的梯度,并在TRN中设计了一个融合块来探索和融合两个输入流中的信息。一旦经过训练,我们的TRN可以防御各种攻击方法,而不会显着降低良性输入的性能。此外,我们的方法是通用的,可扩展的,很难绕过。在CIFAR10,SVHN和Fashion MNIST上的实验结果表明,我们的方法优于最先进的防御方法。
2022-02-02 cs.CR cs.CV cs.LG
Towards Query-Efficient Black-Box Adversary with Zeroth-Order Natural Gradient Descent
Northeastern University(东北大学);IBM Research(IBM研究院)
尽管现代深度神经网络(DNN)取得了巨大的成就,但在许多需要高可靠性的应用领域中,最先进的DNN的脆弱性/鲁棒性引起了安全问题。各种对抗攻击被提出来破坏DNN模型的学习性能。其中,黑箱对抗攻击方法由于其实用性和简单性而受到特别的关注。黑盒攻击通常喜欢较少的查询,以保持隐蔽性和低成本。然而,目前的黑盒攻击方法大多采用一阶梯度下降方法,存在收敛速度慢、对超参数设置敏感等不足。本文提出了一种零阶自然梯度下降(ZO-NGD)方法来设计对抗攻击,该方法结合了零阶梯度估计技术和二阶自然梯度下降,以提高查询效率。在图像分类数据集上的实验结果表明,与现有攻击方法相比,ZO-NGD能够获得更低的模型查询复杂度。
2020-02-18 cs.CR cs.CV cs.LG
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research(Facebook AI研究院)
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例,而是搜索由连续值矩阵参数化的对抗性示例分布,从而实现基于梯度的优化。我们的经验表明,我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外,我们证明了一个强大的黑盒传输攻击,通过从对抗分布中采样,匹配或超过现有的方法,而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems
Georgia Institute of Technology(佐治亚理工学院)
实时的【形】海量数据捕获的快速增长将深度学习和数据分析计算推向了边缘系统。边缘上的实时的【形】对象识别是代表性的深度神经网络(DNN)驱动的边缘系统之一,用于现实世界的关键任务应用,如自动驾驶和增强现实。虽然DNN支持的目标检测边缘系统为许多丰富生活的机会提供了机会,但它们也为误用和滥用打开了大门。本文介绍了三种目标对抗性目标梯度攻击,称为TOG,这可能会导致最先进的深度目标检测网络遭受对象消失,对象制造和对象错误标记攻击。我们还提出了一个通用的对象梯度攻击使用对抗性的黑盒攻击,这是有效的攻击时间成本可以忽略不计的任何输入,低人类感知,特别是不利于目标检测边缘系统。我们使用两个基准数据集(PASCAL VOC和MS COCO)对两种最先进的检测算法(YOLO和SSD)进行了实验测量。结果表明,严重的对抗性弱点和迫切需要开发强大的目标检测系统。
2020-04-09 cs.CR cs.CV cs.LG
Mitigating Advanced Adversarial Attacks with More Advanced Gradient Obfuscation Techniques
Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);University of California San Diego(加州大学圣地亚哥分校);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Columbia University(哥伦比亚大学)
众所周知,深度神经网络(DNN)容易受到对抗性示例(AE)的影响。大量的努力被用来发动和加热攻击者和防御者之间的军备竞赛。最近,提出了先进的基于梯度的攻击技术(例如,BPDA和EOT),它们已经击败了相当数量的现有防御方法。到目前为止,仍然没有令人满意的解决方案可以有效地防御这些攻击。在本文中,我们通过两个主要贡献为减轻这些高级的基于梯度的攻击迈出了坚实的一步。首先,我们对这些攻击的根本原因进行了深入分析,并提出了四个可以打破这些攻击的基本假设的属性。其次,我们确定了一组可以满足这些属性的操作。通过整合这些操作,我们设计了两个预处理功能,可以使这些强大的攻击无效。广泛的评估表明,我们的解决方案可以有效地缓解所有现有的标准和先进的攻击技术,并击败了11个国家的最先进的防御解决方案在过去2年的顶级会议上发表。防御者可以使用我们的解决方案将攻击成功率限制在7%以下,即使对手已经花费了数十个GPU小时。
2020-05-27 cs.CR cs.LG
Are Gradients on Graph Structure Reliable in Gray-box Attacks?
Zhejiang University(浙江大学);Westlake University(西湖大学)
图边扰动通过改变图的结构来破坏图神经网络的预测。以前的灰盒攻击者利用代理模型的梯度来定位脆弱的边缘,以扰乱图结构。然而,不可靠性存在于图结构的梯度,这是以前的工作很少研究。本文对结构梯度的不可靠性所引起的误差进行了讨论和分析。这些错误是由于图结构的离散性和图结构上的元梯度的不可靠性而导致的粗糙梯度使用。为了解决这些问题,我们提出了一种新的攻击模型的方法,以减少结构梯度内的错误。我们提出边缘离散采样来选择与分层候选选择相关的边缘扰动,以确保计算效率。此外,语义不变性和动量梯度集成提出了解决语义增强图的梯度波动和代理模型的不稳定性。实验在非目标灰盒中毒的情况下进行,并证明了我们的方法的性能的改善。
2022-09-09 cs.CR cs.LG
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University(阿尔托大学);Perspecta Labs(Perspecta实验室)
最先进的对抗攻击针对的是神经网络分类器。默认情况下,神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里,我们介绍了一种新的方法,使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络(GAN)的子节点,它与GAN生成器进行极大极小博弈。此外,我们的GAN生成器将所有点投影到与原始流形不同的流形上,因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能,我们使用了对抗攻击- Carlini Wagner(CW),DeepFool,快速梯度符号方法(FGSM)-在三个数据集上:MNIST,CIFAR-10和德国交通标志(TRAFFIC)。针对CW攻击,我们的极大极小防御率达到98.07%(MNIST-默认98.93%),73.90%(CIFAR-10-默认83.14%)和94.54%(TRAFFIC-默认96.97%)。针对DeepFool攻击,我们的minimax防御达到98.87%(MNIST),76.61%(CIFAR-10)和94.57%(TRAFFIC)。针对FGSM攻击,我们实现了97.01%(MNIST),76.79%(CIFAR-10)和81.41%(TRAFFIC)。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
An Efficient Gradient-Based Inference Attack for Federated Learning
Gradiant
本文提出了一种高效的基于梯度的推理攻击方法,用于联邦学习场景,通过分析多轮次梯度演变,揭示数据泄露风险及聚合器威胁。
2025-12-17 cs.CR cs.LG
Random Directional Attack for Fooling Deep Neural Networks
the University of Science and Technology of China(中国科学技术大学);the School of Computer Science and Technology(计算机科学与技术学院)
深度神经网络(DNN)在图像处理、语音识别等领域得到了广泛的应用,但其易受对抗性样本的攻击,这是一个值得关注的安全问题。由于DNN的训练过程通过沿着梯度下降方向更新权重来收敛损失,因此许多基于梯度的方法试图通过在梯度方向上添加扰动来破坏DNN模型。不幸的是,由于模型在大多数情况下是非线性的,在梯度方向上增加扰动并不一定会增加损失。因此,本文提出了一种随机定向攻击(RDA)来生成对抗性示例。RDA不是限制梯度方向来产生攻击,而是基于爬山搜索攻击方向,并使用多种策略来避免导致攻击失败的局部最优。与现有的基于梯度的方法相比,RDA的攻击性能具有很强的竞争力。此外,RDA可以在没有模型内部知识的情况下进行攻击,并且在黑盒攻击下的性能在大多数情况下与白盒攻击相似,这是现有的基于梯度的攻击方法难以实现的。
2019-08-06 cs.CR cs.LG cs.NE
Evaluating Selective Encryption Against Gradient Inversion Attacks
Information Networking Institute(信息网络研究所);Carnegie Mellon University(卡内基梅隆大学);TensorOpera AI;Department of Electrical and Computer Engineering(电气与计算机工程系)
本文系统评估了选择性加密在对抗梯度反演攻击中的效果,提出基于距离的重要性分析框架,并发现梯度幅度是普遍有效的度量,同时为不同模型和隐私需求提供了策略选择指南。
2025-08-06 cs.CR cs.LG
Refiner: Data Refining against Gradient Leakage Attacks in Federated Learning
East China Normal University(东华师范大学);The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);Alibaba Group(阿里巴巴集团)
针对联邦学习中的梯度泄露攻击,本文提出Refiner,通过联合优化效用与隐私指标生成低语义相似但保持关键梯度一致性的鲁棒数据,理论和多个基准实验均验证其优越防御效果。
2025-06-10 cs.CR cs.LG
Improving Black-box Adversarial Attacks with a Transfer-based Prior
Tsinghua University(清华大学)
我们考虑黑盒对抗设置,其中对手必须生成对抗扰动,而无需访问目标模型来计算梯度。以前的方法试图通过使用代理白盒模型的转移梯度或基于查询反馈来近似梯度。然而,这些方法往往遭受低攻击成功率或查询效率差,因为它是不平凡的估计在一个高维空间的有限信息的梯度。为了解决这些问题,我们提出了一种先验引导的随机无梯度(P-RGF)方法来改善黑盒对抗攻击,它同时利用基于传输的先验和查询信息。通过理论分析得出的最优系数,将基于转移的先验知识(由代理模型的梯度给出)适当地融入到我们的算法中。大量的实验表明,我们的方法需要更少的查询,以更高的成功率攻击黑盒模型相比,替代国家的最先进的方法。
2020-07-26 cs.CR cs.CV cs.LG
MUTEN: Boosting Gradient-Based Adversarial Attacks via Mutant-Based Ensembles
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心)
深度神经网络(DNN)容易受到对抗性样本的攻击,这对安全关键型应用程序造成了严重威胁。这激发了许多关于提供机制以使模型对对抗攻击更鲁棒的研究。不幸的是,大多数防御措施(例如梯度掩蔽)都可以通过不同的攻击手段轻松克服。在本文中,我们提出了MUTEN,这是一种低成本的方法,可以提高针对梯度掩蔽模型的知名攻击的成功率。我们的想法是将攻击应用于通过在训练后突变原始模型元素而构建的集成模型。由于我们发现突变体的多样性是提高成功率的一个关键因素,我们设计了一个贪心算法来有效地产生多样的突变体。在MNIST、SVHN和CIFAR 10上的实验结果表明,MUTEN可以将四次攻击的成功率提高高达0.45。
2021-09-27 cs.CR cs.CV cs.LG
Towards Sharper First-Order Adversary with Quantized Gradients
University of Technology Sydney(悉尼科技大学);Amazon AWS(亚马逊云科技)
尽管深度神经网络(DNN)在广泛的机器学习和数据采掘任务中取得了巨大的成功,但最近的研究表明,这种强大的工具容易受到恶意制作的对抗性示例的影响。到目前为止,对抗性训练一直是对抗对抗攻击最成功的防御手段。为了提高对抗性鲁棒性,DNN可以使用一阶方法生成的良性和对抗性示例的组合进行训练。然而,在最先进的一阶攻击中,具有符号梯度的对抗性示例保留每个梯度分量的符号信息,但丢弃分量之间的相对大小。在这项工作中,我们用量化梯度代替符号梯度。梯度量化不仅保留了符号信息,而且保持了分量之间的相对大小。实验表明,白盒一阶攻击量化梯度优于他们的变种符号梯度在多个数据集上。值得注意的是,我们的BLOB\_QG攻击在MNIST挑战赛的秘密MNIST模型上达到了$88.32\%$的准确性,并且在白盒攻击排行榜上优于所有其他方法。
2020-02-01 cs.CR cs.LG
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST(韩国科学技术院)
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题,提出基于对比代理目标的攻击方法Metacon,通过新代理损失缓解偏差,在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
Boosting Gradient for White-Box Adversarial Attacks
Xidian University(西安电子科技大学)
深度神经网络(DNN)在各种人工智能应用中发挥着关键作用,例如图像分类和对象识别。然而,越来越多的研究表明,DNN中存在对抗性样本,这些样本与原始样本几乎没有什么不同,但可以极大地改变网络输出。现有的白盒攻击算法可以生成强大的对抗性示例。然而,大多数算法都集中在如何迭代地最好地利用梯度来提高对抗性能。相比之下,在本文中,我们专注于广泛使用的ReLU激活函数的性质,并发现存在两种现象(即,错误的阻塞和过度传输)在反向传播期间误导ReLU中的梯度计算。这两个问题都扩大了梯度的损失函数的预测变化与相应的实际变化之间的差异,并误导梯度,导致更大的扰动。因此,我们提出了一种通用的对抗性示例生成方法,称为ADV-ReLU,以增强基于梯度的白盒攻击算法的性能。在网络的反向传播过程中,我们的方法计算损失函数相对于网络输入的梯度,将值映射到分数,并选择其中的一部分来更新误导梯度。在\emph{ImageNet}上的综合实验结果表明,我们的ADV-ReLU可以很容易地集成到许多最先进的基于梯度的白盒攻击算法中,以及转移到黑盒攻击者,以进一步减少${\ell _2}$范数的扰动。
2020-10-21 cs.CR cs.CV cs.LG
LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning
University of Maryland, College Park(马里兰大学帕克分校);IBM Research(IBM研究院)
联邦学习是一种允许多个参与者在不共享数据的情况下协作训练模型的机制。在这些设置中,参与者(工作人员)可能不完全信任彼此;例如,一组竞争对手可能协作训练机器学习模型来检测欺诈。工作器提供中央服务器用于更新全局模型的本地梯度。当Byzantine worker发送恶意梯度时,这个全局模型可能会被破坏,这需要用于聚合梯度的鲁棒方法来减轻Byzantine输入的不利影响。现有的鲁棒聚集算法通常计算量大,并且仅在严格的假设下有效。在本文中,我们介绍了分层梯度聚合(LEGATO),聚合算法,相比之下,可扩展性和通用性。LEGATO通过研究梯度对拜占庭攻击的特定于层的响应,采用了一种动态梯度重新加权方案,该方案在基于特定于层的鲁棒性处理梯度方面是新颖的。我们证明,LEGATO比多种最先进的技术在计算上更高效,并且在实践中在各种攻击环境中更强大。我们还证明了LEGATO在没有攻击的情况下对梯度下降收敛的好处。
2021-07-26 cs.CR cs.DC cs.LG
MixTailor: Mixed Gradient Aggregation for Robust Learning Against Tailored Attacks
Aalborg University(奥尔堡大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
SGD在分布式系统上的实现会产生新的漏洞,这些漏洞可以被一个或多个敌对代理识别和滥用。最近,已经表明,众所周知的拜占庭弹性梯度聚合方案确实容易受到可以定制攻击的知情攻击者的攻击(Fang等人,2020; Xie等人,2020年b)。我们引入MixTailor,一个基于聚合策略随机化的方案,使得攻击者不可能完全知情。确定性方案可以动态集成到MixTailor中,而无需引入任何额外的超参数。随机化降低了强大对手定制攻击的能力,而由此产生的随机聚合方案在性能方面仍然具有竞争力。对于iid和非iid设置,我们建立几乎肯定的收敛保证,都比文献中提供的更强,更一般。我们对各种数据集、攻击和设置的实证研究验证了我们的假设,并表明MixTailor在著名的拜占庭容忍方案失败时成功地进行了防御。
2022-09-23 cs.CR cs.LG
A Survey on Gradient Inversion: Attacks, Defenses and Future Directions
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);JD Explore Academy, JD.com(京东探索研究院)
最近的研究表明,训练样本可以从梯度中恢复,这被称为梯度反转(GradInv)攻击。然而,仍然缺乏涵盖最新进展的广泛调查和对这一问题的透彻分析。在本文中,我们提出了一个全面的调查GradInv,旨在总结的前沿研究和拓宽视野,为不同的领域。首先,我们提出了一个GradInv攻击的分类,现有的攻击分为两种范式:基于迭代和递归的攻击。特别是,我们从基于迭代的攻击中挖掘出一些关键成分,包括数据初始化,模型训练和梯度匹配。其次,我们总结了新兴的防御策略对GradInv攻击。我们发现这些方法集中在三个方面,包括数据模糊,模型改进和梯度保护。最后,我们讨论了一些有前途的方向和开放的问题,为进一步的研究。
2022-06-15 cs.LG
MAZE: Data-Free Model Stealing Attack Using Zeroth-Order Gradient Estimation
Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
模型窃取(MS)攻击允许具有对机器学习模型的黑盒访问的攻击者复制其功能,从而损害模型的机密性。这样的攻击通过使用针对不同输入的目标模型的预测来训练克隆模型。这种攻击的有效性在很大程度上依赖于查询目标模型所需数据的可用性。现有的攻击要么假设部分访问目标模型的数据集,要么假设具有语义相似性的替代数据集的可用性。提出了一种基于零阶梯度估计的无数据模型窃取攻击MAZE。与之前的作品相比,MAZE不需要任何数据,而是使用生成模型创建合成数据。受最近无数据知识蒸馏(KD)工作的启发,我们使用分歧目标训练生成模型,以产生最大化克隆和目标模型之间分歧的输入。然而,与KD的白盒设置不同,在白盒设置中,梯度信息是可用的,训练生成器进行模型窃取需要执行黑盒优化,因为它涉及访问受到攻击的目标模型。MAZE依赖于零阶梯度估计来执行这种优化,并实现高度精确的MS攻击。我们对四个数据集的评估表明,MAZE提供了0.91 x至0.99 x范围内的归一化克隆准确度,甚至优于依赖部分数据(JBDA,克隆准确度0.13 x至0.69 x)和替代数据(KnockoffNets,克隆准确度0.52 x至0.97 x)的最近攻击。我们还研究了部分数据设置中的MAZE扩展,并开发了MAZE-PD,它生成更接近目标分布的合成数据。MAZE-PD进一步提高了克隆准确性(0.97倍至1.0倍),并将攻击所需的查询减少了2倍至24倍。
2022-10-28 cs.LG stat.ML
GDBR: Label Recovery Attack Against Partial Gradient Encryption in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
研究联邦学习中部分梯度加密的隐私问题,提出GDBR攻击,利用常用神经模块漏洞,构建梯度桥近似logits信息恢复标签,揭示其隐私威胁并通过实验验证。
2026-07-07 cs.CR cs.LG
Surrogate Model Extension (SME): A Fast and Accurate Weight Update Attack on Federated Learning
KU Leuven(鲁汶大学)
本文提出代理模型扩展SME,利用二维梯度流特性与本地更新低秩性,将梯度反演攻击扩展到联邦学习权重更新,达到SOTA且速度最高提升100倍。
2023-05-31 cs.CR cs.LG
Exploring Adversarial Attack in Spiking Neural Networks with Spike-Compatible Gradient
University of California, Santa Barbara(加州大学圣巴巴拉分校);Tsinghua University(清华大学)
近年来,基于时间的反向传播学习算法被广泛引入到神经网络中以提高其性能,这为精确地攻击给定时空梯度图的模型提供了可能。我们提出了两种方法来解决梯度输入不兼容和梯度消失的挑战。具体来说,我们设计了一个梯度尖峰转换器,将连续梯度转换为三进制的尖峰输入兼容。然后,我们设计了一个梯度触发器来构造三元梯度,当满足所有零梯度时,该梯度可以以可控的周转率随机翻转尖峰输入。把这些方法放在一起,我们建立了一个对抗攻击的监督算法训练的SNN的方法。此外,我们分析了训练损失函数和倒数第二层的触发阈值的影响,这表明在交叉熵损失下存在一个“陷阱”区域,可以通过阈值调整来逃脱。大量的实验进行验证我们的解决方案的有效性。除了对影响因素进行定量分析外,我们还证明了SNN比ANN更能抵抗对抗攻击。这项工作可以帮助揭示SNN攻击中发生了什么,并可能激发更多关于SNN模型和神经形态设备安全性的研究。
2020-09-30 cs.CR cs.LG cs.NE
No More Guessing: a Verifiable Gradient Inversion Attack in Federated Learning
Inria, France(法国国家信息与自动化技术研究所);CNRS, France(法国国家科学研究中心)
本文提出一种可验证梯度反向攻击,通过几何视角检测激活边界区域中的单个记录,实现精确样本恢复,提升联邦学习中数值表格数据的隐私保护。
2026-04-16 cs.AI cs.CR cs.LG
HyperAttack: Multi-Gradient-Guided White-box Adversarial Structure Attack of Hypergraph Neural Networks
Central South University(中南大学);National University of Defence Technology(国防科技大学);Tsinghua University(清华大学)
超图神经网络(HGNN)在各种深度学习任务中表现出卓越的性能,利用高阶表示能力通过超边建模连接两个或更多节点来制定数据之间的复杂相关性。针对图神经网络的对抗性攻击已经得到了广泛的研究,但针对HGNN的对抗攻击研究较少,这对HGNN应用的安全性构成了威胁。在本文中,我们介绍了HyperAttack,第一个针对超图神经网络的白盒对抗攻击框架。HyperAttack通过在梯度和综合梯度的指导下扰动超边缘链路状态来进行白盒结构攻击。我们评估HyperAttack上广泛使用的Cora和PubMed数据集和三个超图神经网络与典型的超图建模技术。与GNN最先进的白盒结构化攻击方法相比,HyperAttack在时间效率上提高了10- 20倍,同时攻击成功率也提高了1.3%-3.7%。结果表明,HyperAttack可以实现有效的对抗攻击,平衡效率和时间成本。
2023-02-24 cs.AI cs.CR cs.LG
An Equivalence Between Data Poisoning and Byzantine Gradient Attacks
EPFL(洛桑联邦理工学院)
为了研究分布式学习的弹性,“拜占庭”文献考虑了一个强威胁模型,其中工作人员可以向参数服务器报告任意梯度。虽然这个模型帮助获得了一些基本的结果,但有时被认为是不现实的,因为工人大多是值得信赖的机器。在本文中,我们展示了这个模型和数据投毒之间令人惊讶的等价性,这是一种被认为更现实的威胁。更具体地说,我们证明,每一个梯度攻击可以减少到数据投毒,在任何个性化的联邦学习系统与PAC的保证(我们表明是可取的和现实的)。这种等价性使得有可能获得新的不可能性结果的弹性的任何“强大的”学习算法的数据投毒在高度异构的应用程序,作为推论拜占庭机器学习现有的不可能性定理。此外,使用我们的等价性,我们得到了一个实际的攻击,我们表明(理论和经验)可以非常有效地对经典的个性化联邦学习模型。
2022-07-20 cs.LG stat.ML
Temporal Gradient Inversion Attacks with Robust Optimization
Shanghai Jiao Tong University(上海交通大学);WeBank(微众银行)
针对联邦学习中单次迭代梯度反转攻击因梯度维度不足等无法重建私有数据的问题,提出无需先验知识、利用多时序梯度结合鲁棒统计的TGIAs-RO攻击方法,经理论与多数据集实验验证性能更优,为隐私保护研究提供启发。
2023-06-13 cs.CR cs.LG
Gradient Masking Causes CLEVER to Overestimate Adversarial Perturbation Size
Google Brain(谷歌大脑)
对抗性实例研究中的一个关键问题是,对抗性实例的脆弱性通常通过运行攻击算法来衡量。由于攻击算法不是最优的,攻击算法容易高估欺骗目标模型所需的扰动大小。换句话说,基于攻击的方法提供了一个可以欺骗模型的扰动大小的上限,但安全保证需要一个下限。CLEVER是一种用于估计下限的建议评分方法。不幸的是,对界限的估计并不是界限。在这份报告中,我们表明,梯度掩蔽,一个常见的问题,导致攻击方法只提供一个非常宽松的上限,导致CLEVER高估的扰动的大小需要欺骗模型。换句话说,CLEVER并没有解决基于攻击的方法的关键问题,因为它没有提供一个下限。
2018-04-21 cs.LG stat.ML
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞,我们提出了一个新的度量称为\emph{Gradient Similarity},使我们能够捕捉测试输入的训练数据的影响。我们表明,\emph{Gradient Similarity}的行为不同的正常和敌对的输入,并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上,白盒攻击要么以87- 96%的高ROC-AUC检测到,要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
Constrained Gradient Descent: A Powerful and Principled Evasion Attack Against Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);Tel Aviv University(特拉维夫大学)
我们提出了针对深度神经网络的新的、更有效的有针对性的白盒攻击。我们的攻击更好地与攻击者的目标保持一致:(1)欺骗模型,使目标类的概率高于任何其他类,同时(2)保持在被攻击输入的$ε$距离内。首先,我们展示了一个损失函数,显式编码(1),并表明自动PGD发现更多的攻击。其次,我们提出了一种新的攻击方法,约束梯度下降(CGD),使用我们的损失函数的改进,捕捉(1)和(2)。CGD寻求以原则性的方式满足两个攻击者目标-错误分类和有界$\ell_{p}$ -范数-作为优化的一部分,而不是经由自组织后处理技术(例如,投影或剪切)。我们发现CGD在CIFAR 10(0.9- 4.2%)和ImageNet(8.6- 13.6%)上比最先进的攻击更成功,同时消耗更少的时间(11.4- 18.8%)。统计测试证实,我们的攻击优于其他领先的防御不同的数据集和值的$ε$。
2022-06-21 cs.CR cs.CV cs.LG
AttackBench: Evaluating Gradient-based Attacks for Adversarial Examples
University of Genoa(热那亚大学);University of Cagliari(卡利阿里大学)
本文提出 AttackBench 基准框架,通过最优性指标和统一查询预算,对百余种基于梯度的对抗攻击进行公平的有效性与效率评估。
2025-05-12 cs.CR cs.CV cs.LG
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
深度学习模型遭受一种称为对抗攻击的现象:我们可以对模型输入进行微小的更改,以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而,对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战:(1)目标函数的不可微性,(2)对初始序列变换的约束,以及(3)可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法,并允许在任何情况下使用,第二种方法使用模型和目标度量的连续松弛,从而允许使用最先进的方法进行对抗攻击,而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明,所提出的方法生成了合理的对抗序列,这些序列接近原始序列,但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML