Attack Transferability Characterization for Adversarially Robust Multi-label Classification
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Inria(法国国家信息与自动化研究所)
尽管多标签规避攻击的普遍存在,它是一个开放的,但重要的问题是描述的多标签学习系统的对抗性脆弱性的来源,并评估其可攻击性。在这项研究中,我们专注于针对多标签分类器的非目标规避攻击。威胁的目标是在相同的输入扰动下,尽可能多的标签导致分类错误。我们的工作获得了深入的了解多标签对抗攻击的攻击的转移性的基础上的多标签分类器的功能特性的特征。通过建立对抗风险的信息论分析,我们揭示了攻击的可转移性水平如何决定分类器的可攻击性。此外,我们提出了一个以可转移性为中心的可攻击性评估,命名为软攻击性估计(SAE),以评估目标多标签分类器的内在脆弱性水平。然后将该估计器作为可转移性调整正则化项集成到多标签学习范式中,以实现对抗性鲁棒分类。对真实数据的实验研究与理论分析相呼应,验证了可迁移正则化多标记学习方法的有效性。
2021-06-29 cs.CR cs.LG
Perturbing Across the Feature Hierarchy to Improve Standard and Strict Blackbox Attack Transferability
Duke University(杜克大学)
我们考虑在深度神经网络(DNN)图像分类器领域中基于黑盒传输的有针对性的对抗攻击威胁模型。而不是专注于跨越决策边界在源模型的输出层,我们的方法扰动表示整个提取的特征层次结构,类似于其他类。我们设计了一个灵活的攻击框架,允许多层扰动,并展示了ImageNet DNN之间最先进的目标传输性能。我们还展示了我们的特征空间方法的优越性,在放松的共同假设下,源和目标模型是在相同的数据集和标签空间上训练的,在某些情况下,相对于其他黑盒传输方法,实现了目标成功率的$10\times$增加。最后,我们分析了为什么所提出的方法优于现有的攻击策略,并显示了该方法的扩展的情况下,允许有限的查询的黑盒模型。
2020-04-29 cs.CR cs.LG stat.ML
Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Tencent AI Lab(腾讯人工智能实验室)
本文研究了针对深度神经网络(DNN)的黑盒对抗攻击,攻击者只能访问被攻击的DNN模型返回的查询反馈,而其他信息,如模型参数或训练数据集是未知的。一种改进攻击性能的有希望的方法是利用一些白盒代理模型和目标模型之间的对抗性可转移性(即,被攻击的模型)。然而,由于代理模型和目标模型之间在模型架构和训练数据集上可能存在差异,被称为“代理偏差”,对抗性可移植性对提高攻击性能的贡献可能会减弱。为了解决这个问题,我们创新性地提出了一种黑盒攻击方法,通过开发一种新的对抗性转移机制,该机制对代理偏差具有鲁棒性。该方法的基本思想是通过传递代理模型的条件对抗分布(CAD)的部分参数,同时根据对目标模型的查询学习未传递的参数,以保持对新的良性样本调整目标模型CAD的灵活性。在基准数据集上的大量实验和对真实世界API的攻击表明,该方法具有优越的攻击性能。
2021-03-18 cs.CR cs.CV cs.LG
AIM: Additional Image Guided Generation of Transferable Adversarial Attacks
Fudan University(复旦大学)
本文提出语义注入模块(SIM),通过附加引导图像引入目标类别语义,并设计新损失公式,以即插即用方式增强生成式对抗攻击的定向与非定向迁移性。
2025-01-02 cs.CV cs.LG
A Unified Approach to Interpreting and Boosting Adversarial Transferability
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
本文发现并证明对抗迁移性与对抗扰动内部交互呈负相关,并据此提出在攻击中直接惩罚交互以显著提升对抗迁移性。
2023-12-01 cs.AI cs.CV cs.LG
Proving Common Mechanisms Shared by Twelve Methods of Boosting Adversarial Transferability
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Peking University(北京大学)
虽然已经提出了许多方法来增强对抗性扰动的可转移性,但这些方法都是以启发式方式设计的,并且提高对抗性可转移性的本质机制仍然不清楚。本文从统一的角度总结了先前12种可迁移性提升方法所共有的共同机制,即,这些方法都减少了区域对抗扰动之间的博弈论交互。为此,我们专注于区域对抗扰动之间的所有相互作用的攻击效用,我们首先发现并证明了对抗转移性和相互作用的攻击效用之间的负相关性。基于这一发现,我们从理论上证明并实证验证了12种先前的可转移性提升方法都减少了区域对抗性扰动之间的相互作用。更重要的是,我们认为减少相互作用是增强对抗性可转移性的根本原因。此外,我们设计的相互作用损失直接惩罚攻击过程中区域对抗扰动之间的相互作用。实验结果表明,交互损失显著提高了对抗扰动的可传递性。
2022-07-24 cs.AI cs.CV cs.LG
Boosting Adversarial Attacks by Leveraging Decision Boundary Information
University of Electronic Science and Technology of China(电子科技大学)
由于替代模型和受害者模型之间的间隙,从替代模型生成的基于梯度的噪声对于受害者模型可能具有低的可传递性,因为它们的梯度不同。受不同模型的决策边界差别不大这一事实的启发,我们进行了实验,发现不同模型的梯度在决策边界上比在原始位置上更相似。此外,由于输入图像附近的决策边界在大多数方向上是平坦的,我们推测边界梯度可以帮助找到一个有效的方向来穿过受害者模型的决策边界。在此基础上,我们提出了一个边界拟合攻击,以提高可移植性。具体来说,我们引入了一种方法来获得一组边界点,并利用这些点的梯度信息来更新对抗性示例。值得注意的是,我们的方法可以与现有的基于梯度的方法相结合。大量的实验证明了我们的方法的有效性,即,与最先进的基于传输的攻击相比,针对正常训练的CNN的成功率平均提高了5.6%,针对防御CNN的成功率平均提高了14.9%。此外,我们比较了Transformers和CNN,结果表明,Transformers比CNN更强大。然而,我们的方法在攻击Transformers时仍然优于现有的方法。具体来说,当使用CNN作为替代模型时,我们的方法获得了58.2%的平均攻击成功率,比其他最先进的基于传输的攻击高出10.8%。
2023-03-10 cs.CR cs.CV cs.LG
Improving Adversarial Transferability in MLLMs via Dynamic Vision-Language Alignment Attack
University of California, Irvine(加州大学欧文分校);University of Oxford(牛津大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对多模态大语言模型对抗攻击可迁移性有限的问题,提出动态视觉-语言对齐攻击,通过向视觉-语言连接器注入动态扰动,显著提升跨模型可迁移性。
2025-02-27 cs.CV cs.LG
Demystifying the Transferability of Adversarial Attacks in Computer Networks
Sabanci University(萨班哲大学);University of Padua(帕多瓦大学);Moulay Ismail University of Meknes(梅克内斯穆莱·伊斯梅尔大学);Florida International University(佛罗里达国际大学)
卷积神经网络(CNN)模型是最常用的深度学习网络之一,广泛应用于学术界和工业界。最近的研究表明,针对此类模型的对抗攻击即使在攻击者所针对的模型之外的模型上使用,也可以保持其有效性。这个主要的属性被称为可转移性,这使得CNN不适合安全应用。在本文中,我们提供了第一项全面的研究,评估了基于CNN的计算机网络模型针对对抗性可转移性的鲁棒性。此外,我们调查的可转移性的财产问题是否持有在计算机网络的应用。在我们的实验中,我们首先考虑五种不同的攻击:迭代快速梯度方法(I-FGSM),基于雅可比的显着图(JSMA),有限内存Broyden Fletcher Goldfarb Shanno BFGS(L-BFGS),投影梯度下降(PGD)和DeepFool攻击。然后,我们对三个众所周知的数据集执行这些攻击:基于网络的物联网检测(N-BaIoT)数据集,域生成算法(DGA)数据集和RIPE Atlas数据集。我们的实验结果清楚地表明,可转移性发生在I-FGSM,JSMA和LBFGS攻击的特定用例中。在这种情况下,目标网络上的攻击成功率从63.00%到100%不等。最后,我们提出了两种屏蔽策略,通过考虑最强大的攻击(MPA)和不匹配的LSTM架构来阻止攻击的可转移性。
2022-03-31 cs.AI cs.CR cs.CV
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Santa Fe Institute(圣塔菲研究所)
已知神经网络图像分类器的对抗性示例是可转移的:被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而,有针对性的对抗性示例(被优化为被分类为选定的目标类)往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中,在这项工作中,我们研究的作用的源分类器。在这里,我们表明,训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性,即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology(哈尔滨工业大学)
深度神经网络最近被发现是脆弱的。一种设计良好的输入,称为对抗性样本,可以导致网络做出错误的预测。根据不同的场景、目标和能力,攻击的难度也不同,例如,有针对性攻击比无针对性攻击难,通用攻击比非通用攻击难,可转移攻击比不可转移攻击难。问题是:是否存在一种攻击可以满足所有这些要求?本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射,将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中,并且具有很强的可移植性。我们的代码发布在:xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence(清华大学脑与智能实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Intel Labs China(英特尔中国实验室)
深度神经网络容易受到对抗性示例的攻击,由于潜在的严重后果,这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而,现有的大多数对抗攻击只能欺骗黑盒模型,成功率很低。为了解决这个问题,我们提出了一个广泛的基于动量的迭代算法,以提高对抗攻击。通过将动量项集成到攻击的迭代过程中,我们的方法可以稳定更新方向,并在迭代过程中摆脱糟糕的局部最大值,从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率,我们将动量迭代算法应用于一组模型,并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法,我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心)
深度神经网络(DNN)在不同领域取得了显著的成功。然而,已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而,这些方法通常遭受低的成功率和大的查询计数,这不能完全满足实际目的。在本文中,我们提出了一种混合攻击方法,该方法在代理模型上训练Meta对抗扰动(MAP),并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化,随后训练任何黑盒攻击方法几个时期。此外,MAP具有良好的可移植性和通用性,在某种意义上,它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明,我们的方法不仅可以提高攻击成功率,但也减少了查询的数量相比,其他方法。
2022-03-28 cs.CR cs.CV cs.LG
Unscrambling the Rectification of Adversarial Attacks Transferability across Computer Networks
University of Leeds(利兹大学);Bahcesehir University (BAU)(巴切谢希尔大学);Cyber Science Lab(网络科学实验室);University of Guelph(圭尔夫大学)
该研究针对CNN在网络安全等领域的对抗攻击脆弱性,提出评估攻击强度变化下对抗样本迁移性的方法,验证了多种攻击在计算机网络数据集上的迁移性提升,凸显了研发新型防御机制的必要性。
2023-10-26 cs.AI cs.CR cs.LG
FedGTST: Boosting Global Transferability of Federated Models via Statistics Tuning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出联邦算法 FedGTST,通过跨客户端雅可比范数交换与服务器端统计调优提升全局可迁移性,并在多个数据集对上显著超越 FedSR 等基线方法。
2024-10-16 cs.AI cs.LG
Boosting the Robustness-Accuracy Trade-off of SNNs by Robust Temporal Self-Ensemble
本文提出鲁棒时间自集成(RTE)训练框架,通过增强各时间子网络鲁棒性并降低对抗扰动跨时间迁移,显著改善脉冲神经网络的鲁棒性-精度权衡。
2025-08-15 cs.CV cs.LG
QFA2SR: Query-Free Adversarial Transfer Attacks to Speaker Recognition Systems
ShanghaiTech University(上海科技大学);Automotive Software Innovation Center(汽车软件创新中心);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出无查询黑盒攻击QFA2SR,通过定制损失、SRS集成与时频腐蚀增强对抗语音迁移性,显著提升商业API及空中语音助手攻击成功率。
2023-09-23 cs.CR cs.LG cs.MM
Can Targeted Adversarial Examples Transfer When the Source and Target Models Have No Label Space Overlap?
Duke University(杜克大学);Facebook AI(Facebook人工智能)
针对攻击者的源模型和目标黑盒模型可能具有不相交的标签空间和训练数据集的环境,我们设计了基于黑盒传输的有针对性的对抗攻击。这种情况与“标准”黑盒设置有很大不同,并且保证了攻击过程的独特方法。我们的方法开始与白盒和黑盒标签集之间的类对应矩阵的建设。在攻击的在线阶段,我们利用白盒分布中高度相关的代理类的表示来欺骗黑盒模型预测所需的目标类。我们的攻击是在三个复杂而具有挑战性的测试环境中进行评估的,其中源模型和目标模型在其独特的类别中有不同程度的概念重叠。最终,我们发现,在具有非重叠标签空间的模型之间,确实有可能构建有针对性的基于转移的对抗攻击!我们还分析了攻击成功对干净数据属性的敏感性。最后,我们表明,当与基于查询的方法相结合时,我们的传输攻击可以作为强大的对抗先验,显着提高查询效率和对抗成功。
2021-03-17 cs.LG
How to choose your best allies for a transferable attack?
Univ. Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);Imperial College London(帝国理工学院)
针对对抗样本可迁移性评估不足及源模型随机选择导致攻击效果差的问题,本文提出以失真为核心的评估方法和 FiT 源模型选择机制,仅用少量目标查询即可在多种攻击场景中有效选出最佳源模型。
2023-07-16 cs.AI cs.CR
Generative Adversarial Perturbations with Cross-paradigm Transferability on Localized Crowd Counting
University of South Florida(南佛罗里达大学)
本文提出一种新型对抗框架,通过多任务损失优化平衡密度图与点回归范式,实现对人群计数模型的有效攻击,提升攻击效果与不可察觉性。
2026-03-25 cs.AI cs.CV
MTDeep: Boosting the Security of Deep Neural Nets Against Adversarial Attacks with Moving Target Defense
Arizona State University(亚利桑那州立大学);IBM Research(IBM研究院)
目前的攻击方法可以使基于深度神经网络的最先进的分类系统对每个经过不利修改的测试示例进行错误分类。针对大范围此类攻击的一般防御策略的设计仍然是一个具有挑战性的问题。在本文中,我们从网络安全和多智能体系统领域汲取灵感,并提出利用移动目标防御(MTD)的概念来设计一种元防御,以“提高”深度神经网络(DNN)集成的鲁棒性,用于视觉分类任务,以抵御这种对抗攻击。为了对输入图像进行分类,通过将防御者(托管分类网络)与其(合法和恶意)用户之间的交互公式化为贝叶斯Stackelberg游戏(BSG),从这组网络中随机挑选一个经过训练的网络。我们的经验表明,这种方法MTDeep可以减少MNIST,FashionMNIST和ImageNet等各种数据集中扰动图像的错误分类,同时保持合法测试图像的高分类精度。然后,我们证明了我们的框架,作为第一个元防御技术,可以与任何现有的防御机制结合使用,以提供更多的弹性对抗对抗攻击,可以提供这些防御机制。最后,为了量化使用MTDeep时基于集成的分类系统的鲁棒性的增加,我们分析了一组DNN的属性,并引入了差分免疫的概念,该概念将攻击可转移性的概念形式化。
2019-08-03 cs.CR cs.GT cs.LG
T-SEA: Transfer-based Self-Ensemble Attack on Object Detection
Peking University(北京大学)
与基于查询的黑盒攻击相比,基于传输的黑盒攻击不需要被攻击模型的任何信息,从而保证了攻击的秘密性。然而,大多数现有的基于转移的方法依赖于集成多个模型来提高攻击的可转移性,这是时间和资源密集型的,更不用说在同一任务上获得不同模型的困难。为了解决这一问题,本文重点研究了基于单模型转移的目标检测黑盒攻击方法,利用一个模型实现对多个黑盒检测器的高转移性对抗攻击。具体来说,我们首先观察现有方法的补丁优化过程,并通过稍微调整其训练策略,提出了一个增强的攻击框架。然后,我们类比补丁优化与常规模型优化,提出了一系列的自集成方法的输入数据,攻击模型,和对抗补丁,有效地利用有限的信息,防止补丁过拟合。实验结果表明,该框架可以应用于多种经典的基础攻击方法(例如,PGD和MIM),以大大提高优化补丁在多个主流检测器上的黑盒可传输性,同时提高白盒性能。我们的代码可在https://github.com/VDIGPKU/T-SEA上获得。
2022-11-16 cs.AI cs.CV
Perturbation Towards Easy Samples Improves Targeted Adversarial Transferability
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院);Department of Control Science and Engineering, Harbin Institute of Technology(哈尔滨工业大学控制科学与工程系);C 3 I, Department of Electronic Engineering, Tsinghua University(清华大学电子工程系C³I)
本文提出易样本匹配攻击(ESMA),通过向目标类别中位于高样本密度区域的易样本添加扰动,以低存储和计算成本提升定向对抗迁移性并超越现有生成式方法。
2024-06-08 cs.AI cs.CR cs.LG
Enhancing Targeted Attack Transferability via Diversified Weight Pruning
National Taiwan University(国立台湾大学)
恶意攻击者可以通过施加微小的噪声来生成有针对性的对抗性示例,迫使神经网络产生特定的错误输出。由于具有跨模型可移植性,网络模型即使在黑盒设置中也仍然很脆弱。最近的研究表明,基于集合的方法在生成可转移的对抗性示例方面是有效的。为了进一步增强可移植性,模型增强方法旨在产生更多的网络参与合奏。然而,现有的模型增强方法仅在非目标攻击中被证明有效。在这项工作中,我们提出了多样化的权重修剪(DWP),一种新的模型增强技术,用于生成可转移的目标攻击。DWP利用了模型压缩中常用的权重修剪方法。与以前的工作相比,DWP保护必要的连接,同时确保修剪模型的多样性,我们表明这是有针对性的可移植性的关键。在各种更具挑战性的场景下,在兼容ImageNet的数据集上进行的实验证实了其有效性:转移到对抗训练模型、非CNN架构和Google Cloud Vision。结果表明,我们提出的DWP提高了有针对性的攻击成功率高达$10.1$ %,$6.6$ %,和$7.0$ %的国家的最先进的方法的组合,分别。源代码将在接受后提供。
2022-11-24 cs.CR cs.CV cs.LG
Boosting Cross-task Transferability of Adversarial Patches with Visual Relations
Shen Yuan Honors College, Beihang University(北京航空航天大学沈元荣誉学院);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
本文提出基于视觉关系的跨任务对抗补丁生成方法 VRAP,通过场景图结合目标识别欺骗与谓词关系消除来破坏视觉推理信息,显著提升对抗补丁在视觉问答和图像描述等推理任务上的黑盒可迁移性。
2023-04-11 cs.CR cs.CV cs.LG
OCRT: Boosting Foundation Models in the Open World with Object-Concept-Relation Triad
Xiamen University(厦门大学);Shenzhen University(深圳大学);The Australian National University(澳大利亚国立大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对开放世界中基础模型泛化能力下降的问题,提出OCRT框架,通过无监督解耦、概念投影筛选和概念图构建提升模型泛化性与鲁棒性,在SAM、CLIP的多下游任务上验证有效。
2025-03-24 cs.CV cs.LG
Generating Transferrable Adversarial Examples via Local Mixing and Logits Optimization for Remote Sensing Object Recognition
State Key Laboratory of Spatial Datum, College of Remote Sensing and Geoinformatics Engineering, Henan University(空间基准国家重点实验室、遥感与地理信息工程学院、河南大学);School of Computer and Information Engineering, Henan University(计算机与信息工程学院、河南大学);School of Automation Science and Electrical Engineering, Beihang University(自动化科学与电气工程学院、北京航空航天大学)
针对遥感目标识别,提出基于局部混合与逻辑优化的对抗样本生成框架,解决全局混合破坏语义和梯度消失问题,在多个数据集上显著提升黑盒攻击成功率。
2025-09-09 cs.AI cs.CV
On the Transferability of Agricultural Weed Detection Under Cross-Field Distribution Shift
The University of Texas at Dallas(德克萨斯大学达拉斯分校);The University of Texas at Tyler(德克萨斯大学泰勒分校);Air Force Research Lab(空军研究实验室)
本研究针对跨田间分布偏移下的农业杂草检测可迁移性问题,构建棉花与大豆无人机杂草数据集,对比少样本微调与无监督域自适应目标检测,发现少样本微调仅需25个标注样本即可实现更优跨作物检测性能。
2026-08-24 cs.CV cs.LG
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);Tencent(腾讯);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
针对自然语言处理系统的对抗攻击,对输入进行看似无害的修改,可能会导致目标模型的任意错误。虽然引起了极大的关注,但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成(例如,图像),生成保留原始含义的对抗性文本是具有挑战性的,因为文本空间是离散的和不可微的。为了应对这些挑战,我们提出了一个目标可控的对抗攻击框架T3,它适用于一系列NLP任务。特别是,我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间,在此基础上,我们优化了对抗扰动。一种新的基于树的解码器,然后应用到正则化生成的文本的语法正确性,并操纵它的句子(T3(发送))或单词(T3(字))的水平。我们考虑两个最具代表性的NLP任务:情感分析和问答(QA)。大量的实验结果和人类研究表明,T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案,而不会误导人类。此外,我们还证明了生成的对抗性文本具有很高的可转移性,这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
Boosting Adversarial Transferability via Ensemble Non-Attention
针对跨异构模型架构的对抗攻击迁移性不足问题,提出集成攻击方法NAMEA,通过解耦并融合注意力与非注意力区域梯度、结合元学习优化,在ImageNet上攻击性能显著优于现有最优方法。
2025-11-13 cs.CV cs.LG
Local Black-box Adversarial Attacks: A Query Efficient Approach
Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学)
对抗攻击已经威胁到深度神经网络在安全敏感场景中的应用。大多数现有的黑盒攻击通过多次与目标模型交互并产生全局扰动来欺骗目标模型。然而,全局扰动改变了平滑和无关紧要的背景,这不仅使扰动更容易被察觉,但也增加了查询开销。在本文中,我们提出了一个新的框架,扰乱干净的例子,只有在有限的查询在黑盒攻击的歧视性领域。我们的框架是基于两种类型的可转移性。第一个问题是模型解释的可移植性。基于此性质,我们确定了一个给定的干净的例子很容易局部扰动的歧视性地区。二是对抗性例证的可移植性。它有助于我们产生一个局部的预扰动,以提高查询效率。在识别区分区域和预扰动之后,我们通过使用两种黑盒攻击技术查询目标模型来从预扰动示例生成最终的对抗示例,即,梯度估计和随机搜索。我们进行了大量的实验表明,我们的框架可以显着提高查询效率,在黑盒扰动具有较高的攻击成功率。实验结果表明,我们的攻击优于国家的最先进的黑盒攻击在各种系统设置。
2021-01-04 cs.CR cs.CV cs.LG
Boosting Adversarial Transferability via Residual Perturbation Attack
School of Cyber Security and Computer(网络安全与计算机学院);College of Information and Science Technology(信息与科学学院);School of Computer and Information Engineering(计算机与信息工程学院)
针对现有迁移攻击忽略扰动方向影响导致迁移性受限的问题,提出 ResPA 方法,利用残差梯度引导对抗样本走向平坦损失区域,显著提升了黑盒攻击的迁移性。
2025-08-06 cs.CR cs.CV cs.LG
Boosting the Adversarial Transferability of Surrogate Models with Dark Knowledge
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本文提出利用暗知识训练代理模型(DSM),通过教师模型提取暗知识和混合增强技术,显著提升对抗样本的迁移性,可应用于黑盒攻击及人脸验证等场景。
2023-09-05 cs.CR cs.CV cs.LG
Multicalibration Boosting: Theory, Convergence, and Transferability
Department of Biostatistics and Epidemiology(生物统计学与流行病学系);University of Pennsylvania(宾夕法尼亚大学)
本文统一了多校准提升(MCBoost)的理论框架,揭示了校准-风险权衡,并建立了在弱假设下的收敛率、有限样本保证和协变量偏移下的迁移性保证。
2026-05-23 cs.LG stat.ML
One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学)
本文提出基于CLIP的UnivIntruder攻击框架,仅用公开模型和数据集生成对抗扰动,在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率,凸显AI安全需重新评估。
2026-08-06 cs.CR cs.LG
Explainer-guided Targeted Adversarial Attacks against Binary Code Similarity Detection Models
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Institute of Blockchain and Data Security(区块链与数据安全研究院);University College London(伦敦大学学院);University of Southern California(南加州大学);Columbia University(哥伦比亚大学)
本文提出一种利用黑盒模型无关解释器定位关键代码片段的定向对抗攻击方法,用于攻击二进制代码相似性检测模型,在攻击成功率、效率和可迁移性上均优于现有方法。
2025-06-05 cs.AI cs.CR
Introducing Competition to Boost the Transferability of Targeted Adversarial Examples through Clean Feature Mixup
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
本文提出 Clean Feature Mixup (CFM) 方法,通过在特征空间引入朝向不同目标类别和正确类别的竞争者扰动,迫使定向对抗样本利用更多样化特征,从而提升其跨模型迁移能力。
2023-05-24 cs.CV cs.LG
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);University of the California, Berkeley(加州大学伯克利分校)
深度神经网络的一个有趣特性是存在对抗性的例子,这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中,我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人,我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例,并表明虽然可转移的非有针对性的对抗性示例很容易找到,但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此,我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法,我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究,以帮助理解可转移的对抗性示例。最后,我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com,这是一个黑盒图像分类系统。
2017-02-07 cs.LG
Improving the Transferability of Targeted Adversarial Examples through Object-Based Diverse Input
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
对抗性示例的可转移性允许在黑盒模型上进行欺骗,基于转移的目标攻击由于其实用性而引起了人们的极大兴趣。为了最大限度地提高传输成功率,对抗性示例应该避免对源模型的过拟合,图像增强是实现这一目标的主要方法之一。然而,先前的工作利用简单的图像变换,如JPEG,这限制了输入的多样性。为了解决这一限制,我们提出了基于对象的多样性输入(ODI)方法,该方法在3D对象上绘制对抗图像,并将渲染图像分类为目标类。我们的动机来自人类对3D物体上打印的图像的卓越感知。如果图像足够清晰,人类可以在各种观看条件下识别图像内容。同样,如果一个对抗性的例子看起来像模型的目标类,模型也应该将3D对象的渲染图像分类为目标类。ODI方法通过利用多个源对象的集合和随机化观看条件来有效地使输入多样化。在我们对ImageNet兼容数据集的实验结果中,与最先进的方法相比,该方法将平均目标攻击成功率从28.3%提高到47.0%。我们还证明了ODI方法在人脸验证任务中对抗性示例的适用性及其优越的性能改进。我们的代码可在https://github.com/dreamflake/ODI上获得。
2022-03-17 cs.CV cs.LG
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University(卡内基梅隆大学);University of Florida(佛罗里达大学)
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别(ASR)系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型,对手可以利用可转移性属性,即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而,最近的工作表明,对大型ASR模型的可移植性是非常困难的。在这项工作中,我们表明,现代ASR架构,特别是那些基于自监督学习,实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型,如Wav2Vec2,HuBERT,Data2Vec和WavLM,成功地证明了这一现象。我们表明,低水平的加性噪声达到30 dB的信噪比,我们可以实现高达80%的准确度的目标转移。接下来,我们1)使用消融研究来表明,自监督学习是这种现象的主要原因,2)我们为这种现象提供了一个解释。通过这一点,我们表明,现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
On Success and Simplicity: A Second Look at Transferable Targeted Attacks
Radboud University(拉德堡德大学)
实现目标攻击的可转移性被认为是非常困难的。目前,最先进的方法是资源密集型的,因为它们需要具有额外数据的每个目标类的训练模型。然而,在我们的调查中,我们发现,简单的可转移攻击,既不需要额外的数据,也不需要模型训练,可以实现令人惊讶的高目标的可转移性。这一见解一直被忽视,直到现在,主要是由于不合理地限制攻击优化到有限的迭代次数的广泛实践。特别是,我们,第一次,确定一个简单的logit损失可以产生竞争力的结果与国家的艺术。我们的分析涵盖了各种传输设置,特别是包括三个新的、现实的设置:模型相似性很小的集成传输设置,低排名目标类的最坏情况设置,以及针对Google Cloud Vision API的真实攻击。这些新设置的结果表明,通常采用的简单设置不能完全揭示不同攻击的实际属性,并可能导致误导性的比较。我们还展示了简单logit损失在无数据和无训练方式下生成有针对性的通用对抗性扰动的有用性。总的来说,我们的分析的目的是激发一个更有意义的评估有针对性的转让。代码可在https://github.com/ZhengyuZhao/Targeted-Tansfer上获得
2021-10-26 cs.CR cs.CV cs.LG
RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning
State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
RaPA通过引入参数级随机化提升攻击的可迁移性,实验表明其在CNN到Transformer模型迁移中ASR显著提升,且无需训练,具有跨架构高效性。
2026-04-06 cs.AI cs.LG
Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks
University of Maryland, College Park(马里兰大学帕克分校)
最近的结果表明,对监督机器学习系统的攻击是非常有效的,而防御很容易被新的攻击绕过。然而,机器学习系统的规范目前缺乏精确的对手定义,现有的攻击对发起攻击的对手的实力做出了各种各样的、可能不切实际的假设。我们提出了FAIL攻击者模型,它描述了对手的知识和控制沿四个维度。我们的模型允许我们考虑各种较弱的对手,他们对所使用的功能、学习算法和训练实例的控制有限且知识不完整。为了评估FAIL模型的效用,我们考虑在现实环境中进行有针对性的中毒攻击的问题:精心制作的毒药样本必须有干净的标签,必须单独和集体不显眼,并且必须表现出FAIL模型定义的广义形式的可转移性。通过考虑这些约束,我们设计了StingRay,这是一种针对性的中毒攻击,可以针对4种机器学习应用程序,这些应用程序使用3种不同的学习算法,并且可以绕过2种现有的防御。相反,我们证明了在广义可转移性下,先验规避攻击的有效性较低。在失败对手模型下,这种攻击评估也可能为未来的防御提出有希望的方向。
2019-03-08 cs.CR cs.LG
Partner in Crime: Boosting Targeted Poisoning Attacks against Federated Learning
Virginia Tech(弗吉尼亚理工大学);Kryptowire Labs(Kryptowire实验室)
本研究提出增强联邦学习定向投毒攻击的BoTPA方法,通过预训练阶段构建放大器集并篡改标签强化攻击,在多种防御机制下均显著提升攻击成功率。
2025-03-21 cs.CR cs.LG
Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data
Hong Kong University of Science and Technology (HKUST)(香港科技大学);Alibaba Group(阿里巴巴集团)
最近,神经网络压缩方案(如通道修剪)已被广泛用于降低深度神经网络(DNN)的模型大小和计算复杂性,以用于诸如嵌入式系统的功率受限场景中的应用。已经进一步提出了基于强化学习(RL)的自动修剪来自动化DNN修剪过程,以避免昂贵的手工制作工作。然而,基于RL的剪枝器涉及耗时的训练过程,并且每个样本的高费用进一步加剧了这个问题。这些障碍极大地限制了基于RL的自动剪枝的实际应用。因此,在本文中,我们提出了一个有效的自动修剪框架,解决了这个问题,利用历史数据从以前的自动修剪过程。在我们的框架中,我们首先通过迁移学习来提高RL剪枝器的收敛性。然后,提出了一种增强的迁移学习方案,通过提高可迁移性来进一步加快训练过程。最后,提出了一种辅助学习过程,以提高RL代理的样本效率。实验表明,对于ResNet 20,我们的框架可以将自动修剪过程加速1.5-2.5倍,对于其他神经网络,如ResNet 56,ResNet 18和MobileNet v1,可以加速1.81-2.375倍。
2021-07-16 cs.AI cs.LG
Adversarial Transferability in Wearable Sensor Systems
Washington State University(华盛顿州立大学)
机器学习用于可穿戴传感器系统中的推理和决策。然而,最近的研究发现,机器学习算法很容易通过向其输入添加对抗性扰动而被愚弄。更有趣的是,为一个机器学习系统生成的对抗性示例对其他系统也有效。对抗性例子的这种性质被称为可转移性。在这项工作中,我们从以下角度研究了可穿戴传感器系统中的对抗可转移性:1)机器学习系统之间的可转移性,2)跨学科的可转移性,3)跨传感器身体位置的可转移性,以及4)跨数据集的可转移性。我们发现,在大多数情况下,强无针对性的转移。有针对性的攻击成功率较低,成功评分从$0\%$到$80\%$。对抗性示例的可移植性取决于许多因素,例如包含来自所有受试者的数据、传感器身体位置、数据集中的样本数量、学习算法的类型以及源和目标系统数据集的分布。当源系统和目标系统的数据分布变得更加明显时,对抗性示例的可移植性急剧下降。我们还为社区提供设计强大传感器系统的指导方针。
2021-07-15 cs.CR cs.LG eess.SP
On the Adversarial Transferability of Generalized "Skip Connections"
本文研究了跳跃连接在对抗场景下的迁移性,提出Skip Gradient Method (SGM)提升攻击迁移性,并验证其在多种模型和攻击场景下的有效性。
2026-03-16 cs.AI cs.LG
Closer Look at the Transferability of Adversarial Examples: How They Fool Different Models Differently
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);University of Science, VNU-HCM(越南国立大学胡志明市分校科学大学);Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
深度神经网络容易受到对抗性示例(AE)的影响,这些示例具有对抗性可转移性:为源模型生成的AE可能会误导另一个(目标)模型的预测。然而,在哪类目标模型的预测被误导的方面,可转移性还没有被理解(即,类感知可转移性)。在本文中,我们区分的情况下,目标模型预测相同的错误类作为源模型(“相同的错误”)或不同的错误类(“不同的错误”)进行分析,并提供一个机制的解释。我们发现(1)AE倾向于导致相同的错误,这与“非目标可转移性”相关;然而,(2)即使在相似的模型之间也会发生不同的错误,无论扰动大小如何。此外,我们提出的证据表明,相同的错误和不同的错误之间的差异可以解释为非鲁棒性的功能,预测,但人类无法解释的模式:不同的错误发生时,AE中的非鲁棒性功能不同的模型使用。因此,非鲁棒特征可以为AE的类感知可转移性提供一致的解释。
2022-10-20 cs.CV cs.LG
Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近关注神经网络安全性的一个来源是干净标签数据集中毒攻击的出现,其中正确标记的中毒样本被注入到训练数据集中。虽然这些有毒样本对人类观察者来说看起来是合法的,但它们包含恶意特征,这些特征会在推理过程中触发有针对性的错误分类。针对迁移学习,提出了一种可扩展、可转移的清洁标签中毒攻击方法,该方法在特征空间中创建中心靠近目标图像的中毒图像。我们的攻击Bullseye Polytope在端到端迁移学习中将当前最先进的攻击成功率提高了26.75%,同时将攻击速度提高了12倍。我们进一步将靶心多面体扩展到更实用的攻击模型,包括同一对象的多个图像(例如,从不同的角度)制作毒药样本时。我们证明,这种扩展提高了攻击的可转移性超过16%,看不见的图像(相同的对象),而不使用额外的毒药样本。
2021-03-14 cs.CR cs.LG stat.ML
Effectiveness of random deep feature selection for securing image manipulation detectors against adversarial examples
University of Siena(锡耶纳大学);Xidian University(西安电子科技大学)
我们研究了[1]中提出的随机特征选择方法是否可以扩展到基于深度学习特征的检测器,以提高取证检测器对目标攻击的鲁棒性。特别是,我们研究了针对原始CNN图像操作检测器的对抗性示例到其他检测器(全连接神经网络和线性SVM)的可转移性,这些检测器依赖于从原始网络的扁平层提取的特征的随机子集。我们通过考虑三个图像操作检测任务(滤波,中值滤波和自适应直方图均衡化),两个原始网络架构和三类攻击得到的结果表明,特征随机化有助于阻碍攻击的可转移性,即使在某些情况下,简单地改变检测器的架构,甚至重新训练检测器就足以防止攻击的可转移性。
2019-12-26 cs.CR cs.CV cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems
Georgia Institute of Technology(佐治亚理工学院)
实时的【形】海量数据捕获的快速增长将深度学习和数据分析计算推向了边缘系统。边缘上的实时的【形】对象识别是代表性的深度神经网络(DNN)驱动的边缘系统之一,用于现实世界的关键任务应用,如自动驾驶和增强现实。虽然DNN支持的目标检测边缘系统为许多丰富生活的机会提供了机会,但它们也为误用和滥用打开了大门。本文介绍了三种目标对抗性目标梯度攻击,称为TOG,这可能会导致最先进的深度目标检测网络遭受对象消失,对象制造和对象错误标记攻击。我们还提出了一个通用的对象梯度攻击使用对抗性的黑盒攻击,这是有效的攻击时间成本可以忽略不计的任何输入,低人类感知,特别是不利于目标检测边缘系统。我们使用两个基准数据集(PASCAL VOC和MS COCO)对两种最先进的检测算法(YOLO和SSD)进行了实验测量。结果表明,严重的对抗性弱点和迫切需要开发强大的目标检测系统。
2020-04-09 cs.CR cs.CV cs.LG
Better Safe than Sorry: Pre-training CLIP against Targeted Data Poisoning and Backdoor Attacks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出 SAFECLIP,通过单模态对比学习预热、基于高斯混合模型划分安全与风险数据,并在预训练中逐步扩大安全集合,从而在不损害 CLIP 性能的前提下将定向数据投毒和后门攻击成功率降至 0%。
2024-06-10 cs.AI cs.CR cs.CV
Transferable and Distributed User Association Policies for 5G and Beyond Networks
CEA-Leti(原子能和替代能源委员会电子与信息技术实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Athonet(Athonet公司)
我们研究的问题,用户关联,即找到最佳的分配用户设备的基站,以实现有针对性的网络性能。在本文中,我们专注于关联策略的知识转移。事实上,传统的非平凡的用户关联方案往往是特定的或部署特定的,并需要重新设计或重新学习的策略时,用户的数量或位置的变化。相比之下,可转移性允许将针对特定场景设计的单个用户关联策略应用于其他不同的用户部署,而不需要大量的重新学习或重新设计阶段,并且大大降低了其计算和管理复杂性。为了实现可移植性,我们首先铸造用户关联作为一个多智能体强化学习问题。然后,基于我们专门为这种情况设想的神经注意力机制,我们提出了一种新的分布式策略网络架构,该架构具有zero-shot泛化能力,即,数值结果显示了我们的解决方案在整体网络通信速率方面的有效性,即使用户数量相对于初始训练点增加一倍,也优于集中式基准。
2021-06-04 cs.LG cs.MA cs.NI