To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge(剑桥大学)
随着深度神经网络(DNN)的广泛使用,修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时,最近的研究表明,对抗性样本可以有效地使DNN错误分类。因此,我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现,对抗样本仍然可转移的修剪和量化模型。对于修剪,从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化,我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
Transferable Adversarial Attack based on Integrated Gradients
Nanyang Technological University(南洋理工大学)
深度神经网络对对抗性样本的脆弱性引起了社区的极大关注。三种方法,优化标准目标函数,利用注意力地图和平滑决策表面,通常用于制作对抗性示例。通过将这三种方法紧密结合,本文提出了一种新的简单算法TAIG(Transferable Attack based on Integrated Concentrants),该算法能够发现高可转移性的对抗性黑盒攻击样本。与以往的方法使用多个计算项或与其他方法相结合,TAIG集成了三种方法到一个单一的术语。两个版本的TAIG计算其积分梯度的直线路径和随机分段线性路径进行了研究。这两个版本都提供了很强的可移植性,并且可以与以前的方法无缝地协同工作。实验结果表明,TAIG优于国家的最先进的方法。该代码将在https://github.com/yihuang2016/TAIG上提供
2022-05-26 cs.CV cs.LG
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Santa Fe Institute(圣塔菲研究所)
已知神经网络图像分类器的对抗性示例是可转移的:被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而,有针对性的对抗性示例(被优化为被分类为选定的目标类)往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中,在这项工作中,我们研究的作用的源分类器。在这里,我们表明,训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性,即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries
Advanced Micro Devices, Inc.(超威半导体公司)
深度神经网络在计算机视觉应用中的广泛采用引起了人们对对抗鲁棒性的极大兴趣。现有的研究表明,专门为给定模型定制的恶意扰动输入(即,对抗性示例)可以成功地转移到另一个独立训练的模型以引起预测误差。此外,对抗性示例的这一特性被归因于从数据分布中的预测模式导出的特征。因此,我们有动力研究以下问题:对抗性防御,像对抗性示例一样,是否可以成功地转移到其他独立训练的模型中?为此,我们提出了一种基于深度学习的预处理机制,我们称之为鲁棒可转移特征提取器(RTFE)。在研究了理论动机和影响之后,我们通过实验证明了我们的方法可以为多个独立的预训练分类器提供对抗鲁棒性,否则这些分类器对自适应白盒对手无效。此外,我们还证明了RTFE甚至可以为在不同数据集上独立训练的模型提供一次性对抗鲁棒性。
2022-09-14 cs.AI cs.CR cs.LG
Black-Box Adversarial Attack with Transferable Model-based Embedding
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的黑盒对抗攻击方法。与以前通过使用梯度或代理白盒模型的初始化将基于转移和基于评分的方法结合起来的方法不同,这种新方法尝试使用预训练模型学习低维嵌入,然后在嵌入空间内执行有效搜索以攻击未知目标网络。该方法产生对抗扰动与高层次的语义模式,很容易转移。我们表明,这种方法可以大大提高查询效率的黑盒对抗攻击在不同的目标网络架构。我们在MNIST,ImageNet和Google Cloud Vision API上评估了我们的方法,从而显着减少了查询数量。我们还在CIFAR10和ImageNet上攻击了对抗防御网络,我们的方法不仅减少了查询次数,还提高了攻击成功率。
2020-01-05 cs.LG stat.ML
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University(复旦大学)
最近的研究表明,在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能,这引发了现实世界DNN应用程序的安全问题。然而,现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性,即,利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说,由于观察到图像和视频帧之间的低级特征空间相似,我们提出了一种简单而有效的跨模态攻击方法,称为图像到视频(I2 V)攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧,然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明,I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上,I2 V的平均攻击成功率分别为77.88%和65.68%,这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
AIM: Additional Image Guided Generation of Transferable Adversarial Attacks
Fudan University(复旦大学)
本文提出语义注入模块(SIM),通过附加引导图像引入目标类别语义,并设计新损失公式,以即插即用方式增强生成式对抗攻击的定向与非定向迁移性。
2025-01-02 cs.CV cs.LG
AdvPC: Transferable Adversarial Perturbations on 3D Point Clouds
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
深度神经网络容易受到对抗攻击的攻击,在这种攻击中,对其输入的不可感知的扰动会导致错误的网络预测。这种现象在图像领域已经得到了广泛的研究,最近才扩展到3D点云。在这项工作中,我们提出了新的数据驱动的对抗攻击对三维点云网络。我们的目标是解决当前3D点云对抗攻击中的以下问题:它们在不同网络之间不能很好地传输,并且它们很容易通过简单的统计方法进行防御。在这种程度上,我们开发了一种新的点云攻击(称为AdvPC),它利用输入数据分布,在自动编码器重建后,通过添加对抗性损失来优化目标。AdvPC导致对当前防御具有弹性的扰动,同时与最先进的攻击相比保持高度可转移性。我们使用四种流行的点云网络测试AdvPC:PointNet,PointNet++(MSG和SSG)和DGCNN。我们提出的攻击将那些转移到看不见的网络(可转移性)的攻击成功率提高了40%,同时在被攻击的网络上保持了较高的成功率。与ModelNet40数据集上的其他基线相比,AdvPC还将突破防御的能力提高了38%。
2020-07-16 cs.CR cs.CV cs.LG
One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学)
本文提出基于CLIP的UnivIntruder攻击框架,仅用公开模型和数据集生成对抗扰动,在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率,凸显AI安全需重新评估。
2026-08-06 cs.CR cs.LG
CAAD 2018: Generating Transferable Adversarial Examples
Proximus(普罗克西姆斯公司)
深度神经网络(DNN)很容易受到对抗性示例的影响,这些示例是精心设计的扰动,以欺骗目标DNN,无论是在非目标情况下还是在目标情况下。在非目标情况下,攻击者的目的只是诱导错误分类。在有针对性的情况下,攻击者的目的是诱导分类到指定的目标类。此外,已经观察到,强对抗性示例可以转移到未知模型,从而产生严重的安全问题。NIPS 2017竞赛旨在加速对抗攻击和防御的研究,在提交的对抗攻击试图转移到提交的防御的现实环境中进行。CAAD 2018比赛的规则与NIPS 2017比赛的规则几乎相同。鉴于NIPS 2017提交的要求是开源的,CAAD 2018竞赛的参与者能够直接建立在以前的解决方案上,从而改进了这种环境中的最先进技术。我们的团队参加了CAAD 2018比赛,并在非目标和目标对抗攻击两个攻击子赛道中获得第一名,并在防守中获得第三名。我们在本文中概述了我们的解决方案和开发成果。我们希望我们的研究结果可以为研究人员提供生成和防御对抗性示例的信息。
2018-11-21 cs.AI cs.CR cs.LG
Understanding Model Ensemble in Transferable Adversarial Attack
Huazhong University of Science and Technology(华中科技大学)
本文针对模型集成对抗攻击理论基础不足的问题,通过定义可迁移性误差并对其进行分解,利用信息论工具给出误差边界,提出减少误差的三条实用指南,并通过54个模型的实验验证了该理论框架。
2025-05-28 cs.AI cs.LG
Defense-guided Transferable Adversarial Attacks
虽然深度神经网络可以出色地执行具有挑战性的任务,但它们容易受到对抗性示例的影响,这些示例通过对干净的输入施加人类无法感知的扰动来误导分类器。在无查询的黑盒场景下,对抗性示例很难转换到未知模型,已经提出了几种可转换性较低的方法。为了解决这个问题,我们设计了一个最大最小框架的启发输入转换,这是有益的对抗攻击和防御。在最小化过程中,我们利用输入的仿射变换来降低损失值作为防御;在最大化过程中,我们利用动量迭代算法来增加损失值作为攻击。为了进一步促进可转移性,我们用最大-最小理论确定转换值。在Imagenet上进行的大量实验表明,我们的防御引导可转移攻击在可转移性上实现了令人印象深刻的提高。实验表明,我们的对抗攻击的ASR平均达到58.38%,在正常训练的模型上比最先进的方法高出12.1%,在对抗训练的模型上高出11.13%。此外,我们还提供了关于提高可转移性的解释性见解,我们的方法有望成为评估深度模型鲁棒性的基准。
2020-11-04 cs.CV cs.LG
Evaluating the Robustness of a Production Malware Detection System to Transferable Adversarial Attacks
Google Deepmind(谷歌DeepMind);Google(谷歌)
本文以Gmail依赖Magika模型的恶意软件检测流水线为案例,研究发现仅修改13字节即可90%绕过检测,同时提出防御方案使高资源攻击者需改50字节才达20%成功率,且该方案已上线生产环境。
2025-10-02 cs.CR cs.LG
DP-TRAE: A Dual-Phase Merging Transferable Reversible Adversarial Example for Image Privacy Protection
School of Computer and Information Engineering, Xiamen University of Technology(厦门理工大学计算机与信息工程学院);School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University(四川大学计算机科学学院,机器学习与产业智能工程研究中心);Department of Computer and Information Science, Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院计算机与信息科学系);Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系);Institute of Space Internet, Fudan University(复旦大学空间互联网研究所);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对可逆对抗样本黑盒可迁移性不足、查询成本高的问题,提出DP-TRAE双阶段合并方法,结合白盒初始扰动与记忆增强黑盒策略,实现高攻击成功率、完全恢复及商业模型验证。
2025-05-11 cs.AI cs.CR cs.LG
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University(山东大学);Quancheng Laboratory(泉城实验室)
本文研究语音识别中对抗样本的可迁移性,提出随机梯度集成和动态梯度加权集成方法,实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology(哈尔滨工业大学)
深度神经网络最近被发现是脆弱的。一种设计良好的输入,称为对抗性样本,可以导致网络做出错误的预测。根据不同的场景、目标和能力,攻击的难度也不同,例如,有针对性攻击比无针对性攻击难,通用攻击比非通用攻击难,可转移攻击比不可转移攻击难。问题是:是否存在一种攻击可以满足所有这些要求?本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射,将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中,并且具有很强的可移植性。我们的代码发布在:xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science(计算机学院);University College Dublin(都柏林大学学院);School of Computer Science and Statistics(计算机与统计学院);Trinity College Dublin(都柏林圣三一学院);University of Science(科学大学)
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统,揭示其在可迁移不可感知对抗攻击下的漏洞,并通过对抗训练优化检测器与分类器,提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL(洛桑联邦理工学院)
针对表格类别数据对抗鲁棒性的两大挑战,提出基于双层交替最小化的通用鲁棒嵌入方法,可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器,在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG
Benchmarking Transferable Adversarial Attacks
The University of Sydney(悉尼大学);Suzhou Yierqi(苏州亿尔齐)
本研究首次全面回顾对抗性攻击的可迁移性,系统分类并评估多种增强方法,并引入集成十种领先方法的基准框架TAA-Beb,为跨模型架构比较分析提供标准化平台,揭示各方法的有效性与局限。
2024-02-16 cs.CV cs.LG
Transferable Perturbations of Deep Feature Distributions
Duke University(杜克大学)
目前几乎所有对CNN分类器的对抗攻击都依赖于从网络输出层获得的信息。这项工作提出了一种新的对抗攻击的基础上建模和开发类和层的深度特征分布。我们为不设防的ImageNet模型实现了最先进的基于黑盒传输的攻击结果。此外,我们优先考虑攻击过程的可解释性和可解释性。我们的方法提供了一个分析对抗攻击如何改变CNN的中间特征分布,以及逐层和逐类特征分布分离性/纠缠的措施。我们还在CNN架构中概念化了从任务/数据特定到模型特定特征的过渡,这直接影响了对抗性示例的可转移性。
2020-04-27 cs.LG stat.ML
Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University, USA(杜兰大学(美国))
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。针对图像分类的对抗性示例的最新工作集中于直接修改具有微小扰动的像素。所有这些工作中的一个共同要求是恶意扰动应该足够小(由某个p的L_p范数测量),以便人类无法感知它们。然而,小的扰动可能是不必要的限制,并限制了生成的对抗性示例的多样性。此外,基于L_p范数的距离度量忽略了隐藏在图像中对人类感知很重要的重要结构模式。因此,即使在最近的作品中引入了微小的扰动,也常常使对抗性的例子对人类来说不那么自然。更重要的是,它们通常不能很好地转移,因此在攻击黑盒模型时效率较低,特别是对于那些受防御机制保护的模型。在本文中,我们提出了一种结构保持变换(SPT),用于生成具有极高可移植性的自然和多样的对抗性示例。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。在MNIST和Fashion-MNIST数据集上的实证结果表明,通过我们的方法生成的对抗性示例可以轻松绕过强对抗性训练。此外,它们可以很好地转移到其他目标模型,而不会损失或损失很少的成功攻击率。
2018-12-22 cs.AI cs.CR cs.CV
Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation
Westlake University(西湖大学);Heilongjiang University(黑龙江大学);City University of Hong Kong(香港城市大学);Tencent(腾讯)
Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法,通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。
2025-11-24 cs.AI cs.CR cs.LG
Transferable Adversarial Attacks on SAM and Its Downstream Models
Nanyang Technological University(南洋理工大学);Pengcheng Laboratory(鹏城实验室);Beihang University(北航);Fudan University(复旦大学);Peking University(北京大学)
本文提出通用元初始化与梯度鲁棒对抗攻击(UMI-GRAT),仅利用开源SAM信息即可有效攻击其微调的下游模型,通过提取内在脆弱性并模拟梯度偏差不确定性,显著提升对抗样本的可迁移性。
2025-04-21 cs.CR cs.CV cs.LG
Learning Transferable Adversarial Examples via Ghost Networks
Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学)
对抗攻击的最新发展已经证明,基于集成的方法在黑盒攻击中优于传统的非集成方法。然而,由于获取一系列不同的模型在计算上是禁止的,这些方法实现了受限于有限数量的待集成模型的较差性能。在本文中,我们提出了Ghost网络来提高对抗性示例的可移植性。幽灵网络的关键原理是将特征级扰动应用于现有模型,以潜在地创建大量不同的模型。然后,通过纵向系综对模型进行融合。大量的实验结果表明,网络的数量是必不可少的,以提高对抗性的例子的可移植性,但它是不必要的独立训练不同的网络和集成他们在一个密集的聚合方式。相反,我们的工作可以作为一个计算成本低,易于应用的插件来改进单模型和多模型攻击中的对抗方法,与残差和非残差网络兼容。通过再现NeurIPS 2017对抗性竞争,我们的方法大幅优于No.1攻击提交,证明了其有效性和效率。代码可在https://github.com/LiYingwei/ghost-network上获得。
2019-11-25 cs.CV cs.LG
Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks
Huazhong University of Science and Technology(华中科技大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出S-FGRM方法,通过数据重缩放替代符号函数并结合深度优先采样稳定梯度更新,以提升对抗攻击的迁移性,在ImageNet上显著优于现有基线。
2023-07-06 cs.CR cs.CV cs.LG
Learning to Learn Transferable Attack
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
转移对抗攻击是一种非平凡的黑盒对抗攻击,其目的是对代理模型进行对抗性扰动,然后将这种扰动应用于受害者模型。然而,从现有的方法的扰动的可移植性仍然是有限的,因为对抗性扰动很容易过拟合与一个单一的代理模型和特定的数据模式。在本文中,我们提出了一种学习可转移攻击(LLTA)方法,该方法通过从数据和模型增强中学习,使对抗性扰动更加普遍。对于数据增强,我们采用简单的随机填充和填充。对于模型增强,我们随机改变反向传播而不是前向传播,以消除对模型预测的影响。通过将对特定数据和修改后的模型的攻击都视为一个任务,我们希望对抗性扰动能够采用足够的任务进行泛化。为此,在扰动生成的迭代过程中进一步引入元学习算法。在广泛使用的数据集上的实验结果表明,我们的攻击方法的有效性,与最先进的方法相比,传输攻击的成功率提高了12.85%。我们还评估了我们的方法在现实世界的在线系统,即,Google Cloud Vision API,以进一步展示我们方法的实用潜力。
2021-12-10 cs.CV cs.LG
HGAttack: Transferable Heterogeneous Graph Adversarial Attack
Nanyang Technological University(南洋理工大学);Tencent(腾讯)
针对异质图神经网络缺乏专用攻击方法的问题,提出 HGAttack 灰盒逃逸攻击,通过元路径代理模型和语义感知梯度扰动生成可迁移攻击。
2024-01-18 cs.CR cs.IR cs.LG
Transferable Adversarial Attacks on Black-Box Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学)
该研究证明目标对抗样本和通用扰动能高度可迁移地攻击GPT-4o等黑盒视觉语言模型,诱导其产生特定误判,凸显了部署稳健防御措施的迫切需求。
2025-05-02 cs.CV cs.LG
Common Knowledge Learning for Generating Transferable Adversarial Examples
Beihang University(北京航空航天大学);University of Macau(澳门大学)
针对不同DNN架构间对抗样本迁移性差的问题,提出公共知识学习框架,通过多教师知识蒸馏和梯度约束学习通用网络权重,显著提升了黑盒对抗攻击的迁移性。
2023-07-01 cs.CV cs.LG
MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction
University of Toronto(多伦多大学)
本文提出MARAGE框架,通过多模型梯度连续优化对抗性字符串,实现跨模型可迁移的RAG数据提取攻击,并验证其优于现有基线。
2025-02-05 cs.CL cs.CR cs.LG
Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant'Anna(机器人与人工智能卓越部门,TeCIP,圣安娜高等学院);Department of Electrical and Electronic Engineering, University of Cagliari(电气与电子工程系,卡利亚里大学)
本研究针对分布式机器学习中模型拆分部署的安全漏洞,提出利用拦截的中间特征构建替代模型以生成高可迁移对抗样本的方法,实验证明该方法显著提升攻击迁移性,凸显了中间特征泄漏的紧迫性。
2025-07-09 cs.AI cs.LG
Universal and Transferable Adversarial Attacks on Aligned Language Models
Carnegie Mellon University(卡内基梅隆大学);Center for AI Safety(人工智能安全中心);Google DeepMind(谷歌DeepMind);Bosch Center for AI(博世人工智能中心)
本文提出一种自动生成对抗后缀的方法,通过贪心与梯度搜索使对齐语言模型输出不良内容,且攻击可迁移至ChatGPT等黑盒模型,显著推进了对抗性攻击研究。
2023-12-20 cs.AI cs.CL cs.CR
X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP
Singapore Management University(新加坡管理大学);Fudan University(复旦大学)
本文提出X-Transfer攻击方法,通过动态选择代理的代理缩放策略生成通用对抗扰动,在CLIP模型及下游VLM上同时实现跨数据、领域、模型和任务的超可迁移性,显著超越现有UAP方法并建立新基准。
2025-05-29 cs.AI cs.CL cs.CV
Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Collaborative Innovation Center of Railway Traffic Safety(轨道交通安全协同创新中心)
本文提出MultiANDA方法,利用随机梯度上升的渐近正态性和深度集成策略估计高斯混合后验分布,为每个输入生成无限对抗扰动,在14个模型上超越10种最先进黑盒攻击。
2024-03-29 cs.CV cs.LG
Towards more transferable adversarial attack in black-box manner
City University of Hong Kong(香港城市大学);University of St Andrews(圣安德鲁大学)
本文提出一种结合独特替代模型的新颖损失函数,利用分类器引导扩散模型的得分,在降低计算开销的同时实现更优的黑盒对抗攻击可迁移性,并保持对扩散防御的鲁棒性。
2025-05-23 cs.CV cs.LG
Transferable Adversarial Robustness for Speech Foundation Models via Hierarchical Stabilization
Sharif University of Technology(谢里夫理工大学);University of Tehran(德黑兰大学);New Uzbekistan University(新乌兹别克斯坦大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
针对语音基础模型,提出层级稳定化方法,在不需下游对抗样本的情况下提升可迁移鲁棒性,在12个骨干-任务对上显著提高鲁棒准确率。
2026-10-06 cs.LG eess.AS
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
本文提出ReEval框架,利用提示链自动扰动原始证据生成对抗样本,动态评估检索增强LLM使用新证据的可靠性,发现静态表现好的模型在扰动下仍会产生幻觉,且对抗样本可跨模型迁移,具有成本效益。
2024-05-31 cs.AI cs.CL cs.LG
One Attack to Fool Them All: Highly Transferable Black-Box Adversarial Attacks on Frontier MLLMs
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对前沿多模态大语言模型,提出O-Attack黑盒攻击框架,利用替代模型的跨模态语义空间,通过语义共识优化扰动,显著提升攻击成功率与迁移性,并揭示实际安全风险。
2026-09-29 cs.CV cs.LG
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Cornell University(康奈尔大学)
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而,在黑箱设置下,大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中,从将对抗性示例生成视为一个优化过程的角度出发,我们提出了两种新的方法来提高对抗性示例的可移植性,即Nesterov迭代快速梯度符号方法(NI-FGSM)和尺度不变攻击方法(SIM)。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击,以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现,我们利用它来优化输入图像的尺度副本上的对抗性扰动,以避免白盒模型受到攻击的“过拟合”,并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成,以构建一个强大的基于梯度的攻击,从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明,我们的攻击方法具有更高的可移植性,并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
CAT-alyzing Honesty: Continuous Adversarial Training for Transferable LLM Honesty
Tara Research(塔拉研究院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Technical University of Munich(慕尼黑工业大学)
该研究提出CATCH方法,通过连续对抗训练提升LLM诚实性,在MASK、Among Us、AuditBench等基准上表现优于提示工程和监督微调,且在保持模型效用上优于现有激活引导。
2026-10-16 cs.CL cs.CY cs.LG
Frequency-based Automated Modulation Classification in the Presence of Adversaries
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
自动调制分类(AMC)旨在通过自动预测无线RF信号的调制星座来提高拥挤的无线电频谱的效率。最近的工作已经证明了深度学习使用原始同相和正交(IQ)时间样本实现强大AMC性能的能力。然而,深度学习模型非常容易受到对抗性干扰的影响,这会导致智能预测模型以高置信度对接收到的样本进行错误分类。此外,对抗性干扰通常是可转移的,允许对手使用为特定分类网络设计的单个扰动来攻击多个深度学习模型。在这项工作中,我们提出了一种新的接收器架构,由能够承受可转移对抗性干扰的深度学习模型组成。具体来说,我们证明了针对时域特征训练的模型的对抗性攻击不容易转移到使用频域特征训练的模型。在这种能力下,我们证明了递归神经网络(RNN)的分类性能提高超过30%,卷积神经网络(CNN)的分类性能提高超过50%。我们进一步证明了我们的基于频率特征的分类模型,在没有攻击的情况下,准确率超过99%。
2021-02-19 cs.LG eess.SP
Rethinking the Transferable Adversarial Attacks and Robust Defense in Federated Learning
University of Nevada Las Vegas(内华达大学拉斯维加斯分校);Cyber Security Research Center at KAIST(韩国科学技术院网络安全研究中心);Georgia State University(佐治亚州立大学)
本文针对联邦学习场景,分析对抗样本的可迁移性,设计基于对抗训练的防御机制,经真实数据集验证其性能优于现有最先进方法。
2026-08-27 cs.CR cs.LG
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);University of the California, Berkeley(加州大学伯克利分校)
深度神经网络的一个有趣特性是存在对抗性的例子,这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中,我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人,我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例,并表明虽然可转移的非有针对性的对抗性示例很容易找到,但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此,我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法,我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究,以帮助理解可转移的对抗性示例。最后,我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com,这是一个黑盒图像分类系统。
2017-02-07 cs.LG
The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses
UC Berkeley(加州大学伯克利分校);Zuse Institute Berlin(柏林祖斯研究所);University of Southern Denmark(南丹麦大学);TU Berlin(柏林工业大学)
本文通过元分析探讨了水印、可转移攻击和对抗防御之间的权衡,证明了三者中至少存在其一,并利用全同态加密构建了可转移攻击的实例。
2026-01-21 cs.AI cs.CR cs.LG
PEAS: A Strategy for Crafting Transferable Adversarial Examples
Ben-Gurion University(本古里安大学)
PEAS策略通过细微增强生成多个感知等价图像,并利用替代模型筛选最具迁移性的对抗样本,从而显著提升黑盒攻击的迁移性与成功率。
2024-10-20 cs.AI cs.CR cs.LG
The Space of Transferable Adversarial Examples
Stanford University(斯坦福大学);Pennsylvania State University(宾夕法尼亚州立大学);Google Brain(谷歌大脑)
对抗性示例是恶意干扰的输入,旨在在测试时误导机器学习(ML)模型。他们经常转移:同一个对抗性的例子愚弄了不止一个模型。在这项工作中,我们提出了新的方法来估计以前未知的维数的空间的对抗性输入。我们发现,敌对的例子跨越一个连续的子空间的大(~25)维。具有更高维度的敌对子空间更有可能相交。我们发现,对于两个不同的模型,他们的子空间的一个显着的部分是共享的,从而使可转移性。在第一个定量分析不同模型的决策边界的相似性,我们表明,这些边界实际上是接近的任意方向,无论是敌对的或良性的。最后,我们正式研究了可转让性的限制。我们得到(1)充分条件的数据分布,意味着简单的模型类的可转移性和(2)的情况下,转移不会发生的例子。这些发现表明,即使对于易受直接攻击的模型,也可以设计针对基于传输的攻击的防御。
2017-05-23 cs.CR cs.LG stat.ML
Improving Integrated Gradient-based Transferable Adversarial Examples by Refining the Integration Path
Xi’an Jiaotong University(西安交通大学);Information Engineering University(信息工程大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Zhejiang Lab(之江实验室)
本文针对基于积分梯度的对抗攻击迁移性不足问题,提出通过细化积分路径的多重性、单调性和多样性构建 MuMoDIG 攻击,在 CNN 和 ViT 模型上显著超越现有方法。
2024-12-25 cs.CR cs.CV cs.LG
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出一种双编码器元对抗多视图表示学习框架,通过最大化同一数据不同增强视图间的差异与一致性,学习跨领域和任务的可迁移对抗鲁棒表示,在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University(卡内基梅隆大学);University of Florida(佛罗里达大学)
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别(ASR)系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型,对手可以利用可转移性属性,即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而,最近的工作表明,对大型ASR模型的可移植性是非常困难的。在这项工作中,我们表明,现代ASR架构,特别是那些基于自监督学习,实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型,如Wav2Vec2,HuBERT,Data2Vec和WavLM,成功地证明了这一现象。我们表明,低水平的加性噪声达到30 dB的信噪比,我们可以实现高达80%的准确度的目标转移。接下来,我们1)使用消融研究来表明,自监督学习是这种现象的主要原因,2)我们为这种现象提供了一个解释。通过这一点,我们表明,现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
Learning Adversarially Fair and Transferable Representations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们提倡表示学习作为减轻下游不公平预测结果的关键。出于一个场景的动机,学习的表示被第三方使用未知的目标,我们提出并探索对抗性表示学习作为一种自然的方法,确保这些方公平行事。我们将群体公平性(人口统计学上的平等、均等化的几率和平等的机会)与不同的对抗性目标联系起来。通过最坏情况下的理论保证和实验验证,我们表明,这个目标的选择是至关重要的公平预测。此外,我们提出了第一个深入的公平迁移学习的实验演示,并实证表明,我们学到的表示承认公平的预测新的任务,同时保持效用,公平表示学习的一个基本目标。
2018-10-22 cs.LG stat.ML
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester(曼彻斯特大学)
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性,一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而,语料库之间的域转移提出了一个严峻的挑战,使域转移适应难以发挥作用,即使是对积极/消极情绪的识别。在这项工作中,我们提出了类明智的对抗性领域自适应,以解决这一挑战,减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明,即使只提供非常有限数量的目标标记示例,我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
GNP Attack: Transferable Adversarial Examples via Gradient Norm Penalty
Missouri University of Science and Technology(密苏里科技大学)
本文提出梯度范数惩罚(GNP)方法,通过使优化收敛到损失景观平坦区域来增强对抗样本的可迁移性,并在多个先进模型和防御方法上验证了其有效性与灵活性。
2023-07-09 cs.CR cs.CV cs.LG
Revisiting Transferable Adversarial Images: Systemization, Evaluation, and New Insights
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯);Starfleet Academy(星舰学院)
本文系统化评估了23种迁移攻击对11种防御的效果,指出现有评估在迁移性和隐蔽性上的不足,并得出早期攻击DI表现优异、白盒防御DiffPure易受黑盒攻击等挑战共识的新见解。
2025-09-16 cs.CR cs.CV cs.LG
Model Mimic Attack: Knowledge Distillation for Provably Transferable Adversarial Examples
Research Center for Trusted Artificial Intelligence(可信人工智能研究中心);Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Moscow Institute of Physics and Technology (National Research University)(莫斯科物理技术学院(国立研究型大学));AIRI(AIRI(人工智能研究所))
本文提出模型模仿攻击,通过知识蒸馏迭代训练学生模型实现可迁移黑盒对抗攻击,并首次证明在有限迭代内可保证找到针对教师模型的对抗样本。
2024-10-21 cs.AI cs.LG