Harnessing the Vulnerability of Latent Layers in Adversarially Trained Models
Adobe Inc(奥多比公司);IIT Hyderabad(印度理工学院海得拉巴分校)
神经网络很容易受到对抗攻击--视觉上难以察觉的精心制作的小噪声,当添加到输入中时,会大大改变输出。防御这些对抗攻击的最有效方法是使用对抗训练的方法。我们分析了对抗性训练的鲁棒模型,以研究它们在潜在层水平上对对抗攻击的脆弱性。我们的分析表明,相反的输入层,这是强大的对抗攻击,这些强大的模型的潜在层是非常容易受到小幅度的对抗扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),该技术包括微调对抗训练的模型,以确保特征层的鲁棒性。我们还提出了潜在攻击(LA),一种用于构建对抗性示例的新算法。LAT导致测试准确性的微小改善,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗PGD攻击的最先进的对抗准确性。
2019-06-25 cs.CR cs.CV cs.LG
Mitigating Adversarial Vulnerability through Causal Parameter Estimation by Adversarial Double Machine Learning
KAIST(韩国科学技术院)
针对深度神经网络存在的目标差异化对抗脆弱性难以缓解的问题,提出因果方法ADML以估计对抗扰动的因果参数、削弱负面影响,经多架构实验验证其可大幅提升对抗鲁棒性。
2023-07-18 cs.AI cs.CV cs.LG
Adversarial vulnerability for any classifier
Univ Lyon(里昂大学);ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);UCBL(里昂第一大学);DeepMind(深度思维);University of Cambridge(剑桥大学)
尽管取得了令人印象深刻的性能,最先进的分类器仍然非常容易受到小的,难以察觉的,对抗性的扰动。经验证明,这种脆弱性非常难以解决。在本文中,我们研究了对抗性扰动的现象,假设数据是由一个光滑的生成模型。我们推导出对任何分类函数扰动的鲁棒性的基本上界,并证明了对抗性扰动的存在,这些扰动可以在不同的分类器之间以较小的风险转移。我们对鲁棒性的分析还提供了对生成模型的关键属性的见解,例如它们的平滑性和潜在空间的维数。我们的结论与数值实验结果表明,我们的界限提供了信息基线的最大可实现的鲁棒性在几个数据集。
2018-11-30 cs.CR cs.CV cs.LG
On Adversarial Vulnerability of PHM algorithms: An Initial Study
GE Research Center(通用电气研究中心)
随着深度学习(DL)应用在不同领域的扩散,DL模型对对抗攻击的脆弱性已经成为计算机视觉(CV)和自然语言处理(NLP)领域中越来越有趣的研究课题。DL也被广泛采用到各种PHM应用中,其中数据主要是时间序列传感器测量。虽然这些先进的DL算法/模型已经导致了PHM算法的性能的改进,但是这些PHM算法对对抗攻击的脆弱性在PHM社区中没有引起太多的关注。在本文中,我们试图探讨PHM算法的脆弱性。更具体地说,我们研究的策略,攻击PHM算法,考虑与时间序列传感器测量数据的几个独特的特点。我们使用两个真实世界的PHM应用程序作为例子来验证我们的攻击策略,并证明PHM算法确实容易受到对抗攻击。
2021-10-14 cs.CR cs.LG
On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces
University of the Bundeswehr Munich(慕尼黑联邦国防军大学);University of Wrocław(弗罗茨瓦夫大学)
研究基于Transformer的视觉语言模型对抗脆弱性,提出白盒谱子空间引导攻击(SSGRA),通过将中间表示与特定子空间对齐来攻击,实验显示其比现有基线更有效,还为模型对抗脆弱性提供谱解释,助力提升鲁棒性。
2026-07-09 cs.AI cs.LG
Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility
Purdue University(普渡大学);Michigan State University(密歇根州立大学)
该研究揭示对抗脆弱性源于流形上不可分性与一阶优化器病态导致的流形外方向收敛差,提出用二阶方法提升鲁棒性,实验验证了效果并指出批归一化会阻碍该增益。
2024-10-09 cs.LG stat.ML
Adversarial Vulnerability Bounds for Gaussian Process Classification
University of Sheffield(谢菲尔德大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
机器学习(ML)分类越来越多地用于安全关键系统。保护ML分类器免受对抗性示例的影响至关重要。我们建议,主要的威胁是,攻击者扰动一个自信的分类输入,产生一个自信的错误分类。为了防止这种情况,我们为高斯过程分类器设计了一个对抗边界(AB),它适用于整个输入域,限制了未来任何对抗方法导致这种错误分类的可能性。这是鲁棒性的正式保证,而不仅仅是经验得出的结果。我们研究如何配置分类器,以最大限度地提高界限,包括使用稀疏近似,导致产生一个实用的,有用的和可证明的强大的分类器,我们使用各种数据集进行测试的方法。
2019-09-19 cs.CR cs.LG stat.ML
Vulnerability-Aware Robust Multimodal Adversarial Training
本文提出VARMAT方法,通过识别各模态的脆弱性提升多模态对抗鲁棒性,实现在多个数据集上显著提升鲁棒性性能。
2025-11-22 cs.CR cs.LG
Improving Adversarial Training using Vulnerability-Aware Perturbation Budget
Iowa State University(爱荷华州立大学)
针对固定扰动预算限制对抗训练效能的问题,提出两种基于样本脆弱性分配扰动半径的轻量重加权方法,有效提升了模型对多种对抗攻击的鲁棒性。
2024-03-06 cs.AI cs.CR cs.CV
Adversarial vulnerability of powerful near out-of-distribution detection
Stanford University(斯坦福大学)
最近,在检测神经网络中的分布外(OOD)输入方面取得了重大进展,主要是由于使用了在大型数据集上预训练的大型模型,以及多模态的新兴使用。我们显示了一个严重的对抗性漏洞,即使是最强的当前OOD检测技术。通过对输入像素进行小的有针对性的扰动,我们可以轻松地将图像分配从内分布更改为外分布,反之亦然。特别是,我们在具有挑战性的近OOD CIFAR-100与CIFAR-10任务以及远OOD CIFAR-100与SVHN上表现出严重的对抗性脆弱性。我们研究了几种后处理技术的对抗鲁棒性,包括最大软最大概率(MSP)的简单基线,Mahalanobis距离,以及新提出的\textit{Relative} Mahalanobis距离。通过比较OOD检测性能在不同扰动强度的损失,我们证明了使用OOD检测器的合奏的有益效果,并使用\textit{Relative} Mahalanobis距离超过其他后处理方法。此外,我们表明,即使是强大的zero-shot OOD检测使用CLIP和多模态遭受严重缺乏对抗性的鲁棒性。我们的代码可在https://github.com/stanislavfort/adversaries_to_OOD_detection上获得
2022-01-18 cs.LG
Towards an Adversarially Robust Normalization Approach
Kyung-He University(庆熙大学);Information Technology University(信息技术大学)
批量归一化(BatchNorm)对于提高深度神经网络的性能和加速训练是有效的。然而,它也被证明是对抗脆弱性的一个原因,即,没有它的网络对对抗攻击更健壮。在本文中,我们研究了BatchNorm如何导致这种漏洞,并提出了新的规范化,对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布,这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设,取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现,如果我们使用这些统计数据,BatchNorm的对抗性脆弱性就会消失。但是,如果没有估计的批次统计数据,我们就不能在实践中使用BatchNorm。为了减轻这种情况,我们提出了鲁棒归一化(RobustNorm); BatchNorm的一个对抗性鲁棒版本。我们的实验表明,使用RobustNorm训练的模型在对抗环境中表现更好,同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
批量归一化(BN)由于改进了收敛性而被广泛用于现代深度神经网络(DNN)中。观察到BN提高了模型的准确性,同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响,特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说,准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征(RF)或非鲁棒特征(NRF)。我们的工作提出了实证证据,支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变,我们提出了一个框架,用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解,例如DNN首先主要学习RF,然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Effect of Ambient-Intrinsic Dimension Gap on Adversarial Vulnerability
Purdue University(普渡大学);Michigan State University(密歇根州立大学)
本研究引入流形上和流形外对抗攻击概念,证明数据内在维度与环境维度的差距使2层ReLU网络更易受流形外对抗扰动影响,并给出了攻击强度与维度差距的显式关系。
2024-03-23 cs.CR cs.LG stat.ML
A Geometric Framework for Adversarial Vulnerability in Machine Learning
University of Arizona(亚利桑那大学)
本文提出一个基于 Ricci 曲率与持久性的几何框架,旨在理解神经网络的对抗脆弱性,并发展双线性映射表示等新工具,以支持对抗攻击的猜想与理论分析。
2024-07-03 cs.CR cs.LG stat.ML
Understanding and Diagnosing Vulnerability under Adversarial Attacks
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
深度神经网络(DNN)容易受到对抗攻击的攻击。目前,对于轻微的扰动如何导致分类结果如此大的差异以及我们如何设计更强大的模型架构还没有明确的见解。在这项工作中,我们提出了一种新的可解释性方法,InterpretGAN,以生成用于潜变量分类的特征的解释。解释对抗性示例的分类过程揭示了对抗性扰动如何逐层影响特征,以及哪些特征被扰动修改。此外,我们设计了第一个诊断方法来量化的脆弱性贡献的每一层,它可以用来识别脆弱的模型架构的部分。诊断结果表明,引入更多信息损失的层往往比其他层更脆弱。基于这些发现,我们对MNIST和CIFAR10数据集的评估结果表明,对于本文研究的网络架构,平均池化层具有较低的信息损失,比最大池化层更鲁棒。
2020-07-17 cs.CV cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno(内华达大学里诺分校)
众所周知,深度学习分类器天生容易受到有意扰动输入的操纵,称为对抗性示例。在这项工作中,我们建立了基于深度Q网络(DQN)的强化学习技术也容易受到对抗性输入扰动的影响,并验证了对抗性示例在不同DQN模型之间的可移植性。此外,我们提出了一种新的攻击类的基础上,这个漏洞,使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制,利用对抗性示例的可转移性来实现对DQN的策略诱导攻击,并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Towards Understanding the Adversarial Vulnerability of Skeleton-based Action Recognition
University of Toronto(多伦多大学);State University of New York at Buffalo(纽约州立大学布法罗分校);Zhejiang University(浙江大学)
由于其对动态环境的适应性强,在自主和匿名监控等领域有着广泛的应用前景,基于信标的动作识别受到了越来越多的关注。在深度学习技术的帮助下,它也取得了实质性的进展,目前在良性环境中达到了90%左右的准确率。另一方面,在不同的对抗性设置下,对基于信标的动作识别的脆弱性的研究仍然很少,这可能会引起对将此类技术部署到现实世界系统中的安全问题。然而,由于骨骼和人类行为的独特物理限制,填补这一研究空白具有挑战性。在本文中,我们试图进行一个深入的研究,以了解敌对的脆弱性,基于动作识别。我们首先将对抗性骨架动作的生成公式化为一个约束优化问题,通过数学公式表示或近似生理和物理约束。由于等式约束的原始优化问题是棘手的,我们提出了解决它的无约束对偶问题,使用ADMM优化。然后,我们指定了一个有效的插件防御,最近的理论和经验观察的启发,对抗对抗骨架的行动。广泛的评估表明,在不同的设置下的攻击和防御方法的有效性。
2020-06-06 cs.CV cs.LG
Vulnerability-Aware Instance Reweighting For Adversarial Training
Iowa State University(爱荷华州立大学)
针对对抗训练对样本和类别影响不均的问题,本文提出一种依据自然样本脆弱性及攻击导致信息损失进行实例级重加权的方法,显著提升对白盒与黑盒攻击的鲁棒性。
2023-07-14 cs.AI cs.CV cs.LG
Adversarial Vulnerability of Randomized Ensembles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管深度神经网络在各种任务中取得了巨大的成功,但它们对难以察觉的对抗性扰动的脆弱性阻碍了它们在现实世界中的部署。最近,随机集成的工作经验表明,对抗鲁棒性的显着改善标准对抗训练(AT)模型,具有最小的计算开销,使其成为安全关键的资源受限的应用程序的一个有前途的解决方案。然而,这种令人印象深刻的性能提出了一个问题:随机集成提供的这些鲁棒性增益是真实的吗?在这项工作中,我们解决这个问题的理论和经验。我们首先从理论上建立,常用的鲁棒性评估方法,如自适应PGD提供了一个虚假的安全感,在这种情况下。随后,我们提出了一个理论上合理和有效的对抗攻击算法(ARC)能够妥协的随机合奏,即使在自适应PGD未能做到这一点的情况下。我们在各种网络架构、训练方案、数据集和规范中进行了全面的实验,以支持我们的主张,并根据经验建立了随机集合实际上比标准AT模型更容易受到$\ell_p$有界对抗性扰动的影响。我们的代码可以在https://github.com/hsndbk4/ARC上找到。
2022-06-14 cs.CR cs.CV cs.LG
SmoothFool: An Efficient Framework for Computing Smooth Adversarial Perturbations
West Virginia University(西弗吉尼亚大学)
深度神经网络容易受到输入域中的对抗性操作的影响。在$\ell_p$ -有界和$\ell_p$ -最小对抗扰动的情况下,已经深入探讨了脆弱性的程度。然而,DNN对具有特定统计特性或频域特征的对抗性扰动的脆弱性尚未得到充分探讨。在本文中,我们研究了扰动的光滑性,并提出了SmoothFool,一个通用的和计算效率高的框架,用于计算光滑的对抗扰动。通过大量的实验,我们验证了所提出的方法的白盒和黑盒攻击的情况下的有效性。特别是,我们证明:(i)对于良好建立和广泛使用的网络架构,存在极其平滑的对抗性扰动,(ii)平滑性显著增强了扰动对最先进的防御机制的鲁棒性,(iii)平滑性提高了对抗性扰动跨数据点和网络架构的可转移性,和(iv)类类别表现出对平滑扰动的可变范围的敏感性。我们的研究结果表明,平滑AP可以在探索DNN对对抗性示例的脆弱程度方面发挥重要作用。
2019-10-08 cs.CV cs.LG stat.ML
Adversarial Vulnerability Transcends Computational Paradigms: Feature Engineering Provides No Defense Against Neural Adversarial Transfer
1 Department of Information \& Computer Science, KFUPM, Dhahran, Saudi Arabia;2 Department of Computer Engineering, KFUPM, Dhahran, Saudi Arabia;3 Interdisciplinary Research Center for Finance
研究发现经典机器学习模型对神经网络生成的对抗性示例同样脆弱,且FGSM攻击在经典模型中表现优于PGD,揭示对抗性漏洞是图像分类系统的根本属性。
2026-01-29 cs.AI cs.CV cs.LG
Holistic Approach to Measure Sample-level Adversarial Vulnerability and its Utility in Building Trustworthy Systems
Indian Institute of Science(印度科学学院)
对抗攻击会用难以察觉的噪声干扰图像,从而导致不正确的模型预测。最近,一些作品显示出与这种攻击相关的固有偏差(鲁棒性偏差),其中数据集中的某些子组(例如基于类,性别等)。比其他人更弱。这种偏见不仅在对抗性训练后仍然存在,而且经常导致这些亚组之间的严重表现差异。现有的工作特征的子组的鲁棒性偏差只检查个别样本的接近决策边界。在这项工作中,我们认为,这种措施本身是不够的,并通过广泛的实验分析验证我们的论点。已经观察到,对抗攻击经常破坏输入图像的高频分量。因此,我们提出了一种通过结合这些不同的观点来量化样本对抗脆弱性的整体方法,即,模型对高频特征的依赖程度和到决策边界的(常规)样本距离。我们证明,通过使用拟议的整体指标可靠地估计样本级别的对抗性脆弱性,可以开发一个值得信赖的系统,在该系统中,人们可以收到有关测试时极有可能被错误分类的输入样本的警报。当我们的整体指标用于单个指标时,可以更精确地实现这一点。为了进一步证实所提出的整体方法的效用,我们在有限的样本设置中进行知识蒸馏。我们观察到,使用我们的组合指标选择的样本子集训练的学生网络比两个竞争基线表现得更好,即,其中随机地或基于样本到决策边界的距离来选择样本。
2022-05-05 cs.CV cs.HC cs.LG
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence(感知与交互智能中心);The Chinese University of Hong Kong(香港中文大学)
一个名为Speech processing Universal Permeable Benchmark(SUPERB)的排行榜,其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习(SSL)语音模型的性能进行基准测试,推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注,表征这种模型的对抗鲁棒性具有重要意义。在本文中,我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明,SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性,零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University(亚琛工业大学);University College London(伦敦大学学院)
研究对抗性攻击对工业需求响应决策的影响,设计攻击破坏电价预测模型输出,用广义过程模型研究不同生产调度问题的脆弱性,发现攻击会侵蚀利润,但扰动有限时需求响应仍有优势,且影响取决于扰动方向,应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
Vulnerability Analysis of Face Morphing Attacks from Landmarks and Generative Adversarial Networks
Idiap Research Institute(Idiap研究所)
变形攻击是对生物识别系统的威胁,其中身份证件中的生物识别参考可以被改变。这种形式的攻击在依赖于身份证件的应用程序(如边境安全或访问控制)中提出了一个重要问题。人脸变形攻击检测的研究正在迅速发展,但很少有几种形式的攻击数据集是公开的。本文通过提供一个新的数据集来弥合这一差距,该数据集具有四种不同类型的变形攻击,基于OpenCV,FaceMorpher,WebMorph和生成对抗网络(StyleGAN),由三个公共人脸数据集的原始人脸图像生成。我们还进行了广泛的实验,以评估最先进的人脸识别系统的脆弱性,特别是FaceNet,VGG-Face和ArcFace。实验表明,VGG-Face虽然与FaceNet相比是不太准确的人脸识别系统,但也不容易受到变形攻击。此外,我们观察到,使用StyleGAN生成的幼稚变形不会构成重大威胁。
2020-12-09 cs.CV cs.LG
Excessive Invariance Causes Adversarial Vulnerability
Vector Institute(向量研究所);University of Toronto(多伦多大学);University of Bremen(不来梅大学);Center for Industrial Mathematics(工业数学中心);University of Tübingen(图宾根大学)
尽管深度神经网络具有令人印象深刻的性能,但它们在分布外输入上表现出惊人的失败。对抗性样本研究的一个核心思想是揭示神经网络在这种分布偏移下的错误。我们将这些误差分解为两个互补的来源:灵敏度和不变性。我们发现,深度网络不仅对与任务无关的输入变化过于敏感,正如从ε对抗性示例中所知的那样,而且对广泛的任务相关变化过于不变,从而使输入空间中的广大区域容易受到对抗攻击的影响。我们表明这种过度的不变性发生在各种任务和架构类型。在MNIST和ImageNet上,人们可以操纵几乎任何图像的类特定内容,而无需更改隐藏的激活。我们确定了不足的标准交叉熵损失作为这些失败的原因。此外,我们基于信息理论分析扩展了这一目标,因此它鼓励模型在决策中考虑所有任务相关的特征。这提供了第一种明确定制的方法,以克服过度的不变性和由此产生的漏洞。
2020-07-12 cs.AI cs.CV cs.LG
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
以前的研究表明DNN对对抗性示例的脆弱性,对抗性训练可以建立对抗性示例的防御。此外,最近的研究表明,深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中,我们引入了参数腐败的概念,并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上,我们分析了参数腐败,并提出了多步对抗腐败算法。为了增强神经网络,我们提出了对抗性参数防御算法,最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明,该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London(伦敦国王学院)
深度神经网络很容易被欺骗,通过对抗性扰动(人类无法感知的人工噪声)破坏输入来做出错误的预测。到目前为止,对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练,以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现,在训练过程中,通过牺牲相当大比例的训练样本来更容易受到对抗攻击,从而导致数据中对抗脆弱性的不均匀分布,从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在,更重要的是,与对抗训练中的过度拟合有关。基于这一观察,我们提出了一种新的对抗训练方法:实例自适应平滑增强对抗训练(ISEAT)。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观,以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明,我们的方法优于现有的防御方法。值得注意的是,我们的方法,结合最新的数据增强和半监督学习技术,实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据,和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Publishing Efficient On-device Models Increases Adversarial Vulnerability
Oregon State University(俄勒冈州立大学);Google Brain(谷歌大脑)
深度神经网络(DNN)的计算需求的最近增加已经引发了对高效深度学习机制的兴趣,例如,量化或修剪。这些机制能够构建具有可比精度的小型高效商业规模模型,加速其部署到资源受限的设备。在本文中,我们研究了发布大规模模型的设备上变体的安全性考虑。我们首先表明,对手可以利用设备上的模型,使攻击大型模型更容易。在对19个DNN的评估中,通过利用已发布的设备上模型作为转移先验,原始商业规模模型的对抗性脆弱性增加了100倍。然后,我们表明,一个完整的规模和其有效的模型之间的相似性增加的脆弱性。基于这些见解,我们提出了一种防御,$similarity$ - $unpairing$,微调设备上的模型,以减少相似性的目标。我们评估了所有19个DNN的防御,发现它将可转移性降低了90%,所需的查询数量减少了10- 100倍。我们的研究结果表明,需要进一步研究发布这些有效的兄弟姐妹所造成的安全(甚至隐私)威胁。
2022-12-28 cs.CR cs.LG
Adversarial Vulnerability of Temporal Feature Networks for Object Detection
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
考虑跨时间域的信息有助于改善自动驾驶中的环境感知。然而,到目前为止还没有研究时间融合神经网络是否容易受到故意产生的扰动,即对抗攻击,或者时间历史是否是对它们的固有防御。在这项工作中,我们研究了用于目标检测的时间特征网络是否容易受到普遍的对抗攻击。我们评估了两种类型的攻击:整个图像的不可感知噪声和局部绑定的对抗补丁。在这两种情况下,扰动都是使用PGD以白盒方式生成的。我们的实验证实,即使攻击一部分时间输入也足以欺骗网络。我们直观地评估生成的扰动,以深入了解攻击的功能。为了增强鲁棒性,我们使用5-PGD进行对抗训练。我们在KITTI和nuScenes数据集上的实验表明,通过K-PGD增强的模型能够承受所研究的攻击,同时保持基于mAP的性能与未受攻击的模型相当。
2022-08-23 cs.CR cs.CV cs.LG
Fairness Increases Adversarial Vulnerability
Syracuse University(雪城大学);Georgia Tech(佐治亚理工学院)
深度学习模型的卓越性能及其在重要领域(例如,面部识别)在公平和安全的交叉点上引入了重要的挑战。公平性和鲁棒性是学习模型中经常需要的两个理想概念。公平性确保模型不会对某些群体造成不成比例的伤害(或受益),而鲁棒性则衡量模型对小输入扰动的弹性。本文证明了公平性和鲁棒性之间存在二分法,并分析了当实现公平性时,模型对对抗样本的鲁棒性会降低。报告的分析揭示了导致这种对比行为的因素,表明跨群体的决策边界的距离是这种行为的关键解释。在非线性模型和不同的架构上进行了大量的实验,验证了多个视觉领域的理论研究结果。最后,本文提出了一种简单而有效的解决方案,以构建模型,实现公平性和鲁棒性之间的良好权衡。
2022-11-23 cs.AI cs.CR cs.LG
AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)
Manipal University(马尼帕尔大学);GGSI University(GGSI大学);IIITDM Kancheepuram(坎奇普拉姆印度信息技术设计制造学院);Meta AI;Amazon(亚马逊);BITS Goa(果阿比尔拉理工学院)
该研究构建含 9,000 条提示的 ALKALI 对抗基准,揭示 LLM 的潜在伪装盲点,并提出 GRACE 几何对比对齐框架与 AVQI 指标,最高降低 39% ASR。
2025-09-28 cs.CL cs.LG
Visual Analytics of Neuron Vulnerability to Adversarial Attacks on Convolutional Neural Networks
University of California, Davis(加州大学戴维斯分校);Visa Research(Visa研究院);Linköping University(林雪平大学)
对卷积神经网络(CNN)的对抗攻击-将人类无法感知的扰动注入输入图像-可以欺骗高性能的CNN做出错误的预测。对抗攻击的成功引发了人们对CNN鲁棒性的严重担忧,并阻止了它们用于安全关键型应用,如医疗诊断和自动驾驶。我们的工作通过回答两个问题引入了一种视觉分析方法来理解对抗攻击:(1)哪些神经元更容易受到攻击,以及(2)这些脆弱的神经元在预测过程中捕获了哪些图像特征?对于第一个问题,我们引入了多个基于扰动的措施,将攻击幅度分解为单个CNN神经元,并根据其脆弱性级别对神经元进行排名。对于第二种,我们识别图像特征(例如,猫耳朵),其高度刺激用户选择的神经元以增强和验证神经元的责任。此外,我们支持一个交互式的探索大量的神经元,通过帮助层次聚类的神经元的角色在预测的基础上。为此,视觉分析系统被设计为结合视觉推理来解释对抗攻击。我们验证了我们的系统的有效性,通过多个案例研究,以及从领域专家的反馈。
2023-03-06 cs.CR cs.CV cs.HC
On the Existence of Consistent Adversarial Attacks in High-Dimensional Linear Classification
Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息学习与物理实验室,瑞士联邦理工学院(EPFL));Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(计算统计物理实验室,瑞士联邦理工学院(EPFL));Département d’Informatique, École Normale Supérieure - PSL & CNRS, France(信息学系,法国高等科学研究院(PSL)与国家科学研究中心(CNRS))
本文研究高维二分类中对抗攻击与模型表达能力有限导致的误分类区别,提出新的误差度量标准,揭示模型对保持真实标签扰动的脆弱性,理论分析显示模型越过度参数化,对标签保持扰动的敏感性越高。
2026-09-02 cond-mat.dis-nn cs.CR cs.LG
On First-Order Bounds, Variance and Gap-Dependent Bounds for Adversarial Bandits
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);DeepMind(深度思维)
我们对k-武装对抗型土匪理论做出了三个贡献。首先,我们证明了Audibert和Bubeck [2009]的INF策略的修改变体的一阶界,而不牺牲最坏情况下的最优性或修改损失估计。其次,我们对基于跟随正则化领导者的算法进行了方差分析,表明在没有自适应的情况下,遗憾的方差通常是Ω(n^2),其中n是水平。最后,我们研究了取决于臂分离程度的界限,将Cowan和Katehakis [2015]的结果从随机设置推广到对抗设置,并将Seldin和Slivkins [2014]的结果改进为log(n)/log(log(n))。
2019-07-24 cs.LG stat.ML
CausalAdv: Adversarial Robustness through the Lens of Causality
University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
深度神经网络的对抗性脆弱性在机器学习中引起了极大的关注。由于因果推理具有对分布变化建模的本能,因此将因果关系纳入分析由对抗攻击引起的这种特定类型的分布变化是至关重要的。然而,在文献中仍然缺乏对抗攻击的直觉和鲁棒DNN的发展的因果公式。为了弥补这一差距,我们构建了一个因果图来模拟对抗性示例的生成过程,并定义了对抗性分布来形式化对抗攻击的直觉。从因果关系的角度来看,我们研究了自然分布和对抗性分布之间的区别,并得出结论,对抗性脆弱性的起源是虚假相关模型的焦点。受因果理解的启发,我们提出了因果启发的对抗分布对齐方法Causal Adv,通过考虑虚假相关性来消除自然分布和对抗分布之间的差异。大量的实验证明了所提出的方法的有效性。我们的工作是首次尝试使用因果关系来理解和减轻对抗性脆弱性。
2022-05-30 cs.LG
Adversarially Robust Multi-Armed Bandit Algorithm with Variance-Dependent Regret Bounds
NEC Corporation(NEC公司);RIKEN AIP(理化学研究所人工智能研究中心);Kyoto University(京都大学)
本文考虑了多臂强盗(MAB)问题,并提供了一个新的最佳的两个世界(BOBW)算法,几乎最佳的工作在随机和对抗设置。在随机环境中,一些现有的BOBW算法实现了$O(\sum_{i: Δ_i>0} \frac{\log T}{Δ_i})$的紧间隙依赖遗憾界的次优间隙$Δ_i$的手臂$i$和时间范围$T$。然而,正如Audibert等人[2007]所示,在具有低方差臂的随机环境中,性能可以得到改善。事实上,他们已经提供了一个随机MAB算法与间隙方差相关的遗憾界$O(\sum_{i: Δ_i>0} (\frac{σ_i^2}{Δ_i} + 1) \log T )$的损失方差$σ_i^2$的手臂$i$。在本文中,我们提出了第一个BOBW算法与间隙方差相关的界限,表明方差信息可以使用,即使在可能的敌对环境。此外,在我们的间隙方差相关的界限的领先常数因子是(几乎)的两倍的下限值。此外,该算法在对抗环境中具有多个数据依赖的遗憾界限,并且在具有对抗性腐败的随机环境中工作良好。该算法是基于以下的正则化领导人的方法,并采用自适应的学习率,依赖于经验的预测误差的损失,这导致差距方差依赖的遗憾界反映的变化的武器。
2022-06-14 cs.LG stat.ML
OpenAnt: LLM-Powered Vulnerability Discovery Through Code Decomposition, Adversarial Verification, and Dynamic Testing
提出OpenAnt系统,结合静态分析与LLM推理,通过代码分解、对抗性验证和动态测试三阶段流水线,在降低误报率的同时发现未知漏洞。
2026-06-19 cs.CR cs.LG
DoPa: A Comprehensive CNN Detection Methodology against Physical Adversarial Attacks
George Mason University(乔治梅森大学)
最近,卷积神经网络(CNN)表现出相当大的弱点,对抗攻击,可以很容易地被误导的对抗扰动。随着更积极的方法的提出,对抗攻击也可以应用于物理世界,导致各种CNN驱动的应用程序的实际问题。为了保证CNN的安全,对抗攻击检测被认为是最关键的方法。然而,现有的研究大多集中在表面模式上,仅仅寻找一种区分对抗性输入和自然输入的方法,而忽略了对CNN内在脆弱性的分析。因此,它们只能针对特定的物理对抗攻击,缺乏对不同攻击的预期通用性。为了解决这个问题,我们提出了DoPa --一种针对各种物理对抗攻击的全面的CNN检测方法。通过解释CNN的脆弱性,我们发现,非语义对抗扰动可以激活CNN与显着异常激活,甚至压倒其他语义输入模式的激活。因此,我们增加了一个自我验证阶段来分析不同的激活模式的语义,这改善了CNN的识别过程。我们将这样的检测方法应用到图像和音频CNN识别场景中。实验结果表明,DoPa对图像攻击的平均检测成功率为90%,对音频攻击的平均检测成功率为92%。公告:[ArXiv上的原始DoPa草案已被修改并提交给会议,而这篇简短的摘要仅在KDD 2019 AIoT研讨会上提交。
2019-08-28 cs.CR cs.CV cs.LG
Geometric origin of adversarial vulnerability in deep learning
Anhui Provincial Key Laboratory of Low-Energy Quantum Materials and Devices(安徽省低能量子材料与器件重点实验室);High Magnetic Field Laboratory, HFIPS, Chinese Academy of Sciences(高磁场实验室,HFIPS,中国科学院);University of Science and Technology of China(中国科学技术大学);PMI Lab, School of Physics, Sun Yat-sen University(PMI实验室,物理学院,中山大学);Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices(广东省磁电物理与器件重点实验室)
研究深度学习中对抗性脆弱性的几何起源,提出几何感知深度学习框架,利用逐层局部训练塑造网络内部表示,提升对抗鲁棒性,还能通过相关模型解释性能,使深度网络能吸收新信息并减少干扰。
2026-07-21 cond-mat.stat-mech cs.LG q-bio.NC
Variance Regularizing Adversarial Learning
我们引入了一种新的方法来训练对抗模型,通过在真实/虚假的指标变量上用双峰高斯分布来代替真实分数。为了做到这一点,我们训练高斯分类器,通过元对抗训练隐式地匹配目标双峰分布。我们假设这种方法确保了生成器的非零梯度,即使在完美分类器的限制下。我们对标准基准图像数据集测试了我们的方法,并显示分类器输出分布是平滑的,并且在真实模式和伪模式之间有重叠。
2018-08-19 cs.LG stat.ML
Just One Moment: Structural Vulnerability of Deep Action Recognition against One Frame Attack
Yonsei University(延世大学)
近年来,基于视频的动作识别任务得到了广泛的研究。在本文中,我们研究了基于深度学习的动作识别模型对对抗攻击的结构脆弱性,该攻击使用一帧攻击,该攻击仅向给定视频剪辑的单个帧添加不显眼的扰动。我们的分析表明,模型是非常脆弱的一帧攻击,由于其结构特性。实验表明,该攻击具有较高的欺骗率和隐蔽性.此外,我们还证明了在各种情况下都可以得到强泛单框架扰动。我们的工作提出了严重的问题,对抗的脆弱性,国家的最先进的行动识别模型在不同的角度。
2021-08-17 cs.CV cs.LG
Adversarial Robustness through Bias Variance Decomposition: A New Perspective for Federated Learning
Instacart(Instacart公司);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
联邦学习通过在隐私保护约束下聚合来自一组分布式客户端的知识来学习神经网络模型。在这项工作中,我们表明这种范式可能继承了集中式神经网络的对抗性脆弱性,即,当部署该模型时,它已经恶化了对抗性示例的性能。当联邦学习范式被设计为近似集中式神经网络的更新行为时,这一点更加令人担忧。为了解决这个问题,我们提出了一个对抗强大的联邦学习框架,命名为美联储_BVA,改进的服务器和客户端更新机制。这是因为我们观察到,联邦学习中的泛化误差可以自然地分解为多个客户端预测触发的偏差和方差。因此,我们建议通过在服务器更新期间最大化偏差和方差来生成对抗性示例,并在客户端更新期间使用这些示例学习对抗性鲁棒模型更新。结果,可以从这些改进的本地客户端的模型更新中聚合对抗鲁棒的神经网络。在多个基准数据集上使用几种流行的神经网络模型进行了实验,实验结果表明,该框架在IID和非IID环境下对白盒和黑盒对抗性腐败都具有鲁棒性。
2022-09-18 cs.LG stat.ML
Towards an Awareness of Time Series Anomaly Detection Models' Adversarial Vulnerability
Data61 CSIRO(联邦科学与工业研究组织Data61研究所);Sungkyunkwan University(成均馆大学)
时间序列异常检测在统计学、经济学和计算机科学中得到了广泛的研究。多年来,已经提出了许多使用基于深度学习的方法进行时间序列异常检测的方法。这些方法中的许多方法在基准数据集上表现出最先进的性能,给人一种错误的印象,即这些系统在许多实际和工业现实世界的场景中是健壮的和可部署的。在本文中,我们证明了国家的最先进的异常检测方法的性能大大降低,只增加了小的对抗性扰动的传感器数据。我们使用不同的评分指标,如预测误差,异常和分类分数在几个公共和私人的数据集,从航空航天应用,服务器机器,在发电厂的网络物理系统。在快速梯度符号方法(FGSM)和投影梯度下降(PGD)方法的著名对抗攻击下,我们证明了最先进的深度神经网络(DNN)和图神经网络(GNN)方法,这些方法声称对异常具有鲁棒性,并且可能已集成到现实生活中的系统中,其性能下降到低至0%。根据我们的理解,我们第一次展示了异常检测系统对对抗攻击的脆弱性。这项研究的总体目标是提高人们对时间序列异常检测器的对抗性漏洞的认识。
2022-08-24 cs.CR cs.LG
Adversarial Attacks Leverage Interference Between Features in Superposition
Department of Computer Science, Imperial College London, London, United Kingdom(帝国理工学院伦敦校区计算机科学系)
本文揭示神经网络中特征叠加导致的干扰是对抗脆弱性的根源,通过理论推导和实验验证了干扰模式决定攻击成功与迁移性。
2026-06-17 cs.AI cs.CV cs.LG
On the Vulnerability of CNN Classifiers in EEG-Based BCIs
Huazhong University of Science and Technology(华中科技大学)
深度学习由于其出色的性能和避免人工特征工程的能力,已成功应用于众多应用中。一个这样的应用是基于脑电图(EEG)的脑机接口(BCI),其中已经提出了多个卷积神经网络(CNN)模型用于EEG分类。然而,人们发现,深度学习模型很容易被对抗性示例所愚弄,这些示例是带有小的故意扰动的正常示例。本文提出了一种无监督的快速梯度符号方法(UFGSM)来攻击三种流行的CNN分类器,并证明了其有效性。我们还验证了BCI中对抗性示例的可移植性,这意味着即使不知道目标模型的结构和参数,也可以执行攻击。据我们所知,这是第一次研究基于EEG的BCI中CNN分类器的脆弱性,并希望引起更多对BCI系统安全性的关注。
2019-03-31 cs.CR cs.LG stat.ML
Projection-based Adversarial Attack using Physics-in-the-Loop Optimization for Monocular Depth Estimation
Kagoshima University(鹿儿岛大学)
本研究提出基于投影的对抗攻击方法,结合回路优化与进化策略,用于攻击单目深度估计模型,造成深度误估和物体消失。
2025-12-31 cs.CV cs.LG cs.NE
Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition
University of California, Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学)
逆向训练的模型表现出很大的泛化差距:即使在大的扰动半径下,它们也可以插值训练集,但代价是在干净样本上产生很大的测试误差。为了研究这一差距,我们将测试风险分解为偏差和方差分量,并研究它们作为对抗训练扰动半径($\varepsilon$)的函数的行为。我们发现偏倚随$\varepsilon$单调增加,并且是风险中的主导项。同时,方差作为$\varepsilon$的函数是单峰的,峰值在训练集的插值阈值附近。这种特征行为在不同的数据集上稳健地发生,也适用于其他稳健的训练过程,如随机平滑。因此,它提供了一个测试的泛化差距提出的解释。我们发现,一些现有的解释失败这个测试-例如,通过预测单调增加的方差曲线。这强调了偏差方差分解在现代环境中的作用通过提供两个测量而不是一个测量,他们可以排除比单独测试准确性更多的解释。我们还表明,偏差和方差可以为可扩展地减少泛化差距提供有用的指导,突出预训练和未标记的数据作为有前途的路线。
2021-06-14 cs.LG stat.ML
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia(弗吉尼亚大学)
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性,我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性,捕获的最大变化的互信息之间的输入和输出分布,在最坏的情况下输入扰动。然后,我们证明了一个定理,该定理建立了一个最小对抗风险的下限,该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法,通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG
VCAT: Vulnerability-aware and Curiosity-driven Adversarial Training for Enhancing Autonomous Vehicle Robustness
State Key Laboratory of Intelligent Transportation Systems(智能交通系统国家重点实验室);School of Transportation Science and Technology, Beihang University(北京航空航天大学交通科学与工程学院);Department of Civil and Environmental Engineering, Rensselaer Polytechnic Institute(伦斯勒理工学院土木与环境工程系)
针对自动驾驶车辆对抗训练中攻击者易陷入过度利用已知漏洞的问题,提出 VCAT 框架,利用代理网络感知受害者漏洞并结合随机网络蒸馏构建内在奖励引导探索,显著提升了自动驾驶车辆的鲁棒性并降低了碰撞率。
2024-09-19 cs.AI cs.LG
Accidental Vulnerability: Factors in Fine-Tuning that Shift Model Safeguards
University of Toronto(多伦多大学);Vector Institute(向量研究所);ETH Zürich(苏黎世联邦理工学院);FAR AI(FAR人工智能公司);McGill University(麦吉尔大学);MILA(蒙特利尔人工智能研究院);Max Planck Institute for Intelligent Systems, Tübingen, Germany(图宾根德国智能系统研究所)
研究意外漏洞,揭示微调数据集特征对模型安全性和对抗鲁棒性的影响
2026-02-22 cs.AI cs.CL cs.LG
Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability
University of Amsterdam(阿姆斯特丹大学);Toronto Metropolitan University(多伦多 Metropolitan 大学);Vector Institute for Artificial Intelligence(人工智能向量研究所)
本研究通过信息论框架测量神经网络的叠加程度,揭示其与对抗鲁棒性的关系,表明叠加在不同任务复杂性和网络容量下呈现不同表现。
2025-12-15 cs.AI cs.LG
Adversarial Vulnerability Under Temporal Concept Drift: A Longitudinal Study of Android Malware Detection
Department of Computer Science, Birzeit University(巴勒斯坦伯利兹大学计算机科学系);Department of Computer Science, University of Central Florida(佛罗里达州立大学计算机科学系)
通过纵向评估十年间Android应用的静态和动态特征,研究时间分布漂移对对抗鲁棒性的影响,提出时序关联指标并发现时间分离降低鲁棒性,扩展窗口重训练可缓解但无法消除鲁棒性损失。
2026-05-22 cs.AI cs.CR cs.LG
Federated Learning for Anomaly Detection in Energy Consumption Data: Assessing the Vulnerability to Adversarial Attacks
Western University(西安大略大学)
本文评估了联邦学习在能源消耗异常检测中对FGSM和PGD白盒对抗攻击的脆弱性,发现FL比集中式学习更易受攻击,尤其是PGD攻击导致准确率下降超过10%,凸显了联邦学习防御机制的必要性。
2025-02-07 cs.AI cs.DC cs.LG