Targeted Mismatch Adversarial Attack: Query with a Flower to Retrieve the Tower
Czech Technical University in Prague(布拉格捷克技术大学)
访问在线视觉搜索引擎意味着共享私人用户内容-查询图像。我们为基于深度学习的检索系统引入了目标失配攻击的概念,以生成对抗图像来隐藏查询图像。生成的图像看起来与用户想要的查询完全不同,但会导致相同或非常相似的检索结果。将攻击转移到完全不可见的网络是一项挑战。我们成功地攻击部分未知的系统,通过设计各种损失函数的对抗图像的建设。这些包括损失函数,例如,用于未知的全局池化操作或未知的检索系统的输入分辨率。我们对标准检索基准进行了攻击评估,并将检索结果与原始图像和对抗图像进行了比较。
2019-08-24 cs.CV
Adversarial T-shirt! Evading Person Detectors in A Physical World
Northeastern University(东北大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击。所谓的物理对抗示例通过将对抗补丁附加到真实对象来欺骗基于DNN的决策者。但现有的大多数关于物理对抗攻击的作品都集中在静态物体上,如玻璃框架、停车标志和贴在纸板上的图像。在这项工作中,我们提出了对抗性T恤,这是一个强大的物理对抗性例子,用于逃避人员检测器,即使它可能会由于移动的人的姿势变化而发生非刚性变形。据我们所知,这是第一个针对T恤等刚性物体设计物理对抗性示例的变形效果建模工作。我们表明,该方法在数字和物理世界中分别对YOLOv 2的攻击成功率为74%和57%。相比之下,最先进的物理攻击方法欺骗一个人检测器只达到18%的攻击成功率。此外,通过利用最小-最大优化,我们将我们的方法扩展到同时针对两个对象检测器YOLO-v2和Faster R-CNN的集成攻击设置。
2020-07-06 cs.AI cs.CV cs.LG
Differentiable Search of Accurate and Robust Architectures
深度神经网络(DNN)被发现容易受到对抗攻击的攻击,并且已经提出了各种防御方法。在这些方法中,对抗训练由于其简单有效而受到越来越多的关注。然而,对抗性训练的性能受到目标DNN结构的极大限制,这通常使得所得到的DNN的准确性和鲁棒性较差。为了解决这个问题,我们提出了DSARA来自动搜索在对抗训练后准确和鲁棒的神经架构。特别是,我们设计了一种新的基于细胞的搜索空间,通过仔细设计细胞的位置和滤波器数量的比例关系,提高了搜索结构的准确性和鲁棒性上界。然后,我们提出了一个两阶段的搜索策略,搜索准确和强大的神经结构。在第一阶段,优化结构参数,使对抗损失最小化,充分利用对抗训练的有效性,提高鲁棒性。在第二阶段,结构参数进行优化,以最大限度地减少自然损失和对抗性损失,利用所提出的多目标对抗性训练方法,使搜索的神经网络结构是准确和鲁棒的。我们在自然数据和各种对抗攻击下对所提出的算法进行了评估,这揭示了所提出的方法在准确性和鲁棒性方面的优越性。我们还得出结论,准确和鲁棒的神经结构倾向于在输入和输出附近部署非常不同的结构,这对于手工制作和自动设计准确和鲁棒的神经结构具有重要的实际意义。
2023-01-02 cs.AI cs.CR cs.LG
Robust Trajectory Prediction against Adversarial Attacks
University of Michigan(密歇根大学);NVIDIA(英伟达);California Institute of Technology(加州理工学院);ASU(亚利桑那州立大学);Stanford University(斯坦福大学)
使用深度神经网络(DNN)的轨迹预测是自动驾驶(AD)系统的重要组成部分。但这些方法容易受到对抗攻击,导致碰撞等严重后果。在这项工作中,我们确定了两个关键因素来保护轨迹预测模型免受对抗攻击,包括(1)设计有效的对抗训练方法和(2)添加特定于域的数据增强,以减轻干净数据的性能下降。我们证明,与使用干净数据训练的模型相比,我们的方法能够在对抗性数据上将性能提高46%,并且在干净数据上仅降低3%的性能。此外,与现有的鲁棒方法相比,我们的方法可以在对抗性示例上提高21%的性能,在干净数据上提高9%。我们的强大的模型进行评估与规划师研究其下游的影响。我们证明,我们的模型可以显着降低严重事故率(例如,碰撞和越野驾驶)。
2022-07-29 cs.AI cs.CR cs.CV
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University(杜克大学)
对抗训练(AT)对于获得对对抗攻击鲁棒的深度神经网络至关重要,但最近的研究发现,它也可能使模型更容易受到隐私攻击。在这项工作中,我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击,实际上适用于隐私敏感的联邦学习(FL)系统。使用我们的方法,攻击者可以利用在FL系统中的AT模型,以准确地重建用户的私人训练图像,即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Samples on Thin Ice: Re-Evaluating Adversarial Pruning of Neural Networks
University of Cagliari(卡利亚里大学);Sapienza University of Rome(罗马第一大学)
本研究重新评估三种对抗性剪枝方法,发现其鲁棒性被高估,并揭示靠近决策边界的样本在剪枝后易被误分类,为未来设计更有效的对抗性剪枝方法提供方向。
2023-10-12 cs.CV cs.LG
Adversarial Threats to DeepFake Detection: A Practical Perspective
UC San Diego(加州大学圣迭戈分校);Facebook AI(Facebook人工智能)
经过面部处理的图像和视频或DeepFakes可以被恶意地用于提供错误信息或诽谤个人。因此,检测DeepFakes对于提高社交媒体平台和其他媒体共享网站的可信度至关重要。最先进的DeepFake检测技术依赖于基于神经网络的分类模型,已知这些模型容易受到对抗性示例的影响。在这项工作中,我们从实用的角度研究了最先进的DeepFake检测方法的漏洞。我们在黑盒设置中对DeepFake检测器进行对抗攻击,其中对手不完全了解分类模型。我们研究了对抗性扰动在不同模型之间转移的程度,并提出了提高对抗性示例可转移性的技术。我们还使用Universal Adversarial Perturbations创建了更容易访问的攻击,这构成了一个非常可行的攻击场景,因为它们可以很容易地在攻击者之间共享。我们对DeepFake Detection Challenge(DFDC)的获奖作品进行了评估,并证明它们可以通过设计可转移和可访问的对抗攻击在实际攻击场景中轻松绕过。
2020-11-19 cs.CV
Adversarial Robustness of Deep Learning: Theory, Algorithms, and Applications
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学)
本教程旨在介绍深度学习对抗性鲁棒性的基础知识,对最新技术进行结构良好的回顾,以评估各种类型的深度学习模型对对抗性示例的脆弱性。本教程将特别强调对抗攻击和深度神经网络(DNN)鲁棒性验证中的最新技术。我们还将介绍一些有效的对策来提高深度学习模型的鲁棒性,特别关注对抗训练。我们的目标是提供关于这一新兴方向的全面的整体图景,并使社区意识到在安全关键型数据分析应用程序中设计鲁棒的深度学习模型的紧迫性和重要性,最终使最终用户能够信任深度学习分类器。我们还将总结有关深度学习对抗性鲁棒性的潜在研究方向,以及其潜在的好处,以实现基于深度学习的可靠和可信的数据分析系统和应用程序。
2021-08-24 cs.AI cs.LG
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University(乔治·华盛顿大学)
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域,证明其扰动更小、PSNR 与 SSIM 更高,但计算成本上升且 ASR 略降,迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
Enhance transferability of adversarial examples with model architecture
Fuzhou University(福州大学);City University of Macau(澳门城市大学);Peking University(北京大学)
对抗性示例的可移植性对于发起黑盒对抗攻击至关重要,其中攻击者仅允许访问目标模型的输出。然而,在这样一个具有挑战性但实际的环境下,精心制作的对抗性示例总是倾向于过度拟合所采用的代理模型,表现出很差的可移植性。在本文中,我们建议从一个新的角度来缓解过拟合问题,即,设计一个合适的模型架构。具体而言,深入挖掘可移植性差的原因,我们可以说是分解和重构现有的模型架构,成为一个有效的模型架构,即多轨道模型架构(MMA)。在MMA上制作的对抗性示例可以最大限度地减轻模型指定的特征对它的影响,以及不同架构所采用的脆弱方向。广泛的实验评估表明,基于MMA的对抗性示例的可移植性显着超过其他最先进的模型架构高达40%,开销相当。
2022-02-28 cs.CR cs.CV cs.LG
Robust Regularization with Adversarial Labelling of Perturbed Samples
Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Beihang University(北京航空航天大学);University of Ottawa(渥太华大学)
最近的研究表明,神经网络的预测精度可能与其对抗鲁棒性相抗衡。这对设计有效的正则化方案提出了挑战,这些方案也提供了强大的对抗鲁棒性。重新审视邻域风险最小化(VRM)作为统一的正则化原则,我们提出了扰动样本的对抗性标记(ALPS)作为正则化方案,旨在提高训练模型的泛化能力和对抗性鲁棒性。ALPS用合成样本训练神经网络,合成样本是通过将每个真实的输入样本与逆向分配的标签一起向另一个输入样本扰动而形成的。ALPS正则化目标被表示为一个极小极大问题,其中外部问题是最小化VRM损失的上界,内部问题是扰动样本上的L $_1$ -ball约束对抗标记.导出了诱导内部最大化问题的解析解,从而提高了计算效率。在SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上的实验表明,ALPS具有最先进的正则化性能,同时也是一种有效的对抗训练方案。
2021-05-28 cs.AI cs.LG stat.ML
Adversarial Weight Perturbation Helps Robust Generalization
Tsinghua University(清华大学);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信PCL研究中心);Key Lab. of Machine Perception (MoE), School of EECS, Peking University(北京大学信息科学技术学院机器感知教育部重点实验室)
提高深度神经网络对对抗性样本鲁棒性的研究近年来发展迅速。其中,对抗性训练是最有前途的一种,它通过对对抗性扰动样本进行训练来评估输入损失景观(相对于输入的损失变化)。然而,广泛使用的减肥景观(相对于体重的损失变化)在对抗训练中的表现却很少被探讨。本文从一个新的角度研究了权重损失景观,并确定了权重损失景观的平坦性与鲁棒泛化差距之间的明显相关性。几个公认的对抗性训练改进,如提前停止,设计新的目标函数,或利用未标记的数据,都隐含地使减肥前景变得平坦。基于这些观察结果,我们提出了一个简单而有效的对抗性权重扰动(AWP)来显式地正则化权重损失景观的平坦性,在对抗性训练框架中形成了一个双扰动机制,对抗性地扰动输入和权重。大量的实验表明,AWP确实带来了更平坦的减肥景观,并且可以很容易地融入各种现有的对抗训练方法中,以进一步提高其对抗鲁棒性。
2020-10-13 cs.CV cs.LG stat.ML
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University(首尔大学)
深度神经网络继续以其卓越的性能让世界敬畏。然而,他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上,该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中,我们采取了一个步骤超越训练的权重参数,并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush,一种新的对抗鲁棒性感知神经结构搜索算法,基于一个发现,即独立的训练方法,神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器,有利于候选架构具有更平滑的输入损失景观,AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外,我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是,在CIFAR-10上,AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率,在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
Towards Adversarial Attack on Vision-Language Pre-training Models
Beijing Jiaotong University(北京交通大学);Peng Cheng Lab(鹏城实验室)
虽然视觉语言预训练模型(VLP)在各种视觉语言(V+L)任务上显示出革命性的改进,但关于其对抗鲁棒性的研究在很大程度上尚未探索。本文研究了VLP模型和V+L任务的对抗攻击。首先,我们分析了对抗攻击在不同设置下的性能。通过研究不同扰动对象和攻击目标的影响,我们得出了一些关键的意见,设计强大的多模态对抗攻击和构建强大的VLP模型的指导。其次,我们提出了一种新的多模态攻击的VLP模型称为协同多模态对抗攻击(Co-Attack),它共同进行攻击的图像模态和文本模态。实验结果表明,该方法在不同的V+L下游任务和VLP模型上均能获得较好的攻击性能.分析观察和新的攻击方法,希望提供新的理解VLP模型的对抗鲁棒性,从而有助于他们在更多的现实世界中的安全和可靠的部署。代码可在https://github.com/adversarial-for-goodness/Co-Attack上获得。
2022-10-20 cs.CL cs.CV cs.LG
Fast Adversarial CNN-based Perturbation Attack on No-Reference Image- and Video-Quality Metrics
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院系统编程研究所可信人工智能研究中心);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
本文提出一种针对无参考图像与视频质量指标的快速对抗扰动攻击FACPA,可用于实时视频处理与压缩预处理,并揭示无参考指标适用性边界,为设计更稳定的神经网络质量指标提供依据。
2023-05-24 cs.CV cs.MM eess.IV
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge(剑桥大学)
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性,实验表明深度学习检测器优于样本不确定性方法,但不同攻击方法间可攻击性共识低,影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
Soft Adversarial Training Can Retain Natural Accuracy
The University of British Columbia(不列颠哥伦比亚大学)
近年来,神经网络的对抗训练一直备受关注。神经网络架构在过去十年中的进步导致了其性能的显著改善。它引发了人们对实时应用程序部署的兴趣。这一过程引发了理解这些模型对对抗攻击的脆弱性的需要。它有助于设计对对手具有鲁棒性的模型。最近的作品提出了新的技术来对付对手,最经常牺牲自然的准确性。大多数人建议使用对抗版本的输入进行训练,不断远离原始分布。我们工作的重点是使用抽象认证来提取输入的子集(因此我们称之为“软”)对抗训练。我们提出了一个训练框架,可以保持自然的准确性,而不会牺牲鲁棒性的约束设置。我们的框架专门针对中等关键的应用程序,需要在鲁棒性和准确性之间取得合理的平衡。实验结果验证了软对抗训练在防御对抗攻击中的思想。最后,我们提出了进一步完善该框架的工作范围。
2022-06-04 cs.AI cs.CR cs.LG
Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对CLIP对抗微调易过拟合的问题,提出PMG-AFT,通过辅助分支对齐对抗样本特征以保留预训练泛化能力,在15个零样本数据集上显著提升鲁棒与干净准确率。
2024-04-10 cs.CV
Expanding Scope: Adapting English Adversarial Attacks to Chinese
University of Virginia(弗吉尼亚大学)
本文研究英文SOTA对抗攻击向中文的适配,表明结合中文分词、语言约束及形态音韵特征可生成流畅且语义一致的对抗样本,用于增强中文NLP模型鲁棒性。
2023-06-08 cs.AI cs.CL cs.CR
Alternating Objectives Generates Stronger PGD-Based Adversarial Attacks
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
设计强大的对抗攻击对于评估$\ell_p$有界对抗性防御至关重要。投影梯度下降(PGD)算法是生成此类敌手的最有效且概念简单的算法之一。PGD的搜索空间由目标的最陡上升方向决定。尽管有过多的目标函数的选择,有没有普遍优越的选择和鲁棒性高估可能会出现不合适的目标选择。由这一观察,我们假设,通过一个简单的损失交替计划的不同目标的组合,使PGD更强大的设计选择。我们通过实验验证了这一论断的合成数据的例子,并通过评估我们提出的方法在25个不同的$\ell_{\infty}$强大的模型和3个数据集。当与单一损失对应物相比时,性能改进是一致的。在CIFAR-10数据集中,我们最强的对抗攻击优于AutoAttack(AA)集成的所有白盒组件,以及文献中存在的最强大的攻击,在我们研究的计算预算中实现了最先进的结果($T=100$,没有重启)。
2022-12-15 cs.CR cs.CV cs.LG
Make Up Your Mind! Adversarial Generation of Inconsistent Natural Language Explanations
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维);University College London(伦敦大学学院)
为了增加对人工智能系统的信任,一个有前途的研究方向包括设计能够为其预测生成自然语言解释的神经模型。在这项工作中,我们表明,这种模型仍然容易产生相互矛盾的解释,如“因为图像中有一只狗”和“因为[同一]图像中没有狗”,暴露了模型决策过程或解释生成过程中的缺陷。我们引入了一个简单而有效的对抗性框架,用于针对不一致的自然语言解释生成的健全性检查模型。此外,作为框架的一部分,我们解决了具有完整目标序列的对抗攻击的问题,这是以前在序列对序列攻击中没有解决的情况。最后,我们将我们的框架应用于最先进的神经自然语言推理模型,该模型为其预测提供了自然语言解释。我们的框架表明,该模型能够产生大量不一致的解释。
2020-05-02 cs.AI cs.CL
Evaluating the Evaluators: Trust in Adversarial Robustness Tests
DIBRIS - Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa(热那亚大学信息学、生物工程、机器人与系统工程系);Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice(威尼斯卡弗里大学环境科学、信息学与统计学系)
本文提出AttackBench基准框架,在标准化可复现条件下基于新的最优性指标评估并排名基于梯度的对抗攻击,以解决现有鲁棒性测试评估不一致、不可靠并导致虚假安全感的问题。
2025-07-04 cs.AI cs.CR cs.CV
Towards the first adversarially robust neural network model on MNIST
Centre for Integrative Neuroscience, University of Tübingen(图宾根大学综合神经科学中心);Bernstein Center for Computational Neuroscience Tübingen(图宾根伯恩斯坦计算神经科学中心);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学院);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
尽管付出了很多努力,但深度神经网络仍然非常容易受到微小输入扰动的影响,即使对于MNIST(计算机视觉中最常见的玩具数据集之一),也不存在对抗性扰动很大并且对人类有语义意义的神经网络模型。我们发现,即使是Madry等人广泛认可的和迄今为止最成功的防御方法,(1)对L-infinity度量过度拟合(它非常容易受到L2和L0扰动的影响),(2)以高度确定性对无法识别的图像进行分类,(3)比简单的输入二值化性能好不了多少,(4)具有对人类几乎没有意义的对抗性扰动。这些结果表明,MNIST在对抗鲁棒性方面还远未得到解决。我们提出了一种新的强大的分类模型,使用学习类条件数据分布进行综合分析。我们推导出鲁棒性的界限,并通过以下方式使用最有效的对抗攻击对我们的模型进行了大量的经验评估:(a)对几种不同的Lp范数应用基于决策、基于分数、基于梯度和基于转移的攻击,(b)通过设计一种新的攻击,利用我们的防御模型的结构和(c)通过设计一个新的决定-基于攻击,其寻求最小化扰动像素的数量(L0)。结果表明,我们的方法在MNIST上对L0,L2和L-infinity扰动具有最先进的鲁棒性,并且我们证明了大多数对抗性示例都强烈地扰动到原始类和对抗类之间的感知边界。
2018-09-20 cs.CV
Evaluation of Neural Networks for Image Recognition Applications: Designing a 0-1 MILP Model of a CNN to create adversarials
Bergische Universität Wuppertal(伍珀塔尔大学)
图像识别是计算机视觉的核心任务,应用范围包括搜索、机器人、自动驾驶汽车等。本文件有三个目的:1。我们跟进(Fischetti & Jo,2017年12月),并展示如何将标准卷积神经网络优化为更复杂的胶囊架构。2.我们引入了一个基于CNN的MILP模型来创建对抗。3.我们比较和评估每个网络的图像识别任务。
2018-09-01 cs.CV
PeerNets: Exploiting Peer Wisdom Against Adversarial Attacks
USI(瑞士意大利语大学);NNAISENSE;Imperial College London(帝国理工学院);Intel Perceptual Computing(英特尔感知计算);Fabula AI(Fabula人工智能);Stanford University(斯坦福大学)
深度学习系统已经在我们生活的许多方面变得无处不在。不幸的是,已经表明,这种系统容易受到对抗攻击的攻击,使它们容易被潜在的非法使用。设计对对抗攻击具有鲁棒性的深度神经网络是使此类系统更安全并可在更广泛的应用中部署的基本步骤(例如自动驾驶),但更重要的是设计基于新计算范式而不是在现有范式上构建的新颖和更先进的架构的必要步骤。在本文中,我们介绍了PeerNets,这是一种新颖的卷积网络家族,它将经典的欧几里得卷积与图卷积交替使用,以利用来自对等样本图的信息。这导致模型中的非局部前向传播形式,其中潜在特征取决于由图引起的全局结构,与传统架构相比,对各种白盒和黑盒对抗攻击的鲁棒性高出3倍,准确性几乎没有下降。
2018-05-31 cs.CR cs.CV cs.LG
On the Interaction of Compressibility and Adversarial Robustness
Imperial College London(帝国理工学院);Uppsala University(乌普萨拉大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS / PSL(巴黎高等师范学院/巴黎文理研究大学)
本研究提出框架分析可压缩性(神经元稀疏性与谱压缩)如何通过诱导高敏感方向损害对抗鲁棒性,揭示其与鲁棒性的根本张力,并为高效安全模型设计提供新思路。
2026-09-29 cs.AI cs.CV cs.LG
The Effect of Class Definitions on the Transferability of Adversarial Attacks Against Forensic CNNs
Drexel University(德雷塞尔大学)
近年来,卷积神经网络(CNN)已被研究人员广泛用于执行图像篡改检测等取证任务。与此同时,对抗攻击已经被开发出来,能够欺骗基于CNN的分类器。了解对抗攻击的可转移性,即攻击与训练对象不同的CNN的攻击能力,对于设计抵抗攻击的CNN具有重要意义。虽然对对象识别CNN的攻击被认为是可转移的,但Barni等人最近的工作表明,对法医CNN的攻击很难转移到其他CNN架构或使用不同数据集训练的CNN。在本文中,我们证明了对法医CNN的对抗攻击甚至比以前认为的更不可转移,即使在几乎相同的CNN架构之间也是如此!我们发现,针对CNN的几种常见的对抗攻击无法转移到CNN上,CNN的唯一区别在于类定义(即使用相同数据训练的相同CNN架构)。我们注意到,类定义的所有公式都包含不变的类。这对未来设计对对抗性和反取证攻击具有鲁棒性的取证CNN具有重要意义。
2021-01-26 cs.CR cs.CV cs.LG
Re-designing cities with conditional adversarial networks
University College London (UCL)(伦敦大学学院)
本文介绍了一种条件生成对抗网络,通过生成1)城市干预政策,2)需要干预的地方的注意力地图,3)实施干预后的高分辨率街道级图像(1024 X 1024或1536 X 1536)来重新设计城市场景的街道级图像。我们还介绍了一个新的数据集,其中包括对齐的街道级图像之前和之后的城市干预措施,从现实生活中的场景,使这项研究成为可能。所介绍的方法已在应用于逼真图像的不同范围的城市干预上进行了训练。经过训练的模型在重新建模城市方面表现出强大的性能,优于在单个GPU中计算的其他领域中应用图像到图像转换的现有方法。这项研究为机器智能在基于对抗学习的重新思考和重新设计城市的不同属性方面发挥作用打开了大门,超越了面部地标操作或语义分割图像合成的主流。
2021-04-14 cs.AI cs.CV cs.LG
Concealed Adversarial attacks on neural networks for sequential data
Skoltech(斯科尔科沃科技学院)
本文提出一种针对时间序列神经网络的隐蔽对抗攻击,通过联合优化分类器与判别器损失生成难以察觉的扰动,并在六个UCR数据集上验证了其优越性。
2025-02-28 cs.AI cs.LG
A Deep Genetic Programming based Methodology for Art Media Classification Robust to Adversarial Perturbations
CICESE Research Center(CICESE研究中心);Universidad Autónoma de San Luis Potosí(圣路易斯波托西自治大学)
艺术媒体分类问题是当前的一个研究领域,由于高价值艺术作品的复杂特征提取和分析而引起关注。属性的感知不能是主观的,因为人类有时会对艺术品进行有偏见的解释,同时确保自动观察的可信度。机器学习通过从图像中人工提取特征提取的学习过程而不是设计手工特征检测器,在许多领域都表现出色。然而,与其可靠性相关的一个主要问题引起了人们的关注,因为在输入图像中故意进行小扰动(对抗攻击),其预测可以完全改变。通过这种方式,我们预见了两种方法来处理这种情况:(1)解决当前神经网络方法中的对抗攻击问题,或者(2)提出一种不同的方法,可以在没有对抗攻击影响的情况下挑战深度学习。第一个问题还没有解决,对抗攻击的防御变得更加复杂。因此,这项工作提出了一种称为脑编程的深度遗传编程方法,该方法与深度学习竞争,并使用艺术专家制作的两个艺术品数据库研究对抗攻击的可转移性。结果表明,与AlexNet相比,Brain Programming方法保留了其性能,使其对这些扰动具有鲁棒性,并与深度学习的性能竞争。
2020-10-03 cs.CV cs.SC
Mutual Adversarial Training: Learning together is better than going alone
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
最近的研究表明,对对抗攻击的鲁棒性可以在网络之间转移。换句话说,我们可以在强教师模型的帮助下使弱模型更加健壮。我们问,如果不是从一个静态的老师学习,模型可以“一起学习”和“互相教导”,以实现更好的鲁棒性?本文通过知识蒸馏研究了模型间的相互作用对鲁棒性的影响。我们提出了相互对抗训练(MAT),其中多个模型一起训练并共享对抗示例的知识,以提高鲁棒性。MAT允许鲁棒模型探索更大的对抗样本空间,并找到更鲁棒的特征空间和决策边界。通过在CIFAR-10和CIFAR-100上的大量实验,我们证明了MAT可以有效地提高模型的鲁棒性,并在白盒攻击下优于最先进的方法,在PGD-100攻击下为普通对抗训练(AT)带来$\sim$ 8%的准确率增益。此外,我们还表明,MAT还可以减轻不同扰动类型之间的鲁棒性权衡,带来高达13.1%的准确性增益AT基线对联盟的$l_\infty$,$l_2$和$l_1$攻击。这些结果显示了所提出的方法的优越性,并表明协作学习是一种有效的策略,设计鲁棒模型。
2021-12-09 cs.CR cs.CV cs.LG
The Easy Path to Robustness: Coreset Selection using Sample Hardness
针对现有核心集选择算法无法保持对抗鲁棒性的问题,提出基于平均输入梯度范数量化样本难度的EasyCore算法,仅保留低难度样本训练,显著提升了标准与对抗训练下的对抗准确率。
2025-10-13 cs.CV cs.LG
Perceptual Evaluation of Adversarial Attacks for CNN-based Image Classification
National Institute of Telecommunications and ICT(国家电信与信息通信技术研究院);Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心)
深度神经网络(DNN)最近取得了最先进的性能,并在许多机器学习任务中取得了重大进展,如图像分类,语音处理,自然语言处理等。例如,在图像分类域中,向输入图像添加小的不可感知的扰动足以欺骗DNN并导致误分类。扰动后的图像称为\textit{adversarial example},在视觉上应尽可能接近原始图像。然而,文献中提出的用于生成对抗性示例的所有工作都使用$L_{p}$范数($L_{0}$、$L_{2}$和$L_{\infty}$)作为距离度量来量化原始图像和对抗性示例之间的相似性。尽管如此,$L_{p}$规范与人类判断不相关,使得它们不适合可靠地评估对抗性示例的感知相似性/保真度。在本文中,我们提出了一个数据库的视觉逼真度评估的对抗性的例子。我们描述了数据库的创建,并评估了15个国家的最先进的全参考(FR)图像保真度评估指标,可以取代$L_{p}$规范的性能。该数据库和主观评分是公开的,可以帮助设计对抗性示例的新指标,并促进未来的研究工作。
2019-06-01 cs.CR cs.CV cs.LG
Topological Signatures of Adversaries in Multimodal Alignments
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部);University of Pennsylvania(宾夕法尼亚大学)
该研究针对多模态系统防御策略不足的问题,利用持久同调分析对抗攻击对图文嵌入对齐的破坏,提出两种拓扑对比损失,并将其整合到最大均值差异检验中,实现了更优的对抗样本检测。
2025-01-29 cs.AI cs.CR cs.LG
Constrained Network Adversarial Attacks: Validity, Robustness, and Transferability
Ai movement, The International Artificial Intelligence Center of Morocco, UM6P(人工智能运动、摩洛哥国际人工智能中心、UM6P);Sorbonne University, LIP6 - UMR 7606 CNRS(索邦大学、LIP6 - UMR 7606 CNRS)
本文研究了网络入侵检测系统中对抗攻击违反领域约束的问题,发现高达80.3%的对抗样本无效,并证明简单的MLP替代模型能生成更多有效且具可迁移性的对抗样本,强调需结合领域约束评估模型鲁棒性。
2025-05-02 cs.AI cs.CR cs.NI
REVAMP: Automated Simulations of Adversarial Attacks on Arbitrary Objects in Realistic Scenes
Georgia Institute of Technology(佐治亚理工学院)
REVAMP是一个开源Python库,通过可微渲染和真实环境模拟,首次支持在数字领域内创建任意物体的对抗攻击场景并生成物理上合理的对抗性纹理。
2023-10-18 cs.CV cs.LG
Reinforcement Learning Inspired Black-box Adversarial Attacks for Computer Vision
German Aerospace Center (DLR)(德国航空航天中心)
针对黑盒场景下神经网络易受扰动攻击的问题,提出基于强化学习的RIBA方法,通过少量查询生成对抗样本,在Cifar10和ImageNet上显著减少查询次数,并匹配白盒攻击性能。
2026-09-22 cs.CR cs.CV cs.LG
Certified Robustness against Sparse Adversarial Perturbations via Data Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Mathematical Institute for Data Science (MINDS), Johns Hopkins University(约翰斯·霍普金斯大学数据科学数学研究所(MINDS));University of Pennsylvania(宾夕法尼亚大学);Department of Biomedical Engineering, Johns Hopkins University(约翰斯·霍普金斯大学生物医学工程系)
本文将数据局部化理论扩展到ℓ0-有界对抗扰动,给出ℓ0-鲁棒分类器存在的充要条件,并提出简单分类器Box-NN,在MNIST和Fashion-MNIST上提升了稀疏攻击下的认证鲁棒性。
2024-05-23 cs.AI cs.LG
Adversarial Robustness Assessment of NeuroEvolution Approaches
University of Coimbra(科英布拉大学)
NeuroEvolution通过应用演化计算的技术自动生成人工神经网络。这些方法的主要目标是构建最大化预测性能的模型,有时还具有最小化计算复杂性的附加目标。虽然演化模型在性能方面取得了有竞争力的结果,但它们对对抗性示例的鲁棒性(这在安全关键场景中成为一个问题)受到了有限的关注。在本文中,我们评估了两个突出的神经进化方法在CIFAR-10图像分类任务中发现的模型的对抗鲁棒性:DENSER和NSGA-Net。由于模型是公开可用的,我们考虑白盒无目标攻击,其中扰动由L2或无穷范数约束。类似于手动设计的网络,我们的研究结果表明,当进化模型的攻击与迭代法,其准确性通常下降到,或接近于零下的距离度量。DENSER模型是这一趋势的例外,在L2威胁模型下显示出一定的抵抗力,即使在迭代攻击下,其准确率也仅从93.70%下降到18.10%。此外,我们还分析了在网络第一层之前对数据进行预处理的影响。我们的观察表明,其中一些技术可能会加剧添加到原始输入的扰动,从而可能损害鲁棒性。因此,在为容易发生对抗攻击的应用程序自动设计网络时,不应忽略这种选择。
2022-07-12 cs.AI cs.LG cs.NE
Continual Adversarial Defense
针对对抗攻击动态演化、现有防御易被绕过的问题,提出遵循四项实用原则的持续对抗防御(CAD)框架,整合多领域前沿技术,实验验证其对多阶段攻击的防御效果优于基线,且性能随攻击数增加趋于饱和,开辟了持续防御适配新范式。
2025-08-03 cs.CR cs.CV cs.LG
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University(哥伦比亚大学)
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像,以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍:macaronic提示,它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示,它涉及到设计其广泛的形态特征与现有单词足够相似的临时词,以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响,为规避现有的方法,内容审核,特别是生成攻击性或有害的图像,进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
PatchGuard: A Provably Robust Defense against Adversarial Patches via Small Receptive Fields and Masking
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
局部对抗补丁旨在通过任意修改图像的受限区域内的像素来诱导机器学习模型中的误分类。这种攻击可以在物理世界中通过将对抗补丁附加到要被错误分类的对象来实现,并且防御这种攻击是一个未解决的/开放的问题。在本文中,我们提出了一个名为PatchGuard的通用防御框架,它可以实现高可证明的鲁棒性,同时保持对本地化对抗补丁的高准确性。PatchGuard的基石涉及使用具有小感受野的CNN来限制被对抗补丁破坏的特征数量。给定有界数量的损坏特征,设计对抗性补丁防御的问题简化为设计安全特征聚合机制的问题。为此,我们提出了我们强大的掩蔽防御,鲁棒地检测和掩蔽损坏的功能,以恢复正确的预测。值得注意的是,我们可以证明我们的防御对我们的威胁模型中的任何对手的鲁棒性。我们对ImageNet,ImageNet(ImageNet的10类子集)和CIFAR-10数据集的广泛评估表明,我们的防御在可证明的鲁棒准确性和干净准确性方面都达到了最先进的性能。
2021-03-31 cs.CR cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University(纽约大学)
与卷积网络相比,视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断,Transformer模型比卷积模型对令牌攻击更敏感,ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
Fingerprint Membership and Identity Inference Against Generative Adversarial Networks
University of Padova(帕多瓦大学)
本文针对生成对抗网络生成的指纹数据集设计身份推断攻击,评估生成式机器学习模型的身份保护脆弱性,验证了攻击在多配置下的有效性及向其他生物识别场景的可扩展性。
2024-06-21 cs.CV
LoGAN: Generating Logos with a Generative Adversarial Neural Network Conditioned on color
Maastricht University(马斯特里赫特大学)
对任何设计师来说,设计一个标志都是一个漫长、复杂和昂贵的过程。然而,生成算法的最新进展提供了可以提供可能解决方案的模型。逻各斯是多模态的,几乎没有范畴属性,也没有连续的潜空间。然而,有条件的生成对抗网络可以用来生成徽标,帮助设计师进行创作。我们建议Logan:改进的辅助分类器Wasserstein生成对抗神经网络(具有梯度惩罚),能够生成以十二种不同颜色为条件的徽标。在生成的768个实例(12个类,每个类64个徽标)中,当查看最突出的颜色时,模型的条件生成部分的总体精度和召回率分别为0.8和0.7。LoGAN的研究结果让人们初步了解了人工智能如何用于帮助设计师进行创作,并开辟了未来有前途的方向,例如包括更多描述性标签,这将提供一个更详尽和易于使用的系统。
2018-10-23 cs.AI cs.CV cs.LG
Rethinking Robust Contrastive Learning from the Adversarial Perspective
University of YYY(YYY大学);Company Name(名称公司);Institute of WWW(WWW研究所)
本文从对抗视角分析对抗训练对自监督、监督对比学习及监督学习表示的影响,发现其可缩小对抗与干净表示差异并提升鲁棒性。
2023-06-06 cs.CV cs.LG
3D Point Cloud Completion with Geometric-Aware Adversarial Augmentation
New York University(纽约大学)
随着3D传感器在自动驾驶和其他机器人应用中的普及,广泛的研究集中在设计新颖的神经网络架构,以实现精确的3D点云完成。然而,与点云分类和重建不同,对抗样本在3D点云完成中的作用很少被探索。在这项工作中,我们证明了使用对抗样本进行训练可以提高神经网络在3D点云完成任务上的性能。我们提出了一种新的方法来生成对抗样本,既有利于清洁和对抗样本的性能。与PGD-k攻击相比,我们的方法生成的对抗样本保持了干净样本中的几何特征,并且包含很少的离群值。特别地,我们使用主方向来约束每个输入点的对抗扰动。在主方向的平均方向上的梯度分量被视为对抗扰动。此外,我们还研究了使用最小曲率方向的效果。此外,我们采用攻击强度累积和辅助批量归一化层的方法,以加快训练过程,并减轻清洁和敌对样本之间的分布不匹配。实验结果表明,使用我们的方法制作的对抗样本进行训练,有效地提高了PCN在ShapeNet数据集上的性能。
2021-09-21 cs.CV
Adversarial Robustness for Visual Grounding of Multimodal Large Language Models
Tsinghua University(清华大学);Tencent Security Platform(腾讯安全平台);Peng Cheng Laboratory(鹏城实验室)
该研究针对多模态大语言模型视觉定位的对抗鲁棒性空白,以指代表达理解为任务提出三种对抗攻击范式,实验验证其攻击有效性,为新型攻击设计和鲁棒性提升提供了新视角与强基线。
2024-05-16 cs.CV
Typeface Completion with Generative Adversarial Networks
Korea University(高丽大学)
文字的情绪和作者的意图可以在字体中反映出来。然而,在设计字体时,很难保持各种字符的风格一致,特别是对于具有大量形态变化的语言,如中文。在本文中,我们提出了一个字体完成网络(TCN),它以一个字符作为输入,并自动完成整个字符集的输入字符相同的风格。与现有的图像到图像翻译模型不同,TCN将字符图像嵌入到表示字体和内容的两个单独的向量中。结合潜在空间的重建损失以及其他各种损失,TCN克服了设计字体的固有困难。此外,与以前的图像到图像翻译模型相比,TCN生成相同字体的高质量字符图像,模型参数的数量少得多。我们验证了我们提出的模型上的中文和英文字符数据集,这是配对数据,和CelebA数据集,这是不成对的数据。在这些数据集中,TCN优于最近提出的最先进的图像到图像翻译模型。我们模型的源代码可以在https://github.com/yongqyu/TCN上找到。
2018-12-13 cs.CV cs.LG
A2: Efficient Automated Attacker for Boosting Adversarial Training
Nanjing University(南京大学);Ant Group(蚂蚁集团)
基于AT(对抗训练)对模型鲁棒性的显著改善,已经提出了各种变体来进一步提高性能。公认的方法集中于AT的不同组分(例如,设计损失函数和利用附加的未标记数据)。人们普遍认为,更强的扰动产生更稳健的模型。然而,如何有效地产生更强的扰动仍然是遗漏的。在本文中,我们提出了一种名为A2的高效自动攻击器,通过在训练过程中动态生成最佳扰动来提高AT。A2是一个参数化的自动化攻击者在攻击者空间中搜索最佳攻击者对抗的防御模型和实例。在不同数据集上的大量实验表明,A2以较低的额外成本产生更强的扰动,并可靠地提高了各种AT方法对不同攻击的鲁棒性。
2022-10-17 cs.CV
Manifold Regularized Deep Neural Networks using Adversarial Examples
Seoul National University(首尔国立大学)
使用深度神经网络学习有意义的表示涉及设计高效的训练方案和结构良好的网络。目前,具有动量和dropout的随机梯度下降方法是最流行的训练协议之一。在此基础上,更先进的方法(即,Maxout和批量归一化),但大多数仍然遭受由小扰动引起的性能下降,也称为对抗性示例。为了解决这个问题,我们提出了流形正则化网络(MRnet),该网络利用一种新的训练目标函数,最大限度地减少样本的多层嵌入结果与对抗结果之间的差异。我们的实验结果表明,MRnet对对抗性示例更具弹性,并有助于我们推广流形上的表示。此外,结合MRnet和dropout使我们能够在三个著名的基准测试中实现有竞争力的分类性能:MNIST,CIFAR-10和SVHN。
2016-01-14 cs.CV cs.LG
Autoencoding Video Latents for Adversarial Video Generation
Samsung Research Institute(三星研究院)
鉴于视频信号的三维复杂性,由于数据空间中涉及的大随机性,训练鲁棒且多样的基于GAN的视频生成模型是繁重的。学习数据的非纠缠表示有助于提高鲁棒性并提供采样过程中的控制。对于视频生成,通过将运动和外观视为正交信息并设计有效地解开它们的架构,在这一领域取得了最新进展。这些方法依赖于手工制作的架构,该架构在生成器上施加结构先验以分解潜在空间中的外观和运动代码。受基于自动编码器的图像生成的最新进展的启发,我们提出了AVLAE(对抗视频潜伏自动编码器),这是一个两流潜伏自动编码器,其中视频分布是通过对抗训练来学习的。特别是,我们建议在对抗环境中自动编码视频生成器的运动和外观特征向量。我们证明,我们的方法学会解开运动和外观代码,即使没有明确的结构组成的生成器。定性和定量的实验结果证明了我们的方法的有效性。
2022-01-18 cs.CV
Sparse Mixture Once-for-all Adversarial Training for Efficient In-Situ Trade-Off Between Accuracy and Robustness of DNNs
Intel Labs(英特尔实验室);University of Southern California(南加州大学)
现有的深度神经网络(DNN)在干净图像和反向扰动图像上都实现了最先进的(SOTA)性能,这些网络依赖于激活或权重条件卷积运算。然而,这样的条件学习需要额外的乘法-累加(MAC)或加法运算,从而增加了推理存储器和计算成本。为此,我们提出了一种稀疏混合一次所有对抗训练(SMART),允许模型进行一次训练,然后在准确性和鲁棒性之间进行原位权衡,这也降低了计算和参数开销。特别是,SMART开发了两个专家路径,分别用于干净和对抗图像,然后通过各自专用的二进制稀疏掩码集进行条件训练。对不同模型的多个图像分类数据集的广泛评估表明,SMART的非零参数减少了2.72倍,计算开销成比例减少,同时产生SOTA准确性-鲁棒性权衡。此外,我们提出了有见地的意见,在设计稀疏掩模,以成功地对清洁和扰动图像的条件。
2022-12-27 cs.CV
Adversarial Sticker: A Stealthy Attack Method in the Physical World
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Beihang University(北京航空航天大学)
为了评估深度学习在物理世界中的脆弱性,最近的工作引入了对抗补丁,并将它们应用于不同的任务。在本文中,我们提出了另一种对抗补丁:有意义的对抗贴纸,这是一种物理上可行的隐形攻击方法,使用我们生活中存在的真实贴纸。与以前通过设计扰动的对抗补丁不同,我们的方法操纵贴纸在对象上的粘贴位置和旋转角度来执行物理攻击。由于位置和旋转角度受印刷损失和颜色失真的影响较小,因此对抗性贴纸可以在物理世界中保持良好的攻击性能。此外,为了使对抗贴纸在真实场景中更实用,我们在黑盒设置中使用有限的信息进行攻击,而不是白盒设置中使用威胁模型的所有细节。为了有效地解决贴纸的参数,我们设计了基于区域的启发式差分进化算法,它利用新发现的区域聚集的有效解决方案和自适应调整策略的评价标准。我们的方法在人脸识别中得到了全面的验证,然后扩展到图像检索和交通标志识别。大量的实验表明,该方法在复杂的物理条件下是有效的和高效的,并具有很好的推广到不同的任务。
2022-12-19 cs.CV