Adversarial Attacks on Transformers-Based Malware Detectors
College of Engineering, Pune(浦那工程学院)
本文研究基于Transformer的恶意软件检测器对对抗性攻击的脆弱性,通过实施攻击获得23.9%的错误分类率,并提出防御方法将错误分类率降低一半。
2022-11-05 cs.AI cs.CR cs.LG
Adversarial Detector with Robust Classifier
Tokyo Metropolitan University(东京都立大学)
众所周知,深度神经网络(DNN)模型很容易通过使用具有小扰动的输入图像(称为对抗性示例)对预测结果进行错误分类。在本文中,我们提出了一种新的对抗检测器,它由一个强大的分类器和一个简单的,高度检测敌对的例子。建议的对抗性检测器进行按照普通和强大的分类器的logits。在一个实验中,所提出的检测器被证明优于一个国家的最先进的检测器没有任何强大的分类。
2022-02-05 cs.CV cs.LG
Binary Black-box Evasion Attacks Against Deep Learning-based Static Malware Detectors with Adversarial Byte-Level Language Model
The University of Arizona(亚利桑那大学);Covax Data Inc.(Covax Data公司)
反恶意软件引擎是防御恶意软件的第一道防线。虽然被广泛使用,但基于功能工程的反恶意软件引擎容易受到看不见的(零日)攻击。最近,基于深度学习的静态反恶意软件检测器在识别看不见的攻击方面取得了成功,而无需特征工程和动态分析。然而,这些检测器容易受到具有轻微扰动的恶意软件变体的影响,称为对抗性示例。生成有效的对抗性示例有助于揭示此类系统的脆弱性。用于发起这种攻击的当前方法需要访问目标反恶意软件模型的规范、反恶意软件响应的置信度分数或动态恶意软件分析,这要么是不现实的要么是昂贵的。我们提出了MalRNN,这是一种基于深度学习的新方法,可以自动生成规避恶意软件变体,而无需任何这些限制。我们的方法具有对抗性示例生成过程,该过程通过生成序列到序列递归神经网络来学习语言模型以增强恶意软件二进制文件。MalRNN有效地避开了三种最近基于深度学习的恶意软件检测器,并优于当前的基准方法。讨论了将我们的MalRNN应用于具有八个恶意软件类别的真实数据集的结果。
2020-12-14 cs.CR cs.LG
Explainability-Guided Adversarial Attacks on Transformer-Based Malware Detectors Using Control Flow Graphs
Tennessee Tech University(田纳西理工大学);University of Nebraska Omaha(内布拉斯加大学奥马哈分校)
本文研究了基于变换器的恶意软件检测器在对抗性逃逸攻击中的脆弱性,提出了一种利用可解释性机制的白盒对抗攻击方法,通过扰动关键图组件来诱导误分类。
2026-04-04 cs.CR cs.LG
Multi-view Representation Learning from Malware to Defend Against Adversarial Variants
University of Arizona(亚利桑那大学);University of South Florida(南佛罗里达大学);University of Georgia(佐治亚大学)
基于深度学习的对抗性恶意软件检测器在检测从未见过的恶意软件可执行文件方面取得了可喜的成果,而无需依赖昂贵的动态行为分析和沙箱。尽管这些检测器具有这些能力,但已被证明容易受到对抗性恶意软件变体的攻击-这些变体是由机器学习生成的原始恶意软件可执行文件的精心修改的功能保留版本。由于这些对抗性修改的性质,这些对抗性方法通常使用恶意软件可执行文件的\textit{single view}(即,二进制/十六进制视图)以生成对抗性恶意软件变体。这为防守者提供了一个机会(即,恶意软件检测器)通过利用恶意软件文件的多于一个视图来检测对抗性变体(例如,除了二进制视图之外,还有源代码视图)。这个想法背后的基本原理是,虽然对手专注于二进制视图,但源代码视图中恶意软件文件的某些特征仍然未被触及,这导致检测到对抗性恶意软件变体。为了利用这个机会,我们提出了对抗性鲁棒多视图恶意软件防御(ARMD),这是一种新型的多视图学习框架,用于提高基于DL的恶意软件检测器对对抗性变体的鲁棒性。我们在三个著名的基于开源深度学习的恶意软件检测器上进行的实验表明,ARMD能够将这些恶意软件检测器的对抗鲁棒性提高多达七倍。
2022-10-25 cs.AI cs.CR cs.LG
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park(马里兰大学帕克分校);Facebook AI(Facebook 人工智能研究院)
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集,我们训练模式,抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验,我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试,并量化了数据集,对象类和检测器模型之间的攻击可转移性。最后,我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服,并严格量化的性能,这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
Note on Attacking Object Detectors with Adversarial Stickers
University of Michigan Ann Arbor(密歇根大学安娜堡分校);University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校);Stony Brook University(石溪大学);Stanford University(斯坦福大学)
深度学习已被证明是计算机视觉的强大工具,并已被广泛用于许多任务。然而,众所周知,深度学习算法容易受到对抗性示例的影响。这些对抗性输入被创建为使得当提供给深度学习算法时,它们很可能被错误标记。当使用深度学习来辅助安全关键决策时,这可能是有问题的。最近的研究表明,分类器可以在各种物理条件下被物理对抗性样本攻击。考虑到最先进的目标检测算法更难被同一组对抗性示例所欺骗,在这里我们证明了这些检测器也可以被物理对抗性示例攻击。在本文中,我们简要地展示了静态和动态测试结果。我们设计了一种产生物理对抗输入的算法,它可以欺骗YOLO对象检测器,也可以基于可转移性以相对较高的成功率攻击Faster-RCNN。此外,我们的算法可以将对抗性输入的大小压缩到贴纸上,当贴在目标对象上时,会导致检测器错误标记或在很高的时间内检测不到对象。本说明提供了一小部分结果。我们即将发表的论文将包含对其他对象检测器的全面评估,并将介绍该算法。
2018-07-23 cs.CR cs.CV cs.LG
ASNM Datasets: A Collection of Network Traffic Features for Testing of Adversarial Classifiers and Network Intrusion Detectors
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
在本文中,我们提出了三个数据集,已建成的网络流量跟踪使用ASNM功能,设计在我们以前的工作。第一个数据集是使用最先进的数据集CDX 2009构建的,而其余两个数据集分别是我们在2015年和2018年收集的。这两个数据集包含几种对抗性混淆技术,这些技术在执行特定TCP网络连接期间应用于恶意和合法流量样本。对抗性混淆技术被用于规避基于机器学习的网络入侵检测分类器。此外,我们表明,这样的分类器的性能可以得到改善时,部分增加其训练数据的样本从混淆技术。详细地说,我们利用HTTP(S)协议中的隧道混淆和基于非有效载荷的混淆来修改网络流量的各种属性,例如,据我们所知,这是第一个包含对抗技术的网络流量元数据集合,用于基于非有效载荷的网络入侵检测和对抗分类。所提供的数据集使得能够测试使用ASNM特征的任意分类器的逃避抗性。
2019-10-23 cs.CR cs.LG
Adversarial Attacks on Leakage Detectors in Water Distribution Networks
Bielefeld University(比勒费尔德大学)
该研究针对供水管网机器学习泄漏检测器易受对抗攻击的问题,提出攻击分类体系,聚焦最不敏感点攻击并通过三种算法求解,在两个基准管网完成评估,为提升模型鲁棒性提供支撑。
2023-05-25 cs.CR cs.LG
On the Effectiveness of Adversarial Samples against Ensemble Learning-based Windows PE Malware Detectors
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学)
本文提出FeaGAN模型,结合GAN与深度Q网络RL模型,通过保持格式、可执行性和恶意性生成对抗样本,以提升对集成学习Windows PE恶意软件检测器的逃避能力。
2023-09-25 cs.CR cs.LG
DPatch: An Adversarial Patch Attack on Object Detectors
Duke University(杜克大学);The Chinese University of Hong Kong(香港中文大学)
目标检测器已成为现代计算机视觉系统中不可或缺的模块。在这项工作中,我们提出了DPatch --一种针对主流对象检测器(即Faster R-CNN和YOLO)的基于黑盒对抗补丁的攻击。与仅操作图像级分类器的原始对抗补丁不同,我们的DTatch同时攻击限界框回归和对象分类,以禁用它们的预测。与以前的作品相比,DTPatch有几个吸引人的特性:(1)DTPatch可以执行无目标和有目标的有效攻击,将Faster R-CNN和YOLO的mAP分别从75.10%和65.7%降低到1%以下。(2)DTPatch具有体积小、攻击效果与位置无关等特点,在实际攻击中具有很强的实用性。(3)DTPatch在不同的检测器和训练数据集之间具有很好的可移植性。例如,在Faster R-CNN上训练的DPatch可以有效地攻击YOLO,反之亦然。广泛的评估表明,DPatch可以在黑盒设置下执行有效的攻击,即,即使不知道被攻击网络的结构和参数。DTPatch的成功实现也说明了现代检测器架构对这种基于补丁的对抗攻击的固有脆弱性。
2019-04-23 cs.CR cs.CV cs.LG
A General Black-box Adversarial Attack on Graph-based Fake News Detectors
Northwestern Polytechnical University(西北工业大学);Air Force Engineering University(空军工程大学);Guangzhou University(广州大学)
针对黑盒场景下基于GNN的假新闻检测器难以实施经典对抗攻击的问题,提出首个通用黑盒对抗攻击框架GAFSI,通过模拟用户共享行为注入虚假社交交互,实现对不同图结构检测器的有效攻击。
2024-04-26 cs.AI cs.CR cs.LG
Real-World Adversarial Attacks on RF-Based Drone Detectors
本文提出了一种针对基于射频图像的无人机探测器的物理攻击方法,通过优化I/Q扰动波形,有效降低目标无人机的检测率,同时保持对合法无人机的检测能力。
2026-01-29 cs.CR cs.LG
Mitigating Adversarial Gray-Box Attacks Against Phishing Detectors
University of Liechtenstein(列支敦士登大学);Northwestern University(西北大学)
虽然基于机器学习的算法已被广泛用于检测钓鱼网站,但关于攻击者如何攻击这种“钓鱼检测器”(简称PD)的工作相对较少。在本文中,我们提出了一套灰盒攻击PD的对手可能会使用不同的知识,他对PD。我们发现,这些攻击严重降低了几个现有的PD的有效性。然后,我们提出了操作链的概念,迭代地将一组原始特征映射到一组新的特征,并开发了“保护操作链”(简称POC)算法。POC利用随机特征选择和特征映射的组合,以增加攻击者对目标PD的不确定性。使用3个现有的公开可用的数据集加上我们已经创建并将在本文发表时发布的第四个数据集,我们表明POC对这些攻击比过去的竞争工作更强大,同时在没有对抗攻击时保持预测性能。此外,POC对13个不同分类器的攻击都是鲁棒的,而不仅仅是一个。这些结果显示在p < 0.001水平具有统计学显著性。
2022-12-11 cs.CR cs.LG
Adversarial Attacks and Mitigation for Anomaly Detectors of Cyber-Physical Systems
Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
关键基础设施中的网络物理系统(CPS)所面临的威胁促使人们研究多种攻击检测机制,包括基于神经网络模型的异常检测器。异常检测器的有效性可以通过对它们进行攻击测试来评估,但很少考虑对抗性攻击者专门设计的噪声来欺骗它们。虽然对抗攻击在图像和音频等领域得到了成功应用,但由于存在其他内置防御机制(如规则检查器(或不变检查器)),因此在CPS中实现起来要困难得多。在这项工作中,我们提出了一个对抗攻击,同时逃避异常检测器和规则检查的CPS。受现有基于梯度的方法的启发,我们的对抗攻击在传感器和执行器值上制造噪声,然后使用遗传算法优化后者,确保神经网络和规则检查系统都被欺骗。我们在两个真实世界的关键基础设施测试平台上实现了我们的方法,成功地将其检测器的分类准确率平均降低了50%以上,同时避免规则检查器的检测。最后,我们探讨这些攻击是否可以通过在对抗样本上训练检测器来减轻。
2021-05-22 cs.AI cs.CR cs.LG
Category-wise Attack: Transferable Adversarial Examples for Anchor Free Object Detection
CuraCloud Corporation(库拉云公司);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);Chengdu University of Information Technology(成都信息工程大学)
深度神经网络已被证明易受对抗攻击的影响:细微的扰动可以完全改变分类结果。它们的脆弱性导致了这方面的研究激增。然而,大多数作品致力于攻击基于锚点的目标检测模型。在这项工作中,我们的目标是提出一个有效的和高效的算法来生成对抗性的例子来攻击基于两种方法的无锚对象模型。首先,我们对对象检测器进行类别攻击而不是实例攻击。其次,我们利用高级语义信息来生成对抗性示例。令人惊讶的是,生成的对抗性示例不仅能够有效地攻击目标无锚对象检测器,而且还可以转移到攻击其他对象检测器,甚至是基于锚点的检测器,例如Faster R-CNN。
2020-06-23 cs.CR cs.CV cs.LG
Effectiveness of random deep feature selection for securing image manipulation detectors against adversarial examples
University of Siena(锡耶纳大学);Xidian University(西安电子科技大学)
我们研究了[1]中提出的随机特征选择方法是否可以扩展到基于深度学习特征的检测器,以提高取证检测器对目标攻击的鲁棒性。特别是,我们研究了针对原始CNN图像操作检测器的对抗性示例到其他检测器(全连接神经网络和线性SVM)的可转移性,这些检测器依赖于从原始网络的扁平层提取的特征的随机子集。我们通过考虑三个图像操作检测任务(滤波,中值滤波和自适应直方图均衡化),两个原始网络架构和三类攻击得到的结果表明,特征随机化有助于阻碍攻击的可转移性,即使在某些情况下,简单地改变检测器的架构,甚至重新训练检测器就足以防止攻击的可转移性。
2019-12-26 cs.CR cs.CV cs.LG
Enhancing Remote Adversarial Patch Attacks on Face Detectors with Tiling and Scaling
Shizuoka University(静冈大学);Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能项目)
针对人脸检测器的远程对抗补丁攻击存在小目标影响区域小、二分类特征差距大导致攻击难的问题,本文提出新的补丁放置方法与损失函数,实现了更优的检测阻碍效果。
2024-12-11 cs.CR cs.CV cs.LG
Distinguishing Non-natural from Natural Adversarial Samples for More Robust Pre-trained Language Model
Shanghai Jiao Tong University(上海交通大学)
近年来,预训练语言模型(PrLM)的鲁棒性问题受到了越来越多的关注。关于对抗攻击的最新研究对PrLM实现了高攻击成功率,声称PrLM不健壮。然而,我们发现PrLM失败的对抗样本大多是非自然的,并且在现实中不会出现。我们质疑目前基于这些非自然对抗样本的PrLM鲁棒性评估的有效性,并提出了一个异常检测器来评估具有更多自然对抗样本的PrLM的鲁棒性。我们还研究了异常检测器的两个应用:(1)在数据增强中,我们使用异常检测器来强制生成被区分为非自然的增强数据,这为PrLM的准确性带来了更大的增益。(2)我们将异常检测器应用到防御框架中,以增强PrLM的鲁棒性。它可用于防御所有类型的攻击,并在对抗样本和兼容样本上实现比其他防御框架更高的准确性。
2022-03-19 cs.CL cs.CR cs.LG
Adversarial Examples that Fool Detectors
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
对抗性示例是在测试时被调整为在系统中呈现时产生错误标签的示例。到目前为止,对抗性的例子构造已经被证明用于分类器,但不是用于检测器。如果存在可以欺骗检测器的对抗性示例,则它们可以用于(例如)在智能车辆密集的道路上恶意制造安全隐患。在本文中,我们展示了一个成功欺骗两个标准检测器Faster RCNN和YOLO的构造。这样的例子的存在是令人惊讶的,因为攻击分类器与攻击检测器是非常不同的,而且检测器的结构-必须搜索自己的限界框,并且不能非常准确地估计该框-使得对抗模式很可能被强烈破坏。我们表明,我们的构造产生了对抗性的例子,这些例子在数字序列中具有很好的泛化能力,即使需要大的扰动。我们还表明,我们的建设产生的物理对象是敌对的。
2017-12-07 cs.AI cs.CV cs.GR
Adversarial Sample Detection Through Neural Network Transport Dynamics
Criteo AI Lab(Criteo人工智能实验室);Criteo(Criteo公司);Sorbonne Université(索邦大学)
该研究将神经网络视为离散动态系统,通过比较输入跨层遵循的向量场检测对抗样本,并以向量场正则化增强区分度,提升了攻击检测性能与测试准确率。
2023-06-08 cs.LG
Adversarial-Robust Multivariate Time-Series Anomaly Detection via Joint Information Retention
McGill University(麦吉尔大学);MILA - Quebec AI Institute(MILA - 魁北克人工智能研究所)
本文提出ARTA框架,通过对抗训练提升时间序列异常检测的鲁棒性,实验表明其在多种数据集上表现优异,噪声增加时降解更温和。
2026-03-26 cs.LG
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich(苏黎世联邦理工学院);ABB Future Labs(ABB未来实验室)
对抗性示例是被神经网络错误分类的数据点。最初,对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念,对添加的扰动没有限制。在本文中,我们介绍了一种新的攻击类别,它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同,我们使用现成的生成对抗网络(GAN),不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101,Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明,生成的对抗对象与GANs生成的非对抗对象无法区分,在对象检测器之间可转移,并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
Can't Boil This Frog: Robustness of Online-Trained Autoencoder-Based Anomaly Detectors to Adversarial Poisoning Attacks
Ben-Gurion University of the Negev(本-古里安大学)
近年来,各种有效的神经网络为基础的方法,在工业控制系统(ICS)的异常和网络攻击检测已在文献中被证明。鉴于它们的成功实施和广泛使用,有必要研究对这种检测方法的对抗攻击,以更好地保护依赖它们的系统。对图像和恶意软件分类的对抗攻击进行的广泛研究与大多数ICS攻击检测系统所属的物理系统状态预测域几乎没有相关性。此外,这种检测系统通常使用从被监视系统收集的新数据进行再训练,因此对抗性数据投毒的威胁是显著的,然而这种威胁尚未被研究界解决。在本文中,我们提出了第一个研究集中在中毒攻击在线训练的自动编码器为基础的攻击检测器。我们提出了两种算法,用于生成有毒样本,基于插值的算法和基于反向梯度优化的算法,我们评估合成和真实世界的ICS数据。我们证明,所提出的算法可以产生有毒样本,导致目标攻击去检测的自动编码器检测器,但中毒检测器的能力是有限的一小部分攻击类型和幅度。当将中毒生成算法应用于流行的SWaT数据集时,我们表明,在物理系统状态数据上训练的自动编码器检测器在面对数据集中的所有十种相关攻击时都能抵御中毒。这一发现表明,在网络物理领域中使用的基于神经网络的攻击检测器比在其他问题领域(例如恶意软件检测和图像处理)中更鲁棒。
2020-02-07 cs.CR cs.LG stat.ML
Detection of Adversarial Attacks and Characterization of Adversarial Subspace
对抗攻击一直是任何数据驱动模型的严重威胁。在本文中,我们探索了酉向量域中对抗性样本的子空间,并提出了一种新的检测器来保护我们为环境声音分类训练的模型。我们测量弦的距离之间的合法和恶意表示的声音在酉空间的广义Schur分解,并表明他们的流形远离对方。我们的前端检测器是一个正则化的逻辑回归,它可以区分合法和对抗谱图的特征值。在三个以声谱图表示的环境声音基准数据集上的实验结果表明,该检测器对八种类型的对抗攻击具有较高的检测率,优于其他检测方法。
2019-10-26 cs.CR cs.LG cs.SD
Understanding Object Detection Through An Adversarial Lens
Georgia Institute of Technology(佐治亚理工学院)
基于深度神经网络的目标检测模型已经彻底改变了计算机视觉,并推动了广泛的视觉识别应用的发展。然而,最近的研究表明,在对抗攻击下,深度对象检测器可能会受到损害,导致受害者检测器无法检测到对象、虚假对象或错误标记的对象。随着目标检测在自动驾驶汽车和智慧城市等许多安全关键应用中的广泛应用,我们认为,深入了解深度目标检测系统的对抗攻击和漏洞的整体方法对于研究界开发强大的防御机制至关重要。本文提出了一个框架,用于分析和评估最先进的目标检测器的攻击策略,不利影响和成本,以及跨模型和跨分辨率的可转移性的攻击下的对抗镜头的漏洞,旨在分析和揭秘。使用一组定量指标,对来自三个流行系列(YOLOv 3,SSD和Faster R-CNN)的六个代表性深度目标检测器进行了广泛的实验,其中包括两个基准数据集(PASCAL VOC和MS COCO)。我们证明,所提出的框架可以作为一个有条理的基准分析对抗性的行为和风险的实时目标检测系统。我们推测,这个框架也可以作为一个工具,以评估安全风险和对抗性的鲁棒性的深度对象检测器部署在现实世界中的应用。
2020-07-11 cs.CR cs.CV cs.LG
Adversarial T-shirt! Evading Person Detectors in A Physical World
Northeastern University(东北大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击。所谓的物理对抗示例通过将对抗补丁附加到真实对象来欺骗基于DNN的决策者。但现有的大多数关于物理对抗攻击的作品都集中在静态物体上,如玻璃框架、停车标志和贴在纸板上的图像。在这项工作中,我们提出了对抗性T恤,这是一个强大的物理对抗性例子,用于逃避人员检测器,即使它可能会由于移动的人的姿势变化而发生非刚性变形。据我们所知,这是第一个针对T恤等刚性物体设计物理对抗性示例的变形效果建模工作。我们表明,该方法在数字和物理世界中分别对YOLOv 2的攻击成功率为74%和57%。相比之下,最先进的物理攻击方法欺骗一个人检测器只达到18%的攻击成功率。此外,通过利用最小-最大优化,我们将我们的方法扩展到同时针对两个对象检测器YOLO-v2和Faster R-CNN的集成攻击设置。
2020-07-06 cs.AI cs.CV cs.LG
Adversarial Examples Versus Cloud-based Detectors: A Black-box Empirical Study
Georgia Institute of Technology(佐治亚理工学院);Kennesaw State University(肯尼索州立大学);Princeton University(普林斯顿大学)
深度学习已被主要的云提供商广泛利用,如Google,AWS和百度,以提供各种计算机视觉相关服务,包括图像分类,对象识别,非法图像检测等。虽然最近的工作广泛表明,深度学习分类模型容易受到对抗性示例的影响,但基于云的图像检测模型比分类器更复杂,可能也有类似的安全问题,但尚未得到足够的重视。在本文中,我们主要集中在现实世界中的基于云的图像检测器的安全问题。具体来说,(1)基于有效的语义分割,我们提出了四种攻击,通过只与黑盒API交互来生成语义感知的对抗性示例;(2)我们首次尝试对真实世界的基于云的图像检测器进行黑盒攻击的广泛实证研究。通过在AWS、Azure、Google Cloud、百度云和阿里云五大云平台上的综合评测,我们证明了基于图像处理的攻击成功率接近100%,基于语义分割的攻击成功率超过90%。我们还提出了几种可能的防御策略,这些安全挑战在现实生活中的情况。
2019-09-14 cs.CR cs.CV cs.LG
Fooling Object Detectors: Adversarial Attacks by Half-Neighbor Masks
University of Exeter(埃克塞特大学);Guilin Univ. of Electronic Technology(桂林电子科技大学)
尽管存在大量针对基于深度学习的分类器的对抗攻击,但如何攻击目标检测系统的研究很少。在本文中,我们提出了一个半邻居屏蔽投影梯度下降(HNM-PGD)的攻击,它可以产生强扰动欺骗不同类型的检测器在严格的约束。我们还在CIKM 2020 AnalytiCup竞赛中应用了所提出的HNM-PGD攻击,该攻击在排行榜上排名前1%。我们在https://github.com/YanghaoZYH/HNM-PGD上发布代码。
2021-01-04 cs.CV cs.LG
DetectorGuard: Provably Securing Object Detectors against Localized Patch Hiding Attacks
Princeton University(普林斯顿大学)
最先进的对象检测器容易受到局部补丁隐藏攻击,其中对手引入一个小的对抗补丁,使检测器错过显著对象的检测。补丁攻击者可以通过打印并将对抗补丁附加到受害者对象来执行物理世界攻击。在本文中,我们提出DetectorGuard作为第一个通用框架,用于构建可证明鲁棒的对象检测器,以对抗局部补丁隐藏攻击。DetectorGuard的灵感来自于鲁棒图像分类研究的最新进展;我们问:我们能适应鲁棒的图像分类器来进行鲁棒的目标检测吗?不幸的是,由于它们的任务差异,从鲁棒图像分类器天真地适配的对象检测器1)在对抗设置中可能不一定是鲁棒的,或者2)甚至在干净设置中保持不错的性能。为了建立一个高性能的鲁棒对象检测器,我们提出了一个对象解释策略:我们适应一个强大的图像分类器来预测对象的每个图像位置,然后解释每个对象使用传统的对象检测器预测的边界框。如果所有对象都得到了很好的解释,我们就输出传统对象检测器做出的预测;否则,我们就发出攻击警报。值得注意的是,1)在对抗环境中,我们正式证明了DetectorGuard对认证对象的端到端鲁棒性,即,它要么检测对象,要么触发警报,以防止我们的威胁模型中的任何补丁隐藏攻击者; 2)在干净的设置中,我们具有与最先进的对象检测器几乎相同的性能。我们对PASCAL VOC,MS COCO和KITTI数据集的评估进一步证明了DetectorGuard以可忽略的成本(<1%)实现了对…
2021-10-26 cs.CR cs.CV cs.LG
Learning to Separate Clusters of Adversarial Representations for Robust Adversarial Detection
KAIST(韩国科学技术院);Tulane University(杜兰大学)
尽管深度神经网络在各种任务上表现出了良好的性能,但它们容易受到输入中微小扰动引起的错误预测的影响。大量先前的工作提出检测对抗攻击。然而,他们中的大多数人不能有效地检测到他们对自适应白盒攻击的对手有知识的模型和防御方法。在本文中,我们提出了一个新的概率对抗检测器的动机最近推出的非鲁棒功能。我们认为非鲁棒特征是对抗性示例的一个共同属性,并且我们推断可以在表示空间中找到与该属性对应的聚类。这个想法引导我们在一个单独的集群中概率估计对抗表示的分布,并利用该分布来构建基于似然的对抗检测器。
2020-12-07 cs.AI cs.CR cs.LG
Deep Detector Health Management under Adversarial Campaigns
Symantec Corporation(赛门铁克公司)
机器学习模型容易受到对抗性输入的影响,这些输入会导致看似不合理的错误。随着自动分类器越来越多地用于工业控制系统和机械,这些对抗性错误可能会成为一个严重的问题。尽管在过去几年中进行了大量的研究,但对抗性ML领域仍然被认为是炼金术,迄今为止还没有实际的完整防御,这使得PHM从业者几乎没有解决问题的有意义的方法。我们引入浊度检测作为对抗性输入检测问题的实际超集,应对对抗性运动,而不是统计上看不见的一次性事件。这种观点与ROC理论设计指导相结合,该指导在攻击活动期间在深度学习模型的输出处规定了廉价的领域自适应层。其结果旨在近似贝叶斯最优缓解,改善检测模型的退化的健康。通过对各种对抗性战役场景的蒙特卡洛模拟,通过从模型自身的浊度分布中进行采样,以在真实世界的战役中快速部署正确的缓解措施,实现了主动反应型的浊度。
2019-11-19 cs.CR cs.CV cs.LG
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
鉴于能够直接操纵数字输入空间中的图像像素,攻击者可以很容易地生成难以察觉的扰动来欺骗深度神经网络(DNN)图像分类器,如先前的工作所示。在这项工作中,我们提出了ShapeShifter,这是一种解决更具挑战性的问题的攻击,即制作物理对抗扰动来欺骗基于图像的对象检测器,如Faster R-CNN。攻击目标检测器比攻击图像分类器更困难,因为它需要在具有不同尺度的多个边界框中误导分类结果。将数字攻击扩展到物理世界增加了另一层难度,因为它需要扰动足够强大,以承受由于不同的观看距离和角度,照明条件和相机限制而导致的真实世界失真。我们表明,期望的变换技术,这是最初提出的,以提高对抗扰动的鲁棒性图像分类,可以成功地适应目标检测设置。ShapeShifter可以生成被Faster R-CNN错误检测为其他物体的逆向扰动停车标志,对自动驾驶汽车和其他安全关键型计算机视觉系统构成潜在威胁。
2019-05-01 cs.CR cs.CV cs.LG
Adversarially Robust Detection of Harmful Online Content: A Computational Design Science Approach
City University of Hong Kong(香港城市大学);Hefei University of Technology(合肥工业大学);University of South Florida(南佛罗里达大学);University of Georgia(佐治亚大学);University of Maryland(马里兰大学)
本文提出了一种计算设计科学方法,通过LLM-SGA框架和三个新组件提升对抗鲁棒性,实现高通用性和准确性的有害内容检测。
2025-12-29 cs.LG
Adversarial Perturbations Fool Deepfake Detectors
University of Southern California(南加州大学)
这项工作使用对抗性扰动来增强deepfake图像并欺骗常见的deepfake检测器。我们使用快速梯度符号方法和Carlini和Wagner L2范数攻击在黑盒和白盒设置中创建了对抗性扰动。探测器在未扰动的deepfake上达到了95%以上的准确率,但在扰动的deepfake上的准确率不到27%。我们还探索了对deepfake检测器的两种改进:(i)Lipschitz正则化,以及(ii)深度图像先验(DIP)。Lipschitz正则化约束检测器相对于输入的梯度,以增加对输入扰动的鲁棒性。DIP防御以无监督的方式使用生成卷积神经网络去除扰动。正则化平均提高了对受干扰的deepfake的检测,包括在黑盒情况下提高了10%的准确率。DIP防御在欺骗原始检测器的扰动deepfake上实现了95%的准确率,而在其他情况下,在100个图像子样本上保持了98%的准确率。
2020-05-15 cs.CV cs.LG cs.NE
New Adversarial Image Detection Based on Sentiment Analysis
Beijing University of Posts and Telecommunications(北京邮电大学);Commonwealth Science and Industrial Research Organisation(联邦科学与工业研究组织)
针对深度神经网络易受对抗样本攻击且现有检测技术滞后的问题,提出基于情感分析的新型对抗样本检测器,通过模块化嵌入层转换隐层特征图进行检测,在多数据集和网络上性能优于现有最优方法,且参数量小、检测速度快。
2023-05-03 cs.AI cs.CR cs.CV
Early Methods for Detecting Adversarial Images
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
许多机器学习分类器容易受到对抗性扰动的影响。对抗性扰动修改输入以改变分类器的预测,而不会导致输入看起来与人类感知有实质性不同。我们部署了三种方法来检测对抗图像。试图绕过我们检测器的对手必须使对抗图像不那么病态,否则他们将失败。我们最好的检测方法表明,对抗性图像异常强调PCA中排名较低的主成分。其他探测器和彩色显着图在附录中。
2017-03-23 cs.CR cs.CV cs.LG
Relevance Attack on Detectors
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
针对检测器的高转移性对抗攻击,由于检测器的多输出特性和体系结构的多样性,很难对其进行黑盒攻击。为了追求高的攻击可转移性,一种可行的方法是在检测器之间找到一个共同的属性,这有助于发现共同的弱点。我们是第一个建议,从解释器的检测器的相关图是这样一个属性。在此基础上,我们设计了一个相关性攻击检测器(RAD),它实现了最先进的可移植性,超过现有的结果超过20%。在MS COCO上,所有8个黑盒架构的检测mAP都减少了一半以上,分割mAP也受到了显著影响。鉴于RAD的可移植性,我们生成了用于目标检测和实例分割的第一个对抗数据集,即,Adversarial Objects in COontext(AOCO),有助于快速评估和提高检测器的鲁棒性。
2021-11-23 cs.CR cs.CV cs.LG
GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples
University of Lübeck(吕贝克大学);Robert Bosch GmbH(罗伯特·博世有限公司)
深度神经网络(DNN)容易受到对抗性样本和其他数据扰动的影响。特别是在DNN的安全关键应用中,因此检测错误分类的样本至关重要。目前最先进的检测方法需要比原始网络本身更多的运行时间或更多的参数。因此,本文提出了GraN,这是一种时间和参数效率高的方法,可以很容易地适应任何DNN。GraN基于DNN的梯度的逐层范数,其关于当前输入-输出组合的损失,其可以通过反向传播来计算。GraN在许多问题设置上实现了最先进的性能。
2020-04-20 cs.CR cs.CV cs.LG
Physical Adversarial Examples for Object Detectors
University of Michigan(密歇根大学);University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校);Stony Brook University(石溪大学);Stanford University(斯坦福大学);Samsung Research America(三星美国研究院)
深度神经网络(DNN)容易受到对抗性示例的攻击-恶意制作的输入会导致DNN做出错误的预测。最近的研究表明,这些攻击可以推广到物理领域,在物理对象上创建扰动,从而在各种现实条件下欺骗图像分类器。这种攻击对安全关键型网络物理系统中使用的深度学习模型构成了风险。在这项工作中,我们将物理攻击扩展到更具挑战性的目标检测模型,这是一类广泛用于检测和标记场景中多个对象的更广泛的深度学习算法。改进以前的物理攻击图像分类器,我们创建扰动物理对象,被忽略或错误标记的目标检测模型。我们实现了一个消失攻击,其中我们导致停止标志“消失”根据检测器,无论是通过覆盖thesign与敌对停止标志海报,或通过添加对抗贴纸到标志。在受控实验室环境中录制的视频中,最先进的YOLOv 2检测器未能在超过85%的视频帧中识别出这些敌对的停止标志。在户外实验中,YOLO分别在72.5%和63.5%的视频帧中被海报和贴纸攻击欺骗。我们还使用Faster R-CNN,一种不同的目标检测模型,来证明我们对抗性扰动的可转移性。创建的海报扰动能够在受控实验室环境中的85.9%的视频帧和户外环境中的40.2%的视频帧中欺骗Faster R-CNN。最后,我们提出了一种新的创造攻击的初步结果,其中无害的物理贴纸欺骗模型检测不存在的对象。
2018-10-05 cs.CR cs.CV cs.LG
Are Odds Really Odd? Bypassing Statistical Detection of Adversarial Examples
University of Washington(华盛顿大学)
众所周知,深度学习分类器容易受到对抗性样本的影响。最近在ICML 2019上发表的一篇论文提出了一种统计测试检测方法,该方法基于对噪声对抗性示例的logits偏向真实类的观察。在CIFAR-10数据集上对该方法进行了评估,结果表明该方法在只有1%假阳性率(FPR)的情况下达到了99%的真阳性率(TPR)。在本文中,我们首先开发了一种基于分类器的自适应统计测试方法,并表明它提高了检测性能。然后,我们提出了Logit模仿攻击方法来生成对抗性的例子,使他们的logits模仿那些良性的图像。我们表明,我们的攻击绕过了统计测试和基于分类器的方法,即使在FPR为5%的情况下,它们的TPR也分别降低到低于2:2%和1:6%。最后,我们证明了一个基于分类器的检测器,它是用模仿对抗性例子的logits训练的,可以被一个专门针对检测器的自适应攻击者所规避。此外,即使是经过迭代训练以抵御自适应攻击者的检测器也不能变得鲁棒,这表明logits的统计数据不能用于检测对抗性示例。
2019-07-28 cs.CR cs.LG stat.ML
AdvLogo: Adversarial Patch Attack against Object Detectors based on Diffusion Models
Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Northeastern University(东北大学)
针对目标检测器对抗补丁攻击中攻击有效性与视觉质量难以平衡的问题,提出基于扩散模型语义的AdvLogo框架,通过在最后时间步扰动潜在变量和无条件嵌入并利用傅里叶变换在频域施加扰动,实现了强攻击性能与高视觉质量的兼顾。
2025-03-03 cs.CV cs.LG
TACO: Adversarial Camouflage Optimization on Trucks to Fool Object Detectors
Technology Transfer Institute(技术转让研究所);Széchenyi István University(塞切尼伊什特万大学)
本文提出TACO框架,利用Unreal Engine 5和可微渲染在3D卡车上生成对抗伪装,并结合Convolutional Smooth Loss,使YOLOv8的AP@0.5降至0.0099,且对Faster R-CNN等模型具有强迁移性。
2025-04-11 cs.AI cs.CV cs.LG
Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization
Department of Electrical and Computer Engineering University of Toronto(多伦多大学电气与计算机工程系)
对抗攻击涉及向输入添加小的、通常难以察觉的扰动,目的是让机器学习模型对它们进行错误分类。虽然针对图像分类模型提出了许多不同的对抗攻击策略,但目标检测管道更难被破坏。在本文中,我们提出了一种新的策略,通过使用对抗生成器网络解决约束优化问题来制作对抗示例。我们的方法是快速和可扩展的,只需要通过我们训练的生成器网络进行正向传递来制作对抗样本。与许多攻击策略不同的是,我们证明了相同的训练生成器能够在不显式优化的情况下攻击新图像。我们在裁剪的300-W人脸数据集上评估了我们对训练的Faster R-CNN人脸检测器的攻击,我们设法将检测到的人脸数量减少到所有原始检测到的人脸的$0.5\%$。在另一个实验中,也是在300-W上,我们证明了我们的攻击对基于JPEG压缩的防御的鲁棒性。典型的JPEG压缩级别$75\%$将我们的攻击的有效性从仅检测到的面部的$0.5\%$降低到适度的$5.0\%$。
2018-05-31 cs.CV cs.LG
On the Detection of Adaptive Adversarial Attacks in Speaker Verification Systems
Purdue University Fort Wayne(普渡大学韦恩堡分校)
本文提出MEH-FEST检测器,利用短时傅里叶变换高频段最小能量检测FAKEBOB对抗攻击,在GMM和i-vector说话人验证系统中实现近零误报与漏报,并进一步研究了自适应攻击与防御的博弈。
2022-08-01 cs.CR cs.LG cs.SD
Adversarially Trained Object Detector for Unsupervised Domain Adaptation
Chiba University(千叶大学)
本文提出将源域对抗训练用于目标检测的无监督域适应,并结合特征对齐,在大幅真实到艺术域偏移的四个基准上显著提升mAP。
2021-11-25 cs.AI cs.CV cs.LG
KoALA: KL-L0 Adversarial Detector via Label Agreement
Department of Electrical Engineering(电气工程系);Computer Science, University of California, Irvine, Irvine, USA(计算机科学系,加州大学伊维德分校,伊维德,美国)
KoALA是一种无需修改架构或重新训练的语义无关对抗检测器,通过两种互补相似性度量的预测不一致来检测对抗攻击,利用KL散度和L0相似性检测不同类型的扰动,实验验证其有效性。
2026-03-19 cs.LG
What Makes Adversarial Examples Transfer Across Deepfake Detectors?
INESC TEC;Faculty of Engineering, University of Porto (FEUP)(波尔图大学工程学院);Unilabs
本研究通过60个检测器的受控实验,揭示源-目标兼容性(如骨干网络、预训练、训练数据)显著影响对抗样本迁移成功率,并指出源平均会低估目标脆弱性,强调源模型选择的重要性。
2026-10-12 cs.AI cs.CR cs.CV
On Physical Adversarial Patches for Object Detection
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们展示了针对对象检测器的物理对抗补丁攻击,特别是YOLOv3检测器。与以前的工作物理目标检测攻击,这需要补丁被错误分类或避免检测的对象重叠,我们表明,一个适当设计的补丁可以抑制几乎所有检测到的对象在图像中。也就是说,我们可以将补丁放置在图像中的任何地方,导致图像中所有现有的物体都被检测器完全错过,即使是那些远离补丁本身的物体。这反过来又开辟了针对目标检测系统的新的物理攻击路线,该系统不需要修改场景中的对象。该系统的演示可以在https://youtu.be/WXnQjbZ1e7Y上找到。
2019-06-20 cs.CR cs.CV cs.LG
Physically Realizable Adversarial Examples for LiDAR Object Detection
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学);Princeton University(普林斯顿大学)
现代自动驾驶系统严重依赖深度学习模型来处理点云传感数据;同时,深度模型已被证明容易受到视觉上无法感知的扰动的对抗攻击。尽管这给自动驾驶行业带来了安全问题,但在3D感知方面的探索很少,因为大多数对抗攻击只应用于2D平面图像。在本文中,我们解决了这个问题,并提出了一种方法来生成通用的3D对抗对象来欺骗LiDAR探测器。特别是,我们证明了在任何目标车辆的屋顶上放置一个对抗性物体,以使车辆完全隐藏在LiDAR探测器之外,成功率为80%。我们报告攻击结果的一套检测器使用各种输入表示的点云。我们还使用数据增强对对抗性防御进行了试点研究。这是在有限的训练数据中,在看不见的条件下实现更安全的自动驾驶的一步。
2020-04-02 cs.CR cs.CV cs.LG
Turn Fake into Real: Adversarial Head Turn Attacks Against Deepfake Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Xi’an Jiaotong University(西安交通大学)
提出首个针对深度伪造检测器的三维对抗性头部转动攻击AdvHeat,通过单视角图像合成面部视角,在黑盒场景下实现高攻击成功率,并优于传统攻击。
2023-09-03 cs.CR cs.CV cs.LG
RAID: A Dataset for Testing the Adversarial Robustness of AI-Generated Image Detectors
University of Cagliari(卡利里大学);Ruhr University Bochum(波恩鲁尔大学);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);University of Pisa(比萨大学);Sapienza University of Rome(罗马萨皮恩扎大学);CINI(CINI研究所)
本文提出 RAID 数据集,包含 7.2 万个高可迁移对抗样本,用于快速、可靠地评估 AI 生成图像检测器的对抗鲁棒性,并揭示现有检测器易受欺骗。
2026-10-30 cs.CV cs.LG
Generative Adversarial Networks for the fast simulation of the Time Projection Chamber responses at the MPD detector
HSE University(高等经济大学);Yandex School of Data Analysis(Yandex数据分析学院);Joint Institute for Nuclear Research(联合核研究所);Petersburg Nuclear Physics Institute(彼得堡核物理研究所)
详细的探测器仿真模型对于现代高能物理实验的成功运行至关重要。在大多数情况下,这种详细的模型需要大量的计算资源来运行。通常可能无法提供这种服务,因此需要资源密集程度较低的办法。在这项工作中,我们证明了生成对抗网络(GAN)的适用性,这种快速仿真模型的基础上的情况下的时间投影室(TPC)在MPD检测器在NICA加速器复杂。与详细模拟相比,我们基于GAN的TPC原型模型的工作速度快了一个数量级以上,而生成数据的高级重建特性的质量没有任何明显下降。比较了直接和间接质量度量优化方法。
2022-03-30 cs.LG physics.ins-det
Design and Interpretation of Universal Adversarial Patches in Face Detection
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);TTIC(丰田工业大学芝加哥分校)
我们认为,通用的对抗补丁的脸-小的视觉元素,除了一张脸的图像可靠地破坏了性能的人脸检测器。与以前的工作主要集中在对抗性示例的算法设计方面,以提高攻击者的成功率不同,在这项工作中,我们展示了对这些补丁的解释,这些补丁可以阻止最先进的人脸检测器检测到真实的人脸。我们研究了一个现象:旨在抑制真实人脸检测的补丁出现人脸。这种现象通常适用于不同的初始化,位置,补丁规模,骨干和最先进的人脸检测框架。我们提出了新的基于优化的方法来自动设计通用对抗补丁,以适应不同的攻击目标,包括在不引入误报的情况下抑制真阳性的情况。我们提出的算法在真实世界的数据集上表现良好,在多个精度/召回指标和可转移性方面欺骗了最先进的人脸检测器。
2020-07-17 cs.CR cs.CV cs.LG