Attacking Optical Character Recognition (OCR) Systems with Adversarial Watermarks
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Tsinghua University(清华大学)
光学字符识别(OCR)作为一种重要的预处理工具,在实际应用中得到了广泛的应用。在OCR中采用深度神经网络(DNN)会导致对抗性示例的漏洞,这些示例被精心制作以误导威胁模型的输出。与普通的彩色图像不同,印刷文本图像通常具有清晰的背景。然而,现有的大多数对抗攻击生成的对抗样本都不自然,严重污染了背景。为了解决这个问题,我们提出了一种水印攻击方法,以产生自然的失真,伪装的水印和逃避人眼的检测。实验结果表明,水印攻击可以产生一组带有水印的自然对抗样本,在不同的攻击场景下都能获得与现有方法相似的攻击性能。
2020-02-08 cs.CR cs.CV cs.LG
On the feasibility of attacking Thai LPR systems with adversarial examples
Prince of Songkla University(宋卡王子大学)
深度神经网络(DNN)的最新进展显著增强了光学字符识别(OCR)技术的能力,使其能够被广泛应用于现实世界。尽管取得了这一成功,但基于DNN的OCR被证明容易受到对抗攻击的攻击,其中对手可以通过仔细操纵模型的输入来影响DNN模型的预测。先前的工作已经证明了对抗攻击对各种OCR语言的安全影响。然而,到目前为止,还没有专门针对泰语的OCR系统进行研究和评估。为了弥补这一差距,这项工作提出了一个可行性研究,执行对抗攻击对一个特定的泰国OCR应用程序-泰国车牌识别(LPR)。此外,我们提出了一种新型的对抗攻击的基础上\emph{semi-targeted}的情况下,并表明这种情况下是非常现实的LPR应用程序。我们的实验结果表明,我们的攻击的可行性,因为他们可以在一个商品计算机桌面上进行超过90%的攻击成功率。
2023-01-13 cs.CR cs.CV cs.LG
Attacking Adversarial Defences by Smoothing the Loss Landscape
University of Edinburgh(爱丁堡大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心)
本文研究了一系列防御对抗攻击的方法,这些方法的成功部分归功于创建一个嘈杂的、不连续的或其他崎岖的损失环境,使对手难以驾驭。一种常见但不通用的实现这种效果的方法是通过使用随机神经网络。我们证明了这是梯度混淆的一种形式,并提出了基于维尔斯特拉斯变换的基于梯度的对手的一般扩展,它平滑了损失函数的表面并提供了更可靠的梯度估计。我们进一步表明,同样的原则可以加强无梯度的对手。我们证明了我们的损失平滑方法对随机和非随机对抗性防御的有效性,这些防御由于这种类型的混淆而表现出鲁棒性。此外,我们还分析了它如何与期望转换相互作用;目前用于攻击随机防御的流行梯度采样方法。
2022-08-05 cs.CR cs.CV cs.LG
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
众所周知,深度强化学习(RL)策略容易受到对其观察结果的对抗性扰动的影响,类似于分类器的对抗性示例。然而,攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑:是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体,从而创建对抗性的自然观察?我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏,对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者,但产生了看似随机和不协调的行为。我们发现,这些政策是更成功的高维环境中,并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
对抗性攻击的目的是用对抗性的例子欺骗深度神经网络。在自然语言处理领域中,已经提出了各种文本对抗攻击模型,其在受害者模型的可访问性方面有所不同。其中,只需要受害者模型输出的攻击模型更适合真实世界的对抗性攻击情况。然而,这些模型为了获得高攻击性能,通常需要多次查询受害者模型,这在实践中既不高效也不可行。为了解决这个问题,我们提出了一个基于强化学习的攻击模型,它可以从攻击历史中学习,更有效地发动攻击。在实验中,我们通过攻击多个任务的基准数据集,包括情感分析,文本分类和自然语言推理的几个国家的最先进的模型来评估我们的模型。实验结果表明,我们的模型始终实现更好的攻击性能和更高的效率比最近提出的基线方法。我们还发现,我们的攻击模型可以带来更多的鲁棒性提高受害者模型的对抗训练。本文的所有代码和数据都将公开。
2020-09-19 cs.AI cs.CL cs.CR
ATMPA: Attacking Machine Learning-based Malware Visualization Detection Methods via Adversarial Examples
随着恶意软件(malware)威胁的日益严重,恶意软件自动检测技术受到越来越多的关注,其中基于机器学习(ML)的可视化检测方法越来越流行。在本文中,我们证明了最先进的基于ML的可视化检测方法容易受到对抗性示例(AE)攻击。基于梯度下降和L-范数优化方法,提出了一种新的对抗性纹理恶意软件扰动攻击(ATMPA)方法,攻击者可以在变换后的数据集上引入一些微小的扰动,使得基于ML的恶意软件检测方法完全失效。在MS BIG恶意软件数据集上的实验结果表明,对于几种基于ML的检测方法,小的干扰可以将准确率降低到0%,并且平均可转移率为74.1%。
2019-12-30 cs.CR
Attacking deep networks with surrogate-based adversarial black-box methods is easy
FiveAI
最近关于黑盒对抗攻击的一系列工作已经通过将其集成到基于查询的搜索中,重新使用了从代理模型的传输。然而,我们发现,现有的这种类型的方法低于其潜力,而且可能过于复杂。在这里,我们提供了一个简短而简单的算法,通过使用代理网络的类分数梯度的搜索来实现最先进的结果,而不需要其他先验或先验知识。该算法的指导假设是,所研究的网络在基本意义上学习类似的功能,因此从一个到另一个的转移攻击应该相当“容易”。这一假设通过极低的查询计数和失败率得到了验证:例如,使用ResNet-152作为代理对VGG-16 ImageNet网络进行无针对性攻击,其查询计数中位数为6,成功率为99.9%。代码可在https://github.com/fiveai/GFCS上获得。
2022-03-16 cs.CR cs.CV cs.LG
Security Matters: A Survey on Adversarial Machine Learning
University of Shanghai for Science and Technology(上海理工大学);State Street Corporation(道富公司);Guangzhou University(广州大学);Fudan University(复旦大学);Qingdao Binhai University(青岛滨海学院)
对抗性机器学习是一个快速发展的研究领域,它考虑了机器学习系统可能面临潜在的对抗性攻击者的情况,这些攻击者故意合成输入数据以使训练有素的模型出错。它总是涉及一个防御方,通常是一个分类器,以及一个旨在导致错误输出的攻击方。机器学习算法对抗性样本的研究最早是从信息安全领域开始的,它考虑的攻击方法种类要多得多。但是最近由深度学习社区推广的研究焦点强烈强调了正常输入上的“不可感知”扰动如何可能导致深度学习以假定的超人准确性产生戏剧性的错误。本文旨在全面介绍对抗性深度学习主题的一系列方面,包括其基础,典型的攻击和防御策略以及一些扩展研究。
2018-10-23 cs.CR cs.LG stat.ML
Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning
Shanghai AI Lab(上海人工智能实验室);University of Maryland, College Park(马里兰大学帕克分校)
最近的研究表明,经过良好训练的深度强化学习(RL)策略特别容易受到输入观测的对抗性扰动的影响。因此,训练强化学习代理在有限的预算下对任何攻击都是鲁棒的,这是至关重要的。现有的深度强化学习中的鲁棒训练方法要么单独处理相关步骤,忽略长期奖励的鲁棒性,要么将代理和基于强化学习的攻击者一起训练,使训练过程的计算负担和样本复杂度加倍。在这项工作中,我们提出了一个强大而有效的鲁棒RL训练框架,命名为最坏情况感知的鲁棒RL(WocaR-RL),直接估计和优化策略在有界l_p攻击下的最坏情况奖励,而不需要额外的样本来学习攻击者。在多种环境下的实验表明,WocaR-RL在各种强攻击下都达到了最先进的性能,并且比现有的最先进的鲁棒训练方法获得了更高的训练效率。这个工作的代码可以在https://github.com/umd-huang-lab/WocaR-RL上找到。
2022-10-12 cs.AI cs.CR cs.LG
Note on Attacking Object Detectors with Adversarial Stickers
University of Michigan Ann Arbor(密歇根大学安娜堡分校);University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校);Stony Brook University(石溪大学);Stanford University(斯坦福大学)
深度学习已被证明是计算机视觉的强大工具,并已被广泛用于许多任务。然而,众所周知,深度学习算法容易受到对抗性示例的影响。这些对抗性输入被创建为使得当提供给深度学习算法时,它们很可能被错误标记。当使用深度学习来辅助安全关键决策时,这可能是有问题的。最近的研究表明,分类器可以在各种物理条件下被物理对抗性样本攻击。考虑到最先进的目标检测算法更难被同一组对抗性示例所欺骗,在这里我们证明了这些检测器也可以被物理对抗性示例攻击。在本文中,我们简要地展示了静态和动态测试结果。我们设计了一种产生物理对抗输入的算法,它可以欺骗YOLO对象检测器,也可以基于可转移性以相对较高的成功率攻击Faster-RCNN。此外,我们的算法可以将对抗性输入的大小压缩到贴纸上,当贴在目标对象上时,会导致检测器错误标记或在很高的时间内检测不到对象。本说明提供了一小部分结果。我们即将发表的论文将包含对其他对象检测器的全面评估,并将介绍该算法。
2018-07-23 cs.CR cs.CV cs.LG
Towards Adversarial Robustness via Transductive Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
已经出现了使用针对对抗鲁棒性的转导学习的兴趣(Goldwasser等人,NeurIPS 2020; Wu等人,ICML 2020)。与传统的“测试时间”防御相比,这些防御机制通过直推学习基于测试时间输入“动态地重新训练”模型;从理论上讲,攻击这些防御归结为双层优化,这似乎增加了自适应攻击的难度。在本文中,我们首先形式化和分析建模方面的转导鲁棒性。在此基础上,提出了求解双层攻击目标的攻击模型空间原理,并给出了该原理的一个实例,突破了以往的直推防御。因此,这些攻击指出了使用转导学习来提高对抗鲁棒性的重大困难。为此,我们提出了新的理论和经验证据,支持的实用性,转导学习。
2021-06-15 cs.CR cs.LG
Attacking logo-based phishing website detectors with adversarial perturbations
本研究提出一种利用生成对抗扰动制作“对抗性logo”的新型攻击方法,以逃避基于logo的深度学习钓鱼网站检测器,实验表明该攻击逃避率高达95%且难以被人眼察觉。
2023-09-13 cs.CR
Adversarial Texts with Gradient Methods
图像的对抗样本在文献中已经被广泛研究。在众多的攻击方法中,基于梯度的方法是一种有效且易于计算的攻击方法。在这项工作中,我们提出了一个框架,以适应图像的梯度攻击方法的文本域。使用梯度方法生成对抗性文本的主要困难是:i)输入空间是离散的,这使得很难直接在输入中积累小噪声; ii)对抗性文本的质量难以测量。我们通过在嵌入空间中搜索对抗文本来解决第一个问题,然后通过最近邻搜索来重建对抗文本。对于后一个问题,我们采用词移动距离(WMD)来量化对抗文本的质量。通过对IMDB电影评论、路透社-2和路透社-5新闻通讯社三个数据集的广泛实验,我们证明了我们的框架可以利用梯度攻击方法生成与原始文本只有几个字不同的高质量对抗文本。在很多情况下,我们可以改变一个词来改变整个文本的标签。我们成功地将FGM和DeepFool纳入我们的框架。此外,我们的经验表明,大规模杀伤性武器是密切相关的对抗性文本的质量。
2018-01-24 cs.CL cs.CR cs.LG
Attacking Transformers with Feature Diversity Adversarial Perturbation
Huazhong University of Science and Technology(华中科技大学);Tencent(腾讯)
本文提出一种无标签白盒攻击方法,利用ViT的特征坍缩现象,通过加速特征坍缩实现对多种黑盒模型的高迁移性攻击。
2024-03-10 cs.CR cs.CV
Attacking Motion Planners Using Adversarial Perception Errors
Five AI Ltd.(Five AI有限公司)
研究指出高感知质量指标下仍可导致规划失败,提出利用边界攻击算法构造对抗性感知错误,并在CARLA模拟器中验证了其对黑盒规划器的攻击有效性及对系统部署的启示。
2023-11-21 cs.CR cs.CV cs.LG
Attacking Object Detector Using A Universal Targeted Label-Switch Patch
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
过去几年,人们广泛研究了针对基于深度学习的对象检测器(OD)的对抗攻击。这些攻击通过在目标对象上或帧内的任何地方放置包含对抗模式的补丁,导致模型做出错误的预测。然而,没有先前的研究提出了一个错误分类攻击OD,其中补丁被应用在目标对象上。在这项研究中,我们提出了一种新的,通用的,有针对性的,标签切换攻击对国家的最先进的对象检测器,YOLO。在我们的攻击中,我们使用(i)定制的投影函数来使对抗补丁能够放置在图像中的多个目标对象上(例如,汽车),其中的每一个可以位于距摄像机不同的距离处或者相对于摄像机具有不同的视角,以及(ii)能够改变被攻击对象的标签的唯一损失函数。建议的通用补丁,这是在数字域中训练,是可转移到物理域。我们使用不同类型的对象检测器,不同摄像机捕获的不同视频流和各种目标类别进行了广泛的评估,并评估了物理域中对抗补丁的不同配置。
2022-11-16 cs.CR cs.CV cs.LG
Phonemic Adversarial Attack against Audio Recognition in Real World
Zhongguancun Laboratory(中关村实验室);Beihang University(北京航空航天大学)
近年来,针对音频识别的对抗攻击引起了广泛关注。然而,现有的研究大多依赖于实例级的粗粒度音频特征来生成对抗性噪声,导致生成时间开销大,通用攻击能力弱。基于所有音频语音都由基本音素组成的观点,提出了一种音素对抗性攻击(PAT)范式,该范式攻击音频实例之间共享的音素级细粒度音频特征,生成音素对抗性噪声,具有更一般的攻击能力和更快的生成速度.具体而言,为了加快生成速度,引入音素密度均衡采样策略,通过估计音素密度来采样数量较少但音素特征丰富的音频实例作为训练数据,从而大大减轻了对大训练数据集的严重依赖。此外,为了提高通用攻击能力,采用滑动窗口异步优化音素噪声,增强音素多样性,从而更好地捕捉关键的基本音素模式。通过进行广泛的实验,我们全面研究了所提出的PAT框架,并证明它的性能大大优于SOTA基线(即,至少11倍的速度和78%的攻击能力提高)。
2022-11-19 cs.CR cs.SD eess.AS
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学)
本文提出基于交叉熵优化的文本对抗攻击方法CEA,通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题,在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG
Once a MAN: Towards Multi-Target Attack via Learning Multi-Target Adversarial Network Once
University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学);The Chinese Academy of Sciences(中国科学院);The University of Hong Kong(香港大学)
现代深度神经网络往往容易受到对抗性样本的攻击。在第一种基于优化的攻击方法的基础上,提出了以下几种方法来提高攻击性能和速度。近年来,基于生成的方法由于直接使用前馈网络生成对抗样本,避免了基于优化和基于梯度的方法中耗时的迭代攻击过程而受到广泛关注。然而,目前基于生成的方法只能在一个模型中攻击一个特定的目标(类别),从而使它们不适用于通常具有数百/数千个类别的真实分类系统。在本文中,我们提出了第一个多目标对抗网络(MAN),它可以生成多目标对抗样本与一个单一的模型。通过将指定的类别信息合并到中间特征中,它可以在运行时攻击目标分类模型的任何类别。实验结果表明,无论是在多目标攻击任务还是在单目标攻击任务中,该方法都能产生比现有方法更强的攻击效果,并具有更好的可移植性。我们进一步使用MAN生成的对抗样本来提高分类模型的鲁棒性。在受到各种方法攻击时,它也能达到比其他方法更好的分类精度。
2019-08-14 cs.CR cs.CV cs.LG
Attacking the Spike: On the Transferability and Security of Spiking Neural Networks to Adversarial Examples
Lehigh University(莱文大学);University of Minnesota Twin Cities(明尼苏达大学双城分校);North Carolina State University(北卡罗来纳州立大学);University of Rhode Island(罗德岛大学);Northeastern University(东北大学)
本文研究了脉冲神经网络(SNN)在对抗示例中的鲁棒性,揭示了对抗攻击的转移性,并提出了混合动态脉冲估计(MDSE)攻击方法,以提高SNN和非SNN模型的对抗示例生成效果。
2026-05-21 cs.AI cs.CR cs.CV
Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems
Technische Universität Darmstadt(达姆施塔特工业大学)
对文本的视觉修改通常用于混淆社交媒体中的攻击性评论(例如,"! d10 t”)或作为写作风格(“leet speak”中的“1337”),以及其他场景。我们认为这是NLP中的一种新型对抗攻击,正如我们对简单和更困难的视觉输入扰动的实验所证明的那样,人类对这种环境非常鲁棒。然后,我们研究了视觉对抗攻击对当前NLP系统在字符,单词和单词级任务上的影响,结果表明,与人类相比,神经和非神经模型对这种攻击非常敏感,性能下降高达82%。然后,我们探索了三种屏蔽方法-视觉字符嵌入,对抗训练和基于规则的恢复-这大大提高了模型的鲁棒性。然而,屏蔽方法仍然落后于在非攻击场景中实现的性能,这表明了处理视觉攻击的难度。
2020-06-10 cs.CL cs.CR cs.CV
Attacking Recommender Systems with Augmented User Profiles
Xiamen University(厦门大学);Fudan University(复旦大学)
推荐系统(RS)已经成为许多在线服务的重要组成部分。由于其在引导客户购买方面的关键作用,无良方自然有动机欺骗RS以获取利润。在本文中,我们研究了先令攻击:一个存在的和有利可图的攻击,敌对方注入了一些用户简档,以促进或降级的目标项目。传统的欺骗攻击模型都是基于简单的、易于检测的攻击策略,或者直接采用对抗攻击的方法,而没有对RS进行专门的设计。此外,在文献中缺乏对基于深度学习的RS的攻击影响的研究,使得对真实RS的shilling攻击的效果值得怀疑。提出了一种新的增强先令攻击框架(AUSH),并结合生成对抗网络的思想实现了该框架。AUSH能够根据预算和复杂的攻击目标(如针对特定用户组)来定制针对RS的攻击。我们的实验表明,AUSH的攻击影响是显而易见的,在广泛的RS,包括经典和现代的基于深度学习的RS,而它几乎是无法检测到的最先进的攻击检测模型。
2020-07-23 cs.CR cs.IR cs.LG
Attacking Autonomous Driving Agents with Adversarial Machine Learning: A Holistic Evaluation with the CARLA Leaderboard
Carnegie Mellon University(卡内基梅隆大学)
该研究借助CARLA模拟器与CARLA排行榜,在不修改智能体代码的前提下测试对抗补丁对多类开源自动驾驶智能体的攻击效果,发现部分非ML模块可抵消对抗样本对ML模型的误导作用。
2025-11-18 cs.CR cs.CV cs.LG
Tactics of Adversarial Attack on Deep Reinforcement Learning Agents
National Tsing Hua University(国立清华大学);NVIDIA(英伟达)
我们介绍了两种策略来攻击使用对抗性示例的深度强化学习算法训练的代理,即策略定时攻击和附魔攻击。在策略定时攻击中,对手的目标是通过只在一个事件中的一小部分时间步上攻击代理来最小化代理的奖励。将攻击活动限制在此子集有助于防止代理检测到攻击。我们提出了一种新的方法来确定何时应该制作和应用对抗性示例。在附魔攻击中,对手的目的是引诱智能体到指定的目标状态。这是通过结合生成模型和规划算法来实现的:当生成模型预测未来状态时,规划算法生成用于引诱代理的首选动作序列。然后精心制作一系列对抗性示例,以诱使代理采取首选的行动序列。我们将这两种策略应用于由最先进的深度强化学习算法(包括DQN和A3C)训练的代理。在5个雅达利游戏中,我们的策略性定时攻击减少的奖励与统一攻击一样多(即,在每一个时间步攻击)通过攻击代理的频率降低4倍来实现。我们的附魔攻击以超过70%的成功率将代理引诱到指定的目标状态。视频可在http://yenchenlin.me/adversarial_attack_RL/上获得
2019-11-13 cs.CR cs.LG stat.ML
A Restricted Black-box Adversarial Framework Towards Attacking Graph Embedding Models
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);Tencent AI Lab(腾讯人工智能实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
随着图嵌入模型在学术界和工业界的巨大成功,图嵌入对对抗攻击的鲁棒性问题必然成为图学习领域的一个核心问题。尽管取得了丰硕的进展,但目前的大多数作品都是以白盒的方式进行攻击的:他们需要访问模型预测和标签来构建他们的对抗损失。然而,模型预测在真实系统中的不可访问性使得白盒攻击对真实图学习系统不切实际。本文对现有的框架进行了更一般、更灵活的提升--我们要求黑盒驱动攻击各种图嵌入模型。为此,我们首先研究了图信号处理和图嵌入模型之间的理论联系,并将图嵌入模型制定为具有相应图滤波器的一般图信号处理。因此,一个广义的对抗攻击:GF攻击是由图过滤器和特征矩阵。GF-Attack不访问图嵌入中使用的目标分类器的任何知识,而是以黑盒攻击方式仅对图过滤器进行攻击。为了验证GF攻击的泛化性,我们在四种流行的图嵌入模型上构建了攻击者。大量的实验结果验证了我们的攻击器在几个基准数据集上的有效性。特别是通过使用我们的攻击,即使是像单边翻转这样的小图扰动也能够在性能上一致地对不同的图嵌入模型进行强有力的攻击。
2019-12-17 cs.CR cs.LG cs.SI
Attacking CNN-based anti-spoofing face authentication in the physical domain
本文研究了基于深度学习的反欺骗方法在对抗性干扰下的脆弱性。我们首先证明,攻击基于CNN的反欺骗人脸认证系统是一项艰巨的任务。实际上,当在物理世界中攻击欺骗的人脸图像时,攻击不仅要去除图像中存在的重播伪像,而且还必须考虑到受攻击的图像将被再次捕获,然后通过随后的重播过程补偿在攻击之后将重新引入的失真。随后,我们提出了一种方法来制作鲁棒的物理域对抗图像,以对抗基于CNN的人脸认证。通过同时实现以下目标,以这种方式内置的攻击可以成功地通过认证链中的所有步骤(即,面部检测、面部识别和欺骗检测):i)使欺骗检测失败; ii)使面部区域被检测为面部;以及iii)被识别为属于攻击的受害者。在现实环境中,通过考虑REPLAY-MOBILE数据库,并通过将对抗图像馈送到通过手机摄像头捕获输入图像的真实人脸认证系统,实验验证了所提出的攻击的有效性。
2019-10-01 cs.CR
Attacking Split Manufacturing from a Deep Learning Perspective
CUHK(香港中文大学);NYU(纽约大学);NYU Abu Dhabi(纽约大学阿布扎比分校)
集成电路拆分制造的概念是将前端线(FEOL)和后端线(BEOL)部件委托给不同的代工厂,以防止生产过剩、知识产权(IP)盗版或对手在FEOL设施中有针对性地插入硬件木马。在这项工作中,我们挑战的安全承诺,通过制定各种布局层次的布局和布线提示矢量和图像为基础的功能,分裂制造。我们构建了一个复杂的深度神经网络,它可以高精度地推断丢失的BEOL连接。与公开的网络流攻击[1]相比,对于同一组ISCAS-85基准测试,我们在M1上分裂时达到1.21倍的准确率,在M3上分裂时达到1.12倍的准确率,运行时间不到1%。
2020-07-08 cs.CR cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University(本古里安大学)
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击,并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
ATTRITION: Attacking Static Hardware Trojan Detection Techniques Using Reinforcement Learning
Texas A&M University(德克萨斯农工大学)
在集成电路制造过程中插入的隐形硬件木马(HT)可以绕过关键基础设施的安全性。虽然研究人员已经提出了许多技术来检测HT,但存在一些限制,包括:(i)成功率低,(ii)算法复杂度高,以及(iii)大量的测试模式。此外,现有检测技术的最相关的缺点源于不正确的评估方法,即,他们假设对手随机插入HT。这种不适当的对抗性假设使检测技术能够声称高HT检测精度,导致“虚假的安全感”。“不幸的是,据我们所知,尽管在检测制造过程中插入的HT方面进行了十多年的研究,但还没有一致的努力来对HT检测技术进行系统的评估。在本文中,我们扮演一个现实的对手的角色,并通过开发一个自动化的,可扩展的,实用的攻击框架,ATTRITION,使用强化学习(RL)的HT检测技术的有效性的问题。ATTRITION回避了两个HT检测类别中的八种检测技术,展示了其不可知行为。与随机插入的HT相比,ATTRITION实现了$47\times$和$211\times$的平均攻击成功率。我们通过评估从广泛使用的学术套件到大型设计(如开源MIPS和mor1kx处理器到AES和GPS模块)的设计,展示了ATTRITION规避检测技术的能力。此外,我们通过两个案例研究(特权提升和kill switch)展示了在mor1kx处理器上ATTRITION生成的HT的影响。我们设想我们的工作,以及我们发布的HT基准和模型,促进更好的HT检测技术的发展…
2022-08-26 cs.AI cs.CR cs.LG
Attacking AI Accelerators by Leveraging Arithmetic Properties of Addition
University of Houston(休斯顿大学)
本文提出一种利用加法交换性破坏AI模型核心运算的新硬件老化攻击方法,通过排列加法器输入诱导晶体管应力,导致电路延迟退化,实验表明在4年内可使推理准确率下降64%。
2026-03-28 cs.AR cs.CR
V0LTpwn: Attacking x86 Processor Integrity from Software
故障注入攻击在过去已被证明是绕过基于硬件的安全措施的可靠方法,例如加密散列、特权和访问权限实施以及可信执行环境。然而,传统的故障注入攻击需要物理存在,因此在许多现实世界的对手环境中通常被认为是超出范围的。在本文中,我们表明这种假设可能不再是合理的。我们提出了V0LTpwn,一种新的面向硬件,但软件控制的攻击,影响计算的完整性,在几乎任何执行模式的现代x86处理器。据我们所知,这是第一次从软件上攻击x86完整性。我们的攻击背后的关键思想是对物理核心进行欠压,以强制不可恢复的硬件故障。在V0LTpwn攻击下,CPU指令将继续执行错误的结果,而不会崩溃,从而允许利用。与最近提出的利用易受攻击的推测性执行的侧信道攻击相比,V0LTpwn不仅限于信息泄露,还允许对手影响执行,因此有效地破坏了现代x86平台的完整性目标。在我们的详细评估中,我们成功地从特权进程对英特尔SGX安全区发起了基于软件的攻击,以证明V0LTpwn攻击可以成功更改安全区内跨多个CPU版本执行的计算结果。
2019-12-10 cs.CR
Computational Asymmetries in Robust Classification
University of Bologna(博洛尼亚大学)
本文揭示了鲁棒分类中攻击与防御间的计算不对称性,提出概念验证方法 Counter-Attack (CA) 实现不对称性反转,并发布基准数据集 UG100。
2023-06-25 cs.CR cs.LG
MAB-Malware: A Reinforcement Learning Framework for Attacking Static Malware Classifiers
现代商业防病毒系统越来越依赖于机器学习来跟上新恶意软件的猖獗膨胀。然而,众所周知,机器学习模型容易受到对抗性示例(AE)的影响。以前的工作表明,ML恶意软件分类器是脆弱的白盒对抗攻击。然而,商业防病毒产品中使用的ML模型通常对攻击者不可用,只返回硬分类标签。因此,以纯黑盒的方式评估ML模型和真实世界AV的鲁棒性更实际。我们提出了一个基于黑盒强化学习(RL)的框架来生成AE的PE恶意软件分类器和AV引擎。该算法将对抗攻击问题看作是一个多臂强盗问题,在利用成功模式和探索更多多样性之间找到了一个最优平衡。与其他框架相比,我们的改进在于三点。1)通过将生成过程建模为无状态过程来限制探索空间,以避免组合爆炸。2)由于有效载荷在AE生成中的关键作用,我们设计在建模中重用成功的有效载荷。3)最小化AE样本的变化,以正确分配RL学习中的奖励。它还有助于确定逃避的根本原因。因此,我们的框架比其他现成的框架具有更高的黑盒规避率。实验结果表明,在纯黑盒环境下,该算法对两种最大似然检测器的回避率在74%~ 97%之间,对商用AV的回避率在32%~ 48%之间.我们还证明了基于ML的分类器之间的对抗攻击的可转移性高于纯粹基于ML和商业AV之间的攻击可转移性。
2021-04-29 cs.CR
Jointly Attacking Graph Neural Network and its Explanations
The Hong Kong Polytechnic University(香港理工大学);Michigan State University(密歇根州立大学);The Pennsylvania State University(宾夕法尼亚州立大学);City University of Hong Kong(香港城市大学);IBM T.J. Watson(IBM托马斯·J·沃森研究中心)
图神经网络(GNN)已经提高了许多与图相关的任务的性能。尽管取得了巨大的成功,但最近的研究表明,GNN极易受到对抗攻击的攻击,对手可以通过修改图来误导GNN的预测。另一方面,GNN的解释(GNNExplainer)通过生成一个小的子图和对其预测最有影响力的特征来更好地理解经过训练的GNN模型。在本文中,我们首先进行实证研究,以验证GNNExplainer可以作为一个检查工具,并有可能检测到图的对抗性扰动。这一发现促使我们进一步启动一个新的问题调查:是否一个图神经网络和它的解释可以通过修改图与恶意的愿望联合攻击?回答这个问题很有挑战性,因为对抗攻击和绕过GNNExplainer的目标本质上是相互矛盾的。在这项工作中,我们通过提出一个新的攻击框架(GEAttack)来对这个问题给出一个肯定的答案,该框架可以通过同时利用GNN模型及其解释的漏洞来攻击它们。在两个解释器(GNNExplainer和PGExplainer)上进行的大量实验表明了该方法的有效性。
2022-11-22 cs.AI cs.CR cs.LG
Attacking Graph Convolutional Networks via Rewiring
Michigan State University(密歇根州立大学);The Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
图神经网络(GNNs)已经提高了许多图相关任务的性能,例如节点分类和图分类。最近的研究表明,图神经网络容易受到对抗攻击,这些攻击故意向图结构添加精心创建的不明显的扰动。扰动通常通过添加/删除一些边来创建,即使修改的边的数量很小,这也可能是明显的。在本文中,我们提出了一个图形重新布线操作,它会影响图中的一个不太明显的方式相比,添加/删除边缘。然后,我们使用强化学习学习的基础上提出的重新布线操作的攻击策略。真实世界图上的实验证明了所提出的框架的有效性。为了理解所提出的框架,我们进一步分析了它对图结构产生的扰动如何影响目标模型的输出。
2019-09-28 cs.CR cs.LG stat.ML
MULDEF: Multi-model-based Defense Against Adversarial Examples for Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管神经网络模型在许多应用中被广泛使用,但已发现其易受对抗性示例的影响,即,精心制作的例子,旨在误导机器学习模型。对抗性示例可能会对安全和安全关键应用程序构成潜在风险。然而,现有的防御方法仍然容易受到攻击,特别是在白盒攻击场景中。为了解决这个问题,我们提出了一种新的防御方法,名为MulDef,基于鲁棒性多样性。我们的方法包括(1)一个通用的防御框架,基于多个模型和(2)生成这些多个模型,以实现高防御能力的技术。特别是,给定一个目标模型,我们的框架包括多个模型(从目标模型构建),以形成一个模型家族。模型族被设计成实现鲁棒性多样性(即,成功攻击一个模型的对抗性示例不能成功攻击家族中的其他模型)。在运行时,从要应用于每个输入示例的族中随机选择一个模型。我们的一般框架可以激发丰富的未来的研究,以构建一个理想的模型家庭实现更高的鲁棒性多样性。我们的评估结果表明,MulDef(家族中最多只有5个模型)可以在白盒攻击场景中将目标模型在对抗性示例上的准确性提高22-74%,同时在合法示例上保持类似的准确性。
2019-07-27 cs.CR cs.LG stat.ML
White-Box Multi-Objective Adversarial Attack on Dialogue Generation
University of California, Riverside(加州大学河滨分校)
提出白盒多目标对抗攻击方法DGSlow,通过平衡生成准确性与长度目标,迭代构造对抗样本,显著降低对话生成模型性能并具可迁移性。
2023-05-08 cs.CL cs.CR cs.LG
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
鉴于能够直接操纵数字输入空间中的图像像素,攻击者可以很容易地生成难以察觉的扰动来欺骗深度神经网络(DNN)图像分类器,如先前的工作所示。在这项工作中,我们提出了ShapeShifter,这是一种解决更具挑战性的问题的攻击,即制作物理对抗扰动来欺骗基于图像的对象检测器,如Faster R-CNN。攻击目标检测器比攻击图像分类器更困难,因为它需要在具有不同尺度的多个边界框中误导分类结果。将数字攻击扩展到物理世界增加了另一层难度,因为它需要扰动足够强大,以承受由于不同的观看距离和角度,照明条件和相机限制而导致的真实世界失真。我们表明,期望的变换技术,这是最初提出的,以提高对抗扰动的鲁棒性图像分类,可以成功地适应目标检测设置。ShapeShifter可以生成被Faster R-CNN错误检测为其他物体的逆向扰动停车标志,对自动驾驶汽车和其他安全关键型计算机视觉系统构成潜在威胁。
2019-05-01 cs.CR cs.CV cs.LG
AutoZOOM: Autoencoder-based Zeroth Order Optimization Method for Attacking Black-box Neural Networks
University of Michigan(密歇根大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);JD AI Research(京东人工智能研究院);National Taiwan University of Science and Technology(台湾科技大学)
最近的研究表明,当目标模型对攻击者透明时,由深度神经网络(DNN)训练的最先进的图像分类器中的对抗性示例可以很容易地生成,称为白盒设置。然而,当攻击部署的机器学习服务时,只能获取目标模型的输入输出对应关系;这就是所谓的黑盒攻击设置。现有的黑盒攻击的主要缺点是需要过多的模型查询,这可能会给一个错误的感觉模型的鲁棒性,由于低效的查询设计。为了弥合这一差距,我们提出了一个通用的框架查询效率的黑盒攻击。我们的框架AutoZOOM是Autoencoder-based Zeroth Order Optimization Method的缩写,它有两个新的构建模块来实现高效的黑盒攻击:(i)一个自适应随机梯度估计策略来平衡查询计数和失真,以及(ii)一个自动编码器,它可以使用未标记的数据进行离线训练,也可以使用双线性递归操作来加速攻击。实验结果表明,通过将AutoZOOM应用于最先进的黑盒攻击(ZOO),可以在不牺牲攻击成功率和所产生的对抗性示例的视觉质量的情况下显著减少模型查询。特别是,与标准的ZOO方法相比,AutoZOOM在MNIST、CIFAR-10和ImageNet数据集上找到成功的对抗性示例(或达到相同的失真水平)时,可以将平均查询计数持续减少至少93%,从而对对抗性鲁棒性产生了新的见解。
2020-01-31 cs.CR cs.CV stat.ML
Attacking Graph-based Classification via Manipulating the Graph Structure
基于图的分类方法广泛用于安全和隐私分析。基于图的分类方法大致包括集合分类和图神经网络。规避基于图的分类方法使攻击者能够逃避安全分析中的检测,并且可以用作针对推理攻击的隐私防御。现有的对抗性机器学习研究主要集中在非图数据的机器学习上。最近只有少数研究涉及基于图的对抗性分类方法。然而,他们专注于图神经网络方法,而对抗性集体分类在很大程度上尚未探索。我们的目标是在这项工作中弥合这一差距。我们首先提出了一个威胁模型来描述集体分类方法的攻击面。具体来说,我们沿着三个维度来描述攻击者的背景知识:方法的参数、训练数据集和完整的图;攻击者的目标是通过操纵图结构来逃避检测。我们将我们的攻击公式化为基于图的优化问题,解决该问题会产生攻击者需要操纵以实现其攻击目标的边缘。此外,我们提出了几种近似技术来解决优化问题。我们评估我们的攻击,并将其与最近设计的图神经网络攻击进行比较。实验结果表明,该攻击1)能够有效地规避基于图的分类方法; 2)不需要访问真实参数、真实训练数据集和/或完整图; 3)在规避集体分类方法和某些图神经网络方法方面优于现有攻击。我们还应用我们的攻击来逃避使用大规模Twitter数据集的Sybil检测,并应用我们的攻击作为对使用大规模Google+数据集的属性推断攻击的防御。
2019-08-13 cs.CR
Multi-Label Adversarial Perturbations
Department of Computer Science and Engineering, Texas A&M University(德克萨斯农工大学计算机科学与工程系)
对抗性示例是微妙扰动的输入,旨在误导机器学习模型走向不正确的输出。虽然大多数现有的工作集中在多类分类问题中产生对抗性扰动,但许多现实世界的应用程序都属于多标签设置,其中一个实例可能与多个标签相关联。例如,垃圾邮件制造者可能会生成带有恶意广告的对抗性垃圾邮件,同时保持其他标签(如主题标签)不变。为了分析多标签学习模型的脆弱性和鲁棒性,我们研究了多标签对抗性扰动的生成。这是一项具有挑战性的任务,因为与一个实例相关联的正标签的数量不确定,以及多个标签通常彼此不互斥的事实。为了弥补这一缺陷,本文提出了一种针对多标签分类问题的通用攻击框架,并对深度神经网络的扰动进行了初步分析。利用标签之间的排序关系,我们进一步设计了一个基于排序的框架来攻击多标签排序算法。我们指定了两个拟议的框架之间的连接,并分别设计了两个具体的方法接地上的每一个产生有针对性的多标签扰动。在真实世界的多标签图像分类和排序问题上的实验证明了我们提出的框架的有效性,并提供了不同的有针对性的攻击策略下的多标签深度学习模型的脆弱性的见解。几个有趣的发现,包括一个未经打磨的防御策略,这可能会提高多标签深度学习模型的可解释性和鲁棒性,在最后进一步提出和讨论。
2019-01-02 cs.CR cs.LG stat.ML
Jekyll: Attacking Medical Image Diagnostics using Deep Generative Models
Virginia Tech(弗吉尼亚理工大学);University of Virginia(弗吉尼亚大学)
深度神经网络(DNN)的进展在医学领域显示出巨大的前景。然而,帮助该领域的深度学习工具也可以用来对付它。鉴于医疗保健领域欺诈的普遍性,在操纵对患者医疗保健至关重要的敏感数据时,考虑DNN的对抗性使用非常重要。在这项工作中,我们提出了一个基于DNN的图像翻译攻击生物医学图像的设计和实现。更具体地说,我们提出了Jekyll,这是一种神经风格转移框架,它将患者的生物医学图像作为输入,并将其转换为指示攻击者选择的疾病状况的新图像。基于这种生成的“假”医学图像的欺诈性索赔的可能性是显着的,我们证明了成功的攻击X射线和视网膜眼底图像模式。我们表明,这些攻击能够误导医疗专业人员和算法检测方案。最后,我们还研究了基于机器学习的防御措施来检测Jekyll生成的图像。
2021-04-05 cs.CR cs.CV cs.LG
Adversarial Images through Stega Glasses
本文探讨了隐写术和对抗性图像之间的联系。一方面,隐写分析有助于检测对抗性扰动。另一方面,隐写术有助于伪造对抗性的扰动,这些扰动不仅人眼看不见,而且在统计上也无法检测到。这项工作解释了如何使用这些信息隐藏工具攻击或防御计算机视觉图像分类。我们用最先进的分类器、隐写分析器和隐写嵌入方案玩这个猫捉老鼠的游戏。事实证明,隐写术对攻击者的帮助大于防御者。
2020-10-15 cs.CR eess.IV eess.SP
Breaking Audio Large Language Models by Attacking Only the Encoder: A Universal Targeted Latent-Space Audio Attack
Ben Gurion University of the Negev(贝纳乔大学奈夫分校);Deepkeep
本文提出了一种针对音频大语言模型编码器的通用潜在空间攻击方法,通过操纵音频潜在表示实现目标输出,展示了编码器层面的安全漏洞。
2025-12-29 cs.AI cs.CR cs.SD
Joint Universal Adversarial Perturbations with Interpretations
The Hong Kong Polytechnic University(香港理工大学);Huawei Hong kong Research Center(华为香港研究中心)
针对DNN分类与归因解释可能被通用对抗扰动同时破坏的问题,提出JUAP框架生成联合通用对抗扰动,并在多数据集上验证其攻击有效性。
2024-08-03 cs.AI cs.CR
Evaluating Membership Inference Through Adversarial Robustness
Southwest University(西南大学);Deakin University(迪肯大学);Huazhong University of Science and Technology(华中科技大学)
深度学习的使用正在许多应用中升级。由于其出色的性能,除了传统应用外,它还被用于各种安全和隐私敏感领域。深度学习功效的关键方面之一是拥有丰富的数据。这种特性导致使用高度敏感和私密的数据,这反过来又导致公众对深度学习持谨慎态度。成员推断攻击被认为是致命的,因为它们可以用来判断一段数据是否属于训练数据集。这在训练数据信息及其特性的泄漏方面可能是有问题的。为了突出这些类型的攻击的重要性,我们提出了一种增强的方法,成员推断攻击的基础上对抗性的鲁棒性,通过调整方向的对抗性扰动通过标签平滑下的白盒设置。我们在三个数据集上评估了我们提出的方法:Fashion-MNIST,CIFAR-10和CIFAR-100。我们的实验结果表明,我们的方法的性能超过现有的对抗鲁棒性为基础的方法时,攻击正常训练的模型。此外,通过将我们的技术与最先进的基于度量的成员推理方法进行比较,我们提出的方法在攻击对抗训练模型时也表现出更好的性能。用于再现这项工作的结果的代码可在\url{https://github.com/plll4zzx/Evaluating-Membership-Inference-Through-Adversarial-Robustness}上获得。
2022-05-14 cs.AI cs.CR
Generalized Power Attacks against Crypto Hardware using Long-Range Deep Learning
本文提出首个无需手动调整即可泛化至多种算法与对策的功耗侧信道深度学习分析系统 GPAM,成功攻击多种硬化的加密硬件实现,为芯片设计团队提供低成本自动化的安全评估方案。
2024-04-26 cs.CR
The Role of Learning in Attacking ML-based Network Intrusion Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出轻量级对抗代理,利用强化学习评估ML入侵检测模型鲁棒性,通过离线学习生成可重用策略,提升攻击效率和可扩展性。
2026-09-24 cs.CR
R-HTDetector: Robust Hardware-Trojan Detection Based on Adversarial Training
硬件木马(HTs)已经成为一个严重的问题,并且为了增强集成电路的安全性和可靠性,强烈需要消灭它们。一种有效的解决方案是通过机器学习技术在门级识别HT。然而,机器学习有特定的漏洞,例如对抗性示例。实际上,据报道,对抗性修改的HT极大地降低了基于机器学习的HT检测方法的性能。因此,我们提出了一种使用对抗训练的鲁棒HT检测方法(R-HTDetector)。我们正式描述了R-HTDetector在修改HT时的鲁棒性。我们的工作为HT检测提供了世界上第一个具有理论背景的对抗训练。我们通过使用Trust-HUB基准测试的实验表明,R-HTDetector克服了对抗性示例,同时保持了其原有的准确性。
2022-05-27 cs.CR
Unrestricted Adversarial Samples Based on Non-semantic Feature Clusters Substitution
Huazhong University of Science and Technology(华中科技大学)
目前大多数方法都使用$L_p$规范生成对抗性示例。因此,许多防御方法利用这一特性来消除这种攻击算法的影响。在本文中,我们引入了“无限制”扰动,通过使用通过模型训练学习的虚假关系来创建对抗样本。具体来说,我们发现的非语义特征,与模型的判断结果强烈相关的特征集群,并把它们作为虚假的关系学习的模型。然后,我们通过使用它们来替换目标图像中相应的特征聚类来创建对抗样本。实验评估表明,在黑盒和白盒的情况下。我们的对抗性示例不会改变图像的语义,同时仍然可以有效地欺骗经过对抗性训练的DNN图像分类器。
2022-08-31 cs.CR cs.CV