Adversarial training may be a double-edged sword
North Carolina State University(北卡罗来纳州立大学);ETH Zürich(苏黎世联邦理工学院)
对抗性训练已被证明是提高图像分类器对抗白盒攻击的鲁棒性的有效方法。然而,它对黑箱攻击的有效性更加微妙。在这项工作中,我们证明了对抗性训练对深度网络决策边界的一些几何后果为某些类型的黑盒攻击提供了优势。特别是,我们定义了一个称为鲁棒性增益的度量,以表明虽然对抗性训练是一种有效的方法,可以显着提高白盒场景中的鲁棒性,但它可能无法提供针对更现实的基于决策的黑盒攻击的良好鲁棒性增益。此外,我们表明,即使是最小扰动的白盒攻击可以收敛更快对抗训练的神经网络相比,常规的。
2021-07-24 cs.CR cs.CV cs.LG
White-to-Black: Efficient Distillation of Black-Box Adversarial Attacks
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对抗性示例对于理解神经模型的行为非常重要,并且可以通过对抗性训练来提高其鲁棒性。自然语言处理的最新工作通过假设对受攻击模型的白盒访问并直接针对它优化输入来生成对抗性示例(Ebrahimi等人,2018年)。在这项工作中,我们表明,隐含在优化过程中的知识可以被提炼到另一个更有效的神经网络。我们训练一个模型来模拟白盒攻击的行为,并表明它在示例中具有很好的泛化能力。此外,它将对抗性示例生成时间减少了19 - 39倍。我们还表明,我们的方法转移到一个黑盒设置,通过攻击谷歌透视API和暴露其漏洞。我们的攻击在42%的生成示例中翻转了API预测的标签,而人类在预测黄金标签时保持了高准确性。
2019-04-04 cs.CR cs.LG stat.ML
"What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
机器学习模型现在被广泛部署在现实世界的应用中。然而,对抗性例子的存在一直被认为是对这些模型的真正威胁。虽然已经提出了许多旨在提高鲁棒性的防御措施,但许多已被证明是无效的。由于这些漏洞仍然远远没有被消除,我们提出了一种替代的基于部署的防御模式,超越了传统的白盒和黑盒威胁模型。代替训练单个部分鲁棒的模型,可以训练一组具有相同功能但不相交的模型,其具有最小的中间攻击可转移性。然后,这些模型可以随机和单独部署,这样访问其中一个模型对其他模型的影响最小。我们对CIFAR-10和各种攻击的实验表明,与集成多样性的基线相比,我们在不相交模型中实现了显着降低的攻击可转移性。此外,与对抗训练集相比,我们在保持干净示例准确性的同时,实现了更高的平均鲁棒准确性。
2021-03-09 cs.CR cs.CV cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia(不列颠哥伦比亚大学)
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络,特别是对于大尺寸图像。然而,保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常,由于其令人不快的视觉质量,这种对抗性示例可以很容易地被发现,这在实践中损害了对抗攻击的威胁。在这项研究中,为了提高图像质量的黑盒对抗性的例子感知,我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说,我们允许对感知无关紧要的区域进行更高的扰动,而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动,我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换(DCT)域。由于所提出的攻击是独立的梯度估计,他们可以直接与现有的基于梯度的攻击。实验结果表明,与可比的攻击成功率(ASR),所提出的方法可以产生对抗性的例子,大大提高了视觉质量的免费。在感知质量相当的情况下,所提出的方法实现了更高的攻击成功率:特别是对于频率结构感知攻击,平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan(巴基斯坦旁遮普信息技术大学);Hamad Bin Khalifa University, Qatar(卡塔尔哈马德·本·哈利法大学)
最近,在文献中已经提出了许多基于深度神经网络(DNN)的调制分类方案。我们已经评估了两个著名的这样的调制分类器(基于卷积神经网络和长短期记忆的技术)对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner(C-W)攻击来执行对抗攻击。据我们所知,这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明,最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University(复旦大学)
最近的研究表明,在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能,这引发了现实世界DNN应用程序的安全问题。然而,现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性,即,利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说,由于观察到图像和视频帧之间的低级特征空间相似,我们提出了一种简单而有效的跨模态攻击方法,称为图像到视频(I2 V)攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧,然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明,I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上,I2 V的平均攻击成功率分别为77.88%和65.68%,这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Black-box Adversarial Transferability: An Empirical Study in Cybersecurity Perspective
Aligarh Muslim University(阿里格尔穆斯林大学)
本研究从网络安全视角实证检验黑盒对抗迁移性,基于CICDDoS-2019数据集实验发现深度学习模型即便在攻击者不掌握内部细节时也易受对抗攻击,白盒攻击影响更严重,凸显了研究对抗防御技术的必要性。
2024-04-15 cs.CR cs.LG
MedAttacker: Exploring Black-Box Adversarial Attacks on Risk Prediction Models in Healthcare
The Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学);Amplitude(Amplitude公司)
深度神经网络(DNN)已被广泛用于健康风险预测,以提供医疗诊断和治疗。为了评估其鲁棒性,现有的研究进行对抗攻击在白/灰盒设置模型参数是可访问的。然而,更现实的黑盒对抗攻击被忽略了,即使大多数真实世界模型都是用私有数据训练的,并作为云上的黑盒服务发布。为了填补这一空白,我们提出了第一个黑盒对抗攻击方法对健康风险预测模型命名MedAttacker调查他们的脆弱性。MedAttacker通过两个步骤来解决EHR数据带来的挑战:分层位置选择,在强化学习(RL)框架中选择被攻击的位置;替代选择,使用基于分数的原则识别替代。特别地,通过考虑EHR内部的时间上下文,利用每次访问的贡献得分和每个代码的显著性得分来优化其RL位置选择策略,该策略可以很好地与由得分变化决定的确定性替代选择过程相结合。在实验中,MedAttacker始终达到最高的平均成功率,甚至在某些情况下,当在多个真实世界数据集的黑盒设置中攻击三个高级健康风险预测模型时,其性能甚至超过了最近的白盒EHR对抗攻击技术。此外,基于实验结果,我们还讨论了电子病历的防御对抗攻击。
2021-12-11 cs.AI cs.CR cs.LG
Sparse-RS: a versatile framework for query-efficient sparse black-box adversarial attacks
EPFL(洛桑联邦理工学院)
我们提出了一个通用的框架,基于随机搜索,稀疏RS,基于分数的稀疏有针对性和无针对性的攻击在黑盒设置。Sparse-RS不依赖于替代模型,并实现了最先进的成功率和查询效率的多个稀疏攻击模型:$l_0$ -有界扰动,对抗补丁和对抗帧。$l_0$版本的无目标Sparse-RS在MNIST、CIFAR-10和ImageNet上的性能优于所有黑盒甚至所有白盒攻击。此外,我们的非靶向稀疏RS即使对于具有挑战性的$20\times20$对抗补丁和$2$像素宽对抗帧的设置,对于$224\times224$图像也实现了非常高的成功率。最后,我们证明了Sparse-RS可以用于生成有针对性的通用对抗补丁,其性能显着优于现有方法。我们框架的代码可以在https://github.com/fra31/sparse-rs上找到。
2022-02-08 cs.CR cs.CV cs.LG
Gray-box Adversarial Training
Indian Institute of Science(印度科学学院)
对抗性样本是精心设计的干扰输入,用于误导机器学习系统。引入了一种称为对抗性训练的训练机制,它将对抗性样本与干净样本一起呈现,以学习鲁棒模型。为了扩展大型数据集的对抗训练,这些扰动只能使用快速简单的方法(例如,梯度上升)。然而,它表明,对抗训练收敛到一个退化的最小值,其中该模型似乎是强大的,通过产生较弱的对手。因此,这些模型容易受到简单的黑盒攻击。在本文中,我们(i)证明了现有评估策略的缺点,(ii)介绍了白盒和黑盒攻击的新变体,称为灰盒对抗攻击“,基于此,我们提出了新的评估方法来评估学习模型的鲁棒性,以及(iii)提出了对抗训练的新变体,名为“灰盒对抗训练”,使用模型的中间版本来播种对手。实验结果表明,与无防御和对抗训练的模型相比,该方法训练的模型具有更好的鲁棒性
2018-08-06 cs.CV cs.LG stat.ML
You Only Query Once: Effective Black Box Adversarial Attacks with Minimal Repeated Queries
Bosch Center for AI(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa AI);Carnegie Mellon University(卡内基梅隆大学)
研究人员一再表明,对深度分类器进行对抗攻击(显著改变类别标签的小扰动)是可能的,即使是在“黑盒”设置中,也只能查询分类器。然而,黑盒设置中的所有先前工作都通过重复查询同一图像并进行微小修改来攻击分类器,通常是数千次或更多,这使得防御者很容易检测到随后的攻击。在这项工作中,我们证明了在黑盒设置中通过只查询一次不同图像的序列来制作(通用)对抗性扰动是可能的。这种攻击会阻止从大量相似查询中检测到数据,并产生一种扰动,当应用于分类器的任何输入时,这种扰动会导致错误分类。在实验中,我们证明了遵守这一限制的攻击可以产生非目标性的对抗性扰动,这些扰动可以欺骗绝大多数MNIST和CIFAR-10分类器输入,以及ImageNet分类器上超过$60-70\%$的输入。在有针对性的设置中,我们展示了针对ImageNet分类器的黑盒通用攻击,当每个图像只允许一个查询时,成功率高于$20\%$,当每个图像允许两个查询时,成功率高于$66\%$。
2021-01-29 cs.CR cs.LG
Taking Care of The Discretization Problem: A Comprehensive Study of the Discretization Problem and A Black-Box Adversarial Attack in Discrete Integer Domain
Nanjing University(南京大学);ShanghaiTech University(上海科技大学)
最近提出了许多制作对抗性示例的方法,成功率很高。由于大多数现有的基于机器学习的分类器首先将图像归一化到一些连续的实向量域,因此攻击通常在此类域中制作对抗性示例。然而,“对抗性”示例在将其反规范化回到离散整数域(称为离散化问题)后可能会变得良性。这个问题在一些研究中被提及,但受到的关注相对较少。在这项工作中,我们首先对现有的制作方法和工具进行了全面的研究。我们从理论上分析了34种有代表性的方法,并从经验上研究了20种有代表性的开源工具,用于制作对抗图像。我们的研究表明,离散化问题远比原来想象的要严重。这表明,在制作对抗性示例和测量攻击成功率时,应该认真考虑离散化问题。作为在黑盒场景中解决这个问题的第一步,我们提出了一个黑盒方法,该方法将对抗性示例搜索问题减少为无导数优化问题。我们的方法能够通过离散整数域中的无导数搜索来制作对抗图像。实验结果表明,我们的方法与最近的白盒方法(例如,FGSM,BIM和C\&W),并且在离散整数域中的对抗性示例方面比最近的黑盒方法(例如,ZOO、NES-PGD和Bandits)。此外,我们的方法能够处理不可微的模型,并以95%的成功率成功打破NIPS 2017年防御竞赛的冠军。我们的研究结果表明,离散优化算法开辟了一个有前途的研究领域,有效的黑盒攻击。
2020-04-26 cs.CR cs.LG stat.ML
Optimizing One-pixel Black-box Adversarial Attacks
National University of Singapore(新加坡国立大学)
深度神经网络(DNN)的输出可以通过对DNN进行多次调用来改变黑盒设置中的输入的小扰动。然而,所需的高计算量和时间使得现有的方法无法使用。这项工作旨在改善一个像素(少像素)的黑盒对抗攻击,以减少对网络的攻击调用的数量。单像素攻击使用非梯度优化算法在固定像素数量的约束下找到像素级扰动,这会导致网络为给定图像预测错误的标签。我们通过实验结果表明,如何选择的优化算法和初始位置搜索可以减少函数调用,并显着增加攻击成功,使攻击更实用的现实世界中的设置。
2022-04-30 cs.CR cs.LG
Art-Attack: Black-Box Adversarial Attack via Evolutionary Art
University of Exeter(埃克塞特大学)
深度神经网络(DNN)在许多任务中已经实现了最先进的性能,但在对抗性示例生成的攻击中表现出极端的脆弱性。许多作品都采用白盒攻击,假设可以完全访问目标模型,包括其架构和梯度。一个更现实的假设是黑盒场景,其中攻击者只能通过查询一些输入并观察其预测的类概率来访问目标模型。与大多数使用替代模型或梯度估计的黑箱攻击不同,本文提出了一种无梯度攻击,该攻击使用进化艺术的概念来生成对抗性示例,该示例迭代地进化一组重叠的透明形状。为了评估我们所提出的方法的有效性,我们有针对性地攻击了三个在CIFAR-10数据集上训练的最先进的图像分类模型。我们进行了参数研究,概述了形状的数量和类型对拟议的攻击的性能的影响。与最先进的黑盒攻击相比,我们的攻击在生成对抗性示例方面更有效,并且在所有三个基线模型上都实现了更高的攻击成功率。
2022-03-07 cs.CR cs.LG cs.NE
Simple Black-box Adversarial Attacks
Cornell University(康奈尔大学);Uber AI Labs(优步人工智能实验室)
我们提出了一个有趣的简单的方法,用于在黑盒设置中构建对抗图像。在白盒场景中,构建黑盒对抗图像对查询预算有额外的约束,有效的攻击仍然是一个悬而未决的问题。只有连续值置信分数的温和假设,我们的高查询效率算法利用以下简单的迭代原理:我们从预定义的正交基随机采样一个向量,并将其添加或减去目标图像。尽管它很简单,但所提出的方法可以用于无目标和有目标的攻击,从而在这两种情况下都实现了前所未有的查询效率。我们展示了我们的算法在几个现实世界的设置,包括谷歌云视觉API的功效和效率。我们认为,我们提出的算法应该作为未来黑盒攻击的强大基线,特别是因为它非常快,其实现需要不到20行PyTorch代码。
2019-08-15 cs.CR cs.LG stat.ML
NATTACK: Learning the Distributions of Adversarial Examples for an Improved Black-Box Attack on Deep Neural Networks
University of Central Florida(中佛罗里达大学);Hong Kong University of Science and Technology(香港科技大学);Google(谷歌)
强大的对抗攻击方法对于理解如何构建强大的深度神经网络(DNN)和彻底测试防御技术至关重要。在本文中,我们提出了一个黑盒对抗攻击算法,可以击败香草DNN和最近开发的各种防御技术产生的。我们的算法不是为目标DNN的良性输入搜索“最佳”对抗性示例,而是在以输入为中心的小区域上找到概率密度分布,因此从该分布中提取的样本可能是对抗性示例,而无需访问DNN的内部层或权重。我们的方法是通用的,因为它可以成功地攻击不同的神经网络由一个单一的算法。它也是强大的;通过对2个vanilla DNN和13个防御DNN的测试,对于大多数测试用例,它的性能优于最先进的黑盒或白盒攻击方法。此外,我们的研究结果表明,对抗性训练仍然是最好的防御技术之一,并且对抗性示例在防御DNN之间的可转移性不如在普通DNN之间的可转移性。
2019-12-09 cs.CR cs.CV cs.LG
Certifiable Black-Box Attacks with Randomized Adversarial Examples: Breaking Defenses with Provable Confidence
University of Connecticut(康涅狄格大学);Zhejiang University(浙江大学);Illinois Institute of Technology(伊利诺伊理工大学)
本文提出带可证明攻击成功率保证的随机化对抗样本黑盒攻击,通过理论保证与低扰动制作技术,在视觉和语音任务上攻破多种 SOTA 防御。
2024-09-06 cs.CR cs.LG
A Frank-Wolfe Framework for Efficient and Effective Adversarial Attacks
University of Virginia(弗吉尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校);JD AI Research(京东人工智能研究院)
根据攻击者能够获取的信息量,对抗攻击可以分为白盒攻击和黑盒攻击。对于白盒攻击,基于优化的攻击算法(例如投影梯度下降(PGD))可以在适度的迭代次数内获得相对较高的攻击成功率。然而,它们倾向于在扰动集的边界附近或之上生成对抗性的示例,从而导致大的失真。此外,其相应的黑盒攻击算法也遭受高的查询复杂度,从而限制了它们的实用性。在本文中,我们专注于开发高效和有效的基于优化的对抗攻击算法的问题。特别是,我们提出了一种新的对抗攻击框架的白盒和黑盒设置的基础上的一个变体的弗兰克-沃尔夫算法。我们在理论上表明,所提出的攻击算法是有效的$O(1/\sqrt{T})$收敛速度。对ImageNet和MNIST数据集的实验结果也验证了算法的有效性。更具体地说,我们提出的算法在所有基线中的白盒和黑盒攻击中都获得了最佳的攻击性能,并且比最先进的算法具有更高的时间和查询效率。
2019-09-15 cs.CR cs.LG stat.ML
Structure-Preserving Progressive Low-rank Image Completion for Defending Adversarial Attacks
University of Missouri(密苏里大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
深度神经网络通过分析局部图像细节并沿着推理层总结其信息来识别对象,以得出最终决策。正因为如此,他们容易受到对抗攻击。输入图像中的小的复杂噪声可以沿着网络推理路径积累,并在网络输出处产生错误的决策。另一方面,人眼基于其全局结构和语义线索而不是局部图像纹理来识别对象。正因为如此,人眼仍然可以清楚地识别图像中的对象,这些对象已被对抗攻击严重损坏。这导致了一种非常有趣的方法来保护深度神经网络免受对抗攻击。在这项工作中,我们提出了一种结构保持渐进式低秩图像完成(SPLIC)方法,从输入图像中删除不需要的纹理细节,并将深度神经网络的偏见转向全局对象结构和语义线索。我们将问题转化为一个低秩矩阵完备化问题,逐步平滑秩函数,以避免在优化过程中出现局部极小值。我们的实验结果表明,该方法能够成功地去除不重要的局部图像细节,同时保留重要的全局对象结构。在黑盒、灰盒和白盒攻击中,我们的方法优于现有的防御方法(高达12.6%),并显着提高了网络的对抗鲁棒性。
2021-03-04 cs.AI cs.CV cs.LG
LISArD: Learning Image Similarity to Defend Against Gray-box Adversarial Attacks
Instituto de Telecomunicações(电信研究院);Universidade da Beira Interior(贝拉内华大学)
针对灰盒攻击,提出LISArD防御方法,通过将图像嵌入的互相关矩阵对角化同时学习分类,无需对抗训练即可提升鲁棒性,并适用于多种架构。
2025-02-27 cs.CR cs.CV cs.LG
Improving Query Efficiency of Black-box Adversarial Attack
Tsinghua Berkeley Shenzhen Institute, Tsinghua University(清华大学清华伯克利深圳学院);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信与安全研究中心(PCL));Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shanghai Jiao Tong University(上海交通大学);vivo AI Lab(vivo人工智能实验室)
深度神经网络(DNN)在各种任务上表现出了出色的性能,但它们面临着对抗性示例的风险,当攻击者可以访问目标模型时(白盒设置),这些示例可以很容易地生成。由于大量的机器学习模型已经通过在线服务部署,这些服务只提供来自不可访问模型的查询输出(例如Google Cloud Vision API 2),因此黑盒对抗攻击(不可访问的目标模型)在实践中是关键的安全问题,而不是白盒。然而,现有的基于查询的黑盒对抗攻击往往需要过多的模型查询来维持高的攻击成功率。因此,为了提高查询效率,本文利用神经过程表征的图像结构信息,探索良性输入周围的对抗性样本分布,提出了一种基于神经过程的黑盒对抗攻击(NP-Attack)。大量的实验表明,NP攻击可以大大减少黑盒设置下的查询次数。
2020-09-25 cs.LG stat.ML
Prior Convictions: Black-Box Adversarial Attacks with Bandits and Priors
MIT(麻省理工学院(MIT))
我们研究了在黑盒设置中生成对抗性示例的问题,在黑盒设置中,只有损失预言机访问模型可用。我们引入了一个框架,在概念上统一了许多现有的黑盒攻击的工作,我们证明了目前最先进的方法是最佳的自然意义上。尽管有这种最优性,我们展示了如何通过将一个新元素引入问题来改进黑盒攻击:梯度先验。我们给出了一个基于强盗优化的算法,使我们能够无缝集成任何这样的先验,我们明确地确定并纳入两个例子。由此产生的方法使用两到四倍少的查询和失败的两到五倍,比目前的最先进的。
2019-03-28 cs.CR cs.LG stat.ML
Hessian-Aware Zeroth-Order Optimization for Black-Box Adversarial Attack
Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室)
零阶优化是机器学习中的一个重要研究课题。近年来,它已成为对基于神经网络的图像分类器进行黑盒对抗攻击的重要工具。然而,现有的零阶优化算法很少提取模型函数的二阶信息。在本文中,我们利用二阶信息的目标函数,并提出了一种新的\textit{Hessian-aware zeroth-order algorithm}称为\texttt{ZO-HessAware}。我们的理论结果表明,\texttt{ZO-HessAware}有一个改进的零阶收敛速度和查询复杂度下的结构海森近似,我们提出了一些近似方法估计海森。我们对黑盒对抗攻击问题的实证研究验证了我们的算法可以在较低的查询复杂度下提高成功率。
2019-03-20 cs.CR cs.LG stat.ML
Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)在许多具有挑战性的机器学习任务中表现出令人印象深刻的性能。然而,DNN容易受到通过向良性输入添加恶意制作的扰动而生成的对抗性输入的影响。据报告,越来越多的攻击产生了不同复杂程度的对抗性投入,因此,防御-攻击军备竞赛加快了。在本文中,我们提出了MODEF,跨层模型多样性集成框架。MODEF通过量化模型多样性,智能地将无监督模型去噪集成与有监督模型验证集成相结合,旨在提高目标模型对对抗性示例的鲁棒性。使用流行的基准数据集上的11个代表性攻击进行评估,我们表明,与现有的防御方法相比,MODEF实现了显着的防御成功率,并提供了卓越的修复对抗性输入的能力,并在黑盒攻击的存在下以高精度做出正确的预测。
2019-10-26 cs.CR cs.LG stat.ML
Improving Black-box Adversarial Attacks with a Transfer-based Prior
Tsinghua University(清华大学)
我们考虑黑盒对抗设置,其中对手必须生成对抗扰动,而无需访问目标模型来计算梯度。以前的方法试图通过使用代理白盒模型的转移梯度或基于查询反馈来近似梯度。然而,这些方法往往遭受低攻击成功率或查询效率差,因为它是不平凡的估计在一个高维空间的有限信息的梯度。为了解决这些问题,我们提出了一种先验引导的随机无梯度(P-RGF)方法来改善黑盒对抗攻击,它同时利用基于传输的先验和查询信息。通过理论分析得出的最优系数,将基于转移的先验知识(由代理模型的梯度给出)适当地融入到我们的算法中。大量的实验表明,我们的方法需要更少的查询,以更高的成功率攻击黑盒模型相比,替代国家的最先进的方法。
2020-07-26 cs.CR cs.CV cs.LG
Strong Black-box Adversarial Attacks on Unsupervised Machine Learning Models
从视觉到自然语言建模,机器学习(ML)和深度学习(DL)模型在多个学习任务上实现了最先进的性能。随着ML和DL越来越多地被计算机科学的许多领域所采用,最近的研究也开始关注这些模型的安全属性。已经进行了大量的工作来了解(深度)神经网络架构是否能够抵御黑盒对抗攻击,黑盒攻击可以在不知道所使用的架构的情况下制作受干扰的输入样本来欺骗分类器。最近的工作也集中在对抗攻击的可转移性上,并发现对抗攻击通常很容易在模型、数据集和技术之间转移。然而,这种攻击及其分析尚未从无监督机器学习算法的角度涵盖。在本文中,我们试图通过多种贡献来弥合这一差距。我们首先提供了一个强大的(迭代)黑盒对抗攻击,可以制作对抗样本,将不正确的聚类算法的选择无关。我们选择了4个突出的聚类算法,以及一个真实世界的数据集来展示所提出的对抗算法的工作。使用这些聚类算法,我们还进行了一个简单的研究,跨技术的对抗攻击的可转移性。
2019-06-10 cs.CR cs.LG stat.ML
Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Bosch Center for AI(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa人工智能);Carnegie Mellon University(卡内基梅隆大学)
我们专注于黑盒对抗攻击的问题,其目的是仅基于仅限于输出标签~(硬标签)到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例,避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST,CIFAR-10和ImageNet的有效性,证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比,我们提出的方法始终实现了2倍到10倍的攻击成功率,同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Black-Box Adversarial Attack with Transferable Model-based Embedding
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的黑盒对抗攻击方法。与以前通过使用梯度或代理白盒模型的初始化将基于转移和基于评分的方法结合起来的方法不同,这种新方法尝试使用预训练模型学习低维嵌入,然后在嵌入空间内执行有效搜索以攻击未知目标网络。该方法产生对抗扰动与高层次的语义模式,很容易转移。我们表明,这种方法可以大大提高查询效率的黑盒对抗攻击在不同的目标网络架构。我们在MNIST,ImageNet和Google Cloud Vision API上评估了我们的方法,从而显着减少了查询数量。我们还在CIFAR10和ImageNet上攻击了对抗防御网络,我们的方法不仅减少了查询次数,还提高了攻击成功率。
2020-01-05 cs.LG stat.ML
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks
Pennsylvania State University(宾夕法尼亚州立大学);Applied Research Solutions(应用研究解决方案公司);Air Force Research Lab(空军研究实验室)
贝叶斯神经网络(BNN)与传统的神经网络(TNN)不同,它具有鲁棒性,并且通过引入随机性来处理对抗攻击。这种随机性改善了对不确定性的估计,这是TNN缺乏的一个特征。因此,我们使用多个贝叶斯神经架构研究BNN对白盒攻击的鲁棒性。此外,我们通过融合贝叶斯推理(即,变分贝叶斯)到DenseNet架构和BDAV,通过将这种干预与对抗训练相结合。在CIFAR-10和FGVC-Aircraft数据集上进行了实验。我们使用强大的白盒攻击($l_\infty$ -FGSM、$l_\infty$ -PGD、$l_2$-PGD、EOT $l_\infty$ -FGSM和EOT $l_\infty$ -PGD)来攻击我们的模型。在所有实验中,至少有一个BNN在对抗攻击场景中优于传统的神经网络。在大多数实验中,经过对抗训练的BNN优于其非贝叶斯的、经过对抗训练的对应物,并且通常具有显著的优势。最后,我们研究了网络校准,发现BNN不会做出过于自信的预测,这证明BNN在测量不确定性方面也更好。
2021-11-16 cs.CR cs.CV cs.LG
SemiAdv: Query-Efficient Black-Box Adversarial Attack with Unlabeled Images
East China Normal University(华东师范大学);Xidian University(西安电子科技大学);Fuzhou University(福州大学)
本文提出SemiAdv,一种利用无标签图像和半监督学习的黑盒对抗攻击方法,仅需数百次查询即可达到90%以上成功率,并节省多达12倍查询开销。
2024-07-13 cs.CR cs.CV cs.LG
GreedyFool: Multi-Factor Imperceptibility and Its Application to Designing a Black-box Adversarial Attack
Wuhan University(武汉大学);Pennsylvania State University(宾夕法尼亚州立大学)
对抗样本是精心设计的输入样本,其中的扰动对人眼来说是不可感知的,但很容易误导深度神经网络(DNN)的输出。现有的作品通过利用简单的度量来惩罚扰动来合成对抗性示例,这些扰动缺乏对人类视觉系统(HVS)的充分考虑,从而产生明显的伪影。为了探讨为什么扰动是可见的,本文总结了四个主要因素影响人眼的感知能力。在此基础上,我们设计了一个多因素的度量MulFactorLoss来衡量良性样本和敌对样本之间的感知损失。为了测试多因素度量的不可感知性,我们提出了一种新的黑盒对抗攻击,称为GreedyFool。GreedyFool应用差分进化来评估扰动像素对目标DNN置信度的影响,并引入贪婪近似来自动生成对抗性扰动。我们对ImageNet和CIFRA-10数据集进行了广泛的实验,并对60名参与者进行了全面的用户研究。实验结果表明,MulFactorLoss是一个比现有的像素度量更不易察觉的度量,GreedyFool以黑盒方式实现了100%的成功率。
2021-11-29 cs.CR cs.CV cs.LG
Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Tencent AI Lab(腾讯人工智能实验室)
本文研究了针对深度神经网络(DNN)的黑盒对抗攻击,攻击者只能访问被攻击的DNN模型返回的查询反馈,而其他信息,如模型参数或训练数据集是未知的。一种改进攻击性能的有希望的方法是利用一些白盒代理模型和目标模型之间的对抗性可转移性(即,被攻击的模型)。然而,由于代理模型和目标模型之间在模型架构和训练数据集上可能存在差异,被称为“代理偏差”,对抗性可移植性对提高攻击性能的贡献可能会减弱。为了解决这个问题,我们创新性地提出了一种黑盒攻击方法,通过开发一种新的对抗性转移机制,该机制对代理偏差具有鲁棒性。该方法的基本思想是通过传递代理模型的条件对抗分布(CAD)的部分参数,同时根据对目标模型的查询学习未传递的参数,以保持对新的良性样本调整目标模型CAD的灵活性。在基准数据集上的大量实验和对真实世界API的攻击表明,该方法具有优越的攻击性能。
2021-03-18 cs.CR cs.CV cs.LG
Universal Adversarial Attacks on Neural Networks for Power Allocation in a Massive MIMO System
Universidad de Zaragoza(萨拉戈萨大学);Linköping University(林雪平大学)
深度学习(DL)架构已经成功地用于包括无线系统的许多应用中。然而,它们已被证明容易受到对抗攻击的影响。我们分析了基于DL的模型的回归问题的上下文中的下行链路功率分配在大规模的多输入多输出系统,并提出了通用的对抗扰动(UAP)制作方法的白盒和黑盒攻击。我们对所考虑应用程序的白盒和黑盒攻击的UAP性能进行了基准测试,并表明对抗成功率分别可以达到60%和40%。与传统的白盒攻击相比,提出的基于UAP的攻击是一种更实用和现实的方法。
2021-10-10 cs.CR cs.IT cs.LG
Positive-Unlabeled Learning with Adversarial Data Augmentation for Knowledge Graph Completion
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);School of Computer Science, Beihang University(北京航空航天大学计算机学院);University of Notre Dame(圣母大学)
大多数现实世界的知识图谱(KG)远不完整和全面。这个问题促使人们努力预测最合理的缺失事实以完成给定的KG,即,知识图谱补全(KGC)。然而,现有的KGC方法存在两个主要问题,1)假阴性问题,即,采样的否定训练实例可以包括潜在的真实事实;以及2)数据稀疏性问题,即,真实的事实只占所有可能的事实的一小部分。为此,我们为KGC提出了带有对抗性数据增强(PUDA)的正向无标记学习。特别地,PUDA为KGC任务量身定制了正未标记风险估计器以处理假阴性问题。此外,为了解决数据稀疏性问题,PUDA通过在正-未标记极小极大博弈下统一对抗训练和正-未标记学习来实现数据增强策略。在真实世界基准数据集上的大量实验结果证明了该方法的有效性和兼容性。
2022-06-23 cs.AI cs.LG
Saliency Attack: Towards Imperceptible Black-box Adversarial Attack
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学)
深度神经网络很容易受到对抗性样本的攻击,即使在黑盒设置中,攻击者只能访问模型输出。最近的研究设计了有效的黑盒攻击,具有高查询效率。然而,这样的性能通常伴随着攻击不可感知性的妥协,阻碍了这些方法的实际使用。在本文中,我们建议将扰动限制在一个小的显著区域,以生成几乎无法感知的对抗性示例。该方法与现有的黑盒攻击兼容,可以显著提高黑盒攻击的不可感知性,而攻击成功率几乎没有下降。此外,我们提出了显着性攻击,一种新的黑盒攻击,旨在改善显着区域中的扰动,以实现更好的不可感知性。大量的实验表明,与最先进的黑盒攻击相比,我们的方法实现了更好的不可感知性分数,包括最明显的失真(MAD),$L_0$和$L_2$距离,也获得了显着更高的成功率,由一个类似于人类的阈值判断MAD。重要的是,我们的方法产生的扰动在一定程度上是可解释的。最后,它也被证明是强大的不同的检测为基础的防御。
2022-06-04 cs.CR cs.CV cs.LG
Detect & Reject for Transferability of Black-box Adversarial Attacks Against Network Intrusion Detection Systems
Royal Military Academy(皇家军事学院)
在过去的十年中,机器学习技术在基于异常的入侵检测系统中的应用取得了很大的成功。然而,最近的研究表明,一般的机器学习和深度学习都容易受到对抗攻击的攻击,攻击者试图通过提供欺骗性输入来欺骗模型。计算机视觉领域的研究首次发现了这一漏洞,研究表明,旨在欺骗特定模型的对抗性图像可以欺骗其他机器学习模型。在本文中,我们研究了对抗性网络流量对多个基于机器学习的入侵检测系统的可转移性。此外,我们分析了集成入侵检测系统的鲁棒性,这是臭名昭著的更好的准确性相比,一个单一的模型,对对抗攻击的可转移性。最后,我们研究检测和拦截作为一种防御机制,以限制对抗性网络流量对基于机器学习的入侵检测系统的可转移性的影响。
2021-12-22 cs.CR cs.LG
Query-Efficient Black-box Adversarial Examples (superceded)
Massachusetts Institute of Technology(麻省理工学院);LabSix(第六实验室)
请注意,这篇论文被“有限信息和信息的黑盒对抗攻击”取代。“当前基于神经网络的图像分类器容易受到对抗性示例的影响,即使在黑盒设置中,攻击者也仅限于查询访问而无法访问梯度。以前的方法-替代网络和基于坐标的有限差分方法-要么不可靠,要么查询效率低,使得这些方法对某些问题不切实际。我们介绍了一种新的方法,用于在更受限制的,实用的黑盒威胁模型下可靠地生成对抗性示例。首先,我们采用自然的演化策略执行黑盒攻击使用两到三个数量级的查询比以前的方法。其次,我们引入了一个新的算法来执行有针对性的对抗攻击在部分信息设置,其中攻击者只能访问有限数量的目标类。使用这些技术,我们成功地对商业部署的机器学习系统Google Cloud Vision API在部分信息设置中进行了第一次有针对性的对抗攻击。
2018-04-06 cs.CV cs.LG stat.ML
Counter-Samples: A Stateless Strategy to Neutralize Black Box Adversarial Attacks
Ben-Gurion University(本古里安大学)
提出一种无状态防御策略,通过针对每次黑盒查询优化反样本,误导攻击者搜索,保持模型精度,并在CIFAR-10和ImageNet上优于现有防御,且对强对抗者鲁棒。
2024-03-14 cs.AI cs.CR cs.LG
CE-based white-box adversarial attacks will not work using super-fitting
Zhengzhou University(郑州大学);Information Engineering University(信息工程大学)
深度神经网络由于其强大的性能而被广泛应用于各个领域。然而,最近的研究表明,深度学习模型容易受到对抗攻击的攻击,即,在输入中加入轻微的扰动将使模型得到错误的结果。这对于一些安全性要求较高的系统来说尤其危险,因此本文提出了一种新的防御方法,利用模型超拟合状态来提高模型的对抗鲁棒性(即,在对抗攻击下的准确性)。本文从数学上证明了超拟合的有效性,并通过最小化不相关类别得分(MUCS)使模型快速达到这种状态。理论上,超拟合可以抵抗任何现有的(甚至未来的)基于CE的白盒对抗攻击。此外,本文使用多种强大的攻击算法来评估超拟合的对抗鲁棒性,并将所提出的方法与最近会议上的近50种防御模型进行了比较。实验结果表明,本文的超拟合方法可以使训练后的模型获得最高的对抗鲁棒性。
2022-05-15 cs.AI cs.CR cs.LG
Local Black-box Adversarial Attacks: A Query Efficient Approach
Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学)
对抗攻击已经威胁到深度神经网络在安全敏感场景中的应用。大多数现有的黑盒攻击通过多次与目标模型交互并产生全局扰动来欺骗目标模型。然而,全局扰动改变了平滑和无关紧要的背景,这不仅使扰动更容易被察觉,但也增加了查询开销。在本文中,我们提出了一个新的框架,扰乱干净的例子,只有在有限的查询在黑盒攻击的歧视性领域。我们的框架是基于两种类型的可转移性。第一个问题是模型解释的可移植性。基于此性质,我们确定了一个给定的干净的例子很容易局部扰动的歧视性地区。二是对抗性例证的可移植性。它有助于我们产生一个局部的预扰动,以提高查询效率。在识别区分区域和预扰动之后,我们通过使用两种黑盒攻击技术查询目标模型来从预扰动示例生成最终的对抗示例,即,梯度估计和随机搜索。我们进行了大量的实验表明,我们的框架可以显着提高查询效率,在黑盒扰动具有较高的攻击成功率。实验结果表明,我们的攻击优于国家的最先进的黑盒攻击在各种系统设置。
2021-01-04 cs.CR cs.CV cs.LG
Black-box Adversarial Attacks on Video Recognition Models
Fudan University(复旦大学);The University of Melbourne(墨尔本大学)
深度神经网络(DNN)因其对对抗性示例的脆弱性而闻名。这些例子经历了小的,精心制作的扰动,并且可以很容易地欺骗DNN在测试时进行错误分类。到目前为止,对抗性研究领域主要集中在图像模型上,无论是在白盒设置下,对手都可以完全访问模型参数,还是在黑盒设置下,对手只能查询目标模型的概率或标签。虽然已经针对视频模型提出了几种白盒攻击,但黑盒视频攻击仍然未被探索。为了缩小这一差距,我们提出了第一个黑盒视频攻击框架,称为V-BAD。V-BAD利用从图像模型传输的试探性扰动,以及NES在试探性扰动的分区(补丁)上发现的基于分区的校正,以获得良好的对抗性梯度估计,同时对目标模型的查询较少。V-BAD等价于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集,我们证明了V-BAD可以制作无针对性和有针对性的攻击,以欺骗两个最先进的深度视频识别模型。对于有针对性的攻击,它只使用平均$3.4 \sim 8.4 \times 10^4$查询就达到了$>$ 93\%的成功率,这与最先进的黑盒图像攻击的查询数量相似。尽管事实上视频通常具有比静态图像高两个数量级的维度。我们相信V-BAD是一个很有前途的新工具,以评估和提高视频识别模型的鲁棒性,以黑盒对抗攻击。
2019-06-28 cs.CR cs.CV cs.LG
Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research(IBM研究院);University of Melbourne(墨尔本大学)
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性,标签保存和输入重建问题。我们的研究结果表明,一旦经过训练,攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例(时间上少一个数量级)。这些例子还根据人类评价保留了原始情感。此外,我们的框架产生了一个改进的分类器,是强大的防御多种对抗性攻击方法。代码可从以下网址获得:https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
Potential adversarial samples for white-box attacks
University of Waterloo(滑铁卢大学)
深度卷积神经网络极易受到其输入的小扰动的影响,这可能是使用深度网络作为分类器时系统鲁棒性的主要问题或限制。在本文中,我们提出了一种低成本的方法来探索边缘样本数据训练分类器决策边界附近,从而识别潜在的敌对样本。通过找到这样的对抗样本,可以减少对抗攻击算法的搜索空间,同时保持合理的成功扰动率。在我们开发的策略中,潜在的对抗样本仅占测试数据的61%,但实际上涵盖了iFGSM产生的超过82%的对抗样本和CIFAR10上DeepFool成功干扰的92%的对抗样本。
2019-12-13 cs.LG stat.ML
RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg(卢森堡大学SnT分校);Luxembourg Institute of Health(卢森堡健康研究院)
RobustBlack研究了黑盒攻击对最新防御措施的挑战,发现高级攻击对简单模型效果有限,而优化的鲁棒模型对黑盒攻击更具抵抗力,且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Toward Adversarial Robustness by Diversity in an Ensemble of Specialized Deep Neural Networks
Université Laval(拉瓦尔大学);Oregon State University(俄勒冈州立大学);Mila(米拉)
我们的目标是展示CNN集成中的多样性对黑盒对抗实例检测的影响,并加强白盒对抗攻击的生成。为此,我们提出了一个多样化的专门CNN的集合,以及一个简单的投票机制。这种集合的多样性在对手的预测置信度和干净样本的预测置信度之间产生了差距,使得对手可检测。然后,我们分析了这样一个专家集合的多样性如何减轻黑盒和白盒对抗性示例的风险。使用MNIST和CIFAR-10,我们经验性地验证了我们的集合检测大部分已知黑盒对抗性示例的能力,这导致对手的风险率显著降低,而代价是干净样本的风险率略有增加。此外,我们表明,与普通CNN和普通CNN的集成相比,我们的集成生成白盒攻击的成功率显着降低,突出了集成中多样性对开发更强大模型的有益作用。
2020-05-17 cs.CR cs.LG stat.ML
Generalizable Black-Box Adversarial Attack with Meta Learning
Tsinghua University(清华大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室);University of Electronic Science and Technology of China(电子科技大学)
在黑盒对抗攻击场景中,目标模型的参数是未知的,攻击者的目标是在一定的查询预算下,根据查询反馈找到一个成功的对抗性扰动。由于反馈信息的有限性,现有的基于查询的黑盒攻击方法往往需要多次查询才能攻击出一个良性样本。为了降低查询成本,我们建议利用历史攻击的反馈信息,称为示例级对抗性可转移性。具体而言,通过将对每个良性示例的攻击视为一项任务,我们通过训练元生成器来生成以良性示例为条件的扰动,从而开发了一个元学习框架。当攻击一个新的良性示例时,Meta生成器可以根据新任务的反馈信息以及一些历史攻击来快速微调,以产生有效的扰动。此外,由于元训练过程消耗许多查询来学习可泛化的生成器,我们利用模型级对抗性可移植性,在白盒代理模型上训练元生成器,然后将其转移到帮助攻击目标模型。所提出的具有两种对抗性可转移性的框架可以自然地与任何现成的基于查询的攻击方法相结合,以提高其性能,这已经通过大量的实验得到了验证。
2023-01-01 cs.CR cs.CV cs.LG
Boosting Gradient for White-Box Adversarial Attacks
Xidian University(西安电子科技大学)
深度神经网络(DNN)在各种人工智能应用中发挥着关键作用,例如图像分类和对象识别。然而,越来越多的研究表明,DNN中存在对抗性样本,这些样本与原始样本几乎没有什么不同,但可以极大地改变网络输出。现有的白盒攻击算法可以生成强大的对抗性示例。然而,大多数算法都集中在如何迭代地最好地利用梯度来提高对抗性能。相比之下,在本文中,我们专注于广泛使用的ReLU激活函数的性质,并发现存在两种现象(即,错误的阻塞和过度传输)在反向传播期间误导ReLU中的梯度计算。这两个问题都扩大了梯度的损失函数的预测变化与相应的实际变化之间的差异,并误导梯度,导致更大的扰动。因此,我们提出了一种通用的对抗性示例生成方法,称为ADV-ReLU,以增强基于梯度的白盒攻击算法的性能。在网络的反向传播过程中,我们的方法计算损失函数相对于网络输入的梯度,将值映射到分数,并选择其中的一部分来更新误导梯度。在\emph{ImageNet}上的综合实验结果表明,我们的ADV-ReLU可以很容易地集成到许多最先进的基于梯度的白盒攻击算法中,以及转移到黑盒攻击者,以进一步减少${\ell _2}$范数的扰动。
2020-10-21 cs.CR cs.CV cs.LG
Copy and Paste: A Simple But Effective Initialization Method for Black-Box Adversarial Attacks
fortiss GmbH(福蒂斯有限公司);Technical University of Munich(慕尼黑工业大学)
已经提出了许多用于生成黑盒对抗性示例的优化方法,但是尚未详细考虑初始化所述优化器的方面。我们表明,起点的选择确实是至关重要的,和国家的最先进的攻击的性能取决于它。首先,我们讨论了理想的属性的攻击图像分类器的起点,以及如何选择它们来提高查询效率。值得注意的是,我们发现,简单地复制小补丁从其他图像是一个有效的策略。然后,我们在ImageNet上进行了评估,清楚地证明了这种方法的有效性:我们的初始化方案将最先进的边界攻击所需的查询数量减少了81%,显著优于之前针对黑盒对抗示例报告的结果。
2019-12-29 cs.CR cs.CV cs.LG
Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo(富国银行)
我们提出了创建对抗攻击的算法,以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击,同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转,并且可以在黑盒设置中使用相同的规则。在黑盒设置中,创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
HotFlip: White-Box Adversarial Examples for Text Classification
University of Oregon(俄勒冈大学);Nanjing University(南京大学)
我们提出了一种有效的方法来生成白盒对抗性示例,以欺骗字符级神经分类器。我们发现,只需几个操作,大大降低了精度。我们的方法依赖于原子翻转操作,该操作基于独热输入向量的梯度将一个令牌交换为另一个令牌。由于我们方法的效率,我们可以进行对抗性训练,这使得模型在测试时对攻击更具鲁棒性。通过使用一些语义保留约束,我们证明了HotFlip也可以适应攻击单词级分类器。
2018-05-24 cs.CL cs.LG
Generating Adversarial Inputs Using A Black-box Differential Technique
Federal University of Amazonas(亚马逊联邦大学);University of Manchester(曼彻斯特大学);Federal University of Pernambuco(伯南布哥联邦大学);University of Liverpool(利物浦大学)
神经网络(NN)是众所周知的,容易受到对抗攻击。恶意代理通过将一个输入扰动到另一个输入来发起这些攻击,使得NN对这两个输入进行不同的分类。在本文中,我们考虑一类特殊的对抗性的例子,它不仅可以表现出NN模型的弱点-作为典型的对抗性的例子-但也有两个NN模型之间的不同行为。我们称之为差异诱导对抗性示例或DIAE。具体来说,我们提出了DAEGEN,这是第一个用于对抗性输入生成的黑盒差分技术。DAEGEN将同一分类问题的两个NN模型作为输入,并报告输出一个对抗性示例。所获得的对抗性示例是DIAE,因此它表示两个NN模型之间输入空间中的逐点差异。在算法上,DAEGEN使用基于局部搜索的优化算法来通过迭代扰动输入以最大化两个模型在预测输入时的差异来找到DIAE。我们在一系列基准数据集上进行实验(例如,MNIST、ImageNet和Driving)和NN模型(例如,LeNet、ResNet、Dave和VGG)。实验结果是有希望的。首先,我们将DAEGEN与现有的两种白盒差分技术(DeepXplore和DLFuzz)进行比较,发现在相同的设置下,DAEGEN是1)有效的,即,它是在所有情况下成功产生攻击的唯一技术,2)精确,即,对抗攻击很可能欺骗机器和人类,以及3)高效,即,它需要合理数量的分类查询。其次,我们将DAEGEN与最先进的黑盒对抗攻击方法(simba和tremba)进行比较,使它们适应…
2020-07-10 cs.CR cs.LG stat.ML
Parsimonious Black-Box Adversarial Attacks via Efficient Combinatorial Optimization
Seoul National University(首尔国立大学);Neural Processing Research Center(神经处理研究中心)
用投影梯度下降求解对抗性样本已被证明在欺骗基于神经网络的分类器方面非常有效。然而,在黑盒设置中,攻击者仅限于对网络的查询访问,并且解决成功的对抗性示例变得更加困难。为此,最近的方法旨在基于输入查询来估计真实的梯度信号,但以过多的查询为代价。我们提出了一个有效的离散替代的优化问题,不需要估计梯度,从而成为免费的一阶更新超参数调整。我们在Cifar-10和ImageNet上的实验显示了最先进的黑盒攻击性能,与最近提出的一些方法相比,所需的查询显着减少。源代码可在https://github.com/snu-mllab/parsimonious-blackbox-attack上获得。
2022-10-18 cs.CR cs.CV cs.LG
Simple black-box universal adversarial attacks on medical image classification based on deep neural networks
Kyushu Institute of Technology(九州工业大学)
通用对抗攻击仅使用称为通用对抗性扰动(UAP)的小的单个扰动来阻碍大多数深度神经网络(DNN)任务,是对DNN的实际应用的现实安全威胁。特别地,这种攻击在医学成像中引起严重的问题。考虑到基于计算机的系统通常在黑盒条件下运行,其中仅允许对输入的查询并且输出是可访问的,UAP的影响似乎是有限的,因为用于生成UAP的常用算法限于白盒条件,其中对手可以访问模型权重和损失梯度。尽管如此,我们证明了在黑箱条件下使用相对较小的数据集可以很容易地生成UAP。特别是,我们提出了一种方法,用于生成UAP使用一个简单的爬山搜索只基于DNN输出,并证明了所提出的方法使用代表性的基于DNN的医学图像分类的有效性。黑盒UAP可用于进行非目标攻击和目标攻击。总体而言,黑盒UAP显示出高攻击成功率(40%至90%),尽管其中一些成功率相对较低,因为该方法仅利用有限的信息来生成UAP。在几个模型架构中观察到黑盒UAP的脆弱性。结果表明,攻击者也可以在黑盒条件下通过简单的过程生成UAP,从而挫败或控制基于DNN的医学图像诊断,UAP是一种更现实的安全威胁。
2021-08-11 cs.CR cs.CV cs.LG
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG