Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Spartan Networks: Self-Feature-Squeezing Neural Networks for increased robustness in adversarial settings
Polytechnique Montréal(蒙特利尔综合理工学院)
深度学习模型容易受到对抗性样本的影响,这些样本是为了最大化系统上的错误而修改的输入样本。我们介绍了斯巴达网络,这是一种具有抵抗力的深度神经网络,不需要输入预处理,也不需要对抗训练。这些网络有一个对抗层,旨在丢弃网络的一些信息,从而迫使系统专注于相关的输入。这是通过使用新的激活函数来丢弃数据来完成的。添加的层训练神经网络过滤掉其输入中通常不相关的部分。我们的性能评估表明,斯巴达网络有一个稍低的精度,但报告更高的鲁棒性攻击时相比,未受保护的模型。对抗性AI作为一种新的攻击向量的研究结果是基于对MNIST数据集进行的测试。
2018-12-17 cs.CR cs.LG
Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability
Université de Sousse(苏塞大学);Ecole Nationale d’Ingénieurs de Sousse(苏塞国家工程学院);Université polytechnique Hauts-de-France(上法兰西理工大学);IEMN-DOAE
虽然机器学习应用程序由于在解决复杂问题方面表现出的效率而成为主流,但它们存在固有的对抗攻击漏洞。对抗攻击包括对输入的附加噪声,其可以欺骗检测器。最近,成功的现实世界可打印对抗补丁被证明对最先进的神经网络有效。在从基于数字噪声的攻击到现实世界物理攻击的转变中,影响目标检测的无数因素也将影响对抗补丁。在这些因素中,视角是最有影响力的因素之一,但尚未得到充分的研究。在本文中,我们研究了视角对对抗补丁有效性的影响。为了这个目的,我们提出了第一种方法,认为多视图的背景下,通过结合现有的对抗补丁与透视几何变换,以模拟视角变化的影响。我们的方法已在两个数据集上进行了评估:第一个数据集,其中包含了最真实世界的多视图上下文的约束,和第二个数据集,经验隔离的视角的影响。实验表明,视角显着影响对抗补丁的性能,在某些情况下,补丁失去了大部分的有效性。我们相信,这些结果激励考虑到在未来的对抗攻击的视角的影响,并开辟了新的机会,对抗性防御。
2021-10-10 cs.CR cs.LG
Strength-Adaptive Adversarial Training
The University of Sydney(悉尼大学);Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学)
对抗训练(AT)被证明可以可靠地提高网络对对抗数据的鲁棒性。然而,具有预先指定的扰动预算的当前AT在学习鲁棒网络方面具有限制。首先,在不同模型容量的网络上应用预先指定的扰动预算将产生自然精度和鲁棒精度之间的鲁棒性差异程度的不同,这偏离了鲁棒网络的要求。第二,对抗性训练数据受预先设定的扰动预算约束,其攻击强度不能随着网络鲁棒性的提高而提高,导致鲁棒过拟合,进一步降低了对抗性鲁棒性。为了克服这些限制,我们提出了\emph{Strength-Adaptive Adversarial Training}(SAAT)。具体而言,对手采用对抗性损失约束来生成对抗性训练数据。在此约束下,扰动预算将根据对抗数据的训练状态进行自适应调整,可以有效避免鲁棒过拟合。此外,SAAT通过对抗损失明确约束训练数据的攻击强度,在训练过程中控制模型容量调度,从而灵活控制鲁棒性差异程度,调整自然精度和鲁棒性之间的权衡。大量的实验表明,我们的建议提高了对抗训练的鲁棒性。
2022-10-04 cs.CR cs.LG
Simple Black-box Adversarial Attacks
Cornell University(康奈尔大学);Uber AI Labs(优步人工智能实验室)
我们提出了一个有趣的简单的方法,用于在黑盒设置中构建对抗图像。在白盒场景中,构建黑盒对抗图像对查询预算有额外的约束,有效的攻击仍然是一个悬而未决的问题。只有连续值置信分数的温和假设,我们的高查询效率算法利用以下简单的迭代原理:我们从预定义的正交基随机采样一个向量,并将其添加或减去目标图像。尽管它很简单,但所提出的方法可以用于无目标和有目标的攻击,从而在这两种情况下都实现了前所未有的查询效率。我们展示了我们的算法在几个现实世界的设置,包括谷歌云视觉API的功效和效率。我们认为,我们提出的算法应该作为未来黑盒攻击的强大基线,特别是因为它非常快,其实现需要不到20行PyTorch代码。
2019-08-15 cs.CR cs.LG stat.ML
Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对$\ell_0$有界对抗攻击,为截断分类器证明了分布无关的泛化界,通过新编码技术应对非线性和非凸挑战。
2024-02-05 cs.CR cs.LG
Exploiting the Inherent Limitation of L0 Adversarial Examples
尽管神经网络在图像分类等任务上取得了巨大成就,但它们很脆弱,容易受到对抗性示例(AE)攻击,这些攻击是通过向输入添加人类无法感知的扰动来制作的,以便基于神经网络的分类器错误地标记它们。特别是,L0 AE是一类广泛讨论的威胁,其中对手在其可以破坏的像素数量方面受到限制。然而,我们的观察是,虽然L0攻击修改尽可能少的像素,他们往往会导致大幅度的扰动修改像素。我们认为这是L0 AE的固有限制,并通过检测和纠正它们来阻止此类攻击。所提出的检测器的主要新颖之处在于,我们利用L0攻击的固有限制,将AE检测问题转换为比较问题。更具体地,给定图像I,对其进行预处理以获得另一图像I'。已知在比较中有效的连体网络将I和I'作为输入对以确定I是否是AE。经过训练的暹罗网络自动精确地捕获I和I'之间的差异,以检测L0扰动。此外,我们表明,用于检测的预处理技术,修复,也可以作为一种有效的防御,它具有很高的概率,消除L0扰动的对抗性影响。因此,我们的系统,称为AEPECKER,不仅表现出很高的AE检测精度,但也有显着的能力,以纠正分类结果。
2019-07-31 cs.CR
On Norm-Agnostic Robustness of Adversarial Training
Duke University(杜克大学);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
对抗性示例是精心扰动的输入,用于愚弄机器学习模型。对抗性训练是一种公认的防御方法,将对抗性示例注入训练数据以提高鲁棒性。在本文中,我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性,即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
Data-Plane Security Applications in Adversarial Settings
高速可编程交换机已经成为开发高性能数据平面应用的一个有前途的构建模块。在本文中,我们认为,硬件交换机的资源约束和编程模型导致开发人员采用有问题的设计模式,其安全性的影响并没有得到广泛的理解。我们通过确定在对抗环境中基于交换机的应用程序的主要挑战和常见设计陷阱来弥合差距。通过研究最近提出的六种基于交换机的安全应用程序,我们发现攻击者可以利用这些设计缺陷完全绕过这些应用程序旨在提供的保护,或者通过引入附带损害来破坏系统操作。
2021-11-03 cs.CR cs.NI
Randomized Kaczmarz in Adversarial Distributed Setting
Michigan State University(密歇根州立大学);Microsoft Corporation(微软公司);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种基于简单统计量的对抗容忍迭代方法,用于凸优化问题,在存在对抗性节点的分布式环境中确保收敛,并通过仿真验证其高精度识别对抗节点及适应不同对抗率的能力。
2024-03-13 cs.CR cs.LG cs.NA
Adversarial Detection of Flash Malware: Limitations and Open Issues
在过去的四年中,Flash恶意软件已经成为最隐蔽的威胁之一,近600个针对Adobe Flash的关键漏洞被公开。研究表明,通过利用静态分析从文件或其字节码的结构中提取信息,机器学习可成功用于检测Flash恶意软件。然而,Flash恶意软件检测器对精心设计的规避尝试(也称为对抗性示例)的鲁棒性从未被研究过。在本文中,我们提出了一种新的,有代表性的Flash检测器,嵌入了一个国家的最先进的工具所采用的突出的,静态的功能相结合的安全评估。特别是,我们讨论了如何制作对抗性Flash恶意软件的例子,表明它足以稍微操纵相应的源恶意软件样本,以逃避检测。然后,我们根据经验证明,为减轻逃避尝试而提出的流行防御技术,包括对抗性示例的重新训练,可能并不总是足以确保鲁棒性。我们认为,当从对抗性样本中提取的特征向量与良性数据的特征向量无法区分时,就会发生这种情况,这意味着给定的特征表示本质上是脆弱的。在这方面,我们是第一个正式定义和定量描述此漏洞的人,强调何时可以通过单独提高学习算法的安全性来应对攻击,或者何时还需要考虑其他功能。最后,我们提出了替代的研究方向,以提高基于学习的Flash恶意软件检测器的安全性。
2020-07-14 cs.CR
Fault Tolerance of Neural Networks in Adversarial Settings
Indraprastha Institute of Information Technology(英迪拉普拉斯信息技术研究所);Scientific Analysis Group(科学分析小组);Institute for Systems Studies and Analyses(系统研究与分析研究所);Aurel Vlaicu University of Arad(阿拉德奥雷尔弗拉伊库大学)
人工智能系统需要对不同的信任支柱进行全面评估,即公平性、可解释性、数据和模型隐私性、可靠性(安全性)以及对抗对抗攻击的鲁棒性。虽然这些研究问题已被广泛研究孤立,理解之间的权衡不同支柱的信任是缺乏的。在这种程度上,容错,隐私和对抗性鲁棒性之间的权衡评估的深度神经网络的特定情况下,通过考虑两个对抗性设置下的安全和隐私威胁模型。具体来说,这项工作研究的影响,容错的神经网络的训练模型,通过增加噪声的输入(对抗鲁棒性)和噪声的梯度(差分隐私)。虽然训练模型的噪声输入,梯度或权重增强容错,它是观察到的对抗鲁棒性和容错是不一致的。另一方面,($ε,δ$)-差分私有模型增强了使用泛化误差测量的容错,理论上具有$e^ε - 1 + δ$的上限。这种对不同信任要素之间的权衡的新研究对于训练同时满足不同信任支柱要求的模型至关重要。
2020-03-07 cs.CR cs.DC cs.LG
Adversarial Attacks on Large Language Models Using Regularized Relaxation
Florida State University(佛罗里达州立大学)
针对离散优化低效与连续优化无法生成有效token的问题,本文提出正则化梯度连续优化对抗攻击方法,速度提升两个数量级并提高攻击成功率。
2024-10-24 cs.AI cs.CL cs.CR
Thwarting finite difference adversarial attacks with output randomization
Rensselaer Polytechnic Institute(伦斯勒理工学院);SUNY New Paltz(纽约州立大学新帕尔兹分校)
对抗性示例在各种场景中对深度神经网络模型构成威胁,从对手完全了解模型的设置到相反的“黑匣子”设置。黑盒攻击尤其具有威胁性,因为对手只需要访问模型的输入和输出。防御黑盒对抗性示例生成攻击至关重要,因为目前提出的防御措施无效。由于这些类型的攻击依赖于对模型的重复查询来估计输入维度上的梯度,因此我们研究了使用随机化来阻止此类对手成功创建对抗性示例。应用于深度神经网络模型的输出的随机化具有混淆潜在攻击者的潜力,然而这引入了准确性和鲁棒性之间的权衡。我们表明,对于某些类型的随机化,我们可以通过仔细设置分布参数来限制引入错误的概率。对于有限差分黑盒攻击的特殊情况下,我们量化的梯度的有限差分估计中的防御引入的错误。最后,我们经验表明,防御可以挫败两个自适应黑盒对抗攻击算法。
2019-05-23 cs.CR cs.CV cs.LG
Direction-Aggregated Attack for Transferable Adversarial Examples
Eindhoven University of Technology(埃因霍温理工大学);National University of Singapore(新加坡国立大学)
深度神经网络很容易受到对抗性示例的攻击,这些示例是通过对输入进行难以察觉的更改而制作的。然而,这些对抗性示例在白盒设置中最成功,其中模型及其参数可用。找到可转移到其他模型或在黑盒环境中开发的对抗性示例要困难得多。在本文中,我们提出了方向聚合对抗攻击,提供可转移的对抗示例。我们的方法在攻击过程中利用聚合方向,以避免生成的对抗性示例过度拟合白盒模型。在ImageNet上进行的大量实验表明,我们提出的方法显著提高了对抗性示例的可移植性,并且优于最先进的攻击,特别是对抗性鲁棒模型。该方法对三种对抗训练模型的最佳平均攻击成功率为94.6%,对五种防御方法的最佳平均攻击成功率为94.8%.它还揭示了当前的防御方法不能防止可转移的对抗攻击。
2021-12-16 cs.CR cs.LG
On Security and Sparsity of Linear Classifiers for Adversarial Settings
University of Cagliari(卡利亚里大学)
机器学习技术广泛应用于与安全相关的应用程序,如垃圾邮件和恶意软件检测。然而,在这样的环境中,它们已被证明容易受到对抗攻击,包括在测试时故意操纵数据以逃避检测。在这项工作中,我们专注于逃避攻击的线性分类器的脆弱性。这可以被认为是一个相关的问题,因为线性分类器由于其低处理时间和存储器要求而越来越多地用于嵌入式系统和移动设备中。我们利用最新的研究结果在强大的优化调查之间的联系,根据攻击的类型,正则化和线性分类器的安全性。我们还分析了特征权重的稀疏性,这是为了减少处理成本,和线性分类器的安全性之间的关系。我们进一步提出了一种新的八角正则化,使我们能够实现它们之间的适当权衡。最后,我们经验表明,这个正则化可以提高分类器的安全性和稀疏性在现实世界中的应用程序的例子,包括垃圾邮件和恶意软件检测。
2017-08-31 cs.CR cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College(康尼斯托加学院);Drexel University(德雷塞尔大学)
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中,首先,我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形,并攻击DeepSpeech,这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率(DeepSpeech分类成功率为零)。其次,我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度,并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类,这表明PCA不是音频域中的良好防御机制。最后,我们没有使用PCA作为防御机制,这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下,我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击,并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件,需要在攻击过程中的分类结果。在所有情况下,对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University(德克萨斯农工大学)
已经表明,深度神经网络(DNN)可能容易受到对抗攻击的攻击,这引起了人们对它们的鲁棒性的关注,特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性,我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说,我们提出了一种新的全局对抗性示例对的概念,其中每对两个示例彼此接近,但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法,并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外,我们证明了使用基于强投影梯度下降(PGD)的(局部)对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响,这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Robustness of 3D Deep Learning in an Adversarial Setting
University of Oxford(牛津大学)
了解真实世界物体的空间排列和性质对于许多复杂的工程任务(包括自主导航)至关重要。深度学习已经彻底改变了3D环境中任务的最先进性能;然而,对这些方法在对抗环境中的鲁棒性知之甚少。由于缺乏全面的分析,很难证明在现实世界中部署3D深度学习模型的合理性。在这项工作中,我们开发了一种算法,用于分析的逐点鲁棒性的神经网络,操作的三维数据。我们表明,目前的方法来理解国家的最先进的模型的弹性大大高估了他们的鲁棒性。然后,我们使用我们的算法来评估一系列的国家的最先进的模型,以证明他们的脆弱性遮挡攻击。我们表明,在最坏的情况下,这些网络可以降低到0%的分类精度后,最多6.5%的占用输入空间的闭塞。
2019-04-01 cs.CR cs.CV cs.LG
You Only Query Once: Effective Black Box Adversarial Attacks with Minimal Repeated Queries
Bosch Center for AI(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa AI);Carnegie Mellon University(卡内基梅隆大学)
研究人员一再表明,对深度分类器进行对抗攻击(显著改变类别标签的小扰动)是可能的,即使是在“黑盒”设置中,也只能查询分类器。然而,黑盒设置中的所有先前工作都通过重复查询同一图像并进行微小修改来攻击分类器,通常是数千次或更多,这使得防御者很容易检测到随后的攻击。在这项工作中,我们证明了在黑盒设置中通过只查询一次不同图像的序列来制作(通用)对抗性扰动是可能的。这种攻击会阻止从大量相似查询中检测到数据,并产生一种扰动,当应用于分类器的任何输入时,这种扰动会导致错误分类。在实验中,我们证明了遵守这一限制的攻击可以产生非目标性的对抗性扰动,这些扰动可以欺骗绝大多数MNIST和CIFAR-10分类器输入,以及ImageNet分类器上超过$60-70\%$的输入。在有针对性的设置中,我们展示了针对ImageNet分类器的黑盒通用攻击,当每个图像只允许一个查询时,成功率高于$20\%$,当每个图像允许两个查询时,成功率高于$66\%$。
2021-01-29 cs.CR cs.LG
Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent
Cornell(康奈尔大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Purdue(普渡大学)
我们考虑了分布式统计机器学习在对抗环境中的问题,其中一些未知的和时变的工作机器子集可能会受到损害,并任意行为,以防止准确的模型被学习。此设置捕捉了联邦学习面临的潜在对抗性攻击-这是一种由Google研究人员提出的现代机器学习范式,并已被深入研究以确保用户隐私。形式上,我们专注于一个分布式系统组成的参数服务器和$m$工作机。每台工作机器都保存$N/m$数据样本,其中$N$是样本的总数。我们的目标是共同学习维度$d$的底层真实模型参数。在经典的批量梯度下降方法中,工作机器向服务器报告的梯度通过简单的平均来聚合,这容易受到单个拜占庭失败的影响。在本文中,我们提出了一个拜占庭梯度下降方法的基础上的几何中值的平均梯度。我们表明,我们的方法可以容忍$q \le (m-1)/2$拜占庭故障,参数估计收敛在$O(\log N)$轮估计误差为$\sqrt{d(2q+1)/N}$,因此接近最佳的错误率$\sqrt{d/N}$在集中式和无故障设置。该算法在每台工作机上的总计算复杂度为$O((Nd/m) \log N)$,在中心服务器上的总计算复杂度为$O(md + kd \log^3 N)$,总通信开销为$O(m d \log N)$。我们进一步提供了我们的一般结果的线性回归问题的应用。上述问题中出现的关键挑战是拜占庭故障在迭代和聚合梯度之间创建任意和未指定的依赖性。我们证明了聚集梯度一致收敛于真梯度函…
2017-10-23 cs.CR cs.DC cs.LG
Stateful Detection of Black-Box Adversarial Attacks
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
对抗性示例的问题,即对机器学习分类器的逃避攻击,已被证明非常难以解决。这是真实的,即使当分类器作为远程服务被托管时,如在许多实际设置中的情况,并且因此对手不具有对模型参数的直接存取。本文认为,在这种情况下,捍卫者有一个更大的行动空间比以前已经探索。具体来说,我们偏离了以前的工作,防御必须是一个无状态的功能,对个人的例子,并探讨有状态的防御的可能性。首先,我们开发了一种旨在检测对抗性示例生成过程的防御方法。通过保留过去查询的历史,防御者可以尝试识别何时查询序列似乎是为了生成对抗性示例。然后,我们介绍查询盲,一类新的攻击,旨在绕过依赖于这样的防御方法的防御。我们认为,将对抗性示例的研究从无状态分类器扩展到有状态系统,不仅对许多黑盒设置更现实,而且还为防御者提供了应对对手的急需优势。
2019-07-12 cs.CR cs.LG
On the Limitations of Stochastic Pre-processing Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学);Vector Institute(向量研究所);University of Toronto(多伦多大学)
对抗性例子的辩护仍然是一个悬而未决的问题。一个普遍的看法是,推理的随机性增加了寻找对抗性输入的成本。这种防御的一个例子是在将输入馈送到模型之前对输入应用随机变换。在本文中,我们从经验和理论上研究这种随机预处理防御,并证明它们是有缺陷的。首先,我们发现大多数随机防御比以前认为的要弱;它们缺乏足够的随机性来抵御甚至像投影梯度下降这样的标准攻击。这对一个长期存在的假设提出了质疑,即随机防御使旨在逃避确定性防御的攻击无效,并迫使攻击者整合期望转换(EOT)概念。其次,我们表明,随机防御面临着对抗鲁棒性和模型不变性之间的权衡;当防御模型对其随机化获得更多的不变性时,它们变得不那么有效。未来的工作需要将这两种影响分开。我们还讨论了未来研究的意义和指导。
2022-10-11 cs.CR cs.LG
Is Data Clustering in Adversarial Settings Secure?
Università di Cagliari(卡利亚里大学);FBK-irst(布鲁诺·凯斯勒基金会-irst研究所);Università Ca’ Foscari di Venezia(威尼斯大学)
聚类算法已经越来越多地被用于安全应用中,以发现危险或非法活动。然而,它们最初并没有被设计来处理可能旨在破坏聚类过程本身的故意攻击尝试。因此,在这种情况下是否可以安全地采用聚类仍然存在疑问。在这项工作中,我们提出了一个通用的框架,允许一个识别潜在的攻击对聚类算法,并评估其影响,通过对对手的目标,知识的攻击系统,和操作的输入数据的能力作出具体的假设。我们表明,攻击者可能会显着中毒的整个聚类过程中添加一个相对较小的百分比的攻击样本的输入数据,一些攻击样本可能会被混淆隐藏在一些现有的集群。我们提出了一个案例研究单链接层次聚类,并报告实验的恶意软件样本和手写数字的聚类。
2018-11-25 cs.CR cs.CV cs.LG
Delving into the Adversarial Robustness of Federated Learning
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Sony AI(索尼AI)
在联邦学习(FL)中,模型与集中训练的模型一样脆弱。然而,联邦学习的对抗鲁棒性在很大程度上仍未得到探索。本文阐述了联邦学习对抗鲁棒性的挑战。为了更好地理解现有FL方法的对抗脆弱性,我们对各种攻击和对抗训练方法进行了全面的鲁棒性评估。此外,我们揭示了直接采用对抗性训练在外语中所产生的负面影响,这严重损害了测试的准确性,特别是在非IID设置。在这项工作中,我们提出了一种新的算法称为基于决策边界的联邦对抗训练(DBFAT),它由两个组件(局部重新加权和全局正则化),以提高FL系统的准确性和鲁棒性。在多个数据集上进行的大量实验表明,DBFAT在IID和非IID设置下的性能始终优于其他基线。
2023-02-19 cs.AI cs.CR cs.LG
ML-based IoT Malware Detection Under Adversarial Settings: A Systematic Evaluation
University of Central Florida(中佛罗里达大学);Wayne State University(韦恩州立大学);Ewha Womans University(梨花女子大学)
物联网(IoT)设备的快速增长使它们处于恶意攻击的前线。这导致了物联网恶意软件数量的爆炸式增长,并不断发生突变,进化和复杂性。这些恶意软件使用机器学习(ML)算法以及传统的基于签名的方法来检测。虽然基于ML的检测器提高了检测性能,但它们容易受到恶意软件演变和复杂性的影响,使它们仅限于它们所训练的模式。这种持续的趋势促使大量关于恶意软件分析和检测研究的文献不断涌现,许多系统不断涌现,并且表现优于其前辈。在这项工作中,我们系统地研究了最先进的恶意软件检测方法,这些方法在一系列对抗性设置下利用各种表示和学习技术。我们的分析强调了所提出的检测器在学习模式中的不稳定性,这些模式将良性软件与恶意软件区分开来。结果表明,软件突变与功能保持操作,如剥离和填充,显着恶化的准确性,这样的检测器。此外,我们对行业标准恶意软件检测器的分析显示了它们对恶意软件突变的不稳定性。
2021-08-30 cs.CR cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University(清华大学);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院);Northeastern University(东北大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,从根本上解决了对抗训练的困境。此外,这项工作研究了两个假设的权重修剪在传统的设置,并发现权重修剪是必要的,以减少网络模型的大小在对抗设置,从头开始训练一个小的模型,即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Black-box Adversarial Attacks with Limited Queries and Information
Massachusetts Institute of Technology(麻省理工学院)
当前基于神经网络的分类器即使在黑盒设置中也容易受到对抗性示例的影响,其中攻击者只能对模型进行查询访问。在实践中,现实世界系统的威胁模型通常比典型的黑盒模型更具限制性,在黑盒模型中,对手可以在任意多个选择的输入上观察网络的完整输出。我们定义了三个现实的威胁模型,更准确地描述了许多现实世界的分类:查询限制设置,部分信息设置,和标签设置。我们开发了新的攻击,在这些更严格的威胁模型下欺骗分类器,以前的方法是不切实际或无效的。我们证明了我们的方法在我们提出的威胁模型下对ImageNet分类器是有效的。我们还展示了针对商业分类器的有针对性的黑盒攻击,克服了有限的查询访问,部分信息和其他实际问题的挑战,以打破Google Cloud Vision API。
2018-07-11 cs.CR cs.CV stat.ML
Adversarial Bone Length Attack on Action Recognition
Chiba University(千叶大学)
最近已经证明,基于信标的动作识别模型容易受到对抗攻击的攻击。与对图像的对抗攻击相比,对骨架的扰动通常被限制在每帧约100的较低维度。这种低维设置使得更难以产生不可感知的扰动。现有的攻击解决这个问题,利用骨架运动的时间结构,使扰动维数增加到数千。在本文中,我们表明,对抗攻击可以在基于动作识别模型,即使在一个显着的低维设置没有任何时间操纵。具体来说,我们将扰动限制在骨架骨骼的长度上,这使得对手只能操纵大约30个有效维度。我们在NTU RGB+D和HDM05数据集上进行了实验,证明所提出的攻击可以成功欺骗模型,有时通过小的扰动成功率超过90%。此外,我们发现了一个有趣的现象:在我们的低维设置中,具有骨长度攻击的对抗训练与数据增强具有相似的性质,它不仅提高了对抗鲁棒性,而且提高了原始数据的分类准确率。这是对抗性鲁棒性和干净准确性之间权衡的一个有趣的反例,这在高维机制的对抗性训练研究中被广泛观察到。
2022-03-25 cs.AI cs.CR cs.CV
AS2T: Arbitrary Source-To-Target Adversarial Attack on Speaker Recognition Systems
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学);Nankai University(南开大学);Nanyang Technological University(南洋理工大学)
最近的工作已经阐明了说话人识别系统(SRS)对对抗攻击的脆弱性,提出了部署SRS的重大安全问题。然而,他们只考虑了几个设置(例如,源扬声器和目标扬声器的一些组合),在现实世界的攻击场景中留下许多有趣和重要的设置。在这项工作中,我们提出了AS2T,这是该领域的第一次攻击,它涵盖了所有设置,从而允许对手使用任意源和目标扬声器来制作对抗性声音,用于三个主要识别任务中的任何一个。由于没有一个现有的损失函数可以应用于所有的设置,我们探索许多候选损失函数的每个设置,包括现有的和新设计的。我们彻底评估他们的功效,发现一些现有的损失函数是次优的。然后,为了提高AS2T对实际空中攻击的鲁棒性,我们研究了空中传输中可能发生的失真,利用具有不同参数的不同变换函数对这些失真进行建模,并将其纳入对抗性语音的生成中。我们的模拟空中评估验证了我们的解决方案在产生强大的对抗性声音方面的有效性,这些声音在各种硬件设备和具有不同混响,环境噪声和噪声水平的各种声学环境下仍然有效。最后,我们利用AS2T进行迄今为止最大规模的评估,以了解14个不同的SRS之间的可转移性。的可转移性分析提供了许多有趣的和有用的见解,挑战一些发现和结论,在以前的作品中的图像域。我们的研究也为说话人识别领域的对抗攻击的未来发展方向提供了参考。
2022-06-07 cs.CR cs.LG cs.SD
Understanding the Security of Deepfake Detection
Duke University(杜克大学)
Deepfakes对互联网上信息的信任构成了越来越大的挑战。因此,检测deepfake引起了学术界和工业界越来越多的关注。现有技术的深度伪造检测方法包括两个关键部分,即,人脸提取器和人脸分类器,分别提取图像中的人脸区域并将其分类为真/假。现有的研究主要集中在提高非对抗性环境中的检测性能,而对抗性环境中deepfake检测的安全性在很大程度上尚未得到探索。在这项工作中,我们的目标是弥合差距。特别是,我们进行了系统的测量研究,以了解最先进的deepfake检测方法在对抗环境中的安全性。我们使用两个大规模的公共deepfakes数据源,包括FaceForensics ++和Facebook Deepfake Detection Challenge,其中deepfakes是虚假的人脸图像;我们训练最先进的deepfake检测方法。这些检测方法可以在这些数据集上的非对抗性设置中达到0.94 - 0.99的准确度。然而,我们的测量结果揭示了deepfake检测方法在对抗环境中的多个安全限制。首先,我们发现攻击者可以避开面部提取器,即,面部提取器无法通过向其deepfake图像添加小的高斯噪声来提取正确的面部区域。其次,我们发现使用一种方法生成的deepfakes训练的人脸分类器无法检测到另一种方法生成的deepfakes,即,攻击者可以通过使用新方法生成deepfake来逃避检测。第三,我们发…
2021-10-06 cs.CR cs.CV cs.LG
An Adversarial Approach to Evaluating the Robustness of Event Identification Models
School of Electrical, Computer, and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
本文采用基于物理的模态分解提取特征,利用逻辑回归和梯度提升等可解释分类器区分负荷损失与发电损失,并在白盒和灰盒设置下通过对抗攻击评估其鲁棒性,发现逻辑回归更易受攻击。
2024-04-22 cs.CR cs.LG cs.SY
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
CWI Amsterdam(荷兰阿姆斯特丹信息与计算科学研究所);Amsterdam, Netherlands(荷兰阿姆斯特丹)
本文分析了DP-SGD在最坏情况对抗隐私定义下的基本限制,推导了可实现的贸易曲线上界,并证明了小分离度要求高噪声乘数,从而限制了效用。
2026-08-11 cs.CR cs.LG
Adversarial Attacks on Cooperative Multi-agent Bandits
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学)
本文研究合作式多智能体多臂赌博机的对抗脆弱性,分别针对同构与异构设置提出低成本攻击策略,并通过数值实验验证其有效性。
2023-11-03 cs.CR cs.LG cs.MA
On the Robustness of Split Learning against Adversarial Attacks
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
该研究针对拆分学习的模型安全问题,提出定制化SPADV攻击方法,通过两阶段流程在低成本下实现高攻击效果,揭示了拆分学习对抗攻击的脆弱性。
2023-07-18 cs.CR cs.CV cs.LG
Adversarial Unlearning of Backdoors via Implicit Hypergradient
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
我们提出了一个极小极大制定从一个给定的中毒模型的基础上一小部分干净的数据删除后门。这个公式包含了许多以前关于后门删除的工作。我们提出了隐式Bacdoor对抗性非学习(I-BAU)算法来解决极大极小问题。与以前的工作,分解成单独的内部和外部问题的极大极小,我们的算法利用隐式超梯度来考虑内部和外部优化之间的相互依赖性。我们从理论上分析了它的收敛性以及通过求解干净数据上的极小极大问题所获得的鲁棒性对未知测试数据的推广性。在我们的评估中,我们将I-BAU与六种最先进的后门防御方法在两个数据集和各种攻击设置上对七种后门攻击进行了比较,包括攻击者针对一个类的常见设置以及针对多个类的重要但未充分研究的设置。I-BAU的性能与最佳基线相当,并且通常明显优于最佳基线。特别是,它的性能对触发器,攻击设置,中毒率和干净数据大小的变化更加鲁棒。此外,I-BAU需要更少的计算才能生效;特别是,它比单目标攻击设置中最有效的基线快$13\times$。此外,它可以在防御者只能访问100个干净样本的极端情况下保持有效-所有基线都无法产生可接受的结果。
2022-02-06 cs.CR cs.CV cs.LG
Detecting Avalanche Effect in Adversarial Settings: Spotting the Encryption Loops in Ransomware
Pennsylvania State University(宾夕法尼亚州立大学);Vector 35 Inc.(Vector 35公司);Agricultural Bank of China(中国农业银行);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种在对抗性环境中检测雪崩效应的新方法,用于识别勒索软件中的加密循环,通过统计保证的Shapiro-Wilk正态性检验提高鲁棒性,实验结果显示高准确率。
2026-04-27 cs.CR
Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanyang Technological University(南洋理工大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心)
说话人识别(SR)作为一种生物认证或身份识别机制在我们的日常生活中被广泛使用。SR的流行带来了严重的安全问题,最近的对抗性攻击就证明了这一点。然而,这种威胁在实际黑盒设置中的影响仍然是开放的,因为当前的攻击只考虑白盒设置。在本文中,我们进行了第一次全面和系统的研究对抗性攻击SR系统(SRS),以了解他们的安全弱点,在实际的黑盒设置。为此,我们提出了一种名为FAKEBOB的对抗性攻击来制作对抗性样本。具体来说,我们将对抗样本生成作为一个优化问题,结合对抗样本的置信度和最大失真来平衡对抗声音的强度和不可感知性。一个关键的贡献是提出了一种新的算法来估计分数阈值,SRS中的一个功能,并将其用于优化问题来解决优化问题。我们证明了FAKEBOB在开源和商业系统上都达到了99%的针对性攻击成功率。我们进一步证明,FAKEBOB在物理世界中的空中播放时,在开源和商业系统上也是有效的。此外,我们进行了一项人类研究,结果表明人类很难区分原始声音和对抗声音的说话者。最后但并非最不重要的是,我们表明,从语音识别领域的对抗性攻击的四个有前途的防御方法变得无效的SRS对FAKEBOB,这需要更有效的防御方法。我们强调,我们的研究窥视到SRS的对抗性攻击的安全影响,并切实促进提高SRS的安全鲁棒性。
2020-04-24 cs.CR cs.LG cs.MM
Admix: Enhancing the Transferability of Adversarial Attacks
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);Microsoft Research Asia(微软亚洲研究院)
众所周知,深度神经网络在白盒设置下极易受到对抗性样本的攻击。此外,在代理(源)模型上制作的恶意攻击者通常在具有相同学习任务但具有不同架构的其他模型上表现出黑盒可移植性。近年来,人们提出了各种方法来提高对抗性的可移植性,其中输入变换是最有效的方法之一。我们在这个方向上进行了研究,并观察到现有的转换都应用于单个图像,这可能会限制对抗性的可转移性。为此,我们提出了一种新的基于输入变换的攻击方法,称为混合,认为输入图像和一组从其他类别随机抽样的图像。Admix不是直接计算原始输入的梯度,而是计算与每个插件图像的一小部分混合的输入图像的梯度,同时使用输入的原始标签来制作更多可转移的对手。在标准ImageNet数据集上的实证评估表明,在单模型设置和集成模型设置下,Admix可以实现比现有输入转换方法更好的可移植性。通过与现有的输入变换相结合,我们的方法可以进一步提高可转移性,并在整体模型设置下攻击九个高级防御模型时,明显优于最先进的输入变换组合。代码可在https://github.com/JHL-HUST/Admix上获得。
2021-08-18 cs.CR cs.CV
Efficient Storage Integrity in Adversarial Settings
本文提出部分异步完整性检查系统 PAC,通过混合方法推迟磁盘写入承诺,在提供强读取完整性保证的同时,实现 5.5 倍性能提升并达到非完整性方案 85% 的吞吐量。
2025-04-09 cs.CR