Learning Security Classifiers with Verified Global Robustness Properties
UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
最近的许多工作已经提出了方法来训练具有局部鲁棒性的分类器,它可以证明消除类的逃避攻击的大多数输入,但不是所有的输入。由于数据分布偏移在安全应用中非常常见,对于恶意软件检测经常观察到的是,局部鲁棒性不能保证在部署分类器时对于看不见的输入保持该属性。因此,更希望强制执行对所有输入都成立的全局鲁棒性属性,这比局部鲁棒性严格更强。在本文中,我们提出了一个框架和工具,训练分类器,满足全球的鲁棒性。我们定义了新的概念,更适合于安全分类器的全局鲁棒性。我们设计了一个新的booster-fixer训练框架来增强全局鲁棒性。我们构造我们的分类器作为一个集成的逻辑规则,并设计了一个新的验证器来验证的属性。在我们的训练算法中,助推器增加了分类器的容量,而固定器在反例引导的归纳合成之后强制执行已验证的全局鲁棒性。我们表明,我们可以训练分类器,以满足不同的全局鲁棒性的三个安全数据集,甚至多个属性在同一时间,与适度的影响分类器的性能。例如,我们训练Twitter垃圾邮件帐户分类器,以满足五个全局鲁棒性属性,与不满足任何属性的基准XGBoost模型相比,真阳性率降低5.4%,误报率增加0.1%。
2021-12-01 cs.CR cs.LG
Post-Training Detection of Backdoor Attacks for Two-Class and Multi-Attack Scenarios
Pennsylvania State University(宾夕法尼亚州立大学)
后门攻击(BA)是对深度神经网络分类器的新兴威胁。受害者分类器将预测攻击者期望的目标类,只要测试样本嵌入有用于毒害分类器训练集的相同后门模式(BP)。检测分类器是否受到后门攻击在实践中并不容易,特别是当防御者,例如,下游用户无法访问分类器的训练集。这一挑战在这里通过逆向工程防御(RED)来解决,该防御已被证明在多个领域具有最先进的性能。然而,当仅存在{ \it两个类}或存在{ \it多个攻击}时,现有RED不适用。这些情况下,首先研究在当前的文件中,在实际的限制下,防御者既不能访问分类器的训练集,也不能监督干净的参考分类器训练相同的域。我们提出了一个基于BP反向工程和一个新的{ \it预期可转移性}(ET)统计的检测框架。我们表明,我们的ET统计是有效的{ \it使用相同的检测阈值},无论分类域,攻击配置,和BP反向工程算法,使用。在六个基准数据集上证明了我们方法的优异性能。值得注意的是,我们的检测框架也适用于具有多种攻击的多类场景。代码可在https://github.com/zhenxianglance/2ClassBADetection上获得。
2022-03-14 cs.CR cs.LG
Curie: A method for protecting SVM Classifier from Poisoning Attack
Syracuse University(雪城大学)
机器学习被用于许多安全相关的应用中,例如生物特征用户认证、说话人辨识等。一种类型的针对机器学习的因果完整性攻击称为中毒攻击,其通过在训练数据中注入特制的数据点来工作,以增加分类器的误报率。在生物测定认证的上下文中,这意味着更多的入侵者将被分类为有效用户,并且在说话人辨识系统的情况下,用户A将被分类为用户B。在本文中,我们研究中毒攻击对支持向量机和介绍-居里-一种方法来保护SVM分类器免受中毒攻击。我们的方法的基本思想是识别由对手注入的有毒数据点,并将其过滤掉。我们的方法重量轻,可以很容易地集成到现有的系统中。实验结果表明,该方法能很好地滤除有毒数据。
2016-06-07 cs.CR cs.LG
Robust and Verifiable Information Embedding Attacks to Deep Neural Networks via Error-Correcting Codes
Duke University(杜克大学)
在深度学习时代,用户通常利用第三方机器学习工具来训练深度神经网络(DNN)分类器,然后将分类器部署为最终用户软件产品或云服务。在信息嵌入攻击中,攻击者是恶意第三方机器学习工具的提供者。攻击者在训练过程中将消息嵌入到DNN分类器中,并在用户部署后通过查询黑盒分类器的API来恢复消息。信息嵌入攻击由于各种应用而引起越来越多的关注,例如水印DNN分类器和损害用户隐私。最先进的信息嵌入攻击有两个关键限制:1)它们无法验证恢复消息的正确性,以及2)它们对分类器的后处理不鲁棒。在这项工作中,我们的目标是设计信息嵌入攻击,是可验证的和强大的对流行的后处理方法。具体来说,我们利用循环冗余检查来验证恢复消息的正确性。此外,为了对后处理具有鲁棒性,我们利用Turbo码(一种纠错码)对消息进行编码,然后将其嵌入DNN分类器。我们建议通过自适应查询分类器来保存查询来恢复消息。我们的自适应恢复策略利用Turbo码的属性,支持纠错与部分代码。我们评估我们的信息嵌入攻击使用模拟的消息,并将它们应用到三个应用程序,其中消息具有语义解释。我们考虑了8种流行的方法来对分类器进行后处理。我们的研究结果表明,我们的攻击可以准确地和可验证地恢复在所有考虑的情况下的消息,而国家的最先进的攻击不能准确地恢复在许多情况下的消息。
2020-10-26 cs.CR cs.LG
Robust and Information-theoretically Safe Bias Classifier against Adversarial Attacks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文引入了偏置分类器,即将一个以Relu为激活函数的DNN的偏置部分作为分类器。这项工作的动机是这样一个事实,即偏置部分是一个分段常数函数与零梯度,因此不能直接攻击基于梯度的方法来产生对手,如FGSM。证明了偏置分类器的存在性,并给出了一种有效的偏置分类器训练方法。证明了通过在偏置分类器中加入适当的随机一次部分,在攻击方向完全随机的意义下,得到了一个抗原模型梯度攻击的信息理论安全分类器.这似乎是第一次提出信息理论安全分类器的概念。提出了几种针对偏置分类器的攻击方法,并通过数值实验表明,在大多数情况下,偏置分类器比具有相似大小的DNN更鲁棒。
2022-02-14 cs.CR cs.LG stat.ML
Fusion of ANN and SVM Classifiers for Network Attack Detection
Université Laval(拉瓦尔大学)
随着网络应用和电子设备(电脑、手机、Android等)的逐步增加网络攻击和入侵的检测已经成为网络犯罪检测领域一个非常具有挑战性的任务。在这种情况下,大多数现有的攻击检测方法主要依赖于有限的攻击集合。这些解决方案是脆弱的,也就是说,他们无法检测到一些攻击时,信息来源是模糊的或不完善的。然而,很少有办法开始朝这个方向进行调查。本文研究了机器学习方法(ANN,SVM)在检测正常或可疑的TCP连接流量中的作用。但是,单独使用ANN和SVM是一种昂贵的技术。本文提出了一种将人工神经网络(ANN)分类器和支持向量机(SVM)分类器相结合的方法。此外,我们提出的解决方案允许可视化获得的分类结果。所提出的解决方案的准确性进行了比较与其他分类器的结果。实验已经进行了不同的网络连接从NSL-KDD DARPA数据集选择。实验结果表明,将ANN和SVM技术相结合进行攻击检测是一个很有前途的方向。
2018-01-10 cs.CR cs.LG
You Only Query Once: Effective Black Box Adversarial Attacks with Minimal Repeated Queries
Bosch Center for AI(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa AI);Carnegie Mellon University(卡内基梅隆大学)
研究人员一再表明,对深度分类器进行对抗攻击(显著改变类别标签的小扰动)是可能的,即使是在“黑盒”设置中,也只能查询分类器。然而,黑盒设置中的所有先前工作都通过重复查询同一图像并进行微小修改来攻击分类器,通常是数千次或更多,这使得防御者很容易检测到随后的攻击。在这项工作中,我们证明了在黑盒设置中通过只查询一次不同图像的序列来制作(通用)对抗性扰动是可能的。这种攻击会阻止从大量相似查询中检测到数据,并产生一种扰动,当应用于分类器的任何输入时,这种扰动会导致错误分类。在实验中,我们证明了遵守这一限制的攻击可以产生非目标性的对抗性扰动,这些扰动可以欺骗绝大多数MNIST和CIFAR-10分类器输入,以及ImageNet分类器上超过$60-70\%$的输入。在有针对性的设置中,我们展示了针对ImageNet分类器的黑盒通用攻击,当每个图像只允许一个查询时,成功率高于$20\%$,当每个图像允许两个查询时,成功率高于$66\%$。
2021-01-29 cs.CR cs.LG
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学)
后门攻击(BA)是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时,测试样本从源类嵌入后门模式(BP)。最近,第一个针对点云(PC)分类器的BA被提出,对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中,我们提出了一个反向工程防御,推断PC分类器是否受到后门攻击,而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
False Sense of Security: Leveraging XAI to Analyze the Reasoning and True Performance of Context-less DGA Classifiers
RWTH Aachen University(亚琛工业大学)
本文利用XAI揭示无上下文DGA分类器高准确率背后的严重偏差,并设计出无偏差且保持检测率的上下文感知检测系统,同时提出可视化分析系统以增强信任与透明度。
2023-09-25 cs.CR cs.LG
Adversarial Attacks on Brain-Inspired Hyperdimensional Computing-Based Classifiers
UC Riverside(加州大学河滨分校)
作为一类新兴的存内计算架构,脑启发超维计算(HDC)模仿脑认知并利用随机超向量(即,具有数千甚至更多维度的向量)来表示特征并执行分类任务。独特的超向量表示使HDC分类器能够表现出高能效、低推理延迟和对硬件引起的比特错误的强大鲁棒性。因此,它们越来越被认为是传统深度神经网络(DNN)的有吸引力的替代或甚至替代,用于本地设备分类,特别是在低功耗物联网设备上。尽管如此,与DNN不同的是,HDC分类器的最新设计大多是安全性无关的,这让人怀疑它们的安全性和对抗性输入的免疫力。在本文中,我们首次研究了对HDC分类器的对抗攻击,并强调HDC分类器即使在最小干扰的对抗样本下也很脆弱。具体而言,以手写数字分类为例,我们构建了一个HDC分类器,并制定了一个灰箱攻击问题,其中攻击者的目标是误导目标HDC分类器产生错误的预测标签,同时保持尽可能少的扰动噪声量。然后,我们提出了一种改进的遗传算法,以产生对抗样本内的一个合理的少量的查询。我们的研究结果表明,由我们的算法生成的对抗图像可以成功地误导HDC分类器以高概率产生错误的预测标签(即,78%,当HDC分类器使用固定多数规则进行决策时)。最后,我们还提出了两种防御策略-对抗训练和再训练-以加强HDC分类器的安全性。
2020-06-10 cs.CR cs.LG
Generic Black-Box End-to-End Attack Against State of the Art API Call Based Malware Classifiers
Ben Gurion University(本-古里安大学)
在本文中,我们提出了一种针对基于API调用的机器学习恶意软件分类器的黑盒攻击,重点是生成结合API调用和静态特征(例如,可打印字符串),其将被分类器错误分类而不影响恶意软件功能。我们表明,由于RNN变体、前馈DNN和传统机器学习分类器(如SVM)之间的可转移性原则,这种攻击对许多分类器都是有效的。我们还实现了GADGET,一个软件框架,将任何恶意软件二进制转换为二进制未检测到的恶意软件分类器,使用拟议的攻击,而无需访问恶意软件源代码。
2018-06-24 cs.CR cs.LG cs.NE
NAttack! Adversarial Attacks to bypass a GAN based classifier trained to detect Network intrusion
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
随着人工智能和机器学习的最新发展,可以使用机器学习方法来检测网络流量中的异常。在机器学习兴起之前,可能意味着攻击的网络异常是使用精心设计的规则来检测的。具有网络防御领域知识的攻击者可以进行有根据的猜测,有时可以准确预测网络防御机制正在关注的网络流量数据的哪些特定特征。有了这些信息,攻击者就可以绕过基于规则的网络防御系统。然而,随着机器学习在网络异常方面的进步,人类很难理解如何绕过网络防御系统。最近,对抗攻击已经变得越来越普遍,以击败机器学习算法。在本文中,我们表明,即使我们建立了一个分类器,并训练它与网络数据的对抗性的例子,我们可以使用对抗攻击,并成功地打破了系统。我们提出了一种基于生成对抗网络(GAN)的算法来生成数据,以训练一个高效的基于神经网络的分类器,然后我们使用对抗攻击来打破系统。
2020-02-20 cs.CR cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University(东北大学);FireEye Inc.(火眼公司);Xailient Inc.(Xailient公司)
用于基于机器学习(ML)的恶意软件分类的训练管道通常依赖于众包威胁源,从而暴露出自然的攻击注入点。在本文中,我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性,特别关注具有挑战性的“干净标签”攻击,其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择,从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类,包括Windows PE文件,PDF和Android应用程序,我们展示了对各种机器学习模型的有效攻击,并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性,我们为Windows PE文件创建了一个水印实用程序,保留了二进制文件的功能,我们利用类似的行为保留更改方法为Android和PDF文件。最后,我们实验了潜在的防御策略,并展示了完全防御这些攻击的困难,特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Santa Fe Institute(圣塔菲研究所)
已知神经网络图像分类器的对抗性示例是可转移的:被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而,有针对性的对抗性示例(被优化为被分类为选定的目标类)往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中,在这项工作中,我们研究的作用的源分类器。在这里,我们表明,训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性,即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
Being Single Has Benefits. Instance Poisoning to Deceive Malware Classifiers
Ben-Gurion University of the Negev(本古里安大学);Nanyang Technological University(南洋理工大学)
基于机器学习的恶意软件分类器的性能取决于用于诱导其模型的大型且更新的训练集。为了保持最新的训练集,需要从广泛的来源不断收集良性和恶意文件,为攻击者提供可利用的目标。在这项研究中,我们展示了攻击者如何针对用于训练恶意软件分类器的数据集发起复杂而有效的中毒攻击。攻击者的最终目标是确保由中毒数据集诱导的模型将无法检测攻击者的恶意软件,但能够检测其他恶意软件。与恶意软件检测领域的其他中毒攻击相反,我们的攻击并不关注恶意软件家族,而是关注包含植入触发器的特定恶意软件实例,根据中毒量将检测率从99.23%降至0%。我们使用最先进的分类器和来自VirusTotal的恶意软件样本评估我们对EMBER数据集的攻击,以进行我们工作的端到端验证。我们提出了一种全面的检测方法,可以作为未来对这种新发现的严重威胁的复杂防御。
2020-10-30 cs.CR cs.LG
Jigsaw Puzzle: Selective Backdoor Attack to Subvert Malware Classifiers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
恶意软件分类器容易受到训练时间的利用,因为需要定期使用从野外收集的样本进行重新训练。最近的工作已经证明了针对恶意软件分类器的后门攻击的可行性,但这种攻击的隐蔽性还没有得到很好的理解。在本文中,我们在清洁标签设置(即,攻击者不能完全控制训练或标记过程)。从经验上讲,我们表明,现有的后门攻击的恶意软件分类仍然是检测到最近的防御,如MNTD。为了提高隐蔽性,我们提出了一种新的攻击,拼图(JP),基于恶意软件作者几乎没有动机保护任何其他作者的恶意软件,但他们自己的关键观察。因此,Jigsaw Puzzle学习触发器以补充恶意软件作者的样本的潜在模式,并且仅当触发器和潜在模式在样本中拼凑在一起时才激活后门。我们进一步关注问题空间中可实现的触发器(例如,软件代码)使用广泛从良性软件中获取的字节码小工具。我们的评估证实,拼图是一个有效的后门,仍然隐形对国家的最先进的防御,是一个威胁,在现实的设置,远离推理功能空间只有攻击。最后,我们探索有前途的方法来提高后门防御。
2022-02-11 cs.CR cs.LG
T-Miner: A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification
Virginia Tech(弗吉尼亚理工大学);LUMS Pakistan(拉合尔管理科学大学巴基斯坦分校);University of Michigan(密歇根大学)
已知深度神经网络(DNN)分类器易受特洛伊木马或后门攻击的攻击,其中分类器被操纵,使得其对包含攻击者确定的特洛伊木马触发器的任何输入进行错误分类。后门会损害模型的完整性,从而对基于DNN的分类前景构成严重威胁。虽然针对图像域中的分类器存在针对这种攻击的多种防御,但是保护文本域中的分类器的努力有限。我们提出了木马矿工(T-Miner)-一个防御框架的木马攻击基于DNN的文本分类器。T-Miner采用序列到序列(seq-2-seq)生成模型,该模型探测可疑分类器并学习生成可能包含特洛伊木马触发器的文本序列。然后,T-Miner分析生成模型产生的文本,以确定它们是否包含触发短语,以及相应地,测试的分类器是否有后门。T-Miner不需要访问训练数据集或可疑分类器的干净输入,而是使用合成的“无意义”文本输入来训练生成模型。我们在1100个模型实例上对T-Miner进行了广泛的评估,这些模型实例涵盖了3个无处不在的DNN模型架构、5个不同的分类任务和各种触发短语。我们表明,T-Miner检测特洛伊木马和干净模型的总体准确率为98.75%,同时在干净模型上实现了低误报。我们还表明,T-Miner对来自自适应攻击者的各种有针对性的高级攻击具有鲁棒性。
2021-03-11 cs.CR cs.LG
Identifying Adversarial Attacks on Text Classifiers
University of California, Irvine(加利福尼亚大学尔湾分校);University of Oregon, Eugene(俄勒冈大学尤金分校)
针对文本分类器的对抗攻击的规模持续增长,每年都有新的攻击出现,其中许多攻击可以在标准工具包中找到,例如TextAttack和OpenAttack。作为回应,有越来越多的关于鲁棒学习的工作,这减少了对这些攻击的脆弱性,尽管有时在计算时间或准确性方面付出了很高的代价。在本文中,我们采取了另一种方法-我们试图通过分析敌对文本来了解攻击者,以确定使用了哪些方法来创建它。我们的第一个贡献是一个广泛的攻击检测和标记数据集:150万攻击实例,由12个对抗攻击生成,目标是在六个源数据集上训练的三个分类器,用于英语的情感分析和滥用检测。作为我们的第二个贡献,我们使用这个数据集来开发和基准测试一些用于攻击识别的分类器--确定给定的文本是否被恶意操纵以及被哪种攻击操纵。作为第三个贡献,我们证明了这些任务的三个类别的功能的有效性:文本属性,捕获内容和文本的呈现;语言模型属性,确定哪些令牌是更多或更少的可能性在整个输入;和目标模型属性,表示文本分类器是如何受到攻击的影响,包括内部节点激活。总的来说,这代表了对文本分类器进行对抗攻击取证的第一步。
2022-01-21 cs.CL cs.CR cs.LG
Inferring Class Label Distribution of Training Data from Classifiers: An Accuracy-Augmented Meta-Classifier Attack
KTH Royal Institute of Technology(KTH皇家理工学院)
针对机器学习(ML)模型的属性推断攻击旨在推断与模型的主要任务无关的训练数据的属性,并且迄今为止已经被公式化为二元决策问题,即,训练数据是否具有特定属性。然而,在工业和医疗保健应用中,训练数据中的标签的比例通常也被认为是敏感信息。在本文中,我们介绍了一种新的类型的属性推断攻击,不同于文献中的二元决策问题,旨在推断的类标签分布的训练数据的参数的ML分类器模型。我们提出了一种方法的基础上\emph{shadow training}和\emph{meta-classifier}训练的阴影分类器的参数与辅助数据上的分类器的准确性增强。我们评估所提出的方法与完全连接的神经网络架构的ML分类器。我们发现,所提出的\emph{meta-classifier}攻击提供了最大的相对改进的$52\%$在国家的艺术。
2022-11-08 cs.AI cs.CR cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University(卡尔顿大学)
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而,与其他领域相比,机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序(如恶意软件检测、入侵检测和垃圾邮件过滤)本身就具有对抗性。在攻击者和防御者之间的军备竞赛中,对手不断地用明确设计的输入来探测机器学习系统,以绕过系统并引起错误的预测。在本调查中,我们首先提供了机器学习技术、任务和深度的分类。然后,我们介绍了机器学习在网络安全应用中的分类。接下来,我们研究了网络安全中针对机器学习的各种对抗性攻击,并介绍了网络安全中对抗攻击的两种分类方法。首先,我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次,我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后,我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后,我们引入了一个对抗性风险网格图,并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks
University of Iowa(爱荷华大学)
深度学习(DL)正被广泛用于文本分类。然而,研究人员已经证明了这种分类器对对抗攻击的脆弱性。攻击者以误导分类器的方式修改文本,同时保持原始含义接近完整。最先进的(SOTA)攻击算法遵循对文本进行最小更改的一般原则,以便不危及语义。利用这一点,我们提出了一种新颖而直观的防御策略,称为样本屏蔽。它与攻击者和分类器无关,不需要重新配置分类器或外部资源,并且易于实现。从本质上讲,我们对输入文本的子集进行采样,对它们进行分类,并将其总结为最终决策。我们使用Sample Shielding屏蔽了三个流行的DL文本分类器,在现实的威胁环境中测试了它们对三个数据集上的四个SOTA攻击者的弹性。即使在了解我们的屏蔽策略的优势下,对手的攻击成功率也<=10%,只有一个例外,通常<5%。此外,样本屏蔽在应用于原始文本时保持接近原始的准确性。至关重要的是,我们表明,SOTA攻击者的“做最小的改变”的方法导致关键的漏洞,可以防御一个直观的采样策略。
2022-05-03 cs.CL cs.CR cs.LG
Adversarial Examples for Cost-Sensitive Classifiers
The RAND Corporation(兰德公司)
出于安全关键分类问题的动机,我们研究了对成本敏感分类器的对抗攻击。我们使用当前最先进的抗对抗神经网络分类器[1]作为基础模型。然后通过网络前馈评估中的最终处理步骤实现成本敏感预测。我们评估了成本敏感分类器对各种攻击的有效性,并介绍了一种新的成本敏感攻击,在某些情况下,它的性能优于有针对性的攻击。我们还探讨了防御者可以采取的措施,以限制他们对这些攻击的脆弱性。这种攻击者/防御者的情况下,自然是一个两个球员的零和有限的游戏,我们用博弈论分析。
2019-10-04 cs.CR cs.LG stat.ML
Active Deep Learning Attacks under Strict Rate Limitations for Online API Calls
Intelligent Automation, Inc.(智能自动化公司)
机器学习已应用于广泛的应用程序,其中一些可作为免费(试用)或付费订阅的应用程序编程接口(API)在线提供。在本文中,我们以在线分类器API的后台攻击形式研究对抗性机器学习。我们从基于深度学习的探索(推理)攻击开始,其目的是构建一个分类器,该分类器可以提供与目标分类器相似的分类结果(标签)。为了最小化推断分类器和目标分类器返回的标签之间的差异,我们证明了基于深度学习的探索性攻击需要大量标记的训练数据样本。这些标签可以通过调用在线API来收集,但通常对允许的API调用数量有严格的速率限制。为了减轻有限训练数据的影响,我们开发了一种主动学习方法,首先基于少量API调用构建分类器,并使用该分类器选择样本以进一步收集其标签。然后,使用更多的训练数据样本构建新的分类器。这个更新过程可以重复多次。我们表明,这种主动学习方法可以建立一个对抗分类器与目标分类器的统计差异很小,只使用有限数量的训练数据样本。我们进一步考虑规避和使役(中毒)攻击的基础上推断的分类器,是由探索性攻击。规避攻击确定目标分类器可能错误分类的样本,而因果攻击提供错误的训练数据样本以降低重新训练的分类器的可靠性。这些攻击的成功表明,对抗性机器学习在训练数据有限的现实情况下成为一种可行的威胁。
2018-11-05 cs.CR cs.LG stat.ML
TextDecepter: Hard Label Black Box Attack on Text Classifiers
Rutgers University(罗格斯大学)
机器学习已经被证明容易受到精心制作的样本的影响,这些样本被称为对抗性样本。这些对抗性示例的生成有助于使模型更加健壮,并使我们深入了解这些模型的底层决策。多年来,研究人员已经成功地在白盒和黑盒设置中攻击了图像分类器。然而,这些方法并不直接适用于文本,因为文本数据是离散的。近年来,针对文本应用程序制作对抗性示例的研究一直在上升。在本文中,我们提出了一种针对自然语言处理(NLP)分类器的硬标签黑箱攻击的新方法,其中不公开模型信息,攻击者只能查询模型以获得分类器的最终决策,而不需要所涉及类的置信度得分。这种攻击场景适用于真实世界的黑盒模型,用于安全敏感应用程序,如情感分析和有毒内容检测。
2020-12-28 cs.CL cs.CR cs.LG
Attacking the First-Principle: A Black-Box, Query-Free Targeted Mimicry Attack on Binary Function Classifiers
LORIA(洛林信息与自动化研究院);University of Arizona(亚利桑那大学)
本文提出Kelpie框架,首次在黑盒无查询环境下成功执行针对二元函数分类器的模仿攻击,展示了其在不同模型架构下的有效性,并通过实际案例验证了攻击的可行性,引发对现有机器学习二元函数分类器可靠性和安全性的质疑。
2026-06-12 cs.LG
Characterizing the Evasion Attackability of Multi-label Classifiers
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Norton Research Group(诺顿研究集团)
多标签学习系统中的规避攻击是一个有趣的、广泛的、但很少有人探索的研究课题。描述决定多标签对抗性威胁可攻击性的关键因素是解释对抗性脆弱性的起源和理解如何减轻它的关键。我们将目标多标签分类器的可攻击性与分类器的规则性和训练数据分布相关联。除了理论上的可攻击性分析,我们进一步提出了一个有效的经验可攻击性估计通过贪婪标签空间探索。它提供了可证明的计算效率和近似精度。在真实数据集上的大量实验结果验证了所揭示的可攻击性因素和所提出的经验可攻击性指标的有效性
2020-12-21 cs.LG
Lattice Climber Attack: Adversarial attacks for randomized mixtures of classifiers
LAMSADE, CNRS, Université Paris Dauphine - PSL(LAMSADE、CNRS、巴黎第十一大学-PSL)
针对现有攻击方法不适用于分类器随机混合模型的问题,本文提出具备有效性与极大性的lattice climber attack攻击方法,该方法在二元线性设置下有理论保证,且经实验验证性能优异。
2025-06-12 cs.LG
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University(杜克大学)
随着机器学习(ML)变得越来越强大且易于访问,攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中,攻击者可以访问个人、软件或系统的某些数据(称为公共数据);并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功,是因为私有数据与公共数据在统计上相关,而ML分类器可以捕获这种统计相关性。在本章中,我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是,攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此,我们可以将ML的漏洞转化为对推理攻击的防御。例如,ML分类器很容易受到对抗性示例的影响,这些示例会向正常示例添加精心制作的噪音,以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击,我们可以在公共数据中添加精心制作的噪音,将它们变成对抗性的例子,这样攻击者的分类器就会对私有数据做出错误的预测。然而,现有的构建对抗性示例的方法是不够的,因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中,我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Explainable Adversarial Attacks on Coarse-to-Fine Classifiers
University of Central Florida(中佛罗里达大学);Pontifícia Universidade Católica do Rio Grande do Sul(南里奥格兰德天主教大学)
针对多阶段粗到细分类器的对抗攻击缺乏可解释性与研究的问题,本文利用逐层相关性传播(LRP)识别关键特征,提出可解释的基于实例的对抗攻击方法,能引发误分类并增强模型行为的可解释性。
2025-01-19 cs.CR cs.CV cs.LG
Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
近年来,机器学习算法,更具体地说,深度学习算法,已经广泛应用于包括网络安全在内的许多领域。然而,机器学习系统容易受到对抗攻击,并且这限制了机器学习的应用,特别是在非静止的对抗性环境中,诸如网络安全领域,其中实际的对手(例如,恶意软件开发者)存在。本文全面总结了针对基于机器学习技术的安全解决方案的对抗攻击的最新研究,并说明了它们带来的风险。首先,对抗攻击方法的特点是基于他们的发生阶段,攻击者的目标和能力。然后,我们分类的对抗攻击和防御方法在网络安全领域的应用。最后,我们强调了最近研究中发现的一些特征,并讨论了其他对抗性学习领域的最新进展对网络安全领域未来研究方向的影响。本文首次讨论了在网络安全领域实施端到端对抗攻击的独特挑战,将其映射到统一的分类中,并使用分类突出未来的研究方向。
2021-03-13 cs.CR cs.LG stat.ML
Generative Adversarial Networks for Black-Box API Attacks with Limited Training Data
Intelligent Automation, Inc.(智能自动化公司)
由于基于机器学习的在线系统通过应用程序编程接口(API)提供给公共或付费用户,因此它们容易受到频繁的利用和攻击。本文研究了在实际情况下,当API调用有速率限制时的对抗性机器学习。对手通过以下方式发起探索性(推理)攻击:用输入数据样本查询在线机器学习系统(特别是分类器)的API,收集返回的标签以建立训练数据,并训练功能上等效且统计上接近目标分类器的对抗性分类器。有限的训练数据的探索性攻击被证明无法可靠地推断出一个真实的文本分类器API,可在线向公众提供的目标分类器。作为回报,构建基于深度学习的生成对抗网络(GAN)以从有限数量的真实训练数据样本生成合成训练数据,从而扩展训练数据并提高推断分类器的性能。探索性攻击通过基于从推断的分类器获得的置信度得分分别选择训练和测试数据样本,提供了发起因果攻击(旨在毒害训练过程)和逃避攻击(旨在欺骗分类器做出错误决策)的基础。这些具有小足迹的隐形攻击(使用少量API调用)使对抗机器学习在对手可用的训练数据有限的现实情况下变得实用。
2019-01-25 cs.CR cs.LG stat.ML
Query-limited Black-box Attacks to Classifiers
University of Virginia(弗吉尼亚大学);EURECOM(欧洲通信学院)
我们研究了对机器学习分类器的黑盒攻击,其中对模型的每个查询都会给对手带来一些检测成本或风险。我们专注于明确的最小化查询的数量作为一个主要目标。具体来说,我们考虑的问题,攻击机器学习分类器的预算的功能修改成本,同时尽量减少查询的数量,其中每个查询只返回一个类和置信度得分。我们描述了一种方法,使用贝叶斯优化,以尽量减少查询的数量,并发现查询的数量可以减少到大约十分之一的数量需要通过随机策略的情况下,功能修改成本预算低。
2017-12-23 cs.CR cs.LG stat.ML
Adversarial attacks for mixtures of classifiers
LAMSADE(LAMSADE实验室);CNRS(法国国家科学研究中心);Université Paris Dauphine - PSL(巴黎多芬大学-PSL)
针对现有攻击不适用于分类器混合模型的问题,本文提出攻击的有效性和最大性两个理想属性,设计了具备二元线性场景理论保证的lattice climber attack,经实验验证了其性能。
2023-07-20 cs.LG
Adversarial Security Attacks and Perturbations on Machine Learning and Deep Learning Methods
Southern New Hampshire University(南新罕布什尔大学)
不断增长的大数据和新兴的人工智能(AI)需要使用机器学习(ML)和深度学习(DL)方法。网络安全也受益于ML和DL方法用于各种类型的应用。然而,这些方法容易受到安全攻击。攻击者可以利用学习模型的训练和测试数据,或者可以探索这些模型的工作原理,以发动未来的高级攻击。ML和DL领域内的对抗性安全攻击和扰动是最近的探索,安全研究人员和实践者对此表示了极大的兴趣。文献涵盖了ML和DL方法的不同对抗性安全攻击和扰动,这些攻击和扰动有自己的表现风格和优点。需要审查和巩固的知识,是理解这一日益集中和不断增长的研究课题;然而,是研究界目前的需求。在这篇综述论文中,我们专门针对网络安全领域的新研究人员,他们可能会寻求获得有关机器学习和深度学习模型和算法的一些基本知识,以及一些相关的对抗性安全攻击和扰动。
2019-07-17 cs.CR cs.LG stat.ML
When Not to Classify: Detection of Reverse Engineering Attacks on DNN Image Classifiers
The Pennsylvania State University(宾夕法尼亚州立大学)
针对深度神经网络(DNN)图像分类器的逆向工程(RE)攻击,通过查询发现分类器的决策规则。RE可以实现测试时规避攻击,这需要分类器的知识。最近,我们提出了一个非常有效的方法(ADA)来检测测试时逃避攻击。在本文中,我们扩展ADA检测RE攻击(ADA-RE)。我们证明了我们的方法是成功的检测“隐形”RE攻击之前,他们学习足够的发动有效的测试时间规避攻击。
2018-10-31 cs.CV cs.LG stat.ML
Gradient-based Data Subversion Attack Against Binary Classifiers
TCS Research(塔塔咨询服务公司研究院)
基于机器学习的数据驱动技术已经在各种应用领域中显示出令人印象深刻的性能。大多数企业使用来自多个来源的数据来提供高质量的应用程序。外部数据源的可靠性引起了对所采用的机器学习技术的安全性的关注。攻击者可以篡改训练或测试数据集,以破坏这些技术生成的模型的预测。数据投毒是这样一种攻击,其中攻击者试图通过操纵训练数据来降低分类器的性能。在这项工作中,我们专注于标签污染攻击,其中攻击者毒害数据的标签,以损害系统的功能。我们开发了基于代理的数据颠覆策略,以实现模型退化的假设下,攻击者有有限的受害者模型的知识。我们利用梯度的可微凸损失函数(残差)相对于预测的标签作为一个热启动,并制定不同的策略来找到一组数据实例污染。此外,我们分析了攻击的可转移性和二进制分类器的敏感性。我们的实验表明,所提出的方法优于基线,是计算效率。
2021-05-31 cs.AI cs.CR cs.LG
Rethinking Classifier and Adversarial Attack
Zhengzhou University(郑州大学);Information Engineering University(信息工程大学)
已经提出了各种防御模型来抵抗对抗攻击算法,但是现有的对抗鲁棒性评估方法总是过高地估计这些模型的对抗鲁棒性(即,不接近鲁棒性的下限)。为了解决这个问题,本文提出了解耦空间方法,将分类器分为两部分:非线性和线性。然后,本文定义了原始示例的表示向量(及其空间,即,表示空间),并利用绝对分类边界条件(ACBI)的迭代优化来获得更好的攻击起点。特别地,本文将ACBI应用于近50种广泛使用的防御模型(包括8种体系结构)。实验结果表明,ACBI在所有情况下都具有较低的鲁棒精度。
2022-05-14 cs.AI cs.CR cs.LG
PopSkipJump: Decision-Based Attack for Probabilistic Classifiers
ETH Zürich(苏黎世联邦理工学院)
大多数当前的分类器容易受到对抗性样本的影响,这些样本是改变分类输出的小输入扰动。许多现有的攻击算法涵盖了从白盒到黑盒分类器的各种设置,但通常假设答案是确定性的,并且通常在答案不确定时失败。因此,我们提出了一种新的基于对抗性决策的攻击,专门为具有概率输出的分类器设计。它基于Chen等人的HopSkipJump攻击(2019,arXiv:1904.02144v5),这是一种最初为确定性分类器设计的强大且查询高效的基于决策的攻击。我们的P(robabilisticH)opSkipJump攻击适应其查询量,以保持HopSkipJump的原始输出质量在各种噪声水平,同时收敛到其查询效率的噪声水平降低。我们测试了我们对各种噪声模型的攻击,包括最先进的现成的随机防御,并表明它们对基于决策的攻击几乎没有额外的鲁棒性。代码可在https://github.com/cjsg/PopSkipJump上获得。
2021-06-14 cs.CR cs.CV cs.LG
Randomized Smoothing under Attack: How Good is it in Pratice?
Univ. Rennes, Inria, CNRS IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心雷恩计算机科学与随机系统研究所)
随机平滑是一个最近和著名的解决方案,以证明任何分类器的鲁棒性。虽然它确实提供了一个理论上的鲁棒性对对抗攻击,目前的分类器的维数必须强加蒙特卡罗方法,其在实践中的应用。本文质疑随机平滑作为防御的有效性,对最先进的黑盒攻击。这是一个新颖的观点,因为以前的研究工作认为认证是毫无疑问的保证。我们首先正式强调理论认证和分类器攻击实践之间的不匹配。然后,我们执行攻击随机平滑作为防御。我们的主要观察结果是,在RS的设置中有一个主要的不匹配,以获得高认证的鲁棒性,或者在击败黑盒攻击的同时保持分类器的准确性。
2022-04-28 cs.AI cs.CR cs.LG
A Learning-Based Approach to Reactive Security
UC Berkeley(加州大学伯克利分校);Google Inc.(谷歌公司);Stanford University(斯坦福大学)
尽管传统的智慧,主动安全优于反应式安全,我们表明,反应式安全可以与主动安全的竞争力,只要反应式防御者从过去的攻击中学习,而不是近视过度反应的最后一次攻击。我们的博弈论模型遵循安全文献中的常见做法,对攻击者做出最坏情况的假设:我们授予攻击者防御者策略的完整知识,并且不要求攻击者理性行事。在这个模型中,我们限制了反应式防御算法(这是受在线学习理论启发)和最佳固定主动防御之间的竞争比。此外,我们表明,与主动防御不同,这种反应式策略对缺乏攻击者的动机和知识的信息是鲁棒的。
2009-12-22 cs.CR cs.GT cs.LG
FINER: Enhancing State-of-the-art Classifiers with Feature Attribution to Facilitate Security Analysis
Zhejiang University(浙江大学)
本文提出 FINER 框架,通过解释引导的多任务学习与任务知识增强的 FA 集成,为风险检测分类器生成高保真、可理解的解释,并在恶意软件分析中优于现有工具。
2023-08-10 cs.CR cs.LG cs.SE
AI Security Threats against Pervasive Robotic Systems: A Course for Next Generation Cybersecurity Workforce
Mississippi State University(密西西比州立大学)
机器人技术、自动化和相关的人工智能(AI)系统已经变得普遍,带来了与安全性、准确性和信任相关的担忧。随着人们越来越依赖与人类密切接触的物理机器人,这些系统的安全性变得越来越重要,以防止可能导致隐私侵犯、关键操作破坏和身体伤害的网络攻击。目前缺乏专业人员谁可以捍卫这种系统要求开发和整合这样的课程。本课程描述包括关于“针对普适机器人系统的AI安全威胁”的七个独立和自适应模块的详细信息。主题包括:1)介绍,攻击的例子和动机; 2)-机器人AI攻击表面和渗透测试; 3)-输入传感器的攻击模式和安全策略; 4)-训练攻击和相关的安全策略; 5)-推理攻击和相关的安全策略; 6)-执行器攻击和相关的安全策略;和7)-人工智能,机器人和网络安全的伦理。
2023-02-15 cs.AI cs.CR cs.LG
Data Driven Exploratory Attacks on Black Box Classifiers in Adversarial Domains
University of Louisville(路易斯维尔大学)
虽然现代网络应用程序的目标是在文明水平上产生影响,但它们已经变得容易受到敌对活动的影响,下一次网络攻击可以采取任何形式,可以来自任何地方。攻击的规模和复杂性不断增加,促使人们需要一种数据驱动的解决方案,机器学习是许多网络安全系统的核心。机器学习在设计时并没有考虑到安全性,并且要求训练和测试数据遵循类似分布的平稳性的基本假设在对抗域中被违反。在本文中,对手的观点的分类为基础的系统,提出。基于形式化的对抗模型,提出了一个种子-探索-利用框架,用于模拟对分类器的数据驱动和逆向工程攻击的生成。在10个真实世界数据集上使用Google Cloud Prediction Platform进行的实验评估表明,分类器存在固有的脆弱性,并且在没有任何关于分类器类型,训练数据或应用领域的明确信息的情况下可以轻松进行规避。所提出的框架,算法和经验评估,作为一个白帽分析的漏洞,并旨在促进安全的机器学习框架的发展。
2017-03-23 cs.CR cs.LG stat.ML
TCAB: A Large-Scale Text Classification Attack Benchmark
University of California Irvine(加州大学欧文分校);University of California San Diego(加州大学圣地亚哥分校);University of Oregon(俄勒冈大学)
我们介绍了文本分类攻击基准(TCAB),这是一个用于分析、理解、检测和标记针对文本分类器的对抗攻击的数据集。TCAB包括150万个攻击实例,由12个对抗攻击生成,目标是在六个源数据集上训练的三个分类器,用于情感分析和英语滥用检测。与标准文本分类不同,文本攻击必须在被攻击的目标分类器的上下文中理解,因此目标分类器的特征也很重要。TCAB包括所有成功翻转预测标签的攻击实例;攻击的子集也由人类注释器标记,以确定保留主要语义的频率。生成攻击的过程是自动化的,因此TCAB可以很容易地扩展到新的文本攻击和更好的分类器。除了检测和标记攻击的主要任务外,TCAB还可以用于攻击定位、攻击目标标记和攻击特征描述。TCAB代码和数据集可在https://react-nlp.github.io/tcab/上获得。
2022-10-21 cs.LG
Are Generative Classifiers More Robust to Adversarial Attacks?
Microsoft Research Cambridge(微软研究院剑桥分院);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Eberhard Karls University of Tübingen(图宾根大学)
随着先进的攻击和防御技术的积极开发,人们对研究深度神经网络分类器对对手的鲁棒性越来越感兴趣。然而,最近的工作主要集中在判别分类器上,它只对给定输入的标签的条件分布进行建模。在本文中,我们提出并研究了深度贝叶斯分类器,它改进了经典的朴素贝叶斯与条件深度生成模型。我们进一步开发了对抗性示例的检测方法,这些方法在生成模型下拒绝低可能性的输入。实验结果表明,深度贝叶斯分类器比深度判别分类器更强大,并且所提出的检测方法对许多最近提出的攻击是有效的。
2019-05-27 cs.LG stat.ML
Robustness for Non-Parametric Classification: A Generic Attack and Defense
University of California, San Diego(加利福尼亚大学圣迭戈分校)
对抗鲁棒的机器学习最近受到了很多关注。然而,以前的攻击和防御非参数分类器已经开发了一个特设或分类器特定的基础上。在这项工作中,我们将全面研究非参数分类器的对抗性示例,包括最近邻居,决策树和随机森林。我们提供了一种通用的防御方法,对抗性修剪,它通过对数据集进行预处理来实现良好的分离。为了测试我们的防御,我们提供了一个新的攻击,适用于广泛的非参数分类器。从理论上讲,我们得到一个最佳的鲁棒分类器,这是类似于贝叶斯最佳。我们表明,对抗修剪可以被视为一个有限的样本近似这个最佳分类。我们的经验表明,我们的防御和攻击是更好的或有竞争力的非参数分类器的先前工作。总的来说,我们的研究结果提供了一个强大的和广泛适用的基线,为未来的工作强大的非参数。代码可在https://github.com/yangarbiter/adversarial-nonparametrics/获得。
2020-02-24 cs.CR cs.DS cs.LG
Robust Attacks against Multiple Classifiers
University of California, Berkeley(加州大学伯克利分校);Harvard University(哈佛大学)
我们解决了设计最佳对抗噪声算法的挑战,学习者可以访问多个分类器。我们演示了如何将这个问题定义为在学习者和对手之间的两个玩家零和游戏中找到均衡策略。通过这样做,我们说明了在对抗攻击中随机化的必要性。为了计算纳什均衡,我们的主要技术重点是设计最佳响应预言机,然后可以在乘法权重更新框架内实现,以提高确定性扰动对一组模型的最佳混合策略。我们使用线性分类器和深度神经网络在一系列图像分类任务上证明了我们的方法的实际有效性。
2019-06-06 cs.CR cs.GT cs.LG
Robustness Verification for Classifier Ensembles
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);University of Antwerp(安特卫普大学);TNO(荷兰应用科学研究组织);Leiden University(莱顿大学)
我们给出了一个形式化验证过程,以决定分类器集成是否对任意随机攻击具有鲁棒性。这种攻击由一组确定性攻击和在这组上的分布组成。鲁棒性检查问题包括评估,给定一组分类器和一个标记的数据集,是否存在一个随机攻击,导致一定的预期损失对所有分类器。我们显示的NP-硬度的问题,并提供了一个上限的攻击,足以形成一个最佳的随机攻击的数量。这些结果提供了一种有效的方法来推理分类器集成的鲁棒性。我们提供SMT和MILP编码来计算最优的随机攻击或证明没有攻击引起一定的预期损失。在后一种情况下,分类器集成可证明是鲁棒的。我们的原型实现验证了为图像分类任务训练的多个神经网络集成。使用MILP编码的实验结果是有前途的可扩展性和我们的验证过程的一般适用性。
2020-07-09 cs.LG stat.ML
AutoGAN: Robust Classifier Against Adversarial Attacks
Rutgers University(罗格斯大学);Perspecta Labs(Perspecta实验室)
分类器不能正确地分类输入图像,这些图像已经被有目的地和不可察觉地扰动以引起误分类。这种可解释性已被证明是一致的分类器,无论其类型,架构或参数。针对对抗攻击的常见防御通过对以各种方式创建的额外对抗示例进行训练来修改分类器边界。在本文中,我们介绍了AutoGAN,它通过增强由训练数据定义的低维流形并将扰动数据点投影到其上来对抗对抗攻击。AutoGAN减少了对攻击类型和大小的了解以及对攻击的对抗样本的需求。我们的方法使用了一个生成对抗网络(GAN),它具有一个自动编码器生成器和一个也用作分类器的编码器。我们测试了AutoGAN与最先进的快速梯度符号方法(FGSM)生成的对抗样本以及随机高斯噪声生成的样本,两者都使用MNIST数据集。对于训练和测试中不同程度的扰动,AutoGAN可以在使用FGSM扰动的样本上超过FGSM方法的精度高达25个点。在没有增强训练数据集的情况下,AutoGAN在FGSM测试对抗样本上的准确率为89%,而FGSM方法仅为1%。
2018-12-08 cs.CR cs.CV cs.LG
Detection of Backdoors in Trained Classifiers Without Access to the Training Set
School of Electrical Engineering and Computer Science, The Pennsylvania State University(宾夕法尼亚州立大学电气工程与计算机科学学院);Anomalee Inc.(Anomalee 公司)
最近,提出了一种特殊类型的针对深度神经网络(DNN)分类器的数据投毒(DP)攻击,称为后门。这些攻击并不寻求降低分类准确性,而是让分类器在测试示例中出现后门模式时学习分类到目标类。发起后门攻击不需要知道分类器或其训练过程-它只需要能够用(足够数量的)包含足够强的后门模式(标记为目标类)的样本来毒害训练集。在这里,我们解决了DNN图像分类器中的后门攻击的训练后检测,在现有的作品中很少考虑,其中防御者无法访问中毒的训练集,而只能访问训练的分类器本身,以及从分类域中清除示例。这是一个重要的场景,因为经过训练的分类器可能是例如将与许多用户共享的电话应用程序的基础。因此,在训练后检测后门可能会发现广泛的攻击。我们提出了一种针对不可感知的后门攻击的纯无监督异常检测(AD)防御,即:i)检测训练的DNN是否受到后门攻击; ii)推断检测到的攻击中涉及的源和目标类; iii)我们甚至证明可以准确估计后门模式。我们测试我们的AD方法,与替代防御相比,几个后门模式,数据集和攻击设置,并证明其可扩展性。我们的防御基本上需要设置一个单一的超参数(检测阈值),例如,可以选择该参数来修复系统的误报率。
2020-08-19 cs.CR cs.CV cs.LG
Membership Inference Attack and Defense for Wireless Signal Classifiers with Deep Learning
Virginia Tech(弗吉尼亚理工大学);Intelligent Automation, Inc.(智能自动化公司)
提出了一种无线成员推断攻击(MIA),用于从无线信号分类器中泄漏私有信息。机器学习(ML)提供了对无线信号进行分类的强大手段,例如,用于PHY层认证。作为对抗性机器学习攻击,MIA推断目标分类器的训练数据中是否使用了感兴趣的信号。该私有信息包含波形、信道和设备特征,并且如果被泄露,则可以被对手利用来识别底层ML模型的漏洞(例如,以渗透PHY层认证)。空中MIA的一个挑战是,由于信道条件的差异,对手和预期接收机处的接收信号以及因此的RF指纹不同。因此,对手首先通过观察频谱来构建代理分类器,然后在该分类器上启动黑盒MIA。MIA结果表明,对手可以可靠地推断用于构建目标分类器的信号(以及潜在的无线电和信道信息)。因此,通过建立影子MIA模型和欺骗对手来开发针对MIA的主动防御。这种防御可以成功地降低MIA的准确性,并防止从无线信号分类器的信息泄漏。
2021-07-22 cs.CR cs.IT cs.LG
Large Language Models Are Better Adversaries: Exploring Generative Clean-Label Backdoor Attacks Against Text Classifiers
University of Oregon(俄勒冈大学)
本文提出 LLMBkd,利用大语言模型自动生成多样化风格触发器实现干净标签文本后门攻击,并设计毒样本选择技术与 REACT 防御基线,实验证明其攻击高效且无需模型训练。
2023-10-28 cs.LG
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University(上海交通大学)
尽管深度神经网络取得了巨大的成功,但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中,我们提出了另一种类型的对抗攻击,可以欺骗分类器的显着变化。例如,我们可以显著地改变一张脸,但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看,现有的对抗攻击增加了第二类错误,而提出的攻击则针对第一类错误,因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要,但本质上是不同的,这是直观的解释和数值评估。为了实现所提出的攻击,监督变异自动编码器的设计,然后分类器进行攻击,通过更新的潜在变量使用梯度信息。{此外,使用预训练的生成模型,还研究了对潜在空间的I型攻击。实验结果表明,该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器,并且加强策略仅对特定类型的攻击有效,这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
Code-Bridged Classifier (CBC): A Low or Negative Overhead Defense for Making a CNN Classifier Robust Against Adversarial Attacks
在本文中,我们提出了代码桥接分类器(CBC),这是一个框架,用于使卷积神经网络(CNN)对对抗攻击具有鲁棒性,而不会增加甚至降低整个模型的计算复杂性。更具体地说,我们提出了一种堆叠的编码器卷积模型,其中输入图像首先由去噪自动编码器的编码器模块编码,然后将所得的潜在表示(未被解码)馈送到复杂度降低的CNN进行图像分类。我们说明,该网络不仅是更强大的对抗性的例子,但也有一个显着较低的计算复杂性相比,现有技术的防御。
2020-01-16 cs.CV cs.LG stat.ML