On the Vulnerability of CNN Classifiers in EEG-Based BCIs
Huazhong University of Science and Technology（华中科技大学）
深度学习由于其出色的性能和避免人工特征工程的能力，已成功应用于众多应用中。一个这样的应用是基于脑电图（EEG）的脑机接口（BCI），其中已经提出了多个卷积神经网络（CNN）模型用于EEG分类。然而，人们发现，深度学习模型很容易被对抗性示例所愚弄，这些示例是带有小的故意扰动的正常示例。本文提出了一种无监督的快速梯度符号方法（UFGSM）来攻击三种流行的CNN分类器，并证明了其有效性。我们还验证了BCI中对抗性示例的可移植性，这意味着即使不知道目标模型的结构和参数，也可以执行攻击。据我们所知，这是第一次研究基于EEG的BCI中CNN分类器的脆弱性，并希望引起更多对BCI系统安全性的关注。
2019-03-31 cs.CR cs.LG stat.ML
Adversarial Attacks on Neural Networks for Graph Data
Technical University of Munich（慕尼黑工业大学）
图的深度学习模型在节点分类任务方面取得了很好的性能。尽管它们的扩散，目前还没有研究它们对对抗性攻击的鲁棒性。然而，在可能使用它们的领域，例如网络，对手是常见的。图的深度学习模型很容易被愚弄吗？在这项工作中，我们介绍了对属性图的对抗性攻击的第一项研究，特别关注利用图卷积思想的模型。除了测试时的攻击外，我们还解决了更具挑战性的中毒/因果攻击，这些攻击专注于机器学习模型的训练阶段。我们针对节点的特征和图结构生成对抗性扰动，从而考虑实例之间的依赖关系。此外，我们通过保留重要的数据特征来确保扰动保持不明显。为了应付底层离散域，我们提出了一个有效的算法Nettack利用增量计算。我们的实验研究表明，节点分类的准确性显着下降，即使只进行少量的扰动。更重要的是，我们的攻击是可转移的：学习的攻击推广到其他最先进的节点分类模型和无监督方法，即使只给出关于图的有限知识，也同样是成功的。
2021-12-09 cs.CR cs.LG stat.ML
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Improving Network Robustness against Adversarial Attacks with Compact Convolution
University of Maryland（马里兰大学）
虽然卷积神经网络（CNN）在对象分类和人脸验证等任务上的性能已经超过了人类水平，但它们很容易被对抗攻击所欺骗。这些攻击向输入图像添加了一个小扰动，导致网络对样本进行错误分类。在本文中，我们专注于中和对抗攻击紧凑的特征学习。特别是，我们证明了在封闭和有界空间中学习特征可以提高网络的鲁棒性。我们探索了L2-Softmax Loss的影响，它在学习的特征中强制执行紧凑性，从而增强了对对抗性扰动的鲁棒性。此外，我们还提出了紧凑卷积，这是一种新的卷积方法，当将其纳入传统CNN时，可以提高其鲁棒性。紧凑卷积确保每一层的特征紧凑性，使它们彼此有界且接近。大量的实验表明，紧凑卷积网络（CCN）可以中和多种类型的攻击，并且在防御对抗攻击方面比现有方法表现更好，与CNN相比不会产生任何额外的训练开销。
2018-03-22 cs.CR cs.LG stat.ML
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside（加州大学河滨分校）
最近的研究表明，像深度神经网络（DNN）这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧，特别是在安全性是重要因素的领域。因此，设计针对对抗攻击的防御机制至关重要。对于图像分类任务，不明显的扰动大多发生在图像的高频频谱中。在本文中，我们利用张量分解技术作为预处理步骤，找到一个低秩近似的图像，可以显着丢弃高频扰动。最近，一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩，为卷积神经网络（CNN）接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent（FGSM）对抗攻击时比Shield的SLQ方法性能高14%，同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
Btech thesis report on adversarial attack detection and purification of adverserially attacked images
INDIAN INSTITUTE OF TECHNOLOGY KHARAGPUR（印度理工学院克勒格布尔分校）
这是Btech关于检测和净化广告攻击图像的论文报告。深度学习模型在某些训练样本上进行训练，用于各种任务，如分类、回归等。通过训练，调整权重，使得模型不仅在由特定度量判断的训练样本上很好地执行任务，而且还具有在通常称为测试数据的其他未见过的样本上进行概括的出色能力。尽管机器学习模型在广泛的任务上取得了巨大的成功，但多年来，安全性受到的关注要少得多。各种潜在网络攻击的鲁棒性也应该是机器学习模型准确性的一个度量标准。这些网络攻击可能会对使用机器学习的现实世界敏感应用（如医疗和运输系统）造成各种负面影响。因此，有必要保护系统免受此类攻击。在这份报告中，我专注于一类被称为对抗攻击的网络攻击，其中原始输入样本被小扰动修改，使得它们在视觉上看起来仍然与人类相同，但机器学习模型被这些输入愚弄。在这份报告中，我讨论了使用AutoEncoders对抗对抗攻击的两种新方法，1）通过检测对手的存在，2）净化这些对手，使目标分类模型对此类攻击具有鲁棒性。
2022-05-09 cs.CR cs.LG
Adversarial Attacks Against Uncertainty Quantification
Sapienza University of Rome（罗马大学）；University of Cagliari（卡利亚里大学）；University of Genova（热那亚大学）
本文研究不追求错误分类、专门操纵不确定性估计的对抗攻击，提出威胁模型与多种攻击策略，并在分类和语义分割任务上系统比较不同不确定性量化方法的脆弱性，证明此类攻击比传统攻击更有效。
2023-09-19 cs.CR cs.CV cs.LG
Explaining Vulnerabilities of Deep Learning to Adversarial Malware Binaries
最近的研究表明，用于恶意软件检测的深度学习算法也容易受到对抗性示例的影响，即，精心制作的干扰输入恶意软件，使误导分类。虽然这已经质疑他们是否适合这项任务，但目前还不清楚为什么这些算法在这个特定的应用领域也很容易被愚弄。在这项工作中，我们采取了第一步来解决这个问题，利用可解释的机器学习算法来解释深度神经网络的黑盒决策。特别是，我们使用一种可解释的技术，称为特征归因，以确定最有影响力的输入功能，有助于每个决定，并适应它提供有意义的解释恶意软件二进制文件的分类。在这种情况下，我们发现最近提出的卷积神经网络没有从可执行文件的数据和文本部分学习任何有意义的特征用于恶意软件检测，而是倾向于学习基于文件头中发现的特征区分良性和恶意软件样本。基于这一发现，我们提出了一种新的攻击算法，通过只改变文件头中的几十个字节来生成对抗性恶意软件二进制文件。相对于其他最先进的攻击算法，我们的攻击不需要在文件末尾注入任何填充字节，而且效率更高，因为它需要操作的字节少得多。
2019-01-24 cs.CR
Improving the Adversarial Robustness and Interpretability of Deep Neural Networks by Regularizing their Input Gradients
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学保尔森工程与应用科学学院）
深度神经网络已经被证明在解决许多分类问题方面非常有效，但最近因两个主要弱点而受到批评：预测背后的原因无法解释，预测本身经常被小的对抗性扰动所愚弄。这些问题为神经网络在需要安全性或透明性的领域中的采用造成了主要障碍。在这项工作中，我们评估了防御的有效性，这些防御对输入中的微小变化改变模型预测的程度进行了不同程度的惩罚。在多个攻击、架构、防御和数据集中，我们发现用这种输入梯度正则化训练的神经网络对为欺骗所有其他模型而生成的转移对抗性示例表现出鲁棒性。我们还发现，为欺骗梯度正则化模型而生成的对抗性示例同样能很好地欺骗所有其他模型，实际上会导致人们评价的更“合理”、更可解释的错误分类（我们在人类受试者实验中证实了这一点）。最后，我们证明了正则化输入梯度使它们更自然地解释为模型预测的依据。最后，我们讨论了深度神经网络中的可解释性和鲁棒性之间的关系。
2017-11-26 cs.CR cs.CV cs.LG
Privacy-Preserving Classification of Personal Text Messages with Secure Multi-Party Computation: An Application to Hate-Speech Detection
School of Engineering and Technology, University of Washington Tacoma（华盛顿大学塔科马分校工程与技术学院）；Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；Ghent University（根特大学）
个人文本消息的分类在监控、电子商务和精神卫生保健等方面有许多有用的应用。让应用程序访问个人文本很容易导致（非）故意侵犯隐私。我们提出了第一个隐私保护解决方案，可证明是安全的文本分类。我们的方法，这是基于安全多方计算（SMC），包括特征提取的文本，随后的分类与逻辑回归和树集成。我们证明，当使用我们的安全文本分类方法时，应用程序不会学习任何关于文本的信息，并且文本的作者不会学习任何关于应用程序所使用的文本分类模型的信息，除了分类结果本身所给出的信息。我们使用一个用于检测针对妇女和移民的仇恨言论的应用程序进行端到端实验，在不损失准确性的情况下展示了出色的运行时结果。
2021-03-12 cs.CR cs.IR cs.LG
Zero-Query Transfer Attacks on Context-Aware Object Detectors
University of California, Riverside（加州大学河滨分校）；Palo Alto Research Center（帕洛阿尔托研究中心）
对抗攻击扰乱图像，使得深度神经网络产生不正确的分类结果。一种有希望的方法来抵御自然多对象场景上的对抗攻击是施加上下文一致性检查，其中，如果检测到的对象与适当定义的上下文不一致，则怀疑攻击。需要更强的攻击来欺骗这种上下文感知检测器。我们提出了第一种生成上下文一致的对抗攻击的方法，这种方法可以逃避在复杂的自然场景中操作的黑盒对象检测器的上下文一致性检查。不像许多黑盒攻击，执行重复的尝试，并打开自己的检测，我们假设一个“零查询”设置，其中攻击者没有受害者系统的分类决策的知识。首先，我们推导出多个攻击计划，以上下文一致的方式将不正确的标签分配给受害者对象。然后，我们设计和使用一种新的数据结构，我们称之为扰动成功概率矩阵，它使我们能够过滤的攻击计划，并选择一个最有可能成功。这个最终的攻击计划是使用扰动有界对抗攻击算法实现的。我们比较我们的零查询攻击对几个查询方案，反复检查受害者系统是否被愚弄。我们还比较了最先进的上下文不可知攻击。针对上下文感知的防御，我们的零查询方法的愚弄率显着高于上下文无关的方法，并高于最多三轮的少查询方案。
2022-03-29 cs.CR cs.CV cs.LG
Private Text Classification
CSIRO, Data61（联邦科学与工业研究组织数据61研究所）；University of Canberra（堪培拉大学）；University of Turku（图尔库大学）
机密文本语料库以多种形式存在，但不允许任意共享。我们探讨如何使用这样的私人语料库使用隐私保护文本分析。我们使用适当的隐私保护技术（包括同态加密，Rademacher算子和安全计算）构建典型的文本处理应用程序。我们从Rademacher算子出发，为二进制分类器提供了初步的材料，然后构建了基本的文本处理方法来匹配这些二进制分类器。
2018-06-19 cs.CL cs.CR cs.IR
