A Malware Classification Survey on Adversarial Attacks and Defences
该综述梳理了网络安全领域恶意软件分类方向的对抗攻击与防御研究，将方法分为四类并分析优劣，介绍了常用数据集与评估标准，指出了开放研究难点与未来方向，为相关研究者和从业者提供参考。
2023-12-15 cs.CR cs.LG
Mal2GCN: A Robust Malware Detection Approach Using Deep Graph Convolutional Networks With Non-Negative Weights
Sharif University of Technology（谢里夫理工大学）
随着使用深度学习（DL）解决各种问题的步伐越来越快，保护这些模型免受攻击已成为研究人员的主要关注点之一。最近的研究表明，基于DL的恶意软件检测器容易受到对抗性示例的攻击。攻击者可以创建精心制作的对抗性示例，以逃避基于DL的恶意软件检测器。在本文中，我们提出了Mal2GCN，一个强大的恶意软件检测模型，使用函数调用图（FCG）表示的可执行文件结合图卷积网络（GCN）来检测Windows恶意软件。由于可执行文件的FCG表示比原始字节序列表示更鲁棒，因此许多提出的对抗性示例生成方法在规避Mal2GCN方面是无效的。此外，我们使用非负训练方法将Mal2GCN转换为单调非减函数，从而在理论上对附加攻击具有鲁棒性。然后，我们提出了一个黑盒源代码为基础的对抗性恶意软件生成方法，可用于评估恶意软件检测模型对现实世界的对手的鲁棒性。所提出的方法将对抗代码注入恶意软件源代码的各个位置，以逃避恶意软件检测模型。实验表明，非负权值的Mal2GCN在检测Windows恶意软件时具有较高的准确率，并且对恶意软件源代码中添加良性特征的对抗攻击具有较强的鲁棒性。
2022-03-12 cs.CR cs.LG
HAPSSA: Holistic Approach to PDF Malware Detection Using Signal and Statistical Analysis
Mayachitra, Inc.（Mayachitra公司）；U.S. Naval Research Laboratory（美国海军研究实验室）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
恶意PDF文档对各种安全组织构成严重威胁，这些组织需要现代威胁情报平台来有效分析和表征PDF恶意软件的身份和行为。最先进的方法使用机器学习（ML）来学习表征PDF恶意软件的特征。然而，ML模型通常容易受到规避攻击，其中对手混淆恶意软件代码以避免被防病毒软件检测到。在本文中，我们得出了一个简单而有效的整体方法来检测PDF恶意软件，利用信号和统计分析的恶意软件二进制文件。这包括组合来自各种静态和动态恶意软件检测方法的正交特征空间模型，以在面对代码混淆时实现通用鲁棒性。使用包含恶意软件和良性样本的近30，000个PDF文件的数据集，我们表明我们的整体方法保持了PDF恶意软件的高检测率（99.92%），甚至可以检测到通过简单方法创建的新恶意文件，这些方法可以删除恶意软件作者为隐藏其恶意软件而进行的混淆，而大多数反病毒软件都无法检测到。
2021-11-08 cs.CR cs.LG eess.SP
Multi-view Representation Learning from Malware to Defend Against Adversarial Variants
University of Arizona（亚利桑那大学）；University of South Florida（南佛罗里达大学）；University of Georgia（佐治亚大学）
基于深度学习的对抗性恶意软件检测器在检测从未见过的恶意软件可执行文件方面取得了可喜的成果，而无需依赖昂贵的动态行为分析和沙箱。尽管这些检测器具有这些能力，但已被证明容易受到对抗性恶意软件变体的攻击-这些变体是由机器学习生成的原始恶意软件可执行文件的精心修改的功能保留版本。由于这些对抗性修改的性质，这些对抗性方法通常使用恶意软件可执行文件的\textit{single view}（即，二进制/十六进制视图）以生成对抗性恶意软件变体。这为防守者提供了一个机会（即，恶意软件检测器）通过利用恶意软件文件的多于一个视图来检测对抗性变体（例如，除了二进制视图之外，还有源代码视图）。这个想法背后的基本原理是，虽然对手专注于二进制视图，但源代码视图中恶意软件文件的某些特征仍然未被触及，这导致检测到对抗性恶意软件变体。为了利用这个机会，我们提出了对抗性鲁棒多视图恶意软件防御（ARMD），这是一种新型的多视图学习框架，用于提高基于DL的恶意软件检测器对对抗性变体的鲁棒性。我们在三个著名的基于开源深度学习的恶意软件检测器上进行的实验表明，ARMD能够将这些恶意软件检测器的对抗鲁棒性提高多达七倍。
2022-10-25 cs.AI cs.CR cs.LG
Towards Deep Learning Models Resistant to Adversarial Attacks
MIT（麻省理工学院）
最近的研究表明，深度神经网络容易受到对抗性样本的影响--这些输入几乎无法与自然数据区分开来，但却被网络错误地分类。事实上，一些最新的发现表明，对抗性攻击的存在可能是深度学习模型的固有弱点。为了解决这个问题，我们通过鲁棒优化的镜头来研究神经网络的对抗鲁棒性。这种方法为我们提供了一个广泛的和统一的看法，对许多以前的工作，这一主题。它的原则性也使我们能够识别训练和攻击神经网络的方法，这些方法是可靠的，并且在某种意义上是通用的。特别是，它们规定了一项具体的安全保障，以防范任何对手。这些方法让我们训练网络，显著提高了对各种对抗性攻击的抵抗力。它们还提出了针对第一级对手的安全概念，认为这是一种自然和广泛的安全保障。我们认为，对这些定义明确的对手类别的鲁棒性是实现完全抵抗深度学习模型的重要垫脚石。代码和预训练模型可在www.example.com和www.example.com上获得。
2019-09-04 cs.LG cs.NE stat.ML
Adversarial Feature Selection against Evasion Attacks
South China University of Technology（华南理工大学）；University of Cagliari（卡利亚里大学）
模式识别和机器学习技术已越来越多地用于对抗性设置，如垃圾邮件、入侵和恶意软件检测，尽管它们针对精心设计的攻击的安全性尚未得到彻底评估，这些攻击旨在通过在测试时操纵数据来逃避检测。虽然以前的工作主要集中在设计对手感知的分类算法来对抗逃避尝试，但只有少数作者考虑了使用减少的特征集对分类器安全性的影响。一个有趣的，初步的结果是，分类安全规避可能会恶化的应用程序的特征选择。在本文中，我们提供了一个更详细的调查，这方面的特征选择对规避攻击的安全属性，脱落一些光。受以往工作的启发，对手意识的分类器，我们提出了一种新的对手意识的特征选择模型，可以提高分类器的安全性规避攻击，通过将具体的假设对手的数据操作策略。我们专注于一个高效的，基于包装的实现我们的方法，并通过实验验证其合理性不同的应用程序的例子，包括垃圾邮件和恶意软件检测。
2020-05-25 cs.CR cs.LG stat.ML
Evaluating the Robustness of a Production Malware Detection System to Transferable Adversarial Attacks
Google Deepmind（谷歌DeepMind）；Google（谷歌）
本文以Gmail依赖Magika模型的恶意软件检测流水线为案例，研究发现仅修改13字节即可90%绕过检测，同时提出防御方案使高资源攻击者需改50字节才达20%成功率，且该方案已上线生产环境。
2025-10-02 cs.CR cs.LG
Lightweight IoT Malware Detection Solution Using CNN Classification
Qatar University（卡塔尔大学）
物联网（IoT）正变得越来越频繁地用于更多的应用中，因为连接的设备的数量正在快速增加。更多的连接设备在可扩展性、可维护性和最重要的安全性方面带来了更大的挑战，尤其是在5G网络方面。物联网设备的安全方面是一个新兴领域，这就是为什么它是本文的重点。多个物联网设备制造商出于不同的原因（如降低成本或避免使用能量收集组件）不考虑保护他们生产的设备。这种潜在的恶意设备可能被对手利用来进行多种有害攻击。因此，我们开发了一个系统，可以识别网络上特定物联网节点的恶意行为。通过卷积神经网络和监控，我们能够使用可以安装在网络内的中央节点为物联网提供恶意软件检测。这一成就表明，这些模型可以推广并轻松应用于任何网络，同时清除了有关深度学习技术的任何污名。
2020-10-21 cs.CR cs.LG
Towards a Robust Classifier: An MDL-Based Method for Generating Adversarial Examples
The University of Newcastle（纽卡斯尔大学）
我们解决了机器学习中的对抗性示例问题，其中对手试图通过对原始样本进行功能保留修改来误导分类器。我们假设一个黑盒的情况下，对手只能访问的功能集，和分类器的最终硬决策输出。我们提出了一种使用最小描述长度（MDL）原则生成对抗性示例的方法。我们的最终目标是提高分类器的鲁棒性，在重建分类器时考虑生成的例子。我们评估我们的方法在便携式可执行（PE）文件中的静态恶意软件检测的应用。我们认为PE文件的API调用作为其区别特征，其中特征向量是表示API调用的存在-不存在的二进制向量。在我们的方法中，我们首先通过查询目标分类器来创建良性样本的数据集。接下来，我们使用MDL原理构造一个频繁模式的码表，用于压缩该数据集。最后，我们通过从良性代码表中选择一个模式并将其添加到恶意软件样本中，来生成与恶意软件样本相对应的对抗性示例。所选模式是在给定代码表的情况下使压缩对抗示例的长度最小化的模式。此修改保留了原始恶意软件样本的功能，因为保留了所有原始API调用，并且仅添加了一些新的API调用。考虑到一个神经网络，我们发现对抗性示例的规避率为78.24%，而原始恶意软件样本的规避率为8.16%。这表明了我们的方法在生成重建分类器时需要考虑的示例方面的有效性。
2019-12-11 cs.IT cs.LG math.IT
On the Robustness of Malware Detectors to Adversarial Samples
Macquarie University（麦考瑞大学）
本文研究对抗性恶意软件在不同检测器间的可迁移性，发现针对单一检测器的对抗二进制文件通常难以迁移，集成检测可缓解威胁，而大幅规避改动还可能暴露攻击技术。
2024-08-05 cs.CR cs.LG
Countering adversarial evasion in regression analysis
School of Mathematical Sciences University of Southampton（数学科学学院 英国南安普顿大学）
本文提出了一种适用于回归场景的悲观双层优化方法，以应对对抗逃逸问题，无需假设对手解的凸性或唯一性。
2025-11-29 cs.LG
Noise-Response Analysis of Deep Neural Networks Quantifies Robustness and Fingerprints Structural Malware
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
深度神经网络（DNN）、基于云的训练和迁移学习的普遍存在正在催生一个新的网络安全前沿，其中不安全的DNN具有“结构性恶意软件”（即，折衷的重量和激活途径）。特别是，DNN可以被设计为具有后门，允许对手通过添加称为触发器的像素模式来轻松可靠地欺骗图像分类器。通常难以检测后门，并且现有的检测方法在计算上是昂贵的并且需要大量的资源（例如，访问训练数据）。在这里，我们提出了一种快速的特征生成技术，量化DNN的鲁棒性，“指纹”其非线性，并允许我们检测后门（如果存在）。我们的方法涉及研究DNN如何响应具有不同噪声强度的噪声注入图像，我们用滴定曲线总结。我们发现，带有后门的DNN对输入噪声更敏感，并以一种特有的方式做出响应，揭示了后门及其所在的位置（其“目标”）。我们的实证结果表明，我们可以准确地检测后门与高置信度的数量级比现有的方法（秒与小时）更快。
2021-02-03 cs.LG stat.ML
Robust Android Malware Detection System against Adversarial Attacks using Q-Learning
BITS Pilani（比尔拉科学技术学院）；Microsoft（微软）
当前最先进的Android恶意软件检测系统基于机器学习和深度学习模型。尽管具有优越的性能，这些模型容易受到对抗攻击。因此，在本文中，我们开发了八种基于机器学习和深度神经网络的Android恶意软件检测模型，并研究了它们对对抗攻击的鲁棒性。为此，我们使用强化学习创建了新的恶意软件变体，这些变体将被现有的Android恶意软件检测模型错误分类为良性。我们提出了两种新的攻击策略，即使用强化学习的白盒和灰盒场景下的单策略攻击和多策略攻击。站在对手的立场上，我们设计了针对检测模型的对抗攻击，目标是最大化欺骗率，同时对Android应用程序进行最少的修改，并确保应用程序的功能和行为不会发生变化。我们在所有8个检测模型中分别实现了44.21%和53.20%的平均欺骗率，最多使用单策略攻击和多策略攻击进行5次修改。采用多策略方法，对基于决策树的模型进行了5次修改，取得了86.09%的最高欺骗率。最后，我们提出了一种对抗性防御策略，该策略可以将针对单个策略攻击的平均欺骗率降低三倍至15.22%，从而提高检测模型的鲁棒性，即所提出的模型可以有效地检测恶意软件的变体（变形）。实验分析表明，我们提出的基于强化学习的Android恶意软件检测系统对对抗攻击具有更强的鲁棒性。
2021-01-27 cs.AI cs.CR cs.LG
Game of Coding: Sybil Resistant Decentralized Machine Learning with Minimal Trust Assumption
University of Minnesota Twin Cities（明尼苏达大学双城分校）；The Georgia Institute of Technology（佐治亚理工学院）
本文提出编码游戏框架，通过博弈论方法实现去中心化机器学习的Sybil抗性，并探讨了系统行为的关键方面。
2026-01-13 cs.IT cs.LG math.IT
Federated Learning for Malware Detection in IoT Devices
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Murcia（穆尔西亚大学）；University of Zurich UZH（苏黎世大学）；Cyber-Defence Campus, armasuisse Science & Technology（瑞士国防部科技局网络防御校区）
这项工作调查了联邦学习在物联网恶意软件检测方面的可能性，并研究了这种新学习范式所固有的安全问题。在此背景下，提出了一种使用联邦学习来检测影响IoT设备的恶意软件的框架。N-BaIoT是一个数据集，对受恶意软件影响的几个真实物联网设备的网络流量进行建模，已被用于评估所提出的框架。有监督和无监督的联邦模型（多层感知器和自动编码器）都能够检测影响N-BaIoT可见和不可见物联网设备的恶意软件。此外，他们的表现进行了比较，两个传统的方法。第一种是让每个参与者只使用自己的数据在本地训练模型，而第二种是让参与者与负责训练全局模型的中央实体共享数据。这种比较表明，使用更多样化和更大的数据，如在联邦和集中式方法中所做的那样，对模型性能有相当大的积极影响。此外，联邦模型，同时保护参与者的隐私，表现出类似的结果集中的。作为一个额外的贡献，并衡量联邦方法的鲁棒性，一个对抗性的设置与几个恶意参与者中毒的联邦模型已被考虑。在大多数联邦学习算法中使用的基线模型聚合平均步骤似乎非常容易受到不同的攻击，即使是单一的对手。因此，在相同的攻击场景下，作为对策的其他模型聚合功能的性能进行评估。这些功能提供了针对恶意参与者的显著改进，但是仍然需要更多的努力来使联邦方法健壮。
2021-11-19 cs.CR cs.LG
Adversarial training with restricted data manipulation
School of Mathematical Sciences University of Southampton（南安普顿大学数学科学学院）；Department of Economic Sciences University of Bergamo（伯尔戈米大学经济科学学院）
针对现有悲观双层优化对抗训练因攻击者不受限导致模型过度悲观、真实场景性能差的问题，提出带约束的悲观双层优化模型限制攻击者数据操作，实验证明其平均性能更优。
2025-09-26 cs.CR cs.LG
Improving Robustness of ML Classifiers against Realizable Evasion Attacks Using Conserved Features
Washington University in St. Louis（圣路易斯华盛顿大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Ariel University（阿里埃勒大学）；University of Michigan（密歇根大学）
机器学习（ML）技术在安全应用中越来越常见，例如恶意软件和入侵检测。然而，ML模型通常容易受到规避攻击的影响，其中对手对输入（例如恶意软件）进行更改以避免被检测到。评估ML对此类攻击的鲁棒性以及设计鲁棒ML的传统方法是通过考虑简化的攻击特征空间模型，其中攻击者直接改变ML特征以实现规避，同时最小化或限制这种变化的幅度。我们研究了这种方法在面对可以在实际恶意软件中实现的攻击（可实现的攻击）时设计鲁棒ML的有效性。我们证明，在基于结构的PDF恶意软件检测的上下文中，这样的技术似乎有有限的有效性，但他们是有效的基于内容的检测器。在这两种情况下，我们表明，增加保守的功能（那些不能单方面修改而不损害恶意功能）的特征空间模型显着提高性能。最后，我们表明，特征空间模型，使广义的鲁棒性时，面对各种可实现的攻击，相比，被调整到一个特定的可实现的攻击是强大的分类器。
2019-05-10 cs.CR cs.LG
A New Family of Neural Networks Provably Resistant to Adversarial Attacks
University of California, Santa Cruz（加州大学圣克鲁兹分校）
对抗攻击向输入特征添加扰动，意图改变由机器学习系统产生的分类。小的扰动可以产生对抗性的例子，这些例子被错误分类，尽管它们与未扰动的输入几乎无法区分。用标准神经网络技术训练的分类器非常容易受到对抗性示例的影响，允许对手创建他们选择的错误分类。我们引入了一种新型的网络单元，称为MWD（最大加权距离）单元，具有内置的抵抗对抗攻击。这些单位是高度非线性的，我们开发了有效训练它们所需的技术。我们表明，通过网络传播扰动效应的简单区间技术能够有效地计算鲁棒性（即，准确性保证）的MWD网络下的任何扰动，包括对抗攻击。MWD网络对输入扰动的鲁棒性明显高于ReLU网络。在置换不变MNIST上，当测试示例可以被输入范围的20%扰动时，MWD网络可证明保持83%以上的准确度，而ReLU网络的准确度下降到5%以下。MWD网络的可证明精度甚至优于在对抗性示例的帮助下训练的ReLU网络的观测精度。在没有对抗攻击的情况下，MWD网络与sigmoid网络的性能相当，准确性仅略低于ReLU网络。
2019-02-01 cs.CR cs.LG cs.NE
Evaluating the robustness of adversarial defenses in malware detection systems
Faculty of Computer Science and Engineering（计算机科学与工程学院）；Shahid Beheshti University (SBU)（沙希德·贝赫什提大学）；Tehran, Iran（伊朗德黑兰）
本文提出sigma-二进制攻击方法，揭示现有恶意软件检测防御的脆弱性，提升对抗防御的鲁棒性。
2025-12-08 cs.AI cs.CR cs.LG
Certified Neural Network Watermarks with Randomized Smoothing
University of Maryland, College Park（马里兰大学帕克分校）；Adobe Research（Adobe研究院）
数字水印是一种常用的保护数字图像、视频和音频创作者权利的策略。最近，水印方法已经扩展到深度学习模型--原则上，当对手试图复制模型时，水印应该被保留。然而，在实践中，水印往往可以被智能对手删除。几篇论文已经提出了水印方法，声称是经验上抵抗不同类型的删除攻击，但这些新技术往往失败，在面对新的或更好的调整对手。在本文中，我们提出了一种可认证的水印方法。使用Chiang等人提出的随机平滑技术，我们表明，我们的水印保证是不可移除的，除非模型参数被改变超过某个L2阈值。除了是可认证的，我们的水印也是经验上更强大的相比，以前的水印方法。我们的实验可以通过https://github.com/arpitbansal297/Certified_Watermarks上的代码复制
2022-07-16 cs.CR cs.LG
Omni: Automated Ensemble with Unexpected Models against Adversarial Evasion Attack
North Carolina State University（北卡罗来纳州立大学）
背景：基于机器学习的安全检测模型在现代恶意软件和入侵检测系统中已经变得普遍。然而，以前的研究表明，这种模型容易受到对抗性逃避攻击。在这种类型的攻击中，输入（即，对抗性示例）是由智能恶意对手特别制作的，目的是被现有技术水平的模型错误分类（例如，深度神经网络）。一旦攻击者可以欺骗分类器，使其认为恶意输入实际上是良性的，他们就可以使基于机器学习的恶意软件或入侵检测系统失效。目标：通过集成模型的思想，帮助安全从业者和研究人员构建一个更强大的模型来对抗非自适应、白盒和非针对性的对抗性规避攻击。方法：我们提出了一种名为Omni的方法，其主要思想是探索创建“意外模型”集合的方法;即，模型的控制超参数有一个大的距离对手的目标模型的超参数，我们然后做一个优化的加权集成预测。测试结果：在对五种安全数据集（NSL-KDD，CIC-IDS-2017，CSE-CIC-IDS 2018，CICAnd-Mal 2017和Contagio PDF数据集）进行的五种类型的对抗性规避攻击（FGSM，BIM，JSMA，DeepFool和Carlini-Wagner）的研究中，我们发现与其他基线治疗方法相比，Omni是一种很有前途的对抗对抗攻击的防御策略。结论：当采用集成防御对抗性逃避攻击时，我们建议使用与攻击者的预期模型（即，目标模型）通过超参数优化等方法。
2021-10-12 cs.CR cs.LG
MaMaDroid2.0 -- The Holes of Control Flow Graphs
Ariel Cyber Innovation Center（阿里尔网络创新中心）；Ariel University（阿里尔大学）；Data Science and Artificial Intelligence Research Center（数据科学与人工智能研究中心）；Jill Dando Institute（吉尔·丹多研究所）；UCL（伦敦大学学院）
Android恶意软件对全球数十亿移动用户构成了不断扩大的威胁。检测系统不断更新，以应对这些威胁。然而，反弹采取逃避攻击的形式，其中对手改变恶意样本，使得这些样本将被错误地分类为良性。本文全面考察了著名的Android恶意软件检测系统MaMaDroid，分析了应用程序的控制流图。考虑对训练集合和模型中的良性样本的部分的改变以查看它们对分类器的影响。良性和恶意样本之间的比例变化对每个模型都有明显的影响，导致其检测率下降超过40%。此外，还实现了所采用的ML模型，包括5-NN，决策树和Adaboost。对这六种模型的探索揭示了基于树的模型和基于距离的模型在不同情况下的典型行为。此外，三个新的攻击，操纵的CFG和他们的检测率描述为每一个目标模型。这些攻击将大多数模型的检测率降低到0%，这与良性应用程序和恶意应用程序的不同比例有关。因此，MaMaDroid的新版本被设计出来。该模型融合了应用程序的CFG和应用程序的静态分析特征，对基于CFG的模型和静态分析模型的规避攻击都具有较好的鲁棒性，对每种攻击的检测率都达到90%以上。
2022-02-28 cs.CR cs.LG
Practical Black-Box Attacks against Machine Learning
Google（谷歌）；Pennsylvania State University（宾夕法尼亚州立大学）；OpenAI；University of Wisconsin（威斯康星大学）；US Army Research Laboratory（美国陆军研究实验室）
机器学习（ML）模型，例如，深度神经网络（DNN）容易受到对抗性示例的影响：恶意输入被修改以产生错误的模型输出，而对人类观察者来说似乎没有修改。潜在的攻击包括将恶意内容（如恶意软件）识别为合法或控制车辆行为。然而，所有现有的对抗性示例攻击都需要了解模型内部或其训练数据。我们介绍了攻击者在没有此类知识的情况下控制远程托管DNN的第一个实际演示。事实上，我们的黑盒对手的唯一能力是观察DNN为选定输入提供的标签。我们的攻击策略包括训练一个本地模型来代替目标DNN，使用由对手合成生成并由目标DNN标记的输入。我们使用本地替代来制作对抗性示例，并发现它们被目标DNN错误分类。为了执行真实世界和适当盲化的评估，我们攻击了MetaMind托管的DNN，MetaMind是一种在线深度学习API。我们发现他们的DNN错误分类了84.24%的对抗性示例。我们通过使用逻辑回归替代品对Amazon和Google托管的模型进行相同的攻击，证明了我们的策略对许多ML技术的普遍适用性。它们产生了亚马逊和谷歌错误分类的对抗性示例，错误率分别为96.19%和88.94%。我们还发现，这种黑盒攻击策略能够逃避防御策略，以前发现，使对抗性的例子制作更难。
2017-03-19 cs.CR cs.LG
Security Evaluation of Support Vector Machines in Adversarial Environments
University of Cagliari（卡利亚里大学）；Universität Potsdam（波茨坦大学）；IBM Research（IBM研究院）
支持向量机（SVM）是安全应用中最流行的分类技术之一，如恶意软件检测、入侵检测和垃圾邮件过滤。然而，如果要将SVM纳入现实世界的安全系统，它们必须能够应对可能误导学习算法（中毒）、逃避检测（逃避）或获取有关其内部参数（隐私泄露）的信息的攻击模式。本章的主要贡献有两个方面。首先，我们介绍了一个正式的一般框架的机器学习系统的安全性的经验评估。其次，根据我们的框架，我们证明了规避，中毒和隐私攻击的支持向量机在现实世界中的安全问题的可行性。对于每种攻击技术，我们评估其影响，并讨论是否（以及如何）可以通过支持向量机的对手感知设计来反击。我们的实验很容易重现，这要归功于我们在公共存储库上提供的开源代码以及所有使用的数据集。
2014-01-30 cs.CR cs.LG
Semantic Adversarial Deep Learning
University of California at Berkeley（加州大学伯克利分校）；University of Wisconsin（威斯康星大学）
在大量数据的推动下，机器学习（ML）算法（尤其是深度神经网络）生成的模型正被用于值得关注的各种领域，包括汽车系统、金融、医疗保健、自然语言处理和恶意软件检测。特别值得关注的是机器学习算法在网络物理系统（CPS）中的使用，例如自动驾驶汽车和航空，在这些系统中，对手可能会造成严重后果。然而，现有的生成对抗性示例和设计鲁棒ML算法的方法大多忽略了包含ML组件的整个系统的语义和上下文。例如，在使用深度学习进行感知的自动驾驶汽车中，并非神经网络的每个对抗性示例都可能导致有害后果。此外，人们可能希望优先搜索对抗性示例，以显著修改整个系统的所需语义。沿着同样的路线，现有的算法，用于构建强大的ML算法忽略了整个系统的规范。在本文中，我们认为，整个系统的语义和规范在这条线的研究中发挥了至关重要的作用。我们目前的初步研究结果支持这一说法。
2018-05-18 cs.LG stat.ML
Is Data Clustering in Adversarial Settings Secure?
Università di Cagliari（卡利亚里大学）；FBK-irst（布鲁诺·凯斯勒基金会-irst研究所）；Università Ca’ Foscari di Venezia（威尼斯大学）
聚类算法已经越来越多地被用于安全应用中，以发现危险或非法活动。然而，它们最初并没有被设计来处理可能旨在破坏聚类过程本身的故意攻击尝试。因此，在这种情况下是否可以安全地采用聚类仍然存在疑问。在这项工作中，我们提出了一个通用的框架，允许一个识别潜在的攻击对聚类算法，并评估其影响，通过对对手的目标，知识的攻击系统，和操作的输入数据的能力作出具体的假设。我们表明，攻击者可能会显着中毒的整个聚类过程中添加一个相对较小的百分比的攻击样本的输入数据，一些攻击样本可能会被混淆隐藏在一些现有的集群。我们提出了一个案例研究单链接层次聚类，并报告实验的恶意软件样本和手写数字的聚类。
2018-11-25 cs.CR cs.CV cs.LG
On the (Statistical) Detection of Adversarial Examples
CISPA, Saarland Informatics Campus（CISPA亥姆霍兹信息安全中心，萨尔兰信息学园区）；Penn State University（宾夕法尼亚州立大学）；MPI SWS（马克斯·普朗克软件系统研究所）
机器学习（ML）模型被应用于各种任务中，例如网络入侵检测或恶意软件分类。然而，这些模型容易受到一类被称为对抗性示例的恶意输入的影响。这些是被ML模型错误分类的轻微扰动输入。减少这些敌对性投入仍然是一个悬而未决的问题。作为理解对抗性示例的一步，我们表明它们不是来自与原始数据相同的分布，因此可以使用统计测试来检测。利用这些知识，我们引入了一种互补的方法来识别对抗性的特定输入。具体来说，我们用一个额外的输出来增强我们的ML模型，在这个输出中，模型被训练来对所有对抗性输入进行分类。我们使用多个数据集对多个对抗性示例制作方法（包括快速梯度符号和显着图方法）进行了评估。统计测试标记包含敌对输入的样本集，样本大小在10到100个数据点之间。此外，我们的增强模型要么以高准确度（> 80%）将对抗性示例检测为离群值，要么将对手的成本（增加的扰动）增加150%以上。通过这种方式，我们证明了对抗性示例的统计特性对其检测至关重要。
2017-10-17 cs.CR cs.LG stat.ML
Are You Using Reliable Graph Prompts? Trojan Prompt Attacks on Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本文提出针对图提示学习（GPL）的后门攻击框架TGPA，通过将后门注入图提示且不修改预训练GNN编码器，并引入抗微调投毒方法，在保证高攻击成功率和干净准确率的同时，有效应对下游用户微调带来的挑战。
2025-05-29 cs.CR cs.LG
Evasion Attacks against Machine Learning at Test Time
University of Cagliari（卡利亚里大学）；Universität Potsdam（波茨坦大学）；University of Tübingen（蒂宾根大学）
在对安全敏感的应用程序中，机器学习的成功取决于彻底审查它们对对抗性数据的抵抗力。在一个相关的，动机良好的攻击场景中，对手可能会试图通过仔细操纵攻击样本来逃避测试时部署的系统。在这项工作中，我们提出了一个简单但有效的基于梯度的方法，可以利用系统地评估几个，广泛使用的分类算法对规避攻击的安全性。根据最近提出的安全评估框架，我们模拟攻击的情况下，表现出不同的风险等级的分类器，通过增加攻击者的知识系统和她的能力来操纵攻击样本。这为分类器设计者提供了在逃避攻击下分类器性能的更好的画面，并允许他执行更明智的模型选择（或参数设置）。我们评估我们的方法在PDF文件中的恶意软件检测的相关安全任务，并表明，这样的系统可以很容易地逃避。并根据分析结果提出了相应的对策建议。
2017-08-21 cs.CR cs.LG
Evasion Attacks on Cost-Utility-Based Adversarial Training for Online AutoML in IoT Networks
Ontario Tech University（安大略理工大学）；Alex Ekwueme Federal University（亚历克·埃克韦梅联邦大学）
本研究评估物联网网络中在线AutoML下黑盒规避攻击对基于成本效用的对抗训练的影响，发现LB和SRP的对抗训练版本在最高成本预算下达到最佳对抗准确率0.985，最大准确率下降仅0.8%。
2026-09-29 cs.CR cs.LG
MeMark: Membrane-Space Watermarking for Spiking Neural Networks
Radboud University（拉德堡德大学）；IKERLAN Technology Research Centre（伊克尔兰技术研究中心）；University of Bergen（卑尔根大学）；University of Zagreb（萨格勒布大学）
MeMark是一种面向脉冲神经网络的膜空间水印技术，将水印嵌入神经元膜状态，可抵御多种攻击，能为检查点所有权提供可靠证据。
2026-08-27 cs.AI cs.CR cs.LG
