Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
梯度反转攻击（Gradient Inversion Attack）是联邦学习安全性和隐私保护面临的一种新威胁，恶意窃听者或协议参与者可以利用梯度反转攻击恢复（部分）客户端的隐私数据。本文评估了现有的攻击和防御。我们发现，一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后，我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡，并发现以适当的方式将它们结合起来会使攻击变得不那么有效，即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明，目前可以通过轻微的数据实用程序损失来防御最先进的攻击，如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
Membership Inference Attacks and Defenses in Classification Models
Purdue University（普渡大学）
我们研究了对分类器的成员推理（MI）攻击，攻击者的目标是确定是否使用数据实例来训练分类器。通过对现有MI攻击的系统编目和对它们的广泛实验评估，我们发现模型对MI攻击的脆弱性与泛化差距密切相关-训练准确性和测试准确性之间的差异。然后，我们提出了一种针对MI攻击的防御方法，旨在通过故意降低训练精度来缩小差距。更具体地说，训练过程试图通过新的{ \em集合正则化器}来匹配训练和验证精度，该新的{ \em集合正则化器}使用训练集合和验证集合的softmax输出经验分布之间的最大平均离散度。我们的实验结果表明，将这种方法与另一种简单的防御（混合训练）相结合，可以显着提高对MI攻击的最先进的防御能力，同时对测试准确性的影响最小。
2021-02-03 cs.CR cs.LG
StratDef: Strategic Defense Against Adversarial Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）
提出基于移动目标防御的 StratDef 系统，通过动态策略化选择模型降低攻击可迁移性，并在多威胁级别下证明其优于现有恶意软件检测防御。
2023-04-24 cs.CR cs.LG
A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning
Deakin University（迪肯大学）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
针对联邦学习中难以检测的边缘情况模型投毒攻击，提出DataDefense方法，结合外部防御数据集与交替最小化策略训练检测器和客户端重要性模型，以极少样本实现显著的攻击成功率降低。
2024-08-14 cs.CR cs.LG
On Configurable Defense against Adversarial Example Attacks
The Chinese University of Hong Kong（香港中文大学）
基于深度神经网络（DNN）的机器学习系统已在许多应用中获得主流采用。然而，最近，DNN被证明容易受到对抗性示例攻击，并且对输入进行轻微扰动。现有的针对此类攻击的防御机制试图提高系统的整体鲁棒性，但它们不能区分不同的目标攻击，即使相应的影响可能会有很大的不同。为了解决这个问题，我们提出了一种新的可配置的防御机制，在这项工作中，我们能够灵活地调整系统的鲁棒性对不同的有针对性的攻击，以满足应用程序的要求。这是通过使用攻击敏感矩阵来细化DNN损失函数以表示不同目标攻击的影响来实现的。在CIFAR-10和GTSRB数据集上的实验结果证明了该方法的有效性。
2018-12-06 cs.CR cs.LG
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland（萨尔大学）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者定义的触发器激活，则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下，例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击，已经有很多研究和不同的防御方法，其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中，我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Attack and Defense of Deep Learning Models in the Field of Web Attack Detection
Chinatelecom Research Institute（中国电信研究院）；School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
针对Web攻击检测领域深度学习模型的后门攻击研究空白，提出5种后门攻击方法及对应防御策略，测试显示攻击成功率超87%且可通过微调降低，为该领域攻防研究提供参考。
2024-06-18 cs.CR cs.LG
Robust Multivariate Time-Series Forecasting: Adversarial Attacks and Defense Mechanisms
AWS AI Labs（亚马逊云科技人工智能实验室）；Washington State University（华盛顿州立大学）
本文研究多元时间序列预测中的对抗攻击与防御，提出稀疏对抗攻击模式，并通过随机平滑扩展和对抗训练算法提升模型鲁棒性，实验验证其攻击有效且防御优于基线。
2023-04-14 cs.CR cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University（迪肯大学）
联邦学习（FL）能够在分布式客户端之间训练模型，而不会损害训练数据集的隐私，但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估，以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Certified Defenses for Data Poisoning Attacks
Stanford University（斯坦福大学）
根据用户提供的数据进行训练的机器学习系统容易受到数据投毒攻击，恶意用户注入虚假的训练数据，目的是破坏学习的模型。虽然最近的工作已经提出了一些攻击和防御，很少有人知道在面对一个坚定的攻击者的最坏情况下的防御损失。我们通过构建一个广泛的攻击家族的损失的近似上限来解决这个问题，首先进行离群值删除，然后进行经验风险最小化的防御者。我们的近似依赖于两个假设：（1）数据集足够大，足以保持训练和测试误差之间的统计集中，以及（2）干净（非中毒）数据中的离群值不会对模型产生强烈影响。我们的边界与通常几乎匹配上限的候选攻击配对，为我们提供了一个强大的工具来快速评估给定数据集的防御。从经验上讲，我们发现即使在简单的防御下，MNIST-1-7和Dogfish数据集也能抵御攻击，而相比之下，IMDB情感数据集只需添加3%的中毒数据，就可以将测试错误从12%提高到23%。
2017-11-24 cs.CR cs.LG
Random Noise Defense Against Query-Based Black-Box Attacks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）
基于查询的黑盒攻击在实际应用中对机器学习模型造成了严重的威胁。在这项工作中，我们研究了一种轻量级的防御方法，称为随机噪声防御（RND），它添加适当的高斯噪声到每个查询。从理论上分析了RND算法对基于查询的黑盒攻击和相应的自适应攻击的有效性。我们的理论结果表明，RND的防御性能是由RND引起的噪声和攻击者的梯度估计或局部搜索添加的噪声之间的幅度比。大的幅度比导致RND更强的防御性能，这也是抵御自适应攻击的关键。基于我们的分析，我们进一步建议将RND与合理的高斯增强微调（RND-GF）相结合。它使RND能够向每个查询添加更大的噪声，同时保持干净的准确性，以在干净的准确性和防御性能之间获得更好的权衡。此外，RND可以灵活地与现有的防御方法相结合，以进一步提高对抗性鲁棒性，例如对抗性训练（AT）。在CIFAR-10和ImageNet上的大量实验验证了我们的理论发现以及RND和RND-GF的有效性。
2021-10-30 cs.CR cs.LG
Breaking the De-Pois Poisoning Defense
对机器学习模型的攻击，从它们的概念开始，就一直是一个非常持久和回避的问题，就像一个无休止的猫捉老鼠游戏。这种攻击的一个主要变体是中毒攻击，它可以间接操纵ML模型。多年来已经观察到，大多数提出的有效防御模型仅在攻击者不知道它们被使用时才有效。在本文中，我们表明，攻击不可知的德布瓦防御几乎是一个例外，这一规则。事实上，我们证明了它的脆弱性，最简单的白盒和黑盒攻击的攻击者知道的De-Pois防御模型的结构。从本质上讲，De-Pois防御依赖于批评者模型，该模型可用于在将有毒数据传递给目标模型之前检测有毒数据。在我们的工作中，我们通过复制批评者模型，然后同时对批评者和目标模型执行组合梯度符号攻击来打破这个中毒保护层-允许我们绕过批评者防火墙来毒害目标模型。
2022-04-03 cs.CR cs.LG
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University（阿里格尔穆斯林大学）
研究针对计算机网络流量白盒对抗攻击，提出多模型混合防御方法，结合对抗训练和高斯数据增强，有效减轻FGSM和C&W攻击影响，提升攻击后NIDS准确率，为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
The best defense is a good offense: Countering black box attacks by predicting slightly wrong labels
ETH Zurich（苏黎世联邦理工学院）
对机器学习模型的黑盒攻击发生在攻击者尽管无法访问模型的内部工作原理，但可以通过模型盗窃成功地进行攻击。攻击者将训练模仿要攻击的模型的自己的替代模型。然后可以使用替代品来设计针对原始模型的攻击，例如通过对抗性样本。我们站在防御者的立场上，提出了一种方法，可以通过反击成功避免模型盗窃。具体来说，对于任何传入的查询，我们都会以一种使替代训练不可行的方式稍微扰动我们的输出标签分布。我们证明，扰动不影响我们的模型的正常使用，但结果在一个有效的防御攻击的基础上模型盗窃。
2017-11-15 cs.CR cs.LG
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 PECAN，通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证，实现高效确定性后门防御，并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley（加州大学伯克利分校）；DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的，并且一旦训练就保持不变，即使攻击发生变化。我们认为，模型应该反击，并在测试时优化其对攻击的防御。我们提出了动态防御，以适应模型和测试过程中的输入，防御熵最小化（登特）。登特改变了测试，但没有训练，与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是，在$ε_\infty$ = 8/255的CIFAR-10上，Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
MalProtect: Stateful Defense Against Adversarial Query Attacks in ML-based Malware Detection
King’s College London（伦敦国王学院）；Universitat Politècnica de València（瓦伦西亚理工大学）
本文提出MalProtect，一种针对恶意软件检测领域对抗性查询攻击的有状态防御方法，通过多威胁指标检测攻击，将Android和Windows恶意软件的规避率降低80+%，优于现有防御。
2023-06-30 cs.CR cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University（密歇根州立大学）
在对抗攻击下，时间序列回归和分类是脆弱的。另一方面，对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中，各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行，具有三个对抗攻击和一个对抗防御。根据调查结果，所有模型，特别是GRU和RNN，似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University（卡尔顿大学）；Computer Engineering Carleton University Ottawa, Canada（计算机工程系卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院卡尔顿大学渥太华加拿大）
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络（DNN）基于网络入侵检测系统（NIDS），而无需额外显式防御。通过数千次实验，发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性，且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Compilation as a Defense: Enhancing DL Model Attack Robustness via Tensor Optimization
Lancaster University（兰卡斯特大学）；Mindgard（Mindgard公司）
针对对抗性机器学习侧信道攻击，本文提出利用模型编译中的张量优化作为无需重构模型的防御手段，并证明其可使攻击相对有效性最高降低 43%。
2023-09-20 cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明，这样的学习者是抵抗数据投毒攻击时，对手只能中毒少量的项目。然而，这种保护会随着对手毒害更多数据而降低。为了说明这一点，我们设计了针对目标和输出扰动学习器的攻击算法，这是差分私有机器学习的两种标准方法。实验表明，我们的方法是有效的，当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Attack-Defense Quantification Based On Game-Theory
随着网络攻防技术的发展，网络环境越来越复杂。由于缺乏对网络攻防行为更准确的量化评估，无法对网络安全态势做出准确的评估。针对这一情况，提出了一个攻防随机博弈模型（ADSGM），分析了不同防御机制的不同安全性，并给出了相应的效用计算方法。通过一个案例分析，展示了主动防御的影响和攻击暴露的风险，证明了本文方法对攻防行为量化的有效性。本文填补了在攻防措施定量评估方面的空白，使攻防定量评估更加全面、准确。
2019-02-27 cs.CR
Adversarial Learning Inspired Emerging Side-Channel Attacks and Defenses
对计算系统的脆弱性的不断发展的攻击需要新颖的防御策略来跟上更新的攻击。本报告讨论了以前关于侧信道攻击（SCA）以及针对缓存和物理邻近攻击的防御工作。然后，我们讨论了所提出的熵盾作为对定时SCA的防御，并解释了我们如何将其扩展到基于硬件的加密应用程序的实现，如“熵盾FPGA”。然后，我们讨论为什么我们要建立新的攻击，希望提出更好的防御策略。
2021-04-08 cs.CR
On Adaptive Attacks to Adversarial Example Defenses
Stanford University（斯坦福大学）；Google（谷歌）；University of Tübingen（蒂宾根大学）；MIT（麻省理工学院）
自适应攻击已经（理所当然地）成为评估对抗性示例防御的事实标准。然而，我们发现，典型的自适应评估是不完整的。我们证明了最近在ICLR，ICML和NeurIPS上发表的13种防御措施-并选择用于说明和教学目的-尽管试图使用自适应攻击进行评估，但仍然可以规避。虽然之前的评估论文主要集中在最终结果上-表明防御是无效的-但本文的重点是制定执行自适应攻击所需的方法和途径。我们希望这些分析能够指导如何正确地对对抗性示例进行自适应攻击，从而使社区能够在构建更强大的模型方面取得进一步的进展。
2020-10-23 cs.CR cs.LG stat.ML
Adversarial Learning in Statistical Classification: A Comprehensive Review of Defenses Against Attacks
School of EECS, Pennsylvania State University（宾夕法尼亚州立大学电气与计算机工程学院）
对抗性学习（AL）攻击对基于机器学习的系统造成损害的可能性很大。在本文中，我们提供了一个当代调查AL，特别是集中在防御攻击统计分类。在介绍了相关的术语和攻击者和防御者的目标和可能的知识范围后，我们调查了最近的工作，测试时间规避（TTE），数据投毒（DP），和逆向工程（RE）攻击，特别是对相同的防御。在这样做的时候，我们区分强大的分类从异常检测（AD），无监督的监督，和统计假设为基础的防御从那些没有明确的零（无攻击）假设;我们确定的超参数特定的方法需要，它的计算复杂性，以及性能指标，它被评估和获得的质量。然后，我们深入挖掘，提供新的见解，挑战传统的人工智能智慧和目标的未解决的问题，包括：1）强大的分类与AD作为一种防御策略; 2）攻击成功的信念与攻击强度增加，忽略了易感性AD; 3）小扰动测试时间逃避攻击：谬论或要求？4)TTE攻击者知道要攻击的示例的地面实况类的普遍假设的有效性; 5）黑盒、灰盒或白盒攻击作为防御评估的标准; 6）基于查询的RE对AD防御的敏感性。我们还讨论了对训练数据隐私的攻击。然后，我们提出了几个防御TTE，RE和后门DP攻击图像的基准比较。本文最后讨论了未来的工作。
2019-12-02 cs.CR cs.LG stat.ML
DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses
Michigan State University（密歇根州立大学）
DeepRobust是一个PyTorch对抗学习库，旨在构建一个全面且易于使用的平台来促进这一研究领域。目前包含图像域10余种攻击算法和8种防御算法，图域9种攻击算法和4种防御算法，多种深度学习架构下。在本手册中，我们介绍了DeepRobust的主要内容，并提供了详细的说明。该库不断更新，可以在https://github.com/DSE-MSU/DeepRobust上找到。
2020-05-13 cs.CR cs.LG stat.ML
Malware Evasion Attack and Defense
McAfee（迈克菲）
机器学习（ML）分类器容易受到对抗性样本的影响。一个对抗性的例子是一个输入样本，它被稍微修改以在ML分类器中引起错误分类。在这项工作中，我们调查白盒和灰盒规避攻击ML为基础的恶意软件检测器，并在现实世界中进行性能评估。我们比较了防御方法在减轻攻击。我们提出了一个框架，部署灰盒和黑盒攻击的恶意软件检测系统。
2019-04-16 cs.CR cs.LG stat.ML
Mitigating Gradient-based Adversarial Attacks via Denoising and Compression
Purdue University（普渡大学）
对深度神经网络的基于恶意的对抗攻击构成了严重的威胁，因为它们可以通过向任何网络的测试数据添加不可察觉的扰动来部署，并且它们引入的风险无法通过网络的原始训练性能来评估。去噪和降维是两种不同的方法，已经被独立地研究来对抗这种攻击。虽然去噪提供了针对攻击的特定性质定制防御的能力，但降维提供了潜在地去除先前看不见的扰动的优势，同时减少了被防御网络的训练时间。我们提出的战略，结合这两种防御机制的优势。首先，我们提出了级联防御，其中包括去噪，然后降维。为了减少防御的训练时间，在性能上进行小的权衡，我们提出了隐藏层防御，它涉及将去噪自动编码器的编码器的输出馈送到网络中。此外，我们讨论了如何适应攻击这些防御可能会变得显着薄弱时，使用替代防御，或当没有使用防御。在这种情况下，我们提出了一个新的度量来评估防御措施的自适应攻击的敏感性修改的防御。最后，我们提出了一个指导方针，建立一个有序的剧目防御，又名。防御基础设施，在攻击策略不确定的情况下，适应有限的计算资源。
2021-04-03 cs.AI cs.CR cs.LG
An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models
Macquarie University（麦考瑞大学）；Harvard University（哈佛大学）；University of Sydney（悉尼大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
如今，自动驾驶已经引起了工业界和学术界的广泛关注。卷积神经网络（CNN）是自动驾驶中的关键组件，也越来越多地被智能手机、可穿戴设备和物联网网络等普适计算所采用。先前的工作表明，基于CNN的分类模型容易受到对抗性攻击。然而，目前还不确定回归模型（如驱动模型）在多大程度上容易受到对抗性攻击，现有防御技术的有效性以及对系统和中间件构建者的防御影响。本文深入分析了三种驱动模型的五种对抗性攻击和四种防御方法。实验表明，与分类模型类似，这些模型仍然非常容易受到对抗性攻击。这对自动驾驶构成了很大的安全威胁，因此在实践中应该加以考虑。虽然这些防御方法可以有效地防御不同的攻击，但没有一种能够对所有五种攻击提供足够的保护。我们得出了对系统和中间件构建者的几个启示：（1）当添加对抗性攻击的防御组件时，重要的是要串联部署多种防御方法以实现对各种攻击的良好覆盖，（2）与白盒攻击相比，黑盒攻击的有效性要低得多，这意味着重要的是要保留模型细节（例如，模型体系结构、超参数）通过模型混淆而机密，以及（3）如果计算资源允许，则优选驱动具有复杂体系结构的模型，因为它们比简单模型对对抗性攻击更有弹性。
2020-02-06 cs.CR cs.LG eess.SP
Continual Adversarial Defense
针对对抗攻击动态演化、现有防御易被绕过的问题，提出遵循四项实用原则的持续对抗防御（CAD）框架，整合多领域前沿技术，实验验证其对多阶段攻击的防御效果优于基线，且性能随攻击数增加趋于饱和，开辟了持续防御适配新范式。
2025-08-03 cs.CR cs.CV cs.LG
Defense Against Gradient Leakage Attacks via Learning to Obscure Data
Michigan State University（密歇根州立大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习被认为是一种有效的隐私保护学习机制，它将客户端的数据和模型训练过程分开。然而，联邦学习仍然面临着隐私泄露的风险，因为存在攻击者故意进行梯度泄漏攻击来重构客户端数据。近年来，一些流行的策略如梯度扰动方法和输入加密方法被提出来抵抗梯度泄漏攻击。然而，这些防御可能会极大地牺牲模型性能，或者被更高级的攻击所规避。在本文中，我们提出了一种新的防御方法来保护客户端的数据的隐私，通过学习模糊数据。我们的防御方法可以生成与原始样本完全不同的合成样本，但它们也可以最大限度地保留其预测特征并保证模型性能。此外，我们的防御策略使得梯度泄漏攻击及其变种非常难以重建客户端数据。通过大量的实验，我们表明，我们提出的防御方法获得更好的隐私保护，同时保持高准确性相比，国家的最先进的方法。
2022-06-01 cs.CR cs.LG stat.ML
Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks
Tsinghua University（清华大学）
深度神经网络容易受到对抗性样本的影响，这些样本会通过添加不可察觉的扰动来误导分类器。对抗性示例的一个有趣特性是它们良好的可移植性，这使得黑盒攻击在现实世界的应用中可行。由于对抗攻击的威胁，人们提出了许多方法来提高鲁棒性。几种最先进的防御被证明对可转移的对抗性示例具有鲁棒性。在本文中，我们提出了一个防御不变的攻击方法，以产生更多的可转移的对抗性的例子对防御模型。通过优化翻译图像集合的扰动，生成的对抗性示例对被攻击的白盒模型不太敏感，并且具有更好的可移植性。为了提高攻击的效率，我们进一步证明了我们的方法可以通过将未翻译图像的梯度与预定义的内核进行卷积来实现。我们的方法一般适用于任何基于梯度的攻击方法。在ImageNet数据集上的大量实验验证了该方法的有效性。我们最好的攻击愚弄八个国家的最先进的防御，平均成功率为82%，仅基于可转移性，证明了当前防御技术的不安全性。
2019-04-05 cs.CR cs.CV cs.LG
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University（重庆大学）；Peng Cheng Lab（鹏城实验室）；Zhejiang University（浙江大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对部署阶段未知攻击的零样本防御问题，本文提出MID，通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征，在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
FDA3 : Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
East China Normal University（华东师范大学）；Tongji University（同济大学）；Huawei（华为）
随着人工智能（AI）和物联网（IoT）技术的普及，各种各样的对抗攻击越来越多地出现，以欺骗工业物联网（IIoT）应用所使用的深度神经网络（DNN）。由于有偏见的训练数据或脆弱的底层模型，对抗攻击对输入进行的不可察觉的修改可能会导致毁灭性的后果。虽然现有的方法在防御此类恶意攻击方面很有希望，但大多数方法只能处理有限的现有攻击类型，这使得大规模IIoT设备的部署面临巨大挑战。为了解决这个问题，我们提出了一种名为FDA3的有效的联邦防御方法，它可以聚合来自不同来源的对抗性示例的防御知识。受联邦学习的启发，我们提出的基于云的架构可以在IIoT设备之间共享防御能力，以抵御不同的攻击。综合实验结果表明，通过我们的方法生成的DNN不仅可以比现有的特定于攻击的对抗训练方法抵御更多的恶意攻击，而且可以防止IIoT应用受到新的攻击。
2020-06-28 cs.CR cs.LG stat.ML
A Survey on Model Extraction Attacks and Defenses for Large Language Models
University of Notre Dame（圣约翰大学）；Florida State University（佛罗里达州立大学）；Northwestern University（西北大学）；Duke University（杜克大学）；University of Southern California（南加州大学）
本综述系统梳理了针对大型语言模型的模型提取攻击与防御方法，提出分类体系与评估指标，并指出集成攻击与自适应防御等未来研究方向。
2025-06-26 cs.AI cs.CR cs.LG
Adversarial Examples on Graph Data: Deep Insights into Attack and Defense
University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；National University of Defense Technology（国防科技大学）
图深度学习模型，如图卷积网络（GCN），在图数据上的任务中实现了卓越的性能。与其他类型的深度模型类似，图深度学习模型经常遭受对抗攻击。然而，与非图数据相比，图数据的离散特征、图之间的连接以及不可感知扰动的不同定义，给图数据的对抗攻击和防御带来了独特的挑战和机遇。在本文中，我们提出了攻击和防御技术。对于攻击，我们表明，离散性问题可以很容易地解决，通过引入积分梯度，可以准确地反映扰动某些功能或边缘的影响，同时仍然受益于并行计算。对于防御，我们观察到，针对目标攻击的敌对操纵图在统计上不同于正常图。基于这一观察，我们提出了一种防御方法，该方法检查图并恢复潜在的对抗性扰动。我们在一些数据集上的实验表明了所提出的方法的有效性。
2019-05-22 cs.CR cs.LG stat.ML
Stronger Data Poisoning Attacks Break Data Sanitization Defenses
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
在外部世界数据上训练的机器学习模型可能会被数据中毒攻击破坏，这些攻击会将恶意点注入模型的训练集中。针对这些攻击的一种常见防御方法是数据清理：在训练模型之前，首先过滤掉异常的训练点。在本文中，我们开发了三种可以绕过广泛的常见数据清理防御的攻击，包括基于最近邻的异常检测器，训练丢失和奇异值分解。通过添加3%的中毒数据，我们的攻击成功地将安然垃圾邮件检测数据集的测试错误从3%增加到24%，并将IMDB情感分类数据集的测试错误从12%增加到29%。相比之下，没有明确说明这些数据清理防御的现有攻击被它们击败。我们的攻击基于两个想法：（i）我们协调我们的攻击，将中毒点彼此靠近，（ii）我们将每个攻击制定为约束优化问题，约束旨在确保中毒点逃避检测。由于这种优化涉及解决一个昂贵的双层问题，我们的三种攻击对应于不同的方法来近似这个问题，基于影响函数;极大极小对偶;和Karush-Kuhn-Tucker（KKT）条件。我们的研究结果强调了需要开发更强大的防御数据中毒攻击。
2021-12-03 cs.CR cs.LG stat.ML
LPF-Defense: 3D Adversarial Defense based on Frequency Analysis
Sharif University of Technology（谢里夫理工大学）
虽然三维点云分类最近已被广泛部署在不同的应用场景中，但它仍然非常容易受到对抗攻击。这增加了3D模型在面对对抗攻击时的鲁棒训练的重要性。基于我们对现有对抗攻击性能的分析，发现更多的对抗扰动出现在输入数据的中高频分量。因此，通过在训练阶段抑制高频内容，提高了模型对对抗性示例的鲁棒性。实验结果表明，该防御方法降低了PointNet、PointNet++、、和DGCNN模型上六种攻击的成功率。特别是，与最先进的方法相比，在drop 100攻击下分类准确率平均提高了3.8%，在drop 200攻击下提高了4.26%。与其他可用的方法相比，该方法还提高了原始数据集上的模型精度。
2022-08-24 cs.CR cs.CV cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland Informatics Campus, Germany（德国萨尔州信息学园区）
高性能深度神经网络（DNN）越来越多地部署在许多现实世界的应用中，例如，云预测API。通过黑盒访问（即，输入，预测）威胁到这种应用程序的商业模式，这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用，例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中，我们提出了第一个防御，积极干扰预测，针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效，并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击，将攻击者的出错率放大到$\times$的85倍，对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
DDoS Attack and Defense: Review of Some Traditional and Current Techniques
分布式拒绝服务（DDoS）攻击耗尽受害者的带宽或服务。传统的互联网架构容易受到DDoS攻击，并观察到一个持续的攻击和防御周期。本文综述了DDoS攻击的不同类型、技术及其对策。本文的意义在于涵盖了对抗DDoS攻击的许多方面，包括对该主题的新研究。我们调查不同的论文描述的防御方法对DDoS攻击的基础上熵的变化，流量异常参数，神经网络，设备级防御，僵尸网络流量识别和应用层DDoS防御。我们还讨论了一些传统的防御方法，如回溯和数据包过滤技术，以便读者可以识别传统和当前防御DDoS攻击技术之间的主要差异。在讨论对策之前，我们提到了传统和先进方案下DDoS的不同攻击类型，同时还提供了2012年第一季度DDoS趋势的一些信息。我们发现，应用层DDoS攻击具有对受害者产生更大影响的能力，因为它们是由合法的流量驱动的，因此很难识别和区分合法请求。因此，对这种攻击的改进防御的需要在研究中更加苛刻。本文中进行的研究可以帮助读者和研究人员认识到当前针对DDoS攻击的更好的防御技术，并根据本文中确定的未来挑战对该主题进行更多的研究。
2014-03-21 cs.CR
Too Expensive to Attack: Enlarge the Attack Expense through Joint Defense at the Edge
分布式拒绝服务（DDoS）攻击对企业和个人都是有害的，因为人们严重依赖互联网。由于利润可观，黑客青睐DDoS作为网络安全武器来攻击受害者。更糟糕的是，边缘服务器更容易受到攻击。目前的解决方案缺乏对攻击者和防御者之间协作的代价的充分考虑。因此，我们重新审视DDoS攻击和防御，阐明双方的优势和劣势。我们进一步提出了一个联合防御框架，以击败攻击者所需的机器人和扩大攻击费用的显着增加。定量评估和实验评估表明，这种费用可能会激增数千倍。费用的暴涨导致严重损失的破解者，这阻止了进一步的攻击。
2021-07-03 cs.CR
Towards a Defense Against Federated Backdoor Attacks Under Continuous Training
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
在联邦学习（FL）中，后门攻击是危险且难以预防的，其中训练数据长时间来自不受信任的客户端。出现这些困难的原因是：（a）FL中的防御者无法访问原始训练数据，以及（b）我们发现的一种称为后门泄漏的新现象导致不断训练的模型最终由于防御机制中的累积错误而遭受后门。我们提出了影子学习，一个框架，用于抵御后门攻击在FL设置下的远程训练。影子学习并行训练两个模型：主干模型和影子模型。骨干是在没有任何防御机制的情况下训练的，以获得在主要任务上的良好表现。影子模型将恶意客户端的过滤与早期停止相结合，以控制攻击成功率，即使数据分布发生变化。我们从理论上激励我们的设计和实验表明，我们的框架显着提高现有的防御后门攻击。
2023-01-31 cs.AI cs.CR cs.LG
A Survey of Distributed Denial of Service Attacks and Defenses
分布式拒绝服务（DDoS）攻击是其中多个受损的计算机系统淹没目标的带宽和/或资源（诸如服务器、网站或其他网络资源）并导致针对目标资源的用户的拒绝服务的攻击。大量传入的消息、连接请求或格式错误的数据包会迫使目标系统减慢速度，甚至崩溃和关闭，从而拒绝向合法用户或系统提供服务。本文介绍了DDoS攻击的文献综述和常见的防御机制。它还提出了一个文献综述的防御低速率DDoS攻击，迄今尚未得到有效处理。
2020-08-04 cs.CR
Quantitative Questions on Attack-Defense Trees
攻防树是一种新的图形化安全建模和评估方法。该方法包括可视化，直观的树模型，其分析是由一个严格的数学形式主义的支持。该方法的直观和形式两部分都可用于攻防场景的定量分析。在实践中，我们使用直观的问题来询问我们感兴趣的场景的各个方面。形式上，一个计算过程，定义的属性域和自底向上的算法的帮助下，被施加到导出相应的数值。本文弥合了直观和正式的方式定量评估攻击-防御场景之间的差距。我们讨论如何正确地指定一个问题，以便它可以得到明确的回答。给定一个明确的问题，然后我们展示了如何得到一个适当的属性域，构成相应的正式模型。由于任何攻击树都是一个攻击-防御树，因此我们的分析也是攻击树方法的一个进步。
2012-10-30 cs.CR
When Attackers Meet AI: Learning-empowered Attacks in Cooperative Spectrum Sensing
University of South Florida（南佛罗里达大学）；University of Miami（迈阿密大学）；Intelligent Automation Inc（智能自动化公司）
防御策略已经被很好地研究以对抗拜占庭攻击，拜占庭攻击旨在通过向融合中心发送频谱感测数据的伪造版本来破坏合作频谱感测。然而，现有的研究通常假设网络或攻击者是被动实体，例如，假设攻击的先验知识是已知的或固定的。在实践中，攻击者可以主动采取任意行为，避免防御策略使用的预设模式或假设。在本文中，我们重新审视这个安全漏洞作为一个对抗性的机器学习问题，并提出了一种新的学习授权攻击框架命名为学习评估殴打（LEB）误导融合中心。基于协作频谱感知中融合中心的黑箱性质，我们的新视角是对抗性地使用机器学习来构建融合中心决策模型的代理模型。我们提出了一个通用的算法来创建恶意传感数据使用这个代理模型。我们的真实世界的实验表明，LEB攻击是有效的，以高达82%的成功率击败了广泛的现有的防御策略。鉴于LEB攻击与现有防御之间的差距，我们引入了一种名为影响限制防御的非侵入性方法，它可以与现有的防御共存，以抵御LEB攻击或其他类似的攻击。我们表明，这种防御是非常有效的，并降低了高达80%的LEB攻击的整体中断率。
2020-07-28 cs.CR cs.LG cs.NI
Non-control-Data Attacks and Defenses: A review
本文综述了非控制数据攻击的分类、防御策略及未来研究方向，指出其破坏性与图灵完备性带来的安全威胁。
2025-03-27 cs.CR
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
Data Science Institute（数据科学研究所）
针对领域伪装注入攻击，评估五种基于提示的防御方法（如释义、重点标记等）在三个模型家族和三个部署领域中的有效性，发现释义法最有效，可将伪装攻击成功率降低55-84%。
2026-06-18 cs.CL cs.CR cs.LG
AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens
本文通过依赖关系视角系统分析LLM越狱攻击与防御，提出AutoAttack、AutoDefense和AutoEvaluation三个自动化框架，并设计集成攻击与混合防御方法，实验证明其显著优于现有研究。
2024-06-06 cs.CR
DAG-Based Attack and Defense Modeling: Don't Miss the Forest for the Attack Trees
本文介绍了当前的攻击和防御建模方法，是基于有向无环图（DAG）的最新状态。DAG允许将复杂的情景分层分解为简单、易于理解和可量化的行动。基于威胁树和贝叶斯网络的方法是两种著名的安全建模方法。然而，目前有30多种基于DAG的方法，每种方法都有不同的特点和目标。本调查的目的是提出一个完整的概述图形化的攻击和防御建模技术的基础上DAG。这包括总结现有的方法，比较它们的功能，并提出了所描述的形式主义的分类。本文还支持根据用户需求选择适当的建模技术。
2013-03-29 cs.CR
A Systematic Evaluation of Transient Execution Attacks and Defenses
对包括Spectre和Meltdown在内的瞬态执行攻击的研究表明，异常或分支错误预测事件可能会在CPU的微体系结构状态中留下秘密相关的痕迹。这一发现导致了新的Spectre和Meltdown攻击变种的扩散，甚至更多的ad-hoc防御（例如，微码和软件补丁）。业界和学术界现在都在关注为已知问题找到有效的防御措施。然而，我们只有有限的洞察力，剩余的攻击面和完整的建议防御。在本文中，我们提出了一个系统化的瞬态执行攻击。我们的系统化揭示了6种（新的）暂时执行攻击，这些攻击一直被忽视，到目前为止还没有被调查过：2种新的可利用的Meltdown效应：Intel上的Meltdown-PK（保护密钥旁路）和Intel和AMD上的Meltdown-BND（边界检查旁路）;以及4种新的Spectre mistraining策略。我们通过在3个主要CPU供应商（Intel，AMD，ARM）上的概念验证实现来评估分类树中的攻击。我们的系统化产生了一个更完整的图片的攻击面，并允许更系统的防御评估。通过这种系统性的评估，我们发现大多数防御，包括部署的防御，不能完全缓解所有的攻击变种。
2019-05-15 cs.CR
Too Expensive to Attack: A Joint Defense Framework to Mitigate Distributed Attacks for the Internet of Things Grid
分布式拒绝服务（DDoS）攻击对企业和个人都是有害的，因为我们严重依赖互联网。由于利润可观，黑客青睐DDoS作为攻击服务器、计算机、物联网设备甚至整个互联网的网络安全武器。目前许多检测和缓解解决方案都集中在对抗DDoS的特定技术上，而攻击费用和跨防御者协作没有引起足够的重视。在这种情况下，我们重新审视DDoS攻击和防御的攻击成本和双方的人口，提出了一个联合防御框架，在互联网服务提供商（ISP），企业，个人和第三方组织的网格（物联网网格）中产生更高的攻击费用。同时，防御者的成本在战斗中不会增加太多。攻击费用的飙升阻碍了利润驱动的攻击者有效地发动进一步的攻击。定量评估和实验评估加强了我们的框架的有效性。
2021-04-01 cs.CR
Defenses Against Multi-Sticker Physical Domain Attacks on Classifiers
Drexel University（德雷塞尔大学）
最近，物理领域的对抗攻击引起了机器学习界的高度关注。Eykholt等人提出的一种重要攻击可以通过在路标等物体上放置黑白贴纸来欺骗分类器。虽然这种攻击可能会对视觉分类器构成重大威胁，但目前还没有针对这种攻击的防御措施。在本文中，我们提出了新的防御方法，可以防止多标签攻击。我们提出的防御策略能够操作时，防御者有充分的，部分的，没有事先的信息的攻击。通过进行广泛的实验，我们表明，我们提出的防御可以优于现有的防御物理攻击时，提出了多贴纸攻击。
2021-01-26 cs.CR cs.CV
