Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman（克尔曼沙希德巴霍纳尔大学）；York University（约克大学）；Instituto Tecnológico de Costa Rica（哥斯达黎加技术学院）
本文利用近似乘法器替换深度神经网络中的精确乘法器，在可行时间内探索并提升了模型对抗攻击的鲁棒性，无攻击时精度下降最多7%，攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
Alignment Defends LLMs from Property Inference Attacks
University of California, San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Simons Institute, UC Berkeley（伯克利大学Simons研究所）
提出基于对齐的防御方法，通过后训练调整模型输出分布，在不修改训练数据的情况下缓解属性推断攻击，并保持效用与机密性的平衡。
2026-06-08 cs.CR cs.LG
The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections
OpenAI；Anthropic；Google DeepMind（谷歌DeepMind）；HackAPrompt；Northeastern University（东北大学）；ETH Zürich（苏黎世联邦理工学院）；AI Sequrity Company（AI安全公司）；MATS Main contributors（MATS主要贡献者）
本文指出当前语言模型防御评估存在缺陷，通过系统调整和扩展通用优化技术构建自适应攻击，成功绕过12种近期防御（成功率多超90%），证明未来防御工作必须考虑更强攻击才能可靠验证鲁棒性。
2025-10-10 cs.CR cs.LG
Property Inference From Poisoning
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
属性推断攻击考虑可以访问训练模型的对手，并试图提取训练数据的一些全局统计信息。在这项工作中，我们研究的情况下，对手可以恶意控制部分的训练数据（中毒数据），以增加泄漏的属性推断。以前关于中毒攻击的工作集中在试图降低模型在整个群体或特定子群体或实例上的准确性。在这里，我们第一次研究中毒攻击，对手的目标是增加模型的信息泄漏。我们的研究结果表明，中毒攻击可以显着提高信息泄漏，并应被视为一个更强大的威胁模型在敏感的应用程序中，其中一些数据源可能是恶意的。我们描述了我们的\emph{property inference poisoning attack}，它允许对手学习它选择的任何属性的训练数据中的流行率。我们从理论上证明了只要所使用的学习算法具有良好的泛化性能，我们的攻击总是可以成功的。然后，我们通过实验评估两个数据集：人口普查数据集和安然电子邮件数据集，验证我们的攻击的有效性。在我们所有的实验中，我们都能够在$9-10\%$中毒的情况下实现上述$90\%$攻击精度。
2021-01-26 cs.CR cs.LG
Query-Efficient Black-Box Attack Against Sequence-Based Malware Classifiers
Ben-Gurion University of The Negev（本-古里安大学）
在本文中，我们提出了一个通用的，查询高效的黑盒攻击对基于API调用的机器学习恶意软件分类器。我们通过修改恶意软件的API调用序列和非顺序特征（可打印字符串）来生成对抗性示例，这些对抗性示例将被目标恶意软件分类器错误分类，而不会影响恶意软件的功能。与以前的研究相比，我们的攻击最大限度地减少了所需的恶意软件分类器查询的数量。此外，在我们的攻击中，攻击者必须只知道恶意软件分类器预测的类;攻击者对恶意软件分类器的置信度得分的了解是可选的。我们评估了针对各种恶意软件分类器架构进行攻击时的攻击效果，包括递归神经网络（RNN）变体、深度神经网络、支持向量机和梯度提升决策树。当分类器的置信度得分已知时，我们的攻击成功率约为98%，而当分类器的预测类已知时，攻击成功率为64%。我们实现了四个最先进的查询效率的攻击，并表明我们的攻击需要更少的查询和更少的知识，攻击模型的架构比其他现有的查询效率的攻击，使其实用的攻击基于云的恶意软件分类器以最小的成本。
2020-10-03 cs.CR cs.LG
Code-Poisoning Property Inference Attacks
School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）；School of Computer Science and Engineering, Northeastern University（计算机科学与工程学院，东北大学）
研究针对机器学习模型训练数据隐私泄露问题，提出代码中毒属性推理攻击（CPPIA），克服现有工作局限。通过恶意代码提供者使数据持有者下载中毒代码训练模型，对手借此嵌入属性查询模型泄露隐私，该方法攻击准确率高、计算轻量，评估证明其通用性和有效性。
2026-07-20 cs.CR cs.LG
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University（纽约大学）
深度神经网络（DNN）在广泛的分类任务中提供出色的性能，但其训练需要大量的计算资源，并且通常外包给第三方。最近的研究表明，外包训练引入了一种风险，即恶意训练者将返回一个后门DNN，该DNN在大多数输入上表现正常，但在存在只有攻击者才知道的触发器时，会导致有针对性的错误分类或降低网络的准确性。在本文中，我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作，并使用它们来调查两个有前途的防御，修剪和微调。我们表明，两者本身都不足以抵御复杂的攻击者。然后，我们评估了精细修剪，修剪和微调的组合，并表明它成功地削弱甚至消除了后门，即，在某些情况下，将攻击成功率降低到0%，对于干净（非触发）输入，准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nirma University（尼尔玛大学）
本文评估了针对 LLM 智能体间接提示注入攻击的八种防御机制，发现自适应攻击能绕过所有防御并保持超 50% 成功率，揭示了现有防御的脆弱性，强调了引入自适应攻击评估的必要性。
2025-03-04 cs.CR cs.LG
Training-Time Attacks against k-Nearest Neighbors
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Amherst College（阿默斯特学院）
基于最近邻的方法通常用于分类任务，并作为其他数据分析方法的子程序。具有将自己的数据点插入训练集中的能力的攻击者可以操纵推断的最近邻结构。我们提取这个目标的任务执行训练集数据插入攻击$k$ -最近邻分类（$k$ NN）。我们证明，计算一个最佳的训练时间（a.k.a.中毒）攻击对$k$ NN分类是NP难的，即使当$k = 1$和攻击者只能插入一个单一的数据点。我们提供了一个随时算法来执行这样的攻击，和一个贪心算法一般$k$和攻击者的预算。我们提供了理论界限，并在合成和真实世界的数据集上实证证明了我们的方法的有效性和实用性。经验上，我们发现$k$ NN在实践中是脆弱的，降维是一种有效的防御。最后，我们讨论了开放的问题，我们的分析照亮。
2022-08-15 cs.CR cs.LG
Adversarial Inception Backdoor Attacks against Reinforcement Learning
本文提出一种新型DRL后门攻击方法，通过在严格奖励约束下操纵训练数据中的观测与动作，首次在多个环境中实现100%攻击成功率且几乎不影响任务性能。
2025-06-02 cs.CR cs.LG
Local Differential Privacy is Not Enough: A Sample Reconstruction Attack against Federated Learning with Local Differential Privacy
Xidian University（西安电子科技大学）；University of Kent（肯特大学）；Fuzhou University（福州大学）；University of New South Wales（新南威尔士大学）
针对本地差分隐私（LDP）联邦学习中现有样本重建攻击失效的问题，提出结合梯度压缩（基于样本特征推理结构）和重建样本去噪（零梯度观察噪声+缩放置信区间）的攻击方法，可针对任意目标模型重建样本且对模型精度影响小，证明LDP联邦学习需进一步改进防御机制。
2025-02-12 cs.CR cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley（加州大学伯克利分校）；DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的，并且一旦训练就保持不变，即使攻击发生变化。我们认为，模型应该反击，并在测试时优化其对攻击的防御。我们提出了动态防御，以适应模型和测试过程中的输入，防御熵最小化（登特）。登特改变了测试，但没有训练，与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是，在$ε_\infty$ = 8/255的CIFAR-10上，Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University（杜克大学）
随着机器学习（ML）变得越来越强大且易于访问，攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中，攻击者可以访问个人、软件或系统的某些数据（称为公共数据）;并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功，是因为私有数据与公共数据在统计上相关，而ML分类器可以捕获这种统计相关性。在本章中，我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是，攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此，我们可以将ML的漏洞转化为对推理攻击的防御。例如，ML分类器很容易受到对抗性示例的影响，这些示例会向正常示例添加精心制作的噪音，以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击，我们可以在公共数据中添加精心制作的噪音，将它们变成对抗性的例子，这样攻击者的分类器就会对私有数据做出错误的预测。然而，现有的构建对抗性示例的方法是不够的，因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中，我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Property Inference Attacks Against GANs
Xi’an Jiaotong University（西安交通大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
虽然机器学习（ML）在过去十年中取得了巨大的进步，但最近的研究表明，ML模型容易受到各种安全和隐私攻击。到目前为止，该领域的大多数攻击都集中在以分类器为代表的判别模型上。与此同时，很少有人关注生成模型的安全和隐私风险，例如生成对抗网络（GANs）。在本文中，我们提出了第一组针对GANs的训练数据集属性推断攻击。具体地说，对手的目标是推断宏观层面的训练数据集属性，即，用于相对于特定属性训练目标GAN的样本的比例。成功的属性推断攻击可以允许对手获得目标GAN的训练数据集的额外知识，从而直接侵犯目标模型所有者的知识产权。此外，它还可以用作公平性审计器，以检查目标GAN是否使用有偏差的数据集进行训练。此外，属性推断可以作为其他高级攻击的构建块，例如成员推断。我们提出了一个通用的攻击管道，可以针对两种攻击场景，包括完全黑盒设置和部分黑盒设置。对于后者，我们引入了一种新的优化框架，以提高攻击效率。在四个有代表性的GAN模型上对五个属性推理任务进行了广泛的实验，结果表明我们的攻击具有很强的性能。此外，我们表明，我们的攻击可以用来提高性能的成员推理对GANs。
2021-11-15 cs.AI cs.CR cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”，在仅限制逐点与总体扰动且不知算法的条件下，可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
HINT: Healthy Influential-Noise based Training to Defend against Data Poisoning Attacks
University of Arkansas（阿肯色大学）
本文提出基于影响函数的高效鲁棒训练方法 HINT，通过构造健康噪声增强模型对投毒攻击的防御且不损失泛化能力，仅需修改训练数据子集即可在多种场景下有效抵御无目标和有目标投毒攻击。
2023-11-21 cs.AI cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现，我们可以构建对抗性的例子，只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Low-Loss Subspace Compression for Clean Gains against Multi-Agent Backdoor Attacks
University of Oxford（牛津大学）
最近对多智能体后门攻击的研究证明了逆火效应，这是一种对后门攻击的自然防御，其中后门输入是随机分类的。这产生了低精度w.r.t.的副作用。干净的标签，这促使本文的工作建设的多代理后门防御，最大限度地提高准确性w.r.t.清洁标签，尽量减少有毒标签。基于代理动力学和低损失子空间构造，我们贡献了三种防御措施，提高了多代理后门的鲁棒性。
2022-09-20 cs.CR cs.LG cs.MA
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago（芝加哥大学）
众所周知，深度学习系统容易受到对抗性样本的攻击。特别是，基于查询的黑盒攻击不需要深度学习模型的知识，但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率，证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight，一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是，为了计算对抗性示例，这些攻击在网络上执行迭代优化，在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击，使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击，在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人，往往只有少数查询后。通过拒绝所有检测到的查询，Blacklight可以阻止任何攻击完成，即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策，包括在效率上接近白盒攻击的最佳黑盒攻击。最后，我们说明了Blacklight如何推广到其他领域，如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Mixed Strategy Game Model Against Data Poisoning Attacks
McMaster University（麦克马斯特大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
在本文中，我们使用博弈论模型中毒攻击场景。证明了攻击者与防御者博弈中不存在纯策略纳什均衡。然后，我们提出了一个混合扩展我们的游戏模型和算法来近似的纳什均衡策略的后卫。然后，我们证明了该算法产生的混合防御策略的有效性，在实验中。
2019-06-07 cs.CR cs.LG stat.ML
Certified Robustness Against Natural Language Attacks by Causal Intervention
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
深度学习模型在许多领域取得了巨大的成功，但它们容易受到对抗性样本的影响。本文从因果关系的角度来研究对抗性漏洞，并提出了语义平滑因果干预（CISS），这是一种针对自然语言攻击的鲁棒性的新框架。CISS不仅仅是拟合观测数据，而是学习因果效应p（y| do（x）），以进行鲁棒的预测，这可扩展到深度架构并避免为特定攻击定制的噪声的繁琐构造。CISS可证明对单词替换攻击具有鲁棒性，即使在未知攻击算法加强扰动时也具有经验鲁棒性。例如，在YELP上，CISS在针对单词替换的认证鲁棒性方面超过亚军6.7%，并且在集成语法攻击时实现了79.4%的经验鲁棒性。
2022-10-14 cs.CL cs.CR cs.LG
Generic Black-Box End-to-End Attack Against State of the Art API Call Based Malware Classifiers
Ben Gurion University（本-古里安大学）
在本文中，我们提出了一种针对基于API调用的机器学习恶意软件分类器的黑盒攻击，重点是生成结合API调用和静态特征（例如，可打印字符串），其将被分类器错误分类而不影响恶意软件功能。我们表明，由于RNN变体、前馈DNN和传统机器学习分类器（如SVM）之间的可转移性原则，这种攻击对许多分类器都是有效的。我们还实现了GADGET，一个软件框架，将任何恶意软件二进制转换为二进制未检测到的恶意软件分类器，使用拟议的攻击，而无需访问恶意软件源代码。
2018-06-24 cs.CR cs.LG cs.NE
Adversarial FDI Attack against AC State Estimation with ANN
Auburn University（奥本大学）
人工神经网络（ANN）为智能电网中的非线性交流（AC）状态估计（SE）提供了优于传统方法的精度。然而，研究发现，人工神经网络很容易被对抗性的例子所欺骗。在本文中，我们发起了一个新的研究对抗虚假数据注入（FDI）攻击AC SE与ANN：通过注入一个故意的攻击向量到测量，攻击者可以降低ANN SE的准确性，同时保持未被检测到。我们提出了一个基于种群的算法和一个基于梯度的算法来生成攻击向量。这些算法的性能进行评估，通过模拟IEEE 9总线，14总线和30总线系统在各种攻击情况下。仿真结果表明，DE比SLSQP更有效的所有仿真情况下。DE算法生成的攻击实例成功地降低了ANN SE的准确性与高概率。
2019-06-26 cs.CR cs.LG stat.ML
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统，从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御，我们设想了一种猫捉老鼠的游戏，即，新的防御被设计来防御现有的攻击，而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏，我们提出了PORE，第一个框架，以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的，以抵抗任何非目标性的数据投毒攻击，其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下，PORE仍然向用户推荐至少$r$的$N$项目，其中$r$是攻击中的假用户数量的函数。此外，我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Constrained Gradient Descent: A Powerful and Principled Evasion Attack Against Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；Tel Aviv University（特拉维夫大学）
我们提出了针对深度神经网络的新的、更有效的有针对性的白盒攻击。我们的攻击更好地与攻击者的目标保持一致：（1）欺骗模型，使目标类的概率高于任何其他类，同时（2）保持在被攻击输入的$ε$距离内。首先，我们展示了一个损失函数，显式编码（1），并表明自动PGD发现更多的攻击。其次，我们提出了一种新的攻击方法，约束梯度下降（CGD），使用我们的损失函数的改进，捕捉（1）和（2）。CGD寻求以原则性的方式满足两个攻击者目标-错误分类和有界$\ell_{p}$ -范数-作为优化的一部分，而不是经由自组织后处理技术（例如，投影或剪切）。我们发现CGD在CIFAR 10（0.9- 4.2%）和ImageNet（8.6- 13.6%）上比最先进的攻击更成功，同时消耗更少的时间（11.4- 18.8%）。统计测试证实，我们的攻击优于其他领先的防御不同的数据集和值的$ε$。
2022-06-21 cs.CR cs.CV cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology（华中科技大学）；Wuhan University of Technology（武汉理工大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习技术已经广泛应用于各种应用。然而，它们可能容易受到数据投毒攻击，其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的：它们是针对一种特定类型的攻击而设计的，但不适用于其他类型，主要是由于它们遵循的不同原则。然而，很少有一般的防御战略已经制定。在本文中，我们提出了De-Pois，一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型，其目的是模仿目标模型的行为。我们利用生成对抗网络（GANs）来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异，De-Pois因此能够区分中毒样本和干净样本，而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击，并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明，De-Pois算法能够有效地检测出四种类型的中毒攻击，其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心）
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入，通常是通过向其添加触发器，以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度，而且可以很容易地被多种防御机制检测到。在本文中，我们提出了第一个针对深度神经网络的无攻击者后门攻击，其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说，我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段，当目标神经元再次被丢弃时，模型将输出目标标签，即，则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明，我们的无攻击者的后门攻击达到了完美的攻击成功率，可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
FDA3 : Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
East China Normal University（华东师范大学）；Tongji University（同济大学）；Huawei（华为）
随着人工智能（AI）和物联网（IoT）技术的普及，各种各样的对抗攻击越来越多地出现，以欺骗工业物联网（IIoT）应用所使用的深度神经网络（DNN）。由于有偏见的训练数据或脆弱的底层模型，对抗攻击对输入进行的不可察觉的修改可能会导致毁灭性的后果。虽然现有的方法在防御此类恶意攻击方面很有希望，但大多数方法只能处理有限的现有攻击类型，这使得大规模IIoT设备的部署面临巨大挑战。为了解决这个问题，我们提出了一种名为FDA3的有效的联邦防御方法，它可以聚合来自不同来源的对抗性示例的防御知识。受联邦学习的启发，我们提出的基于云的架构可以在IIoT设备之间共享防御能力，以抵御不同的攻击。综合实验结果表明，通过我们的方法生成的DNN不仅可以比现有的特定于攻击的对抗训练方法抵御更多的恶意攻击，而且可以防止IIoT应用受到新的攻击。
2020-06-28 cs.CR cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所 (ICMAT-CSIC)）
在过去的十年里，对抗性机器学习（AML）兴起。这门学科研究如何操纵数据以欺骗推理引擎，以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作，而针对时间序列预测系统的攻击却很少受到关注。在本文中，我们提出了一个基于决策分析的攻击策略，可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Practical Defences Against Model Inversion Attacks for Split Neural Networks
Tessella（泰塞拉）；OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris
我们描述了一个威胁模型下，分裂的基于网络的联邦学习系统容易受到恶意计算服务器的模型反演攻击。我们证明了攻击者可以成功地执行有限的知识的数据分布。我们提出了一个简单的加性噪声方法来抵御模型反演，发现该方法可以显着降低攻击效率在一个可接受的精度权衡MNIST。此外，我们表明，NoPeekNN，现有的防御方法，保护不同的信息暴露，这表明一个组合的防御是必要的，以充分保护私人用户数据。
2021-04-21 cs.CR cs.DC cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology（伊朗谢里夫理工大学）
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法，提出随机对数缩放（RLS）防御可降低攻击成功率，还引入新型自适应攻击，证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research（Facebook AI研究院）
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例，而是搜索由连续值矩阵参数化的对抗性示例分布，从而实现基于梯度的优化。我们的经验表明，我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外，我们证明了一个强大的黑盒传输攻击，通过从对抗分布中采样，匹配或超过现有的方法，而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Provably Efficient Black-Box Action Poisoning Attacks Against Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
由于强化学习（RL）的广泛应用，了解对抗攻击对RL模型的影响对于该模型的安全应用至关重要。针对强化学习的对抗攻击的理论研究主要集中在观察投毒攻击和环境投毒攻击。在本文中，我们介绍了一类新的攻击命名为行动中毒攻击，对手可以改变代理选择的行动信号。与现有的攻击模型相比，所提出的行为中毒攻击模型对攻击者的攻击能力有更大的限制，这给设计带来了一定的挑战。我们研究了白盒和黑盒环境下的动作中毒攻击。我们介绍了一种自适应攻击方案称为LCB-H，它适用于大多数RL代理在黑盒设置。我们证明了LCB-H攻击可以迫使任何有效的RL代理，其动态遗憾规模与所采取的步骤总数呈次线性，根据攻击者非常频繁地选择的策略选择行动，只有次线性成本。此外，我们对一个流行的无模型强化学习算法：UCB-H应用LCB-H攻击。我们表明，即使在黑盒设置，仅花费对数成本，所提出的LCB-H攻击方案可以迫使UCB-H代理根据攻击者选择的策略选择行动非常频繁。
2021-10-26 cs.AI cs.CR cs.LG
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构，利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面，经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
2024-02-01 cs.CR cs.CV cs.LG
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Action-Manipulation Attacks Against Stochastic Bandits: Attacks and Defense
University of California, Davis（加利福尼亚大学戴维斯分校）
由于随机多臂强盗模型的广泛应用，了解对抗攻击的影响并设计对攻击具有鲁棒性的强盗算法对于该模型的安全应用至关重要。在本文中，我们介绍了一类新的攻击命名为动作操纵攻击。在这种攻击中，对手可以改变用户选择的动作信号。我们表明，在不知道的平均奖励的武器，我们提出的攻击可以操纵上置信界（UCB）算法，一个广泛使用的强盗算法，拉一个目标手臂非常频繁，只花费对数成本。为了抵御这类攻击，我们引入了一种新的算法，是强大的动作操纵攻击时，总攻击成本的上限。我们证明了我们的算法有一个伪遗憾上限由$\mathcal{O}(\max\{\log T,A\})$，其中$T$是总轮数和$A$是总攻击成本的上界。
2020-02-21 cs.CR cs.LG math.OC
Unknown Presentation Attack Detection against Rational Attackers
Norwegian University of Science and Technology（挪威科技大学）；State University of New York Polytechnic Institute（纽约州立大学理工学院）
尽管在过去十年中，演示攻击检测和多媒体取证领域取得了令人印象深刻的进展，但这些系统在现实生活中仍然容易受到攻击。现有解决方案的一些挑战是检测未知攻击，在对抗环境中执行的能力，少样本学习和可解释性。在这项研究中，这些限制接近依赖于一个博弈论的观点建模的攻击者和检测器之间的相互作用。因此，提出了一种新的优化标准，并定义了一组要求，以提高这些系统在现实生活中的设置的性能。此外，提出了一种新的检测技术，使用基于生成器的特征集，不偏向于任何特定的攻击物种。为了进一步优化算法在已知攻击下的性能，提出了一种新的损失函数--分类间隔最大化损失（C-marmax），该损失函数逐渐提高算法在最强攻击下的性能.所提出的方法提供了一个更平衡的性能在已知和未知的攻击，并实现了最先进的性能在已知和未知的攻击检测情况下对理性的攻击者。最后，研究了该方法的少样本学习潜力及其提供像素级可解释性的能力。
2021-07-02 cs.CR cs.CV cs.GT
Defending against Adversarial Malware Attacks on ML-based Android Malware Detection Systems
Zhejiang University（浙江大学）；University College London（伦敦大学学院）
本文提出ADD框架，一种插件式防御方案，用于增强基于机器学习的Android恶意软件检测系统对问题空间对抗性攻击的鲁棒性，实验证明其有效且能提升现实防病毒软件的防御能力。
2025-01-23 cs.AI cs.CR cs.LG
Explaining Away Attacks Against Neural Networks
SAP Asia（思爱普亚洲）
我们研究了识别基于图像的神经网络上的对抗攻击的问题。我们提出了有趣的实验结果，显示了对干净数据和对抗数据模型预测的解释之间存在显着差异。利用这种直觉，我们提出了一个框架，可以根据模型给出的解释来识别给定的输入是否是对抗性的。我们的实验代码可以在这里找到：https://github.com/seansaito/Explaining-Away-Attacks-Against-Neural-Networks。
2020-03-06 cs.CR cs.CV cs.LG
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习模型容易受到数据中毒攻击，其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中，攻击者可以修改训练集，但不能修改测试输入，而在后门攻击中，攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书（即，一个辩护的证据）。我们提出了BagFlip，一个模型无关的认证方法，可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击，并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Explainable Black-Box Attacks Against Model-based Authentication
University of Florida（佛罗里达大学）
为人类和终端系统建立唯一的身份一直是安全社区中的一个活跃的研究问题，从而产生了基于创新机器学习的身份验证技术。虽然这些技术提供了一种自动化的方法来建立身份，但它们还没有经过针对其核心机器学习技术的复杂攻击的审查。本文证明了模仿主机指纹和生物特征认证系统生成的唯一签名是可能的。我们通过构建一个基于查询合成框架的盲攻击和利用可解释AI（XAI）技术，揭示了底层机器学习分类模型的无效性。我们在最先进的人脸认证系统上发起了不到130个查询的攻击，在主机认证系统上发起了不到100个查询的攻击。我们将研究如何防御这些攻击，并探索它们的局限性。XAI为对手提供了一种有效的手段来推断决策边界，并为使用机器学习模型进行身份验证来构建针对系统的攻击提供了一种新的方法。
2018-09-28 cs.AI cs.CR cs.LG
Physical Adversarial Attacks Against End-to-End Autoencoder Communication Systems
Linköping University（林雪平大学）
我们表明，通过深度神经网络（DNN）自编码器进行的通信系统的端到端学习非常容易受到物理对抗攻击的攻击。具体来说，我们阐述了攻击者如何能够制定有效的物理黑盒对抗攻击。由于无线信道的开放性（广播性质），对手发射机可以通过在信道上发送精心设计的扰动信号来增加通信系统的误块率。我们发现，对抗攻击比干扰攻击更具破坏性。我们还表明，经典编码方案比自动编码器更鲁棒，可以抵御对抗性和干扰攻击。代码可在[1]中找到。
2019-02-22 cs.CR cs.IT cs.LG
Contributor-Aware Defenses Against Adversarial Backdoor Attacks
众所周知，用于图像分类的深度神经网络容易受到对抗攻击的攻击。最近引起关注的一种攻击是对抗性后门攻击，它已经证明了对特定示例执行有针对性的错误分类的能力。特别是，后门攻击试图迫使模型学习后门触发模式和虚假标签之间的虚假关系。为了应对这种威胁，已经提出了许多防御措施;然而，对后门攻击的防御集中在后门模式检测上，这可能对新颖或意外类型的后门模式设计不可靠。我们引入了一种新的重新语境化的对抗性设置，其中对手的存在隐含地承认存在多个数据库贡献者。然后，在贡献者意识的温和假设下，可以利用这些知识通过破坏虚假标签关联来防御后门攻击。我们提出了一个贡献者感知的通用防御框架，用于在存在多个潜在对抗性数据源的情况下进行学习，该框架利用半监督集合和从人群中学习来过滤对抗性触发器产生的错误标签。重要的是，这种防御策略对后门模式设计是不可知的，因为它的功能不需要-甚至不尝试-在训练或推理期间执行对手识别或后门模式检测。我们的实证研究表明，所提出的框架对敌对的后门攻击从多个同时的对手的鲁棒性。
2022-05-28 cs.AI cs.CR cs.CV
Evasion Attacks Against Bayesian Predictive Models
Inst. Math. Sciences, Spanish Nat. Research Council（数学科学研究所，西班牙国家研究理事会）；Universidad Autónoma de Madrid, Escuela de Doctorado（马德里自治大学，博士学院）；CUNEF Universidad Madrid, Spain（CUNEF马德里大学，西班牙）
针对贝叶斯预测模型对抗攻击脆弱性研究不足的问题，本文提出了设计最优规避攻击的通用方法，针对两类对抗目标提出基于梯度的新型攻击并分析其在不同计算设置下的特性。
2025-06-11 cs.LG stat.ML
Optimal Attack against Autoregressive Models by Manipulating the Environment
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们描述了一个最佳的对抗攻击配方对自回归时间序列预测使用线性二次型调节器（LQR）。在这种威胁模型中，环境根据动态系统演化;自回归模型观察当前环境状态并预测其未来值;攻击者有能力修改环境状态以操纵未来的自回归预测。攻击者的目标是迫使自回归预测跟踪目标轨迹，同时最大限度地减少其攻击支出。在攻击者知道环境和预测模型的白盒环境下，我们提出了对线性模型使用LQR的最优攻击，对非线性模型使用模型预测控制（MPC）的最优攻击。在黑箱环境中，我们将系统辨识和MPC结合起来。实验证明了我们的攻击的有效性。
2019-12-01 cs.LG stat.ML
Defending Against Physically Realizable Attacks on Image Classification
Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Computer Science and Engineering（计算机科学与工程系）
我们研究了防御用于图像分类的深度神经网络方法免受物理可实现攻击的问题。首先，我们证明了学习鲁棒模型的两种最具可扩展性和有效性的方法，即PGD攻击和随机平滑的对抗训练，对三种最受欢迎的物理攻击表现出非常有限的有效性。接下来，我们提出了一个新的抽象对抗模型，矩形遮挡攻击，其中对手在图像中放置一个小的敌对制作的矩形，并开发了两种方法来有效地计算产生的对抗示例。最后，我们证明了使用我们的新攻击的对抗性训练产生的图像分类模型对我们研究的物理可实现的攻击具有很高的鲁棒性，为此类攻击提供了第一个有效的通用防御。
2020-02-14 cs.AI cs.CV cs.LG
Just One Moment: Structural Vulnerability of Deep Action Recognition against One Frame Attack
Yonsei University（延世大学）
近年来，基于视频的动作识别任务得到了广泛的研究。在本文中，我们研究了基于深度学习的动作识别模型对对抗攻击的结构脆弱性，该攻击使用一帧攻击，该攻击仅向给定视频剪辑的单个帧添加不显眼的扰动。我们的分析表明，模型是非常脆弱的一帧攻击，由于其结构特性。实验表明，该攻击具有较高的欺骗率和隐蔽性.此外，我们还证明了在各种情况下都可以得到强泛单框架扰动。我们的工作提出了严重的问题，对抗的脆弱性，国家的最先进的行动识别模型在不同的角度。
2021-08-17 cs.CV cs.LG
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland（马里兰大学）
图像上的补丁对抗攻击（攻击者可以扭曲有界大小区域内的像素）是一种重要的威胁模型，因为它们为物理对抗攻击提供了定量模型。在本文中，我们介绍了一个可证明的防御补丁攻击，保证对于给定的图像和补丁攻击的大小，没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划，提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实，我们得到了有意义的大鲁棒性证书。此外，与基于平滑的针对L_p和稀疏攻击的防御方法相比，我们针对补丁攻击的防御方法是去随机化的，从而产生改进的确定性证书。与Chiang等人（2020）提出的现有补丁认证方法相比，该方法依赖于区间边界传播，我们的方法可以更快地训练，在CIFAR-10上实现高清洁和认证的鲁棒准确性，并提供ImageNet规模的证书。例如，对于CIFAR-10上的5 × 5补丁攻击，我们的方法实现了高达约57.6%的认证准确率（分类器的清洁准确率约为83.8%），而现有方法的认证准确率最多为30.3%（分类器的清洁准确率约为47.8%）。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
Deep Partition Aggregation: Provable Defense against General Poisoning Attacks
University of Maryland（马里兰大学）
对抗性中毒攻击扭曲训练数据，以破坏分类器的测试时行为。可证明的防御为每个测试样本提供了一个证书，这是训练集的任何对抗性失真的幅度的下限，可以破坏测试样本的分类。我们提出了两种新的针对中毒攻击的可证明防御：（i）深度分区聚合（DPA），针对一般中毒威胁模型的认证防御，定义为向训练集插入或删除有限数量的样本-通过暗示，该威胁模型还包括对有限数量的图像和/或标签的任意扭曲;以及（ii）半监督DPA（SS-DPA），一种针对标签翻转中毒攻击的认证防御。DPA是一种集成方法，其中基础模型在由散列函数确定的训练集的分区上训练。DPA与子集聚合（经典机器学习中一种研究得很好的集成方法）以及随机平滑（一种流行的可证明防御规避攻击的方法）有关。我们对标签翻转攻击的防御，SS-DPA，使用半监督学习算法作为其基本分类器模型：每个基本分类器除了使用分区的标签外，还使用整个未标记的训练集进行训练。SS-DPA在MNIST和CIFAR-10上的标签翻转攻击方面明显优于现有的认证防御：可以证明，对于至少一半的测试图像，MNIST上的标签翻转超过600次（相对于< 200次标签翻转），CIFAR-10上的标签翻转超过300次（相对于175次标签翻转）。针对一般中毒攻击，在没有事先认证的防御措施的情况下，DPA可以针对MNIST上的500多个中毒图像插入和CIFAR-10上的9个插入认证>= 50%的测试图像。这…
2021-03-18 cs.LG stat.ML
