Double Backpropagation for Training Autoencoders against Adversarial Attack
Shanghai Jiao Tong University（上海交通大学）
众所周知，深度学习容易受到对抗性样本的影响。本文主要研究自编码器的对抗攻击。自动编码器（AE）的安全性很重要，因为它们被广泛用作数据存储和传输的压缩方案，然而，当前的自动编码器容易受到攻击，即，一个人可以稍微修改一个输入，但是具有完全不同的代码。该漏洞源于自动编码器的敏感性，为了增强鲁棒性，我们建议采用双反向传播（DBP）来保护自动编码器，如VAE和DRAW。我们限制从重建图像到原始图像的梯度，使得自动编码器对由对抗攻击产生的微小扰动不敏感。在利用DBP对梯度进行平滑处理后，利用高斯混合模型（GMM）进一步对标签进行平滑处理，以达到分类的准确性和鲁棒性。我们证明在MNIST，CelebA，SVHN，我们的方法导致一个强大的自动编码器抵抗攻击和一个强大的分类器能够图像过渡和免疫对抗攻击，如果与GMM相结合。
2020-03-04 cs.CV cs.LG
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Attack Agnostic Statistical Method for Adversarial Detection
Harman International India Pvt. Ltd.（哈曼国际印度私人有限公司）
基于深度学习的人工智能系统在视觉、音频、自主系统（车辆、无人机）等各个领域都表现出了巨大的潜力。最近对神经网络的研究表明，深度网络对对抗攻击的敏感性--一种向输入添加小扰动的技术，可以欺骗深度网络对它们进行错误分类。开发针对这种对抗攻击的防御是一个活跃的研究领域，一些方法提出了对这种对手免疫的鲁棒模型，而其他技术则试图检测这种对抗性输入。在本文中，我们提出了一种新的统计方法用于对抗检测图像分类。我们的方法是基于构建一个每类的特征分布和检测对手的基础上比较的测试图像的特征与其类的特征分布。为此，我们利用各种统计距离，如ED（能量距离），MMD（最大平均离散）的对抗检测，并分析每个度量的性能。我们的实验表明，我们的方法在MNIST和CIFAR-10数据集上实现了良好的对抗检测性能，无论攻击方法，样本大小和对抗干扰的程度如何。
2019-11-22 cs.LG stat.ML
Adversarial robustness via stochastic regularization of neural activation sensitivity
Ben-Gurion university of the Negev（内盖夫本-古里安大学）
最近的研究表明，任何机器学习分类器的输入域都必然包含对抗性示例。因此，我们不能再指望免疫分类器来对抗性样本，而只能实现以下两个防御目标：1）使对抗性样本更难找到，或者2）通过将它们推离正确分类的数据点来削弱它们的对抗性。大多数（如果不是所有的话）先前提出的防御机制只关注这两个目标中的一个，因此，可以被考虑防御机制的自适应攻击绕过。在这项工作中，我们提出了一种新的防御机制，同时解决了这两个防御目标：我们使用一种新的随机正则化项，显式降低了单个神经元对小输入扰动的敏感性，从而使损失表面的梯度变平，使对抗性样本更难找到。此外，我们通过利用雅可比正则化将决策边界推离正确分类的输入。我们提出了一个坚实的理论基础和我们建议的方法的实证测试，证明了它的优越性比以前提出的防御机制，并表明它是有效的对广泛的自适应攻击。
2020-09-23 cs.LG cs.NE
BERT Rankers are Brittle: a Study using Adversarial Document Perturbations
L3S Research Center（L3S研究中心）
基于BERT的上下文排序模型现在已经很好地建立了广泛的段落和文档排序任务。然而，基于BERT的排名模型在对抗性输入下的鲁棒性尚未得到充分研究。在本文中，我们认为，BERT排名不能免疫对抗攻击针对检索到的文档查询。首先，我们提出了使用基于梯度的优化方法对高度相关和非相关文档进行对抗性扰动的算法。我们的算法的目的是向高度相关或不相关的文档添加/替换少量令牌，以引起大的排名降级或提升。我们的实验表明，少量的令牌已经可以导致文档排名的大幅变化。此外，我们发现BERT排名严重依赖于文件的开始/头部的相关性预测，使文件的初始部分更容易受到对抗攻击。更有趣的是，我们发现了一小部分反复出现的对抗性单词，当它们被添加到文档中时，会分别导致任何相关/不相关文档的成功排名降级/提升。最后，我们的对抗令牌还显示了数据集内和数据集之间的特定主题偏好，暴露了BERT预训练或下游数据集的潜在偏见。
2022-06-23 cs.AI cs.IR
Black-box Adversarial Attacks on Network-wide Multi-step Traffic State Prediction Models
University of Memphis（孟菲斯大学）
本研究针对全网多步交通状态预测深度学习模型的鲁棒性问题，提出黑盒对抗攻击框架，通过训练替代模型生成对抗信号，可使最优图神经网络模型精度最高降54%，而传统统计模型受影响极小或免疫。
2021-10-17 cs.AI cs.CR cs.LG
Local Reweighting for Adversarial Training
The Chinese University of Hong Kong（香港中文大学）；University of Technology Sydney（悉尼科技大学）；Australian AI Institute（澳大利亚人工智能研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Hong Kong Baptist University（香港浸会大学）
实例重加权对抗训练（IRAT）可以显着提高训练模型的鲁棒性，在训练过程中，对给定攻击较不脆弱/较脆弱的数据被分配较小/较大的权重。然而，当对与训练中模拟的给定攻击不同的攻击进行测试时，鲁棒性可能会显著下降（例如，甚至比没有重新加权更糟糕）。在本文中，我们研究了这个问题，并提出了我们的解决方案-局部重新加权对抗训练（LRAT）。IRAT背后的基本原理是，我们不需要过多关注在攻击下已经安全的实例。我们认为，安全性应该是依赖于攻击，因此，对于同一个实例，它的权重可以改变不同的攻击基于同一个模型。因此，如果在训练中模拟的攻击被错误指定，则IRAT的权重是误导性的。为此，LRAT将每个实例与其对抗变体配对，并在每个配对中执行局部重新加权，而不执行全局重新加权-其基本原理是如果实例对攻击免疫，则适合实例本身，但不要跳过配对，以便被动地防御未来的不同攻击。实验表明LRAT比IRAT（即，全局重新加权）和标准AT（即，没有重新加权）。
2021-06-30 cs.LG
Adversarial Visual Robustness by Causal Intervention
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
对抗性训练实际上是对抗性示例最有希望的防御手段。然而，它的被动性质不可避免地使它无法对未知的攻击者免疫。为了实现主动防御，我们需要对对抗性示例有更基本的理解，而不仅仅是流行的有界威胁模型。在本文中，我们提供了对抗脆弱性的因果观点：原因是学习中普遍存在的虚假相关性，即，混淆效应，攻击者正是利用这些效应。因此，对抗鲁棒性的根本解决方案是因果干预。由于这些视觉混杂因素一般是察觉不到的，我们建议使用工具变量，实现因果干预，而不需要混杂观察。我们将我们的鲁棒训练方法称为工具变量因果干预（CiiV）。这是一种因果正则化，1）用多个视网膜定位中心增强图像，2）通过支持线性响应空间插值的特征，鼓励模型学习因果特征，而不是局部混淆模式。对CIFAR-10、CIFAR-100和mini-ImageNet中应用的各种攻击者和设置进行的广泛实验表明，CiiV对自适应攻击（包括最近的AutoAttack）具有鲁棒性。此外，作为一种通用的因果正则化，它可以很容易地插入到其他方法中，以进一步提高鲁棒性。
2021-10-06 cs.CV cs.LG
CivicShield: A Cross-Domain Defense-in-Depth Framework for Securing Government-Facing AI Chatbots Against Multi-Turn Adversarial Attacks
本文提出CivicShield框架，通过多层防御机制提升政府AI聊天机器人安全性，有效检测多轮对抗攻击，理论分析显示多层防御可将攻击概率降低1-2个数量级。
2026-03-30 cs.AI cs.CR
Multi-SpacePhish: Extending the Evasion-space of Adversarial Attacks against Phishing Website Detectors using Machine Learning
University of Padua（帕多瓦大学）；University of Liechtenstein（列支敦士登大学）；Delft University of Technology（代尔夫特理工大学）
本文针对钓鱼网站检测的ML模型，形式化逃逸空间并提出低成本现实威胁模型，首次统计验证多种逃逸攻击，并探索多空间联合扰动导致检测率显著下降。
2023-10-12 cs.CR cs.LG cs.NI
AEGIS: Adversarial Entropy-Guided Immune System -- Thermodynamic State Space Models for Zero-Day Network Evasion Detection
Vixero Technology Enterprise（Vixero科技企业）
本文提出AEGIS，一种基于热力学方差引导超流体状态空间模型的对抗熵引导免疫系统，通过非欧几里得庞加莱流形实现高效检测零日网络攻击。
2026-04-02 cs.CR cs.LG
Jailbreaking LLMs Without Gradients or Priors: Effective and Transferable Attacks
Department of Visual Computing, University of Bonn（视觉计算系，波恩大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
RAILS通过无需梯度或先验知识的令牌级迭代优化，实现了对LLM的有效且可转移的对抗性攻击。
2026-01-06 cs.AI cs.CR cs.LG
STG-GAN: A spatiotemporal graph generative adversarial networks for short-term passenger flow prediction in urban rail transit systems
针对城市轨道交通短期客流预测中的复杂时空依赖、约束缺失及效率问题，提出STG-GAN，通过TCN/GCN生成器与时空判别器对抗训练，实现高精度、低内存占用预测。
2023-08-16 cs.LG cs.SY eess.SY
Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
Anthropic Fellows Program（Anthropic研究员项目）；Anthropic
本研究红队测试生产阻断监控器，发现对抗性代理可通过提示注入等机制在79%试验中绕过，并提出设计改进以增强防御。
2026-09-29 cs.AI cs.CL cs.CR
HoechstGAN: Virtual Lymphocyte Staining Using Generative Adversarial Networks
University of St Andrews（圣安德鲁斯大学）；Lothian NHS University Hospitals（洛锡安NHS大学医院）
特定类型免疫细胞的存在和密度对于了解患者对癌症的免疫反应非常重要。然而，识别T细胞亚型所需的免疫荧光染色是昂贵的，耗时的，并且很少在临床环境中进行。我们提出了一个框架，虚拟染色Hoechst图像（这是廉价和广泛的）与CD3和CD8，以确定T细胞亚型在透明细胞肾细胞癌使用生成对抗网络。我们提出的方法联合学习两个染色任务，激励网络从每个任务中整合互利的信息。我们设计了一种新的度量来量化虚拟染色质量，并使用它来评估我们的方法。
2022-10-17 cs.CV cs.LG q-bio.QM
Towards Robust Training of Neural Networks by Regularizing Adversarial Gradients
George Mason University（乔治梅森大学）；Northeastern University（东北大学）；Clarkson University（克拉克森大学）
近年来，神经网络在大量的应用中表现出了卓越的有效性，然而，最近的研究表明，神经网络对对抗性样本很敏感，这表明网络结构可能存在固有的缺陷。为了解决这个问题，提高神经网络的鲁棒性，我们研究了对抗性样本背后的基本机制，并提出了一种新的通过调节对抗性梯度的鲁棒训练方法。该规则有效地挤压了神经网络的对抗梯度，显著增加了对抗样本生成的难度，在不涉及任何对抗样本的情况下，该鲁棒训练方法可以生成自然鲁棒的网络，对各种类型的对抗样本几乎免疫。实验表明，自然鲁棒的网络可以达到最佳的准确率对快速梯度符号方法（FGSM）和C\&W攻击MNIST，Cifar10，和谷歌语音命令数据集。此外，我们提出的方法还提供了神经网络一致的鲁棒性对可转移的攻击。
2018-06-07 cs.LG stat.ML
Attack and defence in cellular decision-making: lessons from machine learning
McGill University（麦吉尔大学）
机器学习算法可以被精心设计的对抗性扰动所愚弄。这让人想起细胞决策，其中配体（称为拮抗剂）阻止正确的信号传导，如早期免疫识别。我们在机器学习中使用的神经网络和细胞决策模型（自适应校对）之间进行了正式的类比。我们将机器学习的攻击应用于简单的决策模型，并明确显示了弱结合配体对抗的对应关系。这种对抗在更多的非线性模型中是不存在的，这启发了我们在神经网络中实现仿生防御，过滤掉对抗性扰动。然后，我们将机器学习的梯度下降方法应用于不同的细胞决策模型，并揭示了存在两种制度，其特征在于存在或不存在梯度的临界点。这个临界点导致最强的对手靠近决策边界。这在鲁棒神经网络和细胞决策模型的损失景观中得到了验证，并在免疫细胞中进行了实验观察。对于这两种制度，我们解释了相关的防御机制如何塑造损失景观的几何形状，以及为什么不同的对抗性攻击在不同的制度是有效的。我们的工作将进化的细胞决策与机器学习联系起来，并激发了对抗性扰动的一般理论的设计，无论是在体内还是在计算机系统中。
2019-06-13 cs.LG physics.bio-ph stat.ML
Adversarial Immunization for Certifiable Robustness on Graphs
CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所网络数据科学与技术重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
尽管图神经网络（GNN）在半监督节点分类任务中实现了强大的性能，但与其他深度学习模型类似，它容易受到对抗攻击的攻击。现有的研究主要集中在针对图的对抗攻击建立鲁棒的GNN模型和攻击检测方法。然而，很少有研究关注的潜力和实践的免疫对抗攻击的图。在本文中，我们提出并制定了图对抗免疫问题，即，接种负担得起的一部分节点对，连接或不连接，以提高图对任何可接受的对抗攻击的可证明鲁棒性。我们进一步提出了一种有效的算法，称为AdvImmune，它以离散的方式使用元梯度进行优化，以避免在解决对抗免疫问题时计算昂贵的组合优化。实验在两个引文网络和一个社会网络上进行。实验结果表明，该方法在保证免疫预算仅为5%的情况下，鲁棒节点率分别提高了12%、42%、65%。
2021-08-25 cs.CR cs.LG cs.SI
Grimm: A Plug-and-Play Perturbation Rectifier for Graph Neural Networks Defending against Poisoning Attacks
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；School of Cyber Science and Engineering, Chengdu University of Information Technology（成都信息工程大学网络空间安全学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院）
针对GNN在节点分类任务中易受投毒攻击且现有防御方法牺牲性能的问题，提出即插即用防御模型Grimm，利用特征轨迹检测并校正扰动，具有无害、并行、通用、可迁移的优势。
2024-12-19 cs.LG
Robustness of Deep Neural Networks for Micro-Doppler Radar Classification
University of Strathclyde（斯特拉斯克莱德大学）
本文研究深度卷积网络在微多普勒雷达分类中的鲁棒性，发现标准训练易受时间偏移和对抗样本影响，提出通过对抗训练与时间增强提升泛化能力，并证明步频-速度图表示天然更具对抗鲁棒性。
2024-02-22 cs.CV cs.LG eess.SP
Graph Adversarial Immunization for Certifiable Robustness
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出图对抗免疫方法，通过边级和节点级免疫算法 AdvImmune-Edge 与 AdvImmune-Node 高效选择免疫节点或节点对，在不损失干净图性能的前提下显著提升图神经网络的可认证鲁棒性，并有效防御节点注入等多种攻击。
2023-09-23 cs.CR cs.LG cs.SI
Towards Transferable Defense Against Malicious Image Edits
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (CAS)（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of China Academy of Sciences（中国科学院大学）；School of Computer Science, China University of Geosciences（中国地质大学（武汉）计算机学院）
TDAE通过双模优化提升图像对恶意编辑的免疫性，实现跨模型的可迁移防御。
2026-03-02 cs.AI cs.CV cs.CY
Host-Pathongen Co-evolution Inspired Algorithm Enables Robust GAN Training
Ecole Polytechnique Federale of Lausanne（洛桑联邦理工学院）
生成对抗网络（GANs）是一对相互训练的人工神经网络。生成器的输出与真实世界的输入混合到网络中，两个网络都被训练，直到达到平衡，此时网络无法区分生成的输入和真实的输入。自引入以来，GANs已经允许生成令人印象深刻的现实生活中的电影，图像和文本的模仿，其虚假性几乎不会被人类注意到。尽管它们的性能令人印象深刻，但直到今天，训练GANs仍然是一门艺术，而不是一个可靠的过程，这在很大程度上是由于训练过程的稳定性。发生器容易受到模式丢弃和收敛到随机模式的影响，这必须通过计算上昂贵的多次重启来减轻。奇怪的是，GANs与生物学中病原体及其宿主免疫系统的共同进化有着不可思议的相似之处。在生物学背景下，大多数潜在的病原体确实从来没有成功过，并被热的免疫系统拒之门外。然而，有些是有效的，足以提出一个严重的条件和复发感染的风险。在这里，我们探索这种相似性，为GANs训练提出一种更强大的算法。我们的经验表明，增加的稳定性和更好的能力，以产生高质量的图像，同时使用更少的计算能力。
2020-06-09 cs.LG cs.NE q-bio.PE
Detecting Audio Attacks on ASR Systems with Dropout Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近开发了各种对抗性音频攻击来欺骗自动语音识别（ASR）系统。我们在这里提出了一个防御这种攻击的基础上引入的不确定性神经网络中的辍学。我们表明，我们的防御能够检测到通过最先进的端到端ASR系统上的优化扰动和频率掩蔽创建的攻击。此外，可以使防御对不受噪声降低影响的攻击是鲁棒的。我们在Mozilla的CommonVoice数据集，UrbanSound数据集和LibriSpeech数据集的摘录上测试了我们的防御，表明它在广泛的场景中实现了高检测精度。
2020-09-15 cs.CR cs.LG cs.SD
Defeating Misclassification Attacks Against Transfer Learning
Monash University（蒙纳士大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61）；City University of Hong Kong（香港城市大学）
迁移学习作为一种基于从预先训练的模型（教师模型）转移的知识来有效地生成新模型（学生模型）的技术而流行。然而，教师模型往往是公开的共享和重用，这不可避免地引入漏洞，触发严重的攻击迁移学习系统。在本文中，我们迈出了减轻迁移学习中最先进的误分类攻击的第一步。我们通过基于激活的网络修剪设计了一个蒸馏微分器，以削弱攻击的可转移性，同时保持准确性。我们采用一个集成结构，从不同的差异，以提高防御的鲁棒性。为了避免在推理过程中膨胀的集成规模，我们提出了一种两阶段防御，其中首先执行学生模型的推理以缩小待组装的候选微分器，然后只能选择其中一小部分固定数量的微分器来有效地验证干净或拒绝对抗性输入。我们对大型和小型图像识别任务的全面评估证实，我们仅使用5个微分器的学生模型对90%以上的对抗性输入免疫，准确性损失小于10%。我们的比较还表明，我们的设计优于以前的问题防御。
2022-02-09 cs.CR cs.LG
Detection of Coronavirus (COVID-19) Associated Pneumonia based on Generative Adversarial Networks and a Fine-Tuned Deep Transfer Learning Model using Chest X-ray Dataset
Faculty of Computers and Artificial Intelligence, Cairo University（开罗大学计算机与人工智能学院）；MISR Higher Institute for Engineering and Technology（米斯尔高等工程技术学院）；Scientific Research Group in Egypt (SRGE)（埃及科学研究团队）
根据世界卫生组织的说法，COVID-19冠状病毒是毁灭性病毒之一。这种新型病毒导致肺炎，这是一种感染，发炎的肺部气囊的人。检测这些炎症的方法之一是使用胸部X射线。在本文中，将提出一种基于生成对抗网络（GAN）的肺炎胸部X射线检测，该网络具有针对有限数据集的微调深度迁移学习。GAN的使用积极地影响了所提出的模型的鲁棒性，使其不受过拟合问题的影响，并有助于从数据集生成更多的图像。本研究中使用的数据集包括5863张X射线图像，分为两类：正常和肺炎。该研究仅使用10%的数据集作为训练数据，并使用GAN生成90%的图像，以证明所提出的模型的效率。通过这篇论文，AlexNet、GoogLeNet、Squeeznet和Resnet 18被选为深度迁移学习模型，用于从胸部X射线中检测肺炎。这些模型是基于其架构上的少量层而选择的，这将反映在降低模型的复杂性以及消耗的内存和时间上。结合GAN模型和深层传输模型，通过测试精度的测量，证明了该方法的有效性。研究得出结论，Resnet 18是根据测试准确率测量的最合适的深度传输模型，并且在使用GAN作为图像增强器时，其他性能指标（如精确度，召回率和F1分数）达到99%。最后，在研究的最后，与使用相同数据集的相关工作进行了比较，除了本研究使用了原始数据集的10%。所提出的工作取得了优于相关工作的测试精度方面的结果。
2020-04-02 cs.CV cs.LG eess.IV
Uncertainty-Matching Graph Neural Networks to Defend Against Poisoning Attacks
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）
图神经网络（GNN）是神经网络对图结构数据的概括，通常使用图的实体之间的消息传递来实现。虽然GNN对于节点分类、链接预测和图分类是有效的，但它们容易受到对抗性攻击，即，对结构的小扰动可能导致非平凡的性能下降。在这项工作中，我们提出了不确定性匹配GNN（UM-GNN），旨在提高GNN模型的鲁棒性，特别是针对图结构的中毒攻击，通过利用消息传递框架中的认知不确定性。更具体地说，我们建议构建一个代理预测器，该预测器不直接访问图结构，而是通过一种新型的不确定性匹配策略从标准GNN中系统地提取可靠的知识。有趣的是，这种解耦使得UM-GNN通过设计对规避攻击免疫，并实现了对中毒攻击的显著提高的鲁棒性。使用标准基准和一套全球和目标攻击的实证研究，我们证明了UM-GNN与现有基线（包括最先进的强大GCN）相比的有效性。
2020-09-30 cs.CR cs.LG stat.ML
