SoK: How Robust is Image Classification Deep Neural Network Watermarking? (Extended Version)
University of Waterloo(滑铁卢大学)
深度神经网络(DNN)水印是用于DNN模型的来源验证的方法。水印应该对水印去除攻击具有鲁棒性,水印去除攻击导出逃避起源验证的代理模型。已经提出了许多要求鲁棒性的水印方案,但是它们的鲁棒性仅在针对相对较小的攻击集合的隔离中被验证。没有系统的,经验的评估,这些索赔对一个共同的,全面的一套删除攻击。这种关于水印方案鲁棒性的不确定性导致难以信任它们在实践中的部署。在本文中,我们评估是否最近提出的水印方案,声称鲁棒性是强大的对一个大的删除攻击。我们调查的方法,从文献中,(i)是已知的删除攻击,(ii)推导出代理模型,但尚未被评估为删除攻击,(iii)新的删除攻击。权值移位和平滑再训练是适应于本文所述DNN水印方案的新的去除攻击。我们提出了水印方案和删除攻击的分类。我们的经验评估包括对CIFAR-10和ImageNet数据集上的每个攻击和水印方案的参数集进行消融研究。令人惊讶的是,没有一个调查的水印方案在实践中是鲁棒的。我们发现,该计划无法承受自适应攻击和已知的方法来推导代理模型,还没有被评估为删除攻击。这指出了目前评估鲁棒性的内在缺陷。我们表明,水印方案需要进行评估,对一个更广泛的一套更现实的对手模型的删除攻击。我们的源代码和完整的评估结果数据集是公开的,这允许独立验证我们的结论。
2021-08-11 cs.CR cs.LG
Fairness-aware Regression Robust to Adversarial Attacks
University of California, Davis(加州大学戴维斯分校)
在本文中,我们朝着回答如何设计对对抗攻击具有鲁棒性的公平机器学习算法的问题迈出了第一步。使用极大极小框架,我们的目标是设计一个对抗性鲁棒的公平回归模型,该模型在攻击者能够向数据集添加精心设计的对抗性数据点或对数据集执行一级攻击的情况下实现最佳性能。通过求解提出的非光滑非凸-非凹Minimax问题,得到了最优敌手和鲁棒公平性回归模型。对于合成数据和真实世界数据集,数值结果表明,与其他公平机器学习模型相比,本文提出的对抗鲁棒公平模型在中毒数据集上具有更好的预测精度和基于组的公平性度量.
2022-11-04 cs.CR cs.LG
Improving Robustness of ML Classifiers against Realizable Evasion Attacks Using Conserved Features
Washington University in St. Louis(圣路易斯华盛顿大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Ariel University(阿里埃勒大学);University of Michigan(密歇根大学)
机器学习(ML)技术在安全应用中越来越常见,例如恶意软件和入侵检测。然而,ML模型通常容易受到规避攻击的影响,其中对手对输入(例如恶意软件)进行更改以避免被检测到。评估ML对此类攻击的鲁棒性以及设计鲁棒ML的传统方法是通过考虑简化的攻击特征空间模型,其中攻击者直接改变ML特征以实现规避,同时最小化或限制这种变化的幅度。我们研究了这种方法在面对可以在实际恶意软件中实现的攻击(可实现的攻击)时设计鲁棒ML的有效性。我们证明,在基于结构的PDF恶意软件检测的上下文中,这样的技术似乎有有限的有效性,但他们是有效的基于内容的检测器。在这两种情况下,我们表明,增加保守的功能(那些不能单方面修改而不损害恶意功能)的特征空间模型显着提高性能。最后,我们表明,特征空间模型,使广义的鲁棒性时,面对各种可实现的攻击,相比,被调整到一个特定的可实现的攻击是强大的分类器。
2019-05-10 cs.CR cs.LG
Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons
University of Reading(雷丁大学);KTH Royal Institute of Technology(瑞典皇家理工学院);University of Catania(卡塔尼亚大学);University of Cambridge(剑桥大学)
我们使用第一卷积层的节点丢弃来识别深度学习架构的脆弱和鲁棒神经元。使用对抗目标算法,我们将这些神经元与网络上对抗攻击的分布相关联。神经网络的对抗鲁棒性近年来受到了广泛关注,并凸显了深度学习网络在应对输入图像精心构造的失真时的固有弱点。在本文中,我们评估了在MNIST和CIFAR10数据集上训练的最新图像分类模型对快速梯度符号方法攻击的鲁棒性,快速梯度符号方法是一种简单而有效的欺骗神经网络的方法。我们的方法确定了网络中受对抗攻击影响最大的特定神经元。因此,我们建议通过压缩鲁棒神经元内的特征并按比例放大脆弱神经元,使脆弱神经元对这些攻击更具鲁棒性。
2022-01-31 cs.CR cs.LG
Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks
University of Waterloo(滑铁卢大学)
本文揭示了数据投毒攻击中不可检测性与鲁棒性之间的关键权衡,提出使用少量可信数据检测或修复投毒模型的防御方法,在CIFAR-10和ImageNet上有效缓解攻击且准确率损失极小,证明同时满足鲁棒与不可检测的攻击者威胁大幅降低。
2023-06-29 cs.CR cs.LG
Reducing Bias in Modeling Real-world Password Strength via Deep Learning and Dynamic Dictionaries
Sapienza University of Rome(罗马大学);Stevens Institute of Technology(史蒂文斯理工学院);Institute of Applied Computing CNR(意大利国家研究委员会应用计算研究所)
密码安全性取决于对攻击者所采用的技术的深入了解。不幸的是,现实世界的对手诉诸务实的猜测策略,如字典式攻击,本质上是难以建模的密码安全性研究。为了能够代表实际的威胁,字典式攻击必须经过深思熟虑的配置和调整。然而,这一过程需要一个领域的知识和专业知识,不能轻易复制。不准确校准字典式攻击的后果是密码安全分析的不可靠性,并因严重的测量偏差而受到损害。在目前的工作中,我们引入了新一代的字典式攻击,是一贯更有弹性的配置不足。不需要监督或领域知识,这种技术自动逼近现实世界的攻击者所采用的高级猜测策略。为了实现这一目标:(1)我们使用深度神经网络来模拟对手构建攻击配置的熟练程度。(2)然后,我们介绍了动态猜测策略的字典式攻击。这些模拟专家的能力,以适应他们的猜测策略,在飞行中纳入知识对他们的目标。我们的技术能够在字典式攻击中实现更稳健和更合理的密码强度估计,最终减少对密码安全中现实威胁建模的高估。可用代码:https://github.com/TheAdamProject/adams
2021-02-26 cs.CR cs.LG
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Santa Fe Institute(圣塔菲研究所)
已知神经网络图像分类器的对抗性示例是可转移的:被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而,有针对性的对抗性示例(被优化为被分类为选定的目标类)往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中,在这项工作中,我们研究的作用的源分类器。在这里,我们表明,训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性,即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
Robustness of Selected Learning Models under Label-Flipping Attack
San Jose State University(圣何塞州立大学)
本文比较了多种机器学习与深度学习模型在恶意软件数据集上遭受标签翻转攻击时的鲁棒性,发现MLP模型在初始准确率和鲁棒性上表现最佳。
2025-01-21 cs.CR cs.LG
Are Adversarial Examples Created Equal? A Learnable Weighted Minimax Risk for Robustness under Non-uniform Attacks
Technical University of Munich(慕尼黑工业大学);University of Maryland, College Park(马里兰大学帕克分校)
对抗性训练被证明是一种有效的防御对抗性示例的方法,是少数几种能够抵御强大攻击的防御方法之一。然而,传统的防御机制假设根据底层数据分布对示例进行统一攻击,这显然是不现实的,因为攻击者可以选择专注于更脆弱的示例。我们提出了一个加权极大极小风险优化,抵御非均匀攻击,实现对抗性的例子扰动测试数据分布下的鲁棒性。我们修改的风险考虑了不同对抗性示例的重要性权重,并自适应地关注被错误分类或被错误分类的风险较高的较难示例。设计的风险允许训练过程通过优化重要性权重来学习强大的防御。实验表明,我们的模型在非均匀攻击下显着提高了最先进的对抗精度,而在均匀攻击下没有显着下降。
2020-10-24 cs.CR cs.LG
Applying recent secure element relay attack scenarios to the real world: Google Wallet Relay Attack
本报告解释了非接触式智能卡和安全元件上的中继攻击的最新发展。它进一步揭示了这些中继攻击如何应用于Google钱包。最后,它给出了一个成功尝试的组件和结果的概述中继EMV Mag-Stripe交易之间的谷歌钱包设备和外部卡模拟器通过无线网络。
2013-03-25 cs.CR
Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack
UC Irvine(加州大学欧文分校);ByteDance(字节跳动);Northeastern University(东北大学)
自动车道对中(ALC)系统如今非常方便且广泛部署,但也具有高度的安全性和安全性。在这项工作中,我们是第一个系统地研究最先进的基于深度学习的ALC系统在物理世界对抗攻击下的设计操作域中的安全性。我们制定了一个安全关键的攻击目标的问题,和一个新的和特定领域的攻击向量:肮脏的道路补丁。为了系统地生成攻击,我们采用了基于优化的方法,并克服了特定领域的设计挑战,例如由于攻击影响的车辆控制而导致的相机帧相互依赖性,以及车道检测模型缺乏目标函数设计。我们评估我们的攻击生产ALC使用80个场景,从现实世界的驾驶痕迹。结果表明,我们的攻击是非常有效的,超过97.5%的成功率和不到0.903秒的平均成功时间,这是大大低于平均司机的反应时间。这种攻击也被发现(1)对各种现实因素(如照明条件和视角)具有鲁棒性,(2)对不同的模型设计具有通用性,以及(3)从驾驶员的角度来看是隐形的。为了了解安全影响,我们在真实车辆中使用软件在环仿真和攻击跟踪注入进行实验。结果表明,我们的攻击在不同的场景下可以导致100%的碰撞率,包括在使用自动紧急制动等常见安全功能进行测试时。我们还评估和讨论防御。
2021-06-13 cs.CR cs.CV cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine(缅因大学)
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题,提出对抗判别器集成网络(ADE-Net),通过判别器按攻击类型分配数据至专家集成网络,在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?
Google Brain(谷歌大脑)
号
2019-02-06 cs.AI cs.CR cs.LG
Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack
ByteDance AI Lab(字节跳动人工智能实验室);Northeastern University(东北大学)
车道保持辅助系统(LKAS)是方便和广泛使用的今天,但也非常安全和安全的关键。在这项工作中,我们设计并实现了第一个系统化的方法来攻击现实世界中基于DNN的LKAS。我们确定肮脏的道路补丁作为一种新的和特定领域的威胁模型的实用性和隐蔽性。我们制定的攻击作为一个优化问题,并解决来自连续的相机帧的攻击之间的相互依赖性的挑战。我们在最先进的LKAS上评估了我们的方法,我们的初步结果表明,我们的攻击可以成功地使它在短短1.3秒内驶离车道边界。
2020-03-03 cs.CR cs.CV cs.LG
Certified Robustness Against Natural Language Attacks by Causal Intervention
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
深度学习模型在许多领域取得了巨大的成功,但它们容易受到对抗性样本的影响。本文从因果关系的角度来研究对抗性漏洞,并提出了语义平滑因果干预(CISS),这是一种针对自然语言攻击的鲁棒性的新框架。CISS不仅仅是拟合观测数据,而是学习因果效应p(y| do(x)),以进行鲁棒的预测,这可扩展到深度架构并避免为特定攻击定制的噪声的繁琐构造。CISS可证明对单词替换攻击具有鲁棒性,即使在未知攻击算法加强扰动时也具有经验鲁棒性。例如,在YELP上,CISS在针对单词替换的认证鲁棒性方面超过亚军6.7%,并且在集成语法攻击时实现了79.4%的经验鲁棒性。
2022-10-14 cs.CL cs.CR cs.LG
Improving VAEs' Robustness to Adversarial Attack
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
变分自动编码器(VAE)最近被证明容易受到对抗性攻击,其中它们被愚弄以重建选定的目标图像。然而,如何抵御这种攻击仍然是一个悬而未决的问题。我们在解决这个问题上取得了重大进展,通过引入方法产生对抗强大的VAE。也就是说,我们首先证明,提出的方法来获得解开潜在的表示产生VAE,这些攻击更强大。然而,这种鲁棒性是以降低重建质量为代价的。我们通过将解缠方法应用于分层VAE来改善这一点。由此产生的模型产生高保真自动编码器,也是对抗鲁棒性。我们在几个不同的数据集和当前最先进的VAE对抗攻击上证实了它们的能力,并且还表明它们增加了下游任务攻击的鲁棒性。
2021-01-29 cs.CR cs.LG stat.ML
Social Engineering Attacks and Defenses in the Physical World vs. Cyberspace: A Contrast Study
社会工程攻击是一种同样适用于物理世界和网络空间的现象。物理世界中的这些攻击比网络空间中的对应攻击被研究的时间要长得多。这促使我们研究物理世界和网络空间中的社会工程攻击如何相互关联,包括它们的共同特征和独特特征。为此,我们提出了一种方法,将物理世界和网络空间中的社会工程攻击和防御统一到一个框架中,包括:(i)基于心理学原理的系统模型,用于描述这些攻击;(ii)这些攻击的系统化;以及(iii)对它们的防御系统化。我们的研究得出了一些见解,这些见解揭示了未来的研究方向,以充分防御网络空间中的社会工程攻击。
2022-03-09 cs.CR cs.HC
Enhancing the Robustness of QMIX against State-adversarial Attacks
Tongji University(同济大学);Monmouth University(蒙茅斯大学)
针对多智能体强化学习鲁棒性研究不足的问题,本文以QMIX算法为例,将四种单智能体鲁棒强化学习技术拓展至多智能体场景,通过多攻击训练与交叉测试梳理总结了适用于多智能体强化学习的鲁棒性增强方法。
2023-07-03 cs.CR cs.LG cs.MA
On adversarial patches: real-world attack on ArcFace-100 face recognition system
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Intelligent Systems Lab(智能系统实验室);Huawei Moscow Research Center(华为莫斯科研究中心)
最近的工作表明,在数字域的对抗攻击的图像分类的脆弱性。然而,大多数攻击涉及向图像添加小扰动以欺骗分类器。不幸的是,这样的程序不能用于进行现实世界的攻击,在现实世界中,向照片添加对抗属性是一种更实用的方法。在本文中,我们研究了现实世界中的人脸识别系统的攻击问题。我们研究了最好的公共人脸识别系统之一,LResNet 100 E-IR与ArcFace损失的安全性,并提出了一种简单的方法来攻击它在物理世界中。该方法建议创建一个可以打印的对抗补丁,添加为面部属性并拍照;然后将具有这种属性的人的照片传递给分类器,使得分类器的识别类从正确的变为所需的。所提出的生成过程允许不仅在面部的不同区域(例如鼻子或前额)上,而且在一些可穿戴配件(例如眼镜)上投射对抗性补丁。
2020-04-01 cs.CR cs.CV cs.LG
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago(芝加哥大学)
后门攻击将隐藏的恶意行为嵌入到深度学习模型中,仅激活并导致包含特定触发器的模型输入的错误分类。然而,现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案:后门攻击能否成功使用物理对象作为触发器,从而使它们成为现实世界中对深度学习系统的可信威胁?我们进行了详细的实证研究,以探索这个问题的面部识别,一个关键的深度学习任务。使用七个物理对象作为触发器,我们收集了一个自定义数据集的3205图像的10名志愿者,并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先,物理后门攻击可以非常成功,如果它们被仔细配置以克服物理对象施加的约束。特别是,成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二,当今针对(数字)后门的四种最先进的防御措施对物理后门无效,因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实,(物理)后门攻击不是一个假设的现象,而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park(马里兰大学帕克分校);Facebook AI(Facebook 人工智能研究院)
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集,我们训练模式,抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验,我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试,并量化了数据集,对象类和检测器模型之间的攻击可转移性。最后,我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服,并严格量化的性能,这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
Turning Strengths into Weaknesses: A Certified Robustness Inspired Attack Framework against Graph Neural Networks
图神经网络(GNN)在许多图学习任务中已经实现了最先进的性能。然而,最近的研究表明,GNN容易受到测试时逃避和训练时中毒攻击,这些攻击会扰乱图结构。虽然现有的攻击方法已经显示出很好的攻击性能,我们想设计一个攻击框架,以进一步提高性能。特别是,我们的攻击框架的灵感来自于认证的鲁棒性,它最初被防御者用来防御对抗攻击。从攻击者的角度来看,我们是第一个利用其属性更好地攻击GNN的人。具体来说,我们首先推导出节点的认证扰动大小,分别对图规避和中毒攻击的基础上随机平滑。节点的较大认证扰动大小表明该节点理论上对图扰动更鲁棒。这样的属性促使我们更多地关注具有较小认证扰动大小的节点,因为它们在图扰动后更容易被攻击。因此,我们设计了一个认证的鲁棒性启发的攻击损失,当纳入(任何)现有的攻击,产生我们的认证的鲁棒性启发的攻击对手。我们将我们的框架应用于现有的攻击,结果表明,它可以显着提高现有的基础攻击的性能。
2023-03-10 cs.CR
Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning
Shanghai AI Lab(上海人工智能实验室);University of Maryland, College Park(马里兰大学帕克分校)
最近的研究表明,经过良好训练的深度强化学习(RL)策略特别容易受到输入观测的对抗性扰动的影响。因此,训练强化学习代理在有限的预算下对任何攻击都是鲁棒的,这是至关重要的。现有的深度强化学习中的鲁棒训练方法要么单独处理相关步骤,忽略长期奖励的鲁棒性,要么将代理和基于强化学习的攻击者一起训练,使训练过程的计算负担和样本复杂度加倍。在这项工作中,我们提出了一个强大而有效的鲁棒RL训练框架,命名为最坏情况感知的鲁棒RL(WocaR-RL),直接估计和优化策略在有界l_p攻击下的最坏情况奖励,而不需要额外的样本来学习攻击者。在多种环境下的实验表明,WocaR-RL在各种强攻击下都达到了最先进的性能,并且比现有的最先进的鲁棒训练方法获得了更高的训练效率。这个工作的代码可以在https://github.com/umd-huang-lab/WocaR-RL上找到。
2022-10-12 cs.AI cs.CR cs.LG
Is Robust Design-for-Security Robust Enough? Attack on Locked Circuits with Restricted Scan Chain Access
逻辑锁的安全性受到各种攻击的质疑,特别是基于布尔可满足性(SAT)的攻击,该攻击利用工作芯片中的扫描访问。在其他技术中,提出了鲁棒的安全设计(DFS)架构以限制任何未经授权的扫描访问,从而挫败SAT攻击(或依赖于扫描访问的任何其他攻击)。然而,在这项工作中,我们成功地打破了这种技术,恢复秘密密钥,尽管缺乏扫描访问。我们的安全性分析的几个基准电路保护的强大的DFS架构证明了我们的攻击的有效性,平均~95%的关键位被正确地恢复,在大多数情况下几乎100%。为了克服这一点和其他流行的攻击,我们提出了一种防御,从根本上改变了强大的DFS技术,新的防御可以承受所有的逻辑锁定攻击。我们观察到,平均而言,比健壮DFS设计(~5.15%)更低的面积开销(~1.65%),以及类似的测试覆盖率(~99.88%)。
2019-06-18 cs.CR
Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink
Swinburne University of Technology(斯威本科技大学);Alibaba Group(阿里巴巴集团);EPFL(洛桑联邦理工学院)
虽然众所周知,深度神经网络(DNN)的性能在某些光照条件下会下降,但还没有研究从某些物理源发出的光束在现实世界场景中作为对抗性攻击者对DNN的威胁。在这项工作中,我们通过简单地使用激光束来证明DNN很容易被愚弄。为此,我们提出了一种新的攻击方法称为对抗激光束($AdvLB$),它使操纵激光束的物理参数来执行对抗攻击。实验表明,我们提出的方法在数字和物理设置的有效性。我们进一步实证分析了评估结果,并揭示了所提出的激光束攻击可能会导致一些有趣的预测错误的国家的最先进的DNN。我们设想,所提出的$AdvLB$方法丰富了当前的对抗攻击家族,并为未来的光鲁棒性研究奠定了基础。
2021-03-11 cs.AI cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统,从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御,我们设想了一种猫捉老鼠的游戏,即,新的防御被设计来防御现有的攻击,而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏,我们提出了PORE,第一个框架,以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的,以抵抗任何非目标性的数据投毒攻击,其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下,PORE仍然向用户推荐至少$r$的$N$项目,其中$r$是攻击中的假用户数量的函数。此外,我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University(重庆大学);Peng Cheng Lab(鹏城实验室);Zhejiang University(浙江大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对部署阶段未知攻击的零样本防御问题,本文提出MID,通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征,在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University(德克萨斯农工大学)
已经表明,深度神经网络(DNN)可能容易受到对抗攻击的攻击,这引起了人们对它们的鲁棒性的关注,特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性,我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说,我们提出了一种新的全局对抗性示例对的概念,其中每对两个示例彼此接近,但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法,并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外,我们证明了使用基于强投影梯度下降(PGD)的(局部)对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响,这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Scaling up the randomized gradient-free adversarial attack reveals overestimation of robustness using established attacks
University of Tübingen(图宾根大学)
现代神经网络对于对抗性操纵是高度不鲁棒的。大量的工作已经投入到技术,通过正式的保证计算鲁棒性的下限,并建立可证明的鲁棒模型。然而,仍然很难保证较大的网络或对较大扰动的鲁棒性。因此,攻击策略需要提供严格的实际鲁棒性上界。我们显着改进了ReLU网络的随机无梯度攻击[9],特别是通过将其扩展到大型网络。我们表明,我们的攻击实现了类似或显着较小的鲁棒性的准确性比国家的最先进的攻击,如PGD或Carlini和瓦格纳之一,从而揭示了高估的鲁棒性,这些国家的最先进的方法。我们的攻击不是基于梯度下降方案,在这个意义上是无梯度的,这使得它对超参数的选择不太敏感,因为不需要仔细选择步长。
2019-09-25 cs.CR cs.CV cs.LG
Robust Collective Classification against Structural Attacks
Washington University in St. Louis(圣路易斯华盛顿大学)
集体学习方法利用数据点之间的关系来提高分类性能。然而,这种关系,在底层图形模型中表示为边,暴露了一个额外的攻击面的对手。我们研究了一类重要的这种图形模型,关联马尔可夫网络(AMN),结构攻击,攻击者可以在测试时修改图结构的对抗鲁棒性。我们制定的任务学习一个强大的AMN分类器作为一个双层程序,其中内部的问题是一个具有挑战性的非线性整数规划,计算最佳的结构变化的AMN。为了解决这一技术挑战,我们首先放松攻击者问题,然后使用对偶来获得鲁棒AMN问题的凸二次上界。然后,我们证明了所得到的近似最优解的质量上的约束,并通过实验证明了我们的方法的有效性。最后,我们将我们的方法应用于转导学习环境中,并表明鲁棒AMN比最先进的深度学习方法更鲁棒,同时在非对抗性数据上牺牲的准确性很小。
2020-07-26 cs.AI cs.CR cs.LG
Improving Network Robustness against Adversarial Attacks with Compact Convolution
University of Maryland(马里兰大学)
虽然卷积神经网络(CNN)在对象分类和人脸验证等任务上的性能已经超过了人类水平,但它们很容易被对抗攻击所欺骗。这些攻击向输入图像添加了一个小扰动,导致网络对样本进行错误分类。在本文中,我们专注于中和对抗攻击紧凑的特征学习。特别是,我们证明了在封闭和有界空间中学习特征可以提高网络的鲁棒性。我们探索了L2-Softmax Loss的影响,它在学习的特征中强制执行紧凑性,从而增强了对对抗性扰动的鲁棒性。此外,我们还提出了紧凑卷积,这是一种新的卷积方法,当将其纳入传统CNN时,可以提高其鲁棒性。紧凑卷积确保每一层的特征紧凑性,使它们彼此有界且接近。大量的实验表明,紧凑卷积网络(CCN)可以中和多种类型的攻击,并且在防御对抗攻击方面比现有方法表现更好,与CNN相比不会产生任何额外的训练开销。
2018-03-22 cs.CR cs.LG stat.ML
Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning
University of California, Los Angeles(加州大学洛杉矶分校)
精心制作的对抗样本有效地利用了深度神经网络的弱点。对抗鲁棒性的标准方法假设一个框架来防御通过最小限度地扰动样本以使其相应的模型输出发生变化而制作的样本。这些敏感性攻击利用了模型对与任务无关的特征的敏感性。另一种形式的对抗性样本可以通过不变性攻击来制作,这种攻击利用模型低估相关特征的重要性。以往的文献表明,在严格的L_p有界防御中,防御两种类型的攻击是一种折衷。为了提高对超越欧几里得距离度量的两种类型攻击的鲁棒性,我们使用度量学习将对抗正则化框架作为最优传输问题。我们的初步结果表明,在我们的框架中,正则化不变扰动提高了不变和敏感性防御。
2022-11-04 cs.AI cs.CR cs.LG
Robust Adversarial Attacks Against DNN-Based Wireless Communication Systems
深度神经网络(DNN)由于其有前途的性能而在无线通信系统中变得流行。然而,与其他基于DNN的应用程序类似,它们容易受到对抗性示例的影响。在这项工作中,我们提出了一个输入不可知的,不可检测的,和强大的对抗攻击对基于DNN的无线通信系统在白盒和黑盒的情况下。我们设计了量身定制的通用对抗扰动(UAP)来执行攻击。我们还使用生成对抗网络(GAN)来为我们的攻击实施不可检测性约束。此外,我们调查我们的攻击对抗对策的鲁棒性。我们表明,在通信方部署的防御机制的存在下,我们的攻击比现有的针对基于DNN的无线系统的攻击表现得更好。特别是,结果表明,即使采用经过深思熟虑的防御措施,基于DNN的无线通信也容易受到对抗攻击的攻击。
2021-02-01 cs.CR
Preemptive Image Robustification for Protecting Users against Man-in-the-Middle Adversarial Attacks
Seoul National University(首尔大学);DeepMetrics
深度神经网络已经成为现代图像识别系统的驱动力。但是,神经网络对对抗攻击的脆弱性对受这些系统影响的人构成了严重威胁。在本文中,我们专注于一个现实世界的威胁模型,其中一个人在中间的对手恶意拦截和干扰图像的Web用户在线上传。这种类型的攻击除了简单的性能下降外,还可能引发严重的道德问题。为了防止这种攻击,我们设计了一种新的双层优化算法,该算法可以在自然图像附近找到对对抗性扰动具有鲁棒性的点。在CIFAR-10和ImageNet上的实验表明,该方法可以在给定的修改预算内有效地鲁棒自然图像。我们还表明,所提出的方法可以提高鲁棒性时,联合使用随机平滑。
2021-12-10 cs.CR cs.CV cs.LG
Understanding the Effects of Real-World Behavior in Statistical Disclosure Attacks
高延迟匿名通信系统防止被动窃听者推断通信伙伴的确定性。然而,泄露攻击允许对手在通信持续时恢复用户的行为配置文件。了解系统参数如何影响用户的隐私免受此类攻击至关重要。该领域的早期工作分析了受控场景中的泄露攻击的性能,其中假设了有关用户行为的特定模型。在本文中,我们分析了最有效的披露攻击之一,最小二乘披露攻击,在现实的情况下,剖析精度。我们从不同性质的数据集生成真实的流量观测结果,发现在以前的工作中考虑的模型不适合这种现实的行为。我们放松了以前对用户行为的假设,并扩展了以前的性能分析,用真实数据验证了我们的结果,并对影响现实世界中用户保护的参数提供了新的见解。
2019-10-22 cs.CR
BACKRUNNER: Mitigating Smart Contract Attacks in the Real World
针对智能合约攻击抢跑保护易被绕过的问题,本文提出抢占式劫持与攻击后跑方法,并实现BACKRUNNER框架,在历史攻击和真实事件中挽救巨额资产。
2024-09-10 cs.CR
Jacobian Ensembles Improve Robustness Trade-offs to Adversarial Attacks
Imperial College London(帝国理工学院);DataSpartan
深度神经网络已经成为我们软件基础设施的一个组成部分,并被部署在许多广泛使用的安全关键应用程序中。然而,它们集成到许多系统中也带来了以通用对抗性扰动(UAP)形式的测试时间攻击的脆弱性。UAP是一类扰动,当应用于任何输入时会导致模型误分类。虽然有一个正在进行的努力,以保护模型免受这些对抗攻击,它往往是难以调和的权衡模型的准确性和鲁棒性的对抗攻击。雅可比正则化已被证明可以提高模型对UAP的鲁棒性,而模型集成已被广泛采用,以提高预测性能和模型鲁棒性。在这项工作中,我们提出了一种新的方法,雅可比集成-雅可比正则化和模型集成的组合,以显着提高对不稳定性,同时保持或提高模型的准确性。我们的研究结果表明,雅可比集成实现了以前看不到的准确性和鲁棒性水平,大大提高了以前的方法,往往倾向于只对准确性或鲁棒性倾斜。
2022-04-19 cs.CR cs.CV cs.LG
Evaluating and Improving Adversarial Robustness of Machine Learning-Based Network Intrusion Detectors
Tsinghua University(清华大学)
机器学习(ML),特别是深度学习(DL)技术在基于异常的网络入侵检测系统(NIDS)中得到了越来越多的应用。然而,ML/DL已经被证明非常容易受到对抗攻击的攻击,特别是在这种安全敏感的系统中。许多对抗攻击已经被提出来评估基于ML的NIDS的鲁棒性。不幸的是,现有的攻击大多集中在特征空间和/或白盒攻击,这使得不切实际的假设,在现实世界的情况下,留下了实际的灰/黑盒攻击的研究在很大程度上未被探索。为了弥补这一差距,我们进行了第一次系统的研究,灰色/黑盒流量空间的对抗攻击,以评估基于ML的NIDS的鲁棒性。我们的工作在以下几个方面优于以前的工作:(i)实用性-所提出的攻击可以自动变异的原始流量与极其有限的知识和负担得起的开销,同时保留其功能;(ii)通用性-所提出的攻击是有效的评估各种NIDS的鲁棒性使用不同的ML/DL模型和非基于有效载荷的功能;(iii)可解释性-我们提出了一种解释方法的脆弱的鲁棒性ML为基础的NIDS。在此基础上,我们还提出了一种防御对抗攻击的方案,以提高系统的鲁棒性。我们广泛评估的鲁棒性的各种NIDS使用不同的功能集和ML/DL模型。实验结果表明,我们的攻击是有效的(例如,对于Kitsune,最先进的NIDS在一半情况下的规避率>97%),具有可承受的执行成本,并且所提出的防御方法可以有效地减轻此类攻击(在大多数情况下规避率降低>50%)。
2021-06-08 cs.CR cs.LG cs.NI
Reliable Robustness Evaluation via Automatically Constructed Attack Ensembles
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Southern University of Science and Technology(南方科技大学)
攻击包围(AE)将多个攻击组合在一起,提供了一种评估对抗鲁棒性的可靠方法。在实践中,AE通常由人类专家构建和调整,然而,这往往是次优的和耗时的。在这项工作中,我们提出了AutoAE,一个概念上简单的方法自动构建AE。简而言之,AutoAE重复地将攻击及其迭代步骤添加到集成中,以最大化每次额外迭代消耗的集成改进。我们从理论上表明,AutoAE产生AE可证明在一个恒定的最佳因素为一个给定的防御。然后,我们使用AutoAE为$l_{\infty}$和$l_2$攻击构建两个AE,并将它们应用于RobustBench排行榜上的45个顶级对抗防御。在除1例外的所有病例中,我们实现了与现有AE相同或更好(通常是后者)的稳健性评价,值得注意的是,在29例病例中,我们实现了比最佳已知病例更好的稳健性评价。AutoAE的这种性能表明它本身是对抗鲁棒性的可靠评估协议,这进一步表明了自动AE构建的巨大潜力。代码可在\url{https://github.com/LeegerPENG/AutoAE}获得。
2022-11-23 cs.CR cs.LG cs.NE
DetectorGuard: Provably Securing Object Detectors against Localized Patch Hiding Attacks
Princeton University(普林斯顿大学)
最先进的对象检测器容易受到局部补丁隐藏攻击,其中对手引入一个小的对抗补丁,使检测器错过显著对象的检测。补丁攻击者可以通过打印并将对抗补丁附加到受害者对象来执行物理世界攻击。在本文中,我们提出DetectorGuard作为第一个通用框架,用于构建可证明鲁棒的对象检测器,以对抗局部补丁隐藏攻击。DetectorGuard的灵感来自于鲁棒图像分类研究的最新进展;我们问:我们能适应鲁棒的图像分类器来进行鲁棒的目标检测吗?不幸的是,由于它们的任务差异,从鲁棒图像分类器天真地适配的对象检测器1)在对抗设置中可能不一定是鲁棒的,或者2)甚至在干净设置中保持不错的性能。为了建立一个高性能的鲁棒对象检测器,我们提出了一个对象解释策略:我们适应一个强大的图像分类器来预测对象的每个图像位置,然后解释每个对象使用传统的对象检测器预测的边界框。如果所有对象都得到了很好的解释,我们就输出传统对象检测器做出的预测;否则,我们就发出攻击警报。值得注意的是,1)在对抗环境中,我们正式证明了DetectorGuard对认证对象的端到端鲁棒性,即,它要么检测对象,要么触发警报,以防止我们的威胁模型中的任何补丁隐藏攻击者; 2)在干净的设置中,我们具有与最先进的对象检测器几乎相同的性能。我们对PASCAL VOC,MS COCO和KITTI数据集的评估进一步证明了DetectorGuard以可忽略的成本(<1%)实现了对…
2021-10-26 cs.CR cs.CV cs.LG
Towards Robustness against Unsuspicious Adversarial Examples
Washington University in St. Louis(圣路易斯华盛顿大学);University of Michigan(密歇根大学)
尽管深度神经网络取得了显著的成功,但人们对它们对输入的对抗性扰动的鲁棒性产生了重大担忧。虽然大多数攻击旨在确保这些是不可感知的,但物理扰动攻击通常旨在不可疑,即使是可感知的。然而,对于对抗性例子不可疑意味着什么,并没有普遍的概念。我们提出了一种利用认知显著性来建模怀疑的方法。具体来说,我们将图像分为前景(显著区域)和背景(其余部分),并允许背景中有更大的对抗性扰动,同时确保背景的认知显著性保持较低。我们描述了如何计算由此产生的非显着性保持双扰动攻击分类器。然后,我们通过实验证明,我们的攻击确实不会显着改变感知的背景显着性,但对传统攻击的分类器鲁棒性非常有效。此外,我们还证明了使用双扰动攻击的对抗性训练产生的分类器比最先进的鲁棒学习方法更鲁棒,并且在鲁棒性方面与传统攻击相当。
2020-10-08 cs.CR cs.LG stat.ML
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构,利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面,经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
2024-02-01 cs.CR cs.CV cs.LG
Robust Backdoor Attacks against Deep Neural Networks in Real Physical World
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
深度神经网络(DNN)已被广泛部署在各种应用中。然而,许多研究表明,DNN是容易受到后门攻击。攻击者可以在目标DNN模型中创建一个隐藏的后门,并通过提交特定的后门实例来触发恶意行为。然而,现有的后门攻击研究大多集中在数字领域,而对真实物理世界中的后门攻击研究较少。受限于各种物理约束,后门攻击在真实物理世界中的性能会严重下降。本文提出了一种鲁棒的物理后门攻击方法PTB(physical transformations for backdoors),用于实现对真实物理世界中的深度学习模型的后门攻击。具体来说,在训练阶段,我们在每一轮模型训练中对这些注入的后门实例执行一系列物理变换,以模拟后门在现实世界中可能经历的各种变换,从而提高其物理鲁棒性。在最新的人脸识别模型上的实验结果表明,与不带PTB的后门攻击方法相比,该方法能够显著提高真实物理世界中的后门攻击性能.在各种复杂的物理条件下,通过仅注入非常小比例(0.5%)的后门实例,使用PTB方法对VGGFace进行物理后门攻击的攻击成功率为82%,而不使用所提出的PTB方法的后门攻击的攻击成功率低于11%。同时,目标DNN模型的正常性能没有受到影响。
2021-07-15 cs.AI cs.CR
Robust and Efficient AI-Based Attack Recovery in Autonomous Drones
本研究提出一种带常识推理的自主攻击恢复架构,用于无人机攻击后的恢复动作规划,并探讨了该架构在边缘设备的高效安全实现方案。
2025-05-20 cs.CR
A First Step Towards Understanding Real-world Attacks on IoT Devices
随着物联网(IoT)设备的快速增长,必须主动了解它们面临的现实网络安全威胁。本文描述了我们建立蜜罐生态系统的初步努力,作为收集和分析针对物联网设备的真实攻击数据的手段。蜜罐产生有用见解的主要条件是让攻击者相信他们是人类和组织使用的真实系统。物联网设备在这方面提出了独特的挑战,由于各种各样的设备类型和物理连接性的性质。因此,我们创建了一个多阶段的方法来构建蜜罐生态系统,研究人员可以通过观察现实世界中攻击者的行为来逐渐提高低交互蜜罐在模拟物联网设备方面的复杂性。我们在内部和云中部署了蜜罐,并提供了相关的分析和审查基础设施,以确保这些蜜罐无法被轻易识别,并且看起来像是真实的系统。通过这样做,我们能够吸引越来越复杂的攻击数据。我们提出了这个蜜罐生态系统的设计和我们对攻击数据的观察。我们的数据显示,现实世界的攻击者正在明确地攻击物联网设备,一些捕获的活动似乎涉及直接的人类交互(而不是脚本化的自动活动)。我们还为物联网摄像头构建了一个低交互的蜜罐,称为Honeycamera,它向攻击者呈现看似真实的视频。这是我们朝着建立一个更全面的蜜罐生态系统迈出的第一步,这将使研究人员能够具体了解攻击者在物联网设备上的目标,以便更积极地保护它们。
2020-03-02 cs.CR
Breaking the Prompt Wall (I): A Real-World Case Study of Attacking ChatGPT via Lightweight Prompt Injection
本研究通过真实案例展示轻量级提示注入可攻击ChatGPT等LLM平台,揭示其脆弱性,并呼吁开发者重视提示级安全设计。
2025-04-20 cs.CR
Illusion Worlds: Deceptive UI Attacks in Social VR
Kwangwoon University(光云大学);ETRI(电子通信研究院)
针对社交VR平台的安全漏洞,本文提出四种欺骗性UI攻击并在VRChat上验证,同时开发了MetaScanner防御工具,可快速检测虚拟世界中的可疑元素。
2025-04-12 cs.CR
Wolfpack Adversarial Attack for Robust Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea(人工智能研究生院,UNIST,韩国乌山)
本文提出狼群对抗攻击框架,用于对抗多智能体强化学习中的协同对抗攻击,并引入狼群-对抗学习框架来训练鲁棒的MARL策略以防御该攻击。
2025-06-18 cs.AI cs.CR cs.LG
Evaluating the Robustness of Text-to-image Diffusion Models against Real-world Attacks
Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学);University of California San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
本研究首次评估文本到图像扩散模型对真实世界攻击的鲁棒性,提出基于分布的黑盒攻击方法,利用人类常见错误(如拼写、字形、语音)构造攻击,实验揭示现有模型存在显著的鲁棒性问题。
2023-06-16 cs.AI cs.CR cs.CV
Stealthy Backdoor Attack to Real-world Models in Android Apps
Xi’an Jiaotong University(西安交通大学)
本文针对安卓应用中的真实深度学习模型,提出基于DNN隐写术生成不可感知且样本特定触发器的隐蔽后门攻击方法,在38,387个应用中提取的89个模型上验证其有效性,攻击成功率平均比DeepPayload高12.50%,同时保持模型正常性能。
2025-01-02 cs.AI cs.CR
Revisiting Physical-World Adversarial Attack on Traffic Sign Recognition: A Commercial Systems Perspective
University of California, Irvine(加利福尼亚大学欧文分校);Drexel University(德雷塞尔大学)
本文首次针对商业交通标志识别系统开展大规模物理世界对抗攻击测量,发现现有学术攻击对部分商业系统功能可达100%成功率但不具普适性,提出新攻击指标并得出7项挑战过往结论的新发现。
2024-09-15 cs.CR cs.CV
Physical-World Optical Adversarial Attacks on 3D Face Recognition
The Hong Kong Polytechnic University(香港理工大学);Chongqing University(重庆大学)
2D人脸识别已被证明对于物理对抗攻击是不安全的。然而,很少有研究调查攻击真实世界3D人脸识别系统的可能性。最近提出的3D打印攻击无法在空中生成对抗点。在本文中,我们通过精心制作的光学噪声攻击三维人脸识别系统。我们将结构光3D扫描仪作为我们的攻击目标。端到端攻击算法被设计为通过固有的或附加的投影仪来生成3D人脸的对抗性照明,以在任意位置产生对抗性点。然而,面部反射是一个复杂的过程,因为皮肤是半透明的。为了将这个投影和捕获过程纳入优化循环,我们使用朗伯渲染模型对其进行建模,并使用SfSNet来估计最大值。此外,为了提高抵抗距离和角度变化的能力,同时保持扰动不明显,引入了3D变换不变损失和两种灵敏度图。实验在模拟和物理世界中进行。我们成功地攻击了基于点云和基于深度图像的3D人脸识别算法,同时比以前最先进的物理世界3D对抗攻击需要更少的扰动。
2022-11-13 cs.CR cs.CV eess.IV