Random Spiking and Systematic Evaluation of Defenses Against Adversarial Examples
Purdue University(普渡大学)
图像分类器经常遭受对抗性的例子,这些例子是通过策略性地向输入图像添加少量噪声来欺骗分类器进行错误分类而生成的。多年来,人们提出了许多防御机制,不同的研究人员对它们的有效性提出了看似矛盾的说法。我们提出了一个可能的对抗模型的分析,并提出了一个评估框架,比较不同的防御机制。作为框架的一部分,我们引入了一个更强大和现实的对手战略。此外,我们提出了一种新的防御机制,称为随机尖峰(RS),它概括了辍学,并在训练过程中以受控的方式引入随机噪声。在我们提出的框架下进行的评估表明,RS比许多现有的方案提供了更好的对抗性示例的保护。
2020-01-20 cs.AI cs.CR cs.LG
Noise as a Double-Edged Sword: Reinforcement Learning Exploits Randomized Defenses in Neural Networks
Ontario Tech University(安大略理工大学)
该研究发现对抗机器学习中基于噪声的防御可能被RL自适应攻击者利用,提升规避成功率,挑战了随机性普适增强防御的假设,强调设计防御需考虑RL自适应攻击者。
2024-10-31 cs.CR cs.LG
Random Noise Defense Against Query-Based Black-Box Attacks
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
基于查询的黑盒攻击在实际应用中对机器学习模型造成了严重的威胁。在这项工作中,我们研究了一种轻量级的防御方法,称为随机噪声防御(RND),它添加适当的高斯噪声到每个查询。从理论上分析了RND算法对基于查询的黑盒攻击和相应的自适应攻击的有效性。我们的理论结果表明,RND的防御性能是由RND引起的噪声和攻击者的梯度估计或局部搜索添加的噪声之间的幅度比。大的幅度比导致RND更强的防御性能,这也是抵御自适应攻击的关键。基于我们的分析,我们进一步建议将RND与合理的高斯增强微调(RND-GF)相结合。它使RND能够向每个查询添加更大的噪声,同时保持干净的准确性,以在干净的准确性和防御性能之间获得更好的权衡。此外,RND可以灵活地与现有的防御方法相结合,以进一步提高对抗性鲁棒性,例如对抗性训练(AT)。在CIFAR-10和ImageNet上的大量实验验证了我们的理论发现以及RND和RND-GF的有效性。
2021-10-30 cs.CR cs.LG
Robust Adversarial Defense by Tensor Factorization
LANL(洛斯阿拉莫斯国家实验室)
本文提出将输入数据张量化与低秩分解及神经网络参数张量化相结合,构建鲁棒对抗防御方法,在最强自动攻击下保持高鲁棒准确率,并超越现有基于张量分解的防御策略。
2023-09-03 cs.CR cs.CV cs.LG
Fight Virus Like a Virus: A New Defense Method Against File-Encrypting Ransomware
如今,勒索软件已成为一种新的有利可图的攻击形式。这种类型的恶意软件作为一种勒索形式,它加密受害者计算机中的文件,并迫使受害者支付赎金以恢复数据。即使是公司和精通技术的人也必须使用大量资源来维护备份以进行恢复,否则他们将丢失有价值的数据,更不用说普通用户了。不幸的是,没有任何恢复工具可以有效地防御各种类型的勒索软件。为了应对这一挑战,我们提出了一种新型的勒索软件防御机制,可以轻松地部署在现代Windows系统中,以恢复数据并减轻勒索软件攻击。我们的方法的独特之处在于像病毒一样对抗病毒。我们利用有时被恶意应用程序使用的替代数据流来开发一种数据保护方法,该方法会误导勒索软件只攻击文件“外壳”,而不是实际的文件内容。我们评估了不同的文件加密勒索软件,并证明了我们的方法的可用性,效率和有效性。
2021-03-19 cs.CR
Demystifying the Adversarial Robustness of Random Transformation Defenses
University of California, Berkeley(加州大学伯克利分校)
神经网络缺乏对攻击的鲁棒性,这引起了人们对自动驾驶汽车等安全敏感环境的担忧。虽然许多对策可能看起来很有希望,但只有少数能够经受住严格的评估。使用随机变换(RT)的防御已经显示出令人印象深刻的结果,特别是BaRT(Raff等人,2019年,在ImageNet。然而,这种类型的防御还没有得到严格的评估,使其鲁棒性知之甚少。它们的随机特性使得评估更具挑战性,并使许多针对确定性模型的攻击变得不适用。首先,我们证明了BPDA攻击(Athalye等人,2018a)是无效的,可能高估了其稳健性。然后,我们试图构建最强大的可能RT防御,通过知情的选择转换和贝叶斯优化调整其参数。此外,我们创建最强的攻击来评估我们的RT防御。我们的新攻击大大优于基线,与常用的EoT攻击($4.3\times$改进)的19%相比,准确性降低了83%。我们的结果表明,Imagenette数据集(ImageNet的十类子集)上的RT防御对对抗性示例并不鲁棒。进一步扩展研究,我们使用我们的新的攻击对抗训练RT防御(称为AdvRT),从而在一个大的鲁棒性增益。代码可在https://github.com/wagner-group/demystify-random-transform上获得。
2022-07-15 cs.AI cs.CR cs.CV
Securing 5G Bootstrapping: A Two-Layer IBS Authentication Protocol
针对5G初始引导阶段缺乏认证导致伪基站攻击的问题,本文提出两层基于身份的签名方案E2IBS,在开源5G协议栈上实现并验证其性能,相比Schnorr-HIBS减少攻击面、支持细粒度合法拦截且验证速度提升2倍。
2025-02-07 cs.CR cs.NI
A Framework of Randomized Selection Based Certified Defenses Against Data Poisoning Attacks
Shanghai JiaoTong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
神经网络分类器容易受到数据投毒攻击,因为攻击者可以通过仅几个训练样本的投毒来降低甚至操纵它们的预测。然而,启发式防御的鲁棒性很难衡量。基于随机选择的防御可以通过对分类器对从训练集中采样的子数据集的预测求平均值来实现经过认证的鲁棒性。提出了一种基于随机选择的数据投毒攻击认证防御框架。具体地说,我们证明了满足一定条件的随机选择方案对数据投毒攻击是鲁棒的。我们还导出了合格随机选择方案的认证半径的解析形式。我们的框架导出的bagging的认证半径比以前的工作更紧。我们的框架允许用户通过利用关于训练集和中毒模型的先验知识来提高鲁棒性。在更高的先验知识水平下,我们可以在理论和实践上获得更高的认证精度。在MNIST 1/7、MNIST和CIFAR-10三个基准数据集上的实验表明,该方法的性能优于现有方法。
2020-10-13 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation(微软公司);Stanford University(斯坦福大学)
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中,我们提出并分析了一种简单且计算效率高的防御策略:注入随机高斯噪声,离散化每个像素,然后将结果馈送到任何预训练的分类器中。从理论上讲,我们表明,我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧,导致任何分类器对任何(潜在的白盒)$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲,我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上,我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Enhancing O-RAN Security: Evasion Attacks and Robust Defenses for Graph Reinforcement Learning-based Connection Management
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文针对O-RAN中基于图强化学习的连接管理xApp,通过威胁建模和规避攻击揭示其安全脆弱性,并提出鲁棒训练防御,在噪声预算范围内将覆盖率提升15%。
2024-05-06 cs.AI cs.CR
BiRD: A Bidirectional Ranking Defense Mechanism for Retrieval Augmented Generation
Wuhan University(武汉大学);Naval University of Engineering(海军工程大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
本文提出BiRD,一种基于双向排序的防御机制,通过双信号框架提升检索增强生成系统的效率和鲁棒性,有效降低对抗攻击成功率并提高任务准确性。
2026-05-19 cs.CR cs.IR
A Hybrid Defense Method against Adversarial Attacks on Traffic Sign Classifiers in Autonomous Vehicles
Clemson University(克莱姆森大学)
对抗攻击可以使深度神经网络(DNN)模型预测自动驾驶车辆(AV)感知模块的错误输出标签,例如错误分类的交通标志。抵御对抗攻击的弹性可以通过避免对标志或物体的错误分类来帮助自动驾驶汽车在道路上安全行驶。这项基于DNN的研究开发了一个弹性交通标志分类器,用于使用混合防御方法的AV。我们使用迁移学习来重新训练Inception-V3和Resnet-152模型作为交通标志分类器。该方法还利用了三种不同策略的组合:随机过滤、集成和局部特征映射。我们使用随机裁剪和裁剪技术进行随机过滤,复数投票作为集成策略和光学字符识别模型作为局部特征映射器。这种基于DNN的混合防御方法已经过测试,用于无攻击场景和对抗众所周知的无目标对抗攻击(例如,投影梯度下降或PGD、快速梯度符号法或FGSM、动量迭代法或MIM攻击、以及Carlini和Wagner或C&W)。我们发现,我们的混合防御方法实现了99%的平均交通标志分类准确率为无攻击的情况下,88%的平均交通标志分类准确率为所有攻击的情况下。此外,与传统的防御方法(即,JPEG过滤、特征压缩、二进制过滤和随机过滤)分别高达6%、50%和55%。
2022-04-25 cs.CR cs.CV
Adversarial Defenses via Vector Quantization
School of Electrical Engineering and Computer Science, University of Ottawa(电气工程与计算机科学系,渥太华大学)
本文提出基于向量量化的预处理防御框架,通过补丁量化提升鲁棒性,pRD和swRD方法在可认证准确率上大幅超越RandDisc,并有效抵抗STE和EOT攻击。
2025-07-09 cs.CR cs.CV cs.LG
Zero-Trust Strategies for O-RAN Cellular Networks: Principles, Challenges and Research Directions
Purdue University(普渡大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文探讨零信任架构在5G及以后蜂窝网络中的应用,重点分析O-RAN架构与零信任原则的契合点,识别嵌入零信任机制的关键挑战与机遇。
2026-06-20 cs.CR
ByteShield: Adversarially Robust End-to-End Malware Detection through Byte Masking
ByteShield通过字节掩码策略提升端到端恶意软件检测器的对抗鲁棒性,有效抑制对抗性负载影响。
2025-12-10 cs.CR
Proactive Defense for Internet-of-Things: Integrating Moving Target Defense with Cyberdeception
资源受限的物联网(IoT)设备极有可能受到攻击者的危害,因为强大的安全保护可能不适合部署。这需要一种替代方法来保护物联网网络中的脆弱组件。在本文中,我们提出了一种综合防御技术,以实现入侵防御利用网络欺骗(即,诱饵系统)和移动目标防御(即,网络拓扑重排)。我们验证了我们提出的技术的有效性和效率分析的基础上,在一个软件定义网络(SDN)的物联网网络的图形安全模型。我们制定了四项战略(即,固定/随机和自适应/混合)来解决“何时”执行网络拓扑重排以及三种策略(即,遗传算法/基于诱骗攻击路径的优化/随机)来解决“如何”在诱骗填充的IoT网络上执行网络拓扑改组,并分析哪种策略可以最好地实现系统目标,例如延长系统寿命、最大化欺骗有效性、最大化服务可用性或最小化防御成本。我们的研究结果表明,在最佳参数设置下运行我们的入侵防御技术的软件定义的物联网网络延长了系统寿命,增加了危害关键节点的攻击复杂性,并且与没有运行我们的入侵防御技术的对等物联网网络相比,保持了卓越的服务可用性。此外,当给定单个目标或多目标目标(例如,最大化系统寿命和服务可用性,同时最小化防御成本)作为输入,确定了“如何”和“如何”策略的最佳组合,用于执行我们提出的技术,在该技术下可以最好地实现指定的目标。
2020-05-08 cs.CR
DNNShield: Dynamic Randomized Model Sparsification, A Defense Against Adversarial Machine Learning
The Ohio State University(俄亥俄州立大学)
已知DNN容易受到所谓的对抗攻击的攻击,这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。最近的工作提出了近似计算作为防御机制对机器学习攻击。我们表明,这些方法,虽然成功的一系列输入,是不够的,以解决更强大的,高信心的对抗攻击。为了解决这个问题,我们提出了DNNSHIELD,这是一种硬件加速的防御方法,可以根据对抗性输入的置信度来调整响应的强度。我们的方法依赖于DNN模型的动态和随机稀疏化,以有效地实现推理近似,并对近似误差进行细粒度控制。DNNSHIELD使用稀疏推理的输出分布特征与密集参考相比来检测对抗性输入。当应用于VGG 16时,我们显示出86%的对抗检测率,当应用于ResNet 50时,我们显示出88%的对抗检测率,这超过了最先进方法的检测率,并且开销要低得多。我们展示了一个软件/硬件加速的FPGA原型,它降低了DNNSHIELD相对于纯软件CPU和GPU实现的性能影响。
2022-07-31 cs.AR cs.CR cs.LG
Autonomous Cyber Defense Introduces Risk: Can We Manage the Risk?
从拒绝服务攻击到勒索软件或其他恶意软件在组织网络中的传播,手动操作的防御可能无法以所需的规模进行实时的响应,并且当检测到漏洞并进行补救时,损害已经造成。因此,自主网络防御对于降低成功攻击及其破坏的风险至关重要,特别是当这些防御所需的响应时间、工作量和准确性不切实际或不可能通过完全由人类操作的防御来实现时。自主智能体有可能使用机器学习,将有关已知网络攻击的大量数据作为输入,以学习模式并预测未来攻击的特征。此外,从过去和现在的攻击中学习,使防御能够适应与以前的攻击具有相同特征的新威胁。另一方面,自主网络防御带来了意外伤害的风险。自主防御代理人的行为可能会产生功能,安全,安全,伦理或道德性质的有害后果。在这里,我们专注于机器学习训练、算法反馈和算法约束,目的是激发关于在自主网络防御中实现信任的讨论。
2022-01-26 cs.CR
Evaluation of Neural Networks Defenses and Attacks using NDCG and Reciprocal Rank Metrics
Ariel University(阿里尔大学)
本文针对对抗样本攻击与防御评估中传统分类指标区分度不足的问题,借鉴信息检索中的NDCG和倒数排名指标,提出了两种适用于多类分类任务的新颖评估指标,并在VGG19模型和ImageNet数据集上验证了其卓越的信息量和区分度。
2022-01-10 cs.CR cs.CV cs.LG
Seed Hijacking of LLM Sampling and Quantum Random Number Defense
School of Electronic, Electrical and Physics, Fujian University of Technology(福建工程学院电子、电气与物理系);School of Humanities, Fujian University of Technology(福建工程学院人文学院);Department of Investigation, Fujian Police College(福建警察学院调查系);Institute of Applied Physics and Materials Engineering, University of Macau(澳门大学应用物理与材料工程研究院)
本文提出SeedHijack攻击,通过操控PRNG输出实现指定token注入,提出基于量子随机数生成器的防御方案,解决LLM采样层的关键漏洞。
2026-05-08 cs.AI cs.CR cs.LG
Interpretability-Guided Test-Time Adversarial Defense
UC San Diego(加州大学圣迭戈分校);HDSI, UC San Diego(加州大学圣迭戈分校数据科学与创新研究所)
提出一种免训练的测试时对抗防御方法,利用可解释性引导的神经元重要性排序识别关键神经元,在极低计算开销下显著提升了模型对各类攻击的鲁棒性。
2024-09-23 cs.CR cs.CV cs.LG
Analysis of Random Perturbations for Robust Convolutional Neural Networks
The University of Chicago(芝加哥大学)
最近的研究已经广泛表明,神经网络的随机扰动可以提高对对抗攻击的鲁棒性。然而,文献缺乏对最新提议的详细比较和对比,以了解什么类的扰动起作用,何时起作用,以及为什么起作用。我们贡献了详细的评估,阐明这些问题和基准扰动为基础的防御一致。特别是,我们展示了五个主要结果:(1)所有输入扰动防御,无论是随机的还是确定性的,在它们的功效上是等效的,(2)攻击在扰动防御之间转移,因此攻击者不需要知道特定类型的防御--只需要知道它涉及扰动,(3)跨网络的噪声层的调谐序列提供最佳的经验鲁棒性,(4)基于扰动的防御几乎不提供自适应攻击的鲁棒性,除非在训练期间观察到这些扰动,以及(5)原始输入附近的对抗性示例在一阶和二阶分析中显示出对扰动的敏感性提高。
2020-06-07 cs.CR cs.CV cs.LG
Remapped Cache Layout: Thwarting Cache-Based Side-Channel Attacks with a Hardware Defense
随着基于缓存的侧信道攻击成为严重的安全问题,各种防御措施已经被提出并部署在软件和硬件中。因此,对共同驻留在同一核心上的进程的基于高速缓存的侧信道攻击变得极其困难。大多数最近的攻击然后转移到最后一级缓存(LLC)。虽然缓存分区是目前最有前途的防御攻击滥用LLC,它是无效的,在挫败侧信道攻击,自动创建驱逐集或绕过用户地址空间布局随机化。事实上,这些攻击在当前的计算机系统中基本上是不设防的。我们提出了重映射缓存布局(\textsf{RCL})-一个纯硬件防御广泛的基于冲突的侧信道攻击。\textsf{RCL}混淆了从地址到缓存集的映射;因此,攻击者无法准确推断其数据在缓存中的位置,也无法使用缓存集来推断受害者的数据。据我们所知,这是挫败上述基本上不设防的侧信道攻击的第一道防线。\textsf{RCL}已在超标量处理器上实现,详细的评估结果表明,\textsf{RCL}在面积、频率和执行时间上仅产生很小的代价。
2022-11-11 cs.CR
Robustness for Non-Parametric Classification: A Generic Attack and Defense
University of California, San Diego(加利福尼亚大学圣迭戈分校)
对抗鲁棒的机器学习最近受到了很多关注。然而,以前的攻击和防御非参数分类器已经开发了一个特设或分类器特定的基础上。在这项工作中,我们将全面研究非参数分类器的对抗性示例,包括最近邻居,决策树和随机森林。我们提供了一种通用的防御方法,对抗性修剪,它通过对数据集进行预处理来实现良好的分离。为了测试我们的防御,我们提供了一个新的攻击,适用于广泛的非参数分类器。从理论上讲,我们得到一个最佳的鲁棒分类器,这是类似于贝叶斯最佳。我们表明,对抗修剪可以被视为一个有限的样本近似这个最佳分类。我们的经验表明,我们的防御和攻击是更好的或有竞争力的非参数分类器的先前工作。总的来说,我们的研究结果提供了一个强大的和广泛适用的基线,为未来的工作强大的非参数。代码可在https://github.com/yangarbiter/adversarial-nonparametrics/获得。
2020-02-24 cs.CR cs.DS cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology(伊朗谢里夫理工大学)
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法,提出随机对数缩放(RLS)防御可降低攻击成功率,还引入新型自适应攻击,证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Moving Target Defense based Secured Network Slicing System in the O-RAN Architecture
本文针对O-RAN架构中网络切片的安全问题,提出结合PPO深度强化学习与移动目标防御策略的方法,在优化VNF数量、服务准入控制和功率最小化的同时抵御投毒攻击,实验准入率超过80%。
2023-09-23 cs.CR
Privacy-preserving Universal Adversarial Defense for Black-box Models
School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院);City University of Hong Kong (CityU)(香港城市大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对黑盒模型缺乏通用防御且传统方法泄露隐私的问题,提出DUCD方法,通过查询蒸馏构建白盒替代模型,并结合随机平滑认证防御,实现通用鲁棒防御,性能优于现有黑盒防御且媲美白盒防御,同时增强隐私。
2024-08-20 cs.AI cs.CR cs.LG
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside(加州大学河滨分校)
最近的研究表明,像深度神经网络(DNN)这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧,特别是在安全性是重要因素的领域。因此,设计针对对抗攻击的防御机制至关重要。对于图像分类任务,不明显的扰动大多发生在图像的高频频谱中。在本文中,我们利用张量分解技术作为预处理步骤,找到一个低秩近似的图像,可以显着丢弃高频扰动。最近,一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩,为卷积神经网络(CNN)接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent(FGSM)对抗攻击时比Shield的SLQ方法性能高14%,同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
A Receding-Horizon MDP Approach for Performance Evaluation of Moving Target Defense in Networks
在本文中,我们研究的问题评估的有效性的主动防御检测策略与基于网络的移动目标防御。我们使用概率攻击图-图形安全模型对网络系统进行建模。对于一个具有主动防御策略的网络系统,智能攻击者需要反复进行侦察,以了解入侵检测系统的位置,并重新进行最佳规划,以达到目标,同时避免检测。为了计算攻击者的安全评估策略,我们开发了一个滚动时域规划算法,使用风险敏感的马尔可夫决策过程与时变的奖励函数。最后,我们在一个合成网络中实现了防御和攻击策略,并分析了网络随机化的频率和检测系统的数量如何影响攻击者的成功率。这项研究为设计主动防御策略以抵御足智多谋的攻击者的在线和多阶段攻击提供了见解。
2020-07-09 cs.CR cs.GT
Filtered Randomized Smoothing: A New Defense for Robust Modulation Classification
University of Arizona(亚利桑那大学)
针对基于DNN的调制分类器易受对抗攻击、现有防御方法准确率损失大的问题,提出结合频谱滤波与随机平滑的FRS防御方法,在RadioML数据集上准确率显著优于AT和RS等现有方案。
2024-10-08 cs.CR cs.IT cs.LG
A Multi-Model Hybrid Defense Approach Against White-box Adversarial Attacks in Computer Network Traffic
Aligarh Muslim University(阿里格尔穆斯林大学)
研究针对计算机网络流量白盒对抗攻击,提出多模型混合防御方法,结合对抗训练和高斯数据增强,有效减轻FGSM和C&W攻击影响,提升攻击后NIDS准确率,为对抗机器学习安全研究提供方向。
2026-07-21 cs.CR cs.LG
MTDeep: Boosting the Security of Deep Neural Nets Against Adversarial Attacks with Moving Target Defense
Arizona State University(亚利桑那州立大学);IBM Research(IBM研究院)
目前的攻击方法可以使基于深度神经网络的最先进的分类系统对每个经过不利修改的测试示例进行错误分类。针对大范围此类攻击的一般防御策略的设计仍然是一个具有挑战性的问题。在本文中,我们从网络安全和多智能体系统领域汲取灵感,并提出利用移动目标防御(MTD)的概念来设计一种元防御,以“提高”深度神经网络(DNN)集成的鲁棒性,用于视觉分类任务,以抵御这种对抗攻击。为了对输入图像进行分类,通过将防御者(托管分类网络)与其(合法和恶意)用户之间的交互公式化为贝叶斯Stackelberg游戏(BSG),从这组网络中随机挑选一个经过训练的网络。我们的经验表明,这种方法MTDeep可以减少MNIST,FashionMNIST和ImageNet等各种数据集中扰动图像的错误分类,同时保持合法测试图像的高分类精度。然后,我们证明了我们的框架,作为第一个元防御技术,可以与任何现有的防御机制结合使用,以提供更多的弹性对抗对抗攻击,可以提供这些防御机制。最后,为了量化使用MTDeep时基于集成的分类系统的鲁棒性的增加,我们分析了一组DNN的属性,并引入了差分免疫的概念,该概念将攻击可转移性的概念形式化。
2019-08-03 cs.CR cs.GT cs.LG
Towards a Practical Defense against Adversarial Attacks on Deep Learning-based Malware Detectors via Randomized Smoothing
CeADAR, University College Dublin(CeADAR 都柏林大学学院);IBM Research Europe(IBM 欧洲研究院)
针对深度学习恶意软件检测器的对抗攻击,提出基于随机消融平滑的实用防御方法,在BODMAS数据集上验证了增强的鲁棒性和泛化能力。
2023-08-17 cs.AI cs.CR
GraCIAS: Grassmannian of Corrupted Images for Adversarial Security
IIIT-Delhi(德里印度理工学院);Arizona State University(亚利桑那州立大学)
基于输入变换的防御策略在防御强对抗攻击方面存在不足。一些成功的防御采用的方法要么增加了应用转换的随机性,要么使防御计算密集,使攻击者更具挑战性。然而,它限制了这种防御作为预处理步骤的适用性,类似于使用再训练和网络修改来实现对扰动的鲁棒性的计算量大的方法。在这项工作中,我们提出了一种防御策略,应用随机图像损坏的输入图像单独,构造一个基于自相关的子空间,然后通过投影操作来抑制对抗性扰动。由于其简单性,与最先进的防御方法相比,所提出的防御方法在计算上是有效的,但可以承受巨大的扰动。此外,我们开发一个干净的图像和它的adversarially扰动版本的投影算子之间的接近关系,通过有关的格拉斯曼矩阵Frobenius规范的测地距离的界限。我们的经验表明,我们的策略是对JPEG压缩等其他弱防御的补充,并且可以与它们无缝集成,以创建更强大的防御。我们在ImageNet数据集上进行了广泛的实验,包括四个不同的模型,即InceptionV 3,ResNet 50,VGG 16和MobileNet模型,扰动幅度设置为ε = 16。与最先进的方法不同,即使没有任何再训练,所提出的策略在ImageNet上的防御准确率也绝对提高了~ 4.5%。
2020-05-07 cs.CR cs.CV cs.LG
Secure and Computationally-Efficient Cryptographic Primitive based on Cellular Automation
提出了一种基于一维元胞自动机的随机数发生器Mageto。提出并讨论了使用Mageto实现安全性的三个步骤。实现在广泛的硬件和软件场景中非常有效。它包括物联网(IoT)和网络物理系统的高级应用,这两者都是计算效率高的加密原语所需的。此外,所提出的原语固有地抵抗侧信道攻击(SCA),其中许多当前可用的密码(诸如AES)需要额外的硬件或软件努力来防止SCA攻击线。
2019-01-10 cs.CC cs.CR cs.FL
Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing
CISPA Helmholtz Center for Information Security(信息安全研究中心赫尔姆霍茨中心);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
针对不同误分类危害不等的现实场景,论文基于随机化平滑提出成本敏感认证半径、紧致证书算法及不损失准确率的鲁棒训练方法,并在多个基准上验证其有效性。
2025-06-10 cs.CR cs.LG
Robust Multivariate Time-Series Forecasting: Adversarial Attacks and Defense Mechanisms
AWS AI Labs(亚马逊云科技人工智能实验室);Washington State University(华盛顿州立大学)
本文研究多元时间序列预测中的对抗攻击与防御,提出稀疏对抗攻击模式,并通过随机平滑扩展和对抗训练算法提升模型鲁棒性,实验验证其攻击有效且防御优于基线。
2023-04-14 cs.CR cs.LG
Random Erasing vs. Model Inversion: A Promising Defense or a False Hope?
Temasek Laboratories, Singapore University of Technology and Design(Temasek实验室,新加坡技术与设计大学);The Queen’s University Belfast(女王大学贝尔法斯特分校);Aarhus University(阿arhus大学);Nanyang Technological University (NTU)(南洋理工大学(NTU);河内 Vin 大学);VinUniversity, Hanoi, Vietnam
本文探索随机擦除(RE)作为防御模型反演攻击的方法,通过特征空间分析揭示其有效性,并在37种设置下实现隐私-效用权衡的最优性能。
2026-06-16 cs.CR cs.CV cs.LG
Rethinking Randomized Smoothing from the Perspective of Scalability
IIT Roorkee(鲁尔基印度理工学院);MFS DSAI
本文从可扩展性视角系统综述随机平滑及其衍生方法的理论保证、实证效果与扩展挑战,为基于认证的对抗鲁棒防御提供梳理。
2024-10-24 cs.CR cs.LG stat.ML
Prediction Poisoning: Towards Defenses Against DNN Model Stealing Attacks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Saarland Informatics Campus, Germany(德国萨尔州信息学园区)
高性能深度神经网络(DNN)越来越多地部署在许多现实世界的应用中,例如,云预测API。通过黑盒访问(即,输入,预测)威胁到这种应用程序的商业模式,这种应用程序需要大量的时间、金钱和精力来开发。现有的防御措施对窃取攻击起着被动的作用,例如通过截断预测信息。我们发现这种被动防御对DNN窃取攻击无效。在本文中,我们提出了第一个防御,积极干扰预测,针对中毒的训练目标的攻击者。我们发现我们的防御在各种具有挑战性的数据集和DNN模型窃取攻击中有效,并且优于现有的防御。我们的防御是第一个可以抵御数万个查询的高度准确的模型窃取攻击,将攻击者的出错率放大到$\times$的85倍,对良性用户的实用程序的影响最小。
2020-03-03 cs.CR cs.CV cs.LG
Shield: Fast, Practical Defense and Vaccination for Deep Learning using JPEG Compression
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
对抗性机器学习研究的快速增长表明,深度神经网络(DNN)非常容易受到对抗性生成图像的影响。这突出表明,迫切需要可以随时部署以实时打击攻击的实用防御。观察到许多攻击策略的目的是扰乱图像像素的方式,是视觉上无法察觉的,我们把JPEG压缩的核心,我们提出的盾牌防御框架,利用其能力,有效地“压缩”这样的像素操作。为了使DNN模型免受压缩引入的伪影的影响,Shield通过使用压缩图像重新训练模型来“接种”模型,其中应用不同的压缩级别来生成最终在集成防御中一起使用的多个接种模型。最重要的是,Shield通过在测试时采用随机化来增加额外的保护层,使用随机压缩级别压缩图像的不同区域,使对手更难估计所执行的转换。这种疫苗接种、整体接种和随机化的新型组合使盾成为强化的多管齐下的保护。我们使用ImageNet数据集进行了广泛的大规模实验,并表明我们的方法消除了高达94%的黑盒攻击和98%的灰盒攻击,这些攻击是由最近最强的攻击(如Carlini-Wagner的L2和DeepFool)造成的。我们的方法是快速的,不需要关于模型的知识。
2018-02-19 cs.AI cs.CR cs.CV
AdvMS: A Multi-source Multi-cost Defense Against Adversarial Attacks
Boston University(波士顿大学);Northeastern University(东北大学);IBM Research(IBM研究院)
设计针对对抗攻击的有效防御是一个至关重要的话题,因为深度神经网络在许多安全关键领域(如恶意软件检测和自动驾驶汽车)中迅速扩散。传统的防御方法,虽然被证明是有前途的,但在很大程度上受到其单一来源单一成本性质的限制:当防御越来越强大时,鲁棒性的提升往往趋于平稳,而成本往往会放大。在本文中,我们研究的原则,设计多源和多成本的计划,防御性能的提高,从多个防御组件。基于这种动机,我们提出了一种多源多成本的防御方案,对抗训练模型切换(AdvMS),它继承了两种主要方案的优点:对抗训练和随机模型切换。我们发现,AdvMS的多源性质缓解了性能稳定问题,多成本性质使其能够在不同因素的灵活和可调整的成本组合下提高鲁棒性,从而更好地适应实践中的特定限制和需求。
2020-02-19 cs.CR cs.CV cs.LG