Impact of Learning Rate on Noise Resistant Property of Deep Learning Models
Prairie View A&M University(普雷里维尤农工大学);Texas A&M University System(得克萨斯农工大学系统)
由于其快速的计算速度和出色的能效,近年来对模拟计算的兴趣大幅增长,这对于深度学习推理的亚瓦级功率包络中的边缘和物联网设备非常重要。然而,由于模拟计算中存在的固有噪声,深度学习模型遭受的显著性能下降可能会限制其在关键任务应用中的使用。因此,有必要了解关键模型超参数选择对模型抗噪声特性的影响。这种需求至关重要,因为获得的洞察力可用于设计对模拟噪声具有鲁棒性的深度学习模型。在本文中,学习率,一个关键的设计选择,抗噪声性能的影响进行了研究。该研究通过首先使用不同的学习率训练深度学习模型来实现。此后,模型被注入模拟噪声,并且通过测量由于模拟噪声引起的性能劣化来检查所得到的模型的抗噪声特性。结果表明,存在一个最佳的学习率值,实现了模型的预测性能和模型的抗噪声性能之间的良好平衡。此外,所观察到的现象的理论依据。
2022-05-08 cs.AI cs.LG
Game of Coding: Sybil Resistant Decentralized Machine Learning with Minimal Trust Assumption
University of Minnesota Twin Cities(明尼苏达大学双城分校);The Georgia Institute of Technology(佐治亚理工学院)
本文提出编码游戏框架,通过博弈论方法实现去中心化机器学习的Sybil抗性,并探讨了系统行为的关键方面。
2026-01-13 cs.IT cs.LG math.IT
Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models
Prairie View A&M University(普雷里维尤农工大学);Texas A&M University System(德克萨斯农工大学系统)
模拟硬件的快速执行速度和能效使其成为边缘部署深度学习模型的有力竞争者。然而,人们担心模拟噪声的存在会导致模型权重的变化,从而导致深度学习模型的性能下降,尽管它们具有固有的抗噪声特性。研究了当前流行的批量归一化层对深度学习模型抗噪能力的影响。通过首先在CIFAR10和CIFAR100数据集上训练具有和不具有批量归一化层的不同模型来进行该系统的研究。然后将模拟噪声注入所得模型的权重,并获得和比较模型在测试数据集上的性能。结果表明,批量归一化层的存在对深度学习模型的抗噪性能产生了负面影响,并且这种影响随着批量归一化层数的增加而增加。
2022-05-15 cs.AI cs.AR cs.LG
Predicting Adversary Lateral Movement Patterns with Deep Learning
Data Machines
本文提出了一个预测模型,主机,在企业网,对手很可能会妥协的过程中的一场运动。这样的模型可以支持动态监控或防御。我们使用模拟网络生成此模型的数据,主机,用户和对手作为第一类实体。我们证明了模型对样本外模拟数据的预测准确性,并验证了从现场企业网上的红队事件捕获的数据的结果
2021-04-23 cs.CR cs.LG
Performative Drift Resistant Classification Using Generative Domain Adversarial Networks
Utrecht University(乌得勒支大学)
针对模型预测影响未来数据的执行性漂移问题,提出结合域对抗与生成对抗网络的GDAN模型,通过生成域不变表示逆转漂移影响,有效限制多时间步性能下降,并揭示了传统概念漂移缓解策略在执行性场景下的挑战。
2025-04-01 cs.LG
Detecting Adversaries, yet Faltering to Noise? Leveraging Conditional Variational AutoEncoders for Adversary Detection in the Presence of Noisy Images
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
随着图像识别中深度学习模型的快速发展和越来越多的使用,安全性成为其在安全关键系统中部署的主要问题。由于深度学习模型的准确性和鲁棒性主要取决于训练样本的纯度,因此深度学习架构通常容易受到对抗攻击的影响。对抗攻击通常是通过对正常图像进行微妙的扰动来获得的,这些扰动大多是人类无法感知的,但会严重混淆最先进的机器学习模型。在正常图像上最轻微的智能扰动或噪声添加中,有什么特别之处会导致深层神经网络的灾难性分类?使用统计假设检验,我们发现,条件变分自编码器(CVAE)是令人惊讶的好,在检测难以察觉的图像扰动。在本文中,我们展示了CVAE如何有效地用于检测图像分类网络上的对抗攻击。我们在MNIST,CIFAR-10数据集上展示了我们的结果,并展示了我们的方法如何在检测对手方面与最先进的方法具有可比的性能,同时不会与噪声图像混淆,其中大多数现有方法都不稳定。
2021-12-09 cs.LG
A New Family of Neural Networks Provably Resistant to Adversarial Attacks
University of California, Santa Cruz(加州大学圣克鲁兹分校)
对抗攻击向输入特征添加扰动,意图改变由机器学习系统产生的分类。小的扰动可以产生对抗性的例子,这些例子被错误分类,尽管它们与未扰动的输入几乎无法区分。用标准神经网络技术训练的分类器非常容易受到对抗性示例的影响,允许对手创建他们选择的错误分类。我们引入了一种新型的网络单元,称为MWD(最大加权距离)单元,具有内置的抵抗对抗攻击。这些单位是高度非线性的,我们开发了有效训练它们所需的技术。我们表明,通过网络传播扰动效应的简单区间技术能够有效地计算鲁棒性(即,准确性保证)的MWD网络下的任何扰动,包括对抗攻击。MWD网络对输入扰动的鲁棒性明显高于ReLU网络。在置换不变MNIST上,当测试示例可以被输入范围的20%扰动时,MWD网络可证明保持83%以上的准确度,而ReLU网络的准确度下降到5%以下。MWD网络的可证明精度甚至优于在对抗性示例的帮助下训练的ReLU网络的观测精度。在没有对抗攻击的情况下,MWD网络与sigmoid网络的性能相当,准确性仅略低于ReLU网络。
2019-02-01 cs.CR cs.LG cs.NE
Towards Deep Learning Models Resistant to Large Perturbations
Sharif University of Technology(谢里夫理工大学)
对抗鲁棒性已被证明是机器学习算法的必要属性。这个问题的一个关键且经常被忽视的方面是试图使对抗性噪声幅度尽可能大,以增强模型鲁棒性的好处。我们证明了一个被称为“对抗训练”的成熟算法在给定一个大的但合理的扰动幅度的情况下,无法训练一个深度神经网络。在本文中,我们提出了一种简单而有效的网络权重初始化方法,使在更高噪声水平上学习成为可能。接下来,我们在MNIST($ε$到$\approx 0.40$)和CIFAR10($ε$到$\approx 32/255$)数据集上严格评估这个想法,假设$\ell_{\infty}$攻击模型。此外,为了建立学习可行的$ε$的限制,我们研究了最佳的鲁棒分类器,假设完全访问联合数据和标签分布。然后,我们提供了一个简单的多维伯努利分布的对抗精度的一些理论结果,这产生了一些见解的可行的扰动范围的MNIST数据集。
2020-03-30 cs.LG stat.ML
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
深度强化学习模型容易受到对抗攻击的攻击,这种攻击可以通过操纵受害者的观察来减少受害者的累积预期奖励。尽管以前的基于优化的方法在监督学习中生成对抗性噪声的效率很高,但这些方法可能无法实现最低的累积奖励,因为它们通常不探索环境动态。在本文中,我们提供了一个框架,以更好地理解现有的方法,通过重新制定的对抗攻击的强化学习在函数空间的问题。我们的重新制定产生一个最佳的对手在功能空间的目标攻击,击退他们通过一个通用的两阶段框架。在第一阶段,我们通过对环境进行黑客攻击来训练欺骗性策略,并发现一组轨迹,这些轨迹路由到最低奖励或最差情况的性能。接下来,对手通过扰乱观察来误导受害者模仿欺骗性政策。与现有的方法相比,我们从理论上表明,我们的对手是在适当的噪声水平下更强。大量的实验表明,我们的方法的优越性,在效率和有效性方面,实现国家的最先进的性能在Atari和MuJoCo环境。
2023-02-27 cs.LG
Noise-Resistant Deep Metric Learning with Probabilistic Instance Filtering
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Shandong University(山东大学)
噪声标签是真实世界数据中的常见现象,它会导致深度神经网络的性能下降。手动清理数据是劳动密集型和耗时的。以前的研究主要集中在针对噪声标签增强分类模型,而深度度量学习(DML)对噪声标签的鲁棒性仍然没有得到很好的探索。在本文中,我们提出了基于概率排序的实例选择与内存(PRISM)方法的DML弥合这一重要差距。PRISM计算标签干净的概率,并过滤掉潜在的噪声样本。具体而言,我们提出了一种新的方法,即冯米塞斯-费舍尔分布相似性(vMF-Sim),通过估计每个数据类的冯米塞斯-费舍尔(vMF)分布来计算这种概率。与现有的平均相似度方法(AvgSim)相比,vMF-Sim在考虑平均相似度的基础上,还考虑了每个类的方差。通过这样的设计,所提出的方法可以处理具有挑战性的DML情况下,其中大多数的样本是嘈杂的。在合成和真实世界的噪声数据集上进行的大量实验表明,与最佳性能的最先进的基线方法相比,所提出的方法在合理的训练时间内实现了高达8.37%的精度@1。
2021-12-17 cs.CV cs.LG
Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs
EleutherAI;UK AI Security Institute(英国人工智能安全研究所);University of Oxford(牛津大学);OATML, University of Oxford(OATML,牛津大学)
本文提出通过过滤预训练数据中的双用途内容,增强开放权重大语言模型的抗篡改能力,实验显示其在对抗微调攻击上表现优异,且未影响其他能力。
2026-02-17 cs.AI cs.LG
A Perturbation Resistant Transformation and Classification System for Deep Neural Networks
University of Miami(迈阿密大学)
深度卷积神经网络可以准确地对各种自然图像进行分类,但在设计时可能很容易被欺骗,图像中嵌入了难以察觉的扰动。在本文中,我们设计了一个多管齐下的训练,输入变换和图像集成系统,是攻击不可知的,不容易估计。我们的系统包括两个新的功能。第一个是变换层,其从类级训练数据样本计算特征级多项式核,并在推理时基于它们的特征核差异迭代地更新输入图像副本以创建变换输入的集合。第二个是一个分类系统,它将不设防网络的预测与对过滤图像集合的硬投票相结合。我们对CIFAR10数据集的评估表明,我们的系统提高了不设防网络在不同距离度量下对各种有界和无界白盒攻击的鲁棒性,同时在干净图像上牺牲了很少的准确性。针对创建端到端攻击的自适应全知识攻击者,我们的系统成功地增强了对抗性训练网络的现有鲁棒性,我们的方法最有效地应用于这些网络。
2022-08-25 cs.CV cs.LG cs.NE
Adversarial Classification of the Attacks on Smart Grids Using Game Theory and Deep Learning
Virginia Tech(弗吉尼亚理工大学);ANDRO Computational Solutions LLC(ANDRO计算解决方案有限责任公司)
智能电网容易受到网络攻击。本文提出了一种博弈论的方法来评估攻击者对功率测量造成的变化。对手可以通过操纵智能电网的仪表来获得经济利益。另一方面,有一个后卫试图保持米的准确性。一个零和游戏是用来模拟攻击者和防御者之间的相互作用。在本文中,使用两种不同的防御者和每个防御者在不同的情况下的有效性进行评估。多层感知器(MLP)和传统的状态估计器是本文研究的两个防御者。防御者的效用也被调查在敌对意识和敌对意识不到的情况下。我们的模拟表明,当MLP被用作防御者时,对手获得的效用显着下降。它将被证明,防御者的效用是不同的情况下,根据防御者被使用。最后,我们将证明这个零和博弈不产生纯策略,并计算了这个博弈的混合策略。
2021-06-06 cs.LG
Towards Deep Learning Models Resistant to Transfer-based Adversarial Attacks via Data-centric Robust Learning
School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络空间安全学院);School of Cyber Science and Technology, Zhejiang University(浙江大学网络空间安全学院)
本文提出数据为中心的鲁棒学习(DRL),通过训练前一次性对抗增强替代全程对抗优化,在黑盒鲁棒性上超越多种对抗训练方法,并提升泛化与公平性。
2023-10-15 cs.CR cs.LG
Piracy Resistant Watermarks for Deep Neural Networks
University of Chicago(芝加哥大学)
随着公司继续在更大、更准确、更强大的深度学习模型上投入巨资,他们正在探索在保护知识产权的同时将模型货币化的方法。模型许可是有前途的,但需要一个强大的工具,所有者声称模型的所有权,即水印。不幸的是,目前的设计还不能解决盗版攻击,其中第三方通过将他们自己的“盗版水印”嵌入到已经加水印的模型中来错误地声称模型所有权。我们观察到,对盗版攻击的抵抗从根本上与当前使用增量训练将水印嵌入模型不一致。在这项工作中,我们提出了空嵌入,这是一种将防盗版水印构建到DNN中的新方法,只能在模型的初始训练中进行。空嵌入将位串(水印值)作为输入,并在模型的正常分类精度和水印之间建立强依赖关系。因此,攻击者无法通过调整或增量训练来移除嵌入的水印,也无法向已加水印的模型添加新的盗版水印。我们的经验表明,我们提出的水印实现盗版阻力和其他水印属性,在广泛的任务和模型。最后,我们探索了一些自适应的对策,并显示我们的水印仍然对各种模型修改,包括模型微调,压缩和现有的方法来检测/删除后门强大。我们的水印模型也适合迁移学习,而不会失去其水印属性。
2020-12-02 cs.CR cs.LG stat.ML
Collapse Resistant Deep Convolutional GAN for Multi-Object Image Generation
Stevens Institute of Technology(史蒂文斯理工学院)
这项工作介绍了一种新的系统,用于生成包含多个类别的对象的图像。最近在生成对抗网络中的工作已经产生了高质量的图像,但是许多工作集中在生成单个对象或一组对象的图像。我们的系统解决了图像生成的任务,条件是要包括在一个单一的图像所需的类的列表。这使我们的系统能够生成具有任何给定对象组合的图像,所有这些对象组合成视觉上逼真的自然图像。该系统学习数据集中表示的所有类的相互关系,并可以生成包括一组这些类的不同样本。它显示了将这些对象排列在一起的能力,考虑了复杂自然图像的遮挡和对象间空间关系。为了实现这一目标,我们引入了一种基于条件深度卷积GANs的新型架构,该架构相对于模式和条件都是稳定的,不会崩溃。系统学习在训练期间纠正模式坍塌,自我纠正以避免次优生成模式。
2019-11-08 cs.CV cs.LG eess.IV
Certified Neural Network Watermarks with Randomized Smoothing
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
数字水印是一种常用的保护数字图像、视频和音频创作者权利的策略。最近,水印方法已经扩展到深度学习模型--原则上,当对手试图复制模型时,水印应该被保留。然而,在实践中,水印往往可以被智能对手删除。几篇论文已经提出了水印方法,声称是经验上抵抗不同类型的删除攻击,但这些新技术往往失败,在面对新的或更好的调整对手。在本文中,我们提出了一种可认证的水印方法。使用Chiang等人提出的随机平滑技术,我们表明,我们的水印保证是不可移除的,除非模型参数被改变超过某个L2阈值。除了是可认证的,我们的水印也是经验上更强大的相比,以前的水印方法。我们的实验可以通过https://github.com/arpitbansal297/Certified_Watermarks上的代码复制
2022-07-16 cs.CR cs.LG
Reliable uncertainty estimate for antibiotic resistance classification with Stochastic Gradient Langevin Dynamics
Iowa State University(爱荷华州立大学)
抗生素耐药性监测在这一持续的全球流行病面前至关重要。使用传统优化算法(例如Adam,SGD)训练的深度学习模型在针对分布外(OoD)抗生素耐药/非耐药基因进行测试时,提供了较差的后验估计。在本文中,我们介绍了一种使用随机梯度朗之万动力学(SGLD)训练的深度学习模型来对抗生素耐药基因进行分类。与Adam等传统优化方法相比,该模型在对OoD数据进行测试时提供了更好的不确定性估计。
2018-11-27 cs.LG q-bio.GN q-bio.QM
Deep Learning and Music Adversaries
Technical University of Denmark(丹麦技术大学);Queen Mary University of London(伦敦玛丽女王大学)
攻击者本质上是一种算法,其目的是使分类系统在给定输入的情况下以某种特定方式执行,例如,增加假阴性的可能性。最近的工作为应用于图像对象识别的深度学习系统构建了对手,该系统利用系统的参数来找到输入图像的最小扰动,使得网络以高置信度对其进行错误分类。我们采用这种方法来构建和部署应用于音乐内容分析的深度学习系统的对手。然而,在我们的情况下,系统的输入是幅度谱帧,这需要特别注意,以便从网络导出的扰动中产生有效的输入音频信号。对于两个基准数据集的两个不同的训练测试分区和两个不同的深度架构,我们发现这种对手在击败所产生的系统方面非常有效。然而,我们发现卷积网络比基于对单独分类的音频帧进行多数投票的系统更鲁棒。此外,我们将对手整合到新的深度系统的训练中,但没有发现这会提高它们对同一对手的弹性。
2015-07-16 cs.LG cs.NE cs.SD
Adversarial Deep Learning for Over-the-Air Spectrum Poisoning Attacks
Intelligent Automation, Inc.(智能自动化公司);Virginia Tech.(弗吉尼亚理工学院暨州立大学)
提出了一种对抗性深度学习方法来发起空中频谱中毒攻击。发射机对其频谱感测结果应用深度学习以预测用于数据传输的空闲时隙。与此同时,攻击者通过构建另一个深度神经网络来预测传输何时成功,从而了解发送者的行为(探索性攻击)。对手通过在发射机的短频谱感测时段期间进行发射来在空中伪造(毒化)发射机的频谱感测数据。取决于发射机是使用感测结果作为测试数据来做出发射决策还是作为训练数据来重新训练其深度神经网络,其被愚弄而做出不正确的决策(逃避攻击),或者发射机的算法被错误地重新训练以用于未来的决策(因果攻击)。与干扰长数据传输周期相比,这两种攻击都是能量有效的并且难以检测(隐身),并且大大降低了吞吐量。动态防御是针对故意进行少量不正确传输(由信道分类的置信度分数选择)以操纵对手的训练数据的发射机而设计的。这种防御有效地欺骗了对手(如果有的话),并帮助发射机在有或没有对手存在的情况下维持其吞吐量。
2019-11-01 cs.LG cs.NI eess.SP
Adversary Agnostic Robust Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院);Agency for Science, Technology and Research(新加坡科技研究局);Macquarie University(麦考瑞大学)
深度强化学习(DRL)策略已被证明会被扰动所欺骗(例如,随机噪声或密集的对抗攻击)对在测试时出现但在训练期间未知的状态观测进行的。为了提高DRL策略的鲁棒性,以前的方法假设可以将对手的知识添加到训练过程中,以实现对这些扰动观测的相应泛化能力。然而,这样的假设不仅使鲁棒性改进更加昂贵,而且还可能使模型对其他类型的攻击不那么有效。相比之下,我们提出了一个对手不可知的强大的DRL范式,不需要从对手学习。为此,我们首先从理论上推导出,鲁棒性确实可以实现独立的对手的基础上的政策蒸馏设置。基于这一发现,我们提出了一种新的策略蒸馏损失,它有两个项:1)处方间隙最大化损失,旨在同时最大化教师策略选择的动作的可能性和剩余动作的熵; 2)相应的雅可比正则化损失,最小化相对于输入状态的梯度的大小。理论分析表明,我们的蒸馏损失保证增加处方差距和对抗鲁棒性。此外,五个Atari游戏的实验坚定地验证了我们的方法在提高对抗鲁棒性方面的优越性,与其他最先进的方法相比。
2020-12-24 cs.LG stat.ML
Observed Adversaries in Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
在这项工作中,我们指出的问题,观察对手的深度政策。具体来说,最近的工作表明,深度强化学习容易受到对抗攻击的影响,其中观察到的对手在环境约束下采取行动,以调用自然但对抗的观察结果。这一设置与HRI特别相关,因为HRI相关的机器人预计将在其他智能体周围并与其他智能体一起执行任务。在这项工作中,我们证明了这种效应即使在低维观测中也会持续存在。我们进一步表明,这些对抗攻击转移受害者,这可能使恶意攻击者训练对手没有访问目标受害者。
2022-10-13 cs.HC cs.LG
Adversary Detection in Neural Networks via Persistent Homology
University of Minnesota(明尼苏达大学)
我们概述了深度神经网络对抗性输入的检测方法。通过将神经网络计算看作是信息从输入空间流向输出分布的图,我们比较了不同输入引起的图的差异。具体来说,通过应用持久的同源性,这些诱导图,我们观察到,最持久的子图,生成第一个同源群的结构不同的敌对和未扰动的输入。基于这一观察,我们建立了一个检测算法,只依赖于在训练过程中提取的拓扑信息。我们在MNIST上测试了我们的算法,并实现了98%的检测对手准确率,F1得分为0.98。
2017-11-28 cs.LG stat.ML
A Robust Adversary Detection-Deactivation Method for Metaverse-oriented Collaborative Deep Learning
Khalifa University(哈利法大学)
本文针对协作深度学习中的安全漏洞,提出一种对抗检测-去激活方法,通过限制恶意访问和隔离有害梯度,有效保护模型与数据隐私。
2023-10-21 cs.CR cs.LG
FairNeuron: Improving Deep Neural Network Fairness with Adversary Games on Selective Neurons
Xi’an Jiaotong University(西安交通大学);Rutgers University(罗格斯大学);Wuhan University(武汉大学)
随着深度神经网络(DNN)被集成到越来越多对社会产生深远影响的关键系统中,人们越来越关注其道德性能,例如公平性。不幸的是,在许多情况下,模型的公平性和准确性是相互矛盾的优化目标。为了解决这个问题,已经有一些工作试图通过在模型级使用对抗性博弈来提高模型的公平性。该方法引入了一个对手,除了评估模型对主任务的预测准确性外,还评估模型的公平性,并执行联合优化以获得平衡的结果。在本文中,我们注意到,在执行基于反向传播的训练时,这种矛盾的现象已经在单个神经元水平上表现出来。基于这一观察,我们提出了FairNeuron,一个DNN模型自动修复工具,以减轻公平性问题,并在不引入另一个模型的情况下平衡准确性-公平性权衡。它的工作原理是从准确性和公平性训练目标中检测具有矛盾优化方向的神经元,并通过选择性丢弃来实现权衡。与现有的方法相比,我们的方法是轻量级的,使其可扩展性和更有效。在3个数据集上的测试结果表明,FairNeuron能够有效地提高模型的公平性,同时保持稳定的效用。
2022-05-11 cs.AI cs.LG cs.SE
OGAN: Disrupting Deepfakes with an Adversarial Attack that Survives Training
自动编码器和生成模型的最新进展已经产生了有效的视频伪造方法,用于生成所谓的“deepfakes”。缓解研究主要集中在事后deepfake检测,而不是预防。我们通过引入一类新的对抗攻击--训练抵抗攻击--来补充这些努力,无论其对抗图像是否包含在所述自动编码器的训练集中,这都可以破坏面部交换自动编码器。我们提出了振荡GAN(OGAN)攻击,这是一种新的攻击优化为抗训练,它引入了时空失真的输出面交换自动编码器。为了实现OGAN,我们构造了一个双层优化问题,在这里我们训练一个生成器和一个换脸模型实例。具体来说,我们将每个输入图像与目标失真配对,并将它们馈送到生成对抗图像的生成器中。当人脸交换自动编码器应用于该图像时,该图像将呈现失真。我们通过使用交替优化的迭代过程同时训练生成器和人脸交换模型来解决优化问题。接下来,我们分析了以前发表的扭曲攻击,并表明它是耐训练的,尽管它优于我们建议的OGAN。最后,我们使用流行的FaceSwap实现验证了这两种攻击,并表明它们可以在不同的目标模型和目标面部之间传输,包括对抗攻击没有训练过的面部。更广泛地说,这些结果证明了存在训练抵抗性对抗攻击,可能适用于广泛的领域。
2020-11-25 cs.CR cs.CV cs.LG
Universal Data Anomaly Detection via Inverse Generative Adversary Network
Cornell University(康奈尔大学)
研究了数据异常检测问题。在对无异常数据进行建模的零假设下,假设测量值来自具有一些经过验证的历史样本的未知分布。在复合备择假设下,测量值来自与零假设下的分布相距正距离的未知分布。没有训练数据可用于异常数据的分布。提出了一种基于逆生成对抗网络的半监督深度学习技术。
2020-01-23 cs.LG eess.SP stat.ML
Membership Model Inversion Attacks for Deep Networks
University of Maryland(马里兰大学);Perspecta Labs(Perspecta实验室)
随着人工智能的日益普及,机器学习系统固有的安全和隐私漏洞正在被发现。其中一个漏洞使攻击者有可能获得有关用于训练目标机器学习模型的实例类型的私人信息。这种所谓的模型反转攻击是基于对分类分数的顺序利用,以获得各种类别的高置信度表示。然而,对于深度网络,这样的过程通常会导致无法识别的表示,对对手来说毫无用处。在本文中,我们介绍了一个更现实的定义modelinversion,其中的对手是知道的attackedmodel的一般目的(例如,无论是OCR系统或面部识别系统),目标是找到现实的类表示在相应的低维流形(分别为一般符号或一般面孔)。为此,我们利用生成对抗网络的特性来构建一个连接的低维流形,并证明了在该流形内进行的模型反演攻击的效率。
2019-10-09 cs.LG stat.ML
Adversarial Attacks against Deep Learning Based Power Control in Wireless Communications
University of Maryland(马里兰大学);Intelligent Automation, Inc.(智能自动化公司)
我们考虑基于对抗机器学习的功率分配攻击,其中基站(BS)通过使用深度神经网络(DNN)将其发射功率分配给多个正交子载波以服务多个用户设备(UE)。对应于回归模型的DNN是用信道增益作为输入来训练的,并返回发射功率作为输出。虽然BS向UE分配发射功率以最大化所有UE的速率,但是存在旨在最小化这些速率的对手。对手可以是外部发射机,其目的是通过干扰被发送以测量信道增益的导频信号来操纵DNN的输入。或者,对手可以是向BS发送伪造的信道估计的流氓UE。在这两种情况下,对手仔细地制造对抗性扰动,以操纵BS的DNN的输入,这些扰动的强度上界。我们考虑针对单个UE或所有UE的攻击。我们将这些攻击与基准进行比较,其中对手缩小了DNN的输入。我们证明了对抗性攻击在降低通信速率方面比基准攻击有效得多。我们还表明,对抗性攻击对对手的不确定性具有鲁棒性,包括对信道增益的错误认识以及完全按照指定进行攻击的潜在错误。
2021-10-12 cs.LG cs.NI eess.SP
Adversarial Attacks with Multiple Antennas Against Deep Learning-Based Modulation Classifiers
University of Maryland(马里兰大学);Intelligent Automation, Inc.(智能自动化公司);Virginia Tech(弗吉尼亚理工大学)
我们考虑一个无线通信系统,其中发射机向接收机发送具有不同调制类型的信号,而接收机使用其基于深度学习的分类器对接收信号的调制类型进行分类。同时,对手使用其多个天线发送对抗性扰动,以欺骗分类器对接收到的信号进行错误分类。从对抗机器学习的角度来看,我们展示了如何利用对手的多个天线来提高对抗(逃避)攻击的性能。在利用多天线对抗时,主要考虑两个问题,即天线间的功率分配和信道分集的利用。首先,我们表明,多个独立的对手,每个与一个天线不能提高攻击性能相比,一个单一的对手与多个天线使用相同的总功率。然后,我们考虑各种方式来分配功率在多个天线之间在一个单一的对手,如分配功率只有一个天线,并成正比或成反比的信道增益。通过利用信道分集,我们引入攻击,通过符号级具有最大信道增益的信道传输对抗性扰动。我们发现,这种攻击降低了分类器的准确性显着相比,其他攻击在不同的信道条件下的信道方差和信道相关性天线。此外,我们表明,攻击的成功显着提高天线的数量增加,在对手,可以更好地利用信道多样性,工艺对抗性攻击。
2020-07-31 cs.LG cs.NI eess.SP
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley(加州大学伯克利分校)
深度学习模型已经在许多任务上实现了高性能,因此已经应用于许多安全关键场景。例如,基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序,如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中,我们考虑了一种新型的攻击,称为后门攻击,攻击者的目标是创建一个后门到一个基于学习的认证系统,使他可以很容易地绕过系统利用后门。具体地说,攻击者的目的是创建后门实例,从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地,我们研究了后门中毒攻击,利用中毒策略实现后门攻击。与现有的所有工作不同的是,我们研究的中毒策略可以应用在一个非常弱的威胁模型下:(1)对手不知道受害者系统使用的模型和训练集;(2)攻击者只允许注入少量的中毒样本;(3)后门密钥即使是人类也很难注意到,以实现隐身。我们进行了评估,以证明后门攻击者只能注入大约50个中毒样本,同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明,后门中毒攻击对学习系统构成了真正的威胁,因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Over-the-Air Adversarial Attacks on Deep Learning Based Modulation Classifier over Wireless Channels
University of Maryland(马里兰大学);Intelligent Automation, Inc.(智能自动化公司)
我们考虑一个无线通信系统,它由一个发射机,一个接收机,和一个对手。发射机发射具有不同调制类型的信号,而接收机使用基于深度学习的分类器将其接收的信号分类为调制类型。与此同时,对手进行空中传输,这些传输被接收为与发射机的信号叠加,以欺骗接收机处的分类器出错。虽然这种规避攻击最近受到了越来越多的关注,从对手到接收器的信道效应已被忽略到目前为止,使以前的攻击机制不能在现实的信道效应下应用。在本文中,我们提出了如何通过考虑从对手到接收器的信道来发起一个现实的规避攻击。我们的研究结果表明,调制分类是容易受到对抗性攻击的无线信道,建模为瑞利衰落路径损耗和阴影。我们提出了各种对抗性攻击的可用性信息的渠道,发射机输入,分类器架构。首先,我们提出了两种类型的对抗性攻击,即有针对性的攻击(具有最小功率)和非有针对性的攻击,其目的是分别将分类更改为目标标签或真实标签以外的任何其他标签。两者都是白盒攻击,是发射机输入特定的,并使用信道信息。然后,我们介绍了一种算法来生成对抗性攻击使用有限的信道信息,对手只知道的信道分布。最后,我们提出了一个黑盒通用对抗扰动(UAP)攻击的对手有有限的知识,信道和发射机输入。
2020-02-13 cs.LG cs.NI eess.SP
A Formalization of Robustness for Deep Neural Networks
University of California, Berkeley(加州大学伯克利分校)
深度神经网络已被证明对小的输入扰动缺乏鲁棒性。产生暴露神经网络缺乏鲁棒性的扰动的过程被称为对抗性输入生成。这个过程取决于对手的目标和能力,在本文中,我们提出了一个统一的形式化的对抗性输入生成过程从形式化方法的角度来看。我们提供了一个定义的鲁棒性,是一般足以捕捉不同的配方。通过对各种对抗攻击技术的建模和比较,展示了我们形式化的表达能力。
2019-03-24 cs.LG
Membership Inference Attack and Defense for Wireless Signal Classifiers with Deep Learning
Virginia Tech(弗吉尼亚理工大学);Intelligent Automation, Inc.(智能自动化公司)
提出了一种无线成员推断攻击(MIA),用于从无线信号分类器中泄漏私有信息。机器学习(ML)提供了对无线信号进行分类的强大手段,例如,用于PHY层认证。作为对抗性机器学习攻击,MIA推断目标分类器的训练数据中是否使用了感兴趣的信号。该私有信息包含波形、信道和设备特征,并且如果被泄露,则可以被对手利用来识别底层ML模型的漏洞(例如,以渗透PHY层认证)。空中MIA的一个挑战是,由于信道条件的差异,对手和预期接收机处的接收信号以及因此的RF指纹不同。因此,对手首先通过观察频谱来构建代理分类器,然后在该分类器上启动黑盒MIA。MIA结果表明,对手可以可靠地推断用于构建目标分类器的信号(以及潜在的无线电和信道信息)。因此,通过建立影子MIA模型和欺骗对手来开发针对MIA的主动防御。这种防御可以成功地降低MIA的准确性,并防止从无线信号分类器的信息泄漏。
2021-07-22 cs.CR cs.IT cs.LG
TBDLNet: a network for classifying multidrug-resistant and drug-sensitive tuberculosis
School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);Medical Imaging Department of Huai'an Fourth People's Hospital(淮安市第四人民医院医学影像科);Xi'an Jiaotong-Liverpool University(西交利物浦大学);School of Computer Science and Technology, Henan Polytechnic University(河南理工大学计算机科学与技术学院);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
本文提出 TBDLNet,结合预训练 ResNet50、随机化 RNN 集成与多数投票,对 CT 图像中的耐多药和药物敏感型结核病进行高精度自动分类。
2023-10-27 cs.CV cs.LG eess.IV
Adversarial Machine Learning and Defense Game for NextG Signal Classification with Deep Learning
National Security Institute(国家安全研究所);Virginia Tech(弗吉尼亚理工大学)
本文提出了一个博弈论框架来研究基于深度学习的NextG信号分类的攻击和防御的相互作用。NextG系统(诸如为大量IoT设备设想的系统)可以采用深度神经网络(DNN)来执行各种任务,诸如用户设备识别、物理层认证和现任用户的检测(诸如在公民宽带无线电服务(CBRS)频带中)。通过训练另一个DNN作为代理模型,攻击者可以发起推理(探索性)攻击以学习受害者模型的行为,预测成功的操作模式(例如,信道接入),并干扰它们。防御机制可以通过在受害者模型的决策中引入受控错误来增加对手的不确定性(即,毒化对手的训练数据)。这种防御对攻击是有效的,但在没有攻击时会降低性能。防御者和对手之间的交互被公式化为非合作博弈,其中防御者选择防御的概率或防御水平本身(即,伪造决策的比率),并且对手选择攻击的概率。防御者的目标是最大化其回报(例如,吞吐量或传输成功率),而对手的目标是最小化该奖励及其攻击成本。纳什均衡策略被确定为一种操作模式,使得在另一方的策略固定的情况下,任何一方都不能单方面提高自己的效用。一个虚构的发挥制定为每个球员反复玩游戏,以响应对手的行动的经验频率。将纳什均衡下的性能与固定攻击和防御情况下的性能进行了比较,并量化了NextG信号分类对攻击的弹性。
2022-12-22 cs.AI cs.CR cs.GT
Who Is the Strongest Enemy? Towards Optimal and Efficient Evasion Attacks in Deep RL
University of Maryland, College Park(马里兰大学帕克分校);Sun Yat-sen University(中山大学)
评估强化学习(RL)代理在最强/最优对抗扰动下的最坏情况下的性能对于理解RL代理的鲁棒性至关重要。然而,找到最佳的对手是具有挑战性的,无论是在我们是否可以找到最佳的攻击和如何有效地找到它。现有的对抗性强化学习的工作要么使用基于策略的方法,可能无法找到最强的对手,或直接训练一个基于RL的对手,通过治疗代理作为环境的一部分,它可以找到最佳的对手,但可能会变得难以处理在一个大的状态空间。本文提出了一种新的攻击方法,通过设计一个名为“演员”的功能和一个名为“导演”的基于RL的学习器之间的合作,以找到最佳的攻击。参与者为给定的策略扰动方向制作状态扰动,而导演学习提出最佳策略扰动方向。我们提出的算法PA-AD在理论上是最优的,并且在具有大状态空间的环境中比之前基于RL的工作效率要高得多。实证结果表明,我们提出的PA-AD普遍优于国家的最先进的攻击方法在各种Atari和MuJoCo环境。通过将PA-AD应用于对抗训练,我们在强大对手的多个任务中实现了最先进的经验鲁棒性。代码库在https://github.com/umd-huang-lab/paad_adv_rl上发布。
2023-03-20 cs.CR cs.LG
Bypassing Backdoor Detection Algorithms in Deep Learning
National University of Singapore(新加坡国立大学)
深度学习模型容易受到对其训练数据、参数和输入样本的各种对抗性操作的影响。特别地,对手可以修改训练数据和模型参数以将后门嵌入到模型中,因此如果输入包含后门特征(被称为后门触发器(例如,图像上的印记)。然而,中毒模型在干净数据上的行为保持不变。许多检测算法被设计为通过中毒模型中敌对和干净输入样本的潜在表示之间的统计差异来检测输入样本或模型参数上的后门。在本文中,我们设计了一个对抗性后门嵌入算法,可以绕过现有的检测算法,包括最先进的技术。我们设计了一种自适应对抗训练算法,优化了模型的原始损失函数,并最大限度地提高了中毒数据和干净数据的隐藏表示的不可恢复性。这项工作要求设计的恶意感知防御机制的后门检测。
2020-06-06 cs.CR cs.LG stat.ML
Adversarial Deep Learning for Online Resource Allocation
The University of Hong Kong(香港大学)
在线算法是算法设计的一个重要分支。设计具有有限竞争比(就最坏情况性能而言)的在线算法可能很难,并且通常依赖于特定于问题的假设。受生成对抗网络(GAN)的对抗训练以及在线算法的竞争率基于最坏情况输入的事实的启发,我们采用深度神经网络从头开始学习资源分配和定价问题的在线算法,目标是离线最佳和学习的在线算法之间的性能差距可以最小化最坏情况输入。具体来说,我们利用两个神经网络分别作为算法和对手,让他们玩一个零和游戏,与对手负责产生最坏情况的输入,而算法学习的基础上提供的输入对手的最佳策略。为了确保算法网络更好地收敛(到所需的在线算法),我们提出了一种新的每轮更新方法来处理顺序决策,以打破不同轮之间的复杂依赖关系,从而可以对每个可能的动作进行更新,而不仅仅是采样动作。据我们所知,我们的工作是第一次使用深度神经网络从最坏情况性能保证的角度设计在线算法。实证研究表明,我们的更新方法确保收敛到纳什均衡和学习算法优于国家的最先进的在线算法在各种设置。
2021-11-19 cs.AI cs.LG
A Reproducible Framework for Bias-Resistant Machine Learning on Small-Sample Neuroimaging Data
Department of Electrical and Computer Engineering, University of Houston(电子与计算机工程系,休斯顿大学);Department of Information Science Technology, University of Houston(信息科学与技术系,休斯顿大学);Department of Neurology, College of Medicine, University of Florida(神经病学系,医学院,佛罗里达大学)
本文提出了一种可重复且偏见抵御的机器学习框架,用于小样本神经影像数据,通过领域指导的特征工程、嵌套交叉验证和校准决策阈值优化,提高了模型的可解释性和泛化能力。
2026-02-02 cs.CV cs.LG q-bio.NC
Spectrum Data Poisoning with Adversarial Deep Learning
Intelligent Automation, Inc.(智能自动化公司)
机器学习在无线通信中得到了广泛的应用。然而,机器学习在无线应用中的安全方面还没有得到很好的理解。我们考虑的情况下,认知发射机的频谱感测和发送空闲信道上确定的机器学习算法。我们提出了一种对抗性的机器学习方法,通过推断发射机的行为并试图在空中伪造频谱感知数据来发起频谱数据投毒攻击。为此,对手在信道空闲时发送一段短时间,以操纵发送器决策机制的输入。发射机处的认知引擎是深度神经网络模型,其预测空闲信道,具有用于数据传输的最小感测误差。发射机收集频谱感测数据并将其用作其机器学习算法的输入。与此同时,对手使用另一个深度神经网络模型构建认知引擎,以预测发射机何时将基于其频谱感测数据进行成功传输。然后,攻击者执行空中频谱数据投毒攻击,其目的是在发射机进行检测时将信道占用状态从空闲变为繁忙,从而欺骗发射机做出不正确的发射决策。与数据传输干扰相比,这种攻击更节能,更难检测。我们表明,这种攻击是非常有效的,并大大降低了发送器的吞吐量。
2019-01-26 cs.LG cs.NI
Machine Learning Resistant Amorphous Silicon Physically Unclonable Functions (PUFs)
Johns Hopkins University(约翰斯·霍普金斯大学)
本研究探讨了非线性波混沌非晶硅腔体作为物理不可克隆函数,发现深度神经网络攻击效果最好但仍无法完全破解,且其抗机器学习能力与非线性响应强度直接相关。
2024-02-05 cs.CR cs.LG physics.app-ph
AdvMind: Inferring Adversary Intent of Black-Box Attacks
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学);Ant Financial(蚂蚁金融);Hong Kong Polytechnic University(香港理工大学)
深度神经网络(DNN)本质上容易受到对抗攻击的影响,即使在黑盒设置下,对手也只能查询目标模型。在实践中,虽然可以有效地检测这种攻击(例如,观察大量相似但不相同的查询),准确地推断对手意图(例如,对手试图制造的敌对示例的目标类别),尤其是在攻击的早期阶段,这对于在许多情况下执行有效的威慑和补救威胁至关重要。在本文中,我们提出了AdvMind,一类新的估计模型,推断对手的意图,黑盒对抗攻击在一个强大的和及时的方式。具体来说,为了实现鲁棒检测,AdvMind考虑了对手的适应性,使得她隐藏目标的尝试将显著增加攻击成本(例如,在查询的数量方面);为了实现及时的检测,AdvMind主动合成合理的查询结果,以从最大程度地暴露其意图的对手那里征求后续查询。通过对基准数据集和最先进的黑盒攻击进行广泛的实证评估,我们证明,在观察不到3个查询批次后,平均AdvMind检测对手意图的准确率超过75%,同时将自适应攻击的成本提高了60%以上。我们进一步讨论了AdvMind和其他防御方法对抗黑盒对抗攻击之间可能的协同作用,指出了几个有前途的研究方向。
2020-06-16 cs.CR cs.LG stat.ML
How to beat a Bayesian adversary
Princeton University(普林斯顿大学);University of Manchester(曼彻斯特大学);Technische Universiteit Delft(代尔夫特理工大学)
针对现代机器学习模型的对抗攻击问题,本文研究使用贝叶斯统计方法确定攻击的对手,将贝叶斯对抗鲁棒性问题作为通常minmax问题的松弛,提出连续时间粒子系统Abram近似对应学习问题的梯度流,证明其近似McKean-Vlasov过程,并通过基准对抗深度学习实验验证了其适用性。
2024-07-11 cs.LG math.OC stat.CO
Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Kyushu University(九州大学)
针对传统深度学习(DL)系统和算法的对抗攻击已经被广泛研究,并且提出了各种防御。然而,针对深度强化学习(DRL)的此类攻击的可能性和可行性较少探索。由于DRL在各种复杂任务中取得了巨大的成功,设计有效的对抗攻击是构建鲁棒的DRL算法不可或缺的前提。在本文中,我们介绍了两种新的对抗攻击技术\emph{stealthily}和\emph{efficiently}攻击DRL代理。这两种技术使对手能够在最小的关键时刻注入对抗样本,同时对代理造成最严重的损害。第一种技术是\emph{critical point attack}:对手建立一个模型来预测未来的环境状态和代理的行动,评估每种可能的攻击策略的损害,并选择最佳的。第二种技术是\emph{antagonist attack}:对手自动学习一个领域不可知的模型,以发现在一个事件中攻击代理的关键时刻。实验结果证明了我们的技术的有效性。具体来说,为了成功攻击DRL代理,我们的临界点技术只需要1个(TORCS)或2个(Atari Pong和Breakout)步骤,而拮抗剂技术需要不到5个步骤(4个Mujoco任务),这是对最先进方法的重大改进。
2020-05-14 cs.AI cs.CR cs.LG
AWA: Adversarial Website Adaptation
Sharif University of Technology(谢里夫理工大学)
隐私增强技术最重要的义务之一是为用户在互联网上的浏览活动带来机密性和隐私性。网站指纹攻击使本地被动窃听者能够预测目标用户的浏览活动,即使她使用匿名技术,如VPN,VPN和Tor。最近,深度学习的发展使攻击者能够以更高的准确性进行网站指纹攻击。在本文中,我们提出了一种新的防御网站指纹攻击使用对抗性深度学习方法称为对抗性网站适应(AWA)。AWA在每次运行中创建一个Transformer集,以便每个网站都有一个唯一的Transformer。每个Transformer生成对抗性轨迹以避开对手的分类器。AWA有两个版本,包括通用AWA(UAWA)和非通用AWA(NUAWA)。与NUAWA不同,在UAWA中,不需要访问网站的整个跟踪来生成对抗性跟踪。我们适应秘密随机元素的Transformers的训练阶段,以AWA在每次运行中生成各种Transformers集。我们多次运行AWA并创建多组Transformers。在UAWA和NUAWA中,当攻击者和目标用户选择不同的Transformers集合时,攻击者分类器的准确率分别为19.52%和31.94%,而带宽开销分别为22.28%和26.28%。如果一个更强大的对手通过多组Transformers生成对抗性轨迹并在其上训练分类器,则对手分类器的准确率分别为49.10%和25.93%,而UAWA和NUAW的带宽开销分别为62.52%和64.33…
2021-04-13 cs.CR cs.LG
Have You Stolen My Model? Evasion Attacks Against Deep Neural Network Watermarking Techniques
Sapienza University of Rome(罗马大学)
深度神经网络对计算机科学的各个领域产生了巨大的影响,大大超过了以前最先进的机器学习技术。为了实现这种性能,神经网络需要大量的数据和巨大的计算资源,这大大增加了它们的构建成本。构建良好的深度神经网络模型的成本增加,导致需要保护这种投资免受潜在的版权侵犯。机器学习模型的合法所有者希望能够可靠地跟踪和检测试图窃取与模型相关的知识产权的恶意对手。最近,通过在深度神经网络中引入水印的概念来解决这个问题,该概念允许合法所有者在给定模型中嵌入一些秘密信息(水印)。水印允许合法所有者检测其模型的版权侵犯。本文重点验证了最先进的深度神经网络水印方案的鲁棒性和可靠性。我们表明,恶意的对手,即使在水印难以删除的情况下,仍然可以逃避合法所有者的验证,从而避免检测模型盗窃。
2018-09-03 cs.CR cs.LG
Towards Resistant Audio Adversarial Examples
Fraunhofer AISEC(弗劳恩霍夫应用安全研究中心)
对抗性示例极大地威胁了基于机器学习的系统的可用性和完整性。虽然这种攻击的可行性首先在图像处理领域被观察到,但最近的研究表明,语音识别也容易受到对抗攻击的影响。然而,可靠地桥接气隙(即,使对抗性的例子在通过麦克风记录时起作用)迄今为止一直困扰着研究人员。我们发现,由于生成过程中的缺陷,最先进的对抗性示例生成方法由于目标语音识别系统中的分箱操作而导致过拟合(例如,Mozilla Deepspeech)。我们设计了一种方法来减轻这个缺陷,并发现我们的方法提高了具有不同偏移量的对抗性示例的生成。我们证实了显着的改善与我们的方法,在一个现实的空中设置的编辑距离的经验比较。我们的做法表明向空中攻击迈出了重要一步。我们发布代码和我们方法的适用实现。
2020-10-14 cs.CR cs.LG cs.SD
Snooping Attacks on Deep Reinforcement Learning
Duke University(杜克大学)
对抗攻击暴露了最先进的机器学习模型中的一个重大安全漏洞。这些模型包括深度强化学习代理。现有的攻击强化学习代理的方法假设对手可以访问目标代理的学习参数或代理与之交互的环境。在这项工作中,我们提出了一类新的威胁模型,称为窥探威胁模型,这是强化学习所独有的。在这些窥探威胁模型中,对手没有能力与目标代理的环境进行交互,只能窃听代理和环境之间交换的动作和奖励信号。我们表明,在这些高度约束的威胁模型中运行的对手仍然可以通过在相关任务上训练代理模型并利用对抗性示例的可转移性来对目标代理发起毁灭性攻击。
2020-01-15 cs.CV cs.LG stat.ML
Robust Reinforcement Learning on State Observations with Learned Optimal Adversary
UCLA(加州大学洛杉矶分校);MIT(麻省理工学院)
我们研究了具有对抗扰动状态观测的强化学习(RL)的鲁棒性,这与许多对抗攻击对深度强化学习(DRL)的设置一致,并且对于在不可预测的感知噪声下推出真实世界的RL代理也很重要。在一个固定的代理策略下,我们证明了可以找到一个最佳的对手来扰动状态观测,这是保证获得最坏情况下的代理奖励。对于DRL设置,这导致了一种新的经验对抗攻击RL代理通过一个学习的对手,比以前的强得多。为了提高代理的鲁棒性,我们提出了一个框架的交替训练与学习对手(ATLA),使用策略梯度的最佳对抗攻击框架,在线训练对手与代理一起。此外,受状态对抗马尔可夫决策过程(SA-MDP)分析的启发,我们表明过去的状态和动作(历史)可以用于学习鲁棒代理,并且我们根据经验发现基于LSTM的策略在对抗下可以更加鲁棒。对一些连续控制环境的实证评估表明,ATLA在强大对手的情况下实现了最先进的性能。我们的代码可在https://github.com/huanzhang12/ATLA_robust_RL上获得。
2021-01-21 cs.AI cs.LG stat.ML
Understanding Robust Overfitting of Adversarial Training and Beyond
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);The University of Melbourne(墨尔本大学)
鲁棒过拟合广泛存在于深度网络的对抗性训练中。其确切的根本原因仍然没有完全弄清楚。本文通过比较\emph{non-overfit}(弱对手)和\emph{overfitted}(强对手)对抗训练的数据分布,探讨了鲁棒过拟合的原因,观察到弱对手生成的对抗数据分布主要包含小损失数据。然而,由强对手产生的对抗性数据在大损失数据和小损失数据上的分布更加分散。考虑到这些观察结果,我们进一步设计了数据消融对抗训练,并确定一些不值得对手强度的小损失数据在强对手模式下导致鲁棒过拟合。为了缓解这个问题,我们提出了\emph{minimum loss constrained adversarial training}(MLCAT):在一个小批量中,我们像往常一样学习大损失数据,并采取额外的措施来增加小损失数据的损失。从技术上讲,MLCAT在数据拟合变得容易学习时会阻碍数据拟合,以防止鲁棒过拟合;从技术上讲,MLCAT体现了变废为宝,充分利用每一个对抗数据的精神;从算法上讲,我们设计了MLCAT的两种实现,大量的实验表明,MLCAT可以消除鲁棒过拟合,进一步提高对抗鲁棒性。
2022-06-22 cs.AI cs.LG
Being Patient and Persistent: Optimizing An Early Stopping Strategy for Deep Learning in Profiled Attacks
Radboud University(拉德堡德大学);IKERLAN Research Center(伊克尔兰研究中心)
缺乏有效监控侧信道攻击中使用的深度学习模型的算法,增加了评估的难度。如果攻击不成功,问题就在于我们处理的是一个有抵抗力的实现还是一个有缺陷的模型。我们提出了一种早期停止算法,可以在训练过程中可靠地识别模型的最佳状态。我们的解决方案的新颖性是猜测熵估计的有效实现。此外,我们形式化了两个条件,持久性和耐心,使深度学习模型成为最佳。因此,该模型以较少的迹线收敛。
2021-11-29 cs.CR cs.LG
Recursive Deep Inverse Reinforcement Learning
Boston Dynamics AI Institute(波士顿动力AI研究院)
针对现有深度逆强化学习方法多为离线、收敛慢难适配实时场景的问题,提出基于序列二阶牛顿更新的在线递归深度逆强化学习方法,可快速还原对手代价函数,在基准任务上表现优于多种主流算法。
2026-07-27 cs.AI cs.LG
Towards Sharper First-Order Adversary with Quantized Gradients
University of Technology Sydney(悉尼科技大学);Amazon AWS(亚马逊云科技)
尽管深度神经网络(DNN)在广泛的机器学习和数据采掘任务中取得了巨大的成功,但最近的研究表明,这种强大的工具容易受到恶意制作的对抗性示例的影响。到目前为止,对抗性训练一直是对抗对抗攻击最成功的防御手段。为了提高对抗性鲁棒性,DNN可以使用一阶方法生成的良性和对抗性示例的组合进行训练。然而,在最先进的一阶攻击中,具有符号梯度的对抗性示例保留每个梯度分量的符号信息,但丢弃分量之间的相对大小。在这项工作中,我们用量化梯度代替符号梯度。梯度量化不仅保留了符号信息,而且保持了分量之间的相对大小。实验表明,白盒一阶攻击量化梯度优于他们的变种符号梯度在多个数据集上。值得注意的是,我们的BLOB\_QG攻击在MNIST挑战赛的秘密MNIST模型上达到了$88.32\%$的准确性,并且在白盒攻击排行榜上优于所有其他方法。
2020-02-01 cs.CR cs.LG