Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel(Lab41,In-Q-Tel)
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性,但增加了模型对隐私攻击的脆弱性。在这项工作中,我们演示了如何模型反演攻击,直接从模型中提取训练数据,以前被认为是棘手的成为可行的攻击时,一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果,香草梯度下降方法,不同尺度的基于梯度的方法,以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University(上海交通大学);MarkableAI Inc.(MarkableAI公司);Université de Nantes(南特大学);Alibaba Group(阿里巴巴集团)
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
Tricking Adversarial Attacks To Fail
Aalto University(阿尔托大学)
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中,我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化:最小化(1)扰动和(2)分类器对抗损失的总和。目标训练最小程度地改变分类器,并使用标记有指定类的额外重复点(距离为0)对其进行训练。这些不同标记的复制样本使最小化的项(1)和(2)两者最小化,从而将攻击收敛引导到指定类别的样本,从中导出正确的分类。重要的是,目标训练消除了了解攻击的需要,以及生成对抗性攻击样本的开销,从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2(置信度=0)的86.2%的准确率,甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
由于许多应用对安全性的迫切需求,深度神经网络(DNN)模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台,通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是,当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题,在本文中,我们首先提出了一个新的平台,称为自动对抗攻击和防御($A^{3}D$),它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中,我们采用了多种神经结构搜索方法,考虑不同的鲁棒性评估指标,包括四种类型的噪声:对抗性噪声,自然噪声,系统噪声和量化指标,从而找到强大的架构。此外,我们提出了一个自动对抗攻击的数学模型,并提供了多种优化算法来搜索有效的对抗攻击。此外,我们将自动对抗攻击和防御结合在一起,形成一个统一的框架。在自动对抗防御中,搜索到的有效攻击可以作为新的鲁棒性评价指标,进一步提高系统的鲁棒性。在自动对抗攻击中,搜索到的鲁棒体系结构可以用作威胁模型,以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性,为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
Delving into adversarial attacks on deep policies
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校)
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入(如图像像素)训练代理策略方面显示出了有希望的结果。在本文中,我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法,用于减少成功攻击所需注入的对抗性示例的次数,该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence(清华大学脑与智能实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Intel Labs China(英特尔中国实验室)
深度神经网络容易受到对抗性示例的攻击,由于潜在的严重后果,这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而,现有的大多数对抗攻击只能欺骗黑盒模型,成功率很低。为了解决这个问题,我们提出了一个广泛的基于动量的迭代算法,以提高对抗攻击。通过将动量项集成到攻击的迭代过程中,我们的方法可以稳定更新方向,并在迭代过程中摆脱糟糕的局部最大值,从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率,我们将动量迭代算法应用于一组模型,并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法,我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University(九州大学)
本文综述了对抗性机器学习中的对抗性攻击分类与理解,并概述现有防御方法的局限性,为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
CAMA: Exploring Collusive Adversarial Attacks in c-MARL
Institute of Computing Technology, CAS(中国科学院计算技术研究所);UCAS(中国科学技术大学);Beihang University(北京航空航天大学)
本文提出CAMA框架,研究c-MARL中的共谋对抗攻击,提出三种新型攻击模式,从理论和实践角度分析攻击效果,并通过实验验证其协同效应和隐蔽性。
2026-03-20 cs.AI cs.LG
Interpreting Attributions and Interactions of Adversarial Attacks
Shanghai Jiao Tong University(上海交通大学)
本文的目的是解释对抗攻击方面的对抗扰动如何有助于攻击任务。根据Shapley值估计图像不同区域对攻击代价降低的贡献。我们定义并量化了对抗扰动像素之间的相互作用,并将整个扰动图分解为相对独立的扰动分量。扰动图的分解表明,经过逆向训练的DNN在前景中比经过正常训练的DNN具有更多的扰动分量。此外,与正常训练的DNN相比,对抗训练的DNN具有更多的成分,这些成分主要降低了真实类别的得分。上述分析为理解对抗攻击提供了新的视角。
2021-08-16 cs.AI cs.CV cs.LG
Adversarial Attacks for Multi-view Deep Models
East China Normal University(华东师范大学);Tongji University(同济大学)
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法,因此受到越来越多的关注。然而,据我们所知,目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略:两阶段攻击(TSA)和端到端攻击(ETEA)。在目标多视图模型所基于的单视图模型已知的假设下,我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型,从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上,进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击,提出了三种有效的多视图攻击方法。最后,基于对抗性攻击在不同模型间具有较好的泛化性,以多视图卷积神经网络的对抗攻击为例,验证了所提出的多视图攻击方法的有效性。大量的实验结果表明,我们的多视图攻击策略能够攻击多视图深度模型,我们还发现,多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Adversarial attacks against Bayesian forecasting dynamic models
Institute of Mathematical Sciences (ICMAT-CSIC)(数学科学研究所 (ICMAT-CSIC))
在过去的十年里,对抗性机器学习(AML)兴起。这门学科研究如何操纵数据以欺骗推理引擎,以及如何保护这些系统免受此类操纵攻击。针对回归和分类系统的攻击已经有了大量的工作,而针对时间序列预测系统的攻击却很少受到关注。在本文中,我们提出了一个基于决策分析的攻击策略,可用于对贝叶斯预测动态模型。
2021-10-20 cs.LG stat.ML
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学)
众所周知,深度神经网络容易受到对抗攻击和后门攻击的攻击,其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究,但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究,以寻求回答这个问题:我们可以使用对抗性检测方法检测后门吗?我们的见解是基于这样的观察,即对抗性示例和后门示例在推理过程中都有异常,与良性样本高度区分。因此,我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明,这些方法提供了可靠的保护,防止后门攻击,具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Deflecting Adversarial Attacks
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Google Brain(谷歌大脑)
有一个正在进行的循环,即针对对抗攻击的更强防御随后被更先进的防御感知攻击打破。我们提出了一种新的方法来结束这个循环,我们通过使攻击者产生一个语义上类似于攻击目标类的输入来“偏转”对抗攻击。为此,我们首先提出了一种基于Capsule Networks的更强大的防御,该防御结合了三种检测机制,以在标准和防御感知攻击中实现最先进的检测性能。然后,我们通过进行一项人类研究,要求参与者标记攻击产生的图像,表明针对我们防御的未检测到的攻击通常在感知上类似于对抗性目标类。这些攻击图像不能再被称为“敌对”,因为我们的网络对它们的分类方式与人类相同。
2020-02-18 cs.CV cs.LG stat.ML
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
深度学习模型遭受一种称为对抗攻击的现象:我们可以对模型输入进行微小的更改,以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而,对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战:(1)目标函数的不可微性,(2)对初始序列变换的约束,以及(3)可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法,并允许在任何情况下使用,第二种方法使用模型和目标度量的连续松弛,从而允许使用最先进的方法进行对抗攻击,而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明,所提出的方法生成了合理的对抗序列,这些序列接近原始序列,但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
On the Vulnerability of Capsule Networks to Adversarial Attacks
Heinrich-Heine-Universität Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文广泛评估了胶囊网络对不同对抗攻击的脆弱性。最近的工作表明,这些架构比其他神经网络更强大的对抗攻击。然而,我们的实验表明,胶囊网络可以像卷积神经网络一样容易被愚弄。
2019-06-09 cs.CR cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology(史蒂文斯理工学院);Oklahoma State University(俄克拉荷马州立大学)
我们提出了一种新的防御机制的基础上生成对抗网络(GAN)的框架,以抵御对抗攻击在端到端的通信系统。具体来说,我们利用生成网络来模拟一个强大的对手,并使端到端的通信系统,以打击生成攻击网络通过极大极小博弈。我们表明,该系统不仅可以很好地对抗白盒和黑盒对抗攻击,但也具有良好的泛化能力,保持良好的性能下没有攻击。我们还表明,我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham(诺丁汉大学)
卷积神经网络(CNN)以其在视觉相关任务中的良好性能和泛化能力而闻名,并且已经成为应用和研究领域的最新技术。然而,就像其他神经网络模型一样,它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层(WM)作为CNN的通用架构,并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明,WM层可以集成到按比例放大的模型中,以增加其噪声和对抗攻击的鲁棒性,同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research(IBM研究院);University of Melbourne(墨尔本大学)
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性,标签保存和输入重建问题。我们的研究结果表明,一旦经过训练,攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例(时间上少一个数量级)。这些例子还根据人类评价保留了原始情感。此外,我们的框架产生了一个改进的分类器,是强大的防御多种对抗性攻击方法。代码可从以下网址获得:https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
Adversarial Attacks and Defense Methods for Power Quality Recognition
Air Traffic Control and Navigation College, Air Force Engineering University(空军工程大学空管领航学院);Information and Navigation College, Air Force Engineering University(空军工程大学信息与导航学院);Henan University of Technology(河南工业大学)
各种机器学习方法对对抗性示例的脆弱性最近在文献中进行了探索。使用这些脆弱方法的电力系统面临着对抗性示例的巨大威胁。为此,我们首先提出了一个信号特定的方法和一个通用的信号不可知的方法来攻击电力系统使用生成的对抗性的例子。本文还提出了基于可传递特征的黑盒攻击和上述两种方法,并对它们进行了评价。然后,我们采用对抗训练来保护系统免受对抗攻击。实验分析表明,我们的信号特定的攻击方法相比,FGSM(快速梯度符号法)提供更少的扰动,我们的信号不可知的攻击方法可以产生干扰欺骗大多数自然信号的概率很高。此外,基于通用信号无关算法的攻击方法比基于特定信号算法的攻击方法具有更高的黑盒攻击的传送率。此外,结果表明,所提出的对抗性训练提高了电力系统对抗性的例子的鲁棒性。
2022-02-11 cs.AI cs.CR cs.LG
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护(CBM)策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态,而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本,并研究了CBM系统在攻击下的性能。研究结果表明,CBM系统容易受到对抗性机器学习攻击,需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习(ML)算法越来越多地被集成到我们周围的嵌入式和物联网系统中,它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后,我们描述的努力,试图了解对抗攻击和ML模型压缩之间的关系,然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London(伦敦玛丽女王大学)
对抗攻击通过扰动来修改图像,从而改变分类器的预测。这些修改后的图像被称为对抗性示例,暴露了深度神经网络分类器的漏洞。在本文中,我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关,从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性,并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法,逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性,并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College(康尼斯托加学院);Drexel University(德雷塞尔大学)
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中,首先,我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形,并攻击DeepSpeech,这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率(DeepSpeech分类成功率为零)。其次,我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度,并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类,这表明PCA不是音频域中的良好防御机制。最后,我们没有使用PCA作为防御机制,这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下,我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击,并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件,需要在攻击过程中的分类结果。在所有情况下,对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Diagnosing Vulnerability of Variational Auto-Encoders to Adversarial Attacks
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
在这项工作中,我们探讨了对变分自编码器(VAE)的对抗攻击。我们展示了如何修改数据点以获得规定的潜在代码(监督攻击)或只是获得完全不同的代码(无监督攻击)。我们研究模型修改($β$ -VAE,NVAE)对VAE鲁棒性的影响,并建议量化指标。
2021-05-06 cs.CR cs.LG stat.ML
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University(上海交通大学)
尽管深度神经网络取得了巨大的成功,但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中,我们提出了另一种类型的对抗攻击,可以欺骗分类器的显着变化。例如,我们可以显著地改变一张脸,但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看,现有的对抗攻击增加了第二类错误,而提出的攻击则针对第一类错误,因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要,但本质上是不同的,这是直观的解释和数值评估。为了实现所提出的攻击,监督变异自动编码器的设计,然后分类器进行攻击,通过更新的潜在变量使用梯度信息。{此外,使用预训练的生成模型,还研究了对潜在空间的I型攻击。实验结果表明,该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器,并且加强策略仅对特定类型的攻击有效,这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
The LogBarrier adversarial attack: making effective use of decision boundary information
McGill University(麦吉尔大学);AIFaster Consulting Inc(艾法斯特咨询公司)
针对图像分类的对抗攻击是对图像的小扰动,其被设计成引起模型的错误分类。对抗攻击形式上对应于一个优化问题:找到一个最小范数图像扰动,约束导致误分类。已经开发了一些有效的攻击。然而,迄今为止,没有基于梯度的攻击使用优化文献中的最佳实践来解决这个约束最小化问题。我们设计了一个新的无针对性的攻击,基于这些最佳实践,使用已建立的对数屏障方法。平均而言,我们的攻击距离类似于或优于基准数据集(MNIST,CIFAR 10,ImageNet-1 K)上的所有最先进的攻击。此外,我们的方法在最具挑战性的图像上表现得更好,这些图像通常需要更大的扰动来进行误分类。我们采用LogBarrier攻击几个adversarially防御模型,并表明它adversarially扰动所有图像比其他攻击更有效:所需的距离扰动所有图像是显着小于与其他国家的最先进的攻击LogBarrier攻击。
2019-03-25 cs.CR cs.LG stat.ML
An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks
Northeastern University(东北大学);IBM Research AI(IBM研究院人工智能部门)
深度神经网络(DNN)是已知的易受对抗攻击的攻击。也就是说,通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。在一个成功的对抗攻击中,目标误分类应该以最小的失真来实现。在文献中,增加的失真通常通过L0、L1、L2和L无穷范数来测量,即分别为L0、L1、L2和L无穷攻击。然而,缺乏一个通用的框架,所有类型的对抗攻击。这项工作首次统一了利用ADMM(交替方向乘法器)生成对抗性示例的方法,ADMM是一种算子分裂优化方法,因此L0,L1,L2和L无穷大攻击可以通过这个通用框架有效地实现。与每一类最先进的攻击相比,我们基于ADMM的攻击是迄今为止最强大的,达到了100%的攻击成功率和最小的失真。
2018-04-09 cs.CV cs.LG stat.ML
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research(Facebook AI研究院)
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例,而是搜索由连续值矩阵参数化的对抗性示例分布,从而实现基于梯度的优化。我们的经验表明,我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外,我们证明了一个强大的黑盒传输攻击,通过从对抗分布中采样,匹配或超过现有的方法,而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses
Indian Institute of Science(印度科学学院)
对抗攻击的发展是对抗性防御研究的基础。高效和有效的攻击对于可靠的防御评估以及开发健壮的模型至关重要。对抗攻击通常通过使用投影梯度下降(PGD)在约束集内最大化标准损失(诸如交叉熵损失或最大余量损失)来生成。在这项工作中,我们在标准损失中引入了一个松弛项,找到了更合适的梯度方向,提高了攻击效率,并导致了更有效的对抗训练。我们提出了引导的对抗性边缘攻击(GAMA),它利用干净图像的函数映射来引导对手的生成,从而产生更强的攻击。我们评估我们的攻击对多种防御,并显示出改进的性能相比,现有的攻击。此外,我们提出了引导对抗训练(GAT),它通过利用所提出的松弛项进行攻击生成和训练,在单步防御中实现了最先进的性能。
2020-11-30 cs.CV cs.LG
Gradient Band-based Adversarial Training for Generalized Attack Immunity of A3C Path Finding
Beijing Jiaotong University(北京交通大学)
由于对抗攻击在实践中对人工智能系统的安全性构成严重威胁,因此在计算机视觉应用背景下对这类攻击进行了广泛的研究。然而,很少有人关注自动路径搜索的对抗性研究。在本文中,我们证明了显性对抗示例在针对A3 C路径查找时是有效的,并设计了一种通用显性对抗示例生成方法(CDG)来生成针对任何给定地图的显性对抗示例。此外,本文还提出了基于梯度带的对抗训练方法,该方法采用随机选取的单个优势对抗样本进行训练,不做任何修改,实现了对广义优势对抗样本的“1:N”攻击免疫。大量实验结果表明,CDG算法的最低生成精度为91.91%,基于梯度带的对抗训练算法的最低免疫精度为93.89%,证明该方法能够实现A3 C路径查找的广义攻击免疫,且具有较高的可信度。
2018-07-18 cs.CR cs.LG stat.ML
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation(微软公司);Stanford University(斯坦福大学)
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中,我们提出并分析了一种简单且计算效率高的防御策略:注入随机高斯噪声,离散化每个像素,然后将结果馈送到任何预训练的分类器中。从理论上讲,我们表明,我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧,导致任何分类器对任何(潜在的白盒)$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲,我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上,我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Minimax Defense against Gradient-based Adversarial Attacks
Aalto University(阿尔托大学);Perspecta Labs(Perspecta实验室)
最先进的对抗攻击针对的是神经网络分类器。默认情况下,神经网络使用梯度下降来最小化其损失函数。基于梯度的对抗攻击使用分类器损失函数的梯度来生成对抗扰动图像。我们提出了另一种类型的优化是否可以给神经网络分类器的优势的问题。在这里,我们介绍了一种新的方法,使用极大极小优化来挫败基于梯度的对抗攻击。我们的极大极小分类器是生成对抗网络(GAN)的子节点,它与GAN生成器进行极大极小博弈。此外,我们的GAN生成器将所有点投影到与原始流形不同的流形上,因为原始流形可能是对抗攻击的原因。为了衡量我们的极大极小防御的性能,我们使用了对抗攻击- Carlini Wagner(CW),DeepFool,快速梯度符号方法(FGSM)-在三个数据集上:MNIST,CIFAR-10和德国交通标志(TRAFFIC)。针对CW攻击,我们的极大极小防御率达到98.07%(MNIST-默认98.93%),73.90%(CIFAR-10-默认83.14%)和94.54%(TRAFFIC-默认96.97%)。针对DeepFool攻击,我们的minimax防御达到98.87%(MNIST),76.61%(CIFAR-10)和94.57%(TRAFFIC)。针对FGSM攻击,我们实现了97.01%(MNIST),76.79%(CIFAR-10)和81.41%(TRAFFIC)。我们的Minimax对抗方法为神经网络分类器的防…
2020-02-04 cs.GT cs.LG stat.ML
AdvDO: Realistic Adversarial Attacks for Trajectory Prediction
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NVIDIA(英伟达);California Institute of Technology(加州理工学院);Stanford University(斯坦福大学)
轨迹预测对于自动驾驶汽车(AV)规划正确和安全的驾驶行为至关重要。虽然许多先前的工作旨在实现更高的预测精度,但很少有人研究其方法的对抗鲁棒性。为了弥补这一差距,我们建议研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架,该框架利用精心设计的可微动态模型来生成逼真的对抗轨迹。从经验上讲,我们对最先进的预测模型的对抗鲁棒性进行了基准测试,并表明我们的攻击将一般指标和规划感知指标的预测误差增加了50%和37%以上。我们还表明,我们的攻击可以导致AV驾驶道路或碰撞到其他车辆的模拟。最后,我们演示了如何使用对抗训练方案来减轻对抗攻击。
2022-09-19 cs.AI cs.CR cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University(德克萨斯农工大学)
已经表明,深度神经网络(DNN)可能容易受到对抗攻击的攻击,这引起了人们对它们的鲁棒性的关注,特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性,我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说,我们提出了一种新的全局对抗性示例对的概念,其中每对两个示例彼此接近,但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法,并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外,我们证明了使用基于强投影梯度下降(PGD)的(局部)对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响,这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Downlink Power Allocation in Massive MIMO via Deep Learning: Adversarial Attacks and Training
Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校);Linköping University(林雪平大学)
深度学习(DL)在无线系统应用中的成功出现引发了人们对新的安全相关挑战的担忧。其中一个安全挑战是对抗攻击。虽然已经有很多工作证明了基于DL的分类任务对对抗攻击的敏感性,但从攻击的角度来看,迄今为止还没有研究无线系统背景下基于回归的问题。本文的目的是双重的:(i)我们考虑在无线环境中的回归问题,并表明对抗攻击可以打破基于DL的方法,(ii)我们分析了对抗训练作为对抗环境中的防御技术的有效性,并表明基于DL的无线系统对攻击的鲁棒性显着提高。具体而言,本文考虑的无线应用是基于DL的功率分配在下行链路的多小区大规模多输入多输出系统,其中攻击的目标是产生一个不可行的解决方案的DL模型。我们扩展了基于梯度的对抗攻击:快速梯度符号法(FGSM),动量迭代FGSM,和投影梯度下降方法来分析所考虑的无线应用程序的敏感性,并没有对抗训练。我们分析了深度神经网络(DNN)模型对这些攻击的性能,其中对抗性扰动是使用白盒和黑盒攻击来制作的。
2022-06-14 cs.AI cs.LG eess.SP
Adversarial attacks on Copyright Detection Systems
University of Maryland(马里兰大学)
众所周知,许多机器学习模型容易受到对抗攻击的影响,其中攻击者通过对输入进行小扰动来逃避分类器。本文讨论了工业版权检测工具,在网络上发挥核心作用,是如何容易受到对抗攻击。我们讨论了一系列的版权检测系统,以及为什么他们特别容易受到攻击。这些弱点对于基于神经网络的系统尤其明显。作为概念的证明,我们描述了一个著名的音乐识别方法,并实现该系统的神经网络的形式。然后我们使用简单的梯度方法攻击该系统。以这种方式创建的对抗性音乐成功地欺骗了工业系统,包括AudioTag版权检测器和YouTube的内容ID系统。我们的目标是提高人们对这一领域对抗性示例所构成威胁的认识,并强调加强版权检测系统对攻击的重要性。
2019-06-20 cs.CR cs.LG stat.ML
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
对抗性训练产生针对特定威胁模型的鲁棒模型,例如,$L_\infty$对抗性示例。通常,鲁棒性不会推广到以前看不见的威胁模型,例如,其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练(CCAT)通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例,鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性,并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估,我们开发了新的白盒和黑盒攻击,通过最大化置信度直接攻击CCAT。对于每种威胁模型,我们使用$7$攻击,最多$50$重启和$5000$迭代,并报告最坏情况下的鲁棒测试错误,扩展到我们的置信阈值设置,在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Cornell University(康奈尔大学)
深度学习模型很容易受到通过对良性输入施加人类无法感知的扰动而制作的对抗性示例的影响。然而,在黑箱设置下,大多数现有对手攻击其他防御模型的可转移性往往很差。在这项工作中,从将对抗性示例生成视为一个优化过程的角度出发,我们提出了两种新的方法来提高对抗性示例的可移植性,即Nesterov迭代快速梯度符号方法(NI-FGSM)和尺度不变攻击方法(SIM)。NI-FGSM旨在将Nesterov加速梯度适应于迭代攻击,以便有效地前瞻并提高对抗示例的可移植性。而SIM是基于我们对深度学习模型的尺度不变特性的发现,我们利用它来优化输入图像的尺度副本上的对抗性扰动,以避免白盒模型受到攻击的“过拟合”,并生成更多可转移的对抗性示例。NI-FGSM和SIM可以自然地集成,以构建一个强大的基于梯度的攻击,从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的实验结果表明,我们的攻击方法具有更高的可移植性,并且比最先进的基于梯度的攻击具有更高的攻击成功率。
2020-02-03 cs.CR cs.LG stat.ML
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
对抗攻击旨在混淆机器学习系统,同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究,表明像素$p$ -规范的任何$0\le p \le \infty$,和几个替代措施,包括推土机的距离,结构相似性指数,和深网嵌入,不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Sparse and Imperceivable Adversarial Attacks
University of Tübingen(图宾根大学)
神经网络已被证明易受各种对抗攻击的攻击。从安全的角度来看,高度稀疏的对抗攻击尤其危险。另一方面,稀疏攻击的像素级扰动通常很大,因此可以潜在地检测到。我们提出了一种新的黑盒技术来制作对抗性的例子,旨在最大限度地减少$l_0$距离原始图像。大量的实验表明,我们的攻击是更好的或竞争的最先进的。此外,我们可以集成额外的边界上的分量扰动。允许像素仅在高变化区域中变化,并避免沿轴对齐边缘的变化,这使得我们的对抗性示例几乎不可感知。此外,我们适应投影梯度下降攻击的$l_0$ -范数集成组件的约束。这使我们能够进行对抗训练,以增强分类器对稀疏和不可感知的对抗操作的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation(MITRE公司)
众所周知,机器学习(ML)模型容易受到对抗性输入的影响,研究人员已经证明,即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时,将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题:可以adversarially扰动输入归因于特定的方法来产生的攻击?换句话说,有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号?我们引入了对抗攻击归因的概念,并创建了一个简单的监督学习实验框架,以检查发现归因信号在对抗攻击的可行性。我们发现,在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
Optimal Cost Constrained Adversarial Attacks For Multiple Agent Systems
University of Iowa(爱荷华大学);University of California, Davis(加利福尼亚大学戴维斯分校)
针对分布式多智能体攻击场景,本文形式化了攻击者—受害方配对具有不同成本约束的最优智能体间对抗攻击问题,并结合静态资源分配与动态规划实现最优攻击。
2023-11-01 cs.AI cs.CR cs.LG
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford(牛津大学)
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中,受对抗可转移性的启发,我们提出了一种新的黑盒NLP对抗攻击,攻击者可以选择一个相似的域,并将对抗示例转移到目标域,导致目标模型的性能较差。基于领域自适应理论,我们提出了一种防御策略,称为Learn2Weight,它训练预测目标模型的权重调整,以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集,我们实证表明,与对抗性训练和防御蒸馏等标准黑盒防御方法相比,Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia(不列颠哥伦比亚大学)
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络,特别是对于大尺寸图像。然而,保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常,由于其令人不快的视觉质量,这种对抗性示例可以很容易地被发现,这在实践中损害了对抗攻击的威胁。在这项研究中,为了提高图像质量的黑盒对抗性的例子感知,我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说,我们允许对感知无关紧要的区域进行更高的扰动,而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动,我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换(DCT)域。由于所提出的攻击是独立的梯度估计,他们可以直接与现有的基于梯度的攻击。实验结果表明,与可比的攻击成功率(ASR),所提出的方法可以产生对抗性的例子,大大提高了视觉质量的免费。在感知质量相当的情况下,所提出的方法实现了更高的攻击成功率:特别是对于频率结构感知攻击,平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University(杜克大学);Hewlett Packard Labs(惠普实验室);Air Force Research Lab(美国空军研究实验室)
最近的一些研究表明,深度神经网络(DNN)很容易受到所谓的对抗攻击的攻击,其中输入示例被故意扰动以欺骗DNN。在这项工作中,我们重新审视了DNN训练过程,将对抗性示例包含到训练数据集中,以提高DNN对对抗攻击的弹性,即对抗性训练。我们的实验表明,不同的对抗强度,即,对抗性例子的扰动水平,有不同的工作区来抵抗攻击。在此基础上,提出了一种多强度对抗训练方法(MAT),该方法将具有不同对抗强度的对抗训练样本结合起来,以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发,以促进训练时间和内存占用之间的权衡。我们的研究结果表明,MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony(索尼)
最近的工作已经揭示了自动语音识别(ASR)模型对对抗性示例(AE)的脆弱性,即,在音频信号的转录中引起错误的小扰动。因此,研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展,但黑盒攻击仍然具有挑战性,因为只提供了传输的硬标签信息。由于这种有限的信息,现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中,我们介绍了NP-攻击,神经预测为基础的方法,逐步演变的搜索对一个小的对抗扰动。给定扰动方向,我们的神经预测器直接估计导致错误转录的最小扰动。特别是,它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明,NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击,而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Adversarial Machine Learning at Scale
Google Brain(谷歌大脑);OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型,允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程,以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止,对抗训练主要应用于小问题。在这项研究中,我们将对抗训练应用于ImageNet。我们的贡献包括:(1)关于如何成功地将对抗性训练扩展到大型模型和数据集的建议,(2)观察到对抗性训练赋予单步攻击方法鲁棒性,(3)发现多步攻击方法比单步攻击方法的可转移性更低,因此单步攻击是安装黑盒攻击的最佳方法,以及(4)“标签泄漏”效应的解决方案,该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好,因为对抗示例构建过程使用真实标签,并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Detection of Adversarial Attacks and Characterization of Adversarial Subspace
对抗攻击一直是任何数据驱动模型的严重威胁。在本文中,我们探索了酉向量域中对抗性样本的子空间,并提出了一种新的检测器来保护我们为环境声音分类训练的模型。我们测量弦的距离之间的合法和恶意表示的声音在酉空间的广义Schur分解,并表明他们的流形远离对方。我们的前端检测器是一个正则化的逻辑回归,它可以区分合法和对抗谱图的特征值。在三个以声谱图表示的环境声音基准数据集上的实验结果表明,该检测器对八种类型的对抗攻击具有较高的检测率,优于其他检测方法。
2019-10-26 cs.CR cs.LG cs.SD
Defending against Adversarial Malware Attacks on ML-based Android Malware Detection Systems
Zhejiang University(浙江大学);University College London(伦敦大学学院)
本文提出ADD框架,一种插件式防御方案,用于增强基于机器学习的Android恶意软件检测系统对问题空间对抗性攻击的鲁棒性,实验证明其有效且能提升现实防病毒软件的防御能力。
2025-01-23 cs.AI cs.CR cs.LG
Adversarial Attacks on Adversarial Bandits
Microsoft Azure AI(微软Azure人工智能);Amazon(亚马逊)
我们研究了一个对抗性多臂强盗的安全威胁,其中攻击者扰动损失或奖励信号来控制受害者强盗玩家的行为。我们表明,攻击者能够误导任何无悔对抗强盗算法选择一个次优的目标臂,但在每一个次线性(T-o(T))轮数,而只会产生次线性(o(T))的累积攻击成本。这一结果意味着在现实世界中基于强盗的系统中存在严重的安全问题,例如,在在线推荐中,攻击者可能能够劫持推荐系统并推销所需的产品。我们提出的攻击算法只需要知道的遗憾率,因此是不可知的受害者玩家所采用的具体的强盗算法。我们还推导出了一个理论上的下限的累积攻击成本,任何受害者不可知的攻击算法必须承担。下界与我们的攻击所达到的上界相匹配,这表明我们的攻击是渐进最优的。
2023-01-30 cs.CR cs.LG