Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo(富国银行)
我们提出了创建对抗攻击的算法,以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击,同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转,并且可以在黑盒设置中使用相同的规则。在黑盒设置中,创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
HotFlip: White-Box Adversarial Examples for Text Classification
University of Oregon(俄勒冈大学);Nanjing University(南京大学)
我们提出了一种有效的方法来生成白盒对抗性示例,以欺骗字符级神经分类器。我们发现,只需几个操作,大大降低了精度。我们的方法依赖于原子翻转操作,该操作基于独热输入向量的梯度将一个令牌交换为另一个令牌。由于我们方法的效率,我们可以进行对抗性训练,这使得模型在测试时对攻击更具鲁棒性。通过使用一些语义保留约束,我们证明了HotFlip也可以适应攻击单词级分类器。
2018-05-24 cs.CL cs.LG
A Random Ensemble of Encrypted Vision Transformers for Adversarially Robust Defense
Tokyo Metropolitan University(东京都立大学)
提出基于 ViT 的加密模型随机集成方法,在 CIFAR-10 和 ImageNet 上经 AutoAttack 测试,有效抵御白盒与黑盒攻击,并在 RobustBench 基准中超越传统防御。
2024-02-11 cs.AI
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Empirical evaluation of the Frank-Wolfe methods for constructing white-box adversarial attacks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skoltech
本文通过实证评估改进的Frank-Wolfe方法,用于构建神经网络的白盒对抗攻击,并与传统方法进行比较。
2025-12-11 cs.AI cs.LG
HogVul: Black-box Adversarial Code Generation Framework Against LM-based Vulnerability Detectors
HogVul通过整合词汇和语法扰动,利用粒子群优化策略提升对抗攻击效果,实验显示其在漏洞检测器攻击成功率上提升26.05%。
2026-01-09 cs.AI cs.CR
Single-Shot Black-Box Adversarial Attacks Against Malware Detectors: A Causal Language Model Approach
University of Arizona(亚利桑那大学);University of South Florida(南佛罗里达大学)
基于深度学习(DL)的恶意软件检测器越来越多地被用于网络安全中恶意行为的早期检测。然而,它们对对抗性恶意软件变体的敏感性引发了巨大的安全问题。防御者生成这种对抗性变体对于提高基于DL的恶意软件检测器对它们的抵抗力至关重要。这种必要性已经引起了机器学习研究的新兴流,对抗性恶意软件示例生成(AMG),其旨在生成保留给定恶意软件的恶意功能的规避性对抗性恶意软件变体。在AMG研究中,黑盒方法比白盒方法得到了更多的关注。然而,大多数黑盒AMG方法需要与恶意软件检测器进行多次交互,以生成对抗性恶意软件示例。鉴于大多数恶意软件检测器强制执行查询限制,这可能会导致生成不现实的对抗性示例,由于缺乏隐身性,这些示例在实践中可能会被检测到。在这项研究中,我们证明了一种新的基于DL的因果语言模型能够实现单发逃避(即,只有一个对恶意软件检测器的查询),这是通过将恶意软件可执行文件的内容作为字节序列处理并训练生成预训练Transformer(GPT)来实现的。我们提出的方法,MalGPT,显着优于领先的基准方法从VirusTotal获得的真实世界的恶意软件数据集,达到超过24.51%的规避率。MalGPT使网络安全研究人员能够通过模拟大规模的真实AMG来开发先进的防御能力。
2021-12-03 cs.AI cs.CR
MedAttacker: Exploring Black-Box Adversarial Attacks on Risk Prediction Models in Healthcare
The Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学);Amplitude(Amplitude公司)
深度神经网络(DNN)已被广泛用于健康风险预测,以提供医疗诊断和治疗。为了评估其鲁棒性,现有的研究进行对抗攻击在白/灰盒设置模型参数是可访问的。然而,更现实的黑盒对抗攻击被忽略了,即使大多数真实世界模型都是用私有数据训练的,并作为云上的黑盒服务发布。为了填补这一空白,我们提出了第一个黑盒对抗攻击方法对健康风险预测模型命名MedAttacker调查他们的脆弱性。MedAttacker通过两个步骤来解决EHR数据带来的挑战:分层位置选择,在强化学习(RL)框架中选择被攻击的位置;替代选择,使用基于分数的原则识别替代。特别地,通过考虑EHR内部的时间上下文,利用每次访问的贡献得分和每个代码的显著性得分来优化其RL位置选择策略,该策略可以很好地与由得分变化决定的确定性替代选择过程相结合。在实验中,MedAttacker始终达到最高的平均成功率,甚至在某些情况下,当在多个真实世界数据集的黑盒设置中攻击三个高级健康风险预测模型时,其性能甚至超过了最近的白盒EHR对抗攻击技术。此外,基于实验结果,我们还讨论了电子病历的防御对抗攻击。
2021-12-11 cs.AI cs.CR cs.LG
Adversarial Evaluation of Multimodal Models under Realistic Gray Box Assumption
Facebook AI(脸书人工智能研究院);Reddit(红迪网)
这项工作探讨了多模态(图像+文本)模型对抗性威胁的脆弱性,类似于以前的文献中讨论的单峰(图像或文本)模型。我们介绍了部分模型知识和访问的现实假设,并讨论了这些假设与当前对抗攻击文献中常见的标准“黑盒”/“白盒”二分法的不同。在这些“灰箱”假设的各个层次下工作,我们开发了新的攻击方法,独特的多模态分类和评估他们的仇恨模因挑战分类任务。我们发现,攻击多模态比单独的单峰攻击产生更强的攻击(在高达73%的情况下引起错误),并且我们探索的多模态分类器上的单峰图像攻击比基于字符的文本增强攻击更强(分别在45%和30%的情况下平均引起错误)。
2021-06-09 cs.AI cs.CR cs.CV
Multi-View Black-Box Physical Attacks on Infrared Pedestrian Detectors Using Adversarial Infrared Grid
University of Electronic Science and Technology of China(电子科技大学);China University of Petroleum-Beijing at Karamay(中国石油大学(北京)克拉玛依校区)
针对红外行人检测器物理对抗攻击多视角支持不足等问题,提出以网格建模扰动、遗传算法优化的AdvGrid方法,实现多视角黑盒物理攻击,在数字和物理环境均取得高攻击成功率,鲁棒性优于基线。
2024-07-08 cs.AI cs.CV
Semantic Adversarial Attacks on Face Recognition through Significant Attributes
Huazhong University of Science and Technology(华中科技大学);Zagazig University(扎加齐格大学)
众所周知,人脸识别容易受到对抗性人脸图像的影响。现有的作品工艺通过不加区别地改变单个属性而不知道图像的内在属性来面对对抗性图像。为此,我们提出了一种新的语义对抗攻击,称为SAA-StarGAN,篡改每个图像的重要面部属性。我们通过应用余弦相似性或概率得分来预测最重要的属性。概率得分方法基于训练用于属性预测任务的面部验证模型,以获得每个属性的类别概率得分。预测过程将有助于更轻松有效地制作对抗性人脸图像,并提高对抗性可移植性。然后,我们改变最重要的面部属性,在白盒和黑盒设置中使用一个或多个面部属性进行模仿和躲避攻击。实验结果表明,该方法可以生成多样性和真实感的对抗人脸图像,同时不影响人类对人脸识别的感知。SAA-StarGAN对黑盒模型的攻击成功率达到80.5%,在模拟攻击下比现有方法高出35.5%。在黑盒设置方面,SAA-StarGAN在各种型号上都有很高的攻击成功率。实验证实,预测最重要的属性显着影响对抗攻击在白盒和黑盒设置的成功,并可以提高制作的对抗示例的可移植性。
2023-01-28 cs.AI cs.CV
Vulnerability Disclosure through Adaptive Black-Box Adversarial Attacks on NIDS
University of Staffordshire(Staffs大学)
本文提出一种严格遵守黑盒约束的网络流量对抗攻击方法,利用变点检测和因果分析进行自适应特征选择,以低计算成本和极少交互有效规避检测,为开发鲁棒防御奠定基础。
2025-06-25 cs.AI cs.CR
Divide, Denoise, and Defend against Adversarial Attacks
Apple Inc.(苹果公司);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
深度神经网络虽然被证明是一类成功的机器学习算法,但已知对对抗性扰动非常不稳定。提高神经网络对这些攻击的鲁棒性非常重要,特别是对于安全关键型应用。为了抵御这种攻击,我们建议将输入图像分为多个补丁,独立地对每个补丁进行去噪,并重建图像,而不会丢失重要的图像内容。我们称这个方法为D3。这种防御机制是不可微的,这使得对手应用基于梯度的攻击是不平凡的。此外,我们没有使用对抗性示例对网络进行微调,使其对未知攻击更加强大。我们提出了一个分析的准确性和鲁棒性之间的权衡对对抗攻击。我们在黑盒,灰盒和白盒设置下评估我们的方法。在ImageNet数据集上,我们的方法在灰盒设置下的性能比最先进的方法高出19.7%,在黑盒设置下的性能更好。对于白盒设置,所提出的方法实现了34.4%的准确率相比,在最近的作品中报道的0%。
2019-04-25 cs.AI cs.CV
Red Teaming with Mind Reading: White-Box Adversarial Policies Against RL Agents
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Boston Children’s Hospital(波士顿儿童医院);Center for Brains, Minds, and Machines(大脑、心智与机器研究中心)
本研究提出白盒对抗性策略,利用目标智能体的内部状态识别漏洞,在2人游戏和语言模型中实现比黑盒更高的攻击性能。
2023-10-13 cs.AI cs.CR cs.LG
Patch of Invisibility: Naturalistic Physical Black-Box Adversarial Attacks on Object Detectors
Dept. of Computer Science, Ben-Gurion University of the Negev(本·古里安内盖夫大学计算机科学系);DeepKeep
针对现实世界中白盒攻击和全像素扰动不切实际的问题,本文提出无梯度、模型无关的 BBNP 算法,借助预训练 GAN 生成自然对抗补丁,并在多种检测器和攻击对比中达到黑盒最优表现。
2025-10-20 cs.AI cs.CV cs.NE
Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks
Warsaw University of Technology(华沙理工大学);Institute of Computer Science(计算机科学研究所)
该研究提出黑盒对抗攻击(BBAA)相关任务可作为高维全局优化基准,通过实验验证多种进化算法与元启发式算法解决BBAA问题的效率,助力全局优化方法适配现代机器学习需求。
2026-08-14 cs.AI cs.LG
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony(索尼)
最近的工作已经揭示了自动语音识别(ASR)模型对对抗性示例(AE)的脆弱性,即,在音频信号的转录中引起错误的小扰动。因此,研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展,但黑盒攻击仍然具有挑战性,因为只提供了传输的硬标签信息。由于这种有限的信息,现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中,我们介绍了NP-攻击,神经预测为基础的方法,逐步演变的搜索对一个小的对抗扰动。给定扰动方向,我们的神经预测器直接估计导致错误转录的最小扰动。特别是,它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明,NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击,而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Black-box Adversarial Attacks in Autonomous Vehicle Technology
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Southeast Missouri State University(东南密苏里州立大学)
尽管深度神经网络在现实应用中具有高质量的性能,但它们容易受到对抗攻击的轻微干扰。这在很大程度上是人类视觉无法察觉的。这种攻击的影响在具有实时“安全”问题的自动驾驶汽车中变得极其有害。黑盒对抗攻击会导致关键场景元素(如路标和交通灯)的严重错误分类,导致自动驾驶汽车撞上其他车辆或行人。在本文中,我们提出了一种新的基于查询的攻击方法,称为修改简单的黑盒攻击(M-SimBA),以克服使用白盒源传输为基础的攻击方法。此外,在一个简单的黑盒攻击(SimBA)的后期收敛的问题是通过最大限度地减少损失的最混乱的类,这是不正确的类预测的模型具有最高的概率,而不是试图最大化损失的正确的类。我们评估所提出的方法的德国交通标志识别基准(GTSRB)数据集的性能。我们表明,该模型优于现有的模型,如基于转移的投影梯度下降(T-PGD),SimBA的收敛时间,平坦化混淆类概率的分布,并产生对抗样本的真实类的信心最小。
2021-01-15 cs.AI cs.CV
SPADE: A Spectral Method for Black-Box Adversarial Robustness Evaluation
Stevens Institute of Technology(史蒂文斯理工学院);Cornell University(康奈尔大学)
提出了一种评估机器学习(ML)模型对抗鲁棒性的黑盒谱方法。我们的方法,命名为SPADE,利用双射距离映射之间的输入/输出图构造近似对应的输入/输出数据的流形。利用广义Courant-Fischer定理,提出了一种用于评估给定模型对抗鲁棒性的SPADE评分,并证明了该评分是流形环境下最佳Lipschitz常数的上界.为了揭示最不健壮的数据样本极易受到对抗攻击,我们开发了一个谱图嵌入过程,利用占主导地位的广义特征向量。这个嵌入步骤允许为每个数据样本分配一个鲁棒性分数,可以进一步利用该分数进行更有效的对抗训练。我们的实验表明,所提出的SPADE方法导致有前途的经验结果的神经网络模型,对抗训练的MNIST和CIFAR-10数据集。
2021-06-13 cs.AI cs.CV cs.LG
Superpixel Attack: Enhancing Black-box Adversarial Attack with Image-driven Division Areas
Graduate School of Mathematics, Kyushu University(九州大学数学研究生院);Institute of Mathematics for Industry, Kyushu University(九州大学工业数学研究所)
本文提出超像素攻击,通过使用超像素和通用搜索方法提升黑盒对抗攻击的成功率,平均提高2.10%。
2025-11-29 cs.AI cs.CR cs.CV
Hard-label based Small Query Black-box Adversarial Attack
Queen’s University Belfast(贝尔法斯特女王大学)
针对硬标签黑盒对抗攻击查询量过大的问题,提出由预训练代理模型引导优化的新方法,在多种架构上显著提升小查询预算下的攻击成功率。
2024-03-09 cs.AI cs.CV cs.LG
Counter-Samples: A Stateless Strategy to Neutralize Black Box Adversarial Attacks
Ben-Gurion University(本古里安大学)
提出一种无状态防御策略,通过针对每次黑盒查询优化反样本,误导攻击者搜索,保持模型精度,并在CIFAR-10和ImageNet上优于现有防御,且对强对抗者鲁棒。
2024-03-14 cs.AI cs.CR cs.LG
CE-based white-box adversarial attacks will not work using super-fitting
Zhengzhou University(郑州大学);Information Engineering University(信息工程大学)
深度神经网络由于其强大的性能而被广泛应用于各个领域。然而,最近的研究表明,深度学习模型容易受到对抗攻击的攻击,即,在输入中加入轻微的扰动将使模型得到错误的结果。这对于一些安全性要求较高的系统来说尤其危险,因此本文提出了一种新的防御方法,利用模型超拟合状态来提高模型的对抗鲁棒性(即,在对抗攻击下的准确性)。本文从数学上证明了超拟合的有效性,并通过最小化不相关类别得分(MUCS)使模型快速达到这种状态。理论上,超拟合可以抵抗任何现有的(甚至未来的)基于CE的白盒对抗攻击。此外,本文使用多种强大的攻击算法来评估超拟合的对抗鲁棒性,并将所提出的方法与最近会议上的近50种防御模型进行了比较。实验结果表明,本文的超拟合方法可以使训练后的模型获得最高的对抗鲁棒性。
2022-05-15 cs.AI cs.CR cs.LG
PhantomSound: Black-Box, Query-Efficient Audio Adversarial Attack via Split-Second Phoneme Injection
Michigan State University(密歇根州立大学)
本文提出PhantomSound,一种针对语音助手的查询高效黑盒音频对抗攻击方法,通过基于决策的攻击和优化梯度估计生成对抗样本,显著减少了查询次数,在真实场景中成功攻击多种商用设备并绕过活体检测。
2023-09-13 cs.AI cs.CR cs.HC
Defending against substitute model black box adversarial attacks with the 01 loss
New Jersey Institute of Technology(新泽西理工学院)
替代模型黑盒攻击可以通过访问目标模型的输出标签来为目标模型创建对抗性示例。这在实践中对机器学习模型提出了重大挑战,特别是在安全敏感的应用中。已知01损失模型比通常在实践中使用的凸模型对离群值和噪声更鲁棒。受这些属性的启发,我们提出了01损失线性和01损失双层神经网络模型作为对基于转移的替代模型黑盒攻击的防御。我们比较了针对我们的01损失模型的替代模型黑盒攻击的对抗性示例的准确性,以及在流行的图像基准上进行二进制分类的凸模型。我们的01损失双层神经网络在MNIST、CIFAR10、STL 10和ImageNet上的对抗准确率分别为66.2%、58%、60.5%和57%,而sigmoid激活的逻辑损失对应物的准确率分别为63.5%、19.3%、14.9%和27.6%。除了MNIST,凸对应物具有显著较低的对抗精度。我们展示了我们的模型在阻止交通标志和面部识别对抗攻击方面的实际应用。在GTSRB街道标志和CelebA面部检测上,我们的01损失网络分别具有34.6%和37.1%的对抗准确率,而凸逻辑对应的准确率分别为24%和1.9%。最后,我们证明了我们的01损失网络可以达到与简单的卷积神经网络相当的鲁棒性,并且即使在使用卷积网络替代模型进行攻击时也远高于其凸对应网络。我们的工作表明,01损失模型提供了一个强大的防御替代模型黑盒攻击。
2020-09-01 cs.AI cs.CR cs.CV
Hard No-Box Adversarial Attack on Skeleton-Based Human Action Recognition with Skeleton-Motion-Informed Gradient
Durham University(杜伦大学);University College London(伦敦大学学院);Xi’an Jiaotong University(西安交通大学)
针对基于骨架的动作识别,论文提出无需模型、训练数据或标签的严格无盒攻击,通过运动流形上的SMI梯度增强攻击,并验证其威胁性、迁移性与不可感知性。
2023-08-18 cs.AI cs.CV cs.LG
Meta-Learning the Search Distribution of Black-Box Random Search Based Adversarial Attacks
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学)
基于随机搜索机制的对抗攻击在黑盒鲁棒性评估方面取得了令人瞩目的成果。然而,正如我们在这项工作中所展示的,它们在不同的查询预算制度的效率取决于手动设计和启发式调整的基础建议分布。我们研究了如何通过基于攻击过程中获得的信息在线调整提案分布来解决这个问题。我们认为广场攻击,这是一个国家的最先进的基于分数的黑盒攻击,并证明其性能可以提高学习控制器,调整参数的建议分布在线攻击期间。我们在具有白盒访问的CIFAR10模型上使用基于梯度的端到端训练对控制器进行训练。我们证明,插入学习控制器的攻击一致提高其黑盒鲁棒性估计在不同的查询制度高达20%的广泛的不同模型与黑盒访问。我们进一步表明,学习的自适应原则可以很好地转移到其他数据分布,如CIFAR100或ImageNet以及目标攻击设置。
2021-11-22 cs.AI cs.CV cs.LG
Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries
Advanced Micro Devices, Inc.(超威半导体公司)
深度神经网络在计算机视觉应用中的广泛采用引起了人们对对抗鲁棒性的极大兴趣。现有的研究表明,专门为给定模型定制的恶意扰动输入(即,对抗性示例)可以成功地转移到另一个独立训练的模型以引起预测误差。此外,对抗性示例的这一特性被归因于从数据分布中的预测模式导出的特征。因此,我们有动力研究以下问题:对抗性防御,像对抗性示例一样,是否可以成功地转移到其他独立训练的模型中?为此,我们提出了一种基于深度学习的预处理机制,我们称之为鲁棒可转移特征提取器(RTFE)。在研究了理论动机和影响之后,我们通过实验证明了我们的方法可以为多个独立的预训练分类器提供对抗鲁棒性,否则这些分类器对自适应白盒对手无效。此外,我们还证明了RTFE甚至可以为在不同数据集上独立训练的模型提供一次性对抗鲁棒性。
2022-09-14 cs.AI cs.CR cs.LG
Privacy-preserving Universal Adversarial Defense for Black-box Models
School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院);City University of Hong Kong (CityU)(香港城市大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对黑盒模型缺乏通用防御且传统方法泄露隐私的问题,提出DUCD方法,通过查询蒸馏构建白盒替代模型,并结合随机平滑认证防御,实现通用鲁棒防御,性能优于现有黑盒防御且媲美白盒防御,同时增强隐私。
2024-08-20 cs.AI cs.CR cs.LG
Generalizing Adversarial Examples by AdaBelief Optimizer
Beijing Jiaotong University(北京交通大学)
最近的研究已经证明,深度神经网络(DNN)容易受到对抗性示例的攻击,添加了不可感知和精心设计的扰动的合法输入可以在测试阶段轻易地欺骗DNN。然而,大多数现有的对抗攻击很难欺骗经过对抗训练的模型。为了解决这个问题,我们提出了AdaBelief迭代快速梯度符号方法(AB-FGSM)来推广对抗性示例。通过将AdaBelief优化算法集成到I-FGSM中,我们相信,依靠AdaBelief优化器的强大泛化能力,对抗性示例的泛化能力将得到提高。为了验证我们提出的AB-FGSM生成的对抗性示例的有效性和可移植性,我们对各种单个模型和集成模型进行了白盒和黑盒攻击。与现有的攻击方法相比,该方法在白盒环境下能够有效地生成对抗性样本,并且传送率比现有攻击方法提高了7%-21%.
2021-01-25 cs.AI cs.CR cs.LG
Black-box Generation of Adversarial Text Sequences to Evade Deep Learning Classifiers
University of Virginia(弗吉尼亚大学)
虽然已经提出了各种技术来生成对抗样本,用于对文本的白盒攻击,但很少关注黑盒攻击,这是更现实的场景。在本文中,我们提出了一种新的算法DeepWordBug,可以在黑盒设置中有效地生成小的文本扰动,迫使深度学习分类器对文本输入进行错误分类。我们采用新的评分策略来识别关键的令牌,如果修改,导致分类器作出不正确的预测。简单的字符级转换应用于排名最高的令牌,以最小化扰动的编辑距离,但改变原始分类。我们在八个真实文本数据集上评估了DeepWordBug,包括文本分类、情感分析和垃圾邮件检测。我们将DeepWordBug的结果与两个基线进行比较:随机(黑盒)和梯度(白盒)。我们的实验结果表明,DeepWordBug降低了当前最先进的深度学习模型的预测准确性,包括Word-LSTM模型平均下降68%,Char-CNN模型平均下降48%。
2018-05-23 cs.CL cs.CR cs.IR
Efficient Black-box Adversarial Attacks via Bayesian Optimization Guided by a Function Prior
Tsinghua University(清华大学);JQ Investments(JQ投资);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);RealAI;Kaiyuan International Mathematical Sciences Institute(开源国际数学科学研究院)
本文提出先验引导的贝叶斯优化(P-BO)算法,利用替代白盒模型作为全局函数先验来提升黑盒对抗攻击的查询效率,并通过自适应集成策略优化先验权重,显著减少了查询次数并提高了攻击成功率。
2024-05-29 cs.AI cs.CR cs.CV
White-Box Target Attack for EEG-Based BCI Regression Problems
Huazhong University of Science and Technology(华中科技大学);University of California San Diego(加州大学圣地亚哥分校)
机器学习在许多应用中取得了巨大的成功,包括基于脑电图(EEG)的脑机接口(BCI)。不幸的是,许多机器学习模型容易受到对抗性示例的影响,这些示例是通过向原始输入添加故意设计的扰动来制作的。针对分类问题提出了许多对抗性攻击方法,但很少有人考虑针对回归问题的目标对抗攻击。本文提出了两个这样的方法。更具体地说,我们考虑针对回归问题的白盒目标攻击,其中我们知道关于要攻击的回归模型的所有信息,并且希望设计小的扰动来将回归输出改变预定量。两个BCI回归问题的实验验证了这两种方法的有效性。此外,从这两种方法生成的对抗性示例也是可转移的,这意味着我们可以使用从一个已知回归模型生成的对抗性示例来攻击一个未知回归模型,即,进行黑盒攻击据我们所知,这是第一个基于EEG的BCI回归问题的对抗攻击的研究,这需要更多的关注BCI系统的安全性。
2019-11-07 cs.AI cs.CR cs.LG
On Adversarial Examples for Character-Level Neural Machine Translation
University of Oregon(俄勒冈大学)
对抗性样本的评估已经成为衡量深度学习模型鲁棒性的标准程序。由于为离散文本输入创建白盒对抗示例的困难,大多数对NLP模型鲁棒性的分析都是通过黑盒对抗示例完成的。我们研究了字符级神经机器翻译(NMT)的对抗性示例,并将黑盒对手与一种新的白盒对手进行了对比,该白盒对手采用可区分的字符串编辑操作来对对抗性变化进行排名。我们提出了两种新的攻击类型,旨在删除或更改翻译中的单词,而不是简单地破坏NMT。我们证明,在不同的攻击场景中,白盒对抗性示例明显强于黑盒对抗性示例,这些攻击场景显示出比以前已知的更严重的漏洞。此外,在进行对抗性训练后,只需要比常规训练长3倍的时间,我们可以显着提高模型的鲁棒性。
2018-06-23 cs.AI cs.CL
Efficient Black-Box Adversarial Attacks on Neural Text Detectors
University of Twente(特温特大学)
该研究针对神经文本检测器,提出三种资源高效的黑盒对抗攻击策略修改GPT-3.5生成文本,实验证明参数调整与字符级变异效果显著,可在人类难以察觉的情况下使检测器误分类。
2023-11-03 cs.CL
Adjust-free adversarial example generation in speech recognition using evolutionary multi-objective optimization under black-box condition
Kagoshima University(鹿儿岛大学)
针对自动语音识别系统,本文提出一种黑盒对抗攻击方法,利用进化多目标优化生成对时间滞后鲁棒、无需调整播放时机的对抗样本。
2020-12-22 cs.CL cs.SD eess.AS
Adversarial Attacks on Spoofing Countermeasures of automatic speaker verification
The Chinese University of Hong Kong(香港中文大学);National Taiwan University(国立台湾大学)
ASVspoof 2019挑战赛中提出了用于自动说话人验证(ASV)的高性能欺骗对抗系统。然而,这种系统在对抗性攻击下的鲁棒性尚未得到研究。在本文中,我们研究了在白盒和黑盒对抗性攻击下ASV欺骗对策的脆弱性与快速梯度符号方法(FGSM)和投影梯度下降(PGD)方法。我们在ASVspoof 2019挑战赛中实施了高性能的对策模型,并对其进行对抗性攻击。我们比较了不同网络架构和不同数量的模型参数的欺骗对策模型的黑盒攻击的性能。实验结果表明,在白盒攻击场景下,所有实现的对策模型都容易受到FGSM和PGD攻击。实验结果也证明了更危险的黑盒攻击是有效的。
2019-10-19 cs.CL eess.AS
RTD-Guard: A Black-Box Textual Adversarial Detection Framework via Replacement Token Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
本文提出RTD-Guard框架,利用替换词检测器识别对抗样本,无需对抗数据或模型调优,仅需两次黑盒查询,有效检测多种先进攻击方法生成的对抗文本。
2026-03-13 cs.CL cs.CR
Generating Black-Box Adversarial Examples for Text Classifiers Using a Deep Reinforced Model
MIT Media Lab(麻省理工学院媒体实验室)
最近,生成对抗性示例已经成为衡量深度学习模型鲁棒性的重要手段。对抗性示例帮助我们识别模型的可验证性,并通过应用对抗性训练技术进一步对抗这些漏洞。在自然语言领域,拼写错误或释义形式的小扰动可以彻底改变文本的语义。我们提出了一种基于强化学习的方法,在黑盒设置中生成对抗性的例子。我们证明了我们的方法能够欺骗训练有素的模型(a)IMDB情感分类任务和(b)AG的新闻语料库新闻分类任务,成功率非常高。我们发现生成的对抗性示例是对原始文本的语义保持扰动。
2019-09-17 cs.CL cs.IR cs.LG
MIXPGD: Hybrid Adversarial Training for Speech Recognition Systems
Tsinghua University(清华大学);IDG/McGovern Institute of Brain Research(IDG/麦戈文脑科学研究院)
基于深度神经网络的自动语音识别(ASR)系统对对抗性扰动的抵抗力较弱。我们提出了mixPGD对抗训练方法来提高ASR系统模型的鲁棒性。在标准对抗训练中,对抗样本是通过利用监督或无监督方法生成的。我们在我们的方法中合并了监督和无监督方法的能力,以生成新的对抗样本,这有助于提高模型的鲁棒性。对各种最先进的防御方法和对抗攻击进行了广泛的实验和比较,结果表明,在白盒对抗攻击设置下,mixPGD比之前的最佳性能模型获得了4.1%的WER。我们测试了我们提出的针对白盒和基于传输的黑盒攻击设置的防御方法,以确保我们的防御策略能够抵御各种类型的攻击。对几种对抗攻击的实验结果验证了该方法的有效性。
2023-03-10 cs.CL cs.SD eess.AS