Query-limited Black-box Attacks to Classifiers
University of Virginia（弗吉尼亚大学）；EURECOM（欧洲通信学院）
我们研究了对机器学习分类器的黑盒攻击，其中对模型的每个查询都会给对手带来一些检测成本或风险。我们专注于明确的最小化查询的数量作为一个主要目标。具体来说，我们考虑的问题，攻击机器学习分类器的预算的功能修改成本，同时尽量减少查询的数量，其中每个查询只返回一个类和置信度得分。我们描述了一种方法，使用贝叶斯优化，以尽量减少查询的数量，并发现查询的数量可以减少到大约十分之一的数量需要通过随机策略的情况下，功能修改成本预算低。
2017-12-23 cs.CR cs.LG stat.ML
Black-box Adversarial Attacks with Limited Queries and Information
Massachusetts Institute of Technology（麻省理工学院）
当前基于神经网络的分类器即使在黑盒设置中也容易受到对抗性示例的影响，其中攻击者只能对模型进行查询访问。在实践中，现实世界系统的威胁模型通常比典型的黑盒模型更具限制性，在黑盒模型中，对手可以在任意多个选择的输入上观察网络的完整输出。我们定义了三个现实的威胁模型，更准确地描述了许多现实世界的分类：查询限制设置，部分信息设置，和标签设置。我们开发了新的攻击，在这些更严格的威胁模型下欺骗分类器，以前的方法是不切实际或无效的。我们证明了我们的方法在我们提出的威胁模型下对ImageNet分类器是有效的。我们还展示了针对商业分类器的有针对性的黑盒攻击，克服了有限的查询访问，部分信息和其他实际问题的挑战，以打破Google Cloud Vision API。
2018-07-11 cs.CR cs.CV stat.ML
Query Provenance Analysis: Efficient and Robust Defense against Query-based Black-box Attacks
针对基于查询的黑盒攻击，提出查询溯源分析（QPA）方法，通过封装查询间历史关系作为序列特征并设计动态管理算法，有效抵御自适应攻击，显著降低攻击成功率并大幅提升吞吐量。
2024-10-16 cs.CR
Protecting Against Image Translation Deepfakes by Leaking Universal Perturbations from Black-Box Neural Networks
Boston University（波士顿大学）
在这项工作中，我们开发了黑盒图像翻译deepfake生成系统的有效中断。我们是第一个通过展示最初为分类模型提出的攻击的图像翻译公式来展示黑盒deepfake生成中断的人。然而，一个天真的适应分类黑盒攻击的结果在一个令人望而却步的查询图像翻译系统在现实世界中。我们提出了一个令人沮丧的简单而高效的算法泄漏通用扰动（LUP），显着减少了攻击图像所需的查询数量。LUP包括两个阶段：（1）一个短暂的泄漏阶段，我们使用传统的黑盒攻击来攻击网络，并收集关于对小数据集的成功攻击的信息，以及（2）和一个利用阶段，我们利用所述信息来随后以更高的效率攻击网络。我们的攻击将攻击GANimation和StarGAN所需的查询总数减少了30%。
2020-06-11 cs.CR cs.CV cs.LG
Lower Bounds on Signatures from Symmetric Primitives
我们证明了每次构造的一次性签名方案从一个随机的预言机达到黑箱安全最多$2^{(1+o(1))q}$，其中$q$是总的甲骨文查询所要求的密钥生成，签名和验证算法。也就是说，任何这样的方案都可以被（计算上无界的）对手对oracle进行$2^{(1+o(1))q}$查询以接近$1$的概率破坏。这在查询的数量上是一个常数因子，因为对Lamport的一次性签名（Lamport '79）的简单修改使用对oracle的$q$查询来实现$2^{(0.812-o(1))q}$黑盒安全性。我们的结果还扩展到随机排列和理想密码预言机（查询数量中损失了一个常数因子）。由于对称基元（如分组密码、散列函数和消息认证码）可以通过对上述预言机的恒定数量的查询来构造，因此当构造是黑箱时，我们得到了由对称基元构造的签名方案的效率的下界.这可以被视为签名方案和对称原语之间固有的效率差距的证据。
2019-03-31 cs.CC cs.CR
GenAttack: Practical Black-box Attacks with Gradient-Free Optimization
UCLA（加州大学洛杉矶分校）；Cooper Union（库珀联盟学院）；IBM Research（IBM研究院）
深度神经网络很容易受到对抗性示例的攻击，即使在黑盒设置中，攻击者仅限于查询访问。现有的生成对抗性示例的黑盒方法通常需要大量的查询，用于训练替代网络或执行梯度估计。我们介绍GenAttack，一种无梯度优化技术，使用遗传算法在黑盒设置中合成对抗性的例子。我们在不同数据集（MNIST，CIFAR-10和ImageNet）上的实验表明，GenAttack可以成功地生成视觉上不可感知的对抗性示例，对抗最先进的图像识别模型，其查询数量级比以前的方法少。针对MNIST和CIFAR-10模型，GenAttack需要的查询分别比ZOO少大约2，126和2，568倍，ZOO是之前最先进的黑盒攻击。为了将攻击扩展到大规模的高维ImageNet模型，我们执行了一系列优化，进一步提高了我们攻击的查询效率，导致对Inception-v3模型的查询比ZOO少237倍。此外，我们还证明了GenAttack可以成功地攻击一些最先进的ImageNet防御，包括集成对抗训练和不可微或随机输入变换。我们的研究结果表明，进化算法开辟了一个有前途的研究领域，有效的黑盒攻击。
2019-07-01 cs.AI cs.CR cs.CV
Parsimonious Black-Box Adversarial Attacks via Efficient Combinatorial Optimization
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）
用投影梯度下降求解对抗性样本已被证明在欺骗基于神经网络的分类器方面非常有效。然而，在黑盒设置中，攻击者仅限于对网络的查询访问，并且解决成功的对抗性示例变得更加困难。为此，最近的方法旨在基于输入查询来估计真实的梯度信号，但以过多的查询为代价。我们提出了一个有效的离散替代的优化问题，不需要估计梯度，从而成为免费的一阶更新超参数调整。我们在Cifar-10和ImageNet上的实验显示了最先进的黑盒攻击性能，与最近提出的一些方法相比，所需的查询显着减少。源代码可在https://github.com/snu-mllab/parsimonious-blackbox-attack上获得。
2022-10-18 cs.CR cs.CV cs.LG
FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries
LINE Corporation（LINE公司）
迁移学习是一个有用的机器学习框架，它允许人们使用一个用大量数据预训练的强大模型（教师模型）来构建特定于任务的模型（学生模型），而不会显著增加训练成本。教师模型可以包含私有数据，或者与私有输入交互。我们调查是否可以泄漏或推断这样的私人信息，而不直接与教师模型进行交互。我们在人脸识别的背景下描述了这种推理攻击，这是一种对个人隐私高度敏感的迁移学习应用。在黑盒和现实环境下，我们证明了现有的推理技术是无效的，因为通过学生模型与单个训练实例进行交互不会透露有关教师的信息。然后，我们提出了新的策略来推断聚合级信息。因此，教师模型上的成员推断攻击被证明是可能的，即使对手只能访问学生模型。我们进一步证明，敏感的属性可以推断，即使在对手有有限的辅助信息的情况下。最后，对防御策略进行了讨论和评价。我们广泛的研究表明，信息泄漏是一个真正的隐私威胁的迁移学习框架广泛用于现实生活中的情况。
2020-10-27 cs.CR cs.LG stat.ML
PhantomSound: Black-Box, Query-Efficient Audio Adversarial Attack via Split-Second Phoneme Injection
Michigan State University（密歇根州立大学）
本文提出PhantomSound，一种针对语音助手的查询高效黑盒音频对抗攻击方法，通过基于决策的攻击和优化梯度估计生成对抗样本，显著减少了查询次数，在真实场景中成功攻击多种商用设备并绕过活体检测。
2023-09-13 cs.AI cs.CR cs.HC
SurFree: a fast surrogate-free black-box attack
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）
机器学习分类器极易受到规避攻击。对抗性样本是经过轻微修改的输入，然后被错误分类，同时在感知上保持与原始样本接近。在过去的几年里，黑盒攻击提交给目标分类器的查询数量显著减少，以伪造对手。这特别涉及基于黑盒分数的设置，其中攻击者可以访问最高的预测概率：查询量从数百万到不到一千。本文介绍了SurFree，这是一种几何方法，可以在最困难的设置中实现类似的查询量大幅减少：基于黑盒决策的攻击（只有前1个标签可用）。我们首先强调，该设置中的最新攻击，HSJA，QEBA和GeoDA都执行昂贵的梯度代理估计。SurFree建议绕过这些，而是专注于沿着不同方向的仔细试验，由分类器决策边界的几何特性的精确指示指导。我们激励这种几何方法之前，执行头对头的比较与以前的攻击的查询量作为一等公民。我们表现出更快的失真衰减低查询量（几百到一千），而在较高的查询预算保持竞争力。
2020-11-25 cs.AI cs.CR cs.CV
Rewriting the Budget: A General Framework for Black-Box Attacks Under Cost Asymmetry
University of Southern California（南加州大学）；EPFL（瑞士联邦理工学院）；Apple（苹果公司）
针对黑盒对抗攻击中查询成本不对称问题，提出含AS与AGREST的通用框架，通过改进搜索和梯度估计降低总成本并减小扰动。
2025-06-07 cs.AI cs.CR cs.CV
There are No Bit Parts for Sign Bits in Black-Box Attacks
USA（美国 (USA)）
我们提出了一个黑盒对抗攻击算法，它设置了新的国家的最先进的模型规避率查询效率的$\ell_\infty$和$\ell_2$指标，只有损失的oracle访问模型是可用的。在两个公开的黑盒攻击挑战中，该算法实现了最高的规避率，超过了所有提交的攻击。类似的性能上观察到的模型是安全的替代模型攻击。对于在MNIST、CIFAR 10和IMAGENET数据集上训练的标准模型，在数据集和指标上取平均值，该算法的故障率降低了3.8倍，并且在每次攻击尝试10，000次查询的预算下，比当前最先进的攻击组合少了2.5倍的查询。值得注意的是，它不需要超参数调整或任何数据/时间相关的先验。该算法利用了一种新的方法，即基于符号而不是基于幅度的梯度估计。这将估计从连续转移到二进制黑盒优化。利用方向导数的三个性质，我们研究了对抗攻击的三种方法。这产生了一个优越的算法，打破了标准的MNIST模型，平均只使用12个查询！
2019-04-03 cs.CR cs.LG stat.ML
GeoDA: a geometric framework for black-box adversarial attacks
North Carolina State University（北卡罗来纳州立大学）；ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
对抗性的例子被称为精心扰动的图像欺骗图像分类器。我们提出了一个几何框架来生成对抗性的例子，在最具挑战性的黑盒设置之一，对手只能生成少量的查询，每个查询返回分类器的顶部$1$标签。我们的框架是基于这样的观察，即深度网络的决策边界通常在数据样本附近具有较小的平均曲率。我们提出了一个有效的迭代算法来生成查询效率的黑盒扰动与小$\ell_p$规范$p \ge 1$，这是通过实验评估国家的最先进的自然图像分类器确认。此外，对于$p=2$，我们从理论上证明，我们的算法实际上收敛到最小的$\ell_2$ -扰动时的决策边界的曲率有界。我们还获得了最佳分布的查询的迭代算法。最后，实验结果证实，我们的原则性黑盒攻击算法的性能优于国家的最先进的算法，因为它产生较小的扰动，减少查询的数量。
2020-03-13 cs.CR cs.CV cs.LG
Query-Efficient Black-Box Attack by Active Learning
Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
深度神经网络（DNN）作为一种流行的机器学习模型，被发现容易受到对抗攻击的攻击。这种攻击通过向原始输入添加小的扰动来构建对抗性示例，虽然在人眼看来没有修改，但会被训练有素的分类器错误分类。在本文中，我们专注于黑盒攻击设置，攻击者几乎没有访问底层模型。为了进行黑盒攻击，一种流行的方法旨在基于从目标DNN查询的信息来训练替代模型。然后，可以使用现有的白盒攻击方法来攻击替代模型，并且生成的对抗性示例将用于攻击目标DNN。尽管其结果令人鼓舞，但这种方法的查询效率很差，即，攻击者通常需要查询大量的时间来收集足够的信息来训练准确的替代模型。为此，我们首先利用最先进的白盒攻击方法来生成查询样本，然后引入一个主动学习策略，以显着减少所需的查询数量。此外，我们还提出了一个多样性准则，以避免抽样偏差。在MNIST和CIFAR-10上的实验结果表明，该方法在保证攻击成功率的前提下，可以减少$90\%$以上的查询次数，并得到与目标oracle相似度大于$85\%$的准确替代模型.
2018-09-13 cs.CR cs.LG stat.ML
Reinforcement Learning Inspired Black-box Adversarial Attacks for Computer Vision
German Aerospace Center (DLR)（德国航空航天中心）
针对黑盒场景下神经网络易受扰动攻击的问题，提出基于强化学习的RIBA方法，通过少量查询生成对抗样本，在Cifar10和ImageNet上显著减少查询次数，并匹配白盒攻击性能。
2026-09-22 cs.CR cs.CV cs.LG
Discard the Dross and Select the Essential: Pre-query Sample Selection for Black-box Membership Inference Attacks
Wuhan University of Technology（武汉理工大学）；Bohai University（渤海大学）
针对黑盒成员推理攻击中样本成员信号不均匀导致查询浪费的问题，提出PSS-MIA框架，通过损失差排序（LGR）预选高信号样本，显著降低查询成本并提升攻击性能。
2026-06-29 cs.CR
Boundary Defense Against Black-box Adversarial Attacks
黑盒对抗攻击通过使用重复查询的迭代优化来生成对抗样本。保护深度神经网络免受此类攻击一直是一个挑战。在本文中，我们提出了一种有效的边界防御（BD）方法，该方法通过利用对抗性优化通常需要分类边界上的样本来减轻黑盒攻击。我们的方法检测的边界样本的分类置信度低，并添加白高斯噪声，他们的logits。从理论上分析了该方法对深度网络分类精度的影响。实验结果表明，该方法能够可靠地抵御软、硬标签黑盒攻击。它优于一系列现有的防御方法。对于IMAGENET模型，当分类置信度小于0.3时，通过将标准差为0.1的零均值高斯白噪声添加到logits，防御将攻击成功率降低到几乎为0，同时将分类准确性降低限制在1%左右。
2022-01-31 cs.CR
Query Efficient Cross-Dataset Transferable Black-Box Attack on Action Recognition
University of Central Florida（中佛罗里达大学）；University of Western Australia（西澳大利亚大学）；Indian Institute of Science（印度科学学院）
黑盒对抗攻击对动作识别系统构成了现实的威胁。现有的黑盒攻击遵循基于查询的方法，其中通过查询目标模型来优化攻击，或者基于传输的方法，其中使用替代模型生成攻击。虽然这些方法可以实现体面的愚弄率，前者往往是非常查询效率低下，而后者假设黑盒模型的训练数据的广泛知识。在本文中，我们提出了一种新的动作识别攻击，通过生成扰动来破坏由预训练的替代模型学习的特征，以减少查询次数，从而解决这些缺点。通过使用几乎不相交的数据集来训练替代模型，我们的方法去除了使用与目标模型相同的数据集来训练替代模型的要求，并且利用对目标模型的查询来保留基于查询的方法所提供的愚弄率优势。这最终导致比传统的黑盒攻击更具可转移性的攻击。通过大量的实验，我们证明了高查询效率的黑盒攻击与建议的框架。与最先进的基于查询和基于传输的攻击相比，我们的方法分别实现了8%和12%的欺骗率。
2022-11-23 cs.CR cs.CV
AdvMind: Inferring Adversary Intent of Black-Box Attacks
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）；Ant Financial（蚂蚁金融）；Hong Kong Polytechnic University（香港理工大学）
深度神经网络（DNN）本质上容易受到对抗攻击的影响，即使在黑盒设置下，对手也只能查询目标模型。在实践中，虽然可以有效地检测这种攻击（例如，观察大量相似但不相同的查询），准确地推断对手意图（例如，对手试图制造的敌对示例的目标类别），尤其是在攻击的早期阶段，这对于在许多情况下执行有效的威慑和补救威胁至关重要。在本文中，我们提出了AdvMind，一类新的估计模型，推断对手的意图，黑盒对抗攻击在一个强大的和及时的方式。具体来说，为了实现鲁棒检测，AdvMind考虑了对手的适应性，使得她隐藏目标的尝试将显著增加攻击成本（例如，在查询的数量方面）;为了实现及时的检测，AdvMind主动合成合理的查询结果，以从最大程度地暴露其意图的对手那里征求后续查询。通过对基准数据集和最先进的黑盒攻击进行广泛的实证评估，我们证明，在观察不到3个查询批次后，平均AdvMind检测对手意图的准确率超过75%，同时将自适应攻击的成本提高了60%以上。我们进一步讨论了AdvMind和其他防御方法对抗黑盒对抗攻击之间可能的协同作用，指出了几个有前途的研究方向。
2020-06-16 cs.CR cs.LG stat.ML
Lower Bounds on Black-Box Constructions of Pseudorandom Functions
Tel-Aviv University（特拉维夫大学）；Georgetown University（乔治城大学）；Ben-Gurion University（本-古里安大学）
该研究针对从伪随机生成器（PRG）到伪随机函数（PRF）的全黑盒构造，证明了其对PRG的非适应性调用次数的下界，且该结果适用于弱PRF，部分情况还涵盖适应性调用场景。
2026-08-17 cs.CR
MisGUIDE : Defense Against Data-Free Deep Learning Model Extraction
本文提出MisGUIDE两步防御框架，通过识别OOD查询并施加概率性扰动响应来破坏对抗性样本生成，从而在保持真实查询准确率的同时有效抵御黑盒无数据模型克隆攻击。
2024-03-27 cs.CR
Active Learning for Black-Box Adversarial Attacks in EEG-Based Brain-Computer Interfaces
Huazhong University of Science and Technology（华中科技大学）
深度学习在许多领域取得了重大突破，包括基于脑电图（EEG）的脑机接口（BCI）。然而，深度学习模型容易受到对抗攻击的攻击，在这种攻击中，故意设计的小扰动被添加到良性输入样本中，以欺骗深度学习模型并降低其性能。本文考虑基于可转移性的黑盒攻击，攻击者训练替代模型来近似目标模型，然后从替代模型生成对抗性示例来攻击目标模型。学习一个好的替代模型对于这些攻击的成功至关重要，但它需要对目标模型进行大量的查询。我们提出了一个新的框架，使用查询合成的主动学习，以提高查询效率的训练替代模型。在三个卷积神经网络（CNN）分类器和三个EEG数据集上的实验表明，我们的方法可以在相同查询次数的情况下提高攻击成功率，或者换句话说，我们的方法需要更少的查询来实现期望的攻击性能。据我们所知，这是第一个为基于EEG的BCI集成主动学习和对抗攻击的工作。
2019-11-07 cs.CR cs.HC cs.LG
Black-box Adversarial Attacks on Video Recognition Models
Fudan University（复旦大学）；The University of Melbourne（墨尔本大学）
深度神经网络（DNN）因其对对抗性示例的脆弱性而闻名。这些例子经历了小的，精心制作的扰动，并且可以很容易地欺骗DNN在测试时进行错误分类。到目前为止，对抗性研究领域主要集中在图像模型上，无论是在白盒设置下，对手都可以完全访问模型参数，还是在黑盒设置下，对手只能查询目标模型的概率或标签。虽然已经针对视频模型提出了几种白盒攻击，但黑盒视频攻击仍然未被探索。为了缩小这一差距，我们提出了第一个黑盒视频攻击框架，称为V-BAD。V-BAD利用从图像模型传输的试探性扰动，以及NES在试探性扰动的分区（补丁）上发现的基于分区的校正，以获得良好的对抗性梯度估计，同时对目标模型的查询较少。V-BAD等价于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集，我们证明了V-BAD可以制作无针对性和有针对性的攻击，以欺骗两个最先进的深度视频识别模型。对于有针对性的攻击，它只使用平均$3.4 \sim 8.4 \times 10^4$查询就达到了$>$ 93\%的成功率，这与最先进的黑盒图像攻击的查询数量相似。尽管事实上视频通常具有比静态图像高两个数量级的维度。我们相信V-BAD是一个很有前途的新工具，以评估和提高视频识别模型的鲁棒性，以黑盒对抗攻击。
2019-06-28 cs.CR cs.CV cs.LG
Query complexity of adversarial attacks
EPFL（洛桑联邦理工学院）
在对抗鲁棒性文献中考虑了两种主要的攻击模型：黑盒和白盒。我们将这些威胁模型视为细粒度频谱的两端，由对手可以询问的查询数量进行索引。使用这个观点，我们调查了对手需要多少查询来设计一个攻击，这是最好的可能的攻击在白盒模型。我们给出了一个下界的查询数量的分类器的决策边界的熵。使用这个结果，我们分析了两个经典的学习算法的两个合成任务，我们证明有意义的安全保证。得到的界限表明，一些学习算法本质上是更强大的查询有界的对手比其他人。
2021-02-10 cs.CR cs.LG cs.NE
Subspace Attack: Exploiting Promising Subspaces for Query-Efficient Black-box Attacks
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
与被广泛研究和容易获得的白盒对应物不同，黑盒设置中的对抗性示例通常更难估计梯度。许多方法通过向目标分类系统发出大量查询来实现该任务，这使得整个过程对系统来说是昂贵的和可疑的。在本文中，我们的目标是降低此类黑盒攻击的查询复杂性。我们建议利用梯度的几个参考模型，可以说跨越一些有前途的搜索子空间。实验结果表明，与现有技术相比，即使参考模型是在与训练受害者模型的数据集不相交的小而不充分的数据集上训练的，我们的方法也可以在所需的平均和中等数量的查询中获得高达2倍和4倍的减少，并且失败率要低得多。用于复制我们结果的代码和模型将公开提供。
2019-06-11 cs.CR cs.CV cs.LG
Making targeted black-box evasion attacks effective and efficient
Aalto University（阿尔托大学）
我们研究了对手如何在黑盒环境中最佳地使用其查询预算来针对深度神经网络进行有针对性的规避攻击。我们正式的问题设置和系统地评估对手可以获得什么好处，通过使用替代模型。我们发现，有一个探索开发权衡，查询效率是在成本的有效性。我们提出了两种使用替代模型的新攻击策略，并表明它们与之前的仅查询技术一样有效，但需要的查询数量少得多，多达三个数量级。我们还表明，敏捷的对手能够通过不同的攻击技术切换，可以实现帕累托最优效率。我们展示了我们对Google Cloud Vision的攻击，表明针对现实世界预测API的黑盒攻击的难度比以前想象的要容易得多（需要大约500个查询，而不是以前的大约20，000个查询）。
2019-06-08 cs.CR cs.LG stat.ML
Explain2Attack: Text Adversarial Attacks via Cross-Domain Interpretability
Clayton School of Information Technology, Monash University（莫纳什大学克莱顿信息技术学院）
为下游任务训练健壮的深度学习模型是一项关键挑战。研究表明，下游模型可以很容易地被看似训练数据的对抗性输入所欺骗，但会以人类无法察觉的方式受到轻微干扰。理解自然语言模型在这些攻击下的行为对于更好地保护这些模型免受此类攻击至关重要。在黑盒攻击设置中，无法访问模型参数，攻击者只能从目标模型中查询输出信息，以进行成功的攻击。当前的黑盒最先进的模型在计算复杂性和创建成功的对抗性示例所需的查询数量方面都是昂贵的。对于现实世界的场景，查询的数量是至关重要的，其中期望较少的查询以避免对攻击代理的怀疑。在本文中，我们提出了解释2攻击，黑盒对抗攻击的文本分类任务。而不是通过查询目标模型来搜索要扰动的重要单词，Explain2Attack采用了来自类似领域的可解释替代模型来学习单词重要性分数。我们表明，我们的框架要么达到或优于最先进的模型的攻击率，但具有较低的查询成本和更高的效率。
2021-01-16 cs.CR cs.LG
Q-FAKER: Query-free Hard Black-box Attack via Controlled Generation
College of Computing and Informatics（计算机与信息学院）；Sungkyunkwan University（全南大学）
针对硬黑盒场景下语言模型对抗攻击需大量查询、高训练成本的问题，提出无需访问目标模型的Q-faker方法，通过受控生成替代模型生成对抗样本，实现高效攻击且具高转移性与实用性。
2025-04-18 cs.AI cs.CL cs.CR
Feedback-Guided Extraction of Knowledge Base from Retrieval-Augmented LLM Applications
本文提出CopyBreakRAG，一种基于智能体的黑盒攻击方法，通过好奇心驱动的查询和反馈引导的查询优化，实现对RAG应用知识库的高效提取，在主流框架中提取率平均高出现有方法45%，在商业平台上可提取超70%的数据。
2025-08-08 cs.CR
LLM-Guided Program Evolution for Targeted Black-Box Attacks on Perceptual Hash Algorithms
MIPT（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）；Central University（中央大学）；AIRI（人工智能研究院）；MTUCI-Labs（莫斯科电信与信息技术大学实验室）
研究针对感知哈希算法的黑盒攻击，提出基于GigaEvo和OpenEvolve的进化框架，通过综合分数评估攻击性能，实验表明该方法在减少查询次数、降低L2失真方面优于现有基线，揭示了相关漏洞并推动鲁棒方案开发。
2026-07-14 cs.CR
Theoretically Principled Trade-off for Stateful Defenses against Query-Based Black-Box Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本研究针对有状态防御在攻击检测率与误报率之间的权衡问题，提供了理论刻画和特征提取器检测率上界，分析了其对黑盒攻击收敛性的影响，并通过多数据集实验验证了理论发现。
2023-07-30 cs.CR cs.LG
Restricted Black-box Adversarial Attack Against DeepFake Face Swapping
Sun Yat-sen University（中山大学）
DeepFake人脸交换对在线安全和社交媒体构成了重大威胁，它可以将任意照片/视频中的源人脸替换为完全不同的目标人脸。为了防止这种欺诈行为，一些研究人员已经开始研究对抗DeepFake或面部操纵的对抗方法。然而，现有的工作集中在白盒设置或黑盒设置驱动的丰富的查询，这严重限制了这些方法的实际应用。为了解决这个问题，我们引入了一个实用的对抗攻击，不需要任何查询的面部图像伪造模型。我们的方法是建立在一个替代模型上，然后将替代模型中的对抗性示例直接转移到无法访问的黑盒DeepFake模型。特别地，我们提出了可转移循环Advertisement生成对抗网络（TCA-GAN）来构建对抗扰动，以破坏未知的DeepFake系统。我们还提出了一个新的后正则化模块，用于增强生成的对抗性示例的可转移性。为了全面衡量我们方法的有效性，我们构建了一个具有挑战性的DeepFake对抗攻击基准，以供未来开发。大量的实验令人印象深刻地表明，所提出的对抗攻击方法使DeepFake人脸图像的视觉质量大幅下降，使它们更容易被人类和算法检测到。此外，我们证明，该算法可以推广到提供人脸图像保护，对各种人脸翻译方法。
2022-04-26 cs.CR cs.CV
Switching Transferable Gradient Directions for Query-Efficient Black-Box Adversarial Attacks
School of Software, BNRist, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心（BNRist））；Dept. of Comp. Sci. and Tech., BNRist Center, Institute for AI, THBI Lab, Tsinghua University（清华大学计算机科学与技术系、北京信息科学与技术国家研究中心（BNRist）中心、人工智能研究院、THBI实验室）
我们提出了一个简单的和高查询效率的黑盒对抗攻击命名为黑盒，它具有最先进的性能，在基于分数的设置。该方法的特点是高效和有效地利用代理模型$\hat{\mathbf{g}}$的梯度，输入图像，即，可转移梯度。在每一次迭代中，$\hat{\mathbf{g}}$首先尝试沿着$\hat{\mathbf{g}}$的方向更新当前样本，但是如果我们的算法检测到它没有增加攻击目标函数的值，则考虑切换到它的相反方向$-\hat{\mathbf{g}}$。我们证明了选择切换到相反的方向，由当地近似线性假设。该算法每次迭代只需要一个或两个查询，但由于可转移梯度提供了丰富的信息，因此仍然有效，从而产生了前所未有的查询效率。为了提高鲁棒性的搜索，我们进一步提出了搜索$_\text{RGF}$，其中更新遵循随机梯度自由（RGF）估计的方向时，无论是$\hat{\mathbf{g}}$，也不是它的相反方向可以增加的目标，同时保持搜索在查询效率方面的优势。在CIFAR-10、CIFAR-100和TinyImageNet上进行的实验结果表明，与其他方法相比，该方法使用更少的查询实现了令人满意的攻击成功率，而$_\text{RGF}$ $_\text{RGF}$在总体上使用更少的查询实现了最先进的攻击成功率。由于其简单性，我们的方法可以作为未来黑盒攻击的强大基线。PyTorch源代码发布在https://github…
2021-05-13 cs.CR cs.CV
Stateful Detection of Black-Box Adversarial Attacks
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
对抗性示例的问题，即对机器学习分类器的逃避攻击，已被证明非常难以解决。这是真实的，即使当分类器作为远程服务被托管时，如在许多实际设置中的情况，并且因此对手不具有对模型参数的直接存取。本文认为，在这种情况下，捍卫者有一个更大的行动空间比以前已经探索。具体来说，我们偏离了以前的工作，防御必须是一个无状态的功能，对个人的例子，并探讨有状态的防御的可能性。首先，我们开发了一种旨在检测对抗性示例生成过程的防御方法。通过保留过去查询的历史，防御者可以尝试识别何时查询序列似乎是为了生成对抗性示例。然后，我们介绍查询盲，一类新的攻击，旨在绕过依赖于这样的防御方法的防御。我们认为，将对抗性示例的研究从无状态分类器扩展到有状态系统，不仅对许多黑盒设置更现实，而且还为防御者提供了应对对手的急需优势。
2019-07-12 cs.CR cs.LG
Query-Efficient Black-Box Attack Against Sequence-Based Malware Classifiers
Ben-Gurion University of The Negev（本-古里安大学）
在本文中，我们提出了一个通用的，查询高效的黑盒攻击对基于API调用的机器学习恶意软件分类器。我们通过修改恶意软件的API调用序列和非顺序特征（可打印字符串）来生成对抗性示例，这些对抗性示例将被目标恶意软件分类器错误分类，而不会影响恶意软件的功能。与以前的研究相比，我们的攻击最大限度地减少了所需的恶意软件分类器查询的数量。此外，在我们的攻击中，攻击者必须只知道恶意软件分类器预测的类;攻击者对恶意软件分类器的置信度得分的了解是可选的。我们评估了针对各种恶意软件分类器架构进行攻击时的攻击效果，包括递归神经网络（RNN）变体、深度神经网络、支持向量机和梯度提升决策树。当分类器的置信度得分已知时，我们的攻击成功率约为98%，而当分类器的预测类已知时，攻击成功率为64%。我们实现了四个最先进的查询效率的攻击，并表明我们的攻击需要更少的查询和更少的知识，攻击模型的架构比其他现有的查询效率的攻击，使其实用的攻击基于云的恶意软件分类器以最小的成本。
2020-10-03 cs.CR cs.LG
On the Effectiveness of Small Input Noise for Defending Against Query-based Black-Box Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然深度神经网络在各种任务中表现出前所未有的性能，但对抗性示例的脆弱性阻碍了它们在安全关键系统中的部署。许多研究表明，即使在对手无法访问目标模型内部信息的黑盒环境中，攻击也是可能的。大多数黑盒攻击都是基于查询的，每个查询都获得目标模型的输出作为输入，最近的许多研究都集中在减少所需查询的数量上。在本文中，我们注意到基于查询的黑盒对抗攻击的一个隐含假设，即目标模型的输出与查询输入完全对应。如果在模型中引入一定的随机性，就可以打破这一假设，从而使得基于查询的攻击在其攻击过程的核心--梯度估计和局部搜索方面都面临极大的困难。从这个动机出发，我们观察到即使是很小的附加输入噪声也可以抵消大多数基于查询的攻击，并将这种简单而有效的方法命名为小噪声防御（SND）。我们分析了SND如何抵御基于查询的黑盒攻击，并使用CIFAR-10和ImageNet数据集证明了其对八种最先进攻击的有效性。在防御能力较强的情况下，SND几乎保持了原有的分类精度和计算速度。SND很容易应用于预先训练的模型，只需在推理时添加一行代码。
2021-11-08 cs.CR cs.CV cs.LG
A note on hyperparameters in black-box adversarial examples
University College London（伦敦大学学院）
自从Biggio et al.（2013）和Szegedy et al.（2013）第一次引起人们对对抗性例子的关注以来，已经有大量的研究来防御和攻击机器学习模型。然而，几乎所有提出的攻击都假设对模型的白盒访问。换句话说，攻击者被假设对模型的权重和架构有着完美的了解。有了这些内部知识，白盒攻击可以利用梯度信息来制作对抗性示例。黑盒攻击假设不知道模型的权重或架构。这些攻击使用仅包含在logits或硬分类标签中的信息来制作对抗性示例。在这里，我们假设攻击者可以使用logits来找到一个对抗性的例子。经验上，我们表明，双边随机梯度估计技术是不敏感的缩放参数，并可用于安装强大的黑盒攻击，需要相对较少的模型查询。
2018-11-15 cs.CR cs.LG
Certifiable Black-Box Attacks with Randomized Adversarial Examples: Breaking Defenses with Provable Confidence
University of Connecticut（康涅狄格大学）；Zhejiang University（浙江大学）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出带可证明攻击成功率保证的随机化对抗样本黑盒攻击，通过理论保证与低扰动制作技术，在视觉和语音任务上攻破多种 SOTA 防御。
2024-09-06 cs.CR cs.LG
Decision-based Black-box Attack Against Vision Transformers via Patch-wise Adversarial Removal
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）；School of Cyberspace Science and Technology（网络空间安全学院）；Beijing Institute of Technology（北京理工大学）；National Key Laboratory of Science and Technology on Information System Security（信息系统安全科学与技术国家重点实验室）
与卷积神经网络（CNN）相比，视觉变换器（ViT）表现出令人印象深刻的性能和更强的对抗鲁棒性。一方面，ViTs对个体块之间的全局交互的关注降低了图像的局部噪声敏感性。另一方面，现有的基于决策的攻击忽略了图像区域之间的噪声敏感度差异，进一步损害了噪声压缩的效率，特别是对于ViT。因此，当目标模型只能被查询时，验证ViTs的黑盒对抗鲁棒性仍然是一个具有挑战性的问题。在本文中，我们从理论上分析了现有的基于决策的攻击的局限性，从图像的区域之间的噪声敏感性差异的角度来看，并提出了一种新的基于决策的黑盒攻击ViTs，称为Patch-wise对抗性删除（PAR）。PAR通过由粗到细的搜索过程将图像划分为小块，并分别压缩每个小块上的噪声。PAR记录每个补丁的噪声幅度和噪声敏感度，并选择具有最高查询值的补丁进行噪声压缩。此外，PAR可以用作其他基于决策的攻击的噪声初始化方法，以提高ViT和CNN的噪声压缩效率，而无需引入额外的计算。在三个数据集上进行的大量实验表明，PAR在相同的查询次数下实现了更低的噪声幅度。
2022-09-15 cs.CR cs.CV
RTD-Guard: A Black-Box Textual Adversarial Detection Framework via Replacement Token Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
本文提出RTD-Guard框架，利用替换词检测器识别对抗样本，无需对抗数据或模型调优，仅需两次黑盒查询，有效检测多种先进攻击方法生成的对抗文本。
2026-03-13 cs.CL cs.CR
Explainable Black-Box Attacks Against Model-based Authentication
University of Florida（佛罗里达大学）
为人类和终端系统建立唯一的身份一直是安全社区中的一个活跃的研究问题，从而产生了基于创新机器学习的身份验证技术。虽然这些技术提供了一种自动化的方法来建立身份，但它们还没有经过针对其核心机器学习技术的复杂攻击的审查。本文证明了模仿主机指纹和生物特征认证系统生成的唯一签名是可能的。我们通过构建一个基于查询合成框架的盲攻击和利用可解释AI（XAI）技术，揭示了底层机器学习分类模型的无效性。我们在最先进的人脸认证系统上发起了不到130个查询的攻击，在主机认证系统上发起了不到100个查询的攻击。我们将研究如何防御这些攻击，并探索它们的局限性。XAI为对手提供了一种有效的手段来推断决策边界，并为使用机器学习模型进行身份验证来构建针对系统的攻击提供了一种新的方法。
2018-09-28 cs.AI cs.CR cs.LG
Efficient Decision-based Black-box Adversarial Attacks on Face Recognition
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；Hong Kong University of Science and Technology（香港科技大学）
近年来，由于深度卷积神经网络（CNN）的巨大改进，人脸识别取得了显著的进展。然而，深度CNN很容易受到对抗性示例的影响，这可能会在具有安全敏感目的的真实世界人脸识别应用中造成致命的后果。对抗攻击被广泛研究，因为它们可以在部署模型之前识别模型的脆弱性。在本文中，我们评估了最先进的人脸识别模型在基于决策的黑盒攻击环境中的鲁棒性，其中攻击者无法访问模型参数和梯度，但只能通过向目标模型发送查询来获取硬标签预测。这种攻击设置在现实世界的人脸识别系统中更实用。为了提高现有方法的效率，我们提出了一种进化攻击算法，该算法可以对搜索方向的局部几何形状进行建模，并降低了搜索空间的维数。大量的实验表明，该方法的有效性，诱导一个最小的扰动，以较少的查询输入的人脸图像。我们还应用所提出的方法来攻击一个真实世界的人脸识别系统成功。
2019-04-09 cs.CR cs.CV cs.LG
Generalizable Black-Box Adversarial Attack with Meta Learning
Tsinghua University（清华大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）；University of Electronic Science and Technology of China（电子科技大学）
在黑盒对抗攻击场景中，目标模型的参数是未知的，攻击者的目标是在一定的查询预算下，根据查询反馈找到一个成功的对抗性扰动。由于反馈信息的有限性，现有的基于查询的黑盒攻击方法往往需要多次查询才能攻击出一个良性样本。为了降低查询成本，我们建议利用历史攻击的反馈信息，称为示例级对抗性可转移性。具体而言，通过将对每个良性示例的攻击视为一项任务，我们通过训练元生成器来生成以良性示例为条件的扰动，从而开发了一个元学习框架。当攻击一个新的良性示例时，Meta生成器可以根据新任务的反馈信息以及一些历史攻击来快速微调，以产生有效的扰动。此外，由于元训练过程消耗许多查询来学习可泛化的生成器，我们利用模型级对抗性可移植性，在白盒代理模型上训练元生成器，然后将其转移到帮助攻击目标模型。所提出的具有两种对抗性可转移性的框架可以自然地与任何现成的基于查询的攻击方法相结合，以提高其性能，这已经通过大量的实验得到了验证。
2023-01-01 cs.CR cs.CV cs.LG
Model Inversion Attack against Transfer Learning: Inverting a Model without Accessing It
UTS（悉尼科技大学）；City University of Macau（澳门城市大学）；Zhejiang University（浙江大学）
迁移学习是一种生成预先训练好的教师模型的重要方法，教师模型可用于快速构建专业化的学生模型。然而，最近关于迁移学习的研究发现，它容易受到各种攻击，例如，错误分类和后门攻击。然而，目前还不清楚迁移学习是否容易受到模型反演攻击。对迁移学习方案发起模型反演攻击是具有挑战性的。学生模型不仅隐藏了其结构参数，而且对手也无法访问。因此，当针对学生模型时，现有模型反演攻击的白盒和黑盒版本都失败。白盒攻击失败，因为它们需要目标模型的参数。黑盒攻击失败，因为它们依赖于对目标模型进行重复查询。然而，它们可能并不意味着迁移学习模型不受模型反演攻击的影响。因此，在本文中，我们开始研究模型反演攻击迁移学习计划与两个新的攻击方法。两者都是黑盒攻击，适合不同的情况，不依赖于对目标学生模型的查询。在第一种方法中，对手拥有与教师模型的训练集共享相同分布的数据样本。在第二种方法中，对手没有任何这样的样本。实验表明，这两种方法都能恢复出高识别率的数据记录。这意味着即使模型是一个不可访问的黑盒子，它仍然可以被反转。
2022-03-13 cs.AI cs.CR
Towards Query Efficient Black-box Attacks: An Input-free Perspective
University of Technology Sydney（悉尼科技大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；JD AI Research（京东人工智能研究院）；The Chinese University of Hong Kong（香港中文大学）
最近的研究表明，深度神经网络（DNN）很容易受到对抗性攻击，即使在黑箱情况下也是如此。然而，现有的黑盒攻击算法大多需要进行大量的查询来执行攻击，这在现实世界中是不实用的。我们注意到大量查询的主要原因之一是要求对抗性示例在视觉上与原始图像相似，但在许多情况下，对抗性示例看起来如何并不重要。这启发了我们引入一种新的攻击称为\emph{input-free}攻击，在这种攻击下，对手可以选择一个任意的图像开始，并允许添加可感知的扰动。首先，我们用一个灰色图像初始化一个对抗性的例子，其中每个像素对目标模型的重要性大致相同。然后，我们通过扰动一个小区域并将其平铺以覆盖输入图像来缩小攻击空间的维度。为了使我们的算法更有效，我们稳定的动量投影梯度上升算法，也提出了一个启发式的方法来选择区域大小。通过大量的实验，我们表明，平均只有1，701个查询，我们可以在InceptionV3上以100%的成功率将灰色图像扰动到ImageNet的任何目标类。此外，我们的算法已经成功击败了两个真实世界的系统，Clarifai食品检测API和百度动物识别API。
2018-09-09 cs.CR cs.CV cs.LG
BruSLeAttack: A Query-Efficient Score-Based Black-Box Sparse Adversarial Attack
The University of Adelaide（阿德莱德大学）
本文研究基于分数的黑盒稀疏对抗攻击问题，提出了一种查询高效的贝叶斯算法BruSLeAttack，在ImageNet等任务上实现了最先进的攻击成功率和查询效率，有助于更快评估模型漏洞。
2024-06-01 cs.CR cs.LG
Geometrically Adaptive Dictionary Attack on Face Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
基于CNN的人脸识别模型带来了显着的性能改善，但它们容易受到对抗性扰动的影响。最近的研究表明，即使对手只能访问模型的硬标签输出，他们也可以欺骗模型。然而，由于需要许多查询来发现不可感知的对抗性噪声，因此减少查询的数量对于这些攻击至关重要。在本文中，我们指出了现有的基于决策的黑盒攻击的两个局限性。我们观察到它们浪费了背景噪声优化的查询，并且它们没有利用为其他图像生成的对抗性扰动。我们利用三维人脸对齐来克服这些限制，并提出了一个通用的策略，查询效率的黑盒攻击的人脸识别命名为几何自适应字典式攻击（GADA）。我们的核心思想是在UV纹理贴图中创建一个对抗性扰动，并将其投影到图像中的人脸上。该算法通过将扰动搜索空间限制在人脸区域内，并有效地回收以前的扰动，极大地提高了查询效率。我们将GADA策略应用于两种现有的攻击方法，并在LFW和CPLFW数据集上的实验中显示出压倒性的性能改善。此外，我们还提出了一种新的攻击策略，可以规避查询相似性为基础的状态检测，确定基于查询的黑盒攻击的过程。
2021-11-08 cs.CR cs.CV cs.LG
Prior Convictions: Black-Box Adversarial Attacks with Bandits and Priors
MIT（麻省理工学院(MIT)）
我们研究了在黑盒设置中生成对抗性示例的问题，在黑盒设置中，只有损失预言机访问模型可用。我们引入了一个框架，在概念上统一了许多现有的黑盒攻击的工作，我们证明了目前最先进的方法是最佳的自然意义上。尽管有这种最优性，我们展示了如何通过将一个新元素引入问题来改进黑盒攻击：梯度先验。我们给出了一个基于强盗优化的算法，使我们能够无缝集成任何这样的先验，我们明确地确定并纳入两个例子。由此产生的方法使用两到四倍少的查询和失败的两到五倍，比目前的最先进的。
2019-03-28 cs.CR cs.LG stat.ML
AutoZOOM: Autoencoder-based Zeroth Order Optimization Method for Attacking Black-box Neural Networks
University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东人工智能研究院）；National Taiwan University of Science and Technology（台湾科技大学）
最近的研究表明，当目标模型对攻击者透明时，由深度神经网络（DNN）训练的最先进的图像分类器中的对抗性示例可以很容易地生成，称为白盒设置。然而，当攻击部署的机器学习服务时，只能获取目标模型的输入输出对应关系;这就是所谓的黑盒攻击设置。现有的黑盒攻击的主要缺点是需要过多的模型查询，这可能会给一个错误的感觉模型的鲁棒性，由于低效的查询设计。为了弥合这一差距，我们提出了一个通用的框架查询效率的黑盒攻击。我们的框架AutoZOOM是Autoencoder-based Zeroth Order Optimization Method的缩写，它有两个新的构建模块来实现高效的黑盒攻击：（i）一个自适应随机梯度估计策略来平衡查询计数和失真，以及（ii）一个自动编码器，它可以使用未标记的数据进行离线训练，也可以使用双线性递归操作来加速攻击。实验结果表明，通过将AutoZOOM应用于最先进的黑盒攻击（ZOO），可以在不牺牲攻击成功率和所产生的对抗性示例的视觉质量的情况下显著减少模型查询。特别是，与标准的ZOO方法相比，AutoZOOM在MNIST、CIFAR-10和ImageNet数据集上找到成功的对抗性示例（或达到相同的失真水平）时，可以将平均查询计数持续减少至少93%，从而对对抗性鲁棒性产生了新的见解。
2020-01-31 cs.CR cs.CV stat.ML
DP-PQD: Privately Detecting Per-Query Gaps In Synthetic Data Generated By Black-Box Mechanisms
提出DP-PQD框架，在保证差分隐私的前提下，私密检测黑盒机制生成的合成数据与隐私数据集上计数、求和和中位数等聚合查询答案是否在用户指定阈值内，填补了合成数据缺乏逐查询质量保证的空白。
2023-09-15 cs.CR cs.DB
Efficient Black-box Adversarial Attacks via Bayesian Optimization Guided by a Function Prior
Tsinghua University（清华大学）；JQ Investments（JQ投资）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；RealAI；Kaiyuan International Mathematical Sciences Institute（开源国际数学科学研究院）
本文提出先验引导的贝叶斯优化（P-BO）算法，利用替代白盒模型作为全局函数先验来提升黑盒对抗攻击的查询效率，并通过自适应集成策略优化先验权重，显著减少了查询次数并提高了攻击成功率。
2024-05-29 cs.AI cs.CR cs.CV
Tree of Attacks: Jailbreaking Black-Box LLMs Automatically
Yale University（耶鲁大学）；Robust Intelligence；Google Research（谷歌研究院）
本研究提出带剪枝的攻击树（TAP）黑盒自动化越狱方法，通过攻击者LLM迭代优化提示并剪枝低成功率候选，在仅黑盒访问下以更少查询实现对GPT4-Turbo等主流及带防护LLM超80%的越狱成功率，显著超越现有黑盒方法。
2024-10-31 cs.AI cs.CL cs.CR
Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
基于分数的查询攻击（SQA）通过在数十个查询中制作对抗性扰动，仅使用模型的输出分数，对深度神经网络构成实际威胁。尽管如此，我们注意到，如果输出的损失趋势受到轻微干扰，SQA很容易被误导，从而变得不那么有效。根据这一思想，我们提出了一种新的防御，即攻击者的对抗攻击（AAA），混淆SQA对不正确的攻击方向，通过稍微修改输出logits。通过这种方式，（1）无论模型的最坏情况鲁棒性如何，都可以防止SQA;（2）原始模型预测几乎不会改变，即，不降低清洁精度;（3）同时可以改善置信度分数的校准。大量的实验提供了验证上述优点。例如，通过在CIFAR-10上设置$\ell_\infty=8/255$，我们提出的AAA帮助WideResNet-28在Square攻击（2500次查询）下获得80.59%的准确率，而最佳先验防御（即，对抗训练）仅达到67.44%。由于AAA攻击了SQA的一般贪婪策略，因此AAA相对于8种防御的优势可以在6个SQA下的8个CIFAR-10/ImageNet模型上一致地观察到，使用不同的攻击目标，边界，范数，损失和策略。此外，AAA校准更好，而不会损害准确性。我们的代码可在https://github.com/Sizhe-Chen/AAA上获得。
2022-12-16 cs.CR cs.LG
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度神经网络（DNN）在不同领域取得了显著的成功。然而，已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而，这些方法通常遭受低的成功率和大的查询计数，这不能完全满足实际目的。在本文中，我们提出了一种混合攻击方法，该方法在代理模型上训练Meta对抗扰动（MAP），并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化，随后训练任何黑盒攻击方法几个时期。此外，MAP具有良好的可移植性和通用性，在某种意义上，它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明，我们的方法不仅可以提高攻击成功率，但也减少了查询的数量相比，其他方法。
2022-03-28 cs.CR cs.CV cs.LG
