BinarySelect to Improve Accessibility of Black-Box Attack Research
Purdue University, Fort Wayne（普渡大学韦恩堡分校）
提出BinarySelect方法，结合二分搜索与攻击选取，将黑盒攻击中寻找首个token的查询次数从n降至log2(n)*2，在Yelp等数据集上以少量攻击有效性下降换取显著查询节省，提升资源受限下的攻击研究效率。
2024-12-13 cs.CL cs.CR
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Query Provenance Analysis: Efficient and Robust Defense against Query-based Black-box Attacks
针对基于查询的黑盒攻击，提出查询溯源分析（QPA）方法，通过封装查询间历史关系作为序列特征并设计动态管理算法，有效抵御自适应攻击，显著降低攻击成功率并大幅提升吞吐量。
2024-10-16 cs.CR
Evading Black-box Classifiers Without Breaking Eggs
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文指出基于决策的规避攻击中仅用总查询数衡量成本存在缺陷，因为被检测为“坏”的查询具有更高不对称成本，并设计了减少坏查询的新攻击，同时提出构建现实成本下更有效黑盒攻击的开放问题。
2024-02-14 cs.CR cs.LG stat.ML
Query-limited Black-box Attacks to Classifiers
University of Virginia（弗吉尼亚大学）；EURECOM（欧洲通信学院）
我们研究了对机器学习分类器的黑盒攻击，其中对模型的每个查询都会给对手带来一些检测成本或风险。我们专注于明确的最小化查询的数量作为一个主要目标。具体来说，我们考虑的问题，攻击机器学习分类器的预算的功能修改成本，同时尽量减少查询的数量，其中每个查询只返回一个类和置信度得分。我们描述了一种方法，使用贝叶斯优化，以尽量减少查询的数量，并发现查询的数量可以减少到大约十分之一的数量需要通过随机策略的情况下，功能修改成本预算低。
2017-12-23 cs.CR cs.LG stat.ML
Black-box Adversarial Attacks with Limited Queries and Information
Massachusetts Institute of Technology（麻省理工学院）
当前基于神经网络的分类器即使在黑盒设置中也容易受到对抗性示例的影响，其中攻击者只能对模型进行查询访问。在实践中，现实世界系统的威胁模型通常比典型的黑盒模型更具限制性，在黑盒模型中，对手可以在任意多个选择的输入上观察网络的完整输出。我们定义了三个现实的威胁模型，更准确地描述了许多现实世界的分类：查询限制设置，部分信息设置，和标签设置。我们开发了新的攻击，在这些更严格的威胁模型下欺骗分类器，以前的方法是不切实际或无效的。我们证明了我们的方法在我们提出的威胁模型下对ImageNet分类器是有效的。我们还展示了针对商业分类器的有针对性的黑盒攻击，克服了有限的查询访问，部分信息和其他实际问题的挑战，以打破Google Cloud Vision API。
2018-07-11 cs.CR cs.CV stat.ML
Protecting Against Image Translation Deepfakes by Leaking Universal Perturbations from Black-Box Neural Networks
Boston University（波士顿大学）
在这项工作中，我们开发了黑盒图像翻译deepfake生成系统的有效中断。我们是第一个通过展示最初为分类模型提出的攻击的图像翻译公式来展示黑盒deepfake生成中断的人。然而，一个天真的适应分类黑盒攻击的结果在一个令人望而却步的查询图像翻译系统在现实世界中。我们提出了一个令人沮丧的简单而高效的算法泄漏通用扰动（LUP），显着减少了攻击图像所需的查询数量。LUP包括两个阶段：（1）一个短暂的泄漏阶段，我们使用传统的黑盒攻击来攻击网络，并收集关于对小数据集的成功攻击的信息，以及（2）和一个利用阶段，我们利用所述信息来随后以更高的效率攻击网络。我们的攻击将攻击GANimation和StarGAN所需的查询总数减少了30%。
2020-06-11 cs.CR cs.CV cs.LG
Lower Bounds on Signatures from Symmetric Primitives
我们证明了每次构造的一次性签名方案从一个随机的预言机达到黑箱安全最多$2^{(1+o(1))q}$，其中$q$是总的甲骨文查询所要求的密钥生成，签名和验证算法。也就是说，任何这样的方案都可以被（计算上无界的）对手对oracle进行$2^{(1+o(1))q}$查询以接近$1$的概率破坏。这在查询的数量上是一个常数因子，因为对Lamport的一次性签名（Lamport '79）的简单修改使用对oracle的$q$查询来实现$2^{(0.812-o(1))q}$黑盒安全性。我们的结果还扩展到随机排列和理想密码预言机（查询数量中损失了一个常数因子）。由于对称基元（如分组密码、散列函数和消息认证码）可以通过对上述预言机的恒定数量的查询来构造，因此当构造是黑箱时，我们得到了由对称基元构造的签名方案的效率的下界.这可以被视为签名方案和对称原语之间固有的效率差距的证据。
2019-03-31 cs.CC cs.CR
GenAttack: Practical Black-box Attacks with Gradient-Free Optimization
UCLA（加州大学洛杉矶分校）；Cooper Union（库珀联盟学院）；IBM Research（IBM研究院）
深度神经网络很容易受到对抗性示例的攻击，即使在黑盒设置中，攻击者仅限于查询访问。现有的生成对抗性示例的黑盒方法通常需要大量的查询，用于训练替代网络或执行梯度估计。我们介绍GenAttack，一种无梯度优化技术，使用遗传算法在黑盒设置中合成对抗性的例子。我们在不同数据集（MNIST，CIFAR-10和ImageNet）上的实验表明，GenAttack可以成功地生成视觉上不可感知的对抗性示例，对抗最先进的图像识别模型，其查询数量级比以前的方法少。针对MNIST和CIFAR-10模型，GenAttack需要的查询分别比ZOO少大约2，126和2，568倍，ZOO是之前最先进的黑盒攻击。为了将攻击扩展到大规模的高维ImageNet模型，我们执行了一系列优化，进一步提高了我们攻击的查询效率，导致对Inception-v3模型的查询比ZOO少237倍。此外，我们还证明了GenAttack可以成功地攻击一些最先进的ImageNet防御，包括集成对抗训练和不可微或随机输入变换。我们的研究结果表明，进化算法开辟了一个有前途的研究领域，有效的黑盒攻击。
2019-07-01 cs.AI cs.CR cs.CV
Parsimonious Black-Box Adversarial Attacks via Efficient Combinatorial Optimization
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）
用投影梯度下降求解对抗性样本已被证明在欺骗基于神经网络的分类器方面非常有效。然而，在黑盒设置中，攻击者仅限于对网络的查询访问，并且解决成功的对抗性示例变得更加困难。为此，最近的方法旨在基于输入查询来估计真实的梯度信号，但以过多的查询为代价。我们提出了一个有效的离散替代的优化问题，不需要估计梯度，从而成为免费的一阶更新超参数调整。我们在Cifar-10和ImageNet上的实验显示了最先进的黑盒攻击性能，与最近提出的一些方法相比，所需的查询显着减少。源代码可在https://github.com/snu-mllab/parsimonious-blackbox-attack上获得。
2022-10-18 cs.CR cs.CV cs.LG
FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries
LINE Corporation（LINE公司）
迁移学习是一个有用的机器学习框架，它允许人们使用一个用大量数据预训练的强大模型（教师模型）来构建特定于任务的模型（学生模型），而不会显著增加训练成本。教师模型可以包含私有数据，或者与私有输入交互。我们调查是否可以泄漏或推断这样的私人信息，而不直接与教师模型进行交互。我们在人脸识别的背景下描述了这种推理攻击，这是一种对个人隐私高度敏感的迁移学习应用。在黑盒和现实环境下，我们证明了现有的推理技术是无效的，因为通过学生模型与单个训练实例进行交互不会透露有关教师的信息。然后，我们提出了新的策略来推断聚合级信息。因此，教师模型上的成员推断攻击被证明是可能的，即使对手只能访问学生模型。我们进一步证明，敏感的属性可以推断，即使在对手有有限的辅助信息的情况下。最后，对防御策略进行了讨论和评价。我们广泛的研究表明，信息泄漏是一个真正的隐私威胁的迁移学习框架广泛用于现实生活中的情况。
2020-10-27 cs.CR cs.LG stat.ML
PhantomSound: Black-Box, Query-Efficient Audio Adversarial Attack via Split-Second Phoneme Injection
Michigan State University（密歇根州立大学）
本文提出PhantomSound，一种针对语音助手的查询高效黑盒音频对抗攻击方法，通过基于决策的攻击和优化梯度估计生成对抗样本，显著减少了查询次数，在真实场景中成功攻击多种商用设备并绕过活体检测。
2023-09-13 cs.AI cs.CR cs.HC
SurFree: a fast surrogate-free black-box attack
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）
机器学习分类器极易受到规避攻击。对抗性样本是经过轻微修改的输入，然后被错误分类，同时在感知上保持与原始样本接近。在过去的几年里，黑盒攻击提交给目标分类器的查询数量显著减少，以伪造对手。这特别涉及基于黑盒分数的设置，其中攻击者可以访问最高的预测概率：查询量从数百万到不到一千。本文介绍了SurFree，这是一种几何方法，可以在最困难的设置中实现类似的查询量大幅减少：基于黑盒决策的攻击（只有前1个标签可用）。我们首先强调，该设置中的最新攻击，HSJA，QEBA和GeoDA都执行昂贵的梯度代理估计。SurFree建议绕过这些，而是专注于沿着不同方向的仔细试验，由分类器决策边界的几何特性的精确指示指导。我们激励这种几何方法之前，执行头对头的比较与以前的攻击的查询量作为一等公民。我们表现出更快的失真衰减低查询量（几百到一千），而在较高的查询预算保持竞争力。
2020-11-25 cs.AI cs.CR cs.CV
Rewriting the Budget: A General Framework for Black-Box Attacks Under Cost Asymmetry
University of Southern California（南加州大学）；EPFL（瑞士联邦理工学院）；Apple（苹果公司）
针对黑盒对抗攻击中查询成本不对称问题，提出含AS与AGREST的通用框架，通过改进搜索和梯度估计降低总成本并减小扰动。
2025-06-07 cs.AI cs.CR cs.CV
There are No Bit Parts for Sign Bits in Black-Box Attacks
USA（美国 (USA)）
我们提出了一个黑盒对抗攻击算法，它设置了新的国家的最先进的模型规避率查询效率的$\ell_\infty$和$\ell_2$指标，只有损失的oracle访问模型是可用的。在两个公开的黑盒攻击挑战中，该算法实现了最高的规避率，超过了所有提交的攻击。类似的性能上观察到的模型是安全的替代模型攻击。对于在MNIST、CIFAR 10和IMAGENET数据集上训练的标准模型，在数据集和指标上取平均值，该算法的故障率降低了3.8倍，并且在每次攻击尝试10，000次查询的预算下，比当前最先进的攻击组合少了2.5倍的查询。值得注意的是，它不需要超参数调整或任何数据/时间相关的先验。该算法利用了一种新的方法，即基于符号而不是基于幅度的梯度估计。这将估计从连续转移到二进制黑盒优化。利用方向导数的三个性质，我们研究了对抗攻击的三种方法。这产生了一个优越的算法，打破了标准的MNIST模型，平均只使用12个查询！
2019-04-03 cs.CR cs.LG stat.ML
GeoDA: a geometric framework for black-box adversarial attacks
North Carolina State University（北卡罗来纳州立大学）；ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
对抗性的例子被称为精心扰动的图像欺骗图像分类器。我们提出了一个几何框架来生成对抗性的例子，在最具挑战性的黑盒设置之一，对手只能生成少量的查询，每个查询返回分类器的顶部$1$标签。我们的框架是基于这样的观察，即深度网络的决策边界通常在数据样本附近具有较小的平均曲率。我们提出了一个有效的迭代算法来生成查询效率的黑盒扰动与小$\ell_p$规范$p \ge 1$，这是通过实验评估国家的最先进的自然图像分类器确认。此外，对于$p=2$，我们从理论上证明，我们的算法实际上收敛到最小的$\ell_2$ -扰动时的决策边界的曲率有界。我们还获得了最佳分布的查询的迭代算法。最后，实验结果证实，我们的原则性黑盒攻击算法的性能优于国家的最先进的算法，因为它产生较小的扰动，减少查询的数量。
2020-03-13 cs.CR cs.CV cs.LG
Query-Efficient Black-Box Attack by Active Learning
Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
深度神经网络（DNN）作为一种流行的机器学习模型，被发现容易受到对抗攻击的攻击。这种攻击通过向原始输入添加小的扰动来构建对抗性示例，虽然在人眼看来没有修改，但会被训练有素的分类器错误分类。在本文中，我们专注于黑盒攻击设置，攻击者几乎没有访问底层模型。为了进行黑盒攻击，一种流行的方法旨在基于从目标DNN查询的信息来训练替代模型。然后，可以使用现有的白盒攻击方法来攻击替代模型，并且生成的对抗性示例将用于攻击目标DNN。尽管其结果令人鼓舞，但这种方法的查询效率很差，即，攻击者通常需要查询大量的时间来收集足够的信息来训练准确的替代模型。为此，我们首先利用最先进的白盒攻击方法来生成查询样本，然后引入一个主动学习策略，以显着减少所需的查询数量。此外，我们还提出了一个多样性准则，以避免抽样偏差。在MNIST和CIFAR-10上的实验结果表明，该方法在保证攻击成功率的前提下，可以减少$90\%$以上的查询次数，并得到与目标oracle相似度大于$85\%$的准确替代模型.
2018-09-13 cs.CR cs.LG stat.ML
Reinforcement Learning Inspired Black-box Adversarial Attacks for Computer Vision
German Aerospace Center (DLR)（德国航空航天中心）
针对黑盒场景下神经网络易受扰动攻击的问题，提出基于强化学习的RIBA方法，通过少量查询生成对抗样本，在Cifar10和ImageNet上显著减少查询次数，并匹配白盒攻击性能。
2026-09-22 cs.CR cs.CV cs.LG
Query Efficient Cross-Dataset Transferable Black-Box Attack on Action Recognition
University of Central Florida（中佛罗里达大学）；University of Western Australia（西澳大利亚大学）；Indian Institute of Science（印度科学学院）
黑盒对抗攻击对动作识别系统构成了现实的威胁。现有的黑盒攻击遵循基于查询的方法，其中通过查询目标模型来优化攻击，或者基于传输的方法，其中使用替代模型生成攻击。虽然这些方法可以实现体面的愚弄率，前者往往是非常查询效率低下，而后者假设黑盒模型的训练数据的广泛知识。在本文中，我们提出了一种新的动作识别攻击，通过生成扰动来破坏由预训练的替代模型学习的特征，以减少查询次数，从而解决这些缺点。通过使用几乎不相交的数据集来训练替代模型，我们的方法去除了使用与目标模型相同的数据集来训练替代模型的要求，并且利用对目标模型的查询来保留基于查询的方法所提供的愚弄率优势。这最终导致比传统的黑盒攻击更具可转移性的攻击。通过大量的实验，我们证明了高查询效率的黑盒攻击与建议的框架。与最先进的基于查询和基于传输的攻击相比，我们的方法分别实现了8%和12%的欺骗率。
2022-11-23 cs.CR cs.CV
AdvMind: Inferring Adversary Intent of Black-Box Attacks
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）；Ant Financial（蚂蚁金融）；Hong Kong Polytechnic University（香港理工大学）
深度神经网络（DNN）本质上容易受到对抗攻击的影响，即使在黑盒设置下，对手也只能查询目标模型。在实践中，虽然可以有效地检测这种攻击（例如，观察大量相似但不相同的查询），准确地推断对手意图（例如，对手试图制造的敌对示例的目标类别），尤其是在攻击的早期阶段，这对于在许多情况下执行有效的威慑和补救威胁至关重要。在本文中，我们提出了AdvMind，一类新的估计模型，推断对手的意图，黑盒对抗攻击在一个强大的和及时的方式。具体来说，为了实现鲁棒检测，AdvMind考虑了对手的适应性，使得她隐藏目标的尝试将显著增加攻击成本（例如，在查询的数量方面）;为了实现及时的检测，AdvMind主动合成合理的查询结果，以从最大程度地暴露其意图的对手那里征求后续查询。通过对基准数据集和最先进的黑盒攻击进行广泛的实证评估，我们证明，在观察不到3个查询批次后，平均AdvMind检测对手意图的准确率超过75%，同时将自适应攻击的成本提高了60%以上。我们进一步讨论了AdvMind和其他防御方法对抗黑盒对抗攻击之间可能的协同作用，指出了几个有前途的研究方向。
2020-06-16 cs.CR cs.LG stat.ML
Active Learning for Black-Box Adversarial Attacks in EEG-Based Brain-Computer Interfaces
Huazhong University of Science and Technology（华中科技大学）
深度学习在许多领域取得了重大突破，包括基于脑电图（EEG）的脑机接口（BCI）。然而，深度学习模型容易受到对抗攻击的攻击，在这种攻击中，故意设计的小扰动被添加到良性输入样本中，以欺骗深度学习模型并降低其性能。本文考虑基于可转移性的黑盒攻击，攻击者训练替代模型来近似目标模型，然后从替代模型生成对抗性示例来攻击目标模型。学习一个好的替代模型对于这些攻击的成功至关重要，但它需要对目标模型进行大量的查询。我们提出了一个新的框架，使用查询合成的主动学习，以提高查询效率的训练替代模型。在三个卷积神经网络（CNN）分类器和三个EEG数据集上的实验表明，我们的方法可以在相同查询次数的情况下提高攻击成功率，或者换句话说，我们的方法需要更少的查询来实现期望的攻击性能。据我们所知，这是第一个为基于EEG的BCI集成主动学习和对抗攻击的工作。
2019-11-07 cs.CR cs.HC cs.LG
Black-box Adversarial Attacks on Video Recognition Models
Fudan University（复旦大学）；The University of Melbourne（墨尔本大学）
深度神经网络（DNN）因其对对抗性示例的脆弱性而闻名。这些例子经历了小的，精心制作的扰动，并且可以很容易地欺骗DNN在测试时进行错误分类。到目前为止，对抗性研究领域主要集中在图像模型上，无论是在白盒设置下，对手都可以完全访问模型参数，还是在黑盒设置下，对手只能查询目标模型的概率或标签。虽然已经针对视频模型提出了几种白盒攻击，但黑盒视频攻击仍然未被探索。为了缩小这一差距，我们提出了第一个黑盒视频攻击框架，称为V-BAD。V-BAD利用从图像模型传输的试探性扰动，以及NES在试探性扰动的分区（补丁）上发现的基于分区的校正，以获得良好的对抗性梯度估计，同时对目标模型的查询较少。V-BAD等价于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集，我们证明了V-BAD可以制作无针对性和有针对性的攻击，以欺骗两个最先进的深度视频识别模型。对于有针对性的攻击，它只使用平均$3.4 \sim 8.4 \times 10^4$查询就达到了$>$ 93\%的成功率，这与最先进的黑盒图像攻击的查询数量相似。尽管事实上视频通常具有比静态图像高两个数量级的维度。我们相信V-BAD是一个很有前途的新工具，以评估和提高视频识别模型的鲁棒性，以黑盒对抗攻击。
2019-06-28 cs.CR cs.CV cs.LG
Query complexity of adversarial attacks
EPFL（洛桑联邦理工学院）
在对抗鲁棒性文献中考虑了两种主要的攻击模型：黑盒和白盒。我们将这些威胁模型视为细粒度频谱的两端，由对手可以询问的查询数量进行索引。使用这个观点，我们调查了对手需要多少查询来设计一个攻击，这是最好的可能的攻击在白盒模型。我们给出了一个下界的查询数量的分类器的决策边界的熵。使用这个结果，我们分析了两个经典的学习算法的两个合成任务，我们证明有意义的安全保证。得到的界限表明，一些学习算法本质上是更强大的查询有界的对手比其他人。
2021-02-10 cs.CR cs.LG cs.NE
Making targeted black-box evasion attacks effective and efficient
Aalto University（阿尔托大学）
我们研究了对手如何在黑盒环境中最佳地使用其查询预算来针对深度神经网络进行有针对性的规避攻击。我们正式的问题设置和系统地评估对手可以获得什么好处，通过使用替代模型。我们发现，有一个探索开发权衡，查询效率是在成本的有效性。我们提出了两种使用替代模型的新攻击策略，并表明它们与之前的仅查询技术一样有效，但需要的查询数量少得多，多达三个数量级。我们还表明，敏捷的对手能够通过不同的攻击技术切换，可以实现帕累托最优效率。我们展示了我们对Google Cloud Vision的攻击，表明针对现实世界预测API的黑盒攻击的难度比以前想象的要容易得多（需要大约500个查询，而不是以前的大约20，000个查询）。
2019-06-08 cs.CR cs.LG stat.ML
Subspace Attack: Exploiting Promising Subspaces for Query-Efficient Black-box Attacks
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
与被广泛研究和容易获得的白盒对应物不同，黑盒设置中的对抗性示例通常更难估计梯度。许多方法通过向目标分类系统发出大量查询来实现该任务，这使得整个过程对系统来说是昂贵的和可疑的。在本文中，我们的目标是降低此类黑盒攻击的查询复杂性。我们建议利用梯度的几个参考模型，可以说跨越一些有前途的搜索子空间。实验结果表明，与现有技术相比，即使参考模型是在与训练受害者模型的数据集不相交的小而不充分的数据集上训练的，我们的方法也可以在所需的平均和中等数量的查询中获得高达2倍和4倍的减少，并且失败率要低得多。用于复制我们结果的代码和模型将公开提供。
2019-06-11 cs.CR cs.CV cs.LG
Q-FAKER: Query-free Hard Black-box Attack via Controlled Generation
College of Computing and Informatics（计算机与信息学院）；Sungkyunkwan University（全南大学）
针对硬黑盒场景下语言模型对抗攻击需大量查询、高训练成本的问题，提出无需访问目标模型的Q-faker方法，通过受控生成替代模型生成对抗样本，实现高效攻击且具高转移性与实用性。
2025-04-18 cs.AI cs.CL cs.CR
