RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg（卢森堡大学SnT分校）；Luxembourg Institute of Health（卢森堡健康研究院）
RobustBlack研究了黑盒攻击对最新防御措施的挑战，发现高级攻击对简单模型效果有限，而优化的鲁棒模型对黑盒攻击更具抵抗力，且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Visual Prompting for Adversarial Robustness
Michigan State University（密歇根州立大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Fraunhofer Center of Machine Learning（弗劳恩霍夫机器学习中心）；IBM Research（IBM研究院）
针对原始视觉提示方法对抗防御效果差的问题，提出类别级对抗视觉提示方法C-AVP，通过生成类别级提示优化关联提升鲁棒性，准确率与推理速度均显著优于现有方法。
2023-05-01 cs.CR cs.CV cs.LG
Blocking Transferability of Adversarial Examples in Black-Box Learning Systems
University of Washington（华盛顿大学）
机器学习（ML）的进步使其成为许多应用中不可或缺的组成部分，包括银行、医疗诊断和无人驾驶汽车。为了进一步扩大ML模型的使用，微软、亚马逊、谷歌和其他公司提供的基于云的服务已经开发了ML即服务工具作为黑盒系统。然而，ML分类器很容易受到对抗性示例的影响：被恶意修改的输入可能会导致分类器提供对抗性的输出。此外，众所周知，在一个分类器上生成的对抗性示例可能会导致另一个分类器犯同样的错误，即使分类器具有不同的架构或在不相交的数据集上进行训练。这种属性被称为可转移性，它通过在替代分类器上生成对抗性示例并将示例转移到目标分类器来攻击黑盒系统。因此，保护黑盒学习系统免受对抗性样本攻击的关键是阻止它们的可移植性。为此，我们提出了一种训练方法，当输入受到更多干扰时，分类器平滑地输出对原始标签的较低置信度，而是预测输入是“无效的”。从本质上讲，我们用NULL标签来增加输出类集，并训练分类器通过将它们分类为NULL来拒绝对抗性示例。在实验中，我们在黑盒系统上应用了基于对抗性示例的广泛攻击。我们表明，使用所提出的方法训练的分类器可以有效地抵抗对抗性示例，同时保持对干净数据的准确性。
2017-03-13 cs.LG
Delving into Transferable Adversarial Examples and Black-box Attacks
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of the California, Berkeley（加州大学伯克利分校）
深度神经网络的一个有趣特性是存在对抗性的例子，这些例子可以在不同的架构之间转移。这些可转移的对抗性示例可能会严重阻碍基于深度神经网络的应用。以往的工作主要是研究小规模数据集的可移植性。在这项工作中，我们是第一个对大型模型和大规模数据集的可转移性进行广泛研究的人，我们也是第一个研究目标对抗性示例及其目标标签的可转移性的人。我们研究了非有针对性和有针对性的对抗性示例，并表明虽然可转移的非有针对性的对抗性示例很容易找到，但使用现有方法生成的有针对性的对抗性示例几乎从不转移其目标标签。因此，我们提出了新的基于集合的方法来生成可转移的对抗性示例。使用这种方法，我们观察到很大一部分有针对性的对抗性示例能够首次使用其目标标签进行转移。我们还提出了一些几何研究，以帮助理解可转移的对抗性示例。最后，我们证明了使用基于集成的方法生成的对抗性示例可以成功攻击Clarifai.com，这是一个黑盒图像分类系统。
2017-02-07 cs.LG
Learn2Weight: Parameter Adaptation against Similar-domain Adversarial Attacks
University of Oxford（牛津大学）
针对NLP系统的黑盒对抗攻击最近的工作引起了广泛的关注。以前的黑盒攻击假设攻击者可以根据选定的输入观察目标模型的输出标签。在这项工作中，受对抗可转移性的启发，我们提出了一种新的黑盒NLP对抗攻击，攻击者可以选择一个相似的域，并将对抗示例转移到目标域，导致目标模型的性能较差。基于领域自适应理论，我们提出了一种防御策略，称为Learn2Weight，它训练预测目标模型的权重调整，以抵御相似领域对抗性示例的攻击。使用Amazon多域情感分类数据集，我们实证表明，与对抗性训练和防御蒸馏等标准黑盒防御方法相比，Learn2Weight对攻击是有效的。这项工作有助于增加机器学习安全性的文献。
2022-09-20 cs.LG
Merlin's Whisper: Enabling Efficient Reasoning in Large Language Models via Black-box Persuasive Prompting
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）；Sea AI Lab（Sea AI实验室）；Peking University（北京大学）
本文提出Whisper框架，通过黑盒说服提示减少大语言模型（LRM）的推理过程中的token使用量，同时保持性能，展示了在多个基准测试中显著的token减少效果。
2026-05-17 cs.CL cs.LG
Ownership Verification of DNN Models Using White-Box Adversarial Attacks with Specified Probability Manipulation
Graduate School of Information Sciences（信息科学研究生学校）；Center for Data-driven Science and Artificial Intelligence（数据驱动科学与人工智能中心）；Tohoku University（东北大学）
本研究提出一种基于带指定概率操控的白盒对抗攻击的DNN模型所有权验证框架，可在灰盒场景下无需出示原始模型即可验证模型身份，经实验证实有效。
2025-07-30 cs.LG
CAAD 2018: Powerful None-Access Black-Box Attack Based on Adversarial Transformation Network
USTC（中国科学技术大学）
在本文中，我们提出了一种改进的对抗转换网络（ATN）来生成对抗示例，它可以欺骗白盒模型和黑盒模型，具有最先进的性能，并在CAAD 2018中获得了非目标任务的第二名。
2018-11-03 cs.LG stat.ML
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models
Rishit Chugh（独立研究者）
RECAP提出一种无需重新训练的高效对抗性提示方法，通过匹配预训练对抗性提示数据库，降低计算成本并提升攻击成功率。
2026-01-20 cs.AI cs.CL cs.CR
A note on hyperparameters in black-box adversarial examples
University College London（伦敦大学学院）
自从Biggio et al.（2013）和Szegedy et al.（2013）第一次引起人们对对抗性例子的关注以来，已经有大量的研究来防御和攻击机器学习模型。然而，几乎所有提出的攻击都假设对模型的白盒访问。换句话说，攻击者被假设对模型的权重和架构有着完美的了解。有了这些内部知识，白盒攻击可以利用梯度信息来制作对抗性示例。黑盒攻击假设不知道模型的权重或架构。这些攻击使用仅包含在logits或硬分类标签中的信息来制作对抗性示例。在这里，我们假设攻击者可以使用logits来找到一个对抗性的例子。经验上，我们表明，双边随机梯度估计技术是不敏感的缩放参数，并可用于安装强大的黑盒攻击，需要相对较少的模型查询。
2018-11-15 cs.CR cs.LG
Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?
本文提出CAC方法，通过知识蒸馏和搜索空间收缩，在固定迭代次数内证明性地计算黑盒模型的对抗性示例，并在ImageNet数据集上优于现有方法。
2026-03-12 cs.AI cs.LG
Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN
Peking University（北京大学）
近年来，机器学习已被用于检测新的恶意软件，而恶意软件作者具有攻击此类算法的强烈动机。恶意软件作者通常无法访问恶意软件检测系统使用的机器学习模型的详细结构和参数，因此他们只能执行黑盒攻击。本文提出了一种基于生成对抗网络（GAN）的算法MalGAN来生成对抗恶意软件示例，该示例能够绕过基于黑盒机器学习的检测模型。MalGAN使用替代检测器来适应黑盒恶意软件检测系统。生成网络被训练以最小化由替代检测器预测的生成的对抗性示例的恶意概率。与传统的基于梯度的对抗性示例生成算法相比，MalGAN的优势在于，MalGAN能够将检测率降低到几乎为零，并且使基于再训练的对抗性示例防御方法难以工作。
2017-02-20 cs.CR cs.LG
Robust Adaptation of Foundation Models with Black-Box Visual Prompting
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Seoul（首尔市立大学）；Yonsei University（延世大学）；University of Washington（华盛顿大学）
本文提出BlackVIP方法，通过协调器和SPSA-GC组件实现无需模型参数的PTM适应，通过实验展示其在不同领域和任务中的鲁棒性，同时提供理论分析支持视觉提示方法的鲁棒性。
2026-04-03 cs.CV cs.LG
The Meta-Prompting Protocol: Orchestrating LLMs via Adversarial Feedback Loops
Zhejiang University（浙江大学）
元提示协议通过对抗反馈循环构建可编程自优化系统，解决LLM在关键任务中的确定性保证问题。
2025-12-17 cs.AI cs.CL cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
Improving Query Efficiency of Black-box Adversarial Attack
Tsinghua Berkeley Shenzhen Institute, Tsinghua University（清华大学清华伯克利深圳学院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信与安全研究中心（PCL））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shanghai Jiao Tong University（上海交通大学）；vivo AI Lab（vivo人工智能实验室）
深度神经网络（DNN）在各种任务上表现出了出色的性能，但它们面临着对抗性示例的风险，当攻击者可以访问目标模型时（白盒设置），这些示例可以很容易地生成。由于大量的机器学习模型已经通过在线服务部署，这些服务只提供来自不可访问模型的查询输出（例如Google Cloud Vision API 2），因此黑盒对抗攻击（不可访问的目标模型）在实践中是关键的安全问题，而不是白盒。然而，现有的基于查询的黑盒对抗攻击往往需要过多的模型查询来维持高的攻击成功率。因此，为了提高查询效率，本文利用神经过程表征的图像结构信息，探索良性输入周围的对抗性样本分布，提出了一种基于神经过程的黑盒对抗攻击（NP-Attack）。大量的实验表明，NP攻击可以大大减少黑盒设置下的查询次数。
2020-09-25 cs.LG stat.ML
Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa人工智能）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是仅基于仅限于输出标签~（硬标签）到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例，避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST，CIFAR-10和ImageNet的有效性，证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比，我们提出的方法始终实现了2倍到10倍的攻击成功率，同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Black-box Adversarial Attacks with Bayesian Optimization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；CMU（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是生成对抗的例子使用的信息仅限于输入输出对的损失函数评估。我们使用贝叶斯优化~（BO），专门迎合涉及低查询预算的情况下，开发查询有效的对抗攻击。我们通过有效的维度上采样技术来缓解围绕BO的关于优化高维深度学习模型的问题。我们所提出的方法实现了最先进的黑盒对抗攻击的性能相媲美，虽然有一个低得多的平均查询计数。特别是，在低查询预算制度，我们提出的方法减少查询计数高达$80\%$相对于最先进的方法。
2019-09-30 cs.LG stat.ML
Black-Box Adversarial Attack with Transferable Model-based Embedding
The Hong Kong University of Science and Technology（香港科技大学）
提出了一种新的黑盒对抗攻击方法。与以前通过使用梯度或代理白盒模型的初始化将基于转移和基于评分的方法结合起来的方法不同，这种新方法尝试使用预训练模型学习低维嵌入，然后在嵌入空间内执行有效搜索以攻击未知目标网络。该方法产生对抗扰动与高层次的语义模式，很容易转移。我们表明，这种方法可以大大提高查询效率的黑盒对抗攻击在不同的目标网络架构。我们在MNIST，ImageNet和Google Cloud Vision API上评估了我们的方法，从而显着减少了查询数量。我们还在CIFAR10和ImageNet上攻击了对抗防御网络，我们的方法不仅减少了查询次数，还提高了攻击成功率。
2020-01-05 cs.LG stat.ML
Black-box Certification and Learning under Adversarial Perturbations
McMaster University（麦克马斯特大学）；Scotiabank（丰业银行）；York University（约克大学）
我们从学习者的角度以及第三方的目的是证明给定的黑盒分类器的鲁棒性，正式研究了对抗扰动下的分类问题。我们分析了半监督学习的PAC型框架，并确定了在这种情况下正确学习VC类的可能性和不可能性结果。我们进一步介绍了一个新的设置下的黑盒认证有限的查询预算，并分析这对各类预测和扰动。我们还考虑了一个黑盒对手的观点，旨在寻找对抗性的例子，表明存在一个对手的多项式查询复杂性可以意味着存在一个样本有效的鲁棒学习器。
2022-02-22 cs.LG stat.ML
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs
Meta；FAIR at Meta（Meta FAIR）
本文提出 AdvPrompter，通过交替优化训练另一个大语言模型快速生成人类可读的对抗提示后缀，在保持指令原意的同时诱使目标模型产生有害响应，并证明该方法在多个基准上效果优异且可迁移至黑盒模型，同时可用于提升模型鲁棒性。
2025-06-02 cs.AI cs.CL cs.CR
Gray-box Adversarial Training
Indian Institute of Science（印度科学学院）
对抗性样本是精心设计的干扰输入，用于误导机器学习系统。引入了一种称为对抗性训练的训练机制，它将对抗性样本与干净样本一起呈现，以学习鲁棒模型。为了扩展大型数据集的对抗训练，这些扰动只能使用快速简单的方法（例如，梯度上升）。然而，它表明，对抗训练收敛到一个退化的最小值，其中该模型似乎是强大的，通过产生较弱的对手。因此，这些模型容易受到简单的黑盒攻击。在本文中，我们（i）证明了现有评估策略的缺点，（ii）介绍了白盒和黑盒攻击的新变体，称为灰盒对抗攻击“，基于此，我们提出了新的评估方法来评估学习模型的鲁棒性，以及（iii）提出了对抗训练的新变体，名为“灰盒对抗训练”，使用模型的中间版本来播种对手。实验结果表明，与无防御和对抗训练的模型相比，该方法训练的模型具有更好的鲁棒性
2018-08-06 cs.CV cs.LG stat.ML
Adversarial Likelihood-Free Inference on Black-Box Generator
KAIST（韩国科学技术院）
生成对抗网络（GAN）可以被视为数据分布的隐式估计器，并且这种观点激励在黑盒生成器的真实输入参数估计中使用对抗概念。虽然以前的工作中的似然自由推理介绍了一个隐式的建议分布的发电机输入，本文分析了理论上的局限性的建议分布方法。最重要的是，我们引入了一种新的算法，对抗似然自由推理（ALFI），以减轻分析的局限性，因此ALFI能够找到黑盒生成模型输入参数的后验分布。我们用不同的仿真模型以及预训练的统计模型对ALFI进行了实验，我们发现ALFI在有限的仿真预算下实现了最佳的参数估计精度。
2020-06-11 cs.LG stat.ML
Potential adversarial samples for white-box attacks
University of Waterloo（滑铁卢大学）
深度卷积神经网络极易受到其输入的小扰动的影响，这可能是使用深度网络作为分类器时系统鲁棒性的主要问题或限制。在本文中，我们提出了一种低成本的方法来探索边缘样本数据训练分类器决策边界附近，从而识别潜在的敌对样本。通过找到这样的对抗样本，可以减少对抗攻击算法的搜索空间，同时保持合理的成功扰动率。在我们开发的策略中，潜在的对抗样本仅占测试数据的61%，但实际上涵盖了iFGSM产生的超过82%的对抗样本和CIFAR10上DeepFool成功干扰的92%的对抗样本。
2019-12-13 cs.LG stat.ML
Model Robustness with Text Classification: Semantic-preserving adversarial attacks
Wells Fargo（富国银行）
我们提出了创建对抗攻击的算法，以评估模型在文本分类问题中的鲁棒性。它们可以用来创建白盒攻击和黑盒攻击，同时保留原始文本的语义和语法。这些攻击在白盒设置中导致大量的翻转，并且可以在黑盒设置中使用相同的规则。在黑盒设置中，创建的攻击能够逆转基于Transformer的架构的决策。
2020-08-14 cs.CL cs.LG
HotFlip: White-Box Adversarial Examples for Text Classification
University of Oregon（俄勒冈大学）；Nanjing University（南京大学）
我们提出了一种有效的方法来生成白盒对抗性示例，以欺骗字符级神经分类器。我们发现，只需几个操作，大大降低了精度。我们的方法依赖于原子翻转操作，该操作基于独热输入向量的梯度将一个令牌交换为另一个令牌。由于我们方法的效率，我们可以进行对抗性训练，这使得模型在测试时对攻击更具鲁棒性。通过使用一些语义保留约束，我们证明了HotFlip也可以适应攻击单词级分类器。
2018-05-24 cs.CL cs.LG
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University（首尔国立大学）
我们专注于对离散序列数据模型进行对抗攻击的问题，在黑盒设置中，攻击者的目标是制作对抗示例，对受害者模型进行有限的查询访问。现有的黑盒攻击，主要是基于贪心算法，发现敌对的例子使用预先计算的关键位置扰动，这严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了一个查询高效的黑盒攻击，使用贝叶斯优化，动态计算重要的位置，使用自动相关性确定（ARD）分类内核。当输入序列变长时，我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外，我们开发了一个后优化算法，发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明，与现有的方法相比，该方法具有更高的攻击成功率，查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
EvoBA: An Evolution Strategy as a Strong Baseline forBlack-Box Adversarial Attacks
University of Bucharest（布加勒斯特大学）
最近的工作表明，白盒对抗攻击可以很容易地应用于最先进的图像分类器。然而，现实生活中的场景更像是黑盒对抗条件，缺乏透明度，通常对查询预算施加自然的硬约束。我们提出了$\textbf{EvoBA}$，一个黑盒对抗攻击的基础上一个令人惊讶的简单的进化搜索策略。$\textbf{EvoBA}$是查询高效的，最大限度地减少了$L_0$对抗干扰，并且不需要任何形式的训练。$\textbf{EvoBA}$通过与更复杂的最先进的黑盒攻击（如$\textbf{AutoZOOM}$）一致的结果显示出效率和功效。它比$\textbf{SimBA}$（一种简单而强大的基线黑盒攻击）查询效率更高，并且具有类似的复杂性级别。因此，我们提出它既是黑盒对抗攻击的一个新的强基线，也是一个快速和通用的工具，用于获得对图像分类器在$L_0$对抗性扰动方面的鲁棒性的经验洞察。存在快速且可靠的$L_2$黑盒攻击（诸如$\textbf{SimBA}$）和$L_{\infty}$黑盒攻击（诸如$\textbf{DeepSearch}$）。我们提出了$\textbf{EvoBA}$作为查询高效的$L_0$黑盒对抗攻击，与上述方法一起，可以作为一个通用的工具来评估图像分类器的经验鲁棒性。这些方法的主要优点是它们运行速度快，查询效率高，并且可以很容易地集成到图像分类器开发管道中。虽然我们的攻击最大限度地减少了$L_0$对抗扰动，但我…
2021-07-12 cs.CR cs.CV cs.LG
Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience
Google Research（谷歌研究）
本文提出基于经验迭代蒸馏的强化学习框架，用于训练提示策略以提升黑盒LLM的多步推理和工具使用能力，实验显示在逻辑推理和工具使用任务中性能显著提升。
2026-05-14 cs.AI cs.LG cs.MA
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University（兰州大学）
本文提出曲率动态黑盒攻击方法，通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）；eBay
最近，NIPS、ICML、ICLR和CVPR等机构提出了许多防御措施。这些防御主要集中在减轻白盒攻击。他们没有正确地检查黑盒攻击。在本文中，我们扩展这些防御的分析，包括自适应黑盒对手。我们的评估是在九个防御上完成的，包括随机变换的弹幕，ComDefend，Enseminated多样性，特征蒸馏，赔率是奇数，纠错码，分布分类器防御，K-赢家通吃和缓冲区。我们的调查是使用两个黑盒对抗模型和六个广泛研究的CIFAR-10和Fashion-MNIST数据集的对抗攻击进行的。我们的分析表明，最新的防御（9个中的7个）提供的安全性（$<25\%$）相比，未设防的网络，只有边际改善。对于每一种防御，我们还展示了对手拥有的数据量与自适应黑盒攻击的有效性之间的关系。总的来说，我们的结果描绘了一幅清晰的画面：防御需要彻底的白盒和黑盒分析才能被认为是安全的。我们提供这种大规模的研究和分析，以激励该领域朝着更强大的黑盒防御的发展。
2021-05-20 cs.LG stat.ML
AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
深度神经网络（DNN）被证明容易受到后门攻击。通常通过将后门触发器注入到训练样本中来将后门嵌入到目标DNN中，这可能导致目标DNN错误分类附加有后门触发器的输入。现有的后门检测方法通常需要访问原始中毒的训练数据、目标DNN的参数或每个给定输入的预测置信度，这在许多现实世界的应用中是不切实际的，例如，设备上部署的DNN。我们解决了黑盒硬标签后门检测问题，其中DNN是完全黑盒的，只有它的最终输出标签是可访问的。我们从优化的角度来处理这个问题，并表明后门检测的目标是有界的敌对目标。进一步的理论和实证研究表明，这种对抗性目标会导致具有高度偏斜分布的解决方案;在后门感染示例的对抗性映射中经常观察到奇点，我们称之为对抗性奇点现象。基于这一观察，我们提出了对抗极值分析（AEVA）来检测黑盒神经网络中的后门。AEVA是基于对抗地图的极值分析，从蒙特卡洛梯度估计计算。通过对多个常见任务和后门攻击的大量实验，证明了该方法在黑盒硬标签场景下检测后门攻击的有效性.
2022-02-24 cs.AI cs.LG
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度神经网络（DNN）在不同领域取得了显著的成功。然而，已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而，这些方法通常遭受低的成功率和大的查询计数，这不能完全满足实际目的。在本文中，我们提出了一种混合攻击方法，该方法在代理模型上训练Meta对抗扰动（MAP），并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化，随后训练任何黑盒攻击方法几个时期。此外，MAP具有良好的可移植性和通用性，在某种意义上，它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明，我们的方法不仅可以提高攻击成功率，但也减少了查询的数量相比，其他方法。
2022-03-28 cs.CR cs.CV cs.LG
A Model-Based Derivative-Free Approach to Black-Box Adversarial Examples: BOBYQA
University of Oxford（牛津大学）
我们证明了基于模型的无导数优化算法可以使用比非基于模型的方法更少的网络查询来生成深度网络的对抗性目标误分类。具体来说，我们考虑了黑盒设置，并表明通过减少允许的$\ell^{\infty}$扰动能量或训练具有对抗性误分类防御的网络来使任务更具挑战性，网络查询的数量受到的影响较小。我们通过将BOBYQA算法与基于遗传、组合和直接搜索算法的最先进的无模型对抗性目标误分类方法进行对比来说明这一点。我们观察到，对于网络上的高$\ell^{\infty}$能量扰动，上述更简单的无模型方法需要最少的查询。相比之下，提出的基于BOBYQA的方法在扰动能量降低时，或者如果网络针对对抗性扰动进行训练，则可以实现最先进的结果。
2020-02-24 cs.LG stat.ML
On the Robustness of the CVPR 2018 White-Box Adversarial Example Defenses
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
众所周知，神经网络容易受到对抗性样本的攻击。在本文中，我们评估了CVPR 2018上出现的两种白盒防御，发现它们是无效的：当应用现有技术时，我们可以将防御模型的准确性降低到0%。
2018-04-10 cs.CR cs.CV cs.LG
Query-Efficient Black-box Adversarial Examples (superceded)
Massachusetts Institute of Technology（麻省理工学院）；LabSix（第六实验室）
请注意，这篇论文被“有限信息和信息的黑盒对抗攻击”取代。“当前基于神经网络的图像分类器容易受到对抗性示例的影响，即使在黑盒设置中，攻击者也仅限于查询访问而无法访问梯度。以前的方法-替代网络和基于坐标的有限差分方法-要么不可靠，要么查询效率低，使得这些方法对某些问题不切实际。我们介绍了一种新的方法，用于在更受限制的，实用的黑盒威胁模型下可靠地生成对抗性示例。首先，我们采用自然的演化策略执行黑盒攻击使用两到三个数量级的查询比以前的方法。其次，我们引入了一个新的算法来执行有针对性的对抗攻击在部分信息设置，其中攻击者只能访问有限数量的目标类。使用这些技术，我们成功地对商业部署的机器学习系统Google Cloud Vision API在部分信息设置中进行了第一次有针对性的对抗攻击。
2018-04-06 cs.CV cs.LG stat.ML
Black-box Adversarial Transferability: An Empirical Study in Cybersecurity Perspective
Aligarh Muslim University（阿里格尔穆斯林大学）
本研究从网络安全视角实证检验黑盒对抗迁移性，基于CICDDoS-2019数据集实验发现深度学习模型即便在攻击者不掌握内部细节时也易受对抗攻击，白盒攻击影响更严重，凸显了研究对抗防御技术的必要性。
2024-04-15 cs.CR cs.LG
Empirical evaluation of the Frank-Wolfe methods for constructing white-box adversarial attacks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skoltech
本文通过实证评估改进的Frank-Wolfe方法，用于构建神经网络的白盒对抗攻击，并与传统方法进行比较。
2025-12-11 cs.AI cs.LG
On the Matrix-Free Generation of Adversarial Perturbations for Black-Box Attacks
The University of Tokyo Hospital（东京大学医院）；Graduate School of Medicine, The University of Tokyo（东京大学医学院）
一般来说，叠加在输入上的对抗性扰动是深度神经网络（DNN）的现实威胁。在本文中，我们提出了一个实用的生成方法，这种对抗性扰动应用于黑盒攻击，只需要访问一个输入输出关系。因此，攻击者在不调用内部函数和/或访问DNN的内部状态的情况下生成这种扰动。与早期的研究不同，在这项研究中提出的算法来生成扰动需要少得多的查询试验。此外，为了显示提取的对抗性扰动的有效性，我们用DNN进行了语义分割的实验。结果表明，与使用相同大小的均匀分布随机噪声相比，使用扰动产生的扰动更容易欺骗网络。
2020-02-18 cs.LG stat.ML
Grey-box Adversarial Attack And Defence For Sentiment Classification
IBM Research（IBM研究院）；University of Melbourne（墨尔本大学）
我们介绍了一个灰盒对抗攻击和防御框架的情绪分类。我们在一个统一的框架中解决了对抗攻击和防御的可微性，标签保存和输入重建问题。我们的研究结果表明，一旦经过训练，攻击模型能够比最先进的攻击方法更快地生成高质量的对抗性示例（时间上少一个数量级）。这些例子还根据人类评价保留了原始情感。此外，我们的框架产生了一个改进的分类器，是强大的防御多种对抗性攻击方法。代码可从以下网址获得：https://github.com/ibm-aur-nlp/adv-def-text-dist。
2021-03-22 cs.AI cs.CL cs.LG
POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm
Zhejiang University of Technology（浙江工业大学）
大多数深度学习模型很容易受到对抗攻击的攻击。设计了各种对抗攻击来评估模型的鲁棒性，并建立防御模型。目前，对抗攻击被提出来攻击他们自己的目标模型与他们自己的评估指标。与白盒攻击相比，大多数黑盒对抗攻击算法都不能达到预期的成功率。针对不同的对抗攻击方法，提出了综合评价指标。提出了一种基于遗传算法的扰动优化黑盒对抗攻击算法（POBA-GA），以获得与白盒攻击相当的攻击性能。通过初始化、选择、交叉和变异等进化操作，得到近似最优对抗样本。设计了适应度函数，从攻击能力和扰动控制两个方面对样本个体进行评价。在进化过程中引入种群多样性策略，保证获得近似最优扰动。通过大量实验验证了POBA-GA的性能。仿真和应用结果表明，该方法在攻击能力和扰动控制方面优于现有的黑箱攻击方法。
2019-05-01 cs.CR cs.LG cs.NE
Adversarial training may be a double-edged sword
North Carolina State University（北卡罗来纳州立大学）；ETH Zürich（苏黎世联邦理工学院）
对抗性训练已被证明是提高图像分类器对抗白盒攻击的鲁棒性的有效方法。然而，它对黑箱攻击的有效性更加微妙。在这项工作中，我们证明了对抗性训练对深度网络决策边界的一些几何后果为某些类型的黑盒攻击提供了优势。特别是，我们定义了一个称为鲁棒性增益的度量，以表明虽然对抗性训练是一种有效的方法，可以显着提高白盒场景中的鲁棒性，但它可能无法提供针对更现实的基于决策的黑盒攻击的良好鲁棒性增益。此外，我们表明，即使是最小扰动的白盒攻击可以收敛更快对抗训练的神经网络相比，常规的。
2021-07-24 cs.CR cs.CV cs.LG
White-to-Black: Efficient Distillation of Black-Box Adversarial Attacks
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对抗性示例对于理解神经模型的行为非常重要，并且可以通过对抗性训练来提高其鲁棒性。自然语言处理的最新工作通过假设对受攻击模型的白盒访问并直接针对它优化输入来生成对抗性示例（Ebrahimi等人，2018年）。在这项工作中，我们表明，隐含在优化过程中的知识可以被提炼到另一个更有效的神经网络。我们训练一个模型来模拟白盒攻击的行为，并表明它在示例中具有很好的泛化能力。此外，它将对抗性示例生成时间减少了19 - 39倍。我们还表明，我们的方法转移到一个黑盒设置，通过攻击谷歌透视API和暴露其漏洞。我们的攻击在42%的生成示例中翻转了API预测的标签，而人类在预测黄金标签时保持了高准确性。
2019-04-04 cs.CR cs.LG stat.ML
"What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
机器学习模型现在被广泛部署在现实世界的应用中。然而，对抗性例子的存在一直被认为是对这些模型的真正威胁。虽然已经提出了许多旨在提高鲁棒性的防御措施，但许多已被证明是无效的。由于这些漏洞仍然远远没有被消除，我们提出了一种替代的基于部署的防御模式，超越了传统的白盒和黑盒威胁模型。代替训练单个部分鲁棒的模型，可以训练一组具有相同功能但不相交的模型，其具有最小的中间攻击可转移性。然后，这些模型可以随机和单独部署，这样访问其中一个模型对其他模型的影响最小。我们对CIFAR-10和各种攻击的实验表明，与集成多样性的基线相比，我们在不相交模型中实现了显着降低的攻击可转移性。此外，与对抗训练集相比，我们在保持干净示例准确性的同时，实现了更高的平均鲁棒准确性。
2021-03-09 cs.CR cs.CV cs.LG
A cryptographic approach to black box adversarial machine learning
Columbia University（哥伦比亚大学）；Proof Trading（Proof Trading（交易证明））
我们提出了一种新的随机集成技术，具有可证明的安全保证，对黑箱传输攻击。我们的证明构造了一个新的安全问题，随机二进制分类器，这是更容易经验验证和减少从这个新模型的安全性的集成分类器的安全性。我们提供了我们的随机二进制分类器的安全性的实验证据，以及整体集成的对抗性准确性的经验结果，黑盒攻击。我们的构造关键地利用了多类到二进制的减少中隐藏的随机性。
2020-02-21 cs.CR cs.LG stat.ML
Output Randomization: A Novel Defense for both White-box and Black-box Adversarial Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Amazon Alexa（亚马逊Alexa）；SUNY New Paltz（纽约州立大学新帕尔茨分校）
对抗性示例在各种场景中对深度神经网络模型构成威胁，从对手在“白盒”设置中完全了解模型的设置到“黑盒”设置中的相反设置。在本文中，我们探讨了使用输出随机化作为防御攻击的黑盒和白盒模型，并提出了两个防御。在第一种防御中，我们提出了在测试时输出随机化，以挫败黑盒设置中的有限差分攻击。由于这种类型的攻击依赖于对模型的重复查询来估计梯度，因此我们研究了使用随机化来阻止此类对手成功创建对抗性示例。我们的经验表明，这种防御可以限制使用零阶优化攻击的黑盒对手的成功率为0%。其次，我们提出输出随机化训练作为对白盒对手的防御。与之前使用随机化的方法不同，我们的防御不需要在测试时使用它，从而消除了向后通过可微近似攻击，该攻击已被证明对其他随机化防御有效。此外，这种防御具有低开销并且易于实现，允许它与跨各种模型架构的其他防御一起使用。我们评估了输出随机化训练对投影梯度下降攻击，并表明防御可以减少PGD攻击的成功率下降到12%时，使用交叉熵损失。
2021-07-08 cs.CR cs.LG
BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning
University of Seoul（首尔大学）；Sungkyunkwan University（成均馆大学）；Yonsei University（延世大学）
BlackVIP提出黑盒视觉提示方法，通过协调器和SPSA-GC在不访问预训练模型参数的情况下实现高效鲁棒迁移学习。
2023-07-08 cs.AI cs.CV cs.LG
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan（巴基斯坦旁遮普信息技术大学）；Hamad Bin Khalifa University, Qatar（卡塔尔哈马德·本·哈利法大学）
最近，在文献中已经提出了许多基于深度神经网络（DNN）的调制分类方案。我们已经评估了两个著名的这样的调制分类器（基于卷积神经网络和长短期记忆的技术）对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner（C-W）攻击来执行对抗攻击。据我们所知，这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明，最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络，特别是对于大尺寸图像。然而，保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常，由于其令人不快的视觉质量，这种对抗性示例可以很容易地被发现，这在实践中损害了对抗攻击的威胁。在这项研究中，为了提高图像质量的黑盒对抗性的例子感知，我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说，我们允许对感知无关紧要的区域进行更高的扰动，而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动，我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换（DCT）域。由于所提出的攻击是独立的梯度估计，他们可以直接与现有的基于梯度的攻击。实验结果表明，与可比的攻击成功率（ASR），所提出的方法可以产生对抗性的例子，大大提高了视觉质量的免费。在感知质量相当的情况下，所提出的方法实现了更高的攻击成功率：特别是对于频率结构感知攻击，平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG
You Only Query Once: Effective Black Box Adversarial Attacks with Minimal Repeated Queries
Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）；Carnegie Mellon University（卡内基梅隆大学）
研究人员一再表明，对深度分类器进行对抗攻击（显著改变类别标签的小扰动）是可能的，即使是在“黑盒”设置中，也只能查询分类器。然而，黑盒设置中的所有先前工作都通过重复查询同一图像并进行微小修改来攻击分类器，通常是数千次或更多，这使得防御者很容易检测到随后的攻击。在这项工作中，我们证明了在黑盒设置中通过只查询一次不同图像的序列来制作（通用）对抗性扰动是可能的。这种攻击会阻止从大量相似查询中检测到数据，并产生一种扰动，当应用于分类器的任何输入时，这种扰动会导致错误分类。在实验中，我们证明了遵守这一限制的攻击可以产生非目标性的对抗性扰动，这些扰动可以欺骗绝大多数MNIST和CIFAR-10分类器输入，以及ImageNet分类器上超过$60-70\%$的输入。在有针对性的设置中，我们展示了针对ImageNet分类器的黑盒通用攻击，当每个图像只允许一个查询时，成功率高于$20\%$，当每个图像允许两个查询时，成功率高于$66\%$。
2021-01-29 cs.CR cs.LG
Optimizing One-pixel Black-box Adversarial Attacks
National University of Singapore（新加坡国立大学）
深度神经网络（DNN）的输出可以通过对DNN进行多次调用来改变黑盒设置中的输入的小扰动。然而，所需的高计算量和时间使得现有的方法无法使用。这项工作旨在改善一个像素（少像素）的黑盒对抗攻击，以减少对网络的攻击调用的数量。单像素攻击使用非梯度优化算法在固定像素数量的约束下找到像素级扰动，这会导致网络为给定图像预测错误的标签。我们通过实验结果表明，如何选择的优化算法和初始位置搜索可以减少函数调用，并显着增加攻击成功，使攻击更实用的现实世界中的设置。
2022-04-30 cs.CR cs.LG
Adversarial Defense via Image Denoising with Chaotic Encryption
University of Amsterdam（阿姆斯特丹大学）
在对抗性例子的文献中，白盒和黑盒攻击受到了最多的关注。假设对手可以完全（白）或没有（黑）访问防御者的模型。在这项工作中，我们专注于同样实用的灰盒设置，假设攻击者有部分信息。我们提出了一种新的防御，假设一切，但私钥将提供给攻击者。我们的框架使用图像去噪过程，再加上加密通过离散化贝克映射。针对使用各种梯度制作的对抗图像（例如FGSM，PGD）进行的广泛测试表明，我们的防御在自然和对抗准确性方面都比最先进的灰盒防御在CIFAR-10和CIFAR-100上取得了更好的结果。
2022-03-19 cs.CR cs.LG
