Neural network gradient-based learning of black-box function interfaces
IBM Research（IBM研究院）；Bar Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Deep neural networks work well at approximating complicated functions when provided with data and trained by gradient descent methods. At the same time, there is a vast amount of existing functions that programmatically solve different tasks in a precise manner eliminating the need for training. In many cases, it is possible to decompose a task to a series of functions, of which for some we may prefer to use a neural network to learn the functionality, while for others the preferred method would be to use existing black-box functions. We propose a method for end-to-end training of a base neura…
2019-01-13 cs.LG stat.ML
Black-box Certification and Learning under Adversarial Perturbations
McMaster University（麦克马斯特大学）；Scotiabank（丰业银行）；York University（约克大学）
我们从学习者的角度以及第三方的目的是证明给定的黑盒分类器的鲁棒性，正式研究了对抗扰动下的分类问题。我们分析了半监督学习的PAC型框架，并确定了在这种情况下正确学习VC类的可能性和不可能性结果。我们进一步介绍了一个新的设置下的黑盒认证有限的查询预算，并分析这对各类预测和扰动。我们还考虑了一个黑盒对手的观点，旨在寻找对抗性的例子，表明存在一个对手的多项式查询复杂性可以意味着存在一个样本有效的鲁棒学习器。
2022-02-22 cs.LG stat.ML
xGEMs: Generating Examplars to Explain Black-Box Models
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）
这项工作提出了xGEM或流形引导样本，一个框架，以了解黑盒分类器的行为，通过探索的景观底层数据流形的数据点跨越决策边界。为此，我们训练了一个无监督的隐式生成模型--作为数据流形的代理。我们总结了黑盒模型的行为定量扰动数据样本沿流形。我们展示了xGEM在模型学习中检测和量化偏差的能力，以及随着训练的进行理解模型行为变化的能力。
2018-06-22 cs.LG stat.ML
REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation
Seoul National University（首尔国立大学）
近年来，深度神经网络（DNN）已成为一个高度活跃的研究领域，并在各种计算机视觉任务上表现出显著的成就。然而，众所周知，DNN经常对分布外的样本进行过度自信但不正确的预测，这可能是现实世界部署的主要障碍，因为与各种真实世界样本相比，训练数据集总是有限的。因此，当我们在实践中构建DNN模型时，保证对训练时间和测试时间之间的分布偏移的鲁棒性是至关重要的。此外，在许多情况下，深度学习模型被部署为黑盒，并且性能已经针对训练数据集进行了优化，因此改变黑盒本身可能导致性能下降。本文研究了黑盒图像分类器在特定条件下对几何变换的鲁棒性。我们提出了一个额外的学习器，\emph{REinforcement Spatial Transform learner (REST)}，它将扭曲的输入数据转换为被黑盒模型视为分布的样本。我们的工作旨在通过在任何黑盒前面添加REST模块并仅训练REST模块而不以端到端的方式重新训练原始黑盒模型来提高鲁棒性，即我们尝试将真实世界的数据转换为最适合黑盒模型性能的训练分布。我们使用从黑盒模型中获得的置信度得分来确定转换后的输入是否来自内部分布。我们的经验表明，我们的方法具有优势，在推广到几何变换和样本效率。
2020-02-16 cs.LG stat.ML
Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning
CSE, HKUST（香港科技大学计算机科学与工程系）；Peng Cheng Laboratory（鹏城实验室）；Cloud and Smart Industries Group, Tencent（腾讯云与智慧产业事业群）；WeBank（微众银行）
迁移学习已经成为在目标领域中用有限的标记数据训练深度学习模型的常见实践。另一方面，深度模型容易受到对抗攻击的攻击。虽然迁移学习已被广泛应用，但其对模型鲁棒性的影响尚不清楚。为了解决这个问题，我们进行了大量的实证评估，表明微调有效地提高了模型的鲁棒性下的白盒FGSM攻击。我们还提出了一种针对迁移学习模型的黑盒攻击方法，该方法利用源模型产生的对抗性样本对目标模型进行攻击。为了系统地测量白盒和黑盒攻击的效果，我们提出了一个新的度量标准来评估源模型产生的对抗性示例如何转移到目标模型。实验结果表明，当使用微调时，对抗性示例比两个网络独立训练时更具可转移性。
2020-08-25 cs.LG stat.ML
Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models
MIT（麻省理工学院）
越来越多地部署预测模型来确定信贷、保险和就业等服务的获取情况。尽管生产力和效率有可能提高，但一些潜在的问题尚未得到解决，特别是无意歧视的可能性。我们提出了一个迭代过程，基于正交投影的输入属性，使黑箱预测模型的可解释性。通过我们的迭代过程，可以量化黑箱模型对输入属性的相对依赖性，然后可以使用输入对预测模型的相对重要性来评估这种模型的公平性（或歧视程度）。
2016-11-15 cs.LG stat.ML
Improving Query Efficiency of Black-box Adversarial Attack
Tsinghua Berkeley Shenzhen Institute, Tsinghua University（清华大学清华伯克利深圳学院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信与安全研究中心（PCL））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shanghai Jiao Tong University（上海交通大学）；vivo AI Lab（vivo人工智能实验室）
深度神经网络（DNN）在各种任务上表现出了出色的性能，但它们面临着对抗性示例的风险，当攻击者可以访问目标模型时（白盒设置），这些示例可以很容易地生成。由于大量的机器学习模型已经通过在线服务部署，这些服务只提供来自不可访问模型的查询输出（例如Google Cloud Vision API 2），因此黑盒对抗攻击（不可访问的目标模型）在实践中是关键的安全问题，而不是白盒。然而，现有的基于查询的黑盒对抗攻击往往需要过多的模型查询来维持高的攻击成功率。因此，为了提高查询效率，本文利用神经过程表征的图像结构信息，探索良性输入周围的对抗性样本分布，提出了一种基于神经过程的黑盒对抗攻击（NP-Attack）。大量的实验表明，NP攻击可以大大减少黑盒设置下的查询次数。
2020-09-25 cs.LG stat.ML
Distributed Black-box Attack: Do Not Overestimate Black-box Attacks
University of Southampton（南安普顿大学）；University of Exeter（埃克塞特大学）
针对黑盒对抗攻击对云 API 威胁被高估的问题，本文直接在云 API 上开展攻击实验，指出已有研究因常见错误夸大了攻击效率。
2025-03-17 cs.LG
Enhancing Interpretability of Black-box Soft-margin SVM by Integrating Data-based Priors
Zhejiang University（浙江大学）
黑箱模型由于缺乏可解释性而难以应用于许多实际领域。为此，目前的工作，从黑盒模型的输入端口，提出了将基于数据的先验信息纳入黑盒软边缘SVM模型，以提高其可解释性。提出了基于数据的先验信息的概念和融合机制，在此基础上设计了可解释或部分可解释的SVM优化模型，并将优化问题转化为非线性二次规划问题求解。提出了一种从数据集中挖掘线性先验信息的算法，该算法从系统的所有输入中识别出两个合适的输入，生成一个线性表达式。最后，将所提出的可解释性增强策略应用于八个基准测试实例，以检验其有效性。
2019-02-02 cs.LG stat.ML
The Good, the Bad and the Ugly: Augmenting a black-box model with expert knowledge
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer Institute for Industrial Mathematics ITWM（弗劳恩霍夫工业数学研究所（ITWM））；Fraunhofer Institute for Mechanics of Materials IWM（弗劳恩霍夫材料力学研究所（IWM））
我们在材料科学的背景下解决一个非唯一的参数拟合问题。特别是，我们建议解决参数空间中的模糊性，通过增加一个黑盒人工神经网络（ANN）模型与两个不同层次的专家知识和基准对一个纯黑盒模型。
2020-05-11 cs.LG stat.ML
Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa人工智能）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是仅基于仅限于输出标签~（硬标签）到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例，避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST，CIFAR-10和ImageNet的有效性，证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比，我们提出的方法始终实现了2倍到10倍的攻击成功率，同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Diversity can be Transferred: Output Diversification for White- and Black-box Attacks
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Mitsubishi UFJ Trust Investment Technology Institute（三菱UFJ信托投资技术研究所）；Japan Digital Design（日本数字设计公司（Japan Digital Design））
对抗攻击通常涉及从均匀或高斯分布中提取的输入的随机扰动，例如，以初始化基于优化的白盒攻击或在黑盒攻击中生成更新方向。然而，这些简单的扰动可能是次优的，因为它们对被攻击的模型是不可知的。为了提高这些攻击的效率，我们提出了输出多样化采样（ODS），一种新的采样策略，试图最大限度地提高多样性的目标模型的输出之间生成的样本。虽然ODS是一种基于梯度的策略，但ODS提供的多样性是可转移的，并且可以通过代理模型帮助白盒和黑盒攻击。经验上，我们证明，ODS显着提高现有的白盒和黑盒攻击的性能。特别是，ODS将ImageNet上最先进的黑盒攻击所需的查询数量减少了两倍。
2020-10-30 cs.CV cs.LG stat.ML
Black-Box Autoregressive Density Estimation for State-Space Models
Newcastle Univeristy（纽卡斯尔大学）
状态空间模型（SSM）为时间序列数据建模提供了一个灵活的框架。因此，SSM被广泛应用于工程、计量经济学和流行病学等领域。在本文中，我们提供了一个快速的方法，近似贝叶斯推断在SSM使用深度学习和变分推断的工具。
2018-11-21 cs.LG stat.ML
Towards Visual Distortion in Black-Box Attacks
Wuhan University（武汉大学）
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中，我们提出了一种新的黑盒攻击方法，可以直接通过学习的噪声分布的对抗性的例子，假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真，它测量的感知距离之间的敌对的例子和原始图像，引入我们的损失，而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比，我们的攻击导致的失真要低得多，并且在InceptionV3，ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
Hybrid Predictive Model: When an Interpretable Model Collaborates with a Black-box Model
Tippie College of Business（蒂皮商学院）；University of Iowa（爱荷华大学）
可解释的机器学习已经成为传统黑箱模型的有力竞争者。然而，获得可解释性的预测性能的可能损失往往是不可避免的，使从业者在高准确性（黑箱模型）和可解释性（可解释模型）之间进行选择的困境。在这项工作中，我们提出了一个新的框架，用于构建混合预测模型（HPM），该模型将可解释的模型与任何黑盒模型相结合，以结合它们的优势。可解释模型在数据子集上替代黑盒模型，其中黑盒是过度破坏或几乎过度破坏的，以零或低成本的预测准确性获得透明度。我们设计了一个原则性的目标函数，考虑预测准确性，模型可解释性和模型透明度（定义为可解释替代品处理的数据的百分比）。在此框架下，我们提出了两个混合模型，一个用关联规则替代，另一个用线性模型替代，并为这两个模型设计了定制的训练算法。我们在结构化数据和文本数据上测试混合模型，其中可解释模型与各种最先进的黑盒模型合作。结果表明，混合模型获得了有效的透明度和预测性能之间的权衡，其特征在于我们提出的有效的前沿。
2019-05-10 cs.AI cs.LG stat.ML
Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Ant Financial（蚂蚁金服）
黑盒风险评分模型渗透到我们的生活中，但通常是专有的或不透明的。我们提出蒸馏和比较，模型蒸馏和比较的方法来审计这些模型。为了深入了解黑盒模型，我们把它们当作老师，训练透明的学生模型来模仿黑盒模型分配的风险分数。我们将经过蒸馏训练的学生模型与第二个未经蒸馏的透明模型进行比较，并使用两个模型之间的差异来深入了解黑盒模型。我们的方法可以应用于现实环境中，而无需探测黑盒模型API。我们在四个公共数据集上展示了这种方法：COMPAS，Stop-and-Frisk，Chicago Police和Lending Club。我们还提出了一个统计测试，以确定数据集是否缺少用于训练黑盒模型的关键特征。我们的测试发现ProPublica数据可能缺少COMPAS中使用的关键功能。
2018-10-11 cs.AI cs.LG stat.ML
A cryptographic approach to black box adversarial machine learning
Columbia University（哥伦比亚大学）；Proof Trading（Proof Trading（交易证明））
我们提出了一种新的随机集成技术，具有可证明的安全保证，对黑箱传输攻击。我们的证明构造了一个新的安全问题，随机二进制分类器，这是更容易经验验证和减少从这个新模型的安全性的集成分类器的安全性。我们提供了我们的随机二进制分类器的安全性的实验证据，以及整体集成的对抗性准确性的经验结果，黑盒攻击。我们的构造关键地利用了多类到二进制的减少中隐藏的随机性。
2020-02-21 cs.CR cs.LG stat.ML
On Gradient-like Explanation under a Black-box Setting: When Black-box Explanations Become as Good as White-box
Freie Universität Berlin（柏林自由大学）
针对黑盒场景下基于梯度的归因方法因需内部访问而受限的问题，提出仅靠查询级访问生成类梯度解释的\methodAbr方法，经理论证明与图像实验验证，其效果优于现有黑盒方法且媲美白盒方法。
2024-05-14 cs.LG
Model-Agnostic Linear Competitors -- When Interpretable Models Compete and Collaborate with Black-Box Models
University of Iowa（爱荷华大学）；Tippie College of Business, University of Iowa（爱荷华大学蒂皮商学院）
随着对模型可解释性需求的不断增长，可解释模型在许多实际应用中已经成为黑盒模型的有力竞争者。在本文中，我们提出了一种新型的模型，其中可解释的模型与黑盒模型竞争和合作。我们提出了模型不可知的线性竞争对手（MALC）的部分可解释的分类。MALC是一种混合模型，它使用线性模型来局部替代任何黑盒模型，捕获最有可能在类中的子空间，而将其余数据留给黑盒。MALC结合了线性模型的可解释能力和黑盒模型的良好预测性能。我们将MALC模型的训练公式化为凸优化。通过精心设计的目标函数平衡预测准确性和透明度（定义为线性模型捕获的数据百分比），并使用加速近端梯度方法解决优化问题。实验表明，MALC可以有效地交易预测精度的透明度，并提供一个有效的边界，跨越整个频谱的透明度。
2019-09-23 cs.AI cs.LG stat.ML
Black-Box Ripper: Copying black-box models using generative evolutionary algorithms
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
我们研究了复制黑盒神经模型功能的任务，对于黑盒神经模型，我们只知道为一组输入图像提供的输出类概率。我们假设通过黑盒模型的反向传播是不可能的，并且它的训练图像不可用，例如，模型只能通过API暴露。在这种情况下，我们提出了一个教师-学生的框架，可以提取的黑盒（教师）模型到一个学生模型，以最小的准确性损失。为了生成用于训练学生的有用数据样本，我们的框架（i）学习在代理数据集上生成图像（图像和类与用于训练黑盒的图像和类不同），以及（ii）应用进化策略以确保每个生成的数据样本在作为黑盒的输入时对特定类表现出高响应。我们的框架进行了比较与几个基线和国家的最先进的方法在三个基准数据集。经验证据表明，我们的模型优于所考虑的基线。虽然我们的方法没有通过黑盒网络反向传播，但它通常超过了将教师视为玻璃盒模型的最先进方法。我们的代码可在https://github.com/antoniobarbalau/black-box-ripper上获得。
2020-10-21 cs.CV cs.LG cs.NE
White-to-Black: Efficient Distillation of Black-Box Adversarial Attacks
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对抗性示例对于理解神经模型的行为非常重要，并且可以通过对抗性训练来提高其鲁棒性。自然语言处理的最新工作通过假设对受攻击模型的白盒访问并直接针对它优化输入来生成对抗性示例（Ebrahimi等人，2018年）。在这项工作中，我们表明，隐含在优化过程中的知识可以被提炼到另一个更有效的神经网络。我们训练一个模型来模拟白盒攻击的行为，并表明它在示例中具有很好的泛化能力。此外，它将对抗性示例生成时间减少了19 - 39倍。我们还表明，我们的方法转移到一个黑盒设置，通过攻击谷歌透视API和暴露其漏洞。我们的攻击在42%的生成示例中翻转了API预测的标签，而人类在预测黄金标签时保持了高准确性。
2019-04-04 cs.CR cs.LG stat.ML
Prior Convictions: Black-Box Adversarial Attacks with Bandits and Priors
MIT（麻省理工学院(MIT)）
我们研究了在黑盒设置中生成对抗性示例的问题，在黑盒设置中，只有损失预言机访问模型可用。我们引入了一个框架，在概念上统一了许多现有的黑盒攻击的工作，我们证明了目前最先进的方法是最佳的自然意义上。尽管有这种最优性，我们展示了如何通过将一个新元素引入问题来改进黑盒攻击：梯度先验。我们给出了一个基于强盗优化的算法，使我们能够无缝集成任何这样的先验，我们明确地确定并纳入两个例子。由此产生的方法使用两到四倍少的查询和失败的两到五倍，比目前的最先进的。
2019-03-28 cs.CR cs.LG stat.ML
Black-Box Knowledge Transfer across Distinct Feature Sets
The Ohio State University（俄亥俄州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
该研究提出跨异质特征空间的黑盒知识迁移方法，通过两步神经网络分解回归函数，聚合多黑盒可降低误差，模拟与真实数据验证其有效性。
2026-08-14 cs.LG stat.ME stat.ML
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Adversarial Eigen Attack on Black-Box Models
Tsinghua University（清华大学）；China Academy of Electronics and Information Technology（中国电子科学研究院）
黑盒对抗攻击由于其在人工智能安全中的实际应用而引起了广泛的研究兴趣。与白盒攻击相比，黑盒攻击由于与被攻击模型相关的可用信息较少以及对查询预算的额外约束而更加困难。提高攻击效率的一般方法是借助预先训练的可转移白盒模型。在本文中，我们提出了一种新的设置可转移的黑盒攻击：攻击者可以使用外部信息从一个预先训练的模型与可用的网络参数，但是，与以往的研究不同，没有额外的训练数据被允许进一步改变或调整的预先训练的模型。为此，我们进一步提出了一种新的算法，EigenBA来解决这个问题。该方法利用白盒模型的雅可比矩阵，在保持对原始攻击图像扰动较小的前提下，挖掘黑盒模型更多的梯度信息，提高攻击效率。我们证明了最佳扰动与雅可比矩阵的右奇异向量密切相关。在ImageNet和CIFAR-10上的进一步实验表明，即使是不可学习的预训练白盒模型也可以显着提高黑盒攻击的效率，我们提出的方法可以进一步提高攻击效率。
2020-08-27 cs.CR cs.CV cs.LG
Towards Reverse-Engineering Black-Box Neural Networks
Max-Planck Institute for Informatics（马克斯-普朗克计算机科学研究所）；Saarland Informatics Campus（萨尔州信息学园区）
许多部署的学习模型是黑盒：给定输入，返回输出。关于模型的内部信息，例如架构，优化程序或训练数据，没有明确披露，因为它可能包含专有信息或使系统更容易受到攻击。这项工作表明，这些属性的神经网络可以暴露从一系列的查询。这有多方面的影响。一方面，我们的工作揭示了黑盒神经网络对不同类型攻击的脆弱性-我们表明，揭示的内部信息有助于生成针对黑盒模型的更有效的对抗性示例。另一方面，这种技术可以用于更好地保护私人内容免受使用对抗性示例的自动识别模型的影响。我们的论文表明，实际上很难在白盒和黑盒模型之间划清界限。
2018-02-14 cs.CR cs.CV cs.LG
White-box vs Black-box: Bayes Optimal Strategies for Membership Inference
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔综合理工学院）；LJK（格勒诺布尔大学实验室）；Facebook AI Research（Facebook人工智能研究院）
在给定样本和机器学习模型的训练参数的情况下，隶属度推断确定样本是否是训练集的一部分。在本文中，我们推导出的最佳策略的成员推断与一些假设的参数分布。我们证明了最优攻击只依赖于损失函数，因此黑盒攻击和白盒攻击一样好。由于最优策略是不听话的，我们提供了它的近似导致几种推理方法，并表明现有的成员资格推理方法是粗糙的近似这种最优策略。我们的成员攻击在各种设置中都优于最先进的技术，从简单的逻辑斯谛回归到更复杂的架构和数据集，如ResNet-101和Imagenet。
2019-08-29 cs.CR cs.LG stat.ML
Query-Efficient Black-box Adversarial Examples (superceded)
Massachusetts Institute of Technology（麻省理工学院）；LabSix（第六实验室）
请注意，这篇论文被“有限信息和信息的黑盒对抗攻击”取代。“当前基于神经网络的图像分类器容易受到对抗性示例的影响，即使在黑盒设置中，攻击者也仅限于查询访问而无法访问梯度。以前的方法-替代网络和基于坐标的有限差分方法-要么不可靠，要么查询效率低，使得这些方法对某些问题不切实际。我们介绍了一种新的方法，用于在更受限制的，实用的黑盒威胁模型下可靠地生成对抗性示例。首先，我们采用自然的演化策略执行黑盒攻击使用两到三个数量级的查询比以前的方法。其次，我们引入了一个新的算法来执行有针对性的对抗攻击在部分信息设置，其中攻击者只能访问有限数量的目标类。使用这些技术，我们成功地对商业部署的机器学习系统Google Cloud Vision API在部分信息设置中进行了第一次有针对性的对抗攻击。
2018-04-06 cs.CV cs.LG stat.ML
Unifying Likelihood-free Inference with Black-box Optimization and Beyond
Mila；University of Montreal（蒙特利尔大学）；CIFAR Fellow（CIFAR研究员）
用于生物序列设计的黑箱优化配方最近引起了人们的关注，因为它们对制药工业有着广阔的潜在影响。在这项工作中，我们建议统一两个看似不同的世界：无可能性推理和黑盒优化，在一个概率框架。在串联，我们提供了一个配方构建各种序列设计方法的基础上，这个框架。我们展示了如何以前的优化方法可以在我们的框架中“改造”，并进一步提出新的概率黑箱优化算法。序列设计应用的广泛实验说明了所提出的方法的好处。
2022-02-08 cs.AI cs.LG q-bio.BM
Smoothing the Black-Box: Signed-Distance Supervision for Black-Box Model Copying
本文提出基于符号距离的黑箱模型复制方法，通过平滑回归提升复制精度和泛化能力，同时生成不确定性信号。
2026-01-28 cs.LG
Simple Black-box Adversarial Attacks
Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一个有趣的简单的方法，用于在黑盒设置中构建对抗图像。在白盒场景中，构建黑盒对抗图像对查询预算有额外的约束，有效的攻击仍然是一个悬而未决的问题。只有连续值置信分数的温和假设，我们的高查询效率算法利用以下简单的迭代原理：我们从预定义的正交基随机采样一个向量，并将其添加或减去目标图像。尽管它很简单，但所提出的方法可以用于无目标和有目标的攻击，从而在这两种情况下都实现了前所未有的查询效率。我们展示了我们的算法在几个现实世界的设置，包括谷歌云视觉API的功效和效率。我们认为，我们提出的算法应该作为未来黑盒攻击的强大基线，特别是因为它非常快，其实现需要不到20行PyTorch代码。
2019-08-15 cs.CR cs.LG stat.ML
RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg（卢森堡大学SnT分校）；Luxembourg Institute of Health（卢森堡健康研究院）
RobustBlack研究了黑盒攻击对最新防御措施的挑战，发现高级攻击对简单模型效果有限，而优化的鲁棒模型对黑盒攻击更具抵抗力，且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Does It Make Sense to Explain a Black Box With Another Black Box?
INRIA（法国国家信息与自动化研究所）；IRISA（IRISA研究所）；L’Institut Agro（法国农业研究院）
本文比较了NLP中透明与不透明两类反事实解释方法在三个经典任务上的表现，发现不透明方法增加复杂性却无显著性能提升，质疑了用黑盒解释黑盒的合理性。
2024-04-23 cs.CL cs.LG
Efficient Black-Box Planning Using Macro-Actions with Focused Effects
Brown University（布朗大学）；IBM Research（IBM研究院）
确定性规划的难度随着搜索树的深度呈指数级增加。黑箱规划提出了一个更大的挑战，因为规划者必须在没有明确的领域模型的情况下进行操作。启发式可以使搜索更有效，但黑盒规划的目标感知启发式通常依赖于目标计数，这通常是相当没有信息的。在这项工作中，我们将展示如何克服这一限制，发现宏观行动，使目标计数启发式更准确。我们的方法搜索具有集中效果的宏动作（即仅修改少量状态变量的宏），这些宏动作与目标计数启发式所做的假设非常一致。聚焦宏在广泛的规划领域中显著提高了黑盒规划效率，有时甚至击败了访问完整领域模型的最先进的规划器。
2021-06-23 cs.AI cs.LG stat.ML
Equipping Black-Box Policies with Model-Based Advice for Stable Nonlinear Control
California Institute of Technology（加州理工学院）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
机器学习的黑箱策略在非线性控制问题中无处不在。同时，对于这些问题，通常可以从例如，非线性动力学的线性近似。我们研究的问题装备一个黑箱控制策略与基于模型的建议，非线性控制在一个单一的轨迹。我们首先展示了一个普遍的负面结果，即黑盒策略和基于线性模型的策略的朴素凸组合可能导致不稳定，即使这两个策略都是稳定的。然后，我们提出了一个自适应的$λ$置信策略，与一个系数$λ$表示在一个黑箱策略的信心，并证明了它的稳定性。有界非线性，此外，我们表明，自适应$λ$信心的政策实现了有界的竞争比时，黑箱政策是近最优的。最后，我们提出了一种在线学习方法来实现自适应$λ$ -置信策略，并在CartPole问题和实际电动汽车（EV）充电问题的案例研究中验证了其有效性。
2022-06-02 cs.LG cs.SY eess.SY
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University（高等经济大学）
本研究提出一种基于Wasserstein距离的不确定性估计器，结合深度生成代理模型用于黑盒模拟器的无梯度优化，经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Leveraging Extracted Model Adversaries for Improved Black Box Attacks
Oracle Corporation（甲骨文公司）；Oracle Labs（甲骨文实验室）
针对基于阅读理解的问答中的黑盒模型，提出了一种对抗性输入生成方法.我们的方法由两个步骤组成。首先，我们通过模型提取来近似受害者黑盒模型（Krishna等人，2020年）。其次，我们使用我们自己的白盒方法来生成导致近似模型失败的输入扰动。这些扰动的输入被用来对付受害者。在实验中，我们发现我们的方法将AddAny-白盒攻击-在近似模型上执行的有效性提高了25%F1，AddSent攻击-黑盒攻击-提高了11%F1（Jia和Liang，2017）。
2020-11-02 cs.AI cs.CL cs.LG
Diffusion Models for Black-Box Optimization
UCLA（加州大学洛杉矶分校）
针对离线黑盒优化中现有方法的局限，提出基于扩散模型的去噪扩散优化模型DDOM，通过条件生成、数据重加权及无分类器引导实现优化，在Design-Bench基准上达到了与最优基线相当的性能。
2023-08-21 cs.LG
Open the Black Box Data-Driven Explanation of Black Box Decision Systems
University of Pisa（比萨大学）；ISTI-CNR of Pisa（比萨国家研究委员会信息科学与技术研究所）
用于自动决策的黑盒系统通常基于对（大）数据的机器学习，将用户的特征映射到一个类别或分数中，而不暴露原因。这不仅是因为缺乏透明度，而且由于人类偏见和隐藏在训练数据中的收集伪像，算法中隐藏的可能偏见也是有问题的，这可能导致不公平或错误的决策。我们介绍了黑箱解释的局部到全局框架，这是一种新的方法，有希望的早期结果，它为未来沿着三个维度的广泛发展铺平了道路：（i）用高度表达性的逻辑规则表达解释的语言，具有统计和因果解释;（ii）对局部解释的推断，旨在通过查询和审计目标实例附近的黑匣子来揭示针对特定实例所采取的决策的逻辑;（iii）自下而上将许多局部解释概括为简单的全局解释，并使用优化解释质量和可理解性的算法。
2018-06-26 cs.AI cs.CY cs.LG
DEFT-FUNNEL: an open-source global optimization solver for constrained grey-box and black-box problems
Veolia Research and Innovation（威立雅研究与创新中心）
在医学、化学、工程和人工智能等领域中，对用于约束全局最优化问题的灰箱和黑箱最优化方法的快速增长的需求已经促成了用于找到最佳可能解的新的有效算法的设计。在这项工作中，我们提出了DEFT-FUNNEL，一个开源的全局优化算法一般约束灰盒和黑盒问题，属于一类的信任区域序列二次优化算法。它将Sampaio和Toint（2015，2016）以前的工作扩展到全局优化求解器，该求解器能够利用来自封闭形式函数的信息。多项式插值模型被用来作为替代的黑盒功能和聚类为基础的多启动策略应用于搜索的全局最小值。数值实验表明，DEFT-FUNNEL与其他国家的最先进的方法相比，在两组基准问题：一组包含的问题，其中每个功能是一个黑盒子和另一组的问题，其中一些功能及其衍生物是已知的求解器。用于实验的代码和测试集可以在Github存储库http://github.com/phrsampaio/deft-funnel上获得。
2019-12-29 cs.LG math.OC
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago（芝加哥大学）
众所周知，深度学习系统容易受到对抗性样本的攻击。特别是，基于查询的黑盒攻击不需要深度学习模型的知识，但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率，证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight，一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是，为了计算对抗性示例，这些攻击在网络上执行迭代优化，在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击，使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击，在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人，往往只有少数查询后。通过拒绝所有检测到的查询，Blacklight可以阻止任何攻击完成，即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策，包括在效率上接近白盒攻击的最佳黑盒攻击。最后，我们说明了Blacklight如何推广到其他领域，如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Black Box Optimization Using QUBO and the Cross Entropy Method
LMU Munich（慕尼黑大学）；TU Delft（代尔夫特理工大学）
黑盒优化（BBO）可以用来优化函数的解析形式未知。实现BBO的一种常见方法是学习一个代理模型，该模型近似于目标黑盒函数，然后可以通过白盒优化方法求解。在本文中，我们提出了我们的方法BOX-QUBO，其中的代理模型是一个QUBO矩阵。然而，与以前最先进的方法不同，这个矩阵并不完全通过回归训练，而是主要通过“好”和“坏”解决方案之间的分类来训练。这更好地解释了QUBO矩阵的低容量，从而导致整体解决方案明显更好。我们在四个领域测试了我们的方法与最先进的方法，在所有这些领域中，BOX-QUBO都显示出更好的结果。本文的第二个贡献是也解决白盒问题的想法，即可以直接制定为QUBO的问题，通过黑盒优化，以减少QUBO的大小到信息理论的最小值。实验表明，这显著改善了MAX-k-SAT的结果。
2023-02-09 cs.LG
A causal framework for explaining the predictions of black-box sequence-to-sequence models
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
我们解释任何黑箱结构的输入-输出模型的预测围绕一个特定的输入-输出对。我们的方法返回一个由因果关系相关的输入-输出标记组组成的“解释”。这些依赖关系是通过用扰动输入查询黑盒模型，从响应中生成令牌图，并解决分区问题以选择最相关的组件来推断的。我们专注于序列到序列问题的一般方法，采用变分自编码器产生有意义的输入扰动。我们在几个NLP序列生成任务中测试我们的方法。
2017-11-14 cs.LG
Introducing Symmetries to Black Box Meta Reinforcement Learning
DeepMind（深度思维）；The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科学大学）
Meta强化学习（RL）试图从环境交互中自动发现新的强化学习算法。在所谓的黑盒方法中，策略和学习算法由单个神经网络共同表示。这些方法非常灵活，但在推广到新的、看不见的环境方面往往表现不佳。在本文中，我们将探讨对称性在元泛化中的作用。我们发现，最近一个成功的Meta RL方法，元学习基于反向传播的学习的目标表现出一定的对称性（特别是重复使用的学习规则，输入和输出排列的不变性），不存在于典型的黑盒Meta RL系统。我们假设，这些对称性可以发挥重要作用，在元概括。基于最近在黑盒监督元学习方面的工作，我们开发了一个黑盒Meta RL系统，该系统具有相同的对称性。我们通过仔细的实验表明，结合这些对称性可以使算法具有更大的能力来概括看不见的动作和观察空间，任务和环境。
2022-06-05 cs.AI cs.LG cs.NE
Black-box Adversarial Sample Generation Based on Differential Evolution
Nanjing University（南京大学）；Purdue University（普渡大学）
深度神经网络（DNN）被用于各种日常任务，如目标检测、语音处理和机器翻译。然而，众所周知，DNN存在鲁棒性问题-被称为对抗样本的扰动输入导致DNN的错误行为。在本文中，我们提出了一种称为黑盒动量迭代快速梯度符号方法（BMI-FGSM）的黑盒技术来测试DNN模型的鲁棒性。该技术不需要目标DNN的结构或权重的任何知识。与现有的需要访问模型内部信息（如梯度）的白盒测试技术相比，我们的技术通过差分进化来近似梯度，并使用近似梯度来构建对抗样本。实验结果表明，我们的技术可以实现100%的成功生成对抗样本触发误分类，并在生成样本触发误分类到特定的目标输出标签超过95%的成功。它还表现出更好的扰动距离和更好的可转移性。与最先进的黑盒技术相比，我们的技术更有效。此外，我们对商业阿里云API进行了测试，并成功地在有限数量的查询内触发其错误行为，证明了现实世界中黑盒攻击的可行性。
2020-07-30 cs.CR cs.CV cs.LG
Black-Box Saliency Map Generation Using Bayesian Optimisation
Council for Scientific and Industrial Research（科学与工业研究理事会）；University of Edinburgh（爱丁堡大学）；University of Pretoria（比勒陀利亚大学）
显着图通常用于计算机视觉，以提供对模型用于产生特定预测的输入区域的直观解释。显着图生成的方法有很多，但大多数都需要访问模型参数。这项工作提出了一种黑盒模型的显着图生成方法，其中没有访问模型参数，使用贝叶斯优化抽样方法。该方法的目的是找到一个特定的（黑盒）模型的预测负责的全球显着的图像区域。这是通过一种基于采样的方法来实现的，该方法旨在将图像的显着区域定位到黑盒模型中。结果表明，所提出的显着图生成方法优于基于网格的扰动方法，并执行类似于基于梯度的方法，需要访问模型参数。
2020-01-30 cs.AI cs.CV cs.LG
PINN-BO: A Black-box Optimization Algorithm using Physics-Informed Neural Networks
Applied Artificial Intelligence Institute（应用人工智能学院）；Deakin University（迪肯大学）
本文提出PINN-BO，一种结合物理信息神经网络与偏微分方程知识的黑盒优化算法，通过理论分析和实验证明其能提高样本效率并获得更紧致的遗憾界。
2024-02-05 cs.LG
Towards Query-Efficient Black-Box Adversary with Zeroth-Order Natural Gradient Descent
Northeastern University（东北大学）；IBM Research（IBM研究院）
尽管现代深度神经网络（DNN）取得了巨大的成就，但在许多需要高可靠性的应用领域中，最先进的DNN的脆弱性/鲁棒性引起了安全问题。各种对抗攻击被提出来破坏DNN模型的学习性能。其中，黑箱对抗攻击方法由于其实用性和简单性而受到特别的关注。黑盒攻击通常喜欢较少的查询，以保持隐蔽性和低成本。然而，目前的黑盒攻击方法大多采用一阶梯度下降方法，存在收敛速度慢、对超参数设置敏感等不足。本文提出了一种零阶自然梯度下降（ZO-NGD）方法来设计对抗攻击，该方法结合了零阶梯度估计技术和二阶自然梯度下降，以提高查询效率。在图像分类数据集上的实验结果表明，与现有攻击方法相比，ZO-NGD能够获得更低的模型查询复杂度。
2020-02-18 cs.CR cs.CV cs.LG
Offline Stochastic Optimization of Black-Box Objective Functions
Duke University（杜克大学）；Colorado State University（科罗拉多州立大学）
本文提出随机离线黑盒优化（SOBBO）框架，分别通过可微代理和保守场约束梯度估计处理大数据与稀缺数据场景，提升优化鲁棒性、收敛性与数据效率。
2024-12-03 cs.LG
Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?
本文提出CAC方法，通过知识蒸馏和搜索空间收缩，在固定迭代次数内证明性地计算黑盒模型的对抗性示例，并在ImageNet数据集上优于现有方法。
2026-03-12 cs.AI cs.LG
Optimization on black-box function by parameter-shift rule
Nara Institute of Science and Technology（奈良科学技术研究院）
针对黑盒函数优化中查询观测与参数需求过多的问题，本文引入源自量子计算的参数移位规则零阶方法，以更少参数实现优化。
2025-03-16 cs.LG
Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs
Georgia Institute of Technology（佐治亚理工学院）；Precur AI；Google DeepMind（谷歌DeepMind）
针对黑盒LLM因不透明性难以提升推理等能力且现有适配方法不可行的问题，提出轻量级白盒LLM控制器Matryoshka Pilot，通过分解任务为中间输出引导黑盒LLM，有效增强其在复杂长期任务中的能力。
2025-11-13 cs.AI cs.CL cs.LG
Stateful Defenses for Machine Learning Models Are Not Yet Secure Against Black-box Attacks
University of Michigan（密歇根大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有状态防御模型依赖查询历史拦截相似黑盒查询的问题，提出两阶段 OARS 自适应攻击，推断并规避防御，将六种攻击在多个数据集上的成功率由近0%提升至近100%。
2023-09-26 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
