Towards Query-Efficient Black-Box Adversary with Zeroth-Order Natural Gradient Descent
Northeastern University（东北大学）；IBM Research（IBM研究院）
尽管现代深度神经网络（DNN）取得了巨大的成就，但在许多需要高可靠性的应用领域中，最先进的DNN的脆弱性/鲁棒性引起了安全问题。各种对抗攻击被提出来破坏DNN模型的学习性能。其中，黑箱对抗攻击方法由于其实用性和简单性而受到特别的关注。黑盒攻击通常喜欢较少的查询，以保持隐蔽性和低成本。然而，目前的黑盒攻击方法大多采用一阶梯度下降方法，存在收敛速度慢、对超参数设置敏感等不足。本文提出了一种零阶自然梯度下降（ZO-NGD）方法来设计对抗攻击，该方法结合了零阶梯度估计技术和二阶自然梯度下降，以提高查询效率。在图像分类数据集上的实验结果表明，与现有攻击方法相比，ZO-NGD能够获得更低的模型查询复杂度。
2020-02-18 cs.CR cs.CV cs.LG
Black-box optimization with a politician
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出一种适用于梯度计算昂贵情况的黑盒凸优化新框架，结合凸优化概念和分析中心，实验证明其性能优于BFGS等算法。
2016-02-15 cs.DS cs.LG cs.NA
Distributed Black-box Attack: Do Not Overestimate Black-box Attacks
University of Southampton（南安普顿大学）；University of Exeter（埃克塞特大学）
针对黑盒对抗攻击对云 API 威胁被高估的问题，本文直接在云 API 上开展攻击实验，指出已有研究因常见错误夸大了攻击效率。
2025-03-17 cs.LG
On Gradient-like Explanation under a Black-box Setting: When Black-box Explanations Become as Good as White-box
Freie Universität Berlin（柏林自由大学）
针对黑盒场景下基于梯度的归因方法因需内部访问而受限的问题，提出仅靠查询级访问生成类梯度解释的\methodAbr方法，经理论证明与图像实验验证，其效果优于现有黑盒方法且媲美白盒方法。
2024-05-14 cs.LG
Smoothing the Black-Box: Signed-Distance Supervision for Black-Box Model Copying
本文提出基于符号距离的黑箱模型复制方法，通过平滑回归提升复制精度和泛化能力，同时生成不确定性信号。
2026-01-28 cs.LG
RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg（卢森堡大学SnT分校）；Luxembourg Institute of Health（卢森堡健康研究院）
RobustBlack研究了黑盒攻击对最新防御措施的挑战，发现高级攻击对简单模型效果有限，而优化的鲁棒模型对黑盒攻击更具抵抗力，且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Diffusion Models for Black-Box Optimization
UCLA（加州大学洛杉矶分校）
针对离线黑盒优化中现有方法的局限，提出基于扩散模型的去噪扩散优化模型DDOM，通过条件生成、数据重加权及无分类器引导实现优化，在Design-Bench基准上达到了与最优基线相当的性能。
2023-08-21 cs.LG
Black Box Optimization Using QUBO and the Cross Entropy Method
LMU Munich（慕尼黑大学）；TU Delft（代尔夫特理工大学）
黑盒优化（BBO）可以用来优化函数的解析形式未知。实现BBO的一种常见方法是学习一个代理模型，该模型近似于目标黑盒函数，然后可以通过白盒优化方法求解。在本文中，我们提出了我们的方法BOX-QUBO，其中的代理模型是一个QUBO矩阵。然而，与以前最先进的方法不同，这个矩阵并不完全通过回归训练，而是主要通过“好”和“坏”解决方案之间的分类来训练。这更好地解释了QUBO矩阵的低容量，从而导致整体解决方案明显更好。我们在四个领域测试了我们的方法与最先进的方法，在所有这些领域中，BOX-QUBO都显示出更好的结果。本文的第二个贡献是也解决白盒问题的想法，即可以直接制定为QUBO的问题，通过黑盒优化，以减少QUBO的大小到信息理论的最小值。实验表明，这显著改善了MAX-k-SAT的结果。
2023-02-09 cs.LG
A causal framework for explaining the predictions of black-box sequence-to-sequence models
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
我们解释任何黑箱结构的输入-输出模型的预测围绕一个特定的输入-输出对。我们的方法返回一个由因果关系相关的输入-输出标记组组成的“解释”。这些依赖关系是通过用扰动输入查询黑盒模型，从响应中生成令牌图，并解决分区问题以选择最相关的组件来推断的。我们专注于序列到序列问题的一般方法，采用变分自编码器产生有意义的输入扰动。我们在几个NLP序列生成任务中测试我们的方法。
2017-11-14 cs.LG
PINN-BO: A Black-box Optimization Algorithm using Physics-Informed Neural Networks
Applied Artificial Intelligence Institute（应用人工智能学院）；Deakin University（迪肯大学）
本文提出PINN-BO，一种结合物理信息神经网络与偏微分方程知识的黑盒优化算法，通过理论分析和实验证明其能提高样本效率并获得更紧致的遗憾界。
2024-02-05 cs.LG
Offline Stochastic Optimization of Black-Box Objective Functions
Duke University（杜克大学）；Colorado State University（科罗拉多州立大学）
本文提出随机离线黑盒优化（SOBBO）框架，分别通过可微代理和保守场约束梯度估计处理大数据与稀缺数据场景，提升优化鲁棒性、收敛性与数据效率。
2024-12-03 cs.LG
Optimization on black-box function by parameter-shift rule
Nara Institute of Science and Technology（奈良科学技术研究院）
针对黑盒函数优化中查询观测与参数需求过多的问题，本文引入源自量子计算的参数移位规则零阶方法，以更少参数实现优化。
2025-03-16 cs.LG
CPT: Consistent Proxy Tuning for Black-box Optimization
IHPC, A*STAR（新加坡科技研究局高性能计算研究院）；NUS（新加坡国立大学）；HIT（哈尔滨工业大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ANU（澳大利亚国立大学）
本文提出一致性代理调优（CPT），通过同时利用冻结的大黑盒模型和小白盒模型，解决代理调优中训练与测试不一致的问题，在 LLMs 和 VLMs 的黑盒调优上取得更优性能。
2024-07-01 cs.LG
GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms
Nvidia（英伟达）；RAPIDS
黑盒优化对于调整复杂的机器学习算法至关重要，这些算法更容易实验而不是理解。在本文中，我们表明，一个简单的集成的黑盒优化算法可以优于任何一个。然而，寻找这样的最佳合奏需要大量的实验。我们提出了一个多GPU优化的框架，通过并行运行许多实验来加速暴力搜索黑盒优化算法的最佳集成。轻量级优化由CPU执行，而昂贵的模型训练和评估则分配给GPU。我们通过训练270万个模型和运行541，440次优化来评估15个优化器。在DGX-1上，搜索时间从两个20核CPU上的10多天减少到8核GPU上的不到24小时。通过GPU加速的穷举搜索找到的最佳集成，我们赢得了NeurIPS 2020黑盒优化挑战赛的第二名。
2021-08-02 cs.LG
CAAD 2018: Powerful None-Access Black-Box Attack Based on Adversarial Transformation Network
USTC（中国科学技术大学）
在本文中，我们提出了一种改进的对抗转换网络（ATN）来生成对抗示例，它可以欺骗白盒模型和黑盒模型，具有最先进的性能，并在CAAD 2018中获得了非目标任务的第二名。
2018-11-03 cs.LG stat.ML
Explaining Black Boxes on Sequential Data using Weighted Automata
Aix-Marseille University（艾克斯-马赛大学）
了解一个学习的黑盒是如何工作的，对于机器学习的未来至关重要。在本文中，我们开创性的学习黑盒模型，分配数值符号序列数据的全局可解释性的问题。为了解决这个问题，我们提出了一个频谱算法的加权自动机（WA）从这样的黑盒子的提取。该算法不需要访问数据集或黑盒的内部表示：推断模型可以仅通过查询黑盒，向其提供输入并分析其输出来获得。使用递归神经网络（RNN）在48个合成数据集和2个真实数据集上训练的实验表明，所获得的近似具有很高的质量。
2018-10-12 cs.LG stat.ML
Does It Make Sense to Explain a Black Box With Another Black Box?
INRIA（法国国家信息与自动化研究所）；IRISA（IRISA研究所）；L’Institut Agro（法国农业研究院）
本文比较了NLP中透明与不透明两类反事实解释方法在三个经典任务上的表现，发现不透明方法增加复杂性却无显著性能提升，质疑了用黑盒解释黑盒的合理性。
2024-04-23 cs.CL cs.LG
Black-Box Ripper: Copying black-box models using generative evolutionary algorithms
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
我们研究了复制黑盒神经模型功能的任务，对于黑盒神经模型，我们只知道为一组输入图像提供的输出类概率。我们假设通过黑盒模型的反向传播是不可能的，并且它的训练图像不可用，例如，模型只能通过API暴露。在这种情况下，我们提出了一个教师-学生的框架，可以提取的黑盒（教师）模型到一个学生模型，以最小的准确性损失。为了生成用于训练学生的有用数据样本，我们的框架（i）学习在代理数据集上生成图像（图像和类与用于训练黑盒的图像和类不同），以及（ii）应用进化策略以确保每个生成的数据样本在作为黑盒的输入时对特定类表现出高响应。我们的框架进行了比较与几个基线和国家的最先进的方法在三个基准数据集。经验证据表明，我们的模型优于所考虑的基线。虽然我们的方法没有通过黑盒网络反向传播，但它通常超过了将教师视为玻璃盒模型的最先进方法。我们的代码可在https://github.com/antoniobarbalau/black-box-ripper上获得。
2020-10-21 cs.CV cs.LG cs.NE
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）；eBay
最近，NIPS、ICML、ICLR和CVPR等机构提出了许多防御措施。这些防御主要集中在减轻白盒攻击。他们没有正确地检查黑盒攻击。在本文中，我们扩展这些防御的分析，包括自适应黑盒对手。我们的评估是在九个防御上完成的，包括随机变换的弹幕，ComDefend，Enseminated多样性，特征蒸馏，赔率是奇数，纠错码，分布分类器防御，K-赢家通吃和缓冲区。我们的调查是使用两个黑盒对抗模型和六个广泛研究的CIFAR-10和Fashion-MNIST数据集的对抗攻击进行的。我们的分析表明，最新的防御（9个中的7个）提供的安全性（$<25\%$）相比，未设防的网络，只有边际改善。对于每一种防御，我们还展示了对手拥有的数据量与自适应黑盒攻击的有效性之间的关系。总的来说，我们的结果描绘了一幅清晰的画面：防御需要彻底的白盒和黑盒分析才能被认为是安全的。我们提供这种大规模的研究和分析，以激励该领域朝着更强大的黑盒防御的发展。
2021-05-20 cs.LG stat.ML
Spanning Attack: Reinforce Black-box Attacks with Unlabeled Data
JD AI Research, JD.com（京东集团京东人工智能研究院）；Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对抗性黑盒攻击旨在通过查询机器学习模型的输入输出对来制造对抗性扰动。它们被广泛用于评估预训练模型的鲁棒性。然而，黑盒攻击往往遭受的问题，查询效率低下，由于输入空间的高维性，从而招致一个错误的感觉模型的鲁棒性。在本文中，我们放宽了黑盒威胁模型的条件，并提出了一种新的技术称为跨越攻击。通过在低维子空间中通过生成辅助未标记数据集来约束对抗扰动，生成攻击显着提高了各种现有黑盒攻击的查询效率。大量的实验表明，该方法在软标签和硬标签黑盒攻击中都有良好的效果。我们的代码可在https://github.com/wangwllu/spanning_attack上获得。
2020-11-10 cs.LG stat.ML
DEFT-FUNNEL: an open-source global optimization solver for constrained grey-box and black-box problems
Veolia Research and Innovation（威立雅研究与创新中心）
在医学、化学、工程和人工智能等领域中，对用于约束全局最优化问题的灰箱和黑箱最优化方法的快速增长的需求已经促成了用于找到最佳可能解的新的有效算法的设计。在这项工作中，我们提出了DEFT-FUNNEL，一个开源的全局优化算法一般约束灰盒和黑盒问题，属于一类的信任区域序列二次优化算法。它将Sampaio和Toint（2015，2016）以前的工作扩展到全局优化求解器，该求解器能够利用来自封闭形式函数的信息。多项式插值模型被用来作为替代的黑盒功能和聚类为基础的多启动策略应用于搜索的全局最小值。数值实验表明，DEFT-FUNNEL与其他国家的最先进的方法相比，在两组基准问题：一组包含的问题，其中每个功能是一个黑盒子和另一组的问题，其中一些功能及其衍生物是已知的求解器。用于实验的代码和测试集可以在Github存储库http://github.com/phrsampaio/deft-funnel上获得。
2019-12-29 cs.LG math.OC
Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
Duke University（杜克大学）
黑盒机器学习模型目前正用于整个社会的高风险决策，在医疗保健、刑事司法和其他领域造成问题。人们希望创建解释这些黑盒模型的方法可以缓解其中的一些问题，但是试图\textit{explain}黑盒模型，而不是首先创建\textit{interpretable}模型，很可能会延续不良做法，并可能对社会造成灾难性的危害。有一条前进的道路-设计出内在可解释的模型。这份手稿澄清了解释黑盒和使用固有的可解释模型之间的鸿沟，概述了在高风险决策中应避免可解释黑盒的几个关键原因，确定了可解释机器学习的挑战，并提供了几个示例应用程序，其中可解释模型可能会在刑事司法，医疗保健和计算机视觉中取代黑盒模型。
2019-09-22 cs.LG stat.ML
Interpretable Companions for Black-Box Models
Osaka University（大阪大学）；University of Iowa（爱荷华大学）
我们提出了一个可解释的同伴模型的任何预先训练的黑盒分类器。这个想法是，对于任何输入，用户可以决定从黑盒模型中接收预测，具有高准确性但没有解释，或者采用伴随规则来获得精度略低的可解释预测。同伴模型是从数据和黑盒模型的预测中训练出来的，目标是结合透明度下的区域-准确性曲线和模型复杂性。我们的模型为从业者提供了灵活的选择，他们面临着总是使用可解释的模型和总是使用黑箱模型进行预测任务之间的选择，因此，对于任何给定的输入，如果他们发现预测性能令人满意，用户可以后退一步，采取可解释的预测，或者如果规则不令人满意，则坚持使用黑箱模型。为了展示同伴模型的价值，我们设计了一个超过一百人的人类评估，以调查可容忍的准确性损失，以获得人类的可解释性。
2020-02-11 cs.LG stat.ML
Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?
本文提出CAC方法，通过知识蒸馏和搜索空间收缩，在固定迭代次数内证明性地计算黑盒模型的对抗性示例，并在ImageNet数据集上优于现有方法。
2026-03-12 cs.AI cs.LG
Black-box Certification and Learning under Adversarial Perturbations
McMaster University（麦克马斯特大学）；Scotiabank（丰业银行）；York University（约克大学）
我们从学习者的角度以及第三方的目的是证明给定的黑盒分类器的鲁棒性，正式研究了对抗扰动下的分类问题。我们分析了半监督学习的PAC型框架，并确定了在这种情况下正确学习VC类的可能性和不可能性结果。我们进一步介绍了一个新的设置下的黑盒认证有限的查询预算，并分析这对各类预测和扰动。我们还考虑了一个黑盒对手的观点，旨在寻找对抗性的例子，表明存在一个对手的多项式查询复杂性可以意味着存在一个样本有效的鲁棒学习器。
2022-02-22 cs.LG stat.ML
xGEMs: Generating Examplars to Explain Black-Box Models
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）
这项工作提出了xGEM或流形引导样本，一个框架，以了解黑盒分类器的行为，通过探索的景观底层数据流形的数据点跨越决策边界。为此，我们训练了一个无监督的隐式生成模型--作为数据流形的代理。我们总结了黑盒模型的行为定量扰动数据样本沿流形。我们展示了xGEM在模型学习中检测和量化偏差的能力，以及随着训练的进行理解模型行为变化的能力。
2018-06-22 cs.LG stat.ML
Stateful Defenses for Machine Learning Models Are Not Yet Secure Against Black-box Attacks
University of Michigan（密歇根大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有状态防御模型依赖查询历史拦截相似黑盒查询的问题，提出两阶段 OARS 自适应攻击，推断并规避防御，将六种攻击在多个数据集上的成功率由近0%提升至近100%。
2023-09-26 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation
Seoul National University（首尔国立大学）
近年来，深度神经网络（DNN）已成为一个高度活跃的研究领域，并在各种计算机视觉任务上表现出显著的成就。然而，众所周知，DNN经常对分布外的样本进行过度自信但不正确的预测，这可能是现实世界部署的主要障碍，因为与各种真实世界样本相比，训练数据集总是有限的。因此，当我们在实践中构建DNN模型时，保证对训练时间和测试时间之间的分布偏移的鲁棒性是至关重要的。此外，在许多情况下，深度学习模型被部署为黑盒，并且性能已经针对训练数据集进行了优化，因此改变黑盒本身可能导致性能下降。本文研究了黑盒图像分类器在特定条件下对几何变换的鲁棒性。我们提出了一个额外的学习器，\emph{REinforcement Spatial Transform learner (REST)}，它将扭曲的输入数据转换为被黑盒模型视为分布的样本。我们的工作旨在通过在任何黑盒前面添加REST模块并仅训练REST模块而不以端到端的方式重新训练原始黑盒模型来提高鲁棒性，即我们尝试将真实世界的数据转换为最适合黑盒模型性能的训练分布。我们使用从黑盒模型中获得的置信度得分来确定转换后的输入是否来自内部分布。我们的经验表明，我们的方法具有优势，在推广到几何变换和样本效率。
2020-02-16 cs.LG stat.ML
midr: Learning from Black-Box Models by Maximum Interpretation Decomposition
本文提出 R 包 midr，利用最大解释分解将黑盒模型拟合为低阶加性全局代理模型，以增强可解释性与分析能力。
2025-06-10 cs.LG stat.ME
Towards Lightweight Black-Box Attacks against Deep Neural Networks
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；Alibaba Cloud Computing Ltd（阿里云计算有限公司）；iFlytek Research（讯飞研究院）；The University of Sydney（悉尼大学）
黑盒攻击可以在不访问目标模型参数的情况下生成对抗性示例，这在很大程度上加剧了部署的深度神经网络（DNN）的威胁。然而，以前的工作指出，黑盒攻击无法误导目标模型时，他们的训练数据和输出是不可访问的。在这项工作中，我们认为，黑盒攻击可以构成实际的攻击，在这种极其限制性的情况下，只有几个测试样本。具体来说，我们发现攻击在一些测试样本上训练的DNN的浅层可以生成强大的对抗性示例。由于只需要几个样本，我们将这些攻击称为轻量级黑盒攻击。推广轻量级攻击的主要挑战是减轻由浅层近似误差引起的不利影响。由于在样本较少的情况下很难减轻近似误差，因此我们提出了用于轻量级攻击的误差Transformer（ETF）。即，ETF将参数空间中的近似误差转换为特征空间中的扰动，并通过扰动特征来消除误差。在实验中，轻量级的黑盒攻击与建议的ETF取得了令人惊讶的结果。例如，即使每个类别只有1个样本可用，轻量级黑盒攻击的攻击成功率也仅比具有完整训练数据的黑盒攻击的攻击成功率低约3%。
2022-10-11 cs.CR cs.LG
Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning
CSE, HKUST（香港科技大学计算机科学与工程系）；Peng Cheng Laboratory（鹏城实验室）；Cloud and Smart Industries Group, Tencent（腾讯云与智慧产业事业群）；WeBank（微众银行）
迁移学习已经成为在目标领域中用有限的标记数据训练深度学习模型的常见实践。另一方面，深度模型容易受到对抗攻击的攻击。虽然迁移学习已被广泛应用，但其对模型鲁棒性的影响尚不清楚。为了解决这个问题，我们进行了大量的实证评估，表明微调有效地提高了模型的鲁棒性下的白盒FGSM攻击。我们还提出了一种针对迁移学习模型的黑盒攻击方法，该方法利用源模型产生的对抗性样本对目标模型进行攻击。为了系统地测量白盒和黑盒攻击的效果，我们提出了一个新的度量标准来评估源模型产生的对抗性示例如何转移到目标模型。实验结果表明，当使用微调时，对抗性示例比两个网络独立训练时更具可转移性。
2020-08-25 cs.LG stat.ML
Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models
MIT（麻省理工学院）
越来越多地部署预测模型来确定信贷、保险和就业等服务的获取情况。尽管生产力和效率有可能提高，但一些潜在的问题尚未得到解决，特别是无意歧视的可能性。我们提出了一个迭代过程，基于正交投影的输入属性，使黑箱预测模型的可解释性。通过我们的迭代过程，可以量化黑箱模型对输入属性的相对依赖性，然后可以使用输入对预测模型的相对重要性来评估这种模型的公平性（或歧视程度）。
2016-11-15 cs.LG stat.ML
Leveraging Extracted Model Adversaries for Improved Black Box Attacks
Oracle Corporation（甲骨文公司）；Oracle Labs（甲骨文实验室）
针对基于阅读理解的问答中的黑盒模型，提出了一种对抗性输入生成方法.我们的方法由两个步骤组成。首先，我们通过模型提取来近似受害者黑盒模型（Krishna等人，2020年）。其次，我们使用我们自己的白盒方法来生成导致近似模型失败的输入扰动。这些扰动的输入被用来对付受害者。在实验中，我们发现我们的方法将AddAny-白盒攻击-在近似模型上执行的有效性提高了25%F1，AddSent攻击-黑盒攻击-提高了11%F1（Jia和Liang，2017）。
2020-11-02 cs.AI cs.CL cs.LG
Open the Black Box Data-Driven Explanation of Black Box Decision Systems
University of Pisa（比萨大学）；ISTI-CNR of Pisa（比萨国家研究委员会信息科学与技术研究所）
用于自动决策的黑盒系统通常基于对（大）数据的机器学习，将用户的特征映射到一个类别或分数中，而不暴露原因。这不仅是因为缺乏透明度，而且由于人类偏见和隐藏在训练数据中的收集伪像，算法中隐藏的可能偏见也是有问题的，这可能导致不公平或错误的决策。我们介绍了黑箱解释的局部到全局框架，这是一种新的方法，有希望的早期结果，它为未来沿着三个维度的广泛发展铺平了道路：（i）用高度表达性的逻辑规则表达解释的语言，具有统计和因果解释;（ii）对局部解释的推断，旨在通过查询和审计目标实例附近的黑匣子来揭示针对特定实例所采取的决策的逻辑;（iii）自下而上将许多局部解释概括为简单的全局解释，并使用优化解释质量和可理解性的算法。
2018-06-26 cs.AI cs.CY cs.LG
Deep Learning-based Method for Expressing Knowledge Boundary of Black-Box LLM
本文提出LSCL方法，通过深度学习模型帮助黑盒LLMs准确表达其知识边界，显著提升准确率和召回率。
2026-02-11 cs.CL cs.LG
Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning
University of Iowa（爱荷华大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了部分可解释估计器（PIE），它通过可解释模型将预测归因于单个特征，而PIE预测的一小部分（可能）归因于通过黑盒模型的特征相互作用，其目标是在保持可解释性的同时提高预测性能。因此，可解释的模型捕获特征的主要贡献，而黑盒模型试图通过捕获特征交互的“细微差别”作为细化来补充可解释的部分。我们设计了一个迭代训练算法来联合训练这两类模型。实验结果表明，PIE是非常有竞争力的黑箱模型，同时优于可解释的基线。此外，PIE的可理解性与通过人工评估验证的简单线性模型相当。
2021-05-06 cs.AI cs.LG
Improving Query Efficiency of Black-box Adversarial Attack
Tsinghua Berkeley Shenzhen Institute, Tsinghua University（清华大学清华伯克利深圳学院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信与安全研究中心（PCL））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shanghai Jiao Tong University（上海交通大学）；vivo AI Lab（vivo人工智能实验室）
深度神经网络（DNN）在各种任务上表现出了出色的性能，但它们面临着对抗性示例的风险，当攻击者可以访问目标模型时（白盒设置），这些示例可以很容易地生成。由于大量的机器学习模型已经通过在线服务部署，这些服务只提供来自不可访问模型的查询输出（例如Google Cloud Vision API 2），因此黑盒对抗攻击（不可访问的目标模型）在实践中是关键的安全问题，而不是白盒。然而，现有的基于查询的黑盒对抗攻击往往需要过多的模型查询来维持高的攻击成功率。因此，为了提高查询效率，本文利用神经过程表征的图像结构信息，探索良性输入周围的对抗性样本分布，提出了一种基于神经过程的黑盒对抗攻击（NP-Attack）。大量的实验表明，NP攻击可以大大减少黑盒设置下的查询次数。
2020-09-25 cs.LG stat.ML
Back in Black: A Comparative Evaluation of Recent State-Of-The-Art Black-Box Attacks
University of Connecticut（康涅狄格大学）；CWI（荷兰数学与计算机科学研究学会）
自2018年以来，对抗性机器学习领域的论文数量几乎呈指数级增长。这一庞大的信息输出尚未得到适当的处理和分类。在本文中，我们试图通过系统化自2019年以来对抗性机器学习黑箱攻击的最新进展来帮助缓解这一问题。我们的调查总结并分类了20个最近的黑盒攻击。我们还提出了一个新的分析，以了解每篇论文中使用的对抗模型的攻击成功率。总体而言，我们的论文调查了大量的文献，突出最近的攻击发展，并将其分为四个攻击类别：基于分数的攻击，基于决策的攻击，转移攻击和非传统攻击。此外，我们提供了一个新的数学框架，以显示如何攻击结果可以公平地比较。
2021-09-29 cs.CR cs.LG
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago（芝加哥大学）
众所周知，深度学习系统容易受到对抗性样本的攻击。特别是，基于查询的黑盒攻击不需要深度学习模型的知识，但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率，证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight，一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是，为了计算对抗性示例，这些攻击在网络上执行迭代优化，在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击，使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击，在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人，往往只有少数查询后。通过拒绝所有检测到的查询，Blacklight可以阻止任何攻击完成，即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策，包括在效率上接近白盒攻击的最佳黑盒攻击。最后，我们说明了Blacklight如何推广到其他领域，如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Enhancing Interpretability of Black-box Soft-margin SVM by Integrating Data-based Priors
Zhejiang University（浙江大学）
黑箱模型由于缺乏可解释性而难以应用于许多实际领域。为此，目前的工作，从黑盒模型的输入端口，提出了将基于数据的先验信息纳入黑盒软边缘SVM模型，以提高其可解释性。提出了基于数据的先验信息的概念和融合机制，在此基础上设计了可解释或部分可解释的SVM优化模型，并将优化问题转化为非线性二次规划问题求解。提出了一种从数据集中挖掘线性先验信息的算法，该算法从系统的所有输入中识别出两个合适的输入，生成一个线性表达式。最后，将所提出的可解释性增强策略应用于八个基准测试实例，以检验其有效性。
2019-02-02 cs.LG stat.ML
Best-Effort Adversarial Approximation of Black-Box Malware Classifiers
旨在窃取黑盒模型的对手通过预测API反复查询模型，以学习接近其决策边界的函数。对抗近似是不平凡的，因为要探索的模型架构，参数和特征的巨大组合。在这种情况下，对手诉诸最大努力的战略，产生最接近的近似。本文探讨了在最具挑战性的环境中，黑盒恶意软件分类器的最佳努力对抗近似，其中对手的知识仅限于给定输入的预测标签。从黑盒分类器的有限输入集开始，我们利用特征表示映射和跨域可转移性，通过本地训练替代品来近似黑盒恶意软件分类器。我们的方法使用目标和替代模型的不同特征类型来近似目标模型，同时还使用非重叠数据来训练目标，训练替代以及两者的比较。我们评估了我们的方法对两个黑盒分类器在Windows便携式可执行文件（PE）上训练的有效性。针对在PE的原始字节序列上训练的卷积神经网络（CNN），我们的方法实现了92%的准确替代（在PE的像素表示上训练），以及目标和替代模型之间近90%的预测一致性。针对在静态PE特征上训练的97.8%准确的梯度提升决策树，我们91%准确的替代品与90%预测的黑盒一致，这表明了我们纯黑盒近似的强度。
2020-06-28 cs.CR cs.LG
The Good, the Bad and the Ugly: Augmenting a black-box model with expert knowledge
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer Institute for Industrial Mathematics ITWM（弗劳恩霍夫工业数学研究所（ITWM））；Fraunhofer Institute for Mechanics of Materials IWM（弗劳恩霍夫材料力学研究所（IWM））
我们在材料科学的背景下解决一个非唯一的参数拟合问题。特别是，我们建议解决参数空间中的模糊性，通过增加一个黑盒人工神经网络（ANN）模型与两个不同层次的专家知识和基准对一个纯黑盒模型。
2020-05-11 cs.LG stat.ML
A note on hyperparameters in black-box adversarial examples
University College London（伦敦大学学院）
自从Biggio et al.（2013）和Szegedy et al.（2013）第一次引起人们对对抗性例子的关注以来，已经有大量的研究来防御和攻击机器学习模型。然而，几乎所有提出的攻击都假设对模型的白盒访问。换句话说，攻击者被假设对模型的权重和架构有着完美的了解。有了这些内部知识，白盒攻击可以利用梯度信息来制作对抗性示例。黑盒攻击假设不知道模型的权重或架构。这些攻击使用仅包含在logits或硬分类标签中的信息来制作对抗性示例。在这里，我们假设攻击者可以使用logits来找到一个对抗性的例子。经验上，我们表明，双边随机梯度估计技术是不敏感的缩放参数，并可用于安装强大的黑盒攻击，需要相对较少的模型查询。
2018-11-15 cs.CR cs.LG
Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa人工智能）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是仅基于仅限于输出标签~（硬标签）到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例，避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST，CIFAR-10和ImageNet的有效性，证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比，我们提出的方法始终实现了2倍到10倍的攻击成功率，同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Diversity can be Transferred: Output Diversification for White- and Black-box Attacks
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Mitsubishi UFJ Trust Investment Technology Institute（三菱UFJ信托投资技术研究所）；Japan Digital Design（日本数字设计公司（Japan Digital Design））
对抗攻击通常涉及从均匀或高斯分布中提取的输入的随机扰动，例如，以初始化基于优化的白盒攻击或在黑盒攻击中生成更新方向。然而，这些简单的扰动可能是次优的，因为它们对被攻击的模型是不可知的。为了提高这些攻击的效率，我们提出了输出多样化采样（ODS），一种新的采样策略，试图最大限度地提高多样性的目标模型的输出之间生成的样本。虽然ODS是一种基于梯度的策略，但ODS提供的多样性是可转移的，并且可以通过代理模型帮助白盒和黑盒攻击。经验上，我们证明，ODS显着提高现有的白盒和黑盒攻击的性能。特别是，ODS将ImageNet上最先进的黑盒攻击所需的查询数量减少了两倍。
2020-10-30 cs.CV cs.LG stat.ML
Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN
Peking University（北京大学）
近年来，机器学习已被用于检测新的恶意软件，而恶意软件作者具有攻击此类算法的强烈动机。恶意软件作者通常无法访问恶意软件检测系统使用的机器学习模型的详细结构和参数，因此他们只能执行黑盒攻击。本文提出了一种基于生成对抗网络（GAN）的算法MalGAN来生成对抗恶意软件示例，该示例能够绕过基于黑盒机器学习的检测模型。MalGAN使用替代检测器来适应黑盒恶意软件检测系统。生成网络被训练以最小化由替代检测器预测的生成的对抗性示例的恶意概率。与传统的基于梯度的对抗性示例生成算法相比，MalGAN的优势在于，MalGAN能够将检测率降低到几乎为零，并且使基于再训练的对抗性示例防御方法难以工作。
2017-02-20 cs.CR cs.LG
Black-Box Autoregressive Density Estimation for State-Space Models
Newcastle Univeristy（纽卡斯尔大学）
状态空间模型（SSM）为时间序列数据建模提供了一个灵活的框架。因此，SSM被广泛应用于工程、计量经济学和流行病学等领域。在本文中，我们提供了一个快速的方法，近似贝叶斯推断在SSM使用深度学习和变分推断的工具。
2018-11-21 cs.LG stat.ML
Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs
Georgia Institute of Technology（佐治亚理工学院）；Precur AI；Google DeepMind（谷歌DeepMind）
针对黑盒LLM因不透明性难以提升推理等能力且现有适配方法不可行的问题，提出轻量级白盒LLM控制器Matryoshka Pilot，通过分解任务为中间输出引导黑盒LLM，有效增强其在复杂长期任务中的能力。
2025-11-13 cs.AI cs.CL cs.LG
Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents
University of Cambridge（剑桥大学）
提出Agentic Monte Carlo (AMC)方法，利用序贯蒙特卡洛从最优策略后验中采样，无需参数级优化即可对黑盒LLM智能体进行强化学习式优化，在AgentGym基准上超越提示基线并随测试时计算扩展优于GRPO。
2026-06-03 cs.AI cs.LG
Towards Visual Distortion in Black-Box Attacks
Wuhan University（武汉大学）
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中，我们提出了一种新的黑盒攻击方法，可以直接通过学习的噪声分布的对抗性的例子，假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真，它测量的感知距离之间的敌对的例子和原始图像，引入我们的损失，而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比，我们的攻击导致的失真要低得多，并且在InceptionV3，ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
Black Box Explanation by Learning Image Exemplars in the Latent Feature Space
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）；Dalhousie University（达尔豪斯大学）
我们提出了一种方法来解释决策的黑箱模型的图像分类。在使用黑盒标记图像的同时，我们的解释方法利用了通过对抗性自动编码器学习的潜在特征空间。该方法首先在潜在特征空间中生成样本图像，并学习决策树分类器。然后，它选择和解码样本尊重本地决策规则。最后，它以一种向用户展示范例如何被修改以保持在其类中或通过“变形”到另一个类中而成为反事实的方式将它们可视化。由于我们关注的是用于图像分类的黑盒决策系统，因此从样本中获得的解释还提供了一个显著图，突出了图像中有助于其分类的区域，以及将其推入另一个类别的图像区域。我们提出了三个数据集和两个黑盒模型的实验评估结果。除了提供最有用和可解释的解释，我们表明，所提出的方法优于现有的解释器的保真度，相关性，连贯性和稳定性。
2020-01-27 cs.CV cs.LG
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度神经网络（DNN）在不同领域取得了显著的成功。然而，已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而，这些方法通常遭受低的成功率和大的查询计数，这不能完全满足实际目的。在本文中，我们提出了一种混合攻击方法，该方法在代理模型上训练Meta对抗扰动（MAP），并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化，随后训练任何黑盒攻击方法几个时期。此外，MAP具有良好的可移植性和通用性，在某种意义上，它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明，我们的方法不仅可以提高攻击成功率，但也减少了查询的数量相比，其他方法。
2022-03-28 cs.CR cs.CV cs.LG
From Black-box to White-box: Examining Confidence Calibration under different Conditions
Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）；Ruhr West University of Applied Sciences（鲁尔西应用科学大学）
置信度校准是在安全关键应用中应用人工神经网络时的主要关注点。由于过去在这一领域的大多数研究都集中在分类上，所以直到最近，目标检测范围内的置信度校准才得到更多的关注。在前人工作的基础上，研究了目标检测模型与图像位置和盒子尺度的误标定问题。我们的主要贡献是额外考虑框选择方法（如非最大值抑制）对校准的影响。我们调查的默认内在校准的目标检测模型，以及它是如何影响这些后处理技术。为此，我们区分黑盒校准与非最大抑制和白盒校准与原始网络输出。我们的实验表明，后处理高度影响置信度校准。我们发现，非最大抑制有可能降低最初校准良好的预测，导致过度自信，从而错误校准的模型。
2021-01-08 cs.CV cs.LG
