Leveraging Extracted Model Adversaries for Improved Black Box Attacks
Oracle Corporation（甲骨文公司）；Oracle Labs（甲骨文实验室）
针对基于阅读理解的问答中的黑盒模型，提出了一种对抗性输入生成方法.我们的方法由两个步骤组成。首先，我们通过模型提取来近似受害者黑盒模型（Krishna等人，2020年）。其次，我们使用我们自己的白盒方法来生成导致近似模型失败的输入扰动。这些扰动的输入被用来对付受害者。在实验中，我们发现我们的方法将AddAny-白盒攻击-在近似模型上执行的有效性提高了25%F1，AddSent攻击-黑盒攻击-提高了11%F1（Jia和Liang，2017）。
2020-11-02 cs.AI cs.CL cs.LG
Open the Black Box Data-Driven Explanation of Black Box Decision Systems
University of Pisa（比萨大学）；ISTI-CNR of Pisa（比萨国家研究委员会信息科学与技术研究所）
用于自动决策的黑盒系统通常基于对（大）数据的机器学习，将用户的特征映射到一个类别或分数中，而不暴露原因。这不仅是因为缺乏透明度，而且由于人类偏见和隐藏在训练数据中的收集伪像，算法中隐藏的可能偏见也是有问题的，这可能导致不公平或错误的决策。我们介绍了黑箱解释的局部到全局框架，这是一种新的方法，有希望的早期结果，它为未来沿着三个维度的广泛发展铺平了道路：（i）用高度表达性的逻辑规则表达解释的语言，具有统计和因果解释;（ii）对局部解释的推断，旨在通过查询和审计目标实例附近的黑匣子来揭示针对特定实例所采取的决策的逻辑;（iii）自下而上将许多局部解释概括为简单的全局解释，并使用优化解释质量和可理解性的算法。
2018-06-26 cs.AI cs.CY cs.LG
Distributed Black-box Attack: Do Not Overestimate Black-box Attacks
University of Southampton（南安普顿大学）；University of Exeter（埃克塞特大学）
针对黑盒对抗攻击对云 API 威胁被高估的问题，本文直接在云 API 上开展攻击实验，指出已有研究因常见错误夸大了攻击效率。
2025-03-17 cs.LG
Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs
Georgia Institute of Technology（佐治亚理工学院）；Precur AI；Google DeepMind（谷歌DeepMind）
针对黑盒LLM因不透明性难以提升推理等能力且现有适配方法不可行的问题，提出轻量级白盒LLM控制器Matryoshka Pilot，通过分解任务为中间输出引导黑盒LLM，有效增强其在复杂长期任务中的能力。
2025-11-13 cs.AI cs.CL cs.LG
Hybrid Predictive Model: When an Interpretable Model Collaborates with a Black-box Model
Tippie College of Business（蒂皮商学院）；University of Iowa（爱荷华大学）
可解释的机器学习已经成为传统黑箱模型的有力竞争者。然而，获得可解释性的预测性能的可能损失往往是不可避免的，使从业者在高准确性（黑箱模型）和可解释性（可解释模型）之间进行选择的困境。在这项工作中，我们提出了一个新的框架，用于构建混合预测模型（HPM），该模型将可解释的模型与任何黑盒模型相结合，以结合它们的优势。可解释模型在数据子集上替代黑盒模型，其中黑盒是过度破坏或几乎过度破坏的，以零或低成本的预测准确性获得透明度。我们设计了一个原则性的目标函数，考虑预测准确性，模型可解释性和模型透明度（定义为可解释替代品处理的数据的百分比）。在此框架下，我们提出了两个混合模型，一个用关联规则替代，另一个用线性模型替代，并为这两个模型设计了定制的训练算法。我们在结构化数据和文本数据上测试混合模型，其中可解释模型与各种最先进的黑盒模型合作。结果表明，混合模型获得了有效的透明度和预测性能之间的权衡，其特征在于我们提出的有效的前沿。
2019-05-10 cs.AI cs.LG stat.ML
Black-Box Testing of Deep Neural Networks Through Test Case Diversity
University of Ottawa（渥太华大学）；École de Technologie Supérieure（高等技术学院）；University of Luxembourg（卢森堡大学）；General Motors（通用汽车公司）
针对白盒神经元覆盖准则可获取性受限且指导效果受质疑的问题，本文评估三种黑盒输入多样性指标，证明其中一种在故障揭示能力和计算时间上显著优于现有覆盖准则。
2023-02-06 cs.AI cs.LG cs.SE
Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Ant Financial（蚂蚁金服）
黑盒风险评分模型渗透到我们的生活中，但通常是专有的或不透明的。我们提出蒸馏和比较，模型蒸馏和比较的方法来审计这些模型。为了深入了解黑盒模型，我们把它们当作老师，训练透明的学生模型来模仿黑盒模型分配的风险分数。我们将经过蒸馏训练的学生模型与第二个未经蒸馏的透明模型进行比较，并使用两个模型之间的差异来深入了解黑盒模型。我们的方法可以应用于现实环境中，而无需探测黑盒模型API。我们在四个公共数据集上展示了这种方法：COMPAS，Stop-and-Frisk，Chicago Police和Lending Club。我们还提出了一个统计测试，以确定数据集是否缺少用于训练黑盒模型的关键特征。我们的测试发现ProPublica数据可能缺少COMPAS中使用的关键功能。
2018-10-11 cs.AI cs.LG stat.ML
Model-Agnostic Linear Competitors -- When Interpretable Models Compete and Collaborate with Black-Box Models
University of Iowa（爱荷华大学）；Tippie College of Business, University of Iowa（爱荷华大学蒂皮商学院）
随着对模型可解释性需求的不断增长，可解释模型在许多实际应用中已经成为黑盒模型的有力竞争者。在本文中，我们提出了一种新型的模型，其中可解释的模型与黑盒模型竞争和合作。我们提出了模型不可知的线性竞争对手（MALC）的部分可解释的分类。MALC是一种混合模型，它使用线性模型来局部替代任何黑盒模型，捕获最有可能在类中的子空间，而将其余数据留给黑盒。MALC结合了线性模型的可解释能力和黑盒模型的良好预测性能。我们将MALC模型的训练公式化为凸优化。通过精心设计的目标函数平衡预测准确性和透明度（定义为线性模型捕获的数据百分比），并使用加速近端梯度方法解决优化问题。实验表明，MALC可以有效地交易预测精度的透明度，并提供一个有效的边界，跨越整个频谱的透明度。
2019-09-23 cs.AI cs.LG stat.ML
On Gradient-like Explanation under a Black-box Setting: When Black-box Explanations Become as Good as White-box
Freie Universität Berlin（柏林自由大学）
针对黑盒场景下基于梯度的归因方法因需内部访问而受限的问题，提出仅靠查询级访问生成类梯度解释的\methodAbr方法，经理论证明与图像实验验证，其效果优于现有黑盒方法且媲美白盒方法。
2024-05-14 cs.LG
A Survey Of Methods For Explaining Black Box Models
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
在过去的几年中，许多精确的决策支持系统已经被构建为黑盒子，也就是说，作为隐藏其内部逻辑的系统。这种缺乏解释的情况构成了一个实际和道德问题。文献报道了许多旨在克服这一关键弱点的方法，有时是以牺牲可解释性的准确性为代价。黑盒决策系统的应用是多种多样的，每种方法通常都是为特定的问题提供解决方案，因此，明确或隐含地描述了自己的可解释性和解释的定义。本文的目的是提供一个分类的主要问题，在文献中的解释和黑箱系统的类型的概念。给出一个问题的定义，一个黑盒类型，和一个理想的解释，这个调查应该帮助研究人员找到更有用的建议，为自己的工作。建议的分类方法打开黑盒模型也应该是有用的，把许多研究开放的问题的角度。
2018-06-21 cs.AI cs.CY cs.LG
Stress-Testing Alignment Audits With Prompt-Level Strategic Deception
MATS；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Deepmind（谷歌DeepMind）
本文提出自动红队流水线，通过生成针对白盒和黑盒审计方法的欺骗提示，揭示了当前对齐审计方法在面对强大非对齐模型时的脆弱性。
2026-03-06 cs.LG
Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xi’an Jiaotong University（西安交通大学）
本文提出代理引导的高效重采样方法POGER，通过选取少量代表性词并多次重采样估计词生成概率作为伪白盒特征，在黑盒等场景下有效提升了AI生成文本检测性能并降低重采样成本。
2024-02-14 cs.AI cs.CL cs.LG
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Instruction Learning Paradigms: A Dual Perspective on White-box and Black-box LLMs
School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；Nanyang Technological University（南洋理工大学）；University of Leicester（莱斯特大学）；Kuaishou Technology（快手科技）
本文提出融合黑盒指令初始化与白盒可解释性的统一框架，通过语义相似性约束实现迭代优化，在广泛任务上优于基线，为LLM应用提供高效解决方案。
2025-06-14 cs.AI cs.CL cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology（伊朗谢里夫理工大学）
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法，提出随机对数缩放（RLS）防御可降低攻击成功率，还引入新型自适应攻击，证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Smoothing the Black-Box: Signed-Distance Supervision for Black-Box Model Copying
本文提出基于符号距离的黑箱模型复制方法，通过平滑回归提升复制精度和泛化能力，同时生成不确定性信号。
2026-01-28 cs.LG
RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg（卢森堡大学SnT分校）；Luxembourg Institute of Health（卢森堡健康研究院）
RobustBlack研究了黑盒攻击对最新防御措施的挑战，发现高级攻击对简单模型效果有限，而优化的鲁棒模型对黑盒攻击更具抵抗力，且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Interpreting Black Box Models via Hypothesis Testing
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
在科学和医学中，模型解释可能被报告为自然现象的发现或用于指导患者治疗。在这种高风险的任务中，错误的发现可能会使调查人员误入歧途。因此，这些应用将受益于对有限样本解释错误率的控制。我们将黑箱模型的可解释性重新定义为一个多重假设检验问题。任务是通过测试模型预测是否与如果用无信息的反事实替换特征时的预期有显著差异来发现“重要”特征。我们提出了两种测试方法：一种是可证明控制的错误发现率，但这是不可行的大规模应用程序，和一个近似的测试方法，可以应用到现实世界的数据集。在模拟中，这两种测试相对于现有的可解释性方法具有较高的功效。当应用于最先进的视觉和语言模型时，该框架选择了直观地解释模型预测的特征。由此产生的解释还有一个额外的优点，即它们本身很容易解释。
2020-08-17 cs.LG stat.ML
MAFT: Efficient Model-Agnostic Fairness Testing for Deep Neural Networks via Zero-Order Gradient Search
East China Normal University（华东师范大学）
本文提出黑盒个体公平性测试方法MAFT，通过零阶梯度搜索、梯度估计和属性扰动等轻量级技术，在不依赖模型内部信息的情况下达到白盒方法同等效果，并在有效性和效率上大幅超越现有黑盒方法。
2024-12-28 cs.AI cs.CY cs.LG
Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage
IIT Kanpur（印度理工学院坎普尔分校）
针对现有DNN测试方法多为白盒、无法捕捉神经元集体影响的问题，提出黑盒覆盖准则CDC及模糊测试方法CoDoFuzz，经6个公开数据集验证，其生成误分类和低置信度输入的效率与效果更优。
2024-08-13 cs.LG
SABLAS: Learning Safe Control for Black-box Dynamical Systems
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于屏障函数的控制证书已成为生成动力系统可能安全的控制策略的有力工具。然而，现有的基于屏障证书的方法通常用于具有可微动态的白盒系统，这使得它们不适用于许多实际应用，其中系统是黑盒并且不能精确建模。另一方面，用于黑箱系统的无模型强化学习（RL）方法缺乏安全保证和低采样效率。在本文中，我们提出了一种新的方法，可以学习安全控制策略和黑盒动力系统的屏障证书，而不需要一个准确的系统模型。我们的方法重新设计的损失函数反向传播梯度的控制策略，即使当黑盒动力系统是不可微的，我们表明，安全证书举行的黑盒系统。仿真实验结果表明，与现有的黑箱安全控制方法相比，该方法可以显著提高学习策略的性能，使用更少的训练样本实现近100%的安全性和目标达成率。我们的学习代理还可以推广到看不见的场景，同时保持原始性能。源代码可以在https://github.com/Zengyi-Qin/bcbf上找到。
2022-01-09 cs.AI cs.LG cs.SY
Black-Box Ripper: Copying black-box models using generative evolutionary algorithms
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
我们研究了复制黑盒神经模型功能的任务，对于黑盒神经模型，我们只知道为一组输入图像提供的输出类概率。我们假设通过黑盒模型的反向传播是不可能的，并且它的训练图像不可用，例如，模型只能通过API暴露。在这种情况下，我们提出了一个教师-学生的框架，可以提取的黑盒（教师）模型到一个学生模型，以最小的准确性损失。为了生成用于训练学生的有用数据样本，我们的框架（i）学习在代理数据集上生成图像（图像和类与用于训练黑盒的图像和类不同），以及（ii）应用进化策略以确保每个生成的数据样本在作为黑盒的输入时对特定类表现出高响应。我们的框架进行了比较与几个基线和国家的最先进的方法在三个基准数据集。经验证据表明，我们的模型优于所考虑的基线。虽然我们的方法没有通过黑盒网络反向传播，但它通常超过了将教师视为玻璃盒模型的最先进方法。我们的代码可在https://github.com/antoniobarbalau/black-box-ripper上获得。
2020-10-21 cs.CV cs.LG cs.NE
Diffusion Models for Black-Box Optimization
UCLA（加州大学洛杉矶分校）
针对离线黑盒优化中现有方法的局限，提出基于扩散模型的去噪扩散优化模型DDOM，通过条件生成、数据重加权及无分类器引导实现优化，在Design-Bench基准上达到了与最优基线相当的性能。
2023-08-21 cs.LG
CAAD 2018: Powerful None-Access Black-Box Attack Based on Adversarial Transformation Network
USTC（中国科学技术大学）
在本文中，我们提出了一种改进的对抗转换网络（ATN）来生成对抗示例，它可以欺骗白盒模型和黑盒模型，具有最先进的性能，并在CAAD 2018中获得了非目标任务的第二名。
2018-11-03 cs.LG stat.ML
Unifying Likelihood-free Inference with Black-box Optimization and Beyond
Mila；University of Montreal（蒙特利尔大学）；CIFAR Fellow（CIFAR研究员）
用于生物序列设计的黑箱优化配方最近引起了人们的关注，因为它们对制药工业有着广阔的潜在影响。在这项工作中，我们建议统一两个看似不同的世界：无可能性推理和黑盒优化，在一个概率框架。在串联，我们提供了一个配方构建各种序列设计方法的基础上，这个框架。我们展示了如何以前的优化方法可以在我们的框架中“改造”，并进一步提出新的概率黑箱优化算法。序列设计应用的广泛实验说明了所提出的方法的好处。
2022-02-08 cs.AI cs.LG q-bio.BM
EREBA: Black-box Energy Testing of Adaptive Neural Networks
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
最近，已经提出了各种深度神经网络（DNN）模型，用于具有严格能量约束的嵌入式系统等环境。与基于准确度的鲁棒性相比，确定DNN相对于其能量消耗的鲁棒性（能量鲁棒性）的基本问题相对未被探索。这项工作研究了自适应神经网络（AdNN）的能量鲁棒性，AdNN是一种针对许多能量敏感领域提出的节能DNN，最近获得了关注。我们提出EREBA，第一个黑盒测试方法，用于确定的AdNN的能量鲁棒性。EREBA探索和推断AdNN的输入和能量消耗之间的关系，以生成能量激增样本。使用三个国家的最先进的AdNN的广泛实施和评估表明，EREBA产生的测试输入可能会大大降低系统的性能。与原始输入相比，EREBA生成的测试输入可以将AdNN的能耗增加2，000%。我们的研究结果还表明，通过EREBA产生的测试输入是有价值的检测能量浪涌输入。
2022-02-12 cs.LG
Black Box Optimization Using QUBO and the Cross Entropy Method
LMU Munich（慕尼黑大学）；TU Delft（代尔夫特理工大学）
黑盒优化（BBO）可以用来优化函数的解析形式未知。实现BBO的一种常见方法是学习一个代理模型，该模型近似于目标黑盒函数，然后可以通过白盒优化方法求解。在本文中，我们提出了我们的方法BOX-QUBO，其中的代理模型是一个QUBO矩阵。然而，与以前最先进的方法不同，这个矩阵并不完全通过回归训练，而是主要通过“好”和“坏”解决方案之间的分类来训练。这更好地解释了QUBO矩阵的低容量，从而导致整体解决方案明显更好。我们在四个领域测试了我们的方法与最先进的方法，在所有这些领域中，BOX-QUBO都显示出更好的结果。本文的第二个贡献是也解决白盒问题的想法，即可以直接制定为QUBO的问题，通过黑盒优化，以减少QUBO的大小到信息理论的最小值。实验表明，这显著改善了MAX-k-SAT的结果。
2023-02-09 cs.LG
A causal framework for explaining the predictions of black-box sequence-to-sequence models
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
我们解释任何黑箱结构的输入-输出模型的预测围绕一个特定的输入-输出对。我们的方法返回一个由因果关系相关的输入-输出标记组组成的“解释”。这些依赖关系是通过用扰动输入查询黑盒模型，从响应中生成令牌图，并解决分区问题以选择最相关的组件来推断的。我们专注于序列到序列问题的一般方法，采用变分自编码器产生有意义的输入扰动。我们在几个NLP序列生成任务中测试我们的方法。
2017-11-14 cs.LG
Explaining Black Boxes on Sequential Data using Weighted Automata
Aix-Marseille University（艾克斯-马赛大学）
了解一个学习的黑盒是如何工作的，对于机器学习的未来至关重要。在本文中，我们开创性的学习黑盒模型，分配数值符号序列数据的全局可解释性的问题。为了解决这个问题，我们提出了一个频谱算法的加权自动机（WA）从这样的黑盒子的提取。该算法不需要访问数据集或黑盒的内部表示：推断模型可以仅通过查询黑盒，向其提供输入并分析其输出来获得。使用递归神经网络（RNN）在48个合成数据集和2个真实数据集上训练的实验表明，所获得的近似具有很高的质量。
2018-10-12 cs.LG stat.ML
PINN-BO: A Black-box Optimization Algorithm using Physics-Informed Neural Networks
Applied Artificial Intelligence Institute（应用人工智能学院）；Deakin University（迪肯大学）
本文提出PINN-BO，一种结合物理信息神经网络与偏微分方程知识的黑盒优化算法，通过理论分析和实验证明其能提高样本效率并获得更紧致的遗憾界。
2024-02-05 cs.LG
LAMBDA: Covering the Solution Set of Black-Box Inequality by Search Space Quantization
Tongji University（同济大学）
黑盒函数被广泛用于对复杂的问题建模，这些问题除了输入和输出之外没有提供显式的信息。尽管已有的黑盒函数优化的研究，解决方案集满足一个不等式的黑盒函数起着更重要的作用，在许多实际情况下，只有一个最佳。通过对黑箱目标函数的有限评价，尽可能多地覆盖解集，本文将其定义为黑箱覆盖（BBC）问题。我们在基于样本的搜索范式中形式化了这个问题，并利用混淆矩阵分析构建了一个覆盖标准。此外，我们提出了LAMBDA（潜在行动蒙特卡罗束搜索密度自适应）来解决BBC问题。LAMBDA可以通过递归地将搜索空间划分为接受和拒绝的子空间来快速地关注解集。与La-MCTS算法相比，LAMBDA算法引入了密度信息，克服了优化的抽样偏差，获得了更多的探索性。基准测试表明，LAMBDA在所有基线中都达到了最先进的性能，并且在获得95%的覆盖率方面比随机搜索快33倍。实验表明，LAMBDA在虚拟测试中的自治系统的验证有很好的前景。
2022-03-25 cs.AI cs.LG cs.RO
Does It Make Sense to Explain a Black Box With Another Black Box?
INRIA（法国国家信息与自动化研究所）；IRISA（IRISA研究所）；L’Institut Agro（法国农业研究院）
本文比较了NLP中透明与不透明两类反事实解释方法在三个经典任务上的表现，发现不透明方法增加复杂性却无显著性能提升，质疑了用黑盒解释黑盒的合理性。
2024-04-23 cs.CL cs.LG
Offline Stochastic Optimization of Black-Box Objective Functions
Duke University（杜克大学）；Colorado State University（科罗拉多州立大学）
本文提出随机离线黑盒优化（SOBBO）框架，分别通过可微代理和保守场约束梯度估计处理大数据与稀缺数据场景，提升优化鲁棒性、收敛性与数据效率。
2024-12-03 cs.LG
A Rate-Distortion Framework for Explaining Black-box Model Decisions
Ludwig Maximilian University（路德维希-马克西米利安大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
我们提出了率失真解释（RDE）框架，一个数学上有充分依据的方法来解释黑盒模型的决定。该框架基于目标输入信号的扰动，并适用于任何可微分的预训练模型，如神经网络。我们的实验表明，该框架的适应性，以不同的数据形式，特别是图像，音频和城市环境的物理模拟。
2021-10-12 cs.AI cs.IT cs.LG
Optimization on black-box function by parameter-shift rule
Nara Institute of Science and Technology（奈良科学技术研究院）
针对黑盒函数优化中查询观测与参数需求过多的问题，本文引入源自量子计算的参数移位规则零阶方法，以更少参数实现优化。
2025-03-16 cs.LG
Beware the Black-Box: on the Robustness of Recent Defenses to Adversarial Examples
University of Connecticut（康涅狄格大学）；CWI（荷兰国家数学与计算机科学研究所）；eBay
最近，NIPS、ICML、ICLR和CVPR等机构提出了许多防御措施。这些防御主要集中在减轻白盒攻击。他们没有正确地检查黑盒攻击。在本文中，我们扩展这些防御的分析，包括自适应黑盒对手。我们的评估是在九个防御上完成的，包括随机变换的弹幕，ComDefend，Enseminated多样性，特征蒸馏，赔率是奇数，纠错码，分布分类器防御，K-赢家通吃和缓冲区。我们的调查是使用两个黑盒对抗模型和六个广泛研究的CIFAR-10和Fashion-MNIST数据集的对抗攻击进行的。我们的分析表明，最新的防御（9个中的7个）提供的安全性（$<25\%$）相比，未设防的网络，只有边际改善。对于每一种防御，我们还展示了对手拥有的数据量与自适应黑盒攻击的有效性之间的关系。总的来说，我们的结果描绘了一幅清晰的画面：防御需要彻底的白盒和黑盒分析才能被认为是安全的。我们提供这种大规模的研究和分析，以激励该领域朝着更强大的黑盒防御的发展。
2021-05-20 cs.LG stat.ML
Spanning Attack: Reinforce Black-box Attacks with Unlabeled Data
JD AI Research, JD.com（京东集团京东人工智能研究院）；Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对抗性黑盒攻击旨在通过查询机器学习模型的输入输出对来制造对抗性扰动。它们被广泛用于评估预训练模型的鲁棒性。然而，黑盒攻击往往遭受的问题，查询效率低下，由于输入空间的高维性，从而招致一个错误的感觉模型的鲁棒性。在本文中，我们放宽了黑盒威胁模型的条件，并提出了一种新的技术称为跨越攻击。通过在低维子空间中通过生成辅助未标记数据集来约束对抗扰动，生成攻击显着提高了各种现有黑盒攻击的查询效率。大量的实验表明，该方法在软标签和硬标签黑盒攻击中都有良好的效果。我们的代码可在https://github.com/wangwllu/spanning_attack上获得。
2020-11-10 cs.LG stat.ML
DEFT-FUNNEL: an open-source global optimization solver for constrained grey-box and black-box problems
Veolia Research and Innovation（威立雅研究与创新中心）
在医学、化学、工程和人工智能等领域中，对用于约束全局最优化问题的灰箱和黑箱最优化方法的快速增长的需求已经促成了用于找到最佳可能解的新的有效算法的设计。在这项工作中，我们提出了DEFT-FUNNEL，一个开源的全局优化算法一般约束灰盒和黑盒问题，属于一类的信任区域序列二次优化算法。它将Sampaio和Toint（2015，2016）以前的工作扩展到全局优化求解器，该求解器能够利用来自封闭形式函数的信息。多项式插值模型被用来作为替代的黑盒功能和聚类为基础的多启动策略应用于搜索的全局最小值。数值实验表明，DEFT-FUNNEL与其他国家的最先进的方法相比，在两组基准问题：一组包含的问题，其中每个功能是一个黑盒子和另一组的问题，其中一些功能及其衍生物是已知的求解器。用于实验的代码和测试集可以在Github存储库http://github.com/phrsampaio/deft-funnel上获得。
2019-12-29 cs.LG math.OC
Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
Duke University（杜克大学）
黑盒机器学习模型目前正用于整个社会的高风险决策，在医疗保健、刑事司法和其他领域造成问题。人们希望创建解释这些黑盒模型的方法可以缓解其中的一些问题，但是试图\textit{explain}黑盒模型，而不是首先创建\textit{interpretable}模型，很可能会延续不良做法，并可能对社会造成灾难性的危害。有一条前进的道路-设计出内在可解释的模型。这份手稿澄清了解释黑盒和使用固有的可解释模型之间的鸿沟，概述了在高风险决策中应避免可解释黑盒的几个关键原因，确定了可解释机器学习的挑战，并提供了几个示例应用程序，其中可解释模型可能会在刑事司法，医疗保健和计算机视觉中取代黑盒模型。
2019-09-22 cs.LG stat.ML
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago（芝加哥大学）
众所周知，深度学习系统容易受到对抗性样本的攻击。特别是，基于查询的黑盒攻击不需要深度学习模型的知识，但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率，证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight，一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是，为了计算对抗性示例，这些攻击在网络上执行迭代优化，在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击，使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击，在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人，往往只有少数查询后。通过拒绝所有检测到的查询，Blacklight可以阻止任何攻击完成，即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策，包括在效率上接近白盒攻击的最佳黑盒攻击。最后，我们说明了Blacklight如何推广到其他领域，如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Interpretable Companions for Black-Box Models
Osaka University（大阪大学）；University of Iowa（爱荷华大学）
我们提出了一个可解释的同伴模型的任何预先训练的黑盒分类器。这个想法是，对于任何输入，用户可以决定从黑盒模型中接收预测，具有高准确性但没有解释，或者采用伴随规则来获得精度略低的可解释预测。同伴模型是从数据和黑盒模型的预测中训练出来的，目标是结合透明度下的区域-准确性曲线和模型复杂性。我们的模型为从业者提供了灵活的选择，他们面临着总是使用可解释的模型和总是使用黑箱模型进行预测任务之间的选择，因此，对于任何给定的输入，如果他们发现预测性能令人满意，用户可以后退一步，采取可解释的预测，或者如果规则不令人满意，则坚持使用黑箱模型。为了展示同伴模型的价值，我们设计了一个超过一百人的人类评估，以调查可容忍的准确性损失，以获得人类的可解释性。
2020-02-11 cs.LG stat.ML
Neural network gradient-based learning of black-box function interfaces
IBM Research（IBM研究院）；Bar Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Deep neural networks work well at approximating complicated functions when provided with data and trained by gradient descent methods. At the same time, there is a vast amount of existing functions that programmatically solve different tasks in a precise manner eliminating the need for training. In many cases, it is possible to decompose a task to a series of functions, of which for some we may prefer to use a neural network to learn the functionality, while for others the preferred method would be to use existing black-box functions. We propose a method for end-to-end training of a base neura…
2019-01-13 cs.LG stat.ML
Black-box Certification and Learning under Adversarial Perturbations
McMaster University（麦克马斯特大学）；Scotiabank（丰业银行）；York University（约克大学）
我们从学习者的角度以及第三方的目的是证明给定的黑盒分类器的鲁棒性，正式研究了对抗扰动下的分类问题。我们分析了半监督学习的PAC型框架，并确定了在这种情况下正确学习VC类的可能性和不可能性结果。我们进一步介绍了一个新的设置下的黑盒认证有限的查询预算，并分析这对各类预测和扰动。我们还考虑了一个黑盒对手的观点，旨在寻找对抗性的例子，表明存在一个对手的多项式查询复杂性可以意味着存在一个样本有效的鲁棒学习器。
2022-02-22 cs.LG stat.ML
xGEMs: Generating Examplars to Explain Black-Box Models
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）
这项工作提出了xGEM或流形引导样本，一个框架，以了解黑盒分类器的行为，通过探索的景观底层数据流形的数据点跨越决策边界。为此，我们训练了一个无监督的隐式生成模型--作为数据流形的代理。我们总结了黑盒模型的行为定量扰动数据样本沿流形。我们展示了xGEM在模型学习中检测和量化偏差的能力，以及随着训练的进行理解模型行为变化的能力。
2018-06-22 cs.LG stat.ML
Stateful Defenses for Machine Learning Models Are Not Yet Secure Against Black-box Attacks
University of Michigan（密歇根大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有状态防御模型依赖查询历史拦截相似黑盒查询的问题，提出两阶段 OARS 自适应攻击，推断并规避防御，将六种攻击在多个数据集上的成功率由近0%提升至近100%。
2023-09-26 cs.CR cs.LG
Evaluation of Four Black-box Adversarial Attacks and Some Query-efficient Improvement Analysis
Zhejiang University（浙江大学）
随着机器学习技术的快速发展，深度学习模型已经被部署到日常生活的几乎每个方面。然而，这些模型的隐私和安全受到对抗攻击的威胁。其中黑盒攻击更接近于现实，可以从模型中获取有限的知识。本文介绍了对抗攻击的基本背景知识，并对Bandits、NES、Square Attack和ZOsignSGD四种黑盒攻击算法进行了全面的分析。我们还探讨了新提出的平方攻击方法与平方大小，希望提高其查询效率。
2022-01-13 cs.CR cs.LG
Diversity can be Transferred: Output Diversification for White- and Black-box Attacks
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Mitsubishi UFJ Trust Investment Technology Institute（三菱UFJ信托投资技术研究所）；Japan Digital Design（日本数字设计公司（Japan Digital Design））
对抗攻击通常涉及从均匀或高斯分布中提取的输入的随机扰动，例如，以初始化基于优化的白盒攻击或在黑盒攻击中生成更新方向。然而，这些简单的扰动可能是次优的，因为它们对被攻击的模型是不可知的。为了提高这些攻击的效率，我们提出了输出多样化采样（ODS），一种新的采样策略，试图最大限度地提高多样性的目标模型的输出之间生成的样本。虽然ODS是一种基于梯度的策略，但ODS提供的多样性是可转移的，并且可以通过代理模型帮助白盒和黑盒攻击。经验上，我们证明，ODS显着提高现有的白盒和黑盒攻击的性能。特别是，ODS将ImageNet上最先进的黑盒攻击所需的查询数量减少了两倍。
2020-10-30 cs.CV cs.LG stat.ML
REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation
Seoul National University（首尔国立大学）
近年来，深度神经网络（DNN）已成为一个高度活跃的研究领域，并在各种计算机视觉任务上表现出显著的成就。然而，众所周知，DNN经常对分布外的样本进行过度自信但不正确的预测，这可能是现实世界部署的主要障碍，因为与各种真实世界样本相比，训练数据集总是有限的。因此，当我们在实践中构建DNN模型时，保证对训练时间和测试时间之间的分布偏移的鲁棒性是至关重要的。此外，在许多情况下，深度学习模型被部署为黑盒，并且性能已经针对训练数据集进行了优化，因此改变黑盒本身可能导致性能下降。本文研究了黑盒图像分类器在特定条件下对几何变换的鲁棒性。我们提出了一个额外的学习器，\emph{REinforcement Spatial Transform learner (REST)}，它将扭曲的输入数据转换为被黑盒模型视为分布的样本。我们的工作旨在通过在任何黑盒前面添加REST模块并仅训练REST模块而不以端到端的方式重新训练原始黑盒模型来提高鲁棒性，即我们尝试将真实世界的数据转换为最适合黑盒模型性能的训练分布。我们使用从黑盒模型中获得的置信度得分来确定转换后的输入是否来自内部分布。我们的经验表明，我们的方法具有优势，在推广到几何变换和样本效率。
2020-02-16 cs.LG stat.ML
A Generative Neural Annealer for Black-Box Combinatorial Optimization
Department of Physics, University of California, San Diego（加州大学圣地亚哥分校物理系）
本文提出一种生成式端到端黑箱组合优化求解器，通过条件温度建模玻尔兹曼分布，兼顾样本效率与解质量，在NP问题上性能优于现有黑箱优化器。
2025-08-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
midr: Learning from Black-Box Models by Maximum Interpretation Decomposition
本文提出 R 包 midr，利用最大解释分解将黑盒模型拟合为低阶加性全局代理模型，以增强可解释性与分析能力。
2025-06-10 cs.LG stat.ME
Towards Lightweight Black-Box Attacks against Deep Neural Networks
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；Alibaba Cloud Computing Ltd（阿里云计算有限公司）；iFlytek Research（讯飞研究院）；The University of Sydney（悉尼大学）
黑盒攻击可以在不访问目标模型参数的情况下生成对抗性示例，这在很大程度上加剧了部署的深度神经网络（DNN）的威胁。然而，以前的工作指出，黑盒攻击无法误导目标模型时，他们的训练数据和输出是不可访问的。在这项工作中，我们认为，黑盒攻击可以构成实际的攻击，在这种极其限制性的情况下，只有几个测试样本。具体来说，我们发现攻击在一些测试样本上训练的DNN的浅层可以生成强大的对抗性示例。由于只需要几个样本，我们将这些攻击称为轻量级黑盒攻击。推广轻量级攻击的主要挑战是减轻由浅层近似误差引起的不利影响。由于在样本较少的情况下很难减轻近似误差，因此我们提出了用于轻量级攻击的误差Transformer（ETF）。即，ETF将参数空间中的近似误差转换为特征空间中的扰动，并通过扰动特征来消除误差。在实验中，轻量级的黑盒攻击与建议的ETF取得了令人惊讶的结果。例如，即使每个类别只有1个样本可用，轻量级黑盒攻击的攻击成功率也仅比具有完整训练数据的黑盒攻击的攻击成功率低约3%。
2022-10-11 cs.CR cs.LG
Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning
CSE, HKUST（香港科技大学计算机科学与工程系）；Peng Cheng Laboratory（鹏城实验室）；Cloud and Smart Industries Group, Tencent（腾讯云与智慧产业事业群）；WeBank（微众银行）
迁移学习已经成为在目标领域中用有限的标记数据训练深度学习模型的常见实践。另一方面，深度模型容易受到对抗攻击的攻击。虽然迁移学习已被广泛应用，但其对模型鲁棒性的影响尚不清楚。为了解决这个问题，我们进行了大量的实证评估，表明微调有效地提高了模型的鲁棒性下的白盒FGSM攻击。我们还提出了一种针对迁移学习模型的黑盒攻击方法，该方法利用源模型产生的对抗性样本对目标模型进行攻击。为了系统地测量白盒和黑盒攻击的效果，我们提出了一个新的度量标准来评估源模型产生的对抗性示例如何转移到目标模型。实验结果表明，当使用微调时，对抗性示例比两个网络独立训练时更具可转移性。
2020-08-25 cs.LG stat.ML
Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models
MIT（麻省理工学院）
越来越多地部署预测模型来确定信贷、保险和就业等服务的获取情况。尽管生产力和效率有可能提高，但一些潜在的问题尚未得到解决，特别是无意歧视的可能性。我们提出了一个迭代过程，基于正交投影的输入属性，使黑箱预测模型的可解释性。通过我们的迭代过程，可以量化黑箱模型对输入属性的相对依赖性，然后可以使用输入对预测模型的相对重要性来评估这种模型的公平性（或歧视程度）。
2016-11-15 cs.LG stat.ML
Towards Visual Distortion in Black-Box Attacks
Wuhan University（武汉大学）
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中，我们提出了一种新的黑盒攻击方法，可以直接通过学习的噪声分布的对抗性的例子，假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真，它测量的感知距离之间的敌对的例子和原始图像，引入我们的损失，而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比，我们的攻击导致的失真要低得多，并且在InceptionV3，ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
