PlatMetaX: An Integrated MATLAB platform for Meta-Black-Box Optimization
本文提出PlatMetaX，一个结合强化学习进行元黑盒优化的新型MATLAB平台，整合MetaBox和PlatEMO优势，为开发、评估和比较单目标至多目标优化算法提供全面框架。
2025-03-26 cs.LG cs.NE
Distributional Multi-objective Black-box Optimization for Diffusion-model Inference-time Multi-Target Generation
提出推理期多目标生成（IMG）算法，通过在扩散过程中进行加权重采样优化多目标黑盒问题，仅需单次生成即可显著提升超体积表现。
2025-10-30 cs.AI cs.LG
Synthesizing Pareto-Optimal Interpretations for Black-Box Models
University of California at Berkeley（加州大学伯克利分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们提出了一种新的多目标优化方法来综合解释，“解释”的黑盒机器学习模型的行为。为黑盒模型构建人类可理解的解释通常需要平衡相互冲突的目标。一个简单的解释可能更容易为人类所理解，而在其预测相对于一个复杂的解释不那么精确。现有的综合解释的方法使用一个单一的目标函数，往往是优化的一类解释。相比之下，我们提供了一个更一般的和多目标的合成框架，允许用户选择（1）的句法模板类的解释应该合成，和（2）定量措施的正确性和解释。对于一个给定的黑盒，我们的方法产生一组帕累托最优的解释的正确性和可解释性措施。我们表明，基本的多目标优化问题可以通过减少到定量约束求解，如加权最大可满足性。为了证明我们的方法的好处，我们已经将其应用于黑盒神经网络分类器的综合解释。我们的实验表明，往往存在着丰富多样的选择，现有的方法错过了解释。
2021-08-16 cs.AI cs.LG cs.LO
Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box
针对ADVI收敛准则不明、需调参及后验不确定性估计差的问题，提出确定性ADVI（DADVI），采用样本平均近似构建确定性目标，可结合二阶优化与线性响应，在高维常见问题及实际任务中比标准ADVI更快更准。
2024-01-17 cs.LG stat.ME stat.ML
Generative Refinement for Low-Budget Black-Box Optimization
CVLab EPFL（瑞士洛桑联邦理工学院计算机视觉实验室）
提出SPARROW算法，通过解耦生成先验与奖励信号，利用固定结构化提议算子进行基于排名的引导，在极低评估预算下实现复杂几何空间和不可靠奖励信号的有效优化。
2026-10-01 cs.LG
Bounding Box-based Multi-objective Bayesian Optimization of Risk Measures under Input Uncertainty
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Nagoya University（名古屋大学）
提出一种适用于输入不确定性下一般风险测度的多目标贝叶斯优化方法，利用高斯过程构建边界框并采用极大极小距离选择评估点，具备理论保证且在数值实验中优于现有方法。
2023-11-24 cs.LG stat.ML
BlackDAN: A Black-Box Multi-Objective Approach for Effective and Contextual Jailbreaking of Large Language Models
Beihang University（北京航空航天大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对现有LLM越狱策略仅聚焦攻击成功率的局限，提出黑盒多目标攻击框架BlackDAN，通过NSGA-II算法优化ASR、隐蔽性和相关性，实验证明其在多类模型上成功率更高、鲁棒性更强且响应更相关难检测。
2024-11-27 cs.AI cs.CL cs.CR
Optimal Black-Box Reductions Between Optimization Objectives
Princeton University（普林斯顿大学）
机器学习应用的多样性已经产生了大量的算法和最优化方法，这些算法和方法可以根据手头的特定回归或分类任务进行微调。我们通过约简降低了机器学习算法设计的复杂性：我们开发了一种约简，这种约简采用了为一种设置开发的方法，并将其应用于应用程序中的整个平滑性和强凸性。此外，与现有结果不同，我们的新约简是最优的，更实用。我们展示了这些新的减少如何产生新的和更快的运行时间训练线性分类器的各种家庭的损失函数，并得出结论，实验表明他们的成功也在实践中。
2016-05-20 cs.DS cs.LG math.OC
Diffusion-BBO: Diffusion-Based Inverse Modeling for Online Black-Box Optimization
University of California San Diego（加利福尼亚大学圣迭戈分校）
提出Diffusion-BBO框架，利用条件扩散模型作为逆向代理模型并结合不确定性感知探索获取函数进行在线黑盒优化，在6项科学发现任务中优于基线且理论上达到近最优解。
2025-02-02 cs.LG
White-Box Multi-Objective Adversarial Attack on Dialogue Generation
University of California, Riverside（加州大学河滨分校）
提出白盒多目标对抗攻击方法DGSlow，通过平衡生成准确性与长度目标，迭代构造对抗样本，显著降低对话生成模型性能并具可迁移性。
2023-05-08 cs.CL cs.CR cs.LG
Multi-Objective Bayesian Optimization for Networked Black-Box Systems: A Path to Greener Profits and Smarter Designs
MOBONS通过网络表示实现多目标贝叶斯优化，有效处理复杂系统中的多目标权衡，提升工程系统的设计效率与可持续性。
2026-02-10 cs.AI cs.LG stat.ML
A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个嵌套的加权切比雪夫多目标贝叶斯优化框架，我们建立了一个回归模型选择过程，从一个合奏的模型，朝着更好地估计加权切比雪夫昂贵的黑箱多目标函数的不确定参数。在现有的工作中，加权Tchebycheff MOBO方法已被证明，试图估计未知的乌托邦在制定收购功能，通过校准使用先验选择的回归模型。然而，现有的MOBO模型在给定引导采样数据的情况下选择适当的回归模型时缺乏灵活性，因此，随着MOBO的迭代进行，可能欠拟合或过拟合，从而降低了整体MOBO性能。由于它过于复杂，无法先验地保证一般的最佳模型，这促使我们考虑在WTB MOBO的指导下，采用当前训练数据拟合的不同系列预测模型的组合;最佳模型是按照用户定义的基于预测均方根误差的方法选择的。所提出的方法是在优化多模态基准问题和薄壁管的设计温度-压力恒定载荷下，与蠕变疲劳失效的风险和设计成本最小化。最后，嵌套加权Tchebycheff MOBO模型的性能进行了比较与不同的MOBO框架的参数估计精度，帕累托最优解和功能评估成本。这种方法是广义的，足以考虑不同的家庭的预测模型的投资组合中的最佳模型选择，其中的整体设计架构允许解决任何高维（多功能）复杂的黑盒问题，并可以扩展到任何其他全球标准的多目标优化方法，需要先验知识的乌托邦。
2021-10-16 cs.LG stat.ML
Provable Smoothness Guarantees for Black-Box Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
黑盒变分推理试图通过对简单分布的参数进行基于梯度的优化来近似复杂的目标分布。可证明的收敛保证需要目标的结构属性。本文证明了对于位置-尺度族近似，如果目标是M-Lipschitz光滑的，那么如果熵被排除，目标也是M-Lipschitz光滑的。关键的证明思想是在一定的内积空间中描述梯度，从而允许使用贝塞尔不等式。这一结果提供了深入了解如何参数化分布，给出了最优参数的位置范围，并且是收敛保证的关键成分。
2020-08-14 cs.LG stat.ML
EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on Expensive Black-box Functions
School of Industrial Engineering, Eindhoven University of Technology（埃因霍温理工大学工业工程学院）；Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（代尔夫特理工大学电气工程、数学与计算机科学学院）
针对昂贵黑盒优化缺乏标准化基准的问题，提出EXPObench库，比较六种代理算法在四个真实问题上的性能，提供算法选择建议并公开数据集以降低研究门槛。
2022-12-01 cs.LG cs.NE math.OC
A Framework for Finding Local Saddle Points in Two-Player Zero-Sum Black-Box Games
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对黑盒非凸-非凹双人零和博弈的鞍点优化问题，提出受贝叶斯优化启发、基于高斯过程的双层框架，可灵活整合多种方法，实验验证其能高效定位局部鞍点。
2025-03-23 cs.GT cs.LG
AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
深度神经网络（DNN）被证明容易受到后门攻击。通常通过将后门触发器注入到训练样本中来将后门嵌入到目标DNN中，这可能导致目标DNN错误分类附加有后门触发器的输入。现有的后门检测方法通常需要访问原始中毒的训练数据、目标DNN的参数或每个给定输入的预测置信度，这在许多现实世界的应用中是不切实际的，例如，设备上部署的DNN。我们解决了黑盒硬标签后门检测问题，其中DNN是完全黑盒的，只有它的最终输出标签是可访问的。我们从优化的角度来处理这个问题，并表明后门检测的目标是有界的敌对目标。进一步的理论和实证研究表明，这种对抗性目标会导致具有高度偏斜分布的解决方案;在后门感染示例的对抗性映射中经常观察到奇点，我们称之为对抗性奇点现象。基于这一观察，我们提出了对抗极值分析（AEVA）来检测黑盒神经网络中的后门。AEVA是基于对抗地图的极值分析，从蒙特卡洛梯度估计计算。通过对多个常见任务和后门攻击的大量实验，证明了该方法在黑盒硬标签场景下检测后门攻击的有效性.
2022-02-24 cs.AI cs.LG
DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks
University of Ottawa（渥太华大学）；École de Technologie Supérieure（高等技术学院）；Lero SFI Centre on Software Research and University of Limerick（Lero SFI软件研究中心与利默里克大学）
本文提出黑盒多目标方法 DeepGD，通过高不确定性与多样性选择测试输入，在四个数据集和五个 DNN 上提升故障检测及再训练指导效果。
2024-02-29 cs.LG cs.PF cs.SE
White-Box Transformers via Sparse Rate Reduction
University of California, Berkeley（加利福尼亚大学伯克利分校）；TTIC（芝加哥理论计算机科学研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
论文从 sparse rate reduction 目标推导出多头自注意力与 MLP 的作用，构建数学可解释的白盒类 transformer 架构 CRATE，并在 ImageNet 上达到接近 ViT 的性能。
2023-06-01 cs.LG
KL-based Control of the Learning Schedule for Surrogate Black-Box Optimization
EPFL（洛桑联邦理工学院）；INRIA Saclay（法国国家信息与自动化研究所萨克莱研究中心）；CNRS（法国国家科学研究中心）
本文研究了协方差矩阵自适应演化策略（CMA-ES）中的ML组件的控制问题，该策略致力于黑箱优化。已知的CMA-ES弱点是它的样本复杂性，即近似全局最优所需的目标函数的评估数量。这个弱点通常通过替代优化来解决，学习目标函数的估计，又名代理模型，以及用代理模型的（廉价的）评估替换真实目标函数的大多数评估。基于当前搜索分布和前代理模型的训练分布的Kullback-Leibler散度，提出了一种原则性的学习调度控制（何时重新学习代理模型）.所提出的方法的实验验证表明，显着的性能增益的一组全面的病态基准问题，相比最好的国家的最先进的，包括拟牛顿高精度BFGS方法。
2013-08-18 cs.AI cs.LG stat.ML
COCO: The Large Scale Black-Box Optimization Benchmarking (bbob-largescale) Test Suite
Inria research centre Saclay（法国国家信息与自动化研究所萨克雷研究中心）；CMAP, Ecole Polytechnique（巴黎综合理工学院应用数学中心）；Hanoi National University of Education（河内国家教育大学）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
bbob-largescale测试套件包含连续域中的24个单目标函数，将自2009年以来在BBOB研讨会系列中使用的著名单目标无噪声bbob测试套件扩展到大维度。核心思想是使bbob测试套件中出现的搜索空间中的旋转变换R，Q在计算上更便宜，同时保留一些所需的属性。本文档提出了一种方法，该方法用一个分块对角矩阵和两个置换矩阵的组合来代替完整的旋转变换，以构造检验函数，其计算和存储成本在问题的维度上线性缩放。
2019-03-28 cs.LG cs.NE cs.PF
A New One-Point Residual-Feedback Oracle For Black-Box Learning and Control
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）算法最近已经被用于解决黑盒或基于仿真的学习和控制问题，其中目标函数的梯度不能容易地计算，但是可以使用目标函数值来近似。许多现有的ZO算法采用两点反馈方案，由于其快速的收敛速度相比，一点反馈方案。然而，两点方案需要在每次迭代时对目标函数进行两次评估，这在数据并非全部先验可用的应用中可能是不切实际的，例如，在线优化。在本文中，我们提出了一种新的单点反馈方案，查询函数值一次，在每次迭代和估计梯度使用两个连续点之间的残差。当优化一个确定性的Lipschitz函数，我们表明，查询复杂度的ZO与建议的一点剩余反馈匹配的ZO与现有的两点计划。此外，当目标函数具有Lipschitz梯度时，该算法的查询复杂度可以得到改善。然后，对于随机强盗最优化问题，只有噪声目标函数值给出，我们证明了ZO与一点残差反馈达到相同的收敛速度的两点计划与不可控的数据样本。我们通过大量的数值实验证明了所提出的一点残差反馈的有效性。
2021-09-08 cs.LG math.OC stat.ML
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地，深度神经网络的泛化误差的估计的最小化，并且同时其预测时间的最小化。我们还可以考虑作为约束，深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里，目标和约束都是黑盒，即，解析表达式未知且计算代价高昂的函数。贝叶斯优化（BO）方法已经给出了黑箱优化的最新结果。然而，大多数BO方法是顺序的，并且迭代地在一个输入位置处评估目标和约束。然而，有时我们可能有资源并行评估几个配置。尽管如此，没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行（例如当计算机集群可用时），则顺序评估会导致资源浪费。本文介绍了PPESMOC，并行预测熵搜索多目标贝叶斯优化与约束，一个基于信息的批处理方法，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。迭代地，PPESMOC选择一批输入位置来评估黑盒，以最大限度地减少优化问题的帕累托集的熵。我们提出的合成，基准和现实世界的实验，说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
Yet another but more efficient black-box adversarial attack: tiling and evolution strategies
Université Paris-Dauphine, PSL Research University（巴黎多芬大学，PSL研究大学）；CNRS（法国国家科学研究中心）；Facebook AI Research（脸书人工智能研究院）
我们介绍了一种新的黑盒攻击实现最先进的性能。我们的方法是基于一个新的目标函数，借用思想从$\ell_\infty$ -白盒攻击，并特别设计，以适应衍生物自由优化的要求。它只需要访问分类器的logits，而不需要任何其他信息，这是一个更现实的场景。我们不仅引入了一个新的目标函数，我们还将以前关于黑盒对抗攻击的工作扩展到更大范围的演化策略和其他无导数优化方法。我们还强调了一个有趣的新特性，即深度神经网络对Single Shot平铺攻击不鲁棒。我们的模型实现，预算限于$10,000$查询，结果高达$99.2\%$的成功率对InceptionV 3分类器与$630$查询网络平均在非目标攻击设置，这是一个改进的$90$查询的当前状态的艺术。在有针对性的设置，我们能够达到，有限的预算$100,000$，成功率的$100\%$，平均$6,662$查询预算，即我们需要的$800$查询少于当前最先进的技术水平。
2019-11-21 cs.AI cs.CV cs.LG
Efficient Computation of Expected Hypervolume Improvement Using Box Decomposition Algorithms
Leiden University（莱顿大学）
在多目标优化算法领域，多目标贝叶斯全局优化算法（MOBGO）是除进化多目标优化算法（EMOAs）之外的一个重要分支。MOBGO利用从先前的目标函数评估中学习的高斯过程模型，通过最大化或最小化填充标准来决定下一个评估站点。MOBGO中的一个常见标准是预期超卷改进（EHVI），它在勘探和开发方面的广泛问题上表现出良好的性能。然而，到目前为止，有效地计算精确的EHVI值一直是一个挑战。在本文中，提出了一种有效的算法计算的精确EHVI的一般情况下。这种高效的算法是基于分区的集成体积成一组轴平行切片。从理论上讲，上界时间复杂度从以前的$O (n^2)$和$O(n^3)$，分别为两个和三个目标的问题，$Θ(n\log n)$，这是渐近最优的。本文通过利用D{ä}chert et al，EJOR，2017提出的一种新的超盒分解技术将该方案推广到高维情况。它还利用了多层集成方案的泛化，该方案在分解的超盒的数量上线性缩放。速度比较表明，本文提出的算法显着减少了计算时间。最后，将这种分解技术应用于改进概率（PoI）的计算。
2019-06-13 cs.LG stat.ML
Landscape Analysis for Surrogate Models in the Evolutionary Black-Box Context
Czech Technical University（捷克技术大学）；Charles University in Prague（布拉格查理大学）；Czech Academy of Sciences（捷克科学院）
代理建模已经成为一种有价值的技术，黑盒优化任务与昂贵的评估目标函数。本文研究了代理模型的预测精度与黑箱函数景观特征之间的关系。我们还研究了景观分析的特点，在不同的转换和方式的背景下选择的输入数据的属性。我们执行景观分析的一个大的数据集使用运行的代理辅助版本的协方差矩阵自适应演化策略的比较连续优化器基准测试平台的无噪声部分。
2022-10-02 cs.LG cs.NE math.OC
Locally Pareto-Optimal Interpretations for Black-Box Machine Learning Models
University of California at Berkeley（加州大学伯克利分校）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）；Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）
本文提出基于局部最优性保证的框架，结合多目标搜索与SAT求解器验证，以更具可扩展性的方式为黑盒模型综合帕累托最优解释，并在基准上验证其与全局保证方法结果高度吻合。
2025-08-21 cs.AI cs.LG cs.LO
Sharpness-Aware Black-Box Optimization
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Center for Frontier AI Research, Agency for Science Technology（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing, Agency for Science Technology（新加坡科技研究局高性能计算研究所）；Nanyang Technological University（南洋理工大学）
针对黑盒优化中直接优化训练损失导致泛化性能差的问题，提出SABO算法，通过高斯分布重参数化并利用邻域最大目标值的随机梯度进行迭代更新，实验证明其有效提升了模型泛化性能。
2024-10-16 cs.AI cs.LG
VOPy: A Framework for Black-box Vector Optimization
Bilkent University（毕尔肯大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究推出开源Python库VOPy，用于解决凸锥偏序下的黑盒向量优化问题，支持灵活锥排序与多场景适配，模块化架构便于方法集成与算法开发，可推动该领域研究与应用。
2024-12-09 cs.LG stat.AP stat.ML
A unified surrogate-based scheme for black-box and preference-based optimization
University of Bergamo（贝加莫大学）
黑盒和基于偏好的优化算法是全局优化过程，其目的是分别使用尽可能少的函数评估或样本比较来找到最优化问题的全局解。在黑箱的情况下，目标函数的解析表达式是未知的，只能通过（昂贵的）计算机模拟或实验来评估。在基于偏好的情况下，目标函数仍然是未知的，但它对应于个人的主观标准。因此，不可能以可靠和一致的方式量化这种标准。因此，基于偏好的优化算法仅使用不同样本对之间的比较来寻求全局解决方案，其中人类决策者指示两者中的哪一个是优选的。通常，黑盒框架和基于偏好的框架是单独讨论的，并使用不同的技术进行处理。在本文中，我们表明，黑盒和基于偏好的最优化问题是密切相关的，可以使用相同的家庭的方法，即代理人为基础的方法来解决。此外，我们提出了广义度量响应面（gMRS）算法，一个优化方案，是流行的MSRS框架的推广。最后，我们给出了所提出的最优化方法的收敛性证明。
2022-02-03 cs.LG math.OC
Fast Direct: Query-Efficient Online Black-box Guidance for Diffusion-model Target Generation
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）
针对现有引导扩散模型依赖可微目标或预收集数据的问题，提出在线黑盒引导算法Fast Direct，通过构建伪目标更新噪声序列，实现查询高效的图像与3D分子目标生成，效率提升6至44倍。
2025-03-29 cs.AI cs.LG
Covering Multiple Objectives with a Small Set of Solutions Using Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）
针对多目标黑箱优化中覆盖优化问题，提出MOCOBO算法，通过新采集函数用少量解覆盖所有目标，实验证明其覆盖率接近单独优化，并在药物发现中展现潜力。
2025-10-27 cs.LG
Exploiting Separability in Multi-Scale Grey-Box Bayesian Optimization
该研究针对灰盒优化问题，提出双层贝叶斯优化方法，通过外层优化黑盒变量、内层求解白盒子问题，在13个基准问题上实现更低后悔值，且优势具有鲁棒性。
2026-08-05 cs.LG
Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking
University of Amsterdam（阿姆斯特丹大学）
根据不同的基本假设和观点，有几种衡量排名公平性的标准。使用REINFORCE算法的PL优化可用于优化排列上的黑盒目标函数。特别是，它可以用于优化公平措施。然而，尽管PL优化对于具有中等数量的重复会话的查询有效，但是对于具有少量重复会话的查询仍有改进的空间。在本文中，我们提出了一种新的方式来表示置换分布，置换图的概念的基础上。类似于PL，我们的分布表示，称为PPG，可用于公平性的黑盒优化。与使用逐点对数作为分布参数的PL不同，在PPG中，成对反转概率与参考排列一起构建分布。因此，参考排列可以被设置为关于目标函数的最佳采样排列，使得PPG适合于确定性和随机性排序两者。我们的实验表明，PPG，而相当于PL的较大的会话重复（即，随机排序），改进了PL以优化具有一个会话的查询的公平性度量（即，确定性排名）。此外，当准确的效用估计可用时，例如，在表格模型中，与来自学习排序模型的较低质量效用估计相比，PPG在公平性优化中的性能显著提高，导致与PL的大的性能差距。最后，成对概率使得可以施加成对约束，例如"项目$d_1$的排名应该总是高于项目$d_2$"。“这样的约束可以用来同时优化公平性度量和控制另一个目标，如排名性能。
2022-04-28 cs.IR cs.LG
Generative causal explanations of black-box classifiers
School of Electrical & Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
我们开发了一种方法，用于生成因果事后解释的黑盒分类器的基础上学习的低维表示的数据。解释是因果关系的意义上说，改变学习的潜在因素产生的分类器输出统计的变化。为了构建这些解释，我们设计了一个学习框架，利用生成模型和因果影响的信息理论措施。我们的目标函数鼓励生成模型忠实地表示数据分布和潜在因素对分类器输出有很大的因果影响。我们的方法学习全局和局部解释，与任何承认类概率和梯度的分类器兼容，并且不需要标记属性或因果结构知识。使用仔细控制的测试用例，我们提供的直觉，阐明了我们的目标的功能。然后，我们展示了我们的方法在图像识别任务的实际效用。
2020-10-22 cs.AI cs.LG stat.ML
Distributed Black-Box Optimization via Error Correcting Codes
Stanford University（斯坦福大学）
我们介绍了一种新的分布式无衍生物的优化框架，是有弹性的掉队者。所提出的方法采用编码的搜索方向，在该方向上的目标函数进行评估，和一个解码步骤，以找到下一个搜索。我们的框架可以被看作是一个扩展的演化策略和结构化的探索方法，结构化的搜索方向。作为应用，我们考虑对深度卷积神经网络的黑盒对抗攻击。我们的数值实验表明，在计算时间的显着改善。
2019-07-13 cs.DC cs.IT cs.LG
Enhancing Adversarial Robustness through Multi-Objective Representation Learning
Safe Autonomous Systems, TU Dortmund University, Germany（安全自主系统，图恩多特大学，德国）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对DNNs易受对抗扰动的问题，提出多目标方法MOREL，利用余弦相似度和多正例对比损失对齐自然与对抗特征，显著提升了模型对白盒和黑盒攻击的鲁棒性。
2025-06-29 cs.CV cs.LG
High-dimensional Multi-objective Bayesian Optimization with Learned Variable Interactions
本文提出ViaMOBO框架，通过变量交互分析划分高维决策空间并执行局部贝叶斯优化，经实验验证其在高维昂贵多目标问题的帕累托前沿近似上优于现有最优MOBO方法。
2026-08-13 cs.AI cs.LG
Bayesian Optimization For Multi-Objective Mixed-Variable Problems
University of California, Berkeley（加州大学伯克利分校）
优化多个非优先目标的混合变量，昂贵的黑箱问题是重要的，在许多领域的工程和科学。这些问题的昂贵，嘈杂，黑箱性质使它们成为贝叶斯优化（BO）的理想候选者。混合变量和多目标的问题，但是，由于BO的基本平滑高斯过程代理模型的挑战。目前的多目标BO算法不能处理混合变量问题。我们提出了MixMOBO，第一个混合变量，多目标贝叶斯优化框架，这样的问题。使用MixMOBO，可以有效地找到多目标混合变量设计空间的最佳Pareto前沿，同时确保多样化的解决方案。该方法是足够灵活的，将不同的内核和采集功能，包括那些开发的混合变量或多目标问题的其他作者。我们还提出了HedgeMO，一个修改后的对冲策略，使用多目标问题的收购功能的投资组合。我们提出了一个新的采集功能，SMC。我们的研究结果表明，MixMOBO表现良好，对其他混合变量算法的合成问题。我们将MixMOBO应用于建筑材料的真实设计，并表明我们的最佳设计，这是实验制造和验证，具有归一化的应变能密度比现有结构大$10^4$倍。
2022-08-04 cs.AI cs.CE cs.LG
Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
提出了一种改进的多目标贝叶斯优化算法MESMOC+。MESMOC+可以用来解决约束多目标问题时，目标和约束是昂贵的评估。MESMOC+通过最小化函数空间中优化问题的解的熵来工作，即，帕累托边界，来指导寻找最优解。MESMOC+的成本与目标和约束的数量成线性关系。此外，它通常比基于最小化帕累托集熵的替代方法的成本小得多。其原因是在MESMOC+中更容易近似所需的计算。此外，MESMOC+的采集功能表示为每个黑盒（目标或约束）一次采集的总和。因此，它可以用于解耦的评估设置，其中不仅选择要评估的下一个输入位置，而且还选择要评估的黑盒。我们比较MESMOC+与相关的方法在合成和真正的优化问题。实验结果表明，MESMOC+提供的熵估计比以往的方法更准确。这导致更好的优化结果。MESMOC+与其他基于信息的约束多目标贝叶斯优化方法相比也具有竞争力，但速度明显更快。
2021-04-02 cs.LG stat.ML
Practical Relative Order Attack in Deep Ranking
Xi’an Jiaotong University（西安交通大学）；Alibaba Group（阿里巴巴集团）；HERE Technologies（HERE科技公司）；Wormpex AI Research（Wormpex人工智能研究院）
最近的研究揭示了深度排名模型的漏洞，其中一个不可察觉的扰动可能会引发排名结果的巨大变化。虽然以前的尝试侧重于操纵某些候选人的绝对排名，但调整其相对顺序的可能性仍然没有得到充分探讨。在本文中，我们提出了一种针对深度排名系统的新的对抗攻击，即，顺序攻击，根据攻击者指定的排列，秘密地改变一组选定的候选者之间的相对顺序，对其他不相关的候选者的干扰有限。具体来说，它被制定为一个三重式的损失强加一个不平等链反映指定的排列。然而，由于各种黑盒限制，这种白盒目标的直接优化在现实世界的攻击场景中是不可行的。为了应对这些问题，我们提出了一个短程排名相关性度量作为黑盒顺序攻击的替代目标，以近似白盒方法。订单攻击在Fashion-MNIST和Stanford-Online-Products数据集上进行评估，包括白盒和黑盒威胁模型。黑盒攻击也在一个主要的电子商务平台上成功实施。综合实验评估表明，所提出的方法的有效性，揭示了一种新的排序模型的脆弱性。
2021-08-09 cs.CV cs.IR cs.LG
Many Objective Bayesian Optimization
一些实际问题需要评估昂贵和嘈杂的目标函数。此外，这些目标函数的解析表达式可能是未知的。这些函数被称为黑盒，例如，估计机器学习算法的泛化误差并根据其超参数计算其预测时间。多目标贝叶斯优化（MOBO）是一组已成功应用于黑盒同时优化的方法。具体地，BO方法依赖于目标函数的概率模型，通常是高斯过程。该模型生成目标的预测分布。然而，当多目标优化问题中的目标数量为3或更多时，MOBO方法存在问题，这是多目标设置。特别是，BO过程的成本更高，因为考虑的目标更多，通过超体积计算解决方案的质量也更昂贵，最重要的是，我们必须评估每个目标函数，浪费昂贵的计算，经济或其他资源。然而，由于优化问题中涉及更多的目标，其中一些目标很可能是冗余的，并且不会添加有关问题解决方案的信息。提出了一种衡量GP预测分布相似程度的方法。我们还提出了一个多目标贝叶斯优化算法，使用此度量来确定两个目标是否是冗余的。该算法在发现相似性的情况下停止对其中一个进行评估，从而节省了资源，并且不损害多目标BO算法的性能。我们在一组玩具，合成，基准和真实的实验中显示经验证据，GP预测分布的度量和算法的有效性。
2021-07-08 cs.LG stat.ML
Vector Optimization with Gaussian Process Bandits
Bilkent University（比尔肯特大学）
本文提出VOGP算法，通过利用目标函数的平滑性高效识别Pareto最优解，建立理论保证并验证了其在多目标优化中的高效性。
2026-03-18 cs.LG stat.AP stat.ML
Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization
Mohamed bin Zayed University of Artificial Intelligence, Masdar City, United Arab Emirates（莫扎德人工智能大学，马斯达尔城，阿拉伯联合酋长国）
本文提出了一种基于表示的实例级算法选择方法，应用于黑盒优化，用于自动从固定组合中选择最有前途的求解器。传统连续优化工作主要依赖于数值描述符，包括探索景观分析特征和学习嵌入如Deep-ELA。本文研究了一种互补的表示：探测景观的等高线图可视化。一个CNN回归器利用多个实例特定的等高线视图（堆叠或编码每个视图并聚合）来预测每个求解器的性能，从而通过预测的最佳值进行选择。在标准BBOB 2009单目标协议上，所得到的选者显著优于单最佳求解器（SBS），并与基于特征的基线具有竞争力。随后在DeepELA设置下的双目标评估进一步表明，当使用窗口等高线视图时，基于图像的原则同样具有竞争力。总体而言，结果表明，简单的视觉模型可以利用探测景观中的空间结构进行算法选择，而无需手工设计ELA特征。
2026-05-20 cs.LG
LADDER: Multi-objective Backdoor Attack via Evolutionary Algorithm
Delft University of Technology（代尔夫特理工大学）
针对单域黑盒后门攻击的语义损害、异常引入等问题，提出双域多目标黑盒后门攻击LADDER，通过进化算法优化触发器，无需模型先验即可同时实现多目标，提升攻击有效性、鲁棒性与 stealthiness。
2024-11-28 cs.AI cs.CR cs.LG
Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness
University of Iowa（爱荷华大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一种模型不可知的方法，用于减轻黑盒决策者，特别是人类决策者的预测偏差。我们的方法在特征空间中检测黑盒决策者有偏见的地方，并用一些简短的决策规则代替它，充当“公平代理”。基于规则的代理模型在两个目标下训练，预测性能和公平性。我们的模型侧重于一个设置，在实践中是常见的，但不同于其他文献的公平性。我们只能黑盒访问模型，并且在预算约束下只能查询有限的真标签集。我们制定了一个多目标优化建立一个代理模型，我们同时优化预测性能和偏差。为了训练模型，我们提出了一种新的训练算法，结合非支配排序遗传算法与主动学习。我们在公共数据集上测试我们的模型，在那里我们模拟各种有偏见的“黑盒”分类器（决策者），并将我们的方法应用于可解释的增强公平性。
2020-11-17 cs.HC cs.LG
ILP-BO: Integer Linear Programming-Based Black-Box Optimization
提出ILP-BO，一种将离散域黑箱优化转化为整数线性规划问题的准贝叶斯优化框架，通过精确表示核函数并引入汉明距离边际，实现全局最优候选选择，在基准测试中性能与贝叶斯优化相当。
2026-09-29 cs.LG math.OC
In-Context Black-Box Optimization with Unreliable Feedback
ELLIS Institute（ELLIS研究所）；Aalto University（阿alto大学）；University of Manchester（曼彻斯特大学）
本文提出FICBO方法，通过结合历史记录和廉价辅助反馈进行上下文优化，提升多任务适应性和鲁棒性，实验证明其在合成和现实任务中优于基线方法。
2026-11-05 cs.AI cs.LG
Black Box Absorption: LLMs Undermining Innovative Ideas
Independent Researcher（独立研究者）
本文识别并形式化了LLM平台吸收用户创新思想的系统性风险“黑箱吸收”，提出思想单元与思想安全概念，并给出治理与工程议程以保障创作者贡献的可追溯性、可控性与公平性。
2025-10-23 cs.AI cs.CR cs.CY
Bayesian Optimization of Expensive Nested Grey-Box Functions
EPFL（洛桑联邦理工学院）；Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术实验室（Empa））
针对由黑盒和白盒函数组成的嵌套灰盒函数优化问题，提出一种乐观驱动的算法，其遗憾界与标准黑盒贝叶斯优化算法相似，并显著提升了寻找全局最优解的速度。
2023-08-02 cs.AI cs.LG math.OC
A Simple Learning-Augmented Algorithm for Online Packing with Concave Objectives
Purdue University（普渡大学）；Melbourne Business School（墨尔本商学院）
本文提出一种用于线性约束和凹目标在线打包问题的简单学习增强算法，以黑盒方式在建议与在线算法间切换，并应用于线性规划、背包、吞吐量最大化等问题，同时探讨黑盒解最优的充要条件。
2024-06-05 cs.DS cs.LG math.OC
Interpretable Companions for Black-Box Models
Osaka University（大阪大学）；University of Iowa（爱荷华大学）
我们提出了一个可解释的同伴模型的任何预先训练的黑盒分类器。这个想法是，对于任何输入，用户可以决定从黑盒模型中接收预测，具有高准确性但没有解释，或者采用伴随规则来获得精度略低的可解释预测。同伴模型是从数据和黑盒模型的预测中训练出来的，目标是结合透明度下的区域-准确性曲线和模型复杂性。我们的模型为从业者提供了灵活的选择，他们面临着总是使用可解释的模型和总是使用黑箱模型进行预测任务之间的选择，因此，对于任何给定的输入，如果他们发现预测性能令人满意，用户可以后退一步，采取可解释的预测，或者如果规则不令人满意，则坚持使用黑箱模型。为了展示同伴模型的价值，我们设计了一个超过一百人的人类评估，以调查可容忍的准确性损失，以获得人类的可解释性。
2020-02-11 cs.LG stat.ML
BONSAI: Structure-exploiting robust Bayesian optimization for networked black-box systems under uncertainty
The Ohio State University（俄亥俄州立大学）
针对现有鲁棒贝叶斯优化忽略结构信息、难扩展至高维的问题，提出BONSAI框架，利用仿真模型的部分结构知识构建黑白盒组件有向图，搭配可扩展的汤普森采样采集函数，在多类案例中实现了更高效优质的鲁棒优化。
2025-10-04 cs.LG math.OC
VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry
Paul Wurth S.A.（保尔沃斯公司）
应用于生成数据驱动模型的机器学习缺乏透明度，导致过程工程师对依赖模型预测来优化其工业过程失去信心。使用数据驱动模型将行业流程提升到一定程度的自主性尤其具有挑战性，因为这些模型的第一个用户通常是拥有数十年经验的流程专家。有必要向过程工程师展示，不仅是模型预测，而且还有它们的可解释性。为此，文献中提出了几种方法。局部可解释模型不可知解释（LIME）方法最近引起了研究界的极大兴趣。该方法的原理是通过在局部随机生成人工数据点来训练一个局部逼近黑盒模型的线性模型。最近出现了基于LIME的模型不可知局部可解释性解决方案，以改进原始方法。在本文中，我们提出了一种新的方法，VAE-LIME，本地可解释的数据驱动模型预测的高炉生产的铁水温度。这样的炼铁过程数据的特征在于具有高度相关性的多变量时间序列，其代表高炉中的潜在过程。我们的贡献是使用变分自编码器（VAE）从数据中学习复杂的高炉过程特性。VAE旨在生成最佳人工样本以训练局部可解释模型，该局部可解释模型在由黑盒模型处理的输入样本的邻域中更好地表示黑盒模型以进行预测。与LIME相比，VAE-LIME显示出显着改善的局部可解释线性模型的局部保真度与黑盒模型，从而产生鲁棒的模型可解释性。
2020-07-15 cs.AI cs.LG stat.ML
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究所）
本文针对黑盒变分推断缺乏收敛保证的问题，利用重参数化梯度估计器的二次噪声界，为近端和投影随机梯度下降提供了新的收敛证明，从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
