Efficient optimization of expensive black-box simulators via marginal means, with application to neutrino detector design
Department of Statistical Science, Duke University（杜克大学统计科学系）；Nuclear Science Division, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室核科学部）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对高维黑盒模拟器优化中“选择胜者”策略性能平庸的问题，提出基于边际均值的BOMM方法，利用边际均值函数估计全局最优解，理论证明其缓解维度灾难，并在中微子探测器优化中验证有效性。
2025-08-07 cs.LG stat.CO stat.ME
Efficient Stochastic Optimisation via Sequential Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
针对梯度难以计算的优化问题，提出用序贯蒙特卡洛（SMC）采样器替代昂贵的内采样循环，实现高效随机优化，并在能量模型奖励调优中验证有效性。
2026-06-12 cs.LG stat.CO stat.ML
Collaborative and Federated Black-box Optimization: A Bayesian Optimization Perspective
Industrial \& Operations Engineering University of Michigan
本文从贝叶斯优化视角提出全局、局部和预测三个统一框架，解决协作与联邦黑盒优化中的分布式实验、异构性和隐私挑战，推动联邦学习从描述/预测范式向规范性序贯决策范式转变。
2024-11-12 cs.LG stat.ML
Bayesian Search for Robust Optima
The University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中，找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化，其中高斯过程是一种流行的选择，作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法，以找到一个区域的设计空间中，昂贵的功能的性能是相对不敏感的输入，同时保持良好的质量。这是通过从高斯过程中采样实现来实现的，高斯过程对昂贵的函数进行建模，并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化，以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程，以找到最佳的预期改善。我们的经验表明，评估昂贵的功能在候选人的不确定性区域的模型是最不确定的，或在随机的位置，产生最佳的收敛性相比，剥削计划。我们说明了我们的方法在两个，五个和十个维度的六个测试功能，并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题，在4和8维，其中包括训练机器人手臂，以推动物体到目标。
2021-12-15 cs.LG stat.ML
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University（俄亥俄州立大学）
针对噪声观测下昂贵混合模型的约束全局优化问题，提出约束上分位数界（CUQB）方法，利用复合结构与可微近似提升采样效率，提供次线性收敛保证与不可行性检测，数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
Non-smooth Bayesian Optimization in Tuning Problems
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
构建代理模型是一种常见的方法，当我们试图学习未知的黑盒函数。贝叶斯优化提供了一个框架，使我们能够建立代理模型的基础上，从功能的顺序样本，并找到最佳的。调整算法参数以优化大型、复杂的“黑盒”应用程序代码的性能是一个特定的重要应用，其目的是找到黑盒函数的最优值。在贝叶斯优化框架内，高斯过程模型产生平滑或连续的样本路径。然而，黑盒函数的调整问题往往是非光滑的。这个困难的调整问题由于我们通常从黑盒函数中获得有限的连续样本而变得更加糟糕。针对这些问题，提出了一种新的加性高斯过程模型，称为聚类高斯过程（cGP），其中的加性成分由聚类引起。在我们研究的例子中，在重复实验中，性能可以提高多达90%。通过使用这个代理模型，我们希望捕获黑盒函数的非平滑性。除了构造该模型的算法，我们还将该模型应用于几个人工和实际应用程序来评估它。
2021-09-15 cs.LG stat.ML
Practical Batch Bayesian Optimization for Less Expensive Functions
Deakin University（迪肯大学）
贝叶斯优化（BO）及其批处理扩展成功地优化了昂贵的黑盒函数。然而，当BO的计算成本可以支配评估黑盒函数的成本时，这些传统的BO方法对于优化不太昂贵的函数还不是理想的。这些不太昂贵的功能的例子是廉价的机器学习模型，通过模拟器进行廉价的物理实验，以及贝叶斯优化中的采集功能优化。在本文中，我们考虑一个批量BO设置的情况下，功能评估是不太昂贵的。我们的模型是基于一种新的探索策略，使用几何距离，提供了一种替代的方式进行探索，选择一个点远离观察到的位置。利用这种直觉，我们建议使用Sobol序列来指导探索，这将摆脱在以前的作品中使用的多个全局优化步骤。基于提出的距离探索，我们提出了一个有效的批量BO方法。我们证明了我们的方法优于其他基线和全局优化方法时，函数的评估是不太昂贵的。
2018-11-05 cs.LG stat.ML
A transport approach to sequential simulation-based inference
Massachusetts Institute of Technology（麻省理工学院）；Dartmouth College（达特茅斯学院）
该研究提出一种基于传输的序列贝叶斯推断新方法，通过估计块三角传输映射提取条件分布，构建似然及其梯度的显式代理模型，可在黑箱正演模型等场景下实现参数估计，并在冰厚度表征任务中完成了数值验证。
2023-08-26 cs.LG stat.ME stat.ML
Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions
University of Cambridge（剑桥大学）
我们开发了并行预测熵搜索（PPES），昂贵的黑箱目标函数的贝叶斯优化的一种新算法。在每次迭代中，PPES的目标是选择一批点，这将最大化关于目标的全局最大化者的信息增益。众所周知的策略存在于基于先前的观察来建议单个评估点，而已知的用于选择多批点来并行评估的策略少得多。已经研究的几个批次选择方案都采用贪婪方法来计算最优批次。据我们所知，PPES是第一个非贪婪批量贝叶斯优化策略。我们证明了这种方法在优化性能的合成和现实世界的应用，包括在机器学习，火箭科学和机器人技术的问题的好处。
2015-11-23 cs.LG stat.ML
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化（BO）是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而，关于目标函数计算的内部信息通常是可用的。例如，在通过仿真优化生产线的吞吐量时，我们除了观察总吞吐量外，还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法，因为它们将目标计算视为部分可观察的，甚至是可修改的，将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法，重点是复合目标函数的BO，其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO，其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地，深度神经网络的泛化误差的估计的最小化，并且同时其预测时间的最小化。我们还可以考虑作为约束，深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里，目标和约束都是黑盒，即，解析表达式未知且计算代价高昂的函数。贝叶斯优化（BO）方法已经给出了黑箱优化的最新结果。然而，大多数BO方法是顺序的，并且迭代地在一个输入位置处评估目标和约束。然而，有时我们可能有资源并行评估几个配置。尽管如此，没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行（例如当计算机集群可用时），则顺序评估会导致资源浪费。本文介绍了PPESMOC，并行预测熵搜索多目标贝叶斯优化与约束，一个基于信息的批处理方法，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。迭代地，PPESMOC选择一批输入位置来评估黑盒，以最大限度地减少优化问题的帕累托集的熵。我们提出的合成，基准和现实世界的实验，说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
Bayesian Optimization with Expensive Integrands
Cornell University（康奈尔大学）；School of Operations Research & Information Engineering（运筹学与信息工程学院）
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分，允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时，一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题，为此，我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明，我们的方法在连续和离散有限域的目标函数的总和。在数值实验中，与以前的最先进的方法相比，包括那些也利用总和或积分结构，我们的方法在广泛的问题中表现良好或更好，并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
Bayesian Active Meta-Learning for Black-Box Optimization
King’s College London（伦敦国王学院）
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的，例如，用于在未知传播场景中无线系统的最佳部署。元学习可以通过利用来自一组相关学习任务的数据来解决这个问题，例如，从类似的部署设置。在实践中，可能只有来自相关任务的未标记数据集可用，这需要在用于元学习之前执行昂贵的标记过程。例如，人们可能知道基站在给定区域中的可能位置，但不知道每个部署可实现的性能指标。为了减少元学习所需的标记步骤的数量，本文介绍了一种信息理论的主动任务选择机制，并评估了一个实例的方法贝叶斯优化的黑盒模型。
2022-05-23 cs.IT cs.LG math.IT
Fully Bayesian Sequential Design for Heteroscedastic Stochastic Simulations
Department of Statistics and Actuarial Science, University of Waterloo（滑铁卢大学统计与精算科学系）
针对异方差随机模拟模型，提出一种基于双高斯过程和期望贝叶斯积分均方预测误差的完全贝叶斯序贯设计策略，有效提升有限预算下的预测精度和不确定性量化。
2026-07-03 stat.ME
Fast and Provably Accurate Sequential Designs using Hilbert Space Gaussian Processes
National University of Singapore（新加坡国立大学）
本文提出一种高效且精确的希尔伯特空间高斯过程近似方法，用于改进基于高斯过程的序列设计中的IMSE获取函数，通过截断特征基实现闭式计算，并建立了非渐近的全局误差界。
2026-04-22 math.ST stat.ME stat.ML
Sequential adaptive design for emulating costly computer codes
本文提出自适应采样准则 VIGF 及其批量和多保真度扩展，通过分层克里金法以最少评估次数提升高斯过程仿真精度，实验表明其在多数基准函数上优于现有序贯采样策略。
2024-11-25 stat.ME
On Bayesian Search for the Feasible Space Under Computationally Expensive Constraints
Swansea University（斯旺西大学）；ACT Acoustics（ACT声学公司）
我们经常感兴趣的是在多个约束条件下确定决策空间的可行子集，以允许有效的设计探索。如果确定可行性需要计算上昂贵的模拟，那么勘探的成本将是令人望而却步的。贝叶斯搜索对于这些问题是数据高效的：从一个小的数据集开始，中心概念是使用贝叶斯约束模型和获取函数来定位有希望的解决方案，当数据集被扩充时，这些解决方案可以改善可行性的预测。在这种具有有限数量的昂贵评估的顺序主动学习方法结束时，模型可以准确地预测任何解决方案的可行性，从而避免了完全模拟的需要。在本文中，我们提出了一种新的采集功能，结合了解决方案位于可行和不可行的空间（代表开发）和预测（代表探索）的熵之间的边界的概率。实验证实了所提出的功能的有效性。
2020-06-24 cs.LG cs.NE stat.ML
Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
这项工作提出了PESMOC，预测熵搜索多目标贝叶斯优化与约束，一个基于信息的策略，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。因此，PESMOC可用于解决各种优化问题。迭代地，PESMOC选择一个输入位置，在该位置上评估目标函数和约束，以便最大限度地减少相应优化问题的Pareto集的熵。PESMOC中考虑的约束被假定为具有与典型贝叶斯优化问题中的目标函数相似的性质。也就是说，它们没有已知的表达式（这妨碍了梯度计算），它们的评估被认为是非常昂贵的，并且所得到的观测结果可能被噪声破坏。这些约束出现在大量昂贵的黑盒优化问题中。我们进行合成实验来说明PESMOC的有效性，在那里我们从高斯过程先验中采样目标和约束。所获得的结果表明，PESMOC是能够提供更好的建议与更少的评价比基于随机搜索的战略。
2016-09-26 stat.ML
Diffusion Models for Black-Box Optimization
UCLA（加州大学洛杉矶分校）
针对离线黑盒优化中现有方法的局限，提出基于扩散模型的去噪扩散优化模型DDOM，通过条件生成、数据重加权及无分类器引导实现优化，在Design-Bench基准上达到了与最优基线相当的性能。
2023-08-21 cs.LG
Explaining Black Boxes on Sequential Data using Weighted Automata
Aix-Marseille University（艾克斯-马赛大学）
了解一个学习的黑盒是如何工作的，对于机器学习的未来至关重要。在本文中，我们开创性的学习黑盒模型，分配数值符号序列数据的全局可解释性的问题。为了解决这个问题，我们提出了一个频谱算法的加权自动机（WA）从这样的黑盒子的提取。该算法不需要访问数据集或黑盒的内部表示：推断模型可以仅通过查询黑盒，向其提供输入并分析其输出来获得。使用递归神经网络（RNN）在48个合成数据集和2个真实数据集上训练的实验表明，所获得的近似具有很高的质量。
2018-10-12 cs.LG stat.ML
CompModels: A suite of computer model test functions for Bayesian optimization
R的CompModels包提供了一套计算机模型测试功能，可用于计算机模型预测/仿真，不确定性量化和校准，特别是计算机模型的顺序优化。该软件包是现实世界的物理问题，已知的数学函数和黑盒函数的混合，这些函数已被转换为具有贝叶斯目标的计算机模型（即，顺序）优化。同样，该软件包包含代表约束或无约束优化情况的计算机模型，每个模型具有不同的难度。在本文中，我们说明了使用的包与现实世界的例子和黑盒函数通过解决约束优化问题，通过贝叶斯优化。最终，该软件包为用户提供了一个源的计算机模型测试功能，是可复制的，可共享的，并可用于新的优化方法的基准。
2021-01-07 stat.CO stat.OT
Improve black-box sequential anomaly detector relevancy with limited user feedback
Amazon Research（亚马逊研究院）
异常检测器通常被设计为捕获统计异常。最终用户通常不会对所有检测到的离群值感兴趣，而只对与其应用相关的离群值感兴趣。针对现有的黑盒序列异常检测器，提出了一种利用少量人工反馈提高其用户相关性的方法。作为我们的第一个贡献，该方法是不可知的检测器：它只假设访问其异常分数，而不需要任何额外的信息inside it.Inspired由一个事实，即异常是不同类型的，我们的方法识别这些类型，并利用用户反馈来分配相关性类型。这个相关性分数，作为我们的第二个贡献，用于调整后续的异常选择过程。在合成数据集和真实数据集上的实验结果表明，我们的方法在一系列异常检测器上的精度和召回率都有显着提高。
2020-09-15 cs.LG stat.ML
A General Stochastic Algorithmic Framework for Minimizing Expensive Black Box Objective Functions Based on Surrogate Models and Sensitivity Analysis
我们专注于有界约束的全局优化问题，其目标函数是计算昂贵的黑箱函数，并有多个局部极小值。最近流行的度量随机响应面（MSRS）算法提出的\cite{Regis2007SRBF}基于响应面的自适应或顺序学习的基础上，重新审视和进一步扩展的情况下更好的性能更高的维度的问题。具体地说，我们提出了一种新的方法来生成候选点，根据度量标准，基于一种新的距离定义来选择下一个函数的评价点，并证明了相应的算法的全局收敛性。相应地，一个更适应的MSRS的实现，命名为“SO-SA”。“SO-SA”在生成候选点时更可能扰动那些最敏感的坐标，而不是同时扰动所有坐标。综合问题和实际问题的数值实验表明，我们的新算法的优势，与许多国家的最先进的替代品。
2014-10-23 stat.ML
Optimal Learning for Sequential Decision Making for Expensive Cost Functions with Stochastic Binary Feedbacks
我们考虑的问题，依次作出决定，奖励的“成功”和“失败”，可以通过一个未知的关系，依赖于一个部分可控的属性向量为每个实例预测。学习者在从实例池中选择样本时扮演积极的角色。目标是最大化离线（训练）或在线（测试）阶段的成功概率。我们的问题是由现实世界的应用程序的观察是耗时和/或昂贵的动机。我们开发了一个知识梯度策略，使用在线贝叶斯线性分类器来指导实验，通过最大化标记每个选项的信息的期望值。我们提供了一个有限时间分析的估计误差，并表明基于KG政策产生的极大似然估计是一致的和渐近正态的。我们还表明，知识梯度政策是渐近最优的离线设置。这项工作进一步扩展了知识梯度的背景土匪的设置。我们报告了一系列实验的结果，证明其效率。
2017-09-13 stat.ML
Global optimization of expensive black-box models based on asynchronous hybrid-criterion with interval reduction
Northwestern Polytechnical University（西北工业大学）；Shanghai Electro-Mechanical Engineering Institute（上海机电工程研究所）
针对复杂黑箱模型的全局优化问题，提出了一种新的基于序贯代理的优化算法（SSBO），旨在提高算法的全局搜索能力和局部搜索效率.所提出的方法涉及三个基本的子标准异步填充新的样本，以平衡全局探索和局部开发。首先，根据目标函数和约束函数的当前代理模型，用遗传算法搜索全局最优解，以捕捉可能的全局最优解区域。其次，为了在样本稀疏的区域填充样本，提高代理模型的全局精度，采用基于当前代理模型的拉丁超立方体采样（Latin hypercube sampling，LHS）网格搜索来探索样本空间。第三，为了提高局部搜索效率，在缩减的区间内，利用局部代理模型，利用序列二次规划（SQP）搜索局部最优解，其中包含当前最优解附近的一些样本。当新样本与现有样本过于接近时，由于附加信息不足，应放弃新样本。根据这三个子准则，新的样本被放置在尚未被充分探索的区域中，并且包括可能的全局最优点。当找到一个可能的全局最优点时，局部搜索子准则快速捕获它周围的局部最优值。数值和工程算例验证了该方法的有效性。统计结果表明，该方法具有良好的全局搜索能力和效率。
2018-11-29 cs.LG stat.ML
Active Learning for Approximation of Expensive Functions with Normal Distributed Output Uncertainty
Ghent University（根特大学）
当近似黑盒函数时，通过关注具有非线性响应的区域的主动学习进行采样往往会提高精度。我们提出了之前针对确定性响应引入的FLOLA-Voronoi方法，并从理论上推导出输出不确定性的影响。该算法自动将更多的重点放在探索上，为模型提供更多的信息。
2016-08-18 cs.LG stat.ML
ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
提出ALMAB-DC框架，结合高斯过程代理模型、多臂老虎机控制和异步分布式调度，解决昂贵黑箱优化问题，在多个基准上显著优于现有方法。
2026-06-03 cs.LG stat.CO stat.ME
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington（华盛顿大学）
循环神经网络（RNN）是处理连续数据的强大而有效的方法。然而，RNN通常被认为是“黑箱”模型，其内部结构和学习参数是不可解释的。在本文中，我们提出了一个可解释的RNN的顺序迭代软阈值算法（SISTA）的基础上解决顺序稀疏恢复问题，该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的，这导致了一种新的堆叠RNN架构。此外，SISTA-RNN的权重完全可以解释为原则性统计模型的参数，在这种情况下，包括稀疏化字典，迭代步长和正则化参数。此外，在特定的顺序压缩感知任务中，SISTA-RNN比传统的最先进的黑盒RNN（包括长短期记忆（LSTM）RNN）训练得更快，性能更好。
2016-11-22 cs.LG stat.ML
Safe global optimization of expensive noisy black-box functions in the $δ$-Lipschitz framework
University of Calabria（卡拉布里亚大学）；Lobachevsky University（罗巴切夫斯基大学）；University of Milano-Bicocca（米兰比可卡大学）
本文研究了满足Lipschitz条件的昂贵噪声黑箱函数的安全全局最大化问题（不应与鲁棒优化混淆）。概念“安全”意味着优化期间的目标函数$f(x)$不应违反“安全”阈值，例如，最大化问题中的某个先验给定值$h$。因此，任何新的函数评估（可能被噪声破坏）必须仅在“安全点”处执行，即，在已知目标函数$f(y) > h$的点$y$处执行。这里的主要困难在于，所使用的优化算法应当确保在执行$f(y)$的评估之前在点$y$处满足安全约束。因此，既需要确定搜索域$D$内的安全区域$Ω$，又需要找到$Ω$内的全局最大值。另一个困难在于，这些问题应该在存在噪声的情况下解决。本文首先从理论上研究了该问题，结果表明，即使目标函数$f(x)$满足Lipschitz条件，由于噪声的存在，传统的Lipschitz次量和优量也不能使用.然后，提出了一个$δ$ -Lipschitz框架和两个算法，使用它来解决安全的全局最大化问题。第一种方法确定搜索域内的安全区域，第二种方法在找到的安全区域上执行全局最大化。对于这两种方法的一些理论结果，其功能和收敛性的建立。最后，数值实验证实了所提出的程序的可靠性。
2020-08-15 cs.LG cs.NA math.NA
When the whole is greater than the sum of its parts: Scaling black-box inference to large data settings through divide-and-conquer
本文提出一种黑箱分而治之估计与推断框架，通过划分数据域、并行训练与自助法以及加权合并，解决数据模拟昂贵时大规模黑箱推断难以处理的问题，并在数万位置的最大稳定过程建模中得到验证。
2024-12-29 stat.ME stat.ML
Sequential Minimal Optimization for $\varepsilon$-SVR with MAPE Loss and Sample-Dependent Box Constraints
本文提出一种针对MAPE损失的ε-SVR序列最小优化算法，通过改进工作集选择和分析更新截断，实现结构不变性，并在效率和收敛性上取得改进，验证了算法在多个数据集上的有效性。
2026-06-05 cs.NA math.NA stat.ML
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford（牛津大学）；Improbable（Improbable公司）；Durham University（杜伦大学）
在自然科学和社会科学中，复杂动力学的仿真模型通常缺乏易于处理的似然函数，使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法，用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此，有效的似然近似可以获得良好的概率分类器，可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器，即使在至关重要的情况下，样本数很低。在这种情况下，我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University（斯坦福大学）
针对黑盒安全关键自主系统罕见失效难以估计的问题，提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法，在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
Combinatorial Black-Box Optimization with Expert Advice
IBM Research（IBM研究）；Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究布尔超立方体上的黑盒函数优化问题。尽管有大量的连续域上的黑盒函数优化的文献，没有太多的注意力已经支付给组合域上的优化学习模型，直到最近。然而，最近设计的算法的计算复杂性是令人望而却步的，即使是中等数量的变量，使用现有的算法绘制一个样本是更昂贵的比许多感兴趣的黑盒功能的功能评估。为了解决这个问题，我们提出了一个计算效率高的模型学习算法的基础上多线性多项式和指数权重更新。在该算法中，我们交替模拟退火相对于当前的多项式表示和更新的权重使用单项专家的意见。在无约束和和约束布尔优化的各种数据集上的数值实验表明，所提出的算法的竞争力的性能，同时提高了计算时间的几个数量级相比，在文献中的最先进的算法。
2020-10-13 cs.LG stat.ML
Hyperparameter Optimization via Sequential Uniform Designs
University of Hong Kong（香港大学）
超参数优化（HPO）在自动机器学习（AutoML）中起着核心作用。这是一个具有挑战性的任务，因为超参数的响应曲面通常是未知的，因此本质上是一个全局优化问题。本文将HPO转化为计算机实验，提出了一种新的顺序均匀设计（SeqUD）策略，该策略具有以下三个优点：a）均匀分布的设计点自适应地探索超参数空间，而不需要昂贵的元建模和获取优化; b）在并行处理支持下，逐批顺序生成设计点;（3）提出了一种新的增广均匀设计算法，用于有效地实时生成后续设计点。在全局优化任务和HPO应用程序上进行了大量的实验。数值结果表明，所提出的SeqUD策略优于基准HPO方法，因此它可以成为现有AutoML工具的有前途和有竞争力的替代方案。
2021-06-17 cs.LG math.OC stat.ML
Sequential Importance Sampling for Hybrid Model Bayesian Inference to Support Bioprocess Mechanism Learning and Robust Control
Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
在生物制造4.0的关键需求的驱动下，我们引入了一个概率知识图混合模型，该模型表征了对生物过程机制的基于风险和科学的理解。它可以忠实地捕捉重要的性质，包括非线性反应，部分可观测状态，和非平稳动力学。给出了非常有限的实际过程的观察，我们得到了一个后验分布量化模型估计的不确定性。为了避免计算复杂的似然性，采用序贯蒙特卡罗近似贝叶斯计算抽样（ABC-SMC）来近似后验分布。在高度随机和模型不确定性下，匹配输出轨迹的计算代价很高。因此，我们创建了一个线性高斯动态贝叶斯网络（LG-DBN）辅助似然ABC-SMC方法。通过匹配由LG-DBN似然驱动的摘要统计量，可以捕获关键的相互作用和变化，所提出的算法可以加速混合模型推理，支持过程监控，并促进机制学习和鲁棒控制。
2022-09-30 cs.LG stat.ML
Speeding-up Evolutionary Algorithms to solve Black-Box Optimization Problems
本文针对黑盒优化中进化算法评估成本高的问题，提出在运行时动态选择可保持解正确排序的最低成本近似目标函数，从而在四类问题上实现最高超过一半的加速。
2024-01-29 cs.NE stat.ML
Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators
Technical University of Munich（慕尼黑工业大学）
针对高维随机黑盒模拟器参数的约束优化问题，提出Scout-Nd算法，通过高效估计梯度、降低噪声及多保真度方案减少计算量，在标准基准上表现优于现有方法。
2023-11-25 cs.LG math.OC stat.ML
Black-Box Policy Search with Probabilistic Programs
University of Oxford（牛津大学）
在这项工作中，我们将探讨如何概率程序可以用来表示顺序决策问题的政策。在这个公式中，概率程序是一个黑盒随机模拟器的问题域和代理。我们将经典的政策梯度技术，最近推出的黑盒变分方法，推广到概率程序推理。我们目前的案例研究，在加拿大旅行者的问题，岩石样本，和最佳诊断的启发猜猜谁的基准。每项研究都说明了程序如何使用适度数量的参数有效地表示策略。
2016-08-04 cs.AI stat.ML
Quantum Circuit Generation via test-time learning with large language models
Università degli Studi di Palermo（巴勒莫大学）
研究通过大语言模型进行量子电路生成，提出记忆增强测试时优化框架，结合情景记忆、分数差反馈和重新采样改进搜索。在量子电路合成任务中评估，结果显示该框架显著提高样本效率，为测试时优化提供挑战基准。
2026-07-10 quant-ph stat.ML
