Local Constrained Bayesian Optimization
Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore（新加坡国立大学工业系统工程与管理系，新加坡）
针对高维约束问题的贝叶斯优化面临挑战，提出局部约束贝叶斯优化框架。利用约束惩罚替代函数的可微景观，在局部下降与探索间交替，理论证明其收敛率，实验表明优于现有基线。
2026-07-07 cs.LG stat.ML
Constrained Bayesian Optimization with Max-Value Entropy Search
Amazon（亚马逊）
贝叶斯优化（BO）是一种基于模型的方法，用于顺序优化昂贵的黑盒函数，例如深度神经网络关于其超参数的验证误差。在许多现实世界的情况下，优化进一步受到先验未知的约束。例如，当模型太大时，训练深度网络配置可能会失败，并出现内存不足错误。在这项工作中，我们专注于一个一般的配方高斯过程为基础的BO连续或二进制的约束。我们提出了约束最大值熵搜索（cMES），一种新的信息理论为基础的采集功能，实现这一配方。我们还重新审视的有效性，采用快速计算的MES采集功能的因式分解近似，经验表明，这会导致不准确的结果。在一组广泛的现实世界的约束超参数优化问题，我们表明，cMES相比有利的先前的工作，同时更简单的实现和速度比其他约束扩展熵搜索。
2019-10-15 cs.LG stat.ML
A Nonmyopic Approach to Cost-Constrained Bayesian Optimization
SigOpt: An Intel Company（SigOpt（英特尔旗下公司））；Facebook（脸书）；Amazon（亚马逊）
贝叶斯优化（BO）是一种流行的方法，用于优化昂贵的评估黑盒函数。BO预算通常在迭代中给出，这隐含地假设每个评估具有相同的成本。事实上，在许多BO应用程序中，评估成本在搜索空间的不同区域中变化很大。在超参数优化中，神经网络训练所花费的时间随着层的大小而增加;在临床试验中，药物化合物的货币成本不同;在最优控制中，控制动作具有不同的复杂性。成本约束BO测量与替代成本度量（诸如时间、金钱或能量）的收敛，标准BO方法的样本效率不适合于这些成本度量。对于成本受限的BO，成本效率远比样本效率重要。在本文中，我们制定成本约束BO作为一个约束马尔可夫决策过程（CMDP），并开发一个有效的推出近似的最佳CMDP政策，同时考虑到成本和未来的迭代。我们验证了我们的方法收集的超参数优化问题，以及传感器组选择的应用。
2021-06-10 cs.LG stat.ML
Bayesian Optimization for Distributionally Robust Chance-constrained Problem
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在黑盒函数优化中，不仅需要考虑可控的设计变量，还需要考虑不可控的随机环境变量。在这种情况下，有必要通过考虑环境变量的不确定性来解决优化问题。机会约束问题（Chance-constrained problem，简称CC问题）是在一定的约束满足概率下最大化期望值的问题，是存在环境变量的实际问题之一。在这项研究中，我们考虑分布鲁棒CC（DRCC）问题，并提出了一种新的DRCC贝叶斯优化方法的情况下，不能精确指定的环境变量的分布。我们表明，所提出的方法可以找到一个任意精确的解决方案，在有限数量的试验，并通过数值实验证实了所提出的方法的有用性。
2022-02-02 cs.LG stat.ML
Constrained Bayesian Experimental Design via Online Planning
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
提出一种结合离线预训练摊销策略和后验网络与在线多步前瞻规划（场景树）的方法，以在动态约束下优化贝叶斯实验设计，相比现有方法获得更优信息序列且计算开销适中。
2026-05-26 cs.LG stat.ML
Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence
University of Electronic Science and Technology of China（电子科技大学）；University of Exeter（埃克塞特大学）
针对部分可观测约束优化问题，提出一种结合改进采集函数与嵌入不同似然的高斯过程代理模型的约束贝叶斯优化方法，实现平衡探索并证明收敛性，在合成和实际问题上表现优异。
2023-12-23 cs.LG stat.ML
Variational Bayesian Methods for Stochastically Constrained System Design Problems
Purdue University（普渡大学）
我们研究的系统设计问题表示为参数化随机规划的机会约束集。我们采用贝叶斯方法，需要计算的后验预测积分，这通常是棘手的。此外，对于一个定义良好的凸规划问题，我们必须保持可行集的凸性。因此，我们提出了一种基于变分贝叶斯的方法来近似计算后验预测积分，确保易处理性和保持凸性的可行集。在一定的正则条件下，我们还表明，使用变分贝叶斯得到的解决方案集收敛到真正的解决方案集的观测数趋于无穷大。我们还提供了一个真正的不可行的点（相对于真正的约束）的概率上的界限，作为可行的VB近似为给定数量的样本。
2020-01-06 cs.LG stat.ML
Trust Region Constrained Bayesian Optimization with Penalized Constraint Handling
Statistical Quality Control and Operations Research Unit, Indian Statistical Institute, Kolkata, India（印度统计研究院统计质量控制与运筹研究单位，加尔各答，印度）；Operations Management Group, Indian Institute of Management Calcutta, Kolkata, India（印度管理学院加尔各答运营管理组，加尔各答，印度）
本文提出结合惩罚法、替代模型和信任区域策略的贝叶斯优化方法，通过惩罚约束违反来转换约束问题为无约束形式，提升高维复杂约束优化的稳定性与效率。
2026-08-13 cs.LG stat.ML
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University（俄亥俄州立大学）
针对噪声观测下昂贵混合模型的约束全局优化问题，提出约束上分位数界（CUQB）方法，利用复合结构与可微近似提升采样效率，提供次线性收敛保证与不可行性检测，数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
PAC-Bayesian Bounds on Constrained f-Entropic Risk Measures
Université Jean Monnet, CNRS, Institut d’Optique Graduate School, Laboratoire Hubert Curien UMR 5516, Inria（让·莫内大学，法国国家科学研究中心，光学研究所，于贝尔·居里实验室 UMR 5516，法国国家信息与自动化研究所）；Université Lumière Lyon 2, Universite Claude Bernard Lyon 1, ERIC（里昂第二大学，克洛德·贝尔纳里昂第一大学，ERIC 实验室）；Univ Rennes, Inria, CNRS IRISA - UMR 6074（雷恩大学，法国国家信息与自动化研究所，法国国家科学研究中心 IRISA - UMR 6074）
本文提出约束f-熵风险度量，通过f-散度控制分布偏移和子组不平衡，推导了经典和解构的PAC-Bayesian界限，并设计了自界算法，实验证明其有效性。
2026-04-08 cs.LG stat.ML
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology（南方科技大学）
黑盒问题在现实生活中很常见，如结构设计、药物实验和机器学习。在优化黑箱系统时，决策者往往综合考虑多个性能指标，通过综合评价给出最终决策。出于这样的实际需要，我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构，评估是昂贵的，甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法（$c-\rm{KG}$）。考虑到最优性和可行性，提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计，推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架，用于生成具有优化特性的新型分子。原来的计划，具有贝叶斯优化的潜在空间的变分自动编码器，遭受的病理，它往往会产生无效的分子结构。首先，我们证明经验，这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次，通过重新制定的搜索过程作为一个约束贝叶斯优化问题，我们表明，这种病理的影响可以减轻，产生显着改善所产生的分子的有效性。我们认为，约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法，在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
Scalable Constrained Bayesian Optimization
Facebook（脸书）；Amazon（亚马逊）；Uber AI（优步人工智能）
在黑盒约束下的高维黑盒函数的全局优化是机器学习、控制和工程中的一个普遍任务。这些问题是具有挑战性的，因为可行集通常是非凸的，很难找到，除了维数和底层函数的异质性的诅咒。特别是，这些特征显着影响贝叶斯优化方法的性能，否则已经成为无约束设置中的样本有效优化的事实标准，留给从业者进化策略或进化论。我们提出了可扩展的约束贝叶斯优化（SCBO）算法，克服了上述挑战，并推动贝叶斯优化的适用性远远超出了国家的最先进的。一个全面的实验评估表明，SCBO在各种基准取得了优异的成绩。为此，我们提出了两个新的控制问题，我们希望科学界的独立价值。
2021-02-28 cs.AI cs.LG stat.ML
Upper Trust Bound Feasibility Criterion for Mixed Constrained Bayesian Optimization with Application to Aircraft Design
ONERA（法国国家航空航天研究中心）；Université de Toulouse（图卢兹大学）；ISAE-SUPAERO（法国国立高等航空航天学院）
贝叶斯优化方法已经成功地应用于评估成本高的黑盒优化问题。在本文中，我们采用所谓的超有效的全局优化算法，以解决更精确的混合约束问题。所提出的方法处理约束的信任上限，后者鼓励探索的可行域相结合的平均预测和相关的不确定性函数的高斯过程。最重要的是，一个细化的过程，基于学习率标准，介绍了提高开发和探索的权衡。我们展示了一组数值实验的方法的良好潜力。最后，我们提出了一个应用程序的概念飞机配置后，我们表明所提出的方法相比，一组最先进的黑箱优化求解器的优越性。关键词：全局优化，混合约束优化，黑箱优化，贝叶斯优化，高斯过程。
2020-05-12 cs.LG math.OC stat.ML
Constrained Recurrent Bayesian Forecasting for Crack Propagation
IRT SystemX；SNCF（法国国家铁路公司）
本文针对铁路裂纹扩展预测问题，提出一种约束递归贝叶斯多步预测方法，在量化认知与偶然不确定性的同时引入物理和安全约束，揭示了预测精度与约束满足之间的权衡。
2024-10-18 cs.LG stat.ML
Improving Quadrature for Constrained Integrands
Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一个改进的贝叶斯框架进行推理的约束函数的仿射变换。我们专注于非负函数的求积，这是贝叶斯推理中的一项常见任务。我们考虑的范围内的限制的功能，如非负性或有界性。虽然我们的框架是一般的，我们推导出这些约束的显式近似方案，并主张使用对数变换的功能，如高动态范围的似然表面。我们提出了一种新的方法来优化超参数在这个框架中：我们优化的边缘似然在原始空间，而不是在变换后的空间。结果是一个更好地解释实际数据的模型。合成和真实世界的数据上的实验表明，我们的框架实现了优越的估计，使用更少的挂钟时间比现有的贝叶斯求积程序。
2019-02-27 cs.LG stat.ML
An adaptive approach to Bayesian Optimization with switching costs
Alliance Manchester Business School, University of Manchester（曼彻斯特大学联盟曼彻斯特商学院）；IBM（国际商业机器公司（IBM））；Sonos（搜诺斯（Sonos））
针对带切换成本的资源受限序列实验设计场景，提出两种适配的贝叶斯优化新方法，其中无超参数的成本感知算法鲁棒性强，高切换成本下表现更优，拓展了资源受限贝叶斯优化的研究边界。
2024-05-14 cs.LG stat.ML
Constrained Bayesian Optimization with Noisy Experiments
Facebook（脸书）
随机实验是评估现实世界系统变化影响的黄金标准。这些测试中的数据可能难以收集，并且结果可能具有高方差，从而导致潜在的大测量误差。贝叶斯优化是一种有效优化多个连续参数的有前途的技术，但现有的方法在噪声水平高时性能下降，限制了其对许多随机实验的适用性。我们推导出一个表达式的预期改善下贪婪批量优化噪声观测和噪声约束，并开发一个准蒙特卡罗近似，使其能够有效地优化。合成函数的仿真结果表明，优化性能的噪声，约束问题优于现有的方法。我们进一步证明了该方法的有效性，在Facebook进行了两个现实世界的实验：优化排名系统，优化服务器编译器标志。
2018-06-26 cs.LG stat.AP stat.ML
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine（加利福尼亚大学欧文分校）
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题，提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则，在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题，提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数，在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK（香港中文大学）；Shenzhen University（深圳大学）；University of Chicago（芝加哥大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对约束多目标优化问题，提出COMBOO算法，结合乐观约束估计与水平集主动学习，实现高效可行区域探索，并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks
Disaster Prevention Research Institute, Kyoto University（京都大学灾害预防研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出功能先验方法，用于贝叶斯偏微分方程约束反演，通过结合物理信息神经网络，引入功能先验以提高反演精度，并展示了两种互补方法：FPI-BPINN和fParVI-PINN，分别在权重空间和函数空间进行贝叶斯推断。
2026-08-14 cs.LG physics.comp-ph physics.geo-ph
Process-constrained batch Bayesian approaches for yield optimization in multi-reactor systems
Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CNRS（法国国家科学研究中心）；Univ. Artois（阿图瓦大学）
本文提出过程约束批量贝叶斯优化方法 pc-BO-TS 及其层级扩展 hpc-BO-TS，用于解决多反应器系统产率优化中的层级约束问题，并在合成案例和 REALCAT 高通量实验数据上验证其优于现有方法。
2024-08-05 cs.LG
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）
本文讨论了当输入空间的大部分是不可行的（即，违反约束）。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模，多个目标和大量的约束条件，以及一小部分可行的输入设计，只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型，并在每次迭代中选择候选输入进行评估，以最大限度地提高所获得的关于最优约束Pareto前沿的信息，同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University（得克萨斯农工大学）；Purdue University（普渡大学）
本文研究贝叶斯框架下机会约束随机优化问题，证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率，同时证明问题的凸可行性，并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions
Keio University（庆应义塾大学）
针对实验资源受限下批量贝叶斯优化无法应用、顺序方法耗时过长的问题，本研究提出流水线贝叶斯优化（PipeBO），通过重叠实验进程实现并行化，在24个基准函数中的20个上平均减少约44%处理时间，提升资源受限场景下的优化效率。
2024-12-05 cs.LG
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Medpace Inc.（Medpace公司）；GIW Industries Inc.（GIW工业公司）
高保真的复杂工程模拟具有高度的预测性，但计算成本也很高，通常需要大量的计算工作。在高性能集群（HPC）架构中，通常通过并行来减轻计算负担。在本文中，异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上，与预算的计算资源，其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先，提高了贝叶斯优化的效率，其中以异步方式大规模并行地评估多个输入位置，以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高，这样当每个输入完成时，就可以查询另一个输入，而不必等待整个批处理完成。第二，该方法可以处理已知和未知的约束。第三，该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划，其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B，它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示，其中第一个是基于有限元分析（FEA），第二个是基于计算流体动力学（CFD）模拟。
2021-02-04 cs.LG stat.CO stat.ML
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
提出统一信息论框架，通过变分下界衡量信息增益，联合优化多保真多目标贝叶斯优化中的位置与保真度选择，无需启发式处理约束，实验验证其有效性。
2026-10-08 cs.LG
Constrained Weighted Bayesian Bootstrap
Duke University（杜克大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出约束加权贝叶斯自助法，在温和假设下将加权贝叶斯自助法扩展到一般约束后验分布采样，通过凸优化工具实现快速算法，并证明其渐近分布协方差与有效估计量受限最大似然估计匹配。
2026-06-02 stat.CO stat.ME
Robust probabilistic inference via a constrained transport metric
Texas A&M University（德州农工大学）
灵活的贝叶斯模型通常是使用具有许多通常无法解释的参数的大型参数模型的限制来构建的。在这篇文章中，我们提供了一种新的替代方法，通过构建一个指数倾斜的经验似然精心设计，集中在一个参数家庭的选择相对于一个新的变量的Wasserstein度量，然后结合模型参数的先验分布，以获得鲁棒后验分布。所提出的方法在各种各样的鲁棒推理问题中找到了应用，在这些问题中，我们打算在存在离群值的情况下对与中心分布相关的参数进行推理。我们提出的运输度量具有很大的计算简单性，利用Sinkhorn正则化离散最优运输问题，并具有内在的并行化。我们展示了优越的性能，我们的方法相比，国家的最先进的强大的贝叶斯推断方法。我们还证明了我们的方法与一个合适的渐近框架下的非参数贝叶斯公式的等价性，证明了它的灵活性。约束熵最大化，坐在我们的似然公式的心脏，发现其效用超出强大的贝叶斯推断;一个值得信赖的机器学习应用程序中提供的说明。
2023-03-17 cs.LG stat.ME stat.ML
Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization
Berlin University of Applied Sciences（柏林应用科学大学）
本研究提出用约束贝叶斯优化（CBO）在保证机器学习模型泛化性能达标的前提下，最小化模型训练能耗，经回归和分类任务验证可有效降低能耗。
2026-08-20 cs.AI cs.LG
MF-SCBO : Multi-fidelity Scalable Constrained Bayesian Optimization
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对高维黑箱约束优化中多保真度与高维性、约束及非嵌套采样难以兼顾的问题，提出MF-SCBO方法，实验表明其收敛性优于单保真度SCBO及其他多保真度方法。
2026-09-25 cs.LG math.OC
A Constrained Multi-Fidelity Bayesian Optimization Method
提出约束多保真度贝叶斯优化（CMFBO）方法，设计无需可行初始样本且具闭式表达的新型采集函数，有效解决约束优化可行域识别难题，并在合成问题与ICF及大电流联合设计等工程应用中验证有效性。
2025-10-13 cs.NA math.NA stat.ML
A Bayesian approach to constrained single- and multi-objective optimization
这篇文章讨论了受多个不等式约束的无导数（单目标或多目标）优化问题。假设目标函数和约束函数都是平滑的、非线性的，并且评估成本很高。因此，可以用于执行优化的评估的数量非常有限，如在复杂的工业设计优化问题中。我们提出的方法，以克服这一困难有其根源的贝叶斯和多目标优化文献。更具体地说，一个扩展的支配规则被用来处理目标和约束在一个统一的方式，并提出了相应的期望超体积改进采样准则。这个新的标准是自然适应搜索的可行点时，没有可用的，并减少到现有的贝叶斯抽样标准-经典的预期改善（EI）标准和它的一些约束/多目标扩展-只要至少有一个可行点。采用序贯蒙特卡罗技术对判据进行了计算和优化。特别是，一个算法类似的子集模拟方法，这是众所周知的结构可靠性领域，用于估计的标准。该方法，我们称之为BMOO（贝叶斯多目标优化），比较国家的最先进的单目标和多目标约束优化算法。
2016-05-09 stat.CO stat.ML
Two-step Lookahead Bayesian Optimization with Inequality Constraints
Cornell University（康奈尔大学）
计算高效的非近视贝叶斯优化（BO）的最新进展，提高了查询效率比传统的近视方法，如预期的改善，而只有适度增加计算成本。然而，这些进展在很大程度上局限于无约束优化。对于约束优化，现有的几个非近视BO方法需要大量的计算。例如，一种现有的非近视约束BO方法[Lam和Willcox，2017]依赖于蒙特卡罗卷展获取函数的计算成本高、不可靠、无蛮力导数的优化。在无约束设置中使用重新参数化技巧以更有效地基于导数优化非近视采集函数的方法，如样本平均近似和无穷小扰动分析，不扩展：约束在采样采集函数表面中引入不连续性，从而阻碍其优化。此外，我们认为，在约束问题中，非近视更为重要，因为对违反约束的恐惧会使近视方法远离对可行区域和不可行区域之间的边界进行采样，从而减缓发现具有严格约束的最优解。在本文中，我们提出了一个计算效率高的两步前瞻约束贝叶斯优化采集功能（2-OPT-C）支持顺序和批量设置。为了使快速采集功能优化，我们开发了一种新的似然比为基础的无偏估计量的梯度的两步最佳采集功能，不使用重新参数化技巧。在数值实验中，2-OPT-C通常比以前的方法提高查询效率2倍或更多，在某些情况下提高10倍或更多。
2021-12-06 cs.AI cs.LG stat.ML
Portfolio-Based Constrained Multi-Objective Bayesian Optimization for Materials Design
Texas A&M University（德克萨斯农工大学）
本研究将材料设计中的约束多目标贝叶斯优化问题，通过组合采集函数并采用UCB-Bandit和LLM驱动的多智能体控制器进行自适应策略选择，在模拟实验中优于固定策略，更适合约束材料科学问题。
2026-09-18 cond-mat.mtrl-sci stat.ML
A sampling criterion for constrained Bayesian optimization with uncertainties
Safran Tech（赛峰科技）；Ecole Centrale de Lyon（里昂中央理工学院）；IFP Energies Nouvelles（法国石油与新能源研究院）；CNRS（法国国家科学研究中心）；Mines St-Etienne（圣艾蒂安国立高等矿业学校）；Université de Lyon（里昂大学）；Institut Camille Jordan（卡米尔·若尔当研究所）
针对输入不确定性下的机会约束优化，提出一种在受控—非受控联合输入空间中兼顾目标平均改进与约束可靠性的贝叶斯优化获取准则，并通过解析计算和测试函数实验验证其效率。
2023-12-11 cs.LG math.OC stat.ML
Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints
Washington State University（华盛顿州立大学）
我们考虑约束多目标（MO）黑盒优化问题，使用昂贵的功能评估，其目标是近似的真正的Pareto集的解决方案，满足一组约束，同时最小化的功能评估的数量。我们提出了一个新的框架命名为不确定性感知搜索框架多目标优化约束（USeMOC），有效地选择输入序列进行评估，以解决这个问题。USeMOC的选择方法包括通过真函数的代理模型来确定最有希望的候选者并基于不确定性度量来挑选最佳候选者，从而解决廉价的约束MO优化问题。我们应用这个框架来优化设计的多输出开关电容电压调节器，通过昂贵的模拟。我们的实验结果表明，USeMOC是能够实现超过90%的数量减少所需的模拟发现优化的电路。
2020-09-01 cs.LG stat.ML
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候，统计学家可能对感兴趣的数据分布有额外的信息信念，例如，它的均值或子集分量，不是非参数先验的一部分，甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中，我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型，基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下，包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
Constrained Bayesian Optimization with Adaptive Active Learning of Unknown Constraints
The University of Chicago（芝加哥大学）
本文提出一种自适应主动学习的约束贝叶斯优化框架，通过交叉目标和约束的高置信度感兴趣区域并设计平衡采集函数，实现高效优化并给出理论保证。
2023-10-12 cs.AI cs.LG
srMO-BO-3GP: A sequential regularized multi-objective constrained Bayesian optimization for design applications
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Georgia Institute of Technology（佐治亚理工学院）
贝叶斯优化（BO）是一种高效、灵活的全局优化框架，适用于非常广泛的工程应用。为了充分利用经典BO框架的能力，人们提出了许多扩展，包括多目标、多保真度、并行化、隐变量模型等，以改善经典BO框架的局限性。在这项工作中，我们提出了一种新的多目标（MO）扩展，称为srMO-BO-3GP，解决MO优化问题的顺序设置。三个不同的高斯过程（GP）堆叠在一起，其中每个GP被分配不同的任务：第一个GP用于近似单目标函数，第二个GP用于学习未知约束，第三个GP用于学习不确定的帕累托边界。在每次迭代中，采用MO增广的Tchebycheff函数将MO转换为单目标，并使用正则化脊项进行扩展，其中正则化被引入以平滑单目标函数。最后，我们将第三GP与经典的BO框架相结合，通过开发和探索获取函数来促进帕累托边界的丰富性和多样性。所提出的框架是使用几个数值基准函数，以及热机械有限元模型倒装芯片封装设计优化证明。
2021-08-31 cs.LG cs.NE stat.ML
Functional BART with Shape Priors: A Bayesian Tree Approach to Constrained Functional Regression
The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校）；Beijing Technology and Business University（北京工商大学）；Beijing Normal-Hong Kong Baptist University（香港中文大学（深圳））
提出函数BART（FBART），一种用于函数回归的贝叶斯树方法，支持形状约束，并具有后验收敛速率保证，在模拟和真实数据上优于现有方法。
2026-09-17 stat.ME stat.ML
Distributed Thompson sampling under constrained communication
Harvard School of Engineering and Applied Sciences（哈佛工程与应用科学学院）
本文提出一种基于高斯过程的分布式汤普森采样方法，用于通信图受限的多智能体贝叶斯优化，并证明只要通信图连通，其贝叶斯遗憾上界在时间上优于顺序单智能体方法。
2025-01-01 cs.LG cs.SY eess.SY
Distance-to-Set Priors and Constrained Bayesian Inference
约束学习在许多统计任务中普遍存在。最近的工作提出了距离设置处罚，以获得估计一般的约束条件下，可以指定为集，但重点是获得点估计，不带有相应的措施的不确定性。为了弥补这一点，我们从贝叶斯透镜接近距离集正则化。我们考虑一类光滑的距离设置先验，表明他们产生定义良好的后验量化的不确定性约束学习问题。我们讨论的关系和优势比以前的工作贝叶斯约束放松。此外，我们证明了我们的方法是在信息几何意义下的有限惩罚参数$ρ$，并享有良好的统计特性时，$ρ\to\infty$。该方法的目的是有效地执行基于梯度的MCMC采样器内，如一套模拟和真实数据的应用程序。
2022-10-21 stat.ME
Network Cascade Vulnerability using Constrained Bayesian Optimization
Argonne National Laboratory（阿贡国家实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对电网级联攻击影响常被忽视的问题，提出基于贝叶斯优化的黑盒方法寻找最大化级联破坏的保护设置，实验颠覆传统认知并发现资源约束下仍可实现严重级联攻击。
2023-10-05 cs.LG cs.SI math.OC
Probabilistic Numerical Methods for PDE-constrained Bayesian Inverse Problems
本文发展了概率描述偏微分方程数值解中离散误差的无网格方法。这种结构使贝叶斯逆问题的解决方案，同时考虑到正向问题的离散化的影响。特别地，这使得统计推断在存在显著求解器误差的情况下更加保守。理论结果描述的收敛速度的后验的正问题和反问题。该方法是一个具有挑战性的反问题与非线性正演模型进行测试。
2017-01-15 cs.NA math.NA math.ST
Constrained Bayesian Optimization Using a Lagrange Multiplier Applied to Power Transistor Design
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas Instruments Inc.（德州仪器公司）
本文提出基于拉格朗日乘子的约束贝叶斯优化算法，以拉格朗日函数为自适应目标，自动设计满足目标击穿电压并优化FOM的LDMOS晶体管。
2023-08-18 cs.LG cs.SY eess.SY
An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble
Fudan University（复旦大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
贝叶斯优化是一种很有前途的模拟电路综合方法。然而，贝叶斯优化框架的顺序性显著限制了其充分利用现实世界计算资源的能力。在本文中，我们提出了一个有效的并行贝叶斯优化算法，通过多目标获取函数Entrial（MACE），以进一步加快优化过程。通过从改进概率（PI）、预期改进（EI）和置信下限（LCB）的Pareto前沿采样查询点，我们结合了最先进的采集函数的优点，实现了无约束优化问题的探索和利用之间的微妙权衡。在此批量设计的基础上，进一步调整了约束优化问题的算法。通过将优化过程分为两个阶段，首先专注于寻找初始可行点，我们设法获得更多关于有效区域的信息，并可以更好地避免在不可行区域周围进行采样。在获得第一个可行点后，我们通过在捕获函数集成中引入一个特殊的惩罚项来偏向可行域。实验结果定量地表明，我们提出的算法可以减少高达74倍的整体模拟时间相比，差分进化（DE）的无约束优化问题时，批量大小为15。对于约束优化问题，我们提出的算法可以加快优化过程的15倍相比，加权期望改进贝叶斯优化（WEIBO）的方法，当批量大小为15。
2021-06-28 cs.LG cs.SY eess.SY
Efficient Bayesian shape-restricted function estimation with constrained Gaussian process priors
本文重新审视贝叶斯形状限制推理的问题，在最近开发的近似高斯过程，承认一个等价的制定的形状约束的基础系数。我们提出了一种策略，以有效地从所产生的约束后采样吸收的可能性和使用循环嵌入技术的约束的平滑松弛，从无约束的修改前。我们还特别注意减轻由更新高斯过程的协方差核内的超参数引起的计算复杂性。所开发的算法被证明是准确和高效的模拟和真实数据的例子。
2019-02-13 stat.ME
Sampling constrained probability distributions using Spherical Augmentation
具有约束概率分布的统计模型在机器学习中非常丰富。一些示例包括具有范数约束的回归模型（例如，Lasso）、probit、许多copula模型和潜在狄利克雷分配（LDA）。贝叶斯推断涉及概率分布局限于约束域可能是非常具有挑战性的常用的抽样算法。在本文中，我们提出了一种新的增强技术，通过将约束域映射到增强空间中的球体来处理各种约束。通过在这个球体的表面上自由移动，采样算法隐式地处理约束，并生成在映射回原始空间时保持在边界内的建议。我们提出的方法，称为{球面增强}，提供了一个数学上自然和计算效率的框架，从约束概率分布采样。我们展示了我们的方法的优势，国家的最先进的采样算法，如精确的哈密顿蒙特卡罗，使用几个例子，包括截断高斯分布，贝叶斯套索，贝叶斯桥回归，重建量化平稳高斯过程，和LDA主题建模。
2015-06-19 stat.CO stat.ML
Objective Bayesian Comparison of Order-Constrained Models in Contingency Tables
在社会和生物医学科学中，列联表中的测试通常涉及对单元概率参数的顺序限制。我们开发了客观的贝叶斯方法，用于在产品二项或多项抽样下观察时的顺序约束检验和模型比较。具体来说，我们考虑测试的单调顺序的参数对所有参数的平等。我们的策略以统一的方式结合了内在先验方法和包含先验方法，以计算贝叶斯因子和后验模型概率。我们的方法的性能进行了评估几个模拟研究和真实的数据集。
2018-10-23 stat.ME
Safety-Aware Robot Damage Recovery Using Constrained Bayesian Optimization and Simulated Priors
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Patras（帕特雷大学）
最近推出的智能试错（IT&E）算法表明，机器人可以在几次试验中适应损坏。该算法的成功依赖于两个组成部分：通过模拟与完整的机器人，和贝叶斯优化（BO），在线操作，对损坏的机器人获得的先验知识。虽然IT&E导致快速的损坏恢复，但它不包含任何防止机器人尝试有害行为的安全约束。在这项工作中，我们解决了这个限制，用一个受约束的BO过程取代BO组件。我们评估我们的方法在一个模拟损坏的人形机器人，需要尽可能快地爬行，同时尽可能少地进行不安全的试验。我们比较我们的新的“安全意识IT&E”算法IT&E和IT&E的多目标版本中的安全约束作为单独的目标处理。我们的结果表明，我们的算法优于其他方法，无论是在安全区域内的爬行速度和不安全的试验次数。
2016-12-02 cs.LG cs.RO
The Soft Multivariate Truncated Normal Distribution with Applications to Bayesian Constrained Estimation
我们提出了一种新的分布，称为软tMVN分布，它提供了一个光滑的近似截断多元正态分布（tMVN）与线性约束。提出了一种高效的分块Gibbs采样器，用于对软tMVN分布进行高维采样。我们提供的软tMVN的逼近能力的理论支持，并提供进一步的经验证据。软tMVN分布可用于从具有线性约束的多变量截断正态分布近似模拟，或其本身作为形状约束问题中的先验。
2019-09-02 stat.CO
Constrained Preferential Bayesian Optimization and Its Application in Banner Ad Design
Hakuhodo DY Holdings Inc.（Hakuhodo DY控股公司）；National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院）
针对现有偏好贝叶斯优化无法处理不等式约束的问题，提出带全新采集函数的约束偏好贝叶斯优化方法，经技术验证有效，还应用于横幅广告设计并通过专业设计师用户研究证明其价值。
2025-05-16 cs.AI cs.GR cs.HC
