Global and Preference-based Optimization with Mixed Variables using Piecewise Affine Surrogates
IMT School for Advanced Studies Lucca（卢cca高等研究院）
针对混合变量黑箱优化评估成本高、约束复杂的问题，提出基于分段仿射代理模型的全局及偏好优化算法，通过混合整数规划搜索，在少量评估下即可取得优于或媲美现有方法的效果。
2024-12-11 cs.LG math.OC
Black-box Mixed-Variable Optimisation using a Surrogate Model that Satisfies Integer Constraints
Delft University of Technology（代尔夫特理工大学）
在工程和计算机科学中的一个挑战性问题是最小化一个函数，对于该函数，我们没有可用的数学公式，这是昂贵的评估，并且包含连续和整数变量，例如在自动算法配置中。基于代理的算法非常适合这类问题，但大多数现有技术的设计只考虑连续或离散变量。MVRSM（Mixed-Variable ReLU-based Surrogate Modelling）是一种基于代理的算法，它使用整流线性单元的线性组合，以（局部）最优值满足整数约束的方式定义。该方法在多达238个连续和整数变量的几个合成基准测试中表现优于现有技术，并在两个现实基准测试中实现了有竞争力的性能：XGBoost超参数调整和静电放电器优化。
2020-09-15 cs.LG math.OC stat.ML
SMT 2.0: A Surrogate Modeling Toolbox with a focus on Hierarchical and Mixed Variables Gaussian Processes
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；ISAE-SUPAERO（高等航空航天学院）；Polytechnique Montréal（蒙特利尔理工学院）；German Aerospace Center (DLR)（德国航空航天中心）；University of California San Diego（加州大学圣地亚哥分校）；ICA（高等航空航天学院）；INSA（国立应用科学学院）；CNRS（法国国家科学研究中心）；MINES ALBI（阿尔比矿业学校）；UPS（图卢兹第三大学）；University of Michigan（密歇根大学）
本文介绍 SMT 2.0 版本，通过新增混合变量与层次变量代理模型、扩展采样方法、支持噪声与多保真度数据以及 Kriging 导数计算，成为首个支持层次与混合输入的开源代理建模工具箱。
2024-01-23 cs.LG cs.MS math.OC
ReLU Surrogates in Mixed-Integer MPC for Irrigation Scheduling
针对混合整数MPC灌溉调度计算复杂问题，提出用ReLU替代模型描述土壤水分动态，将问题转化为混合整数二次规划，大幅降低求解时间（最高99.5%）且性能与LSTM相当，优于触发式方法。
2024-09-18 cs.SY eess.SY math.OC
MATSuMoTo: The MATLAB Surrogate Model Toolbox For Computationally Expensive Black-Box Global Optimization Problems
MATSuMoTo是MATLAB的替代模型，用于计算量大、黑箱、全局最优化问题，这些问题可能具有连续、混合整数或纯整数变量。由于目标函数的黑箱性质，导数不可用。因此，代理模型被用作昂贵的目标函数的计算上便宜的近似，以指导搜索改进的解决方案。由于进行单个函数求值的计算开销，目标是在非常少的昂贵求值中找到最优解。昂贵的黑盒函数的多模态性需要一种能够在局部和全局进行搜索的算法。MatsuMoTo能够应对这些挑战。MATSUMOTO提供替代模型和替代模型混合物、初始试验设计策略和取样策略的各种选择。MATSUMOTO能够利用MATLAB的并行计算能力并行地进行多个函数的计算。
2014-04-16 math.OC
Robust Losses for Decision-Focused Learning
Delft University of Technology（代尔夫特理工大学）
针对决策聚焦学习中经验后悔值作为期望后悔值替代不准确的问题，评估了不确定性影响并提出三种鲁棒损失函数，有效改善了测试样本经验后悔值且不增加计算时间。
2024-07-27 cs.LG math.OC
DCEmbed: Scalable Optimization over Neural Surrogates
Stanford University（斯坦福大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
提出 DCEmbed 方法，利用神经网络的差凸表示避免二进制变量，通过迭代凸凹过程高效求解嵌入神经代理的优化问题，在多个实验中显著加速收敛并提升解质量。
2026-09-29 cs.LG math.OC
Surrogate "Level-Based" Lagrangian Relaxation for Mixed-Integer Linear Programming
混合线性规划（MILP）在一系列科学学科和对社会具有战略重要性的领域中发挥着重要作用。MILP问题，然而，遭受组合的复杂性。由于整数决策变量，随着问题大小的增加，可能的解决方案的数量超线性地增加，从而导致计算工作量的急剧增加。为了有效地解决MILP问题，“基于价格”的分解和协调方法开发利用1。分解后复杂度的超线性降低; 2.几何收敛潜力固有的波利亚克的步进公式，以最快的协调可能获得近最优解的计算效率的方式。与以前所有通过调整超参数来精确地设置步长的方法不同，获得步长的关键新方法是纯粹基于决策的：解决了一个新的“辅助”约束满足问题，从中推断出适当的步长。对大规模广义指派问题（GAP）的测试结果表明，对于大多数情况下，得到了可证明的最优解。对于随机作业车间调度以及制药调度，计算结果表明，两个数量级的加速相比，分支和切割（B&C）。这种新方法对有效解决各种科学领域中出现的复杂混合整数规划（MIP）问题具有重大影响。
2023-01-04 cs.DM math.CO math.OC
Decision-Focused Learning with Directional Gradients
USC Marshall School of Business（南加州大学马歇尔商学院）；CUNY Baruch Zicklin School of Business（纽约城市大学巴鲁克学院齐克林商学院）
该研究提出一类扰动梯度（PG）决策感知代理损失，通过零阶梯度近似即插即用目标的方向导数，具备利普希茨连续性且近似误差随样本量趋于零，在模型误设场景下也能渐近得到最优策略，性能优于现有方案。
2024-10-30 cs.LG math.OC stat.ML
A Surrogate Objective Framework for Prediction+Optimization with Soft Constraints
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
预测+优化是一种常见的现实范例，我们必须在解决优化问题之前预测问题参数。然而，训练预测模型的标准通常与下游优化问题的目标不一致。最近，以决策为中心的预测方法，如SPO+和直接优化，已被提出来填补这一空白。但是，它们不能直接处理软约束，而许多实际目标都需要$max$运算符。本文提出了一种新的解析可微代理目标框架，用于求解具有软线性约束和非负硬约束的线性和半定负二次规划问题。该框架给出了约束乘数的理论界，并导出了关于预测参数的封闭形式解，从而导出了问题中任何变量的梯度。我们评估我们的方法在三个应用程序中扩展软约束：合成线性规划，投资组合优化，资源配置，证明我们的方法优于传统的两阶段方法和其他决策为重点的方法。
2021-11-22 cs.AI cs.LG math.OC
A general mathematical framework for constrained mixed-variable blackbox optimization problems with meta and categorical variables
在黑箱优化的背景下，提出了一种建模约束混合变量最优化问题的数学框架。该框架引入了一个新的符号，并允许解决方案的战略。符号框架允许Meta和分类变量被明确和有效地建模，这有利于解决这些问题。新术语Meta变量用于描述影响哪些变量是作用或非作用的变量：Meta变量可能影响变量和约束的数量。求解策略的灵活性支持主要的黑盒混合变量优化方法：直接搜索法和基于代理的方法（贝叶斯优化）。符号系统和解决方案的策略，说明通过一个例子的超参数最优化问题从机器学习社区。
2022-04-02 math.OC
Neural Embedded Mixed-Integer Optimization for Location-Routing Problems
Pennsylvania State University（宾夕法尼亚州立大学）；KAIST（韩国科学技术院）；Omelet, Inc.（Omelet公司）
通过神经网络嵌入混合整数优化，高效解决具有容量限制的定位-路由问题，提升计算效率并改进解决方案质量。
2026-07-28 math.OC
Near-Optimal Mixed Strategy for Zero-Sum Linear-Quadratic Differential Games
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（教育部系统控制与信息处理重点实验室）
针对零和线性二次型微分博弈，通过构造代理随机微分博弈并匹配混合策略的前两阶矩，提出了一种解析的近似最优混合策略合成方法，并证明了性能误差为O(π̄^{1/2})。
2026-05-29 cs.SY eess.SY math.OC
PySCIPOpt-ML: Embedding Trained Machine Learning Models into Mixed-Integer Programs
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）；Gurobi GmbH（古洛比有限公司）
本文提出PySCIPOpt-ML，一个开源工具，可自动将训练好的机器学习模型嵌入混合整数规划，并引入SurrogateLIB库及实验结果，以简化ML约束的集成。
2024-05-23 cs.AI math.OC
Bayesian optimization for mixed variables using an adaptive dimension reduction process: applications to aircraft design
ONERA（法国航空航天研究院）；ISAE-SUPAERO（法国高等航空航天学院）；MINES ALBI（阿尔比矿业学院）；INSA（国立应用科学学院）；CNRS（法国国家科学研究中心）
本文针对混合变量约束贝叶斯优化中超参数过多的问题，提出基于偏最小二乘的自适应降维代理建模方法，并在飞机设计应用中相比遗传算法取得显著改进。
2025-04-11 cs.LG math.OC stat.ME
Modeling Design and Control Problems Involving Neural Network Surrogates
University of California at Los Angeles（加利福尼亚大学洛杉矶分校）；Argonne National Laboratory（阿贡国家实验室）
我们考虑非线性最优化问题，涉及代理模型表示的神经网络。我们首先展示了如何直接嵌入神经网络评估到最优化模型，突出了这种方法的困难，可以防止收敛，然后表征平稳的这种模型。然后，我们在具有ReLU激活的前馈神经网络的特定情况下提出了这些问题的两种替代形式：作为混合整数最优化问题和作为具有互补约束的数学规划。对于后者的制定，我们证明了这个问题的平稳性在一个点对应于平稳的嵌入式制定。这些配方可以解决国家的最先进的最优化方法，我们展示了如何获得良好的初始可行解这些方法。我们比较了我们的配方在燃烧发动机的设计和控制中产生的三个实际应用中，在分类器网络上产生对抗性攻击，以及在油井网络中确定最佳流量。
2021-11-20 cs.LG math.OC
A mixed-categorical correlation kernel for Gaussian process
ONERA/DTIS, Université de Toulouse（法国国家航空航天研究院/信息处理与系统部，图卢兹大学）；ISAE-SUPAERO, Université de Toulouse（法国国立高等航空航天学院，图卢兹大学）；Polytechnique Montréal（蒙特利尔理工学院）；Institut Clément Ader (ICA), Université de Toulouse, ISAE-SUPAERO, Mines Albi, UPS, INSA, CNRS（克莱蒙·阿德尔研究所，图卢兹大学，法国国立高等航空航天学院，阿尔比矿业学院，图卢兹第三大学，法国国立应用科学学院，法国国家科学研究中心）
针对混合分类变量的 GP 代理建模问题，提出一种扩展连续指数核的相关核，统一并推广连续松弛与 Gower 距离 GP，在解析和工程问题上取得更优似然与残差。
2024-01-23 cs.LG math.OC stat.ML
Constrained Discrete Black-Box Optimization using Mixed-Integer Programming
离散黑箱最优化问题对于基于模型的优化（MBO）算法（例如贝叶斯优化）来说是具有挑战性的，这是由于搜索空间的大小和需要满足组合约束。特别地，这些方法需要在内部循环中重复地求解复杂的离散全局最优化问题，其中流行的启发式内部循环求解器引入近似并且难以适应组合约束。作为回应，我们提出了NN+MILP，一个通用的离散MBO框架，使用分段线性神经网络作为代理模型和混合整数线性规划（MILP）优化采集功能。MILP为特定领域的约束提供了最优性保证和通用的声明语言。我们测试我们的方法在一系列无约束和约束的问题，包括DNA结合，约束二进制二次问题的MINLPLib基准，和NAS-Bench-101神经架构搜索基准。NN+MILP超越或匹配黑盒算法的性能，针对手头的约束条件定制，仅使用标准软件包和硬件即可在几分钟内运行全局优化的采集问题。
2022-06-14 math.OC
On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization
POSTECH（浦项科技大学）；BARO AI
基于模型的序贯优化通过构造具有评价历史的代理模型来顺序地选择候选点，以解决黑盒优化问题。高斯过程（GP）回归是一个流行的选择作为代理模型，因为它的能力，分析计算预测的不确定性。另一方面，随机化树的集合是另一种选择，并且由于其可扩展性和易于处理连续/离散混合变量而具有优于GP的实际优点。在本文中，我们重新审视各种合奏的随机树的预测不确定性估计的角度来研究他们的行为。然后，我们提出了一种新的方法来构建一个合奏的随机树，被称为BwO森林，装袋与过采样被用来构建自举样本，用于建立随机树与随机分裂。实验结果表明，在各种情况下，BwO森林的有效性和良好的性能比现有的基于树的模型。
2022-02-22 cs.LG math.OC stat.ML
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates
J.P. Morgan AI Research（摩根大通AI研究）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文提出用强化学习策略替代割生成中的 NP-hard 环节，在保持最优性保证的同时，将 Benders decomposition 与迭代损失近似的平均收敛速度最高提升 45%。
2024-02-27 cs.AI cs.LG math.OC
Learning Deterministic Surrogates for Robust Convex QCQPs
University of Edinburgh（爱丁堡大学）
提出双隐层模型，通过求解确定性代理和评估最坏情况，实现不确定凸QCQP的鲁棒决策聚焦学习，并以松弛处理不确定约束，实验验证其正则化有效性。
2023-12-19 cs.AI cs.LG math.OC
On leveraging constrained smooth additive regression models for global optimization
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；École Polytechnique, Institut Polytechnique de Paris（巴黎高等理工学院，巴黎理工学院）
提出MISSOC算法，通过B样条光滑加性回归模型近似混合整数非线性规划中的复杂函数，并融入形状约束，构建数据与知识驱动的代理模型，以提升求解效率和质量。
2026-09-09 math.OC
NomadBBO: A direct-search framework for constrained mixed-variable blackbox optimization in Python
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（GERAD 与蒙特利尔理工学院数学与工业工程系）
NomadBBO是一个Python库，基于CatADS直接搜索方法，扩展自适应直接搜索至混合变量问题，通过渐进障碍处理约束，集成Nomad后端，在Cat-Suite基准上验证了性能。
2026-09-18 math.OC
Aggregated Column Generation for Two-Stage Stochastic Mixed-Integer Programs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
本文针对两阶段随机混合整数规划，提出聚合列生成框架，通过分组替换非预期约束减小问题规模，开发两种策略恢复标准重表述界并证明收敛性，在基准问题上验证了计算性能。
2026-10-15 math.OC
Relaxation-Informed Training of Neural Network Surrogate Models
Imperial College London（帝国理工学院）
本文提出基于松弛信息的神经网络代理模型训练方法，通过引入新的正则化器来优化混合整数线性规划的求解效率，实验表明可显著提升求解速度。
2026-04-24 cs.LG math.OC
Differentiable Distributionally Robust Optimization Layers
Shanghai Jiao Tong University（上海交通大学）；East China University of Science and Technology（华东理工大学）
针对分布鲁棒优化（DRO）难以作为层嵌入学习流水线的问题，提出带参数化二阶锥歧义集的通用混合整数可微DRO层，采用双视角方法与能量代理模型实现求导，验证了渐近收敛性，还构建了决策中心学习流水线并开展对比实验。
2024-06-24 cs.AI cs.LG cs.SY
Input Convex Neural Network as a Surrogate in Stability-Constrained Optimization for IBR-dominated Power Systems
Imperial College London（帝国理工学院）；Tsinghua University（清华大学）；Wuhan University（武汉大学）
针对输入凸神经网络在电力系统稳定性约束优化中的两种常见公式化缺陷，提出精确LP-based epigraph重构、全局保证的外逼近方案及可行性保持的内逼近方案，并在IEEE 14/118节点算例验证。
2026-06-26 cs.SY eess.SY math.OC
Feature-Based Interpretable Surrogates for Optimization
Business Decisions and Data Science, University of Passau（巴伐利亚大学）；Analytics & Mixed-Integer Optimization, University of Erlangen–Nuremberg（埃尔兰根-纽伦堡大学）；Interactive Optimization and Learning Laboratory, Zuse Institute Berlin（柏林Zuse研究所）
本文提出基于特征的可解释替代方案，通过混合整数规划和启发式方法提升优化过程的可解释性，并通过实验验证了其在解决方案质量上的改进。
2026-02-12 cs.LG math.OC
Mixed-Integer Optimisation of Graph Neural Networks for Computer-Aided Molecular Design
本文针对计算机辅助分子设计，提出将ReLU图卷积网络和GraphSAGE模型形式化为混合整数线性规划，实现嵌入已训练GNN的全局最优优化，并通过分子沸点设计案例验证其有效性。
2023-12-02 cs.NE math.OC
OPO: Making Decision-Focused Data Acquisition Decisions
School of Mathematics University of Edinburgh（数学学院爱丁堡大学）
本文提出OPO模型，利用可微优化整合数据采集与决策，在最短路径问题中通过学习替代线性目标函数制定无人机侦察策略，实验证明优于随机搜索。
2025-04-21 cs.AI math.OC
On the Universal Transformation of Data-Driven Models to Control Systems
Paderborn University（帕德博恩大学）
数据科学和机器学习的进步使得非线性动力系统的建模和仿真有了显著的改进。如今，人们可以对天气、疾病模型或股票市场等复杂系统进行准确预测。预测方法通常被宣传为对控制有用，但由于系统复杂性较高，需要更大的数据集和建模工作量增加，因此具体细节经常没有得到回答。换句话说，自治系统的代理建模比控制系统的代理建模容易得多。在本文中，我们提出的框架EQUISIModO（量化仿真建模优化）任意预测模型转化为控制系统，从而使巨大的进步，数据驱动的代理建模访问控制。我们的主要贡献是，我们的贸易控制效率的动力学-这会产生混合整数控制问题-获得任意的，随时可用的自主代理建模技术。然后，我们恢复的复杂性，利用最近的结果，从混合整数优化的原始问题。的优点是线性增加的数据要求相对于控制维度，性能保证，完全依赖于使用中的预测模型的准确性，并在控制理论解决复杂的控制问题的先验知识要求很少。
2022-08-28 cs.LG cs.SY eess.SY
BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning
Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay（工业工程实验室，中央苏佩莱克学院，巴黎萨克雷大学）
本文提出首个基于PAC-Bayes理论的贝叶斯在线上下文优化框架，通过吉布斯后验实现有界损失下的 $\mathcal{O}(\sqrt{T})$ 坏境，并利用顺序马尔可夫链采样器处理不可微问题。
2026-09-24 math.OC stat.ML
Decision-Focused Federated Learning Under Heterogeneous Objectives and Constraints
Auburn University（亚伯拉罕大学）
本文研究了在异质目标和约束下聚焦决策的联邦学习，通过SPO+替代损失推导出异质性界限，展示了在强凸可行集下联邦学习的鲁棒性，并通过实验验证了其有效性。
2026-05-16 cs.LG math.OC stat.ML
Bayesian Optimization For Multi-Objective Mixed-Variable Problems
University of California, Berkeley（加州大学伯克利分校）
优化多个非优先目标的混合变量，昂贵的黑箱问题是重要的，在许多领域的工程和科学。这些问题的昂贵，嘈杂，黑箱性质使它们成为贝叶斯优化（BO）的理想候选者。混合变量和多目标的问题，但是，由于BO的基本平滑高斯过程代理模型的挑战。目前的多目标BO算法不能处理混合变量问题。我们提出了MixMOBO，第一个混合变量，多目标贝叶斯优化框架，这样的问题。使用MixMOBO，可以有效地找到多目标混合变量设计空间的最佳Pareto前沿，同时确保多样化的解决方案。该方法是足够灵活的，将不同的内核和采集功能，包括那些开发的混合变量或多目标问题的其他作者。我们还提出了HedgeMO，一个修改后的对冲策略，使用多目标问题的收购功能的投资组合。我们提出了一个新的采集功能，SMC。我们的研究结果表明，MixMOBO表现良好，对其他混合变量算法的合成问题。我们将MixMOBO应用于建筑材料的真实设计，并表明我们的最佳设计，这是实验制造和验证，具有归一化的应变能密度比现有结构大$10^4$倍。
2022-08-04 cs.AI cs.CE cs.LG
Modeling Hierarchical Spaces: A Review and Unified Framework for Surrogate-Based Architecture Design
IRIT（图卢兹计算机研究所）；UT Capitole, Université de Toulouse（图卢兹大学图卢兹 Capitole 大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）；UT2J（图卢兹第二大学让·饶勒斯）；GERAD（决策分析研究集团）；Polytechnique Montréal（蒙特利尔高等理工学院）；Institute of System Architectures in Aeronautics, German Aerospace Center (DLR)（德国航空航天中心（DLR）航空系统架构研究所）；ONERA（法国航空航天实验室）；Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（图卢兹大学 ENAC ISAE-SUPAERO ONERA 联合会）
本文提出了一种统一框架，用于基于代理的架构设计，通过层次空间建模解决复杂系统设计问题。
2026-01-17 cs.LG math.OC stat.ML
FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning
Auburn University（奥本大学）
针对跨孤岛场景下决策聚焦联邦学习中的目标与可行集异构性问题，提出基于正则化投影平滑的FedRSPO+框架，并证明其决策误差界与跨客户端异构性界，实验验证平滑策略的有效性。
2026-10-08 cs.LG math.OC stat.ML
Surrogate-based optimization of system architectures subject to hidden constraints
DLR (German Aerospace Center)（德国航空航天中心）；ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）
本文针对系统架构优化中评估失败导致的隐藏约束问题，提出用混合离散高斯过程预测可行性概率并结合最小PoV阈值筛选填充点的贝叶斯优化策略，成功求解了失败率达50%的喷气发动机架构优化问题。
2025-04-11 cs.LG math.OC stat.ML
