Online Mixed Discrete and Continuous Optimization: Algorithms, Regret Analysis and Applications
本文研究在线混合离散与连续优化问题,提出具有次线性遗憾保证的算法,并验证其在多种实际应用中的有效性。
2024-08-26 math.OC
An exact algorithm for the static pricing problem under discrete mixed logit demand
针对离散混合多项Logit需求下的静态多产品定价问题,提出基于信赖域和分段线性松弛的迭代优化算法及新分支方法,渐近收敛至最优解并在停车服务案例中验证有效性。
2023-04-04 math.OC
Constrained Discrete Black-Box Optimization using Mixed-Integer Programming
离散黑箱最优化问题对于基于模型的优化(MBO)算法(例如贝叶斯优化)来说是具有挑战性的,这是由于搜索空间的大小和需要满足组合约束。特别地,这些方法需要在内部循环中重复地求解复杂的离散全局最优化问题,其中流行的启发式内部循环求解器引入近似并且难以适应组合约束。作为回应,我们提出了NN+MILP,一个通用的离散MBO框架,使用分段线性神经网络作为代理模型和混合整数线性规划(MILP)优化采集功能。MILP为特定领域的约束提供了最优性保证和通用的声明语言。我们测试我们的方法在一系列无约束和约束的问题,包括DNA结合,约束二进制二次问题的MINLPLib基准,和NAS-Bench-101神经架构搜索基准。NN+MILP超越或匹配黑盒算法的性能,针对手头的约束条件定制,仅使用标准软件包和硬件即可在几分钟内运行全局优化的采集问题。
2022-06-14 math.OC
Turnpike Properties in Discrete-Time Mixed-Integer Optimal Control
本文讨论了参数离散时间混合最优控制问题(MIOCP)的性质,因为它们经常出现在混合整数NMPC中。我们认为,在需要处理参数MIOCP的相似性属性时,来自最优控制的经典收费公路概念是有帮助的。我们提供了充分的收费公路条件的基础上的耗散性概念的MIOCPs,我们表明,收费公路属性允许具体和准确的猜测的整数值控制。此外,我们展示了如何收费公路属性可以用来获得有效的节点加权分支定界方案量身定制的参数MIOCP。我们利用数值例子来说明我们的研究结果。
2020-02-06 cs.SY eess.SY math.OC
Column generation for multistage stochastic mixed-integer nonlinear programs with discrete state variables
本文针对具有离散状态变量的多阶段随机混合整数非线性规划,提出基于Dantzig-Wolfe重构的列生成方法,通过构造满足非预期性约束的附加列显著提升收敛性,并在混合问题和移动发电机路径规划中验证了其有效性。
2025-03-08 math.OC
Optimization of the first mixed boundary value problem for parabolic differential inclusions in a three spatial dimension
研究了抛物型微分包含(DFI)第边值问题的Laplace算子优化问题。为此,定义了一个抛物离散包含问题,这是主要的辅助问题。利用局部伴随映射,证明了抛物离散包含最优性的充要条件。然后,利用抛物型DFI的离散化方法和已有的离散包含最优性条件,给出了Euler-Lagrange型包含形式的离散近似问题的充要条件.因此,使用专门证明的等价定理,没有它几乎不可能得到所需的结果所提出的问题,我们建立充分的最优性条件的抛物型DFI。为了证明上述方法,一些线性问题和多面体优化抛物型夹杂物进行了研究。
2021-03-31 math.OC
Reconciling Discrete-Time Mixed Policies and Continuous-Time Relaxed Controls in Reinforcement Learning and Stochastic Control
Princeton(普林斯顿大学);NYU Shanghai(纽约大学上海分校)
本文分析了强化学习中离散时间混合策略与连续时间松弛控制类比的局限性,在仅控制漂移项时建立两者联系并证明混合策略RL实现的强收敛性,同时讨论了扩散分量控制的技术挑战。
2025-11-14 math.OC
Forward Reachability for Discrete-Time Nonlinear Stochastic Systems via Mixed-Monotonicity and Stochastic Order
本文扩展混合单调系统理论并结合随机序与集中不等式,提出离散时间随机非线性系统前向随机可达集及对应概率的过近似算法,并通过航空航天算例验证有效性。
2024-12-04 cs.SY eess.SY math.OC
Integrating Random Regret Minimization-Based Discrete Choice Models with Mixed Integer Linear Programming for Revenue Optimization
本文将基于随机后悔最小化的离散选择模型纳入混合整数线性规划,在有、无产能约束的供给情景下进行定价与收益优化,以弥合先进选择模型与收益管理实践之间的差距。
2024-04-04 math.OC
Convexifiability of Continuous and Discrete Nonnegative Quadratic Programs for Gap-Free Duality
本文证明了具有非负变量和二次约束的非凸二次规划的一个可凸性性质,保证了二次规划与其半拉格朗日规划之间的对偶间隙为零。更重要的是,我们建立,这种convexifiability是隐藏在类的非负齐次二次规划和离散二次规划,如混合整数二次规划,揭示零对偶差距。作为应用,我们证明了在适当的条件下,目标数据不确定的不确定混合整数二次规划的鲁棒映射具有零对偶间隙。给出了可凸性的各种充分条件。
2018-11-28 math.OC
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
马尔可夫跳变线性系是一类重要的动力系统,在许多控制应用中得到了广泛的应用。在本文中,我们介绍了控制未知(离散时间)MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程(MDP)与混合连续/离散状态变量。与传统的线性二次型调节器(LQR)相比,我们提出的问题导致了一个特殊的混合MDP(与混合连续和离散变量),并提出了重大的新的挑战,由于一个潜在的马尔可夫跳变参数的出现,管理模式的系统动态。具体而言,MJLS的状态不形成马尔可夫链,因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而,可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后,我们修改了广泛使用的自然策略梯度法,直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了(数据驱动的)自然策略梯度法。我们的仿真结果表明,自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Convexification of Queueing Formulas by Mixed-Integer Second-Order Cone Programming: An Application to a Discrete Location Problem with Congestion
混合凸二阶锥规划(MISOCPs)是一类很好的混合凸规划,由于优化求解器的最新进展,它可以非常有效地求解。我们的论文弥补了建模一类最优化问题和使用MISOCP求解器之间的差距。它示出了各种性能指标的M/G/1队列可以由不同的MISOCP塑造。为了激励我们的方法实际上,它首先被应用到一个具有挑战性的随机定位问题的拥塞,这是广泛用于设计社会最优服务网络。四个不同的MISOCP的开发和比较的基准测试问题。新公式有效地解决了大规模的测试问题,这不能解决现有的最佳方法。然后,我们的方法的一般适用性,类似的最优化问题,使用成本理论的性能指标,以解决客户满意度和服务质量。
2017-10-16 cs.DM math.OC math.PR
Inverse Mixed Integer Optimization: Polyhedral Insights and Trust Region Methods
逆优化,确定使给定解最优的最优化问题的参数,近年来受到越来越多的关注。虽然有显着的逆优化文献存在的凸优化问题,有一些离散问题的进展,尽管无处不在的应用程序,从根本上依赖于离散决策。在本文中,我们提出了一套新的理论见解和算法的一般类逆混合整数线性最优化问题。具体而言,一般的最优性条件的特征建立和利用设计新的切割平面的解决方案的算法。通过一组广泛的计算实验,我们表明,我们的方法在解决迄今为止最大和最困难的情况下,提供了显着的改进现有的方法。
2021-09-01 math.OC
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University(哥伦比亚大学商学院)
本文提出混合策略优化方法HPO,通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题,实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
Learning Mixed Graphical Models
Institute of Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Statistics, Stanford University(斯坦福大学统计学系)
我们考虑的问题,学习的结构的成对图形模型在连续和离散变量。我们提出了一个新的成对模型的图形模型,连续和离散变量,是服从结构学习。在以前的工作中,作者考虑了高斯图模型的结构学习和离散模型的结构学习。我们的方法是这两条线的工作的混合情况下的一个自然的概括。惩罚计划涉及一种新的对称使用组套索规范,并遵循自然从一个特定的参数化模型。
2013-07-03 cs.CV cs.LG math.OC
Highly Efficient Optimal Control for Lyophilization via Simulation of Discrete/Continuous Mixed-index Differential-algebraic Equations
本文提出一种基于离散/连续混合指标微分代数方程仿真的冷冻干燥最优控制算法,该算法在普通笔记本上不到一秒即可求解,比传统优化技术快数个数量级且精度更高,并可扩展至其他相变系统。
2025-09-13 cs.SY eess.SY math.OC
Bayesian Quality-Diversity approaches for constrained optimization problems with mixed continuous, discrete and categorical variables
ONERA(法国航空航天研究院);Université Paris – Saclay(巴黎-萨克雷大学)
针对混合变量约束优化问题,提出基于混合变量贝叶斯优化的质量-多样性方法,利用适应协方差模型和高斯过程补充策略,将计算成本降低多达两个数量级,并在航空航天等复杂系统设计中提供高效收敛和有价值的权衡方案。
2024-02-13 cs.LG math.OC
Covariance Steering of Discrete-Time Linear Systems with Mixed Multiplicative and Additive Noise
本文研究了离散线性系在乘性和加性噪声作用下的协方差控制问题。具体来说,我们考虑两个变种的所谓的CS问题。第一个问题称为精确CS问题,其目标是在有限时间内将状态过程的均值和协方差引导到它们的期望值。在第二个,这是所谓的“放松”CS问题,协方差分配约束放松成一个半正定约束。我们表明,放松CS问题可以作为一个等价的凸半定规划(SDP)后,施加适当的变量变换和约束松弛。此外,我们提出了一个两个步骤的解决方案的基础上放松的问题制定返回一个可行解,如果存在一个确切的CS问题。最后,数值实验的结果显示所提出的解决方案的有效性。
2022-10-04 cs.SY eess.SY math.OC
Hybrid Reinforcement Learning Framework for Mixed-Variable Problems
School of Mathematics(数学学院);Georgia Institute of Technology(佐治亚理工学院);UKG AI(UKG人工智能公司);Ultimate Kronos Group(终极 Kronos 集团)
针对离散与连续变量共存的优化问题,提出一种结合强化学习与贝叶斯优化的混合框架,在合成函数与机器学习超参数调优任务中均优于传统方法。
2024-05-30 cs.LG math.OC
The Discrete Dantzig Selector: Estimating Sparse Linear Models via Mixed Integer Linear Optimization
我们提出了一种新的高维线性回归估计:离散Dantzig估计,它最大限度地减少非零回归系数的数量受到预算的功能和残差之间的最大绝对相关性。在过去的10-15年中,整数优化的显着进步的动机,我们提出了一个混合线性优化(MILO)的方法来获得可证明的最优全局解这个非凸优化问题。整数优化算法的当前状态使我们的建议在计算上比最近在[8]中提出的基于整数二次优化的最小二乘子集选择框架和[33]的连续非凸二次优化框架更具吸引力。我们提出了新的离散一阶方法,当与最先进的MILO求解器配对时,对于给定的计算预算,可以很好地解决离散Dantzig问题。我们说明,我们的综合方法提供了全球最优的解决方案,在显着更短的计算时间,相比,现成的MILO求解器。我们从理论上和经验上证明,在广泛的制度的离散Dantzig的统计特性优于流行的$\ell_{1}$为基础的方法。我们说明,我们的方法可以处理问题的情况下,p = 10,000功能与可证明的最优性,使其成为一个高度可扩展的组合变量选择方法在稀疏线性建模。
2017-01-19 math.OC math.ST stat.CO
Learning the cost-to-go for mixed-integer nonlinear model predictive control
本文针对混合整数非线性模型预测控制实时求解困难的问题,提出基于值函数近似的方法,将预测时域分为两部分并离线近似后段最优值函数,从而缩短在线预测时域、降低计算成本,并通过离散控制倒立摆示例验证。
2024-01-23 cs.SY eess.SY math.OC
A comparison of mixed-variables Bayesian optimization approaches
CEA(法国原子能和替代能源委员会);LETI(原子能与替代能源委员会电子与信息技术实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIMOS(计算机科学、建模与优化实验室);CNRS(法国国家科学研究中心);Mines Saint-Etienne(圣艾蒂安国立高等矿业学校);UCA(克莱蒙奥弗涅大学);INSA Toulouse(图卢兹国立应用科学学院);COSYS(系统与组件建模与设计部);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);CEA-DAM(法国原子能和替代能源委员会军事应用局)
大多数真正的最优化问题定义在一个混合的搜索空间,其中的变量是离散和连续的。在工程应用中,目标函数的计算通常采用数值代价高昂的黑箱模拟,因此,一般的混合和代价高昂的最优化问题具有很大的实际意义,但它们的求解在很大程度上仍然是一个开放的科学问题。在这篇文章中,昂贵的混合问题,通过高斯过程,离散变量放松到连续的潜变量。连续空间比混合空间更容易被经典贝叶斯优化技术收获。离散变量被恢复或者随后的连续优化,或同时与一个额外的连续离散相容性约束,处理与增广拉格朗日。这种贝叶斯混合优化的几种可能的实现进行了比较。特别是,连续潜变量的问题的重新表述与直接在混合空间中工作的搜索竞争。在涉及潜变量和增广拉格朗日的算法中,特别注意的是拉格朗日乘子的局部和全局估计技术进行了研究。的比较是基于三个分析功能和梁的设计问题的重复优化。
2022-05-03 cs.LG math.OC stat.AP
Mixed-Integer Path-Stable Optimisation, with Applications in Model-Predictive Control of Water Systems
许多系统表现出连续和离散动态的混合。我们考虑一类混合整数非凸非线性最优化问题,这些问题是在对此类系统的最优控制进行离散化时得到的。对于这个家庭,一个分支定界算法解决了离散化的问题,全局最优。作为一个例子,我们考虑水系统,其中流量和水位的变化是连续的,而与定速泵有关的决策以及闸门是否可以打开和关闭是离散的。我们表明,相关的最优控制问题来自家庭,我们介绍-和实施确定性求解整体收敛保证。
2020-01-22 cs.SY eess.SY math.OC
Geometric Conditions for Lossless Convexification in Linear Optimal Control with Discrete-Valued Inputs: Real-Time Implementation for Spacecraft Rendezvous
University of Kentucky(肯塔基大学)
本文提出了一种用于线性时变系统最优控制的无损凸化框架,通过几何条件确保放松后的凸问题解满足原始非凸输入约束,从而实现实时离散值控制。
2026-05-21 cs.SY eess.SY math.OC
Equilibria and Consensus in Mixed Weighted-Average and Weighted-Median Opinion Dynamics: The Consensus-Promoting Role of Weighted-Average Individuals
Peking University(北京大学)
该研究针对结合加权平均与加权中位数更新的离散时间观点动力学模型,刻画其均衡性质,明确共识达成条件,揭示替换个体类型对共识的影响,并通过数值研究验证相关规律。
2026-11-10 cs.SY eess.SY math.OC
Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization
University of Oxford(牛津大学);Meta
优化离散(和潜在连续)设计参数的昂贵评估黑箱函数是科学和工程应用中普遍存在的问题。贝叶斯优化(BO)是一种流行的,样本效率高的方法,它利用概率代理模型和获取函数(AF)来选择有前途的设计进行评估。然而,在混合或高基数离散搜索空间上最大化AF是具有挑战性的,不能直接使用标准的基于梯度的方法,或者在搜索空间中的每个点处评估AF将在计算上是禁止的。为了解决这个问题,我们建议使用概率重新参数化(PR)。我们不是在包含离散参数的搜索空间上直接优化AF,而是在由连续参数定义的概率分布上最大化AF的期望。我们证明,在适当的reparameterizations,BO政策,最大限度地提高了概率目标是相同的,最大限度地提高了AF,因此,PR享有相同的遗憾界作为原来的BO政策使用的基础AF。此外,我们的方法可证明收敛到一个平稳点的概率目标下梯度上升使用可扩展的,无偏估计的概率目标和梯度。因此,随着起始点和梯度步长数量的增加,我们的方法将恢复AF的最大化(通常被忽视的常用BO遗憾界限的必要条件)。我们通过经验验证了我们的方法,并在广泛的实际应用中展示了最先进的优化性能。PR是对最近工作的补充(也是好处),自然地推广到具有多个目标和黑盒约束的环境。
2022-10-18 cs.AI cs.LG math.OC