A Data Efficient and Feasible Level Set Method for Stochastic Convex Optimization with Expectation Constraints
Tippie College of Business, The University of Iowa(爱荷华大学蒂皮商学院);College of Business Administration, University of Illinois at Chicago(伊利诺伊大学芝加哥分校商学院);Department of Computer Science, The University of Iowa(爱荷华大学计算机科学系)
具有期望约束的随机凸优化问题(SOEC)在统计和机器学习、商业和工程中遇到。在数据丰富的环境中,SOEC目标和约束包含针对大型数据集定义的期望。因此,解决此类SOEC的有效算法需要限制它们使用的数据点的比例,我们称之为算法数据复杂度。最近的随机一阶方法在处理SOEC时表现出较低的数据复杂度,但仅在收敛时保证接近可行性和接近最优性。因此,这些方法可能会返回高度不可行的解决方案时,启发式终止,通常是这种情况下,由于理论的收敛标准是高度保守的。这个问题限制了一阶方法在SOEC约束编码实现要求的几个应用中的使用。我们设计了一个随机可行水平集方法(SFLS)的SOEC,具有低的数据复杂度,并强调可行性收敛之前。具体来说,我们的水平集方法解决了一个寻根问题,通过调用一个新的一阶预言机,通过扩展镜像下降和在线验证技术计算水平集函数的随机上界。我们建立SFLS保持在每个寻根迭代的高概率可行解,并表现出良好的迭代复杂性相比,最先进的确定性可行水平集和随机次梯度方法。三个不同的应用程序的数值实验验证SFLS相对于前一种方法的低数据复杂性,并突出SFLS如何找到可行解与小的最优性差距显着快于后者的方法。
2020-01-02 cs.LG math.OC stat.ML
Hierarchical Decentralized Reference Governor using Dynamic Constraint Tightening for Constrained Cascade Systems
本文提出一种适用于约束串级系统的分级分散参考调节器。参考调速器(RG)的方法是重新制定的滚动时域策略,使一个局部滚动时域优化获得每个子系统与预先建立的预测范围。该算法不仅保证了标称的整个闭环系统没有任何约束是可恢复的,而且还满足状态和控制约束的过渡条件。此外,考虑到不可行的参考信号,任何子系统的输出局部地去最近的可行值。提出的动态约束收紧策略使用滚动时域来减少传统鲁棒RG的保守性。此外,用于计算收紧的约束和输出容许集的算法的分散实施,允许处理大规模系统。此外,提出了一组动态约束,以保持分布式最优化问题的递归可行性。算法的可行性、稳定性、收敛性和鲁棒约束满足性也得到了证明。通过模拟由三个级联夹套连续搅拌釜反应器组成的系统,验证了所提出的方法。
2020-12-18 math.OC
Sparse approximate inverses of Gramians and impulse response matrices of large-scale interconnected systems
Delft Center for Systems and Control, Delft University of Technology(代尔夫特系统与控制中心,代尔夫特理工大学)
本文展示大规模互联系统稀疏状态空间模型的有限时间Gramians和冲击响应矩阵的逆可被稀疏矩阵近似,提出分布式估计与控制新方法,通过局部子系统输入输出数据线性组合实现,计算复杂度为O(N)。
2014-05-11 cs.SY eess.SY math.OC
Solver-Free Heuristics to Retrieve Feasible Points for Offshore Wind Farm Collection System
提出了一套海上风力收集系统问题的无解算器算法。目前,这种类型的方法是不能够应付典型的约束,和他们的变化最小化仅为累积电缆长度。第一个算法是一个两步决策过程,其中的输出是一个树状网的设计满足电缆热限制的约束,但容易违反平面性约束。随后,电缆交叉修复启发式,以固定不可行的点从第一个启发式。最后,改进启发式(负循环取消改进启发式)接管以改进可行点。后者迭代地交换电缆,意图找到负成本的周期,从而节省投资。逻辑学的顺序支持问题的最重要的限制。工作流程的适用性是通过一组大规模的真实世界的海上风电场经验证明。数值结果表明:(i)可行点可以在计算时间内以秒为单位检索,以及(ii)热启动可以帮助求解器更快地收敛,解决时间为几个小时的问题。
2021-08-31 cs.SY eess.SY math.OC
Safe Zeroth-Order Convex Optimization Using Quadratic Local Approximations
我们解决黑盒凸优化问题,其中的目标和约束函数是不明确的,但可以在可行集内采样。因此,挑战在于生成一系列可行点,这些可行点朝着最优解收敛。通过利用目标函数和约束函数的光滑特性的知识,我们提出了一种新的零阶方法,SZO-QQ,迭代计算约束函数的二次近似,构造局部可行集并对其进行优化。我们证明了在每次迭代中产生的目标值序列的收敛性。通过实验,我们表明,我们的方法可以实现更快的收敛速度相比,最先进的零阶方法的凸优化。
2022-11-07 cs.SY eess.SY math.OC
Anderson Accelerated Feasible Sequential Linear Programming
本文提出AA(d)-FSLP加速算法,通过Anderson Acceleration改进FSLP的零阶更新,在保持可行性的同时提升收缩与整体收敛速度,并在并联SCARA机器人时间最优运动问题中验证其可减少约束评估和迭代次数。
2022-12-06 math.OC
Blameless and Optimal Control under Prioritized Safety Constraints
针对多项安全约束联合不可行的最优控制问题,提出无责最优性概念,并证明需顺序求解至少两个优化问题,以先确定最高可行优先级再优化任务目标。
2023-11-03 math.OC
ElastiQP: An Always-Feasible QP Solver for Constrained Robot Control
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
针对约束机器人控制中QP求解器因约束冲突而不可行的问题,提出ElastiQP,一种通过逐约束l1松弛和解析折叠松弛变量保持系统规模恒定的对偶有效集求解器,实现微秒级性能,并在不可行时快速返回可用解。
2026-09-17 cs.RO math.OC
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
Nvidia(英伟达)
本研究提出融合GPU加速的混合整数规划原始启发式算法,通过GPU加速PDLP求解器、新增探测缓存并优化多种前沿启发式算法,在MIPLIB2017基准上显著提升了可行解数量与目标质量。
2025-10-30 cs.DC math.OC
Doubly iteratively reweighted algorithm for constrained compressed sensing models
我们提出了一个新的算法框架约束压缩感知模型,承认非凸稀疏诱导正则化,包括日志罚函数作为目标,和非凸损失函数,如柯西损失函数和Tukey双权损失函数的约束。我们的框架采用迭代重新加权的$\ell_1$和$\ell_2$方案来构建子问题,这些子问题可以通过SPGL 1等开发良好的基追踪去噪求解器有效解决。我们提出了一个新的终止标准的子问题求解器,允许他们返回一个不可行的解决方案,与适当构造的可行点满足下降条件。可行点的构造步骤是建立算法良好定义性的关键,在适当的假设下,我们还证明了该可行点序列的任何聚集点都是约束压缩感知模型的稳定点.最后,我们在数值上比较了我们的算法(子问题由SPGL 1或交替方向乘法器方法解决)与[41]中的SCP $_{\rm ls}$在求解约束压缩感知模型方面的差异,其中log-罚函数作为目标,柯西损失函数作为约束,用于不良缩放的测量矩阵。我们的计算结果表明,我们的方法返回的解决方案具有更好的恢复错误,总是更快。
2022-06-16 math.OC
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence
The Ohio State University(俄亥俄州立大学);Princeton University(普林斯顿大学)
许多重要的机器学习应用都是解决极大极小优化问题,在许多情况下无法访问梯度信息,而只能访问函数值。在本文中,我们关注这样一个梯度自由设置,并考虑非凸-强-凹极大极小随机优化问题。在文献中,各种零阶(即,梯度自由)极大极小方法已经提出,但他们都没有达到潜在的可行的计算复杂性的$\mathcal{O}(ε^{-3})$建议的随机非凸最小化定理。本文采用方差缩减技术设计了一种新的零阶方差缩减梯度下降上升(ZO-VRGDA)算法。我们表明,ZO-VRGDA算法实现了最好的查询复杂度的$\mathcal{O}(κ(d_1 + d_2)ε^{-3})$,这优于所有以前的复杂度的数量级,其中$d_1$和$d_2$表示的优化变量的尺寸和$κ$表示的条件数。特别是,我们开发了一种新的分析技术,我们的结果不依赖于现有方法中通常需要的递减或精度依赖的步长。据我们所知,这是第一次研究零阶极小极大优化与方差减少。在黑盒分布鲁棒优化问题上的实验结果表明了新算法的优越性能。
2021-03-22 cs.LG math.OC stat.ML
Faster Algorithms for Multimarginal Optimal Transport
Global Technology Applied Research, JPMorganChase(摩根大通全球科技应用研究);Quantitative Trading & Research, JPMorganChase(摩根大通量化交易与研究)
本文针对多边际最优运输问题,提出复杂度更优的经典算法及两种量子加速算法,同时给出对应的查询下界,提升了多边际最优运输算法的性能与理论界。
2026-10-07 cs.DS math.OC quant-ph
On feasibility, stability and performance in distributed model predictive control
在分布式模型预测控制(DMPC)中,其中使用对偶分解以分布式方式解决集中式最优化问题,重要的是保持求解算法中的迭代次数,即子系统之间的通信量尽可能小。同时,迭代次数必须足以给出最优化问题的可行解并保证闭环系统的稳定性。在本文中,停止条件的分布式优化算法,保证这些属性,提出。停止条件是基于两个理论贡献。首先,由于使用对偶分解来求解最优化问题,因此证明模型预测控制(MPC)中的稳定性的标准技术(即,具有涉及所有状态变量的终端成本和终端约束集)不适用。对于没有终端成本或终端约束集的情况,我们提出了一种新的方法来量化的控制范围,以确保稳定性和预先指定的性能。其次,停止条件是基于一种新的自适应约束收紧方法。使用这种自适应约束收紧方法,我们保证找到一个原始可行解的最优化问题,闭环稳定性和性能。数值算例表明,利用所提出的停止条件,可以显著减少保证最优化问题可行性、闭环系统稳定性和预定性能所需的迭代次数.
2013-07-10 math.OC
Strong SOCP Relaxations for the Optimal Power Flow Problem
针对交流最优潮流问题,提出了三种强二阶锥规划松弛算法。这三种弛豫相互之间是不可比较的,其中两种弛豫与OPF的标准SDP弛豫是不可比较的。大量的计算实验表明,这些松弛与文献中现有的凸松弛相比具有许多优点:(i)它们的溶液质量非常接近SDP弛豫的溶液质量(最好的一个是在99.96%的SDP松弛平均为所有的IEEE测试情况下),并始终优于以前提出的凸二次松弛的OPF问题,(ii)来自强SOCP弛豫的解可以直接用作局部求解器(例如IPOPT)中的热启动,以获得高质量可行的OPF解,以及(iii)在计算时间方面,强SOCP弛豫可以比标准SDP弛豫快数量级地求解。例如,一个建议的SOCP松弛连同IPOPT产生一个可行解的最大的情况下,在IEEE测试用例(3375总线系统),并证明该解决方案是在0.13%的全球最优,所有这一切计算在157.20秒内在一个温和的个人电脑。总的来说,所提出的强SOCP松弛提供了一种实用的方法,以获得可行的OPF解决方案,具有非常好的质量在一个时间框架内,是兼容的实时操作,在当前的行业实践。
2015-10-31 math.OC
A Fast Polynomial-time Primal-Dual Projection Algorithm for Linear Programming
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Delft University of Technology(代尔夫特理工大学)
本文提出了一种多项式对偶投影算法,用于平衡可行和不可行实例的性能,并在某些情况下比先前算法表现更优。
2018-10-10 cs.DS cs.NA math.NA
A Primal Approach to Facial Reduction for SDP Relaxations of Combinatorial Optimization Problems
Clemson University(克莱姆森大学)
针对带二次目标函数的组合优化问题SDP松弛,提出新型面部约化原始算法,利用可行解简化步骤,平均比标准实现快4倍,改进SDP松弛预处理。
2026-07-30 math.OC
Scalable Co-Design via Linear Design Problems: Compositional Theory and Algorithms
Massachusetts Institute of Technology(麻省理工学院)
本文提出线性设计问题(LDPs)作为协同设计问题的类,通过将协同设计语义与多目标线性规划连接,证明LDPs在组合连接下封闭,并开发两种计算方法验证理论。
2026-03-30 cs.SY eess.SY math.OC
A Globally Convergent Method for Computing B-stationary Points of Mathematical Programs with Equilibrium Constraints
University of Freiburg(弗赖堡大学);Argonne National Laboratory(阿贡国家实验室)
本文提出一种全局收敛方法,用于计算具有均衡约束的数学规划的B-stationary点,通过求解一系列线性规划和非线性规划问题,提高计算效率和鲁棒性。
2026-09-09 math.OC
Efficient parallel coordinate descent algorithm for convex optimization problems with separable constraints: application to distributed MPC
在本文中,我们提出了一个并行坐标下降算法求解光滑凸优化问题的可分离的约束,可能会出现,例如在分布式模型预测控制(MPC)的线性网络系统。我们的算法是基于块坐标下降并行更新,并有一个非常简单的迭代。在光滑凸优化的标准假设下,我们证明了新算法的(亚)线性收敛速率。此外,我们的算法使用本地信息,因此适合分布式实现。此外,它具有较低的迭代复杂度,这使得它适合嵌入式控制。基于这种新的并行算法,推导出一种MPC方案,使网络中的每个子系统都可以使用分布式和廉价的计算来计算可行的和稳定的控制输入。为了确保MPC方案的稳定性,我们使用来自分布式合成的终端成本公式。初步的数值试验表明,我们的优化算法比其他现有的方法有更好的性能。
2014-11-18 math.OC