Sparse Signal Estimation by Maximally Sparse Convex Optimization
NYU Polytechnic School of Engineering(纽约大学理工学院);Istanbul Technical University(伊斯坦布尔理工大学)
本文讨论了稀疏惩罚最小二乘在稀疏信号处理中的应用问题,如稀疏反卷积。本文的目的是诱导稀疏性比L1范数正则化更强,同时避免非凸优化。为此,本文描述了设计和使用非凸罚函数(正则化)约束,以确保凸的总成本函数,F,被最小化。该方法基于参数罚函数,约束罚函数的参数以保证F的凸性。结果表明,最优参数可以通过半定规划(SDP)得到。这种最大稀疏凸(MSC)方法产生最大非凸稀疏诱导惩罚函数约束,使得总成本函数F是凸的。结果表明,迭代MSC(IMSC)可以产生比标准凸稀疏诱导方法更稀疏的解,即,L1范数最小化。
2014-01-03 cs.LG stat.ML
DC approximation approaches for sparse optimization
Laboratory of Theoretical and Applied Computer Science EA 3097(理论与应用计算机科学实验室);University of Lorraine(洛林大学);Laboratory of Mathematics, INSA - Rouen, University of Normandie(数学实验室,鲁昂INSA,诺曼底大学)
本文从DC框架出发,研究了稀疏优化的非凸近似方法,分析了近似问题与原问题的解的一致性,并开发了四种DCA方案,用于解决零范数和稀疏优化问题。
2014-07-02 cs.LG cs.NA math.NA
Schrödinger bridge for generative AI: Soft-constrained formulation and convergence analysis
Department of Mathematics, University of Southern California(美国南加州大学数学系);Department of Statistics and Applied Probability, University of California(加州大学圣塔芭芭拉分校统计与应用概率系);Department of Management of Science & Engineering, Stanford University(斯坦福大学科学与工程管理系)
针对经典薛定谔桥问题硬终端约束导致生成式AI实现不稳定的问题,提出软约束薛定谔桥问题,证明其最优解存在性及向经典问题的线性收敛率,为鲁棒生成建模等提供理论支撑。
2025-10-28 cs.LG math.DS math.OC
Inequality Constrained Stochastic Nonlinear Optimization via Active-Set Sequential Quadratic Programming
Argonne National Laboratory(阿贡国家实验室);The University of Chicago(芝加哥大学);University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
我们研究具有随机目标和确定性等式和不等式约束的非线性最优化问题,这些问题出现在许多应用中,包括金融,制造,电力系统以及最近的深度神经网络。我们提出了一个有效集随机序列二次规划(StoSQP)算法,利用可微精确增广拉格朗日作为价值函数。该算法自适应地选择增广拉格朗日函数的罚参数,并进行随机线搜索来确定步长。证明了算法的整体收敛性:对于任意初始值,KKT残差几乎必然收敛于零.我们的算法和分析进一步发展了Na等人之前的工作,(2022年)。具体来说,我们允许非线性不等式约束,而不需要严格的互补条件;改进Na等人的一些设计,(2022)提出的改进方法,如可行性误差条件和单调增加的样本量,加强了整体收敛的保证,提高了目标Hessian上的样本复杂度。我们证明了所设计的算法的性能上的一个子集的非线性问题收集在CUTEst测试集和约束逻辑斯谛回归问题。
2023-01-30 cs.LG cs.NA math.NA
Fast randomized entropically regularized semidefinite programming
我们开发了一个实用的方法,半定规划(SDP),包括冯诺依曼熵,或适当的变体,作为一个正规化项。特别是,我们解决了对偶的正则化程序,演示了如何精心选择的随机跟踪估计可以用来有效地估计对偶梯度。我们还介绍了专门的优化方法,常见的SDP,特别是SDP与对角约束和确定的极端特征向量的跨度上的光谱投影仪的问题。我们验证了我们的方法在这些问题上的应用组合优化和谱嵌入。
2023-03-21 cs.NA math.NA math.OC
A Gap Penalty Reformulation for Mathematical Programming with Complementarity Constraints: Convergence Analysis
本文分析了一种 MPCC 间隙罚函数重构方法的收敛性,证明在约束规范、严格互补和二阶必要条件下可收敛至强稳定点。
2025-05-15 math.OC
Penalty Methods with Stochastic Approximation for Stochastic Nonlinear Programming
本文提出了一类解随机非线性规划问题的具有随机逼近的罚方法。我们假设只有噪声梯度或目标函数的函数值是通过调用随机一阶或零阶预言。在所提出的方法的每次迭代中,我们最小化的精确罚函数,这是非光滑和非凸的,只有随机的一阶或零阶信息。随机逼近算法解决这个特殊的子问题。最坏情况下的复杂性的随机一阶(或零阶)预言的建议的惩罚方法获得一个$ε$ -随机临界点进行了分析。
2016-05-19 math.OC
A quadratic penalty algorithm for linear programming and its application to linearizations of quadratic assignment problems
本文提供了第一个有意义的文件和分析的既定技术,其目的是获得一个近似解,线性规划问题之前,应用原始单纯形法。底层算法是一个惩罚方法,在每次迭代中具有朴素近似最小化。在初始迭代过程中,使用类似于增广拉格朗日的方法。后来的技术密切对应于一个经典的二次罚分法。也有一个讨论的程度,它可以用来获得快速近似解的LP问题,特别是当应用到线性化的二次指派问题。
2018-04-24 math.OC
Exact Augmented Lagrangian Duality for Mixed Integer Quadratic Programming
混合整数二次规划(MIQP)是在有理多面体上的混合整数点上最小化凸二次函数的问题。本文主要研究MIQP的增广拉格朗日对偶(ALD)。ALD增加了通常的拉格朗日对偶的加权非线性惩罚的对偶约束。我们首先证明了ALD将达到一个零的对偶间隙渐近的重量的惩罚趋于无穷大的罚函数在一些温和的条件下。我们接下来表明,当我们使用任何范数作为罚函数时,有限的罚权重对于零间隙是足够的。最后,我们证明了一个多项式约束的重量上的惩罚项,以获得零差距。
2019-07-01 math.OC
An efficient implementable inexact entropic proximal point algorithm for a class of linear programming problems
介绍了一类特殊结构的线性规划(LP)问题,它对最优输运、离散层析成像和经济学等不同领域的重要应用问题具有良好的建模能力.为了有效地解决这些大规模的LP问题,我们设计了一个可实现的不精确熵邻近点法(iEPPA)结合一个易于实现的双块坐标下降法作为子求解器。与现有的熵型邻近点法,我们的iEPPA采用了更实际的检查停止条件解决相关的子问题,同时实现可证明的收敛性。此外,当解决容量约束的多边际最优输运(CMOT)问题(我们的LP问题的一个特殊情况),我们的iEPPA是能够绕过基本的数值不稳定性的问题,经常出现在流行的熵正则化方法,因为我们的算法不需要的邻近参数非常小,以获得一个准确的近似解。大量的数值实验表明,我们的iEPPA是有效的和强大的解决大规模CMOT问题。对离散层析成像问题的实验也突出了我们的模型的潜在建模能力。
2022-04-23 math.OC
Path Following in the Exact Penalty Method of Convex Programming
North Carolina State University(北卡罗来纳州立大学)
本文提出一种路径跟踪策略,通过连续变化罚常数从无约束解追踪到约束解,适用于精确罚方法,并应用于多种凸规划问题。
2012-01-17 cs.NA math.NA math.OC
A twice continuously differentiable penalty function for nonlinear semidefinite programming problems and its application
Graduate School of Management, Tokyo Metropolitan University(东京都立大学经营管理研究科)
本文针对非线性半定规划问题提出二次连续可微罚函数,解决现有罚函数与二阶平稳点方法兼容性低的问题,提出实用罚函数法验证其与AKKT、CAKKT条件的高亲和性并展示收敛性。
2025-09-24 math.OC
A Vectorized Positive Semidefinite Penalty Method for Unconstrained Binary Quadratic Programming
Nankai University(南开大学)
针对无约束二元二次规划问题,本文提出向量化正半定惩罚方法,通过向量化矩阵变量、改进惩罚更新与初始化、结合邻近点算法与投影交替BB法求解子问题,经实验验证其在解质量和求解时间上均优于半定松弛等已有方法。
2024-08-09 math.OC
Computing Binary Integer Programming via A New Exact Penalty Function
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院)
针对无约束二元整数规划,提出基于分段三次函数的精确罚函数框架,引入P-稳定点并开发APPA算法,在温和假设下有限步收敛,实验表明其优于现有求解器。
2025-10-27 math.OC
Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints Algorithms: Penalty Interior-Point, Implicit-Programming, and Piecewise SQP
College of Engineering, Boston University(波士顿大学工程学院)
本文探讨了处理带均衡约束的数学规划问题(MPECs)的几种算法,包括罚内点法、单调线性互补问题变体、隐式编程下降法和分段SQP方法,分析了其模型、搜索方向子问题、全局化机制及收敛性。
2026-04-17 math.OC
Barrier and penalty methods for low-rank semidefinite programming with application to truss topology design
本文的目的是解决大型稀疏线性半定规划(SDP)的低秩解。我们提出了在二阶SDP算法中使用预条件共轭梯度法,并引入了一种新的有效的预条件充分利用低秩信息。我们证明了预条件是通用的,在这个意义上,它可以有效地使用在一个标准的邻域点算法,以及一个新开发的原始-对偶惩罚方法。数值实验证明了该方法的有效性,并给出了变维桁架拓扑最优化问题的算例。
2021-05-18 cs.NA math.NA math.OC
A Multi-objective Sequential Quadratic Programming Algorithm Based on Low-order Smooth Penalty Function
提出一种以低阶光滑罚函数为线搜索价值函数的MOSQP算法,通过QP子问题、非支配点过滤、Armijo规则及Powell修正求解约束多目标优化问题,并证明其收敛至近似Pareto前沿。
2025-03-12 math.OC
A Penalty Approach for Differentiation Through Black-Box Quadratic Programming Solvers
Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学经济学院);The University of Chicago(芝加哥大学)
提出dXPP,一种基于惩罚的微分框架,通过解耦QP求解与微分,利用黑箱求解器进行前向传播,并在反向传播中隐式微分一个光滑近似惩罚问题,显著提升大规模问题的计算效率和鲁棒性。
2026-06-16 cs.LG math.OC
Exact Penalty Method for Variationally Coherent Stochastic Programming Problems
Warsaw University of Technology(华沙理工大学)
针对含一般等式/不等式约束和凸集约束的优化问题,提出一种结合精确罚函数和镜像下降法的随机算法,并证明在变分相干条件下算法的全局收敛性。
2026-07-01 math.OC
A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming
Amirkabir University of Technology(阿米尔卡比尔理工大学);American University(美利坚大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种基于惩罚函数的去中心化双层规划算法,通过去中心化计算和少量向量通信估计超梯度,在保证非渐近收敛的同时显著降低通信成本并提升迭代效率。
2024-10-10 cs.DC cs.LG math.OC
Codifferentials and Quasidifferentials of the Expectation of Nonsmooth Random Integrands and Two-Stage Stochastic Programming
本文研究非光滑两阶段随机规划,通过推导非光滑随机被积函数期望的余/拟微分显式公式,分析精确罚函数并给出全局精确性条件,最终以余微分形式导出最优性条件。
2024-04-21 math.OC math.PR
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中,我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题,有或可能没有最佳拉格朗日乘子,关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确(快速)梯度增广拉格朗日方法,我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集,以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑,我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后,我们假设锥约束凸问题的最优Lagrange乘子可能不存在,并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法,我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
A Sequential Convex Programming Approach to Solving Quadratic Programs and Optimal Control Problems with Linear Complementarity Constraints
具有互补约束的数学规划由于其非凸性和在每个可行点缺乏约束规格而难以求解。本文主要研究线性互补约束下的二次规划问题。利用序列凸规划和罚参数上的同伦,提出了一种求解罚函数重构的新方法。线性化必然非凸的罚函数产生凸二次子问题,其在所有迭代中具有恒定的黑塞矩阵。这允许使用单个KKT矩阵分解进行解计算。此外,全球化计划中引入的潜在的价值函数被最小化解析,并保证下降提供在每个节点。数值实验表明,该算法的特点和可能的计算加速。
2021-05-31 math.OC
Non-Euclidean dual gradient ascent for entropically regularized linear and semidefinite programming
提出一种基于 von Neumann 熵正则化与对偶梯度上升的优化框架,在半定规划与线性规划中实现了维度无关的收敛速率与计算缩放。
2025-07-01 cs.NA math.NA math.OC
Penalty and Augmented Lagrangian Methods for Constrained DC Programming
本文考虑了一类结构非光滑凸差分约束DC规划,其中目标和约束的第一凸分量是光滑函数和非光滑函数之和,第二凸分量是多个凸光滑函数的上确界.现有的求解该问题的方法通常收敛性保证较弱或需要一个可行的初始点。受最近工作的启发(数学运算。Res. 42(1):95- 118,2017 by Pang et al.),本文对所考虑的问题提出了两种强收敛保证的不可行方法。第一种是罚方法,它包括寻找一个近似的D-稳定点的一系列惩罚子问题。我们表明,任何可行的积累点的解决方案序列所产生的这种惩罚方法是一个B-平稳点的问题下,最弱的可能的假设,它满足逐点斯莱特约束规格(PSCQ)。第二个是增广拉格朗日(AL)方法,包括寻找一个近似的D-稳定点的一系列AL子问题。在与罚函数法相同的PSCQ条件下,证明了由AL方法生成的解序列的任何可行聚点都是问题的B-平稳点,并且它满足问题的KKT型最优性条件,同时还满足一组辅助Lagrange乘子序列的任何聚点.我们还提出了一个有效的逐次凸逼近方法计算的近似D-稳定点的惩罚和AL子问题。最后,通过数值实验验证了本文方法的有效性.
2021-11-17 math.OC
Second-Order Cone Programming for P-Spline Simulation Metamodeling
本文用B样条逼近仿真模型,并对相邻B样条系数的高阶有限差分进行了惩罚。惩罚防止过度拟合。假设模拟输出为非负。非负样条仿真元模型是一个二阶锥规划模型,可以有效地解决现代优化技术。该方法在MATLAB/GNU Octave中实现。
2015-06-18 math.OC math.ST stat.TH
Capacity-Constrained Wasserstein Barycenters: Existence, Duality, and Entropic Regularization
本文提出容量约束的Wasserstein重心问题,证明其存在性与强对偶,并引入熵正则化,获得唯一解及容量截断吉布斯公式,且正则化解收敛至最小熵解。
2026-09-17 math.OC
Optimal control on finite graphs: asymptotic optimal controls and ergodic constant in the case of entropic costs
对于连续时间有限图上的最优控制问题,动态规划原理导致了以非线性常微分方程系统为特征的值函数。在本文中,我们考虑的情况下,熵成本的非线性微分方程可以转化为线性的,由于变量变换与熵和指数之间的经典对偶。当图是连通的时,我们证明了用经典的矩阵分析工具可以很容易地计算渐进最优控制和各态历经常数。
2022-12-28 math.OC
Binary Optimization via Mathematical Programming with Equilibrium Constraints
二元最优化是数学最优化中的一个中心问题,其应用非常广泛。为了解决这个问题,我们提出了一类新的连续优化技术,这是基于数学规划与平衡约束(MPEC)。首先将二进制规划转化为一个等价的带有双线性等式约束的增广双凸最优化问题,然后提出两种惩罚/正则化方法(精确惩罚和交替方向)来求解该问题,所得算法通过求解一系列线性规划凸松弛子问题来寻求原问题的理想解.此外,我们还证明了在目标上加上互补约束所得到的罚函数和增广拉格朗日函数都是精确的,即,当罚参数超过某个阈值时,它们具有与原始二进制程序相同的局部和全局最小值。这两个算法的收敛性可以得到保证,因为它们基本上减少到块坐标下降在文献中。最后,我们证明了我们的方法的有效性和通用性的几个重要问题,包括图二分法,约束图像分割,稠密子图发现,模块聚类和马尔可夫随机场。大量的实验表明,我们的方法优于现有的流行技术,如迭代硬阈值,线性规划松弛和半定规划松弛。
2017-12-06 math.OC
Sharp-Peak Functions for Exactly Penalizing Binary Integer Programming
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);School of Management Science, Qufu Normal University(曲阜师范大学管理科学学院)
本文提出尖峰函数用于将二进制约束转化为等式约束,通过惩罚模型分析并设计高效算法,证明其在局部Lipschitz连续性条件下收敛到P- stationary点。
2026-08-20 math.OC
InFlow: entropic stochastic dual dynamic programming with HJB cross-certification for seasonal energy storage
Cheikh Anta Diop University of Dakar(达喀尔谢赫安塔·迪奥普大学);University of Nairobi(内罗毕大学);Laboratoire Eau, Energie, Environnement et procédés Industriels (LE3PI)(水、能源、环境与工业过程实验室);Centre de Tests des Systèmes Solaires (CT2S)(太阳能系统测试中心)
InFlow提出结合熵鲁棒SDDP与HJB交叉验证的框架,用于季节性水库调度,通过严格验证和鲁棒性分析,显著降低风险并保持成本稳定。
2026-09-11 math.OC
Prox-PEP: A Proximal Partial Exact Penalty Algorithm for Weakly Convex Stochastic Nonlinear Programming
Northeastern University(东北大学)
本文提出Prox-PEP算法,通过二次子问题解决弱凸随机优化问题,利用精确惩罚方法将非线性等式约束转化为不等式约束,并通过动态惩罚参数策略保证算法收敛性。
2026-05-08 math.OC
Sequential Linear Integer Programming for Integer Optimal Control with Total Variation Regularization
我们提出了一个信赖域方法,解决了一系列的线性整数规划,以解决整数最优控制问题正则化的全变差罚款。全变差罚函数使我们能够证明整数最优控制问题的极小值的存在性。我们引入了一个局部最优性的概念的问题,这是从无限维的角度来看。在控制函数的一维域的情况下,我们证明了我们的算法所产生的迭代收敛到满足局部最优的一阶平稳性条件的点。我们证明了一个计算实例的理论研究结果。
2022-05-06 math.OC
Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming
Simon Fraser University(西蒙弗雷泽大学);Texas A&M University(得克萨斯农工大学)
提出迭代硬阈值方法及其变体求解 $l_0$ 正则化凸锥规划,证明收敛到局部极小点并建立迭代复杂度。
2012-11-02 cs.LG cs.NA math.NA
Constrained Differential Dynamic Programming Revisited
微分动态规划(DDP)已成为无约束轨迹优化的一种成熟方法。尽管它在机器人和控制的几个应用,然而,一个广泛成功的约束版本的算法尚未开发。本文基于罚函数法和有效集方法,设计了一种基于动态规划的约束最优控制方法。关于前者,我们的推导采用了约束版本的贝尔曼的最优性原理,通过引入一组辅助松弛变量在向后通过。同时,我们展示了如何增广拉格朗日方法可以自然地纳入DDP,通过利用一组特定的惩罚拉格朗日函数,保持二阶可微性。我们的实验表明,我们的扩展(单独和组合)显着提高算法的收敛性能,并优于以前的方法在大量的模拟场景。
2020-05-03 math.OC
A Unified Approach to the Global Exactness of Penalty and Augmented Lagrangian Functions I: Parametric Exactness
在这两个部分的研究中,我们开发了一个统一的方法来分析各种惩罚和增广拉格朗日函数的有限维约束最优化问题的全局精确性。这种方法允许以简单和直接的方式验证给定的惩罚/增广拉格朗日函数是否是精确的,即,如果罚参数足够大,则该函数的无约束极小化问题是否等价于(在某种意义上)原始约束问题。我们的方法是基于所谓的本地化原则,减少了全球精确性的研究,本地分析所选择的价值函数附近的全球最优解。反过来,这种局部分析通常可以使用充分的最优性条件和约束规格来执行。在第一篇文章中,我们引入了全局参数精确性的概念,并导出了参数形式的局部化原理。利用这个版本的局部化原理,我们恢复现有的简单的充要条件的整体精确的线性罚函数,并为存在的增广拉格朗日乘子的Rockafellar-Wets的增广拉格朗日。另外,我们还得到了一般非线性罚函数的全局精确性和非线性二阶锥规划连续可微罚函数的全局精确性的全新的充要条件.我们简要讨论了如何构造一个连续可微的精确罚函数的非线性半定规划问题,以及。
2018-11-15 math.OC
Multi-UAV trajectory planning problem using the difference of convex function programming
针对多无人机集群轨迹规划中的非凸优化及避碰约束难题,本文利用凸函数差规划引入松弛变量与惩罚项将其转化为DC形式,并提出惩罚DC算法依次求解凸子问题,有效实现了拥挤空间内大量无人机的轨迹规划。
2023-08-02 cs.SY eess.SY math.OC
Entropic Regularization of the Nested Distance
2012年,Pflug和Pichler在正则性假设下证明了多阶段随机规划(MSP)中的值函数是Lipschitz连续的。嵌套距离,这是情景树(或具有有限支持的离散时间随机过程)之间的距离。嵌套距离是Wasserstein距离的改进,用于解释离散时间随机过程的过滤的接近性。两个场景树之间的嵌套距离的计算相当于计算大小为$n$的较小条件概率之间的指数(在水平$T$中)数量的最优输运问题,其中$n$小于每个节点的子节点的最大数量。这样的最优输运问题可以通过复杂度为$O(n^3\log(n))$的拍卖算法来解决。2013年,Cuturi引入了Sinkhorn算法,这是一种交替投影方案,可以解决熵正则化最优输运问题。Sinkhorn算法线性收敛,每次迭代的复杂度为$O(n^2)$。在这篇文章中,我们提出并测试数值熵正则化的嵌套距离。
2021-07-21 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法,结合新颖罚技术与对偶-原始更新顺序,扩展至多块可分离凸规划,并在变分分析下建立收敛性,数值实验验证其效率。
2023-05-06 math.OC
A Gradient-Aware Search Algorithm for Constrained Markov Decision Processes
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室)
有限约束马尔可夫决策过程(CMDPs)的规范求解方法是基于凸线性规划的,其目标是在期望的无限时域贴现成本约束下最大化期望的无限时域贴现报酬.本文首先证明了有限CMDP对偶线性规划的优化目标是关于Lagrange罚乘子的分段线性凸函数。接下来,我们提出了一种新的两级感知搜索(GAS)算法,该算法利用PWLC结构来找到有限CMDP的最佳状态价值函数和拉格朗日罚乘子。该算法被应用于两个随机控制问题的约束:机器人导航在网格世界和太阳能无人机(UAV)的无线网络管理。我们经验比较建议的GAS算法与二叉搜索(BS),拉格朗日原对偶优化(PDO),线性规划(LP)的收敛性能。与基准算法相比,该算法收敛速度更快,不需要超参数调整,对Lagrange罚乘子的初始化不敏感.
2020-05-07 cs.LG eess.SP math.OC
A Penalty-Based Guardrail Algorithm for Non-Decreasing Optimization with Inequality Constraints
Delft University of Technology(代尔夫特理工大学)
本文提出基于惩罚的护栏算法PGA,通过动态调整约束右端项防止违反,用于高效求解目标函数和不等式约束均非递减的非凸优化问题,并在区域供热和神经网络优化模型中显著优于传统求解器及IPDD算法。
2024-05-03 cs.AI math.OC
Examining Entropic Unbalanced Optimal Transport and Sinkhorn Divergences for Spatial Forecast Verification
本文评估熵非平衡最优传输与 Sinkhorn 散度用于降水空间预报检验,证明其能缓解双重惩罚、匹配专家评价并提供几何直观的误差诊断。
2025-07-25 math.OC physics.ao-ph
Penalty alternating direction methods for mixed-integer optimal control with combinatorial constraints
我们考虑混合整数最优控制问题的组合约束,耦合随着时间的推移,如最小停留时间。我们分析了提升和分解的方法成一个混合整数最优控制问题,没有组合约束和一个混合整数问题的组合约束的控制空间。这两个问题可以非常有效地解决现有的方法,如外凸与求和舍入策略和混合整数线性规划技术。使用惩罚方法处理耦合。我们提供了一个精确的结果,产生一个解决方案的方法,收敛到部分最小值的处罚。我们比较了这些专用点的质量与其他approstics之间的一个学术例子,也为优化的输电线路与切换的网络拓扑结构的流量重新分配,以满足需求。
2021-04-19 math.OC
Mixed-Integer Nonlinear Programming for State-based Non-Intrusive Load Monitoring
能量分解,在文献中称为非侵入式负载监测(NILM),是在给定由单个智能电表记录的聚合信号的情况下推断每个电器的能量消耗的任务。在本文中,我们提出了一种新的两阶段优化为基础的能量分解方法。在第一阶段,一个小的训练集,包括分解的功率分布被用来估计参数和功率状态,通过解决一个混合整数规划问题。一旦模型参数被估计,能量分解问题被公式化为一个受约束的二元二次最优化问题。我们采用惩罚条款,利用先验知识的分解痕迹是如何产生的,和电器特定的约束特征的签名不同类型的电器同时操作。我们的方法与现有的基于优化的算法在合成数据集和三个现实世界的数据集进行比较。所提出的配方是计算效率高,能够消除歧义的负载与类似的消费模式,并成功地重建签名的已知电器,尽管存在未计量的设备,从而克服了文献中提供的基于优化的方法的主要缺点。
2022-02-22 cs.LG math.OC stat.ML
Combining Penalty-based and Gauss-Seidel Methods for solving Stochastic Mixed-Integer Problems
在本文中,我们提出了一种新的混合整数随机规划(SMIP)问题的分解方法,其灵感来自于基于惩罚的拉格朗日和块高斯-赛德尔方法(PBGS)的组合。从这个意义上说,PBGS的开发,使得固有的可分解的结构,SMIP目前可以利用计算效率的方式。所提出的方法的性能进行了比较与渐进式套期保值方法(PH),这也可以被看作是一个基于拉格朗日的方法获得SMIP的解决方案。使用文献中的实例进行的数值实验说明了所提出的方法在计算性能和解质量方面的效率。
2017-01-31 math.OC
Introduction to Exact Penalization for Mathematical Programming with Equilibrium Constraints
Northeastern University(东北大学)
本文介绍非线性规划和带有均衡约束的数学规划的精确惩罚方法,强调其与现代误差界理论的联系,探讨经典最优性条件的解释及扩展框架的应用。
2026-05-01 math.OC
Improved penalty algorithm for Mixed Integer PDE Constrained Optimization Problems
包含偏微分方程(PDE)和整数约束的最优控制问题融合了整数规划的组合困难和离散化PDE所产生的与大规模系统相关的挑战。到目前为止,分支定界框架一直是此类问题最常见的解决策略。为了提供一种可供选择的解决方法,特别是在大规模的情况下,本文研究了惩罚技术。从一个著名的家庭现有的精确惩罚算法的启发,一个新的改进的惩罚算法,其关键成分是盆跳跃策略和内点方法,这两个都是专门为问题类。一个标准的平稳测试问题进行了彻底的数值研究。对流扩散以及非线性测试问题的扩展最终证明了该方法的多功能性。
2021-09-08 cs.NA math.NA math.OC
The Effect of the Terminal Penalty in Receding Horizon Control for a Class of Stabilization Problems
滚动时域控制(RHC)策略包括用一系列有限时域最优控制问题代替无限时域稳定问题,这些问题在数值上更容易处理。动态规划原理确保了如果有限时域问题用精确值函数作为终端罚函数来公式化,则RHC方法生成最优控制。本文讨论的情况下,终端费用函数被选为截断泰勒近似的价值函数。主要结果是差错率估计的控制产生这样的方法,当与最优控制。所获得的估计是相同的顺序作为所采用的泰勒近似,并减少在指数率相对于预测范围。为了说明这种方法,本文着重讨论了无限维希尔伯特空间中的一类双线性最优控制问题。
2019-06-05 math.OC
Exact augmented Lagrangian functions for nonlinear semidefinite programming
本文研究了非线性半定规划(NSDP)问题的增广拉格朗日函数,并给出了增广拉格朗日函数的精确性质。术语精确的意义上使用的罚参数可以采取适当的,所以一个单一的最小化的增广拉格朗日恢复原来的问题的解决方案。这导致NSDP问题转化为无约束非线性规划问题。在这里,我们首先建立了一个统一的框架来构造这些精确的功能,推广迪Pillo和Lucidi的工作,从1996年,这是旨在解决非线性规划问题。然后,通过我们的框架,我们提出了一个实用的增广拉格朗日函数的NSDP,证明了它是连续可微的和精确的所谓的非退化条件。我们还提出了一些初步的数值实验。
2018-06-26 math.OC
A Unified Approach to the Global Exactness of Penalty and Augmented Lagrangian Functions II: Extended Exactness
在第二部分中,我们引入了罚函数和增广拉格朗日函数的整体扩张正合性的概念,并导出了扩张形式的局部化原理。扩展精确性的主要思想在于通过添加一些额外的变量来扩展原始约束最优化问题,然后构造扩展问题的惩罚/增广拉格朗日函数。这种方法允许设计扩展的惩罚/增广拉格朗日函数具有一些有用的属性(如平滑性),它们的对应物的原始问题可能不具备。利用本文提出的局部化原理,可以很容易地证明这种扩展的价值函数的全局精确性,从而将对全局精确性的研究归结为基于充分最优性条件和约束规格的价值函数的局部分析.利用局部化原理,得到了Huyer和Neumaier提出的广义罚函数的全局精确性的简单充要条件,并构造了求解非线性半定规划问题的全局精确连续可微增广Lagrange函数.
2018-11-23 math.OC
Consistent Approximations in Composite Optimization
Naval Postgraduate School(海军研究生院)
在计算过程和灵敏度分析中出现了最优化问题的近似。结果对解决方案的影响可能是显著的,即使是一个问题的组成部分的小近似值也会转化为解决方案中的大错误。我们指定的条件下,近似表现良好的意义上的最小化,不动点,和水平集,这导致了一致的近似框架。该框架是为一类广泛的复合问题,这是既不凸也不光滑。我们使用随机最优化,基于神经网络的机器学习,分布鲁棒优化,惩罚和增广拉格朗日方法,邻域点方法,同伦方法,平滑方法,扩展非线性规划,差分凸规划和多目标最优化的例子来演示该框架。一个增强的近端方法说明了算法的可能性。定量分析通过提供收敛率来补充发展。
2022-08-08 cs.LG math.OC stat.ML
An Interior Point-Proximal Method of Multipliers for Convex Quadratic Programming
本文将不可行内点法(IPM)与邻近乘子法(PMM)相结合。所得到的算法(IP-PMM)被解释为一个原始-对偶正则IPM,适用于求解线性约束凸二次规划问题。我们将内点方法的几次迭代应用于邻近乘子方法的每个子问题。一旦找到PMM子问题的满意解,我们更新PMM参数,形成新的IPM邻域并重复此过程。在这个框架下,我们证明了多项式复杂性的算法,在标准的假设。据我们所知,这是原始-对偶正则化IPM的第一个多项式复杂度结果。该算法是指导使用一个单一的罚参数,即对数障碍。换句话说,我们表明,IP-PMM继承IPMs的多项式复杂性,以及严格的凸性的PMM子问题。罚参数的更新由IPM控制,因此是良好调整的,并且不依赖于所解决的问题。此外,我们研究的行为时,它被应用到一个不可行的问题,并确定了一个必要条件不可行的方法。后者用于构建不可行性检测机制。随后,我们提供了一个强大的实现所提出的算法,并测试了一组小到大规模的线性和凸二次规划问题。数值结果表明,在IPM中使用正则化的好处,以及该方法的可靠性。
2020-03-05 math.OC
The Exact Projective Penalty Method for Constrained Optimization
本文提出一种精确投影罚方法,将约束优化问题等价转化为无约束或箱式约束问题,通过投影距离扩展目标函数,无需选择罚系数,并结合分支定界与局部优化求解。
2023-12-04 math.OC
A Sequential Quadratic Programming Method for Constrained Multi-objective Optimization Problems
针对不等式约束的多目标最优化问题,提出了一种全局收敛的序列二次规划方法。通过对所有目标函数和约束函数进行线性逼近,得到了一个可行的下降方向。子问题在序列的每一次迭代中都有可行解。一个不可微的罚函数被用来处理约束违反。在Mangasarian-Fromovitz约束规格和其他一些温和的假设下,生成收敛到临界点的下降序列。该方法与现有的方法选择一组合适的测试问题进行比较。
2020-04-30 math.OC