Penalty Adversarial Network (PAN): A neural network-based method to solve PDE-constrained optimal control problems
本文提出惩罚对抗网络(PAN),通过同时求解两个相互竞争的惩罚问题实现惩罚参数自动调整,并扩展为基于神经网络求解线性或非线性偏微分方程约束最优控制问题的方法。
2024-09-03 math.OC
A penalty scheme to solve constrained non-convex optimization problems in $BV(Ω)$
研究了具有双边逐点不等式约束的$BV(Ω)$中的非凸优化问题。我们提出了一个正则化和惩罚的方法来数值求解这个问题。在一定条件下,迭代的弱极限点对原问题是平稳的。此外,我们证明了原问题的最优性条件,包含拉格朗日乘子的不等式约束。数值实验证实了理论结果。
2021-10-05 math.OC
Tikhonov regularized exterior penalty dynamics for constrained variational inequalities
本文提出一种基于罚正则化动力系统的连续时间方法,通过引入显式Tikhonov正则化参数,在无限维Hilbert空间中求解约束变分不等式,实现强收敛并有效求解约束极小极大问题。
2024-03-20 math.OC
Ghost Penalties in Nonconvex Constrained Optimization: Diminishing Stepsizes and Iteration Complexity
考虑非凸约束最优化问题,提出了一种基于罚函数的收敛性分析方法。我们使用经典的罚函数在一个非常规的方式,罚函数只进入理论分析的收敛性,而算法本身是无惩罚。基于这一思想,我们能够建立几个新的结果,包括第一次一般性分析的非凸,约束优化,收敛到广义平稳点,SQP型算法的复杂性研究的步长递减方法。
2020-05-30 math.OC
Solving Chance Constrained Programs via a Penalty based Difference of Convex Approach
HKUST(香港科技大学);School of Economics, Fudan University(复旦大学经济学院);IEDA(数据科学研究所);School of Data Science, Fudan University(复旦大学数据学院)
本文提出两种基于惩罚的差分凸算法,用于求解机会约束程序。通过秩为基础的差分凸分解,设计了无需可行初始点的近端惩罚差分凸算法,并通过提升形式提升数值稳定性,证明了惩罚提升问题在对偶空间中的可计算结构。
2026-03-13 math.OC
A twice continuously differentiable penalty function for nonlinear semidefinite programming problems and its application
Graduate School of Management, Tokyo Metropolitan University(东京都立大学经营管理研究科)
本文针对非线性半定规划问题提出二次连续可微罚函数,解决现有罚函数与二阶平稳点方法兼容性低的问题,提出实用罚函数法验证其与AKKT、CAKKT条件的高亲和性并展示收敛性。
2025-09-24 math.OC
A modified exact penalty approach for general constrained $\ell_0$-sparse optimization problems
针对带$\u2113_0$-稀疏项的一般约束优化问题,提出一种可直接处理无强制非负约束场景的改进精确罚方法,配套子问题求解技术并通过大量数值测试验证。
2025-09-03 math.OC
Cardinality Constrained Mean-Variance Portfolios: A Penalty Decomposition Algorithm
针对现有基数约束均值-方差投资组合求解方法依赖正则化近似、超参数多且维度高的问题,提出定制化惩罚分解算法,用带闭式解的BCD求解惩罚子问题,可收敛到局部极小值且在真实数据集上效率和性能优于现有最优方法。
2024-07-11 math.OC
Asymptotic behavior of penalty dynamics for constrained variational inequalities
University of Mannheim(曼海姆大学);Faculty of Science and Engineering, Systems, Control and Optimization — Bernoulli Institute, Rijksuniversiteit Groningen(格罗宁根大学科学工程学院系统、控制与优化——伯努利研究所)
本文提出结合 Tikhonov 正则化与外部罚项的多尺度演化方程框架,证明轨迹强收敛到约束变分不等式的最小范数解,并扩展至完全分裂形式。
2026-11-13 math.OC
Second-Order Necessary Conditions, Constraint Qualifications and Exact Penalty for Mathematical Programs with Switching Constraints
本文研究了切换约束数学规划(MPSC)的二阶必要条件与精确罚函数,引入新的二阶约束规范与二阶拟正规性,推导了稳定点刻画,并在弱约束规范下建立了二阶必要条件与局部精确罚函数。
2024-07-26 math.OC
Penalty and Augmented Lagrangian Methods for Constrained DC Programming
本文考虑了一类结构非光滑凸差分约束DC规划,其中目标和约束的第一凸分量是光滑函数和非光滑函数之和,第二凸分量是多个凸光滑函数的上确界.现有的求解该问题的方法通常收敛性保证较弱或需要一个可行的初始点。受最近工作的启发(数学运算。Res. 42(1):95- 118,2017 by Pang et al.),本文对所考虑的问题提出了两种强收敛保证的不可行方法。第一种是罚方法,它包括寻找一个近似的D-稳定点的一系列惩罚子问题。我们表明,任何可行的积累点的解决方案序列所产生的这种惩罚方法是一个B-平稳点的问题下,最弱的可能的假设,它满足逐点斯莱特约束规格(PSCQ)。第二个是增广拉格朗日(AL)方法,包括寻找一个近似的D-稳定点的一系列AL子问题。在与罚函数法相同的PSCQ条件下,证明了由AL方法生成的解序列的任何可行聚点都是问题的B-平稳点,并且它满足问题的KKT型最优性条件,同时还满足一组辅助Lagrange乘子序列的任何聚点.我们还提出了一个有效的逐次凸逼近方法计算的近似D-稳定点的惩罚和AL子问题。最后,通过数值实验验证了本文方法的有效性.
2021-11-17 math.OC
Computing Binary Integer Programming via A New Exact Penalty Function
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院)
针对无约束二元整数规划,提出基于分段三次函数的精确罚函数框架,引入P-稳定点并开发APPA算法,在温和假设下有限步收敛,实验表明其优于现有求解器。
2025-10-27 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地,目标函数具有$f + h$的形式,其中$f$是梯度为Lipschitz连续的可微函数,而$h$是具有有界域的闭凸函数。该方法,基本上,包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度(ACG)方法。结果表明,该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后,数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University(普渡大学)
本文提出重启式惩罚APEX算法,用于求解未知分段光滑的凸函数约束优化问题,该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度,还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
A Smooth Inexact Penalty Reformulation of Convex Problems with Linear Constraints
在这篇工作中,我们考虑了一个带有线性不等式的约束凸问题,并给出了该问题的一个不精确的罚重新表述。新颖之处在于罚函数的选择,它是光滑的,并且可以在原约束问题的可行域中的某些点上产生非零罚。由此产生的无约束惩罚问题是由两个罚参数控制的斜率和曲率的罚函数参数化。通过适当地选择这些罚参数,我们证明了在某些假设下,所得到的罚无约束问题的解是原约束问题的解的\emph{feasible}。此外,我们建立了,适当的选择罚参数,惩罚无约束问题的解决方案可以实现一个次优值是任意接近的最优值的原始约束问题。对于含有大量线性不等式约束的问题,这种光滑的基于惩罚的重构方法的一个特别的优点是,它使得惩罚问题适合于快速增量梯度法的实现,这种方法在每次迭代时只需要从不等式约束中提取一个样本。我们考虑应用SAGA提出的\cite{saga}来解决由此产生的惩罚无约束问题。此外,我们提出了另一种方法来设置惩罚问题。这种方法是基于随时间变化的罚参数,因此,不需要一些问题的特定属性的知识,这可能是难以估计的。我们证明了在强凸目标函数的情况下,应用于相应的时变惩罚问题的单循环全梯度算法收敛于原约束问题的解。
2020-04-30 math.OC
The Exact Projective Penalty Method for Constrained Optimization
本文提出一种精确投影罚方法,将约束优化问题等价转化为无约束或箱式约束问题,通过投影距离扩展目标函数,无需选择罚系数,并结合分支定界与局部优化求解。
2023-12-04 math.OC
A penalty-interior point method combined with MADS for equality and inequality constrained optimization
Polytechnique Montréal(蒙特利尔理工学院);“Sapienza” University of Rome(罗马大学);NOVA University of Lisbon(里斯本新大学)
本文提出了一种结合MADS的罚函数-内点法,用于解决具有等式和不等式约束的非光滑黑箱优化问题,通过改进的罚函数和障碍项策略提升求解效率。
2026-01-28 math.OC
Nonsmooth method for constrained optimization
针对不等式约束最优化问题的精确惩罚法,提出了一种隐式迭代算法。针对正则化罚泛函,提出了一种快速收敛的不动点方法。通过大规模不等式约束问题的求解,验证了该方法的适用性和可行性。
2012-10-04 math.OC
Shape Derivative for Penalty-Constrained Nonsmooth-Nonconvex Optimization: Cohesive Crack Problem
研究了一类与变分不等式(VI)有关的带罚约束的非光滑非凸优化问题的形状可微性。准脆性断裂的具体问题描述了一个弹性体与巴伦布拉特粘性裂纹下的不等式条件下的非渗透的裂纹面。基于Lagrange方法,利用光滑罚函数和Lavrentiev正则化,导出了形状导数的计算公式。显式公式包含原始状态和伴随状态,并且对于寻找梯度算法的下降方向以从边界测量识别最佳裂纹形状是有用的。破坏性试验的数值例子是在2D。
2022-04-10 math.OC
Exact penalty functions and global saddle points of augmented Lagrangians for well-posed constrained optimization problems
本文通过提出一种新的扩展适定性概念,将精确罚函数和增广拉格朗日函数全局鞍点的充分条件从有限维推广到无穷维约束优化问题,避免了文献中常用的严格且难以验证的假设。
2025-08-22 math.OC
The Projected Hessian Quantification Theorem: Exact Duality For Constrained Eigenvalues
School of System Science and Statistics, Beijing Wuzi University(北京物资大学系统科学与统计学院);LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(北京航空航天大学数学科学学院教育部重点实验室)
本文提出投影Hessian量化定理,精确刻画约束特征值,并开发无矩阵罚-分裂-合并方法,用于高效求解约束极值特征对。
2026-09-17 math.OC
A graph-based heuristic for the non-stationary stochastic lot-sizing problem under penalty costs
Business School, University of Edinburgh(爱丁堡大学商学院)
提出一种基于有向无环图的最短路径算法,通过松弛非负订单约束并采用重复增广过程解决不可行性,高效求解非平稳随机需求下的单物品批量问题。
2026-06-24 math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
GERAD;Department of Mathematics and Industrial Engineering, Polytechnique Montréal(蒙特利尔高等商学院数学与工业工程系)
本文提出了一种非光滑等式约束优化的精确惩罚方法,通过近端型算法高效实现,并建立了最坏情况复杂度界。
2025-11-28 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数(含假惩罚与对偶平滑)的原始-对偶一阶算法,用于线性约束非凸复合优化,在标准假设下收敛至平稳解,且无需有界性及满射性假设,单循环复杂度O(1/ε²),实验验证有效。
2023-06-20 math.OC
A penalty method for PDE-constrained optimization in inverse problems
许多逆问题和参数估计问题可以写成偏微分方程约束的最优化问题。然后,我们的目标是推断参数,通常是系数的偏微分方程,从部分测量的解决方案的偏微分方程的几个右手边。这样的偏微分方程约束的问题可以通过找到一个稳定点的拉格朗日,这需要同时更新的参数和(伴随)状态变量。对于大规模的问题,这种一次性的方法是不可行的,因为它需要存储所有的状态变量。在这种情况下,人们通常采取一种简化的方法,其中通过求解偏微分方程来明确消除约束(在每次迭代时)。这两种方法及其变体是求解由逆问题引起的偏微分方程约束最优化问题的主要工具。在本文中,我们提出了一种替代方法,旨在结合这两种方法的优点。我们的方法是基于约束最优化问题的二次惩罚公式。通过消除状态变量,我们开发了一个有效的算法,具有大致相同的计算复杂性的传统的减少的方法,同时利用更大的搜索空间。数值结果表明,该方法确实减少了问题的一些非线性,并且对初始扰动不太敏感。
2015-09-23 math.OC
Several classes of stationary points for rank regularized minimization problems
对于秩正则化极小化问题,我们通过问题本身及其等价的变换形式引入了几种稳定点,包括带平衡约束的数学规划(MPEC)、MPEC的全局精确罚函数、通过消除精确罚函数中的对偶部分而产生的替代函数.为这些平稳点建立了一个清晰的关系图,指导用户选择合适的重构来寻求低秩解。作为一个副产品,我们还提供了一个较弱的条件,局部极小的MPEC是M-稳定点的特征的方向限制法锥的图的法锥映射的半正定(PSD)锥。
2019-06-26 math.OC
Nonlinear Derivative-free Constrained Optimization with a Penalty-Interior Point Method and Direct Search
NOVA School of Science and Technology(新里斯本科学技术学院)
本文提出一种结合惩罚-内点方法与直接搜索的非线性约束无导数优化方法,通过分组处理约束条件并证明收敛性,实验显示其在鲁棒性和效率方面优于现有求解器。
2026-01-15 math.OC
Proximal Alternating Penalty Algorithms for Constrained Convex Optimization
本文提出了两种新的近似交替罚算法来求解一类广泛的约束凸优化问题。我们的方法主要依赖于一个新的组合的经典的二次惩罚,交替最小化,Nesterov的加速,和参数的自适应策略。第一个算法的目的是解决一般的和可能的非光滑约束凸问题,而不需要任何Lipschitz梯度连续性或强凸性,同时实现最著名的$O(\frac{1}{k})$ -收敛速度在非遍历意义上,其中$k$是迭代计数器。第二个算法也被设计来解决非强凸,但半强凸问题。该算法在原始约束问题上能达到最佳的$O(\frac{1}{k^2})$ -收敛速度。这样的速率在两种情况下获得:(i)仅在强凸项的π序列上求平均,或(ii)使用该项的两个邻近算子而不求平均。在这两种算法中,我们允许一个线性化的第二子问题,使用相应的目标项的邻近算子。然后,我们定制我们的方法来解决不同的凸问题,并导致新的变种。作为一个副产品,这些算法保持相同的收敛保证,在我们的主要算法。我们通过不同的数值例子验证我们的理论发展,并比较我们的方法与一些现有的国家的最先进的算法。
2018-09-19 math.OC
Nonlinear Derivative-free Constrained Optimization with a Penalty-Interior Point Method and Direct Search
提出联合使用混合惩罚-内点法与直接搜索解决非线性约束无导数优化问题,通过将约束分组处理并整合至直接搜索中,在无需凸性条件下证明收敛到KKT稳定点,数值实验验证了其高效性与鲁棒性。
2025-09-15 math.OC
A penalty barrier framework for nonconvex constrained optimization
针对非凸约束优化中纯障碍方法收敛受阻的问题,提出结合精确惩罚与内点法的惩罚障碍框架,通过边缘化步骤合并两者为平滑全域函数对象,解耦子问题与显式约束以利用高效求解器,推导了非凸问题收敛结果并验证其适用性。
2025-08-18 math.OC
A Partial Exact Penalty Function Approach for Constrained Optimization
本文针对含闭嵌入子流形等式约束的非线性优化问题,提出部分精确惩罚函数方法将其转化为约束消解问题,证明两者在温和条件下具有相同驻点和KKT点,从而提升高维场景下的计算效率。
2023-04-04 math.OC
A Distributed Buffering Drift-Plus-Penalty Algorithm for Coupling Constrained Optimization
针对时变有向网络中的耦合约束分布式优化,提出缓冲漂移加罚算法B-DPP,通过引入缓冲变量实现有限步可行,收敛速率优于现有方法。
2023-10-14 math.OC
Approaching the solving of constrained variational inequalities via penalty term-based dynamical systems
研究了一类与约束变分不等式相关的基于罚项的动力系统的(局部)绝对连续轨线的存在唯一性.依靠李雅普诺夫分析和遍历连续版本的著名Opial引理,我们证明弱遍历收敛的轨道的解决方案的约束变分不等式调查。如果其中一个算子满足更强的单调性,则可以证明轨迹的强收敛性。
2015-03-06 math.DS math.OC
An exact penalty approach for optimization with nonnegative orthogonality constraints
非负正交约束优化在机器学习和数据科学中有着广泛的应用。它是NP难的,由于一些组合性质的约束。首先,我们提出了一个等效的优化配方与非负和多个球形约束和一个额外的单一非线性约束。各种约束规格,一阶和二阶最优性条件的等价制定进行了讨论。通过建立可行集的局部误差界,在保持非负约束和多重球面约束的条件下,设计了一类(光滑)精确罚函数模型。如果罚参数足够大而不是趋于无穷大,则罚模型是精确的。一个实用的惩罚算法与后处理,然后开发。它使用二阶方法近似求解一系列具有非负和多个球面约束的子问题。研究了罚算法的渐近收敛性,证明了任意极限点都是原问题的弱不动点,并在适当的条件下成为不动点.在投影问题、正交非负矩阵分解问题和K-指标模型上的大量数值结果表明了该方法的有效性。
2020-12-31 math.OC
A unifying theory of exactness of linear penalty functions II: parametric penalty functions
In this article we develop a general theory of exact parametric penalty functions for constrained optimization problems . The main advantage of the method of parametric penalty functions is the fact that a parametric penalty function can be both smooth and exact unlike the standard (i.e. non-parametric) exact penalty functions that are always nonsmooth. We obtain several necessary and/or sufficient conditions for the exactness of parametric penalty functions , and for the zero duality gap property to hold true for these functions. We also prove some convergence results for the method of parame…
2018-07-15 math.OC
Implementing a smooth exact penalty function for equality-constrained nonlinear optimization
基于Fletcher(1970)提出的光滑罚函数,我们提出了一种一般的等式约束非线性最优化算法。虽然它在历史上被认为是计算上禁止在实践中,我们证明,所需的计算内核并不比其他广泛接受的非线性最优化方法更昂贵。计算罚函数及其导数所需的主要核心是求解一个结构化的线性系。我们展示了如何有效地解决这个系统存储一个单一的分解每次迭代时,矩阵是明确的。我们进一步展示了如何通过迭代求解线性系来使罚函数适应于无因子分解算法类。因此,当线性系可以被有效地求解时,罚函数具有希望,例如,对于存在有效预条件子的偏微分方程约束最优化问题。我们讨论的扩展,包括处理简单的约束显式,正则化的罚函数,和不精确的评价的罚函数及其梯度。我们证明了该方法的优点和它的各种功能上的一些非线性规划从一个标准的测试集,和一些偏微分方程约束的最优化问题。
2019-10-09 cs.NA math.NA math.OC
Limiting Stationarity of Regularized Gap-Function Reformulations for Bilevel Optimization with Unbounded Multipliers
Southern University of Science and Technology(南方科技大学);National Center for Applied Mathematics Shenzhen(深圳应用数学国家研究中心)
研究双层优化正则化间隙函数重构中乘子无界问题,证明近似平稳序列聚点的C平稳性,给出反例说明标准重构可能不保证M平稳性,引入新惩罚公式并开发方法,使其聚点满足M平稳性。
2026-07-21 math.OC
Linearly-constrained nonsmooth optimization for training autoencoders
针对一类两层神经网络的自编码器,提出了一种基于$l_1$范数惩罚的正则化极小化模型。我们表明,RP可以作为一个精确的惩罚模型,共享相同的全局极小,局部极小,d(方向)-平稳点与原来的正则化模型在温和的条件下。我们构造了一个有界的盒子区域,其中包含至少一个全局极小的RP,并提出了一个线性约束正则化极小化模型与$l_1$ -范数惩罚(LRP)的训练自动编码器。设计了一种光滑近似梯度算法来求解LRP。证明了算法收敛于RP和LRP的广义d-平稳点。综合数值实验令人信服地说明了所提出的算法的效率以及鲁棒性。
2022-04-21 math.OC
A penalty-type method for relaxed inverse optimal control problems
University of Siegen(锡根大学);Higher Training College, University of Yaoundé I(雅温得第一大学高等培训学院);AIMS-Cameroon Research Center(AIMS喀麦隆研究中心);University of Marburg(马尔堡大学)
本文提出一种罚类型方法,用于处理逆最优控制产生的双层优化问题,可计算松弛值函数重述的驻点,无需线搜索,收敛性有保证,数值实验验证了其有效性。
2026-08-14 math.OC
Implementing a smooth exact penalty function for general constrained nonlinear optimization
我们在Estrin等人(2019)的基础上,基于Fletcher(1970,1973 b)提出的平滑罚函数开发了一种通用的约束非线性最优化算法。虽然弗莱彻的方法在历史上被认为是不切实际的,我们表明,所需的计算内核并不比那些在其他广泛接受的方法非线性最优化更昂贵。计算罚函数及其导数的主要内核解决了结构化线性系。当矩阵显式可用时,我们在每次迭代中存储单个因子分解。另外,我们通过迭代求解每个线性系得到一个无因子分解的优化算法。罚函数在线性系可以有效求解的情况下显示出希望,例如,存在有效预条件子时的偏微分方程约束最优化问题。我们证明了这种方法的优点,并给出了几个PDE约束和标准测试问题的数值结果。
2019-12-03 cs.NA math.NA math.OC
A Penalty Decomposition Algorithm with Greedy Improvement for Mean-Reverting Portfolios with Sparsity and Volatility Constraints
在金融市场中,资产较少但方差较大的均值回归投资组合引起了投资者的极大兴趣。这样的投资组合是直接有利可图的,因为它们包括少量的资产,这些资产的价格不仅在长期均值附近可预测地波动,而且还具有足够的波动性。粗略地说,稀疏性使交易成本最小化,波动性提供套利机会,而均值回归属性为投资者提供了理想的投资策略。找到这样的有利的投资组合可以制定为一个非凸二次最优化问题与一个额外的稀疏约束。据我们所知,还没有解决这个问题并具有良好理论性质的方法。在本文中,我们开发了一个有效的两阶段算法解决这个问题。在第一阶段,我们应用一个定制的惩罚分解方法找到这个非凸问题的一个稳定点。对于固定的罚参数,利用块坐标下降法找到相应惩罚子问题的不动点。在第二阶段,我们通过一个贪婪的计划,解决限制非凸二次约束二次规划(QCQP),改善了第一阶段的结果。我们表明,这样的QCQP的最优值可以通过解决他们的半定松弛。最后,通过对S&P500指数的数值实验,验证了该算法的有效性.
2021-04-16 math.OC
Decentralized Multi-Agent Optimization Based on a Penalty Method
针对一般的凸约束多智能体最优化问题,提出了一种分散惩罚算法。每个辅助惩罚问题用一种特殊的并行下降分裂方法近似求解。该方法可以在计算网络中实现,其中每个代理仅向最近的邻居发送信息。在相当弱的假设条件下,该方法的收敛性。我们还描述了一个专业化的可行性问题的建议的方法。
2020-08-10 math.OC
Accelerated Nonconvex ADMM with Self-Adaptive Penalty for Rank-Constrained Model Identification
本文针对秩约束模型辨识问题,提出一种基于增广拉格朗日函数一阶分析的自适应惩罚更新策略,并结合Anderson加速方案,有效加速了非凸ADMM的收敛并降低了对惩罚参数调节的依赖。
2023-09-08 cs.SY eess.SY math.OC
New Penalized Stochastic Gradient Methods for Linearly Constrained Strongly Convex Optimization
对于最小化一个强凸目标函数的线性不等式约束,我们考虑一个惩罚的方法,允许利用随机方法的问题,大量的约束和/或目标函数条款。我们提供了上界的原始约束问题的解决方案之间的距离和惩罚重新制定,保证所提出的方法的收敛性。给出了一种嵌套加速随机梯度法,并提出了一种更新罚函数光滑参数和步长的新方法。该算法最多需要$\tilde O(1/\sqrtε)$期望的随机梯度迭代,以产生一个解决方案的预期距离内的$ε$的最优解的原始问题,这是最好的复杂度为这个问题的类,以我们所知的。我们还展示了如何查询一个近似的对偶解决方案后,随机解决的惩罚重新,导致对偶差距的收敛结果。此外,算法的嵌套结构和到最优解的距离上界允许安全地消除在整个算法中在最优解处不活动的约束,这导致改进的复杂性结果。最后,我们提出的计算结果表明,我们的算法的有效性和鲁棒性。
2022-02-15 math.OC
Exact Penalization at D-Stationary Points of Cardinality- or Rank-Constrained Problem
本文针对基数/秩约束非凸优化问题的紧松弛形式,扩展了trimmed lasso并统一分析,证明了局部最优与d-稳定的等价性,给出d-稳定点处的精确惩罚新结果,还讨论了相关算法问题。
2024-07-11 math.OC
Error Bounds and a Smoothing Penalty Method for Binary Orthogonal Optimization
JNU(暨南大学)
针对二元正交优化,本文建立了最优利普希茨误差界,开发了平滑罚方法SPBO,实验显示其可减少正交性违反并保持竞争力。
2026-10-14 math.OC
An Exact Penalty Approach for Equality Constrained Optimization over a Convex Set
本文提出约束消解方法,将凸集上等式约束优化问题转化为可行域不变且目标局部Lipschitz光滑的无约束问题,并证明两者在各类稳定点上的局部与全局等价性,数值实验验证了直接应用现有求解器的高效性。
2025-05-05 math.OC
Nesterov Acceleration for Equality-Constrained Convex Optimization via Continuously Differentiable Penalty Functions
我们提出了一个框架,使用Nesterov的加速方法的约束凸优化问题。我们的方法包括第一次重新作为一个无约束的最优化问题,使用连续可微的精确罚函数的原始问题。这种重新表述的基础上取代拉格朗日乘子的增广拉格朗日乘子函数的原始问题。这些拉格朗日乘子函数的表达式依赖于目标函数的梯度和约束条件,使得无约束的罚函数在一般情况下是非凸的,即使原问题是凸的.我们建立了无约束罚函数凸的目标函数和原问题的约束条件的充分条件。这使我们能够使用Nesterov的加速梯度法无约束凸优化,并实现了保证收敛速率,这是优于国家的最先进的一阶算法约束凸优化。模拟结果说明了我们的结果。
2021-03-11 cs.SY eess.SY math.OC
Self-Supervised Penalty-Based Learning for Robust Constrained Optimization
University of California-Berkeley(加州大学伯克利分校)
本文提出一种基于自监督惩罚损失函数的参数化约束鲁棒优化学习方法,无需预先求解实例即可训练神经网络近似最优解映射,并扩展至组合优化,实验表明其推理速度显著快于传统求解器,且可通过调节惩罚参数平衡次优性与鲁棒可行性。
2025-03-07 cs.LG math.OC
Smooth exact penalty functions II: a reduction to standard exact penalty functions
Huyer和Neumaier最近提出了一类新的光滑精确罚函数。本文证明了约束最优化问题的新光滑罚函数是精确的当且仅当该问题的标准非光滑罚函数是精确的。我们还提供了一些估计的精确罚参数的光滑罚函数,特别是,它的渐近行为作为标准$\ell_1$罚函数的精确罚参数的平方。简要讨论了一种减小光滑罚函数精确罚参数的简单方法,并研究了非线性项对该函数精确性的影响。
2018-01-29 math.OC
A Unified Primal-Dual Algorithm Framework for Inequality Constrained Problems
针对锥不等式约束的复合凸问题,提出了一种基于增广拉格朗日函数的统一的原始对偶法框架.新的框架是高度通用的。首先,它不仅涵盖了许多现有的算法,如PDHG,Chambolle-Pock(CP),GDA,OGDA和线性ALM,但也指导我们设计一个新的高效算法称为Simi-OGDA(SOGDA)。其次,它使我们能够研究增广罚项在收敛性分析中的作用。有趣的是,适当选择的惩罚不仅提高了上述方法的数值性能,而且在理论上使PDHG和SOGDA等算法收敛。在适当设计的步长和惩罚项下,我们的统一框架保持了$\mathcal{O}(1/N)$遍历收敛性,同时不需要任何关于最优拉格朗日乘子大小的先验知识。在适当的条件下,得到了仿射等式约束问题的线性收敛速率。最后,线性规划,$\ell_1$最小化问题,多块基追踪问题的数值实验证明了我们的方法的有效性。
2022-08-30 math.OC
Error bounds for rank constrained optimization problems and applications
研究了秩约束最优化问题,其可行集为秩约束集$\mathcal{R}=\!\big\{X\in\mathbb{X}\ |\ {\rm rank}(X)\le κ\big\}$与闭凸集$Ω$的交.在与原点的可行集相关联的一个多功能函数的镇定下,我们分别建立了估计从任何$X\in Ω$($X\in\mathbb{X}$)到可行集和解集的距离的局部(全局)Lipschitz型误差界,该误差界是三类常见的秩约束最优化问题所特别满足的.作为局部Lipschitzian型误差界的一个应用,我们证明了当罚参数超过某个阈值时,将秩约束移入目标所产生的罚问题的全局最优解集与原问题的全局最优解集一致,在这个意义上,罚问题是精确的.这特别地为(Gao and Sun,2010)中的罚问题(32)是否精确的公开问题提供了肯定的答案。作为另一个应用,我们推导出的误差界的迭代产生的多级凸松弛方法,这三类秩约束问题,并表明该界是不增加的阶段数的增加。
2016-03-23 math.OC
A Quadratic Penalty Method for Hypergraph Matching
超图匹配是计算机视觉中的一个基本问题。从数学上讲,它最大化一个多项式目标函数,受分配约束。本文将超图匹配问题转化为一个稀疏约束张量最优化问题。基于稀疏约束优化理论,刻画了该算法的最优性条件。通过丢弃稀疏性约束,我们证明了由此产生的松弛问题可以恢复原问题的全局极小值。在解决原问题的关键步骤是确定的位置,非零项目(称为支撑集)的全球最小。受此启发,我们惩罚的等式约束,并应用二次惩罚方法来解决松弛问题。在合理的假设下,我们证明了当迭代次数足够大时,超图匹配问题的全局极小点的支撑集可以被正确地识别。采用投影梯度法作为子求解器求解二次罚函数子问题。数值结果表明,支撑集的精确恢复确实发生,所提出的算法是有效的,在精度和速度。
2017-11-13 math.OC
Penalty methods for a class of non-Lipschitz optimization problems
考虑一类约束最优化问题,其目标函数为非Lipschitz,凸可行集为多面体与退化椭球的交.这些问题在数据科学中有广泛的应用,其中目标用于在解中诱导稀疏性,而约束集对噪声容限进行建模,并结合其他先验信息进行数据拟合。对于这类约束最优化问题,常用的方法是罚函数法。然而,对于非凸和非Lipschitz目标函数的问题,几乎没有关于精确惩罚的理论。本文在适当的假设下,研究了局部极小、驻点和$ε$ -极小的精确罚参数的存在性。此外,我们讨论了一种罚方法,其子问题通过一个非单调的近似梯度法和一个适当的更新方案的罚参数,并证明了该算法收敛到一个KKT点的约束问题。初步的数值结果表明,罚方法的效率,寻找欠定线性系的稀疏解。
2016-04-07 math.OC stat.ML