Error Bounds and a Smoothing Penalty Method for Binary Orthogonal Optimization
JNU（暨南大学）
针对二元正交优化，本文建立了最优利普希茨误差界，开发了平滑罚方法SPBO，实验显示其可减少正交性违反并保持竞争力。
2026-10-14 math.OC
Implementing a smooth exact penalty function for equality-constrained nonlinear optimization
基于Fletcher（1970）提出的光滑罚函数，我们提出了一种一般的等式约束非线性最优化算法。虽然它在历史上被认为是计算上禁止在实践中，我们证明，所需的计算内核并不比其他广泛接受的非线性最优化方法更昂贵。计算罚函数及其导数所需的主要核心是求解一个结构化的线性系。我们展示了如何有效地解决这个系统存储一个单一的分解每次迭代时，矩阵是明确的。我们进一步展示了如何通过迭代求解线性系来使罚函数适应于无因子分解算法类。因此，当线性系可以被有效地求解时，罚函数具有希望，例如，对于存在有效预条件子的偏微分方程约束最优化问题。我们讨论的扩展，包括处理简单的约束显式，正则化的罚函数，和不精确的评价的罚函数及其梯度。我们证明了该方法的优点和它的各种功能上的一些非线性规划从一个标准的测试集，和一些偏微分方程约束的最优化问题。
2019-10-09 cs.NA math.NA math.OC
Implementing a smooth exact penalty function for general constrained nonlinear optimization
我们在Estrin等人（2019）的基础上，基于Fletcher（1970，1973 b）提出的平滑罚函数开发了一种通用的约束非线性最优化算法。虽然弗莱彻的方法在历史上被认为是不切实际的，我们表明，所需的计算内核并不比那些在其他广泛接受的方法非线性最优化更昂贵。计算罚函数及其导数的主要内核解决了结构化线性系。当矩阵显式可用时，我们在每次迭代中存储单个因子分解。另外，我们通过迭代求解每个线性系得到一个无因子分解的优化算法。罚函数在线性系可以有效求解的情况下显示出希望，例如，存在有效预条件子时的偏微分方程约束最优化问题。我们证明了这种方法的优点，并给出了几个PDE约束和标准测试问题的数值结果。
2019-12-03 cs.NA math.NA math.OC
Penalty-Based Smoothing and Accelerated Inertial Dynamics for Convex Supremum Optimization
University of Limoges（利摩日大学）；Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出了一种基于惩罚的平滑方法，用于加速非光滑凸函数的优化，并通过惯性动力学实现加速收敛。
2026-10-30 math.OC
A unifying theory of exactness of linear penalty functions II: parametric penalty functions
In this article we develop a general theory of exact parametric penalty functions for constrained optimization problems . The main advantage of the method of parametric penalty functions is the fact that a parametric penalty function can be both smooth and exact unlike the standard (i.e. non-parametric) exact penalty functions that are always nonsmooth. We obtain several necessary and/or sufficient conditions for the exactness of parametric penalty functions , and for the zero duality gap property to hold true for these functions. We also prove some convergence results for the method of parame…
2018-07-15 math.OC
An Alternating Direction Method with Increasing Penalty for Stable Principal Component Pursuit
稳定主元追踪（Stable Principal Component Pursuit，SPCP）是一个非光滑的凸优化问题，它的解使得即使只有一小部分数据是可观测的，也能可靠地恢复被密集噪声矩阵破坏的数据矩阵的低秩和稀疏分量。本文提出了一种求解SPCP的新算法。该算法是一个修改的交替方向法的乘法器（ADMM），我们使用一个递增序列的罚参数，而不是一个固定的罚款。该算法是基于部分变量分裂和工作直接与非光滑目标函数。我们证明了原始序列和对偶序列在罚参数序列上在较弱的条件下收敛。据我们所知，这是第一个收敛结果的可变罚款ADMM时，罚款是没有界的，目标函数是非光滑的，它的次微分不是一致有界的。使用部分变量分裂和采用递增序列的惩罚乘数，一起，显着减少所需的迭代次数，以实现实际的可行性。我们的初步计算测试表明，该算法在实践中非常好，并优于ASALM，一个国家的最先进的ADMM算法的SPCP问题与一个常数罚参数。
2015-02-09 math.OC
A Multi-objective Sequential Quadratic Programming Algorithm Based on Low-order Smooth Penalty Function
提出一种以低阶光滑罚函数为线搜索价值函数的MOSQP算法，通过QP子问题、非支配点过滤、Armijo规则及Powell修正求解约束多目标优化问题，并证明其收敛至近似Pareto前沿。
2025-03-12 math.OC
Tensor train solution to uncertain optimization problems with shared sparsity penalty
开发一阶和二阶数值优化方法，利用张量积逼近和平滑共享稀疏性惩罚求解受不确定性微分方程约束的非光滑优化问题，实现误差线性收敛并在高维不确定性下获得稀疏高分辨率设计。
2025-09-17 cs.NA math.NA math.OC
A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold
转化为具有凸紧约束的精确罚函数模型，得到了求解正交约束最优化问题的有效的不可行方法。对于光滑和$\ell_{2,1}$ -范数正则化的情形，这些不可行方法采用了简单的无正交归一化的更新方案，并在测试实例中显示了其高效性。然而，为了避免正交归一化，同时加强最终解决方案的可行性，这些不可行的方法引入了二次惩罚项，其中不适当的罚参数可能导致数值效率低下。受光滑最优化问题的无惩罚算法的启发，提出了一类带正交约束和非光滑正则项的最优化问题的近似一阶算法.后件法称为序贯线性化邻近梯度法（SLPG），交替采用切向步长和法向步长分别提高最优性和可行性。在SLPG中，如果需要高精度的可行性，则仅在最后一步调用一次正交归一化过程，这表明SLPG中的主要迭代是无正交归一化的。此外，切向步长和法向步长均不涉及罚参数，因此SLPG是无惩罚的，避免了因罚参数选择不当而导致的无效。分析了在切向步长不精确计算的情况下SLPG的整体收敛性质。通过不精确地计算切向步长，对于光滑情形和$\ell_{2,1}$ -范数正则化情形，SLPG具有封闭形式的更新方案，这导致其切向步长的廉价。数值实验表明，与现有的一阶方法相比，SLPG具有数值优势。
2021-03-28 math.OC
Sparse Regularization by Smooth Non-separable Non-convex Penalty Function Based on Ultra-discretization Formula
针对ℓ₁范数稀疏优化解幅度偏小问题，提出基于超离散化公式的非凸非分离稀疏诱导惩罚函数ULPENS，可连续插值ℓ₁范数与非凸抑制函数，兼具光滑性与可控抑制性，经理论分析与数值实验验证有效性。
2025-09-24 eess.SP math.OC
Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters
本文研究了分布式优化中的通信代价和梯度计算代价，并对提出的分布式加速梯度法进行了复杂性分析。我们提出了两个算法的加速惩罚方法的基础上增加罚参数的框架。我们的第一个算法是光滑分布优化，它获得了接近最佳的$O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε\right)$通信复杂度和最佳的$O\left(\sqrt{\frac{L}ε}\right)$梯度计算复杂度的$L$光滑凸问题，其中$σ_2(W)$表示第二大奇异值的权重矩阵$W$与网络和$ε$是目标精度。当问题是$μ$ -强凸和$L$ -光滑时，我们的算法对于通信具有接近最优的$O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε\right)$复杂度，对于梯度计算具有最优的$O\left(\sqrt{\frac{L}μ}\log\frac{1}ε\right)$复杂度.我们的通信复杂性仅比平滑分布式优化的下限差$\left(\log\frac{1}ε\right)$的一个因子。%据我们所知，我们的方法是第一个实现通信和梯度计算下限到一个额外的对数因子光滑分布优化。我们的第二个算法是为非光滑分布优化设计的，它实现了最佳的$O\left(\frac{1}{ε\sqrt{1-σ_2(W)}}\right)$通信复杂度和$O\left(\fr…
2020-08-18 math.OC
Shape Derivative for Penalty-Constrained Nonsmooth-Nonconvex Optimization: Cohesive Crack Problem
研究了一类与变分不等式（VI）有关的带罚约束的非光滑非凸优化问题的形状可微性。准脆性断裂的具体问题描述了一个弹性体与巴伦布拉特粘性裂纹下的不等式条件下的非渗透的裂纹面。基于Lagrange方法，利用光滑罚函数和Lavrentiev正则化，导出了形状导数的计算公式。显式公式包含原始状态和伴随状态，并且对于寻找梯度算法的下降方向以从边界测量识别最佳裂纹形状是有用的。破坏性试验的数值例子是在2D。
2022-04-10 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
On the Softplus Penalty for Constrained Convex Optimization
本文研究基于softplus罚函数的约束凸优化重构，通过分析解路径推导目标值差距与约束违反度的紧致上界，并据此分析梯度方法在约束数大时的求解复杂度。
2023-05-21 math.OC
A Single-Loop Penalty-based Algorithm for Stochastic Minimax Optimization with Nonlinear Coupled Constraints
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）
本文提出SPACO算法，通过惩罚方法和正则化处理非光滑约束，实现单循环随机梯度优化，证明了其在站性和可行性方面的非渐近复杂度及渐近子序列收敛性。
2026-06-08 math.OC
Convergence Rate of a Penalty Method for Strongly Convex Problems with Linear Constraints
考虑一类具有强凸目标和线性不等式约束的最优化问题。为了能够处理大量的约束条件，我们提供了一个惩罚重新制定的问题。作为罚函数，我们使用单侧Huber损失的一个版本。这些功能的平滑特性，使我们能够选择随时间变化的罚参数，以这样一种方式，逐步减少步长的增量过程收敛到精确的解决方案的速度$O(1/{\sqrt k})$。据我们所知，我们提出的第一个结果的收敛速度的惩罚为基础的梯度法，其中的罚参数随时间变化。
2020-04-28 math.OC
Smoothing SQP methods for solving degenerate nonsmooth constrained optimization problems with applications to bilevel programs
我们考虑退化的非光滑和非凸最优化问题的标准约束规格，如广义Mangasarian Fromovitz约束规格（GMFCQ）可能不成立。利用具有梯度一致性的光滑函数逼近非光滑函数，在精确罚框架下提出了一种光滑序列二次规划（SQP）算法.证明了在乘子序列和精确罚参数序列有界的条件下，由光滑SQP算法生成的迭代序列的一个选定子序列的任何聚点都是Clarke平稳点.此外，我们提出了一个新的条件称为弱广义Mangasarian Fromovitz约束规格（WGMFCQ），是弱于GMFCQ。我们证明了WGMFCQ的扩展版本保证了乘子序列和精确罚参数序列的有界性，从而保证了光滑SQP算法的整体收敛。我们证明了WGMFCQ可以满足GMFCQ从来没有举行的双层计划。初步的数值实验表明，该算法对求解退化非光滑最优化问题（如简单双层规划）是有效的。
2014-06-03 math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
Error bound and exact penalty method for optimization problems with nonnegative orthogonal constraint
本文研究了带非负正交约束的优化问题，导出了局部和全局 Lipschitzian 误差界，证明了基于 $\ell_1$-范数和 Moreau 包络的全局精确惩罚性质，并提出了基于非单调线搜索近端梯度的实用惩罚算法，在解质量上优于现有方法。
2025-02-04 math.OC
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
A penalty barrier framework for nonconvex constrained optimization
针对非凸约束优化中纯障碍方法收敛受阻的问题，提出结合精确惩罚与内点法的惩罚障碍框架，通过边缘化步骤合并两者为平滑全域函数对象，解耦子问题与显式约束以利用高效求解器，推导了非凸问题收敛结果并验证其适用性。
2025-08-18 math.OC
Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach
本文考虑了极小化一个凸函数的问题。这是机器学习等各个领域中出现的重要问题。主要困难在于求一点在多个集合的交集中的投影。现有的方法产生一个不可行点的迭代复杂度为$O(1/\varepsilon^2)$的非光滑问题，没有保证的不可行。通过精确罚函数的形式化，我们得到了一阶算法，它不仅保证了到交点的距离很小，而且对于光滑函数，提高了$O(1/\varepsilon)$和$O(1/\sqrt{\varepsilon})$的复杂度.对于复合材料和光滑的问题，这是通过一个鞍点重新制定所需的原始对偶法的近端运营商可以计算在封闭的形式。我们说明了我们的方法的好处图转换问题和图匹配。
2017-10-17 math.OC
Smoothed Hinge Loss and $\ell^{1}$ Support Vector Machines
本文提出一种求解软边距支持向量机优化问题的新算法，采用平滑合页损失函数和主动集方法处理ℓ¹惩罚，以减少数据遍历次数，适用于大规模数据集。
2018-08-21 cs.NA math.NA math.OC
Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition
University of Rochester（罗切斯特大学）；Cornell University（康奈尔大学）
本文提出PBGD-Free算法，通过解耦变量和引入平坦性条件，改进双层优化的收敛性和效率。
2025-11-20 cs.LG math.OC stat.ML
Existence and Approximability Results for variational problems under uniform constraints on the gradient by power penalty
研究了梯度上一致拟凸约束下的变分问题。特别是，这些问题的解决方案的存在性证明，以及存在的拉格朗日乘子相关联的一致约束。它们满足欧拉-拉格朗日方程和互补性。我们的技术包括在近似的原始问题的一个参数家庭的光滑无约束最优化问题。数值实验证实了我们的方法能够准确地计算解决方案和拉格朗日乘子。
2014-05-28 math.OC
A hybrid penalty method for a class of optimization problems with multiple rank constraints
本文考虑Hankel结构矩阵上多秩约束下光滑目标的极小化问题。这类问题出现在系统辨识、系统理论和信号处理中，其中秩约束是典型的“硬约束”。为了解决这些问题，我们提出了一种混合惩罚方法，结合了惩罚方法与后处理方案。具体来说，我们解决的惩罚子问题，直到罚参数达到一个给定的阈值，然后切换到一个局部交替“伪投影”的方法，以进一步减少约束违反。伪投影是投影概念的推广。我们表明，在温和的假设下，可以通过现有的软件（如SLRA）（Markovsky和Rovich，2014）有效地计算到{ \em single}低秩Hankel结构矩阵约束上的伪投影。我们还演示了如何在混合惩罚方法的惩罚子问题可以解决伪投影为基础的最优化方法，然后给出我们的混合惩罚方法的一些收敛性结果。最后，通过数值例子说明了该方法的有效性.
2019-06-25 math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
本文提出了一种非光滑等式约束优化的精确惩罚方法，通过近端型算法高效实现，并建立了最坏情况复杂度界。
2025-11-28 math.OC
Subdifferentials and penalty approximations of the obstacle problem
本文通过非线性PDE惩罚方法逼近障碍问题，利用容量理论证明解映射导数弱收敛到强-弱Bouligand次微分，适用于光滑与非光滑惩罚项，并推导出最优控制理论推论。
2025-05-23 math.AP math.OC
Penalty and Augmented Lagrangian Methods for Constrained DC Programming
本文考虑了一类结构非光滑凸差分约束DC规划，其中目标和约束的第一凸分量是光滑函数和非光滑函数之和，第二凸分量是多个凸光滑函数的上确界.现有的求解该问题的方法通常收敛性保证较弱或需要一个可行的初始点。受最近工作的启发（数学运算。Res. 42（1）：95- 118，2017 by Pang et al.），本文对所考虑的问题提出了两种强收敛保证的不可行方法。第一种是罚方法，它包括寻找一个近似的D-稳定点的一系列惩罚子问题。我们表明，任何可行的积累点的解决方案序列所产生的这种惩罚方法是一个B-平稳点的问题下，最弱的可能的假设，它满足逐点斯莱特约束规格（PSCQ）。第二个是增广拉格朗日（AL）方法，包括寻找一个近似的D-稳定点的一系列AL子问题。在与罚函数法相同的PSCQ条件下，证明了由AL方法生成的解序列的任何可行聚点都是问题的B-平稳点，并且它满足问题的KKT型最优性条件，同时还满足一组辅助Lagrange乘子序列的任何聚点.我们还提出了一个有效的逐次凸逼近方法计算的近似D-稳定点的惩罚和AL子问题。最后，通过数值实验验证了本文方法的有效性.
2021-11-17 math.OC
Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints Algorithms: Penalty Interior-Point, Implicit-Programming, and Piecewise SQP
College of Engineering, Boston University（波士顿大学工程学院）
本文探讨了处理带均衡约束的数学规划问题（MPECs）的几种算法，包括罚内点法、单调线性互补问题变体、隐式编程下降法和分段SQP方法，分析了其模型、搜索方向子问题、全局化机制及收敛性。
2026-04-17 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Exact Penalties for Decomposable Optimization Problems
考虑一般的可分解凸优化问题。通过使用右侧分配技术，它可以转化为一个小维最优化问题的集合。主问题是一个凸非光滑最优化问题。我们提出应用精确非光滑罚函数法，在给定的罚参数下给出了初始问题的解，并提供了下层问题的相容性。主问题采用双速次梯度投影法求解，提高了步长的选择。计算实验的初步结果证实了它的有效性。
2020-10-01 math.OC
Approximation Analysis of the Entropic Penalty in Quadratic Programming
本文针对二次规划中的熵惩罚正则化，证明凹情形下逼近间隙指数衰减，不定或凸情形下至多线性衰减，并据此设计算法及应用于离散Gromov-Wasserstein问题，给出首个指数级逼近界。
2025-09-24 math.OC
An exact penalty approach for optimization with nonnegative orthogonality constraints
非负正交约束优化在机器学习和数据科学中有着广泛的应用。它是NP难的，由于一些组合性质的约束。首先，我们提出了一个等效的优化配方与非负和多个球形约束和一个额外的单一非线性约束。各种约束规格，一阶和二阶最优性条件的等价制定进行了讨论。通过建立可行集的局部误差界，在保持非负约束和多重球面约束的条件下，设计了一类（光滑）精确罚函数模型。如果罚参数足够大而不是趋于无穷大，则罚模型是精确的。一个实用的惩罚算法与后处理，然后开发。它使用二阶方法近似求解一系列具有非负和多个球面约束的子问题。研究了罚算法的渐近收敛性，证明了任意极限点都是原问题的弱不动点，并在适当的条件下成为不动点.在投影问题、正交非负矩阵分解问题和K-指标模型上的大量数值结果表明了该方法的有效性。
2020-12-31 math.OC
Euclid in a Taxicab: Sparse Blind Deconvolution with Smoothed l1/l2 Regularization
l1/l2比率正则化函数在盲反卷积的背景下，在最近的一些工作中已经显示出用于检索稀疏信号的良好性能。实际上，它受益于在盲环境中非常期望的尺度不变性性质。然而，l1/l2函数提出了一些困难时，解决非凸和非光滑的最小化问题，导致使用这样的惩罚项在目前的恢复方法。在本文中，我们提出了一个新的罚款的基础上光滑逼近的l1/l2函数。此外，我们开发了一个基于近似的算法来解决涉及这个函数的变分问题，我们得到理论收敛结果。我们证明了我们的方法的有效性，通过比较最近的交替优化策略处理的确切的L1/L2项，地震数据盲反褶积的应用。
2014-11-08 math.OC
Penalty methods to compute stationary solutions in constrained optimization problems
本文通过相应的无约束惩罚问题研究了一般约束最优化问题的平稳解。我们的目标是回答这样一个问题：“关于原始约束最优化问题的解，惩罚无约束问题的静态解告诉我们什么？”".我们通过建立全局（局部）极小值和两个最优化问题的稳定点之间的关系来回答后一个问题。考虑到问题的平稳解之间的强联系，我们引入了一个新的近似$\varepsilon$ -平稳解的约束最优化问题。我们提出了一个算法来计算这样一个近似的固定解决方案的一般约束最优化问题，即使在没有克拉克正则性。在合理的假设下，我们建立了我们的算法的速率$O(\varepsilon^{-2})$，类似于平滑最小化的梯度下降法。由于我们的惩罚项是由距离函数的幂构造的，所以我们的平稳性分析在很大程度上依赖于距离函数的广义微分。特别是，我们的特点（半）可微的距离函数$\mbox{dist}(. ;X)$定义的Fréchet光滑范数，在几何的集合$X$。证明了$\mbox{dist} (. ;X)$是半可微的当且仅当$X$是几何可导的.后者打开了大门，设计优化算法的约束最优化问题，遭受克拉克不规则的目标和约束函数。
2022-06-24 math.OC
Computing Binary Integer Programming via A New Exact Penalty Function
针对无约束二元整数规划，提出基于分段三次函数的精确罚函数框架，引入P-稳定点并开发APPA算法，在温和假设下有限步收敛，实验表明其优于现有求解器。
2025-10-27 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
A Unified Approach to the Global Exactness of Penalty and Augmented Lagrangian Functions II: Extended Exactness
在第二部分中，我们引入了罚函数和增广拉格朗日函数的整体扩张正合性的概念，并导出了扩张形式的局部化原理。扩展精确性的主要思想在于通过添加一些额外的变量来扩展原始约束最优化问题，然后构造扩展问题的惩罚/增广拉格朗日函数。这种方法允许设计扩展的惩罚/增广拉格朗日函数具有一些有用的属性（如平滑性），它们的对应物的原始问题可能不具备。利用本文提出的局部化原理，可以很容易地证明这种扩展的价值函数的全局精确性，从而将对全局精确性的研究归结为基于充分最优性条件和约束规格的价值函数的局部分析.利用局部化原理，得到了Huyer和Neumaier提出的广义罚函数的全局精确性的简单充要条件，并构造了求解非线性半定规划问题的全局精确连续可微增广Lagrange函数.
2018-11-23 math.OC
Constrained Global Optimization by Smoothing
本文提出“连续随机平滑”方法，结合精确非光滑罚函数、核平滑与随机有限差分梯度下降，实现约束下非光滑、不连续函数的局部及全局优化。
2023-08-16 math.OC
Penalty decomposition derivative free method for the minimization of partially separable functions over a convex feasible set
本文提出一种罚分解无导数方法，用于在凸可行集上高效求解部分可分离函数的最小化问题，通过结合无导数线搜索方法，实现全局收敛性并验证其有效性。
2026-01-09 math.OC
Splitting forward-backward penalty scheme for constrained variational problems
本文研究了求解变分不等式\begin{equation*} A x +\nabla Φ(x)+ N_C (x) \ni 0 \end{equation*}的一种前后分裂算法，其中$H$是实Hilbert空间，$A: H\rightrightarrows H$是极大单调算子，$Φ: H\to\mathbb{R}$是光滑凸函数，$N_C$是闭凸集$C\subset H$的外法锥.约束集$C$表示为两个凸惩罚函数$Ψ_1:H\to\mathbb{R}$和$Ψ_2: H\to\mathbb{R}\cup \{+\infty\}$的最小值集的交集。函数$Ψ_1$是光滑的，函数$Ψ_2$是适当的和下连续的。给定趋于无穷大的惩罚参数序列$(β_n)$和正时间步长序列$(λ_n)$，算法$$ \left\{\begin{array}{rcl} x_1 & \in & H,\\ x_{n+1} & = & (I+λ_n A+λ_nβ_n\partialΨ_2)^{-1}(x_n-λ_n\nablaΦ(x_n)-λ_nβ_n\nablaΨ_1(x_n)),\ n\geq 1. \end{array}\right. $$在平滑部分上执行前向步骤，在其它部分上执行后向步骤。在适当的假设下，我们得到序列$(x_n)$弱遍历收敛到变分不等式的解。当$A$是强单调的或$Φ$是强凸的时，收敛是强的。当$A$是一个…
2014-08-05 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数（含假惩罚与对偶平滑）的原始-对偶一阶算法，用于线性约束非凸复合优化，在标准假设下收敛至平稳解，且无需有界性及满射性假设，单循环复杂度O(1/ε²)，实验验证有效。
2023-06-20 math.OC
An Exact Penalty Approach for General $ \ell_0 $-Sparse Optimization Problems
针对含 $ \ell_0 $ 拟范数的非凸不连续稀疏优化问题，提出一类光滑非线性规划等价重构，并引入定制约束规范、最优性条件及精确罚方法，在多种应用中表现优异。
2023-12-25 math.OC
Penalty-based Methods for Simple Bilevel Optimization under Hölderian Error Bounds
针对现有简单双层优化方法收敛性差、速率慢或假设强的问题，提出适配不同光滑凸性假设的惩罚框架，在Hölderian误差界下得到多种场景的复杂度结果，实验验证了算法有效性。
2024-11-02 math.OC
A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization
Texas A&M University（得克萨斯农工大学）
针对随机双层优化，提出单循环恒定批量一阶罚方法SICO，结合投影与指数移动平均，实现最优样本复杂度，解决开放问题。
2026-10-07 cs.LG math.OC
Shape derivatives for the penalty formulation of contact problems with Tresca friction
本文研究了摩擦接触下线弹性体的形状优化问题。由于接触问题的公式化涉及到投影算子，所以一般情况下，该解不是形状可微的。此外，接触区的形状优化需要计算接触体之间的间隙及其形状导数。利用方向导数，得到了形状可微的充分条件。%这个问题是在两个具有光滑边界的机构的一般框架中解决的。然后，给出了基于这些形状导数的梯度下降算法的数值结果。
2020-06-04 cs.NA math.NA math.OC
Convergence analysis of linearized $\ell_q$ penalty methods for nonconvex optimization with nonlinear equality constraints
针对带非线性等式约束的非凸优化问题，提出带二次正则的线性化$\u2113_q$惩罚方法，给出动态正则参数选择规则下的收敛复杂度，并通过数值对比验证算法性能。
2025-03-20 math.OC
Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach
我们考虑最小化的非光滑目标函数的集合约束的分布式方式的总和。针对这一问题，我们首次提出了一种具有指数收敛速度的分布式算法。通过精确惩罚法，我们将该问题等价地转化为一个没有共识约束的标准分布式问题。然后利用微分包含设计了一个分布式投影次梯度法。此外，我们证明了算法收敛到最优解的强凸目标函数指数。
2020-01-03 math.OC
A single-loop proximal-conditional-gradient penalty method
本文针对线性耦合约束下的凸可分优化问题，提出单循环 proxCG$^{\rm pen}_{1\ell}$ 惩罚方法，并证明其目标偏差、可行性违反及 KL 条件下的迭代收敛速率。
2025-07-28 math.OC
Projection Neural Network for a Class of Sparse Regression Problems with Cardinality Penalty
本文考虑一类稀疏回归问题，其目标函数是凸损失函数和基数罚函数之和。通过构造基数函数的平滑函数，我们提出了一种投影神经网络，并设计了一种修正方法来解决这个问题。所提出的神经网络的解是唯一的、全局存在的、有界的和全局Lipschitz连续的。此外，我们证明了所提出的神经网络的所有聚集点有一个共同的支持集和一个统一的下界的非零元素。结合所提出的神经网络与校正方法，任何校正的聚点是所考虑的稀疏回归问题的局部极小。此外，我们还分析了所考虑的稀疏回归问题和另一个稀疏回归问题在局部极小点上的等价关系。最后，通过数值实验验证了所提出的神经网络在解决实际稀疏回归问题中的有效性。
2021-06-10 cs.NE math.OC
Conditions on optimal support recovery in unmixing problems by means of multi-penalty regularization
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory AS（Simula研究实验室有限公司）
本文研究了通过多惩罚正则化方法在混叠逆问题中实现最佳支持恢复的条件，通过数值模拟验证了其在稀疏恢复中的优越性。
2016-01-07 cs.NA math.NA math.OC
Complexity of linearized quadratic penalty for optimization with nonlinear equality constraints
针对带局部光滑非线性等式约束的非凸优化问题，提出线性化二次罚函数方法，基于自适应正则化参数保证迭代在$\mathcal{O}(ε^{-2.5})$次内收敛到$ε$一阶最优解，KL性质下序列收敛且有更优局部速率，数值验证有效。
2024-11-28 math.OC
Penalty-regulated dynamics and robust learning procedures in games
Inria（法国国立信息学及应用数学研究院）；CNRS (French National Center for Scientific Research)（法国国家科学研究中心）
从启发式学习计划n人对策，我们推导出一类新的连续时间学习动态组成的复制器一样的漂移调整的惩罚项，使游戏的策略空间的边界排斥。这些惩罚调节的动态相当于参与者保持其持续收益的指数折扣总和，然后使用平滑的最佳对策来选择基于这些表现得分的行动。由于这种固有的双重性，建议的动态满足一个变种的民间定理的进化对策论，他们收敛到（任意精确）近似的纳什均衡在潜在的游戏。受流量工程应用的启发，我们进一步利用这种对偶性来设计一个离散时间，基于收益的学习算法，该算法保留了这些收敛特性，只需要玩家观察他们在游戏中的收益：此外，该算法在存在随机扰动和观测误差的情况下仍然是鲁棒的，并且它不需要玩家之间的任何同步。
2014-04-06 cs.GT cs.LG math.OC
