Huber Loss-Based Penalty Approach to Problems with Linear Constraints
本文针对大量线性不等式约束的凸优化问题，提出基于单边Huber损失的随机增量罚方法，并首次给出时变罚参数下凸与强凸情形的最优收敛速率。
2023-11-01 math.OC
A Probabilistic Sample Path Convergence Time Analysis of Drift-Plus-Penalty Algorithm for Stochastic Optimization
本文研究了受控随机过程在多个时间平均约束下的时间平均极小化问题。系统中随机事件的概率分布对于控制器是未知的。一个典型的应用是在具有时变信道条件的网络中的不同用户的网络吞吐量约束下的时间平均功率最小化。我们表明，概率至少$1-2δ$，经典的漂移加惩罚算法提供了一个样本路径$\mathcal{O}(\varepsilon)$近似最优的收敛时间$\mathcal{O}(\frac{1}{\varepsilon^2}\max\left\{\log^2\frac1\varepsilon\log\frac2δ,~\log^3\frac2δ\right\})$，其中$\varepsilon>0$是一个参数的算法。当只有一个约束时，我们进一步证明了收敛时间可以改进为$\mathcal{O}\left(\frac{1}{\varepsilon^2}\log^2\frac1δ\right)$。
2016-12-17 math.OC
Ghost Penalties in Nonconvex Constrained Optimization: Diminishing Stepsizes and Iteration Complexity
考虑非凸约束最优化问题，提出了一种基于罚函数的收敛性分析方法。我们使用经典的罚函数在一个非常规的方式，罚函数只进入理论分析的收敛性，而算法本身是无惩罚。基于这一思想，我们能够建立几个新的结果，包括第一次一般性分析的非凸，约束优化，收敛到广义平稳点，SQP型算法的复杂性研究的步长递减方法。
2020-05-30 math.OC
On the Linear and Asymptotically Superlinear Convergence Rates of the Augmented Lagrangian Method with a Practical Relative Error Criterion
在本文中，我们对增广拉格朗日方法进行了收敛速度分析，并给出了Eckstein和Silva [Math. Program.，141，319- 348（2013）]中的方法来求解凸非线性规划问题。我们证明了，在一个温和的局部误差界条件下，该方法承认局部Q-线性收敛速率。更重要的是，我们证明了收敛速度的模与罚参数成反比。也就是说，如果在算法中使用的惩罚参数增加到无穷大，则获得渐近超线性收敛，或者如果罚参数是固定的但足够大，则可以保证任意Q线性的收敛速率。此外，作为副产品，从原始序列到问题的解集的距离的收敛性，以及收敛速度得到。
2019-10-15 math.OC
Convergence analysis of linearized $\ell_q$ penalty methods for nonconvex optimization with nonlinear equality constraints
针对带非线性等式约束的非凸优化问题，提出带二次正则的线性化$\u2113_q$惩罚方法，给出动态正则参数选择规则下的收敛复杂度，并通过数值对比验证算法性能。
2025-03-20 math.OC
Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach
本文考虑了极小化一个凸函数的问题。这是机器学习等各个领域中出现的重要问题。主要困难在于求一点在多个集合的交集中的投影。现有的方法产生一个不可行点的迭代复杂度为$O(1/\varepsilon^2)$的非光滑问题，没有保证的不可行。通过精确罚函数的形式化，我们得到了一阶算法，它不仅保证了到交点的距离很小，而且对于光滑函数，提高了$O(1/\varepsilon)$和$O(1/\sqrt{\varepsilon})$的复杂度.对于复合材料和光滑的问题，这是通过一个鞍点重新制定所需的原始对偶法的近端运营商可以计算在封闭的形式。我们说明了我们的方法的好处图转换问题和图匹配。
2017-10-17 math.OC
Tikhonov regularized exterior penalty dynamics for constrained variational inequalities
本文提出一种基于罚正则化动力系统的连续时间方法，通过引入显式Tikhonov正则化参数，在无限维Hilbert空间中求解约束变分不等式，实现强收敛并有效求解约束极小极大问题。
2024-03-20 math.OC
A twice continuously differentiable penalty function for nonlinear semidefinite programming problems and its application
本文针对非线性半定规划问题提出二次连续可微罚函数，解决现有罚函数与二阶平稳点方法兼容性低的问题，提出实用罚函数法验证其与AKKT、CAKKT条件的高亲和性并展示收敛性。
2025-09-24 math.OC
Exact-Penalty Prox-Linear Methods for Bilevel Optimization with $\ell_1$ Lower-Level Gradient Penalty
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论计算北京市重点实验室）
本文通过基于下层梯度 $\ell_1$ 范数的精确惩罚重构，提出精确惩罚近线性方法求解双层优化问题，并证明其收敛性，数值实验表明能高效降低上下层间隙。
2026-05-31 math.OC
Decentralized Multi-Agent Optimization Based on a Penalty Method
针对一般的凸约束多智能体最优化问题，提出了一种分散惩罚算法。每个辅助惩罚问题用一种特殊的并行下降分裂方法近似求解。该方法可以在计算网络中实现，其中每个代理仅向最近的邻居发送信息。在相当弱的假设条件下，该方法的收敛性。我们还描述了一个专业化的可行性问题的建议的方法。
2020-08-10 math.OC
Self-adaptive ADMM for semi-strongly convex problems
针对半强凸优化问题，提出可自适应更新惩罚参数的 ADMM，证明 O(1/k^2)、线性及迭代点收敛，并结合部分近似点方法扩展到非半强凸情形。
2023-09-30 math.OC
Asymptotic behavior of penalty dynamics for constrained variational inequalities
本文提出结合 Tikhonov 正则化与外部罚项的多尺度演化方程框架，证明轨迹强收敛到约束变分不等式的最小范数解，并扩展至完全分裂形式。
2025-07-24 math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
Proximal Alternating Penalty Algorithms for Constrained Convex Optimization
本文提出了两种新的近似交替罚算法来求解一类广泛的约束凸优化问题。我们的方法主要依赖于一个新的组合的经典的二次惩罚，交替最小化，Nesterov的加速，和参数的自适应策略。第一个算法的目的是解决一般的和可能的非光滑约束凸问题，而不需要任何Lipschitz梯度连续性或强凸性，同时实现最著名的$O(\frac{1}{k})$ -收敛速度在非遍历意义上，其中$k$是迭代计数器。第二个算法也被设计来解决非强凸，但半强凸问题。该算法在原始约束问题上能达到最佳的$O(\frac{1}{k^2})$ -收敛速度。这样的速率在两种情况下获得：（i）仅在强凸项的π序列上求平均，或（ii）使用该项的两个邻近算子而不求平均。在这两种算法中，我们允许一个线性化的第二子问题，使用相应的目标项的邻近算子。然后，我们定制我们的方法来解决不同的凸问题，并导致新的变种。作为一个副产品，这些算法保持相同的收敛保证，在我们的主要算法。我们通过不同的数值例子验证我们的理论发展，并比较我们的方法与一些现有的国家的最先进的算法。
2018-09-19 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数（含假惩罚与对偶平滑）的原始-对偶一阶算法，用于线性约束非凸复合优化，在标准假设下收敛至平稳解，且无需有界性及满射性假设，单循环复杂度O(1/ε²)，实验验证有效。
2023-06-20 math.OC
A penalty barrier framework for nonconvex constrained optimization
针对非凸约束优化中纯障碍方法收敛受阻的问题，提出结合精确惩罚与内点法的惩罚障碍框架，通过边缘化步骤合并两者为平滑全域函数对象，解耦子问题与显式约束以利用高效求解器，推导了非凸问题收敛结果并验证其适用性。
2025-08-18 math.OC
Decomposable Penalty Method for Generalized Game Problems with Joint Constraints
我们考虑一个非合作对策问题的扩展，其中局中人有联合约束。在这种情况下，广义平衡点的正当性需要一个合理的机制来达到这种状态。我们建议将罚函数法与右侧的份额分配相结合，用一系列通常的Nash均衡问题和一个上层变分不等式作为主问题来代替初始问题.我们证明了这些辅助惩罚问题的解决方案的初始博弈问题的解决方案在弱收敛性条件下。
2020-03-21 math.OC
Quadratic Integral Penalty Methods for Numerical Trajectory Optimization
本论文提出了一种新的数学算法，用于求解一类称为\emph{dynamic optimization problems}的数学问题的数值解。这些是数学最优化问题，即，在满足等式和不等式约束的条件下，求最小值的问题。动态最优化问题与非动态问题的不同之处在于，所寻求的数可以在一个自变量上变化。该自变量可以被认为是，例如，时间本文介绍了三种方法，重点是算法，收敛性分析和计算演示。第一种方法是基于积分二次惩罚项的直接转录方法。该方法的目的是避免数值伪影，例如在直接配置法中可能出现的振铃或错误/伪解。第二种方法是一种改进的增广拉格朗日方法，它利用增广拉格朗日方法的思想来解决具有大的二次惩罚项的最优化问题，例如它们来自于先前的直接转录方法。最后，我们提出了一个直接转录方法与整数二次罚款和整数对数障碍。所有的方法都是由应用和例子驱动的，用完整的证明分析了它们的收敛性，并通过数值实验进行了实际验证。
2022-08-19 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
Penalty & Augmented Kaczmarz Methods For Linear Systems & Linear Feasibility Problems
在这项工作中，我们阐明了所谓的Kaczmarz方法解决线性系（LS）和线性可行性（LF）问题，从优化的角度来看。我们介绍了著名的优化方法，如拉格朗日惩罚和增广拉格朗日随机Kaczmarz（RK）方法。在这样做时，我们提出了RK方法的两个变体，即随机罚Kacmarz（RPK）方法和随机增强Kacmarz（RAK）方法。我们对所提出的方法进行了收敛性分析，得到了线性收敛的结果。
2022-08-12 cs.NA math.NA math.OC
Exact penalty method for D-stationary point of nonlinear optimization
本文针对带约束违反$\ell_1$-范数度量的非线性优化问题，提出一种具有内外迭代的精确罚SQP方法，可收敛到D-稳定点并快速检测不可行性，无需将罚参数趋于零。
2023-09-25 math.OC
A unifying theory of exactness of linear penalty functions II: parametric penalty functions
In this article we develop a general theory of exact parametric penalty functions for constrained optimization problems . The main advantage of the method of parametric penalty functions is the fact that a parametric penalty function can be both smooth and exact unlike the standard (i.e. non-parametric) exact penalty functions that are always nonsmooth. We obtain several necessary and/or sufficient conditions for the exactness of parametric penalty functions , and for the zero duality gap property to hold true for these functions. We also prove some convergence results for the method of parame…
2018-07-15 math.OC
Approaching the solving of constrained variational inequalities via penalty term-based dynamical systems
研究了一类与约束变分不等式相关的基于罚项的动力系统的（局部）绝对连续轨线的存在唯一性.依靠李雅普诺夫分析和遍历连续版本的著名Opial引理，我们证明弱遍历收敛的轨道的解决方案的约束变分不等式调查。如果其中一个算子满足更强的单调性，则可以证明轨迹的强收敛性。
2015-03-06 math.DS math.OC
Shape optimization problems with random coefficients via the penalty method
针对带Dirichlet边界条件椭圆方程与随机系数的形状优化问题，提出罚函数近似方法，结合有限元、蒙特卡罗及加速梯度下降法求解，完成收敛分析并给出数值结果。
2025-08-23 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法，结合新颖罚技术与对偶-原始更新顺序，扩展至多块可分离凸规划，并在变分分析下建立收敛性，数值实验验证其效率。
2023-05-06 math.OC
A Unified Primal-Dual Algorithm Framework for Inequality Constrained Problems
针对锥不等式约束的复合凸问题，提出了一种基于增广拉格朗日函数的统一的原始对偶法框架.新的框架是高度通用的。首先，它不仅涵盖了许多现有的算法，如PDHG，Chambolle-Pock（CP），GDA，OGDA和线性ALM，但也指导我们设计一个新的高效算法称为Simi-OGDA（SOGDA）。其次，它使我们能够研究增广罚项在收敛性分析中的作用。有趣的是，适当选择的惩罚不仅提高了上述方法的数值性能，而且在理论上使PDHG和SOGDA等算法收敛。在适当设计的步长和惩罚项下，我们的统一框架保持了$\mathcal{O}(1/N)$遍历收敛性，同时不需要任何关于最优拉格朗日乘子大小的先验知识。在适当的条件下，得到了仿射等式约束问题的线性收敛速率。最后，线性规划，$\ell_1$最小化问题，多块基追踪问题的数值实验证明了我们的方法的有效性。
2022-08-30 math.OC
On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems
非凸和结构化最优化问题出现在许多工程应用中，需要可扩展的和分布式的解决方法。由于问题的非凸性，这些方法的收敛性的研究通常是困难的。在本文中，两个分布式解决方案的方法相结合的快速收敛性能的增广拉格朗日为基础的方法与交替优化的可分性进行了研究。第一种方法是从经典的二次罚函数方法改编而来的，称为交替方向罚函数法（ADPM）。与采用单步优化的原始二次罚函数方法不同，ADPM使用交替优化，这反过来又使其具有可扩展性。第二种方法是众所周知的乘法器的交替方向法（ADMM）。证明了非凸问题的ADPM在较弱的条件下渐近收敛于原可行点，并引入了保证其渐近达到局部最优性标准一阶必要条件的附加条件.在ADMM的情况下，新的充分条件下，该算法渐近达到标准的一阶必要条件的建立。在此基础上，对一类低维问题，刻画了ADMM的全收敛性。最后，通过将ADPM和ADMM应用于无线传感器网络中的非凸定位问题来说明结果。
2015-04-30 math.OC
A penalty scheme for monotone systems with interconnected obstacles: convergence and error estimates
针对一类包含单调系统和关联障碍的拟变分不等式，提出了一种新的罚方法。我们表明，对于任何给定的正切换成本，惩罚方程的解决方案单调收敛到那些QVI。我们估计的惩罚误差，并能够推断出，最佳的切换区域的构造准确。我们进一步证明，作为切换成本趋于零，QVI退化到一个方程的HJB型，这是近似的惩罚方程在相同的顺序（直到一个对数因子）的积极的切换成本。最佳切换问题的数值实验验证了理论结果并证明了该方法的有效性。
2019-07-04 cs.NA math.NA math.OC
A second order dynamical system with Hessian-driven damping and penalty term associated to variational inequalities
在两个凸函数都是二次连续可微的假设下，我们考虑了一个凸目标函数的极小化问题，该问题服从另一个凸函数的极小值集。我们接近这个最优化问题从连续的角度来看，通过一个二阶动力系统与海森驱动的阻尼和惩罚项对应的约束函数。通过构造适当的能量泛函，证明了该微分方程生成的轨迹弱收敛于最优化问题的极小值，以及目标函数值沿轨迹的收敛性.所进行的调查依赖于结合连续版本的Opial引理的Lyapunov分析。在目标函数是强凸的情况下，我们甚至可以证明轨迹的强收敛性。
2016-08-14 math.DS math.OC
A hybrid penalty method for a class of optimization problems with multiple rank constraints
本文考虑Hankel结构矩阵上多秩约束下光滑目标的极小化问题。这类问题出现在系统辨识、系统理论和信号处理中，其中秩约束是典型的“硬约束”。为了解决这些问题，我们提出了一种混合惩罚方法，结合了惩罚方法与后处理方案。具体来说，我们解决的惩罚子问题，直到罚参数达到一个给定的阈值，然后切换到一个局部交替“伪投影”的方法，以进一步减少约束违反。伪投影是投影概念的推广。我们表明，在温和的假设下，可以通过现有的软件（如SLRA）（Markovsky和Rovich，2014）有效地计算到{ \em single}低秩Hankel结构矩阵约束上的伪投影。我们还演示了如何在混合惩罚方法的惩罚子问题可以解决伪投影为基础的最优化方法，然后给出我们的混合惩罚方法的一些收敛性结果。最后，通过数值例子说明了该方法的有效性.
2019-06-25 math.OC
Stability and convergence of the penalty formulation for nonlinear magnetostatics
针对非线性静磁场鞍点问题求解繁琐的痛点，本文提出采用罚方法将其转化为无约束凸极小化问题，通过推导误差估计严格证明了该方法的稳定性与收敛性，并通过数值测试验证了理论结果。
2024-03-27 cs.NA math.NA math.OC
Complexity of linearized quadratic penalty for optimization with nonlinear equality constraints
针对带局部光滑非线性等式约束的非凸优化问题，提出线性化二次罚函数方法，基于自适应正则化参数保证迭代在$\mathcal{O}(ε^{-2.5})$次内收敛到$ε$一阶最优解，KL性质下序列收敛且有更优局部速率，数值验证有效。
2024-11-28 math.OC
Iteratively reweighted penalty alternating minimization methods with continuation for image deblurring
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
本文研究了图像处理中经常出现的一类带线性约束的非凸问题。我们用罚函数法解决了这个问题，并提出了迭代重加权交替极小化算法。为了加快算法的速度，我们还对罚参数采用了连续策略。证明了算法的收敛性。与非凸ADMM相比，该算法具有收敛性要求低、计算速度快等优点。数值结果表明了该算法的有效性。
2019-02-09 cs.CV eess.IV math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
GERAD；Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系）
本文提出了一种非光滑等式约束优化的精确惩罚方法，通过近端型算法高效实现，并建立了最坏情况复杂度界。
2025-11-28 math.OC
Penalty and Augmented Lagrangian Methods for Constrained DC Programming
本文考虑了一类结构非光滑凸差分约束DC规划，其中目标和约束的第一凸分量是光滑函数和非光滑函数之和，第二凸分量是多个凸光滑函数的上确界.现有的求解该问题的方法通常收敛性保证较弱或需要一个可行的初始点。受最近工作的启发（数学运算。Res. 42（1）：95- 118，2017 by Pang et al.），本文对所考虑的问题提出了两种强收敛保证的不可行方法。第一种是罚方法，它包括寻找一个近似的D-稳定点的一系列惩罚子问题。我们表明，任何可行的积累点的解决方案序列所产生的这种惩罚方法是一个B-平稳点的问题下，最弱的可能的假设，它满足逐点斯莱特约束规格（PSCQ）。第二个是增广拉格朗日（AL）方法，包括寻找一个近似的D-稳定点的一系列AL子问题。在与罚函数法相同的PSCQ条件下，证明了由AL方法生成的解序列的任何可行聚点都是问题的B-平稳点，并且它满足问题的KKT型最优性条件，同时还满足一组辅助Lagrange乘子序列的任何聚点.我们还提出了一个有效的逐次凸逼近方法计算的近似D-稳定点的惩罚和AL子问题。最后，通过数值实验验证了本文方法的有效性.
2021-11-17 math.OC
Geometry-dependent matching pursuit: a transition phase for convergence on linear regression and LASSO
本文提出依据问题几何结构生成正则化匹配追踪算法的原则性方法，给出收敛保证，并揭示其从欠参数化到过参数化情形的收敛过渡现象。
2024-03-05 math.OC
Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints Algorithms: Penalty Interior-Point, Implicit-Programming, and Piecewise SQP
College of Engineering, Boston University（波士顿大学工程学院）
本文探讨了处理带均衡约束的数学规划问题（MPECs）的几种算法，包括罚内点法、单调线性互补问题变体、隐式编程下降法和分段SQP方法，分析了其模型、搜索方向子问题、全局化机制及收敛性。
2026-04-17 math.OC
An adaptive exact penalty method for nonsmooth optimal control problems with nonsmooth nonconvex state and control constraints
针对具有非光滑代价泛函、非光滑（但连续）动态、非光滑状态和控制约束的最优控制问题，提出了一类精确惩罚型局部搜索法，其中罚参数和多个线搜索参数在寻优过程中自适应调整.这类方法适用于具有已知DC（Difference-of-凸函数）结构的问题，其核心是基于经典的DCA方法，结合用于更新罚参数的转向精确罚规则和自适应非单调线搜索过程。在所有辅助子问题仅近似求解（即有限精度）的假设下，我们证明了所提出的方法族的正确性，并给出了详细的收敛性分析。几个不同版本的方法的性能示出通过一个数值例子，其中的方法被施加到一个半学术最优控制问题的非光滑非凸状态约束。
2023-02-18 math.OC
An Adaptive Multiparameter Penalty Selection Method for Multiconstraint and Multiblock ADMM
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种自适应多参数惩罚选择方法，用于解决具有多约束或多功能块的ADMM优化问题，通过自适应处理约束间的尺度差异，提升收敛性。
2025-02-28 eess.IV eess.SP math.OC
Steering exact penalty DCA for nonsmooth DC optimization problems with equality and inequality constraints
提出一种基于ℓ1罚函数和自适应罚参数更新策略的DCA变体，用于求解带非光滑DC等式与不等式约束的优化问题，并通过收敛性分析和两个离散最优控制算例验证其有效性。
2023-01-17 math.OC
A barrier-type method for multiobjective optimization
针对约束多准则问题，我们引入了多目标障碍法（MBM），它扩展了标量值内罚法。这种经典方法的多目标版本也需要一个可行集的惩罚障碍和一系列非负罚参数。与单值过程不同，MBM是通过辅助的“单调”实值映射来实现的，该映射可以在相当大的函数集合中选择。在这里，我们考虑连续目标函数的问题，其中的可行集是由许多连续不等式定义的。在温和的假设下，根据辅助函数的单调性类型，我们建立收敛到Pareto或弱Pareto最优。最后，我们还提出了一个可实现的版本MBM寻求局部最优，并分析其收敛到Pareto或弱Pareto解决方案。
2018-03-30 math.OC
Gaussian-Restricted Barycenters for KL-Unbalanced Optimal Transport: Variational Theory and Fixed-Point Convergence
Fudan University（复旦大学）
针对带独立边际惩罚的二次双侧KL不平衡最优传输，研究高斯限制重心的变分理论，构造反向KL MM迭代并通过数值实验验证其收敛性质。
2026-09-03 math.OC
Penalty alternating direction methods for mixed-integer optimal control with combinatorial constraints
我们考虑混合整数最优控制问题的组合约束，耦合随着时间的推移，如最小停留时间。我们分析了提升和分解的方法成一个混合整数最优控制问题，没有组合约束和一个混合整数问题的组合约束的控制空间。这两个问题可以非常有效地解决现有的方法，如外凸与求和舍入策略和混合整数线性规划技术。使用惩罚方法处理耦合。我们提供了一个精确的结果，产生一个解决方案的方法，收敛到部分最小值的处罚。我们比较了这些专用点的质量与其他approstics之间的一个学术例子，也为优化的输电线路与切换的网络拓扑结构的流量重新分配，以满足需求。
2021-04-19 math.OC
Global Convergence Analysis of the Power Proximal Point and Augmented Lagrangian Method
本文针对带非欧几里得范数幂次惩罚项的非精确增广拉格朗日方法，通过非线性邻近点方法视角推导可实现停止准则，证明其全局次线性与局部超线性收敛性，且参数更少却能达到与精细调优经典ALM相近的性能。
2025-10-01 math.OC
Fast ADMM Algorithm for Distributed Optimization with Adaptive Penalty
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
我们提出了新的方法来加快收敛的交替方向乘法（ADMM），一个常见的优化工具，在大规模和分布式学习的背景下。该方法通过在每次迭代中自动确定参数一致性所需的约束惩罚，加快了收敛速度。此外，我们还提出了一个扩展的方法，自适应地确定最大迭代次数来更新惩罚。我们表明，这种方法有效地导致一个自适应的，动态的网络拓扑结构的分布式优化。新的惩罚更新计划的实用程序证明了合成和真实的数据，包括计算机视觉应用的分布式运动恢复结构。
2015-06-30 cs.CV cs.LG math.OC
An exact penalty approach for optimization with nonnegative orthogonality constraints
非负正交约束优化在机器学习和数据科学中有着广泛的应用。它是NP难的，由于一些组合性质的约束。首先，我们提出了一个等效的优化配方与非负和多个球形约束和一个额外的单一非线性约束。各种约束规格，一阶和二阶最优性条件的等价制定进行了讨论。通过建立可行集的局部误差界，在保持非负约束和多重球面约束的条件下，设计了一类（光滑）精确罚函数模型。如果罚参数足够大而不是趋于无穷大，则罚模型是精确的。一个实用的惩罚算法与后处理，然后开发。它使用二阶方法近似求解一系列具有非负和多个球面约束的子问题。研究了罚算法的渐近收敛性，证明了任意极限点都是原问题的弱不动点，并在适当的条件下成为不动点.在投影问题、正交非负矩阵分解问题和K-指标模型上的大量数值结果表明了该方法的有效性。
2020-12-31 math.OC
A Vectorized Positive Semidefinite Penalty Method for Unconstrained Binary Quadratic Programming
Nankai University（南开大学）
针对无约束二元二次规划问题，本文提出向量化正半定惩罚方法，通过向量化矩阵变量、改进惩罚更新与初始化、结合邻近点算法与投影交替BB法求解子问题，经实验验证其在解质量和求解时间上均优于半定松弛等已有方法。
2024-08-09 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
Optimal control with time-delays via the penalty method
本文证明了一类时滞变分问题的Euler-Lagrange型最优性最优性条件，其中未知函数的时滞与其导数的时滞不同.然后，考虑一个更一般的时滞最优控制问题。主要结果给出了一个收敛定理，允许通过考虑变分法的一系列延迟问题来获得延迟最优控制问题的解。
2014-07-19 math.OC
Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
Department of Engineering Science, University of Oxford（牛津大学工程科学系）
本文提出通过学习在线更新松弛参数来提升ADMM在特定问题类上的性能，证明了在弱假设下ADMM在时间变化惩罚和松弛参数下的收敛性，并在基准二次程序中验证了学习策略在迭代次数和运行时间上的优势。
2026-10-06 cs.LG math.OC
Error estimates of penalty schemes for quasi-variational inequalities arising from impulse control problems
针对一类弱耦合Hamilton-Jacobi-Bellman拟变分不等式（HJBQVI）系统，提出了惩罚格式，该系统是由具有连续控制和脉冲控制的状态切换模型的随机混合控制问题引起的.我们证明了惩罚方程的解单调收敛到HJBQVI的解。我们进一步建立的计划是半阶精度的HJBQVI与Lipschitz系数，和一阶精度的方程更经常的系数。基于误差估计和惩罚解，构造了系统的作用域和最优脉冲控制。然后将惩罚方案和收敛结果扩展到可能具有负脉冲成本的HJBQVI。我们还证明了惩罚方程的单调离散化的收敛性，并建立了应用于离散方程的策略迭代是单调收敛的，在无限维设置中具有任意的初始猜测。无穷时域最优切换问题的数值例子来说明传统的直接控制方案的惩罚计划的有效性。
2020-01-02 cs.NA math.NA math.OC
Penalty methods for a class of non-Lipschitz optimization problems
考虑一类约束最优化问题，其目标函数为非Lipschitz，凸可行集为多面体与退化椭球的交.这些问题在数据科学中有广泛的应用，其中目标用于在解中诱导稀疏性，而约束集对噪声容限进行建模，并结合其他先验信息进行数据拟合。对于这类约束最优化问题，常用的方法是罚函数法。然而，对于非凸和非Lipschitz目标函数的问题，几乎没有关于精确惩罚的理论。本文在适当的假设下，研究了局部极小、驻点和$ε$ -极小的精确罚参数的存在性。此外，我们讨论了一种罚方法，其子问题通过一个非单调的近似梯度法和一个适当的更新方案的罚参数，并证明了该算法收敛到一个KKT点的约束问题。初步的数值结果表明，罚方法的效率，寻找欠定线性系的稀疏解。
2016-04-07 math.OC stat.ML
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University（杜兰大学）
解决双层优化问题是几个机器学习问题的核心，例如超参数调整，数据去噪，Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同，在双层问题中，最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中，我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆，可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性，并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度，使我们能够有效地解决大规模的双层问题，涉及深神经网络。我们目前的结果数据去噪，少样本学习，并在大规模设置的训练数据中毒问题。我们的研究结果表明，我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度，运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
Problem-dependent convergence bounds for randomized linear gradient compression
Brookhaven National Laboratory（布鲁克海文国家实验室）；Meta
针对分布式优化中的梯度压缩问题，提出在非凸随机优化下基于线性压缩方案的问题相关收敛界，证明其惩罚显著低于忽略问题数据的最坏情况界，并经图像分类微调实验验证。
2025-07-15 cs.LG math.OC
