Exploiting Aggregate Sparsity in Second Order Cone Relaxations for Quadratic Constrained Quadratic Programming Problems
在众多提高二次约束二次规划(QCQP)半定规划(SDP)松弛算法计算效率的方法中,Fukuda等人(2001)利用SDP中数据矩阵的聚集稀疏性和二阶锥规划(SOCP)松弛算法是比较流行的方法。在本文中,我们利用聚集稀疏的SOCP松弛的QCQP。具体来说,我们证明了利用聚合稀疏性减少了SOCP松弛中二阶锥的数量,并且我们可以简化Fukuda等人的矩阵完成过程。在SOCP松弛问题的原始和对偶中,而不会失去最大行列式性质。对于数值实验,QCQP从格子图和池化问题进行了测试,因为它们的SOCP松弛提供了相同的最优值的SDP松弛。我们表明,利用聚合稀疏性提高了计算效率的SOCP松弛的SDP松弛相同的目标值,因此更大的问题可以处理建议的SOCP松弛比SDP松弛。
2019-11-06 math.OC
SOCP Convex Relaxation-Based Simultaneous State Estimation and Bad Data Identification
传统的最大归一化残差(LNR)检验方法依赖于状态估计残差,只能在运行电力系统状态估计(PSSE)后才能实现。LNR可能无法检测杠杆点测量中的坏数据和多个相互作用且一致的坏数据。提出了一种基于二阶锥规划(SOCP)凸松弛的联合状态估计和不良数据辨识的最优化问题形式。在状态估计问题的目标函数中加入稀疏残差的L1范数,以同时恢复坏数据和状态。为了在多项式时间内求解该最优化问题,首先应用SOCP凸松弛法使问题凸化。其次,采用基于最小二乘误差(LSE)的半定规划(SDP)割平面法来加强PSSE的SOCP松弛。数值结果表明,该算法同时状态估计和不良数据识别的网络规模小,千总线。与LNR方法相比,该方法可以检测出杠杆点测量中的不良数据和多个一致的不良数据。
2018-04-13 math.OC
Matrix Minor Reformulation and SOCP-based Spatial Branch-and-Cut Method for the AC Optimal Power Flow Problem
交流最优潮流是电力系统最基本的最优化问题之一。它可以表示为一个带有秩约束的半定规划(SDP)。求解AC最优潮流,即获得接近最优的原始解以及高质量的双边界,为这个非凸规划,提出了一个重大的计算挑战,今天的电力工业的实时操作的大规模电网。在本文中,我们提出了一种新的技术,用于重新制定的秩约束,使用主和非主2乘2的未成年人涉及的埃尔米特矩阵变量和特征的所有这些未成年人分为三种类型。我们证明了这些小约束的等效性的物理约束的电压角差求和为零超过三个和四个周期的电力网络。我们研究二阶圆锥规划(SOCP)松弛这个小的重新制定,并提出强切割平面,凸信封,并绑定收紧技术,以加强所产生的SOCP松弛。然后,我们提出了一个基于SOCP的空间分支和切割的方法来获得AC OPF的全局最优值。大量的计算实验表明,该算法显着优于最先进的基于SDP的OPF求解器,并在一个简单的个人计算机上是能够获得平均0.71%的最优性差距不超过720秒的最具挑战性的电力系统的情况下,在文献中。
2017-03-08 math.OC
An efficient second-order cone programming approach for optimal selection in tree breeding
树木育种中的一个重要问题是从候选系谱成员中进行最优选择,以在种子园中产生最高性能,同时保持必要的遗传多样性。最有利的成员应尽可能多地贡献,但由于严重的近亲繁殖,这种果园亲本的选择会降低果园后代的表现。为了避免近亲繁殖,我们应该在分子关系矩阵上包括一个约束,以使群体共同祖先保持在适当的阈值之下。Pong-Wong和Woolliams提出的半定规划(SDP)方法虽然给出了精确的最优值,但需要相当长的计算时间。在本文中,我们提出了一个SOCP(二阶锥规划)的方法来减少这种计算时间。我们证明了同样的解决方案是通过SOCP配方,但需要更少的时间。由于一个简单的SOCP制定是不是更有效的SDP方法相比,我们利用稀疏结构的分子关系矩阵,并制定SOCP约束使用亨德森的算法。数值结果表明,所提出的SOCP方法减少了计算时间的情况下,从SDP方法下的39,200秒到小于2秒。
2015-06-16 math.OC
The LP-Newton Method and Conic Optimization
我们建议,LP牛顿法可以用来解决锥盒上的锥LP,只要线性最优化,否则无约束的锥盒是容易的。特别地,如果$\leq_\mathcal{K}$是由一个适当的凸锥$\mathcal{K}$诱导的偏序,那么只要在$[{l},{u}]_{\mathcal{K}}$上优化一个线性函数是有效的,就可以用这种方法在$[{l},{u}]_\mathcal{K}=\{{l}\leq_\mathcal{K} {x}\leq_\mathcal{K}{u}\}$和仿射子空间的交集上优化一个线性函数。这推广了最初提出使用该方法的$\mathcal{K}=\mathbb{R}^n_+$的情况下的结果。具体来说,我们将展示如何适应这种方法的SOCP和SDP问题,并说明了一些实验的方法。虽然该方法是有前途的,由于少量的牛顿步骤所需的,解决最小范数点的问题,涉及牛顿步骤与弗兰克-沃尔夫算法是不可取的。
2017-08-15 math.OC
Conic relaxation approaches for equal deployment problems
家畜、作物和林木育种中的一个重要问题是最佳选择基因型,使遗传增益最大化。最优选择的关键约束是保证遗传多样性的凸二次约束,因此,最优选择可以转化为二阶锥规划(SOCP)问题。Yamashita et al.(2015)利用二次约束的结构稀疏性,在获得相同最优解的同时大幅减少了计算时间。本文研究了一类特殊的等价配置问题,即在基因型的贡献必须为固定大小或为零的约束下,求解最优选择问题。这涉及组合优化的性质,并且ED问题可以被描述为混合整数SOCP问题。本文讨论了基于LP(线性规划)、SOCP和SDP(半定规划)的ED问题的锥松弛方法。我们使用Tseng(2003)的工作分析了从SDP松弛方法导出的理论界,并表明理论界对于树育种问题不是很尖锐。我们提出了一个最速上升法,结合从圆锥松弛问题的解决方案,从离散凸优化的概念,以获得一个近似解的ED问题在一个实际的时间。从数值试验中,我们观察到,在LP,SOCP和SDP松弛问题,SOCP给出了一个合适的解决方案,从最优值和计算时间的观点。从SOCP解出发的最速上升法比已广泛用于最优选择问题的现有方法和分支定界法更快地提供高质量的解。
2017-03-09 math.OC
Convex Relaxation of Bilinear Matrix Inequalities Part I: Theoretical Results
这两部分的文件是关注的问题,最小化的线性目标函数的双线性矩阵不等式(BMI)的约束。在这一部分中,我们首先考虑一族凸松弛,它将BMI最优化问题转化为多项式时间可解的代理。作为一种替代国家的最先进的半定规划(SDP)和二阶锥规划(SOCP)松弛,一个计算效率的抛物线松弛,它只依赖于凸二次约束。接下来,我们开发了一个家庭的罚函数,它可以被纳入到SDP,SOCP和抛物线松弛的目标,以促进恢复可行点的原始非凸BMI优化。罚项可以使用任意的初始点来构造。我们证明了,如果初始点是足够接近的可行集,那么惩罚松弛保证产生可行点的原始BMI。在第二部分的文件中,所提出的惩罚凸松弛的效率证明H2和Hinf最优控制合成问题的基准实例。
2018-09-26 math.OC
SOCP relaxation bounds for the optimal subset selection problem applied to robust linear regression
本文讨论了在d维空间中从一个较大的n个元素集合中寻找h个元素的全局最优子集以最小化一个二次准则的问题,特别强调了在计算稳健回归的最小二乘估计(LTSE)中的应用。LTSE的计算是一个具有挑战性的子集选择问题,涉及一个具有连续和二进制变量的非线性程序,以高度非线性的方式连接。使用分支定界(BB)算法选择全局最优子集仅限于非常低维的问题,特别是d<5,因为问题的复杂性随d呈指数增长。我们在BB算法中引入了一个大胆的剪枝策略,从而大大减少了计算时间,但代价是损失了可忽略的精度。我们的算法的新颖之处在于,在BB树的节点的边界来自伪凸使用线性化技术与非线性项的近似边界。通过求解一个辅助半定最优化问题来计算近似界。我们通过计算研究表明,我们的算法表现良好,在广泛的最困难的情况下的LTSE问题。
2015-05-29 math.OC math.ST stat.TH
Two Typical Implementable Semismooth* Newton Methods for Generalized Equations are G-Semismooth Newton Methods
论文证明广义方程的两种典型可实现 Semismooth* Newton 方法本质上是 G-semismooth Newton 方法,并据此拓展理论认识、提出相关问题及算法设计启示。
2025-03-17 math.OC
Convergence analysis of the semismooth Newton method for sparse control problems governed by semilinear elliptic equations
本文证明在二阶充分条件和严格互补条件下,半光滑牛顿法求解半线性椭圆方程稀疏最优控制问题具有超线性收敛性,允许盒式约束和稀疏项。
2024-02-27 math.OC
A Semismooth Newton-Type Method for the Nearest Doubly Stochastic Matrix Problem
研究了Jacobi矩阵的可微性和非奇异性均失效的最近邻双随机阵问题的半光滑Newton型方法。该问题的最优性条件被表示为一个强半光滑函数组。我们表明,所谓的局部误差界条件不适用于这个系统。因此,牛顿型方法的保证收敛速度至多是超线性的。通过利用问题的结构,我们构造了一个修改的两步半光滑牛顿法,保证在每次迭代的非奇异雅可比矩阵,并收敛到最近的双随机阵二次。据我们所知,这是第一个牛顿型的方法,收敛$Q$ -二次在没有局部误差的限制条件。
2021-07-20 math.OC
Trust--Region Problems with Linear Inequality Constraints: Exact SDP Relaxation, Global Optimality and Robust Optimization
球上非凸二次函数极小化的信赖域问题是求解非线性最优化问题的信赖域方法中的一个关键子问题。它具有精确半定线性规划松弛(SDP松弛)和强对偶性等性质。不幸的是,这样的属性不,在一般情况下,持有扩展的信赖域问题具有额外的线性约束。本文证明了经典信赖域问题的两个有用而强大的特征在新的维数条件下对于带线性不等式约束的扩展信赖域问题仍然成立。首先,我们建立了一类扩展信赖域问题有一个精确的SDP-松弛,它没有斯莱特约束规格。这是通过证明一个系统的二次和仿射函数参与的模型满足范围凸性时,尺寸条件得到满足。其次,我们证明了尺寸条件与斯莱特条件一起确保了一组组合的第一和第二阶拉格朗日乘子条件是必要的和充分的扩展信赖域问题的全局最优性,从而为强对偶。最后,我们证明了扩展的信赖域模型的维数条件是容易满足的,所产生的鲁棒最小二乘问题(LSP),以及作为一个等价的半定线性规划问题的鲁棒二阶锥规划模型问题(SOCP)的重新制定。这使我们得出结论,在温和的假设下,求解矩阵范数不确定性或多面体不确定性下的鲁棒(LSP)或(SOCP)相当于求解SDP,因此,它们的解可以在多项式时间内验证。
2013-09-11 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg(维尔茨堡大学)
本文提出一种全局化的近似半光滑牛顿方法,用于解决强凸最优控制问题,在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
A Strict Complementarity Approach to Error Bound and Sensitivity of Solution of Conic Programs
在本文中,我们提供了一个基本的,几何的,和统一的框架来分析锥规划,我们称之为严格互补的方法。该框架允许我们建立误差界并量化解决方案的灵敏度。该框架使用了凸几何和线性代数中的三个经典思想:凸集的线性正则性、面约简和正交分解。我们展示了如何使用这个框架来推导线性规划(LP),二阶锥规划(SOCP)和半定规划(SDP)的误差界。
2022-09-16 math.OC
A Semismooth Newton Method for Fast, Generic Convex Programming
我们介绍了Newton-ADMM,一种快速锥优化方法。其基本思想是将乘子的交替方向法(ADMM)产生的连续迭代的残差看作一组不动点方程,然后使用非光滑牛顿法求解;我们将其基本思想应用于分裂锥求解器(SCS),这是一种解决一般圆锥曲线最优化问题的最先进方法。我们从理论上证明,通过扩展半光滑算子的理论,牛顿ADMM收敛迅速(即,二次)的解决方案;经验上,牛顿ADMM是显着快于SCS的一些问题。该方法也基本上没有调整参数,在适当的时候生成原始或对偶不可行性的证书,并且可以专门用于解决特定的凸问题。
2017-06-20 math.OC
Third-Order Newton Methods with Semidefinite Programming
UC Riverside(加州大学河滨分校)
本文提出一种基于半定规划子问题的三阶牛顿法,利用高阶泰勒展开捕捉局部几何,在强凸与良好初始化下实现三次收敛,并给出处理子问题不可行性的正则化等实用改进。
2026-09-14 math.OC
A $\operatorname{prox}$-Based Semi-Smooth Newton Method for Convex Variational Problems
University of Freiburg(弗赖堡大学);George Mason University(乔治梅森大学);Technical University of Berlin(柏林工业大学)
提出一种基于近端算子的半光滑牛顿法,适用于有限元离散的广泛非光滑凸变分问题,具有全局适定性和局部超线性收敛性。
2026-06-25 math.OC
A Semismooth Newton Method for Tensor Eigenvalue Complementarity Problem
本文研究了与多项式最优化最优性条件密切相关的张量特征值互补性问题,以及一类具有非凸过程的微分包含.通过引入一个NCP函数,我们将张量特征值互补性问题转化为一个非线性方程组。我们证明了该函数是强半光滑的,但不可微,在这种情况下经典的平滑方法无法适用。进一步,我们提出了求解张量特征值互补性问题的阻尼半光滑牛顿法。给出了一种新的求广义Jocobian中一个元的方法,在较弱的假设下,它是B-次微分的一个元。结果表明,阻尼半光滑牛顿法的收敛性得到了现有结果的保证。数值实验也表明我们的方法是有效的和有前途的。
2015-10-29 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下,证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外,我们提出了一个全球化的半光滑牛顿方法,有效地解决流形上的增广拉格朗日子问题。在适当的条件下,证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后,压缩模式和(约束)稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用,如吉洪诺夫正则化的(非)线性反问题的稀疏约束。在(2015 Inverse Problems(31)025005)中,针对线性反问题的$\ell_1$ -Tikhonov正则化,提出了一种全局化的Bouligand-semismooth Newton方法。然而,为了证明整体收敛,必须对迭代序列的聚点进行技术假设。在这里,我们将这种方法推广到一般的非线性问题,并提出了一个修改的半光滑牛顿法的整体收敛证明,没有任何额外的要求。此外,在一个技术假设下,完整的牛顿步骤最终被接受,并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
A semi-smooth Newton method for the nonlinear conic problem with generalized simplicial cones
State University of Campinas(坎皮纳斯州立大学);Northern Illinois University(北伊利诺伊大学);University of São Paulo(圣保罗大学)
本文提出一种非光滑牛顿法解决非线性锥优化问题,针对广义单纯锥建立锥投影方程,证明其二次收敛性,并在低秩矩阵补全问题中进行数值实验。
2026-04-20 math.OC
A semi-smooth Newton method for projection equations and linear complementarity problems with respect to the second order cone
本文研究了一类特殊的二阶锥半光滑方程。结果表明,在适当的假设下,应用于该方程的半光滑牛顿方法是定义良好的,并且生成的序列是全局Q-线性收敛的。作为应用,将所得结果用于研究线性二阶锥互补性问题,特别是正定矩阵的特殊情况。此外,一些计算实验,旨在调查的实际可行性的方法。
2016-10-14 math.OC
An Inexact Semi-smooth Newton Method on Riemannian Manifolds with Application to Duality-based Total Variation Denoising
本文提出黎曼流形上的非精确半光滑牛顿方法,用于求解非光滑原始-对偶最优性系统,并证明其不受曲率符号影响的局部收敛性,且在类 l2-TV 去噪实验中验证了超线性收敛。
2021-08-16 math.OC
An efficient semismooth Newton-AMG-based inexact primal-dual algorithm for generalized transport problems
本文研究了求解一类最优质量输运问题的有效最优化方法。从动力系统的时间离散化出发,提出了一种非精确原始对偶法,并利用李雅普诺夫函数工具,对函数残差和可行性破坏建立了全局(超)线性收敛速率.该算法包含一个内部问题,具有较强的半光滑性,并激励使用半光滑牛顿迭代。通过探索问题本身的隐藏结构,将Newton迭代产生的线性系等价转化为图Laplacian系统,提出了一种鲁棒代数多重网格方法,并利用著名的Xu-Zikatanov恒等式进行了分析.最后,数值实验验证了我们的方法的有效性。
2022-07-28 math.OC
Dynamic Programming Through the Lens of Semismooth Newton-Type Methods (Extended Version)
策略迭代和值迭代是许多(近似)动态规划方法的核心。对于有限状态空间和有限动作空间的马尔可夫决策过程,我们证明了它们是求解Bellman方程的半光滑牛顿型方法的实例。特别地,我们证明了策略迭代等价于精确半光滑牛顿法,并具有局部平方收敛速率。这一发现得到了控制和运筹学领域的大量数值证据的证实,这些证据证实了即使在政策数量巨大的情况下,政策迭代通常也只需要很少的迭代就可以实现收敛。然后,我们表明,值迭代是一个实例的不动点迭代法。本着这种精神,我们开发了一种新的本地加速版本的值迭代与整体收敛保证和可以忽略不计的额外计算成本。
2022-06-24 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题,通过增广拉格朗日对偶重构为鞍点问题,以单循环结构同时更新原始和对偶变量,在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
An efficient primal dual semismooth Newton method for semidefinite programming
提出SSNCP半光滑牛顿法求解半定规划,通过校正步保证光滑性,实现全局收敛和局部超线性收敛,复杂度为ε^-3/2,在Mittelmann基准上优于现有求解器。
2025-04-23 math.OC
A quadratically convergent semismooth Newton method for nonlinear semidefinite programming without generalized Jacobian regularity
Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所);School of Mathematical Sciences, University of Chinese Academy of Science(中国科学院大学数学科学学院);School of Data Science, Fudan University(复旦大学数据科学系)
本文提出一种无需广义雅可比正则性条件的非线性半正定规划二次收敛半光滑牛顿方法,通过引入弱二阶条件和弱严格罗宾逊约束资格,解决了退化问题并实现了超线性收敛。
2024-11-25 math.OC
Warm-Start Interior-Point Methods for Online Second-Order Cone Programming
研究求解右侧数据变化的二阶锥规划的计算复杂性,提出在前一轮解处热启动牛顿法,证明其在特定条件下的收敛迭代次数及总成本,通过实验证实每轮有显著加速。
2026-07-29 cs.DS math.OC
LeAP-SSN: A Semismooth Newton Method with Global Convergence Rates
本文提出无参数全局化的半光滑牛顿法LeAP-SSN,结合自适应Levenberg–Marquardt正则化与回溯策略,在凸、非凸及Polyak–Łojasiewicz条件下分别获得O(1/k)、O(1/√k)和线性收敛速率,并兼具超线性局部收敛性。
2025-08-22 math.OC
Optimal Control of the Linear Wave Equation by Time-Depending BV-Controls: A Semi-Smooth Newton Approach
研究了一类线性波动方程的最优控制问题,控制代价为时间上的BV半范数。该公式增强了分段常数最优控制并惩罚了跳跃次数。得到了最优解的存在性和最优性的必要最优性条件。考虑到数值实现,正则化的H1泛函进行了研究,并分析了这种正则化趋于零的渐近行为。对于H ~ 1正则化问题,半光滑牛顿算法可用于求解一阶最优性条件,具有超线性收敛速率。构造的例子表明,一个最优控制的分布导数可以是一个混合的绝对连续的措施相对于勒贝格测度,一个可数的线性组合的狄拉克措施,和康托措施。数值结果验证并支持了分析结果。
2018-08-30 math.OC
A semi-smooth Newton method for general projection equations applied to the nearest correlation matrix problem
本文研究了半光滑牛顿方法在有限维空间一般投影方程中的应用,建立了闭凸锥投影的Clarke广义雅可比性质和两个收敛定理,并将其应用于约束二次锥规划与最近相关矩阵问题,数值实验验证了方法的有效性。
2024-01-09 math.OC
A Globalized Semismooth Newton Method for Prox-regular Optimization Problems
针对非凸非光滑prox-正则复合优化问题,提出全局化半光滑牛顿法,证明其收敛性与超线性收敛速率,数值实验显示其在两类正则化问题上性能与现有二阶方法相当。
2025-09-06 math.OC
An Efficient Semismooth Newton Method for Adaptive Sparse Signal Recovery Problems
我们知道,压缩感知可以建立稳定的稀疏恢复结果,从高度欠采样的数据下,一个有限的等距属性条件。然而,在现实中,许多问题是相互关联的,绝大多数传统方法可能效果不佳。最近,研究表明,使用$\ell_1$ -和$\ell_2$ -范数之间的差异作为正则化总是具有优越的性能。在本文中,我们提出了一个自适应的$\ell_p$ - $\ell_{1-2}$模型,其中$\ell_p$ -范数与$p\geq 1$测量数据的保真度和$\ell_{1-2}$ -长期措施的稀疏性。该模型具有处理不同类型噪声的能力,即使在高相干条件下也能提取稀疏特性。我们使用一个近似的优化最小化技术来处理非凸正则项,然后采用半光滑牛顿方法来解决相应的凸松弛子问题。证明了在一定的技术假设下,半光滑牛顿法产生的子问题序列具有快速的局部收敛速度。最后通过数值实验验证了模型的优越性和算法的先进性。
2021-11-24 math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是:i)许多著名的算子分裂方法,如前向后分裂(FBS)和Douglas-Rachford分裂(DRS),实际上定义了一个不动点映射; ii)复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的,但它们往往是半光滑的,并且由于单调性,它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术,我们提出了一种自适应半光滑牛顿法,并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明,我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Finding global solutions of some inverse optimal control problems using penalization and semismooth Newton methods
针对一类特殊的椭圆型最优控制问题,提出了一种求解其参数辨识问题的方法。通过下层问题的最优值函数将双层问题重新表述。重新表述的问题是非凸的,违反了标准的正则性条件,如罗宾逊的CQ。通过放松约束,问题可以分解成一个家庭的凸问题,这是一个解决算法的基础。分析了算法的收敛性。结果表明,惩罚方法可以用来解决这个家庭的问题,同时保持收敛速度。对于一个例子的问题,使用的身份作为罚函数允许通过半光滑牛顿法的解决方案。数值结果。我们的方法来解决一个非凸问题的全局最优性的困难和局限性进行了讨论。
2022-03-01 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下,这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明,半光滑牛顿法适用于这个非光滑的方程组总是定义良好,并在一个温和的假设下,单纯锥的方法产生一个序列,线性收敛到它的解决方案。此外,我们还证明了生成序列对任意起点是有界的,并给出了该序列的任意聚点的计算公式。数值结果表明,这种方法实现了精确的解决方案,在几个迭代大的问题。
2015-03-10 math.OC
SDPNAL$+$: A Majorized Semismooth Newton-CG Augmented Lagrangian Method for Semidefinite Programming with Nonnegative Constraints
在本文中,我们提出了一个优化的半光滑Newton-CG增广拉格朗日方法,称为SDPNAL $+$,半定规划(SDP)的部分或全部非负约束的矩阵变量。SDPNAL $+$是由Zhao、Sun和Toh [SIAM Journal on Optimization,20(2010),pp.~ 1737--1765]来求解一般的SDP。SDPNAL工程非常有效的非退化的SDPs,但可能会遇到数值困难退化的。在这里,我们通过采用优化的半光滑牛顿-CG增广拉格朗日方法结合Sun,Toh和Yang最近引入的收敛的3块交替方向乘数方法来解决这个数值困难[arXiv预印本arXiv:1404.5378,(2014)]。对各种有无非负约束的大规模SDP的数值结果表明,所提出的方法不仅速度快,而且在获得精确解方面具有鲁棒性。它的性能明显优于其他两种基于竞争性公开可用的一阶方法的代码:(1)基于乘数的交替方向方法求解器,由Wen,Goldfarb和Yin [Mathematical Programming Computation,2(2010),pp.~ 203 - 230]和(2)Monteiro,Ortiz和Svaiter的称为2 EBD-HPE的两个简单块分解混合近端外梯度方法[数学编程计算,(2013),pp. 1 - 48]。与这两个代码相比,我们能够有效地解决SDPNAL中测试的二次分配问题的松…
2014-06-04 math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题,定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计,我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题,并利用其耦合结构,提出了一个多阶段的凸松弛方法(MSCRA\_PPA),其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下,通过建立各参数估计的误差界和统计意义下的线性收敛速度,为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明,MSCRA PPA不仅具有相当甚至更好的估计性能,而且所需的CPU时间要少得多。
2020-11-22 math.OC
Semismooth Newton-type method for bilevel optimization: Global convergence and extensive numerical experiments
我们考虑标准的乐观双层最优化问题,特别是上层和下层的约束可以耦合。通过引入下层值函数,将问题转化为对值函数约束进行惩罚的单层最优化问题。对于治疗后一个问题,我们开发了一个框架,不依赖于直接计算的较低级别的值函数或其衍生物。对于每个罚参数,该框架导致半光滑方程组。这使我们能够将半光滑牛顿法扩展到双层优化。除了该方法的整体收敛性质外,我们还着重于半光滑方程组解的局部超线性收敛。为此,我们制定了一个适当的CD-正则性假设,并推导出充分的条件,使它得到满足。此外,我们开发的条件,以保证解决方案的半光滑系统是一个局部解决方案的双层最优化问题。对文献中的非线性双层最优化问题的$124$实例进行了大量的数值实验,结果表明该方法具有显著的性能,只需考虑少量的罚参数.
2019-12-15 math.OC
A squared smoothing Newton method for semidefinite programming
针对半定规划问题,提出基于Huber光滑函数的平方光滑牛顿法,证明其全局收敛性与超线性收敛速率,数值实验验证了该方法求解精确解的高效性。
2024-10-08 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具,最坏情况下的性能分析的梯度(或最速下降)的柯西光滑强凸函数的方法,和牛顿法的自协调函数,包括不精确的搜索方向的情况下。该分析使用半定规划性能估计,如Drori和Teboulle [数学规划,145(1-2):451-482,2014]所开创的,并扩展了作者[Optimization Letters,11(7),1185-1199,2017]柯西方法的最新性能估计结果。为了说明工具的适用性,我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子,我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR,48:2520-2528,2016]。
2020-06-22 math.OC
A Semismooth Newton-Based Proximal Augmented Lagrangian Method for Joint Estimation of Multiple Gaussian Graphical Models with Clustered Structure
School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);Center for Applied Mathematics of Fujian Province, School of Mathematics and Statistics, Fuzhou University(福建省应用数学中心,福州大学数学与统计学院)
针对多个聚类高斯图模型的联合估计问题,提出一种近端增广拉格朗日方法,利用半光滑牛顿法求解子问题,实现超线性收敛并降低计算复杂度。
2026-06-15 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题,提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法,证明其全局收敛与超线性收敛速率,数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
Skip the Hessian, Keep the Rates: Globalized Semismooth Newton with Lazy Hessian Updates
Weierstrass Institute(韦伊尔斯特拉斯研究所)
本文提出了一种无需每次迭代计算Hessian的半光滑牛顿方法,通过惰性更新策略实现高效的全局和超线性收敛,适用于具有非光滑导数的优化问题。
2026-11-10 math.OC
Coderivative-Based Semi-Newton Method in Nonsmooth Difference Programming
研究了一类新的非光滑最优化问题,其中目标函数表示为两个一般非凸函数之差。我们提出并发展了一种新的牛顿型算法来解决这类问题,它是基于二阶次微分(广义Hessian)的协导数生成,并采用先进的变分分析工具。所提出的算法的适定性性质推导出相当一般的要求下,而建设性的收敛速度,建立通过使用额外的假设,包括Kurdyka--Kazojasiewicz条件。我们提供的应用程序的主要算法来解决一般类的非光滑非凸问题的结构优化,特别是包括,最优化问题与明确的约束。最后给出了该方法在生化模型、约束二次规划等实际问题中的应用和数值实验。与一些已知的技术和结果相比,我们的算法的优点被证明。
2023-01-09 math.OC
Adaptive sieving with semismooth Newton proximal augmented Lagrangian algorithm for multi-task Lasso problems
本文提出自适应筛选结合半光滑牛顿近端增广拉格朗日算法,高效求解多任务Lasso问题,利用稀疏性缩减子问题维度,在合成与真实数据上优于现有求解器。
2025-04-21 math.OC
A highly efficient semismooth Newton augmented Lagrangian method for solving Lasso problems
我们开发了一个快速和强大的算法来解决大规模的凸复合最优化模型,重点是$\ell_1$ -正则化最小二乘回归(Lasso)问题。尽管事实上,存在大量的求解器在文献中的Lasso问题,我们发现,没有求解器可以有效地处理困难的大规模回归问题的真实数据。利用已有的误差界结果实现了增广拉格朗日算法的渐近超线性收敛性质,并通过半光滑牛顿法利用问题的二阶稀疏性,提出了一种称为{ \sc Ssnal}的算法,有效地解决了上述困难问题.在Lasso问题自动成立的非常温和的条件下,由{ \sc Ssnal}生成的原始和对偶迭代序列都具有快速的线性收敛速率,甚至可以是超线性的渐近收敛.我们的方法和一些国家的最先进的求解器,在真实的数据集之间的数值比较,展示了我们提出的算法在解决困难的大规模Lasso问题的高效率和鲁棒性。
2017-05-03 math.OC
A Semismooth Newton Augmented Lagrangian Method for Sparse Spectral Risk Optimization
School of Data Science, Fudan University(复旦大学数据学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
针对谱风险度量优化问题的挑战,提出用半光滑牛顿子问题求解器的相对不精确近端增广拉格朗日方法,利用对偶和莫罗包络性质简化计算,数值结果显示该方法运行时间低,能产生可比平稳性残差和稀疏解。
2026-07-08 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题,提出一种嵌入半光滑牛顿步的信赖域型法映射方法,证明其全局与局部超线性收敛性,拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Exact Conic Programming Reformulations of Two-Stage Adjustable Robust Linear Programs with New Quadratic Decision Rules
本文介绍了一种新的参数化二次决策规则(QDR),它是常用仿射决策规则(ADR)的推广,通过对精确半定规划(SDP)和二阶锥规划(SOCP)的改进,证明了具有QDR的(仿射参数化)线性可调鲁棒最优化问题是数值上易于处理的.根据这些QDR,我们还建立了精确的圆锥规划重新制定也适用于两阶段的线性ARO问题,也包含可调变量在其目标函数。然后,我们通过数值实验表明,可调整的鲁棒线性最优化问题与QDR的批量问题,提高了ADR在其性能的最坏情况下的意义上,并在模拟实现的不确定的需求相对于真正的解决方案。
2020-03-22 math.OC
Composite Optimization with Indicator Functions: Stationary Duality and a Semismooth Newton Method
针对含正区间指示函数的强凸复合优化,本文构造等价 ℓ0 稀疏对偶问题,并提出兼具全局与局部超线性收敛的低复杂度对偶半光滑 Newton 方法。
2025-06-10 math.OC