Primal superlinear convergence of SQP methods in piecewise linear-quadratic composite optimization
本文主要研究分段线性-二次复合最优化问题的拟牛顿序列二次规划(SQP)方法的原始超线性收敛。我们表明,后者的原始超线性收敛可以证明下的非临界拉格朗日乘子和Dennis-More条件的版本。此外,我们表明,如果我们取代的非临界条件与二阶充分条件,这种原始超线性收敛是等价的Dennis-More条件的适当版本。在二阶充分条件和Lagrange乘子的唯一性下,我们恢复了Bonnans在[1]中关于这类组合问题的基本SQP方法的原-对偶超线性性的结果.为了实现这些目标,我们首先得到一个扩展的减少引理凸分段线性二次函数,然后提供一个全面的分析的非临界性的拉格朗日乘子的复合问题。我们还建立了复合问题的KKT系统的一些原始估计,这些估计在我们的拟牛顿SQP方法的局部收敛分析中起着重要的作用。
2020-12-28 math.OC
Primal Characterizations of Error Bounds for Composite-convex Inequalities
本文讨论了一般函数误差界的基本条件。利用Bouligand切锥、Hadamard下方向导数和子集的Hausdorff-Pompeiu过剩,在适当的假设下,给出了几个误差界的充要条件充分条件.然后,我们利用这些原始结果来刻画复合凸函数(即凸函数与连续微分映射的复合)的误差界。证明了若映射在给定点处度量正则,则误差界的原始特征可由Bouligand切锥、方向导数和Hausdorff-Pompeiu过剩建立.同时给出了误差界模的精确估计。
2022-10-01 math.OC
KKT-based primal-dual exactness conditions for the Shor relaxation
本文给出了对角QCQP的Shor松弛的一些精确条件,推广了最近几篇关于同一主题的论文中所给出的条件。证明了Shor松弛等价于两个凸二次松弛。然后,从它们的KKT系统出发,导出了松弛精确的充分条件。它将表明,在某些情况下,通过这种推导,以前的条件在文献中,这可以被视为对偶条件,因为它们只涉及拉格朗日乘子出现在KKT系统,可以扩展到原始对偶条件,这也涉及原始变量出现在KKT系统。
2020-11-10 math.OC
Equivalent Sufficient Conditions for Global Optimality of Quadratically Constrained Quadratic Program
研究了一般二次约束二次规划(QCQP)的几个著名的充分最优性条件的等价性。这些条件分为两类。第一个用于确定最优解,第二个用于找到最优值。第一类条件包括拉格朗日函数的鞍点的存在性和QCQP的原始SDP松弛的秩1最优解的存在性。第二类包括$η_p = ζ$、$η_d = ζ$和$φ= ζ$,其中$ζ$、$η_p$、$η_d$和$φ$分别表示QCQP、对偶SDP松弛、原始SDP松弛和拉格朗日对偶的最优值。我们证明了这些条件的等价性,有或没有QCQP和/或斯莱特约束规格的原始SDP松弛的最优解的存在。本文还将这些结果推广到非负变量的等式约束QCQP的双重非负松弛问题。
2023-03-13 math.OC
About subtransversality of collections of sets
给出了Asplund空间中集合的次横截性的对偶充分条件.对于凸情形,我们给出了一般巴拿赫空间中次横截性的一个充要对偶判据。我们更一般的结果提出了一个中间概念的subtransversality,我们称之为弱内在subtransversality,这是内在的transversality和subtransversality之间的Asplund空间。
2017-07-01 math.OC
On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions
求解大规模凸半定规划问题一直是一个具有挑战性的数值任务。幸运的是,几个强大的求解器,包括SDPNAL,SDPNAL+和QSDPNAL最近已经开发出解决线性和凸二次SDP问题,以高精度成功。这些求解器是基于增广拉格朗日方法(ALM)的对偶问题的子问题被解决的半光滑牛顿CG方法。值得注意的是,由于Rockafellar关于邻近点算法的一般理论,由ALM生成的原始迭代序列在原问题的二阶充分条件下具有渐近Q-超线性收敛速度.这个二阶充分条件意味着原始问题有唯一的解,这在许多应用中可能是限制性的。为了获得更有见地的解释,这些求解器的高效率,在本文中,我们进行了渐近超线性收敛分析的ALM凸SDP时,原始问题有多个解决方案(可以是无界的)。在一个较弱的二阶增长条件下,我们证明了由ALM生成的原始迭代序列渐近Q-超线性收敛,而对偶可行性和对偶目标函数值渐近R-超线性收敛.此外,通过研究Karush-Kuhn-Tucker解映射的度量次正则性,我们还给出了对偶映射渐近R-超线性收敛的充分条件.
2016-10-04 math.OC
Primal-Dual Stability in Local Optimality
本文针对有限维优化问题,提出局部最优性中原始-对偶稳定性的精确条件,利用余导数与严格图形导数的新进展,并推导出强度量正则性的新结果。
2023-12-31 math.OC
A Note on the Finite Convergence of Alternating Projections
对两个互不相交的潜在非凸集,建立了交替投影法有限收敛的充分条件。我们的结果是基于一个推广的概念,内在的横截性,到目前为止,已被限制为集与非空的交集。在多面体和闭半空间的特殊情况下,我们的充分条件定义了两个集合之间的最小距离,该距离是交替投影在单次迭代中收敛所需的。
2021-02-17 math.OC
Multiobjective fractional variational calculus in terms of a combined Caputo derivative
研究了分数阶Caputo组合导数表示的分数阶变分问题。证明了基本问题、等周问题和Lagrange变分问题的Euler-Lagrange型最优性必要条件最优性条件,以及横截性和充分最优性条件.这使得获得必要的和充分的Pareto最优性条件的多目标分数变分问题。
2011-10-31 math.OC
First-Order Primal-Dual Method for Nonlinear Convex Cone Programming
非线性凸锥规划(NCCP)问题是一类重要的非线性规划问题,具有广泛的实际应用.在本文中,我们介绍了一个灵活的一阶原始对偶法称为变异辅助问题的原则(VAPP)解决NCCP问题时,目标函数和约束是光滑的,可能是非光滑的。VAPP的每次迭代生成对增广拉格朗日方法的原始问题的非线性逼近。该近似结合了线性化和变距离函数,然后VAPP的迭代为NCCP提供了一个分解性质。受大数据分析的启发,大规模最优化问题的并行计算算法的收敛速度分析成为研究热点。本文提出了一种基于迭代的误差界和线性收敛的VAPP。讨论了该误差界的可验证的充分条件。对于一般的凸情形(无误差界),我们建立了$O(1/t)$的原始次优性、可行性和对偶次优性的收敛速度。通过在不同迭代中自适应地设置参数,我们给出了强凸情况下的$O(1/t^2)$速率。我们进一步提出了VAPP方法的前向-后向分裂(FBS)公式,并建立了VAPP与其他原始-对偶分裂方法之间的联系。最后,我们讨论了VAPP实施中的一些问题。
2019-11-02 math.OC
Error bounds revisited
我们提出了一个统一的一般框架,定量的原始和对偶充分和必要的误差界条件,包括线性和非线性,局部和全局设置。该函数不被假定为具有任何特殊的结构,除了在充分条件的情况下下半连续性和(在某些情况下)在必要条件的情况下凸性的标准假设。我们暴露的角色的假设参与的误差界断言,特别是在底层空间:一般度量,赋范,Banach或Asplund。采用特殊的斜率算子的集合,我们引入了一个简洁的形式,充分的误差界条件,它允许一个结合在一个单一的声明几个不同的断言:非本地和本地原始空间条件在完全度量空间,并在Banach和Asplund空间的次微分条件。
2021-07-22 math.OC
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为,证明足够高阶时仅靠外推即可达到障碍参数减小速率,并给出二次规划数值验证。
2025-07-02 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题,提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法,证明其全局收敛与超线性收敛速率,数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
Restarted Accelerated Primal-Dual Algorithms with Adaptive Stepsizes for Nonlinear Conic Constrained Convex Optimization
Penn State University(宾夕法尼亚州立大学);University of Chicago(芝加哥大学)
针对非线性锥约束凸优化问题(含二次约束二次规划),提出带回溯的自适应步长重启加速原始-对偶算法,利用一阶信息和矩阵-向量乘积,在KKT映射度量次正则性下证明全局线性收敛,数值实验显示非单调自适应步长和GPU加速效果显著。
2026-09-30 math.OC
Analysis of the primal-dual central path for nonlinear semidefinite optimization without the nondegeneracy condition
本文在无非退化条件下,基于强SOSC、严格互补条件和Mangasarian-Fromovitz约束规范,证明了非线性半定优化中心路径的唯一存在性,并揭示其对偶分量收敛到拉格朗日乘子集的解析中心,同时刻画了牛顿方程唯一可解的区域。
2024-02-21 math.OC
Primal-dual path following method for nonlinear semi-infinite programs with semi-definite constraints
本文提出了求解具有无穷多个凸不等式约束的非线性半无限半定规划的两个算法,简称SISDP。SISDP的一个直接方法是使用半无限规划的经典方法,如离散化和交换方法,并求解一系列(非线性)半定规划(SDP)。然而,要找到SDP的精确解往往要求太高。我们的第一种方法不依赖于求解SDP,而是近似地遵循{一条通向解的路径,该路径形成于半无限区域和半定区域的内部的相交处。在适当的假设下,证明了该方法弱收敛于SISDP的Karush-Kuhn-Tucker点,并给出了强收敛的充分条件.此外,作为第二种方法,为了实现快速的局部收敛,我们集成了两步序列二次规划方法配备Monteiro-Zhang尺度技术到第一种方法。我们特别证明了两步超线性收敛的第二种方法使用Alizadeh-Hareberly-Overton,Nesterov-Todd,Helmberg-Rendle-Vanderbei-Wolkowicz/Kojima-Shindoh-Hara/Monteiro标度方向。最后,我们进行了一些数值实验,以证明所提出的方法的效率,通过比较与离散化方法,解决有限松弛的SISDP得到的SDPs。
2018-09-30 math.OC
Uniform Regularity of Set-Valued Mappings and Stability of Implicit Multifunctions
本文提出统一的一般性观点研究集值映射的正则性理论,阐明原始与对偶条件的关系及层级,并给出包含问题解映射稳定性的原始和对偶条件。
2021-06-18 math.OC
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中,我们证明了这一条件足以证明的原始-对偶序列的线性收敛,产生的增广拉格朗日方法分段线性二次复合最优化问题,即使在这类问题的拉格朗日乘子是不唯一的。进一步,我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
An augmented Lagrangian method for strongly regular minimizers in a class of convex composite optimization problems
本文针对一类凸复合优化问题,建立了原始/对偶二阶充分条件、非退化条件与严格 Robinson 约束规范之间的等价关系,并利用增广拉格朗日方法求解,通过 von Neumann 熵优化问题的数值实验验证了算法有效性。
2025-07-16 cs.NA math.NA math.OC
Lyusternik-Graves Theorem for Holder Metric Regularity
本文将Lyusternik-Graves定理推广到Hölder框架,建立Hölder度量正则性的原始与对偶充要条件,并应用于Newton型方法的收敛性分析。
2023-11-28 math.OC
On the Local Linear Convergence of Operator Splitting Methods for Conic Programming
University of California San Diego(加州大学圣地亚哥分校);MIT, Sloan School of Management(麻省理工学院斯隆管理学院);University of Chicago, Department of Statistics(芝加哥大学统计学系)
本文针对锥规划的算子分裂方法,通过统一原始对偶误差界框架,证明严格互补性等条件可使PDHG与ADMM局部线性收敛,并将框架推广至凸复合优化。
2026-11-03 math.OC
Local Convergence Analysis of ADMM for Nonconvex Composite Optimization
Sun Yat-sen University(中山大学)
本文研究了ADMM在现代成像和机器学习模型中出现的一类非凸复合问题的局部收敛性,通过分析Moreau包络的局部强凸性,推导了ADMM迭代的下降不等式,并建立了ADMM方案的局部收敛性及线性收敛率。
2026-07-30 math.OC
About [q]-regularity properties of collections of sets
本文研究了有限集合的三个原空间局部Hoelder型正则性,即[q]-半正则性、[q]-次正则性和一致[q]-正则性及其定量刻画.给出了这三个正则性的等价度量刻画以及[q]-次正则的一个充分条件.讨论了集合的[q]-正则性与集值映射的相应正则性之间的关系。
2014-03-31 math.OC
Perturbation analysis of a class of composite optimization problems
Hangzhou City University(杭州城市大学);Southwest Jiaotong University(西南交通大学)
本文研究了一类复合优化问题的扰动分析,提出强二阶充分条件并证明其与非退化条件等价,为设计高效算法奠定理论基础。
2026-03-20 cs.NA math.NA math.OC
Log-Averaged Mirror Prox for Fast, Large-Scale Optimal Transport in Linear Space
University of Rochester(罗切斯特大学)
本文提出Log-Averaged Mirror Prox方法,通过跟踪平均对偶序列降低存储复杂度,同时保持GPU友好的密集运算,实现高效最优传输求解。
2026-11-17 cs.DS math.OC
Local convergence analysis of augmented Lagrangian method for nonlinear semidefinite programming
自1969年Hestenes和Powell提出增广拉格朗日方法以来,增广拉格朗日方法以其优美的理论和令人印象深刻的数值性能得到了广泛的应用。它已被广泛应用于许多高效的求解器,以提高数值性能,解决许多问题。在不要求乘子唯一性的条件下,通过假设Karush-Kuhn-Tucker(KKT)解的二阶充分条件和半孤立镇定性,在较弱的条件下,得到了非线性半定规划(NLSDP)的ALM生成的原对偶序列的局部(渐近Q-超线性)Q-线性收敛速率.
2022-08-08 math.OC
An Augmented Lagrangian Approach to Conically Constrained Non-monotone Variational Inequality Problems
National Center for Translational Medicine, Shanghai Jiao Tong University(上海交通大学国家转化医学中心);Sino-US Global Logistics Institute, Shanghai Jiao Tong University(上海交通大学中美物流研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);University of Minnesota(明尼苏达大学)
针对凸锥约束的非单调变分不等式,提出增广拉格朗日原始-对偶方法 ALAVI,证明其全局与局部收敛速率,并通过随机非单调实验验证有效性。
2023-06-02 cs.LG math.OC
Karush-Kuhn-Tucker Condition-Trained Neural Networks (KKT Nets)
Indian Institute of Technology Dharwad(达尔瓦德印度理工学院)
本文提出KKT Nets,将凸优化问题参数输入神经网络,以KKT Loss衡量输出满足KKT条件的程度,并通过线性规划实验证明仅最小化KKT Loss优于结合数据损失的训练方式。
2024-10-21 cs.AI cs.LG cs.NE
Convergence of the Chambolle-Pock Algorithm in the Absence of Monotonicity
KU Leuven(鲁汶大学);IMT School for Advanced Studies Lucca(卢卡高等研究院)
本文将Chambolle-Pock算法的收敛性分析从凸问题扩展到非单调问题,通过斜弱Minty条件和半单调算子类,给出了依赖奇异值的新步长与松弛参数范围,恢复并扩展了现有收敛结果。
2025-03-10 cs.LG math.OC