Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的,因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体,并保证收敛。交替极小化算法(AMA)是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的,它等价于应用于相应对偶问题的前后向分裂算法。在本文中,我们设计了一个变种的三块AMA,这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比,该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品,我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下,证明了算法在无限维希尔伯特空间中的收敛性.最后,我们进行了数值实验的稳定的主成分追踪(SPCP),以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的,因此其凸松弛问题--核范数最小化问题往往被求解。最近,Ma,Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术,通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时,其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
Convergence of cyclic coordinatewise l1 minimization
我们考虑最小化一个目标函数的一般问题,该目标函数是一个凸函数(不是严格凸)和一个变量子集(或等价的变量的l1-范数)的绝对值的和。这个问题广泛出现在与高维数据或"大数据"相关的现代统计应用中,并且对应于在模型选择的上下文中优化l1正则化似然。在这样的应用中,经常采用循环坐标最小化(CCM),其中目标函数相对于每个单独的坐标被顺序地最小化,因为它提供了计算上便宜且有效的最优化方法。因此,这是至关重要的,以获得理论上的保证,在此设置中的循环coordinatewise最小化所产生的迭代序列的收敛性。此外,由于目标对应于许多变量的l1正则化似然,因此重要的是获得迭代本身的收敛性,而不仅仅是函数值。文献中以前的结果只建立了(i)迭代序列的每个极限点是目标函数的一个不动点,或(ii)在特殊假设下建立收敛性,或(iii)建立不同最小化方法的收敛性(其使用基于二次近似的梯度下降,然后是不精确的线搜索),(iv)仅建立由随机坐标最小化(CCM的变体)产生的迭代序列的函数值的收敛。本文给出了循环坐标极小化算法收敛性的一般严格证明。我们证明了我们的一般结果在当代应用的实用性。
2015-01-29 math.OC stat.CO
A Proximal Variable Smoothing for Minimization of Nonlinearly Composite Nonsmooth Function -- Finite-Max Minimization and MIMO Applications
Institute of Science Tokyo(东京科学大学)
针对非光滑优化问题,提出近端变量平滑算法,其具有单环结构,由两步组成。给出驻点收敛保证及收敛速率,通过数值实验验证该算法在鲁棒目标定位和MIMO信号检测场景下的有效性。
2026-07-08 eess.SP math.OC
Majorization-minimization procedures and convergence of SQP methods for semi-algebraic and tame programs
鉴于解决涉及复杂约束的非光滑和非凸问题(如标准NLP问题),我们研究了由强凸子问题族产生的一般最大化-最小化过程。利用半代数几何和变分分析的技巧--特别是Lojasiewicz不等式--我们建立了由这类方案产生的序列到临界点的收敛性。这个过程的广泛适用性在NLP的背景下说明。在这种情况下,临界点与KKT点重合。当数据是半代数或真正的分析,我们的方法适用于(例如)各种SQP方法的研究:移动球的方法,SL 1 QP,ESQP。在标准条件下,这提供了-据我们所知-第一个一般的收敛结果一般非线性规划问题。我们强调的事实是,与大多数关于这个问题的作品,没有二阶假设和/或凸性假设。收敛速率与一阶方法中常见的收敛速度具有相同的形式。
2015-03-30 math.OC
Variants of alternating minimization method with sublinear rates of convergence for convex optimization
交替极小化(AM)方法是求解变量由两个块组成的凸函数极小化问题的一种基本方法。如何有效地求解每一个子问题是应用AM方法时最关心的问题。在本文中,我们调查这一任务,并设计了两个新的变体的AM方法借用近端线性化技术。第一种变式非常适合于一半子问题难以求解而另一半子问题可以直接计算的情况。第二种变体是为并行计算而设计的。这两种方法在每个迭代步骤中都具有简单性的特点。从理论上讲,在邻近算子的帮助下,我们首先将新的和现有的AM变体写成统一的表达式,然后证明它们在非常小的假设下具有次线性收敛速度。
2015-01-15 math.OC
Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds
在本文中,我们提出了一个分布式版本的随机块坐标下降法,以最小化部分可分光滑凸函数和完全可分非光滑凸函数的总和。在光滑函数梯度块Lipschitz连续的假设下,证明了该方法具有次线性收敛速度。对于新引入的广义误差界函数类,得到了该方法的线性收敛速率。我们证明了这类广义误差界函数既包含全局/局部误差界函数,又包含光滑强凸函数.我们还表明,收敛速度的理论估计取决于随机选择的块的数量和一个自然的措施分离的目标函数。
2015-11-20 math.OC
A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization
块坐标下降法(BCD)是求解多个块变量的连续函数f最小值问题的一种常用方法。在该方法的每次迭代中,优化单个变量块,而其余变量保持固定。为了保证BCD方法的收敛性,每次迭代中需要精确求解待优化的子问题,使其具有唯一的最优解。不幸的是,这些要求对于许多实际场景来说往往过于严格。在本文中,我们研究了另一种不精确的BCD方法,该方法通过连续最小化f的一系列逼近来更新可变块,这些逼近要么是f的局部紧上界,要么是f的严格凸局部逼近。我们专注于一个相当广泛的一类这样的方法,特别是对于其中的目标函数是不可微或非凸的情况下,其收敛特性的特征。我们的结果统一和推广了许多经典算法如BCD方法、凸函数差分(DC)方法、期望最大化(EM)算法以及交替邻近最小化算法的收敛性结果.
2012-09-11 math.OC
On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems
Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
本文研究了主要化最小化算法在非凸正则化优化问题中的全局收敛性,引入Kurdyka-Lojasiewicz不等式理论,证明了非凸问题满足该性质并建立了相应算法的全局收敛性结果,同时扩展到著名的CCCP方法。
2015-04-30 cs.NA math.NA math.OC
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化,或者更一般地说,光滑流形上的光滑函数的极小化,是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案,并获得的结果,保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度(Frank-Wolfe)算法。我们研究了一些条件,保证整体收敛的全步版本的方法与线性率。
2019-06-27 math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法,证明其高阶平稳性收敛与一阶复杂度界,并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics;Institute of Operations Research;Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics;Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法,结合投影牛顿与顶点交换方法,高效求解广义单纯形约束下的自和谐最小化问题,并辅以半光滑牛顿投影方法,实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
Convergence rates of Newton's method for strongly self-concordant minimization
本文针对强自协调函数这一自协调子类的牛顿法局部收敛性展开研究,证明其二次收敛速率优于一般自协调函数,收敛区域更大,填补了相关理论研究的空白。
2025-07-31 math.OC
Improved convergence rates and trajectory convergence for primal-dual dynamical systems with vanishing damping
本文利用阻尼项渐近为零的二阶动力系统,研究了线性等式约束下连续可微凸函数的极小化问题。该系统是制定在增广拉格朗日与最小化问题。我们展示了快速收敛的原始-对偶间隙,可行性措施,和目标函数值沿所生成的轨迹。当目标函数具有Lipschitz连续梯度时,我们证明了原-对偶轨线渐近弱收敛于最小化问题的原-对偶最优解.据我们所知,这是第一个结果,保证了收敛的轨迹所产生的原始-对偶动力系统渐近消失的阻尼。此外,我们将重新发现的情况下的无约束极小化的凸可微函数与Lipschitz连续梯度的所有收敛声明中获得的Nesterov的加速梯度法。
2021-06-23 math.CA math.OC
An Approach to the Minimization of the Mumford-Shah Functional using Γ-convergence and Topological Asymptotic Expansion
本文提出了一种基于拓扑渐近展开思想的数值极小化Mumford-Shah泛函的方法。基本思想是用半径ε> 0的球覆盖期望的边集,并使用球的数量乘以2ε作为边集长度的估计。基于这一思想,我们引入了一个泛函,并证明了它在Γ-极限意义下收敛于Mumford-Shah泛函.此外,我们表明,从拓扑渐近分析的想法可以用来确定在哪里覆盖的边缘集的球的位置。所提出的方法的结果是通过两个数值例子,并与古典近似由于Ambrosio和Tortorelli的结果进行比较。
2013-06-11 math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University(西北大学)
在本文中,我们考虑的问题,分布式位姿图优化(PGO),在多机器人同时定位和地图(SLAM)中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外,由于我们所提出的方法依赖于分布式PGO的邻近算子,因此使用Nesterov方法可以显著加快收敛速度,更重要的是,加速不会导致理论保证的妥协。此外,我们还提出了加速优化最小化方法的分布式弦初始化,具有平方收敛,它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较,验证了这项工作的有效性,这表明我们提出的方法具有更快的收敛速度,并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
A Linear Scalarization Proximal Point Method for Quasiconvex Multiobjective Minimization
本文提出了一种求解任意下半连续拟凸多目标极小化问题的线性标量化邻近点法。在一些自然的假设下,利用邻近参数有界的条件,证明了算法产生的序列的收敛性,并在目标函数连续的情况下,证明了算法产生的序列收敛于广义临界点。此外,如果每次迭代最小化邻近正则化函数和邻近参数收敛到零,我们证明了收敛到一个弱Pareto解。在连续可微情形下,证明了该序列对Pareto临界点的整体收敛,并给出了一个具有相同收敛性质的非精确算法.当目标函数为凸函数且满足一个尖锐极小值条件时,我们还分析了算法有限收敛到Pareto最优点的特殊情况。
2015-10-02 math.OC
A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization
本文提出一般高阶majorization-minimization算法框架,解决(非)凸(非)光滑优化问题,并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。
2025-03-03 math.OC
Saddle Point Optimization with Approximate Minimization Oracle and its Application to Robust Berthing Control
我们提出了一种方法,鞍点优化只依赖于预言机,解决近似最小化问题。我们分析了它在强凸-凹问题上的收敛性,并证明了它向全局极小-极大鞍点的线性收敛。基于收敛性分析,我们开发了一种启发式方法来适应学习率。所开发的方法,使用(1+1)-CMA-ES作为最小化的预言,即逆境-CMA-ES,实现优于现有的几种方法的测试问题。数值评估证实了理论收敛速度界的紧密性以及学习速率自适应机制的效率。作为一个实际问题的例子,建议的最优化方法应用于模型不确定性下的自动靠泊控制问题,显示其在获得解决方案的不确定性的实用性。
2022-01-04 cs.NE math.OC
Fundamental Convergence Analysis of Sharpness-Aware Minimization
本文基于不精确梯度下降框架建立了锐度感知最小化(SAM)的基础收敛性理论,证明其梯度、函数值和迭代序列均收敛到最优,并将分析推广到 F-SAM、VaSSO、RSAM、USAM 等变体,同时通过深度学习分类实验验证了理论的实际有效性。
2024-10-20 math.OC
On Busemann subgradient methods for stochastic minimization in Hadamard spaces
University of Bath(巴斯大学)
本文提出了一种在Hadamard空间中处理随机最小化问题的Busemann子梯度方法,证明了其强收敛性和弱渐进收敛性,并在强凸条件下推导了收敛速率。
2026-11-17 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用,如吉洪诺夫正则化的(非)线性反问题的稀疏约束。在(2015 Inverse Problems(31)025005)中,针对线性反问题的$\ell_1$ -Tikhonov正则化,提出了一种全局化的Bouligand-semismooth Newton方法。然而,为了证明整体收敛,必须对迭代序列的聚点进行技术假设。在这里,我们将这种方法推广到一般的非线性问题,并提出了一个修改的半光滑牛顿法的整体收敛证明,没有任何额外的要求。此外,在一个技术假设下,完整的牛顿步骤最终被接受,并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
A Matrix Splitting Method for Composite Function Minimization
复合函数最小化在计算机视觉和机器学习中具有广泛的应用。它包括有界约束优化和基数正则化优化作为特殊情况。本文提出并分析了一种新的求解复合函数极小化问题的矩阵分裂法。它可以看作是经典Gauss-Seidel方法和文献中求解线性系的逐次过松弛法的推广。矩阵分裂法是一种新的高斯消去法,具有先进的性能。对于凸问题,我们证明了MSM的整体收敛性、收敛速度和迭代复杂度;对于非凸问题,我们证明了MSM的整体收敛性。最后,我们验证了我们的矩阵分裂方法在两个特定的应用:非负矩阵分解和基数正则稀疏编码的性能。大量的实验表明,我们的方法优于现有的复合函数最小化技术的效率和功效。
2016-12-07 math.OC
The Convergence Properties of Infeasible Inexact Proximal Alternating Linearized Minimization
本文研究了不可行非精确近端交替线性化极小化方法(PALM-I)的收敛性质,通过构造代理序列克服目标值非单调性问题并设计可实现的非精确准则,证明了聚点稳定性、迭代收敛性及渐近收敛速率,数值实验验证了其在CPU时间上的优势。
2022-04-13 math.OC
Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院)
本文提出了一个统一框架,基于非单调$j$步充分下降条件和KL性质分析AM型深度神经网络训练方法的收敛速率,并展示了不同条件下的局部收敛速率与R-线性收敛性。
2023-04-04 cs.LG math.OC
Convergence analysis of the direct extension of ADMM for multiple-block separable convex minimization
近年来,交替方向乘子法(ADMM)在许多领域得到了有效的应用,但当直接将其推广到目标函数为无耦合变量的$m\ge 3$函数的可分凸极小化问题的多块情形时,收敛性并不能得到保证.这一事实极大地推动了研究各种条件的模型和算法的参数,可以确保收敛的直接扩展的ADMM(简称为“e-ADMM”)。尽管在非常强的条件下(例如,至少$(m-1)$函数应该是强凸的),其他一些则集中在$m$的特殊情况下,在相对较温和的条件下,假设只有一个函数是强凸的。我们专注于扩展的收敛性分析,从$m=3$的情况下,更一般的情况下,$m\ge3$。也就是说,我们显示的情况下,$m\ge 3$与假设只有$(m-2)$功能是强凸的e-ADMM的收敛性,并建立其收敛速度在不同的情况下,如最坏情况下的收敛速度衡量的迭代复杂性和渐近线性收敛速率更强的假设。因此,收敛的e-ADMM的一般情况下的$m\ge 4$证明,这一结果似乎仍然是未知的,即使它是直观的情况下的$m=3$已知的结果。即使对于特殊情况的$m=3$,我们的收敛结果比现有的结果,特别是$m=3$的情况下导出的更一般。
2016-11-14 math.OC
Convergence analysis for a primal-dual monotone + skew splitting algorithm with applications to total variation minimization
Faculty of Mathematics, Chemnitz University of Technology(德累斯顿工业大学数学系)
本文分析了Combettes和Pesquet提出的原始-对偶分裂方法在求解复合、Lipschitz和并行和类型算子单调包含问题时的收敛行为,通过共轭对偶技术推导了凸最小化问题中目标函数值的收敛速率,并提出了两种加速原始和/或对偶迭代的新方案,最后应用于全变差正则化的图像恢复问题。
2012-11-07 cs.NA math.NA math.OC
Convergence analysis of stochastic higher-order majorization-minimization algorithms
提出随机高阶Majorization-Minimization算法框架,通过随机高阶上界近似与minibatching优化大量光滑函数平均值,推导了非凸与凸问题的收敛性,并证明局部收敛速率从次线性到线性或超线性。
2024-01-10 math.OC
A provably convergent alternating minimization method for mean field inference
EPFL(洛桑联邦理工学院);Idiap Research Institute(Idiap研究所)
均值场是一种有效的方法来近似后验分布在复杂的图形模型,并构成最流行的一类贝叶斯变分近似方法。在大多数应用中,平均场分布参数使用交替坐标最小化来计算。然而,该算法的收敛性仍不清楚。在本文中,我们展示了如何通过添加适当的惩罚项,我们可以保证收敛到一个临界点,同时保持在每一步的封闭形式更新。收敛速度估计也可以根据非凸优化的最新结果得出。
2015-02-20 cs.LG math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题:一个是光滑的,由梯度预言机给出,另一个是在坐标块上可分的,在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度(APCG)方法来最小化这样的凸复合函数。对于强凸函数,我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性,我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化(ERM)问题,并设计有效的实现,避免全维向量运算。对于病态的ERM问题,我们的方法获得了改进的收敛速度比最先进的随机双坐标上升(SDCA)方法。
2014-07-04 math.OC
Variable metric extrapolation proximal iterative hard thresholding method for $\ell_0$ minimization problem
本文考虑目标函数为$\ell_0$ -范数与凸可微函数之和的$\ell_0$极小化问题。将PIHT方法与拟牛顿法的技巧相结合,提出了一种变尺度型方法--变尺度外推邻近迭代硬阈值法(VMEPIHT)。然后在适当的假设下分析了它的收敛性、线性收敛速度和超线性收敛速率。最后,我们对压缩感知问题和CT图像重建问题进行了数值实验,并与其他方法进行了比较,验证了VMPIHT方法的有效性。
2021-08-07 cs.NA math.NA math.OC
Newton-type Alternating Minimization Algorithm for Convex Optimization
本文提出了求解结构化非光滑凸优化问题的NAMA(Newton-type Alternating Minimization Algorithm)算法,其中两个函数之和是极小化的,其中一个是强凸函数,另一个是由一个线性映射组成的.所提出的算法是一个线搜索法在一个连续的,实值的,精确罚函数相应的对偶问题,这是计算通过评估增广拉格朗日在原始点交替最小化。因此,NAMA依赖于与经典交替最小化算法(AMA)完全相同的计算,AMA也称为双近端梯度法。在标准假设下,该算法具有强收敛性,而在较弱的附加假设下,只要搜索方向按拟牛顿公式选取,则算法的渐近收敛是超线性的.由于其简单性,所提出的方法是非常适合于嵌入式应用程序和大规模的问题。实验结果表明,NAMA算法中使用有限内存方向大大提高了收敛速度。
2018-03-14 math.OC
A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming
我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下,并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了,同样的速度举行,如果线性子问题近似解决加性或乘性误差。与相关工作相比,当非光滑项是指示函数时,我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化,半定规划,最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。
2018-08-20 math.OC
On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms
KU Leuven(鲁汶大学);Kyushu University(九州大学)
本文提出统一拓展现有结果的adaPG$^{q,r}$自适应近端梯度框架,证明其在时变参数一般场景下的收敛性,还提出适用范围超出标准强凸场景的自适应交替最小化算法。
2024-05-15 cs.LG math.OC
Computing Stationary Distribution via Dirichlet-Energy Minimization by Coordinate Descent
Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学Inria中心);Eindhoven University of Technology(埃因霍温理工大学)
本文提出基于优化的RLGL算法,用于大马尔可夫链平稳分布的计算,并通过坐标下降法实现指数收敛性。
2026-03-06 math.OC math.PR
Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
Meiji University(明治大学)
该研究针对提升深度神经网络泛化性的锐度感知最小化算法,分析带递增批量或衰减学习率的GSAM的收敛性,实验验证该策略能找到更平坦的局部极小值。
2026-10-14 cs.LG math.OC
Convergence of the $k$-Means Minimization Problem using $Γ$-Convergence
$k$均值方法是一种迭代聚类算法,它将每个观测与其中一个$k$聚类相关联。它传统上采用与观察数据相同的空间中的聚类中心。通过放宽这一要求,有可能将$k$ -均值方法应用于无穷维问题,例如存在未知数据关联的多目标跟踪和平滑问题。通过一个$Γ$收敛参数,相关的最优化问题收敛的意义上说,这两个$k$ -意味着最小和极小收敛的大数据限制的数量取决于所观察到的数据,只有通过其分布。该理论补充了两个例子,以证明现在访问的$k$ -手段方法的问题的范围。第一个例子结合了非参数平滑问题与未知数据关联。第二个地址使用来自被动传感器网络的稀疏数据进行跟踪。
2015-04-03 math.FA math.OC math.ST
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标:目标函数的准确性,距离最优和剩余梯度范数。证明方法依赖于最近的发展,在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下,这种方法允许获得精确的和非渐近的最坏情况下的保证,在概念上非常简单,虽然显然是新的。在此过程中,我们讨论了如何用较弱的假设来代替强凸性,同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后,我们扩展最近的结果,最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
A Majorization-Minimization Algorithm for Computing the Karcher Mean of Positive Definite Matrices
基于优化-最小化(MM)原理,提出了一种计算$n$正定矩阵Karcher均值的算法.所提出的MM算法是无参数的,不需要选择步长,并具有渐近线性收敛的理论保证。
2017-01-13 math.OC
Inexact Restoration for Minimization with Inexact Evaluation both of the Objective Function and the Constraints
本文将两种不精确恢复方法结合,解决目标函数与约束及其导数均存在评估误差的约束优化问题,并给出复杂度与收敛性证明。
2023-09-19 math.OC
On the long time convergence of potential MFG
我们期待在长期的行为潜在的平均场游戏(简称MFG)使用一些标准的工具,从弱KAM理论。我们首先证明了时间依赖的极小化问题收敛到一个遍历常数$-λ$,然后我们提供了一类例子,其中的值的平稳MFG极小化问题是严格大于$-λ$。这将意味着时间相关的MFG系统的轨迹不收敛到静态平衡。
2018-07-27 math.OC
Linear Convergence of Proximal Gradient Algorithm with Extrapolation for a Class of Nonconvex Nonsmooth Minimization Problems
本文研究了求一个Lipschitz可微函数与一个适当的闭凸函数之和的最小化问题的外推近似梯度算法。在[19]中用于分析邻近梯度算法收敛性的误差界条件下,我们证明存在一个阈值,使得如果选择的外推系数低于该阈值,则生成的序列$R$线性收敛到问题的稳定点。此外,相应的目标值序列也是$R$ -线性收敛的。此外,阈值降低到$1$凸问题,因此,我们得到的$R$ -线性收敛的序列所产生的FISTA与固定的重新启动。最后,我们提出了一些数值实验来说明我们的结果。
2016-08-01 math.OC stat.ML
One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square
本文对Yu. E. Nesterov方法的最小化凸Lipschitz-连续函数的两个变量在一个正方形与一个固定的边。该方法是在解决辅助问题的一维最小化沿分离段,并不意味着计算的精确值的梯度的目标功能。实验表明,所考虑的方法可以达到所需的精度解决问题的时间比其他方法(梯度下降和椭球方法)考虑,在一个已知的精确解的情况下,并使用估计的方法的收敛速度。
2020-01-13 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法(FM-HSDM),它是HSDM算法族的一个新成员,用于求解实希尔伯特空间中的仿射约束极小化问题,其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱,并在一定的假设下,强烈的解决方案的任务。不动点理论,变分不等式和仿射非扩张映射被用来设计一个计划,以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用,非常适合大规模优化任务,而不会影响收敛保证。与HSDM的前体相比,FM-HSDM具有Fejér单调性,步长参数在迭代过程中保持不变,以促进估计序列收敛到最小值,而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Block-coordinate primal-dual method for the nonsmooth minimization over linear constraints
本文研究了一类受线性约束的凸可分非光滑函数的极小化问题。我们提出的数值方法是Chambolle-Pock原始对偶法的块坐标扩展。我们证明了该方法的收敛性,而不诉诸假设,如光滑或强凸的目标,满秩条件的矩阵,强对偶性,甚至一致性的线性系。自由强加后一个假设允许收敛保证错误指定或嘈杂的系统。
2018-01-15 math.OC
Linear Convergence of a Proximal Alternating Minimization Method with Extrapolation for $\ell_1$-Norm Principal Component Analysis
经典主成分分析(PCA)的一种流行的鲁棒替代方案是$\ell_1$ -norm PCA(L1-PCA),其目的是找到一个子空间,该子空间可以捕获数据集中由$\ell_1$ -norm测量的最大变化。L1-PCA在数据分析应用中,在减轻离群值的影响方面显示出很大的潜力。然而,它产生了一个具有挑战性的非光滑非凸优化问题,现有的算法要么是不可扩展的或缺乏强有力的理论保证,其收敛行为。在本文中,我们提出了一个近似的交替最小化方法与外推(PAMe)解决两个块的重新制定的L1-PCA问题。然后,我们表明,无论是L1-PCA问题和它的两个块的重新制定,在任何限制临界点的Kurdyka-Eschojasiewicz指数是$1/2$。这使我们能够建立由PAMe生成的迭代序列的线性收敛,并确定相对于L1-PCA问题及其两块重构的序列的极限的临界性。为了补充我们的理论发展,我们通过对合成和真实世界数据集的数值实验表明,PAMe与许多现有方法具有竞争力。我们的结果不仅大大推进了L1-PCA的迭代法的收敛性理论,而且展示了我们所提出的方法在应用中的潜力。
2021-07-15 math.OC
First-Order Methods for Nonconvex Quadratic Minimization
我们考虑最小化的不定二次与信赖域(范数)约束或立方正则化。尽管这些问题的非凸性,我们证明,在温和的假设下,梯度下降收敛到他们的整体解决方案,并给出了一个非渐近收敛速率的三次变量。我们还考虑Krylov子空间的解决方案,并建立信任域和正则化问题的解决方案的急剧收敛保证。我们的速率反映了这些方法在凸二次和特征向量问题上的行为,突出了它们的可扩展性。当我们使用Krylov子空间解来近似正则化牛顿步时,我们的结果恢复了已知的最强收敛保证,以近似一般光滑非凸函数的二阶稳定点。
2020-03-10 math.OC
On the Convergence Rate of Decomposable Submodular Function Minimization
本文研究了可分解亚模函数最小化算法的收敛速度,通过几何和谱图理论分析,给出了收敛速率的上界和下界。
2014-11-05 cs.DM cs.DS cs.LG
Tight Majorizations and Convergence Rates of Nuclear Norm Minimization IRLS
University of Central Florida(中佛罗里达大学);Wirtschaftsuniversität Wien(维也纳经济大学);KU Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特大学)
本文针对低秩恢复的约束核范数最小化问题,通过新的上界分析证明调和均值权重算子的最优性,给出IRLS算法的收敛速率,并经数值实验验证其优于单侧重加权方案。
2026-08-26 cs.LG cs.NA math.NA
Convergence analysis of a norm minimization-based convex vector optimization algorithm
本文提出一种外部逼近算法求解有界凸向量优化问题,通过改进范数最小化标量化模型,证明了有限步终止性及Hausdorff距离误差界,并给出了任意范数与欧几里得范数下的收敛率。
2023-05-23 math.OC
Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory(鹏城实验室)
凸差最小化(Difference-of-Convex,DC)是指最小化两个凸函数之差的问题,在统计学习中有着广泛的应用和研究。然而,现有的方法主要是基于多阶段的凸松弛,只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题,并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下,这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较,我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时,坐标下降法达到\textit{Q-linear}收敛速度。此外,对于许多感兴趣的应用程序,我们表明,非凸一维子问题可以计算准确,有效地使用断点搜索方法。最后,我们对几个统计学习任务进行了大量的实验,以显示我们的方法的优越性。保留字:坐标下降,DC最小化,DC规划,凸规划的差异,非凸优化,稀疏优化,二进制优化。
2022-12-18 cs.LG math.OC
Accelerated Alternating Minimization and Adaptability to Strong Convexity
本文的第一部分考虑了具有$L$ -Lipschitz-连续梯度的凸函数的加速一阶最优化方法,它能自动适应于满足Polyak-Chaojasiewicz条件或强凸且参数值等于$μ$的问题。在这些情况下,如果$μ$未知,则该方法具有因子$\fracμ{L}$的线性收敛。如果问题是强凸的且$μ$是已知的,则该方法具有以因子$\sqrt{\fracμ{L}}$线性收敛性.如果不是这种情况,则该方法以速率$O(1/k^2)$收敛。第二部分包含的问题,允许交替最小化和相同的渐近收敛率的证明方法的推广。它也被认为是自适应催化剂的方法,它允许增加收敛速度高达$O(1/k^2)$,也提供了一个实验比较的方法与AGM,交替AGM,APDAGD和Sinkhorn的算法的对偶问题的离散熵正则化最优输运问题。工作的结果是试图解释为什么交替AGM收敛速度比AGM或自适应催化剂,尽管渐近理论速率$O(1/k^2)$。该假设依赖于交替AGM适应强凸性的事实。该假设在二次函数上进行了测试,在此基础上,交替AGM也显示出更快的收敛。
2020-06-16 math.OC
Approaching nonsmooth nonconvex minimization through second order proximal-gradient dynamical systems
研究了一类近似梯度型二阶动力系统在非光滑凸函数和(可能非凸)光滑函数之和最小化时所产生的轨迹的渐近性质.如果目标函数的正则化满足Kurdyka-Schojasiewicz性质,则确保所生成的轨迹收敛到目标的临界点。我们还提供了收敛速度的轨迹制定的Chaojasiewicz指数。
2017-11-16 math.DS math.OC
Decomposable Norm Minimization with Proximal-Gradient Homotopy Algorithm
研究了范数正则化线性最小二乘问题的近似梯度同伦算法的收敛速度。同伦算法在一系列步骤中减少正则化参数,并在每一步使用近似梯度算法来解决问题。如果目标函数是强凸的,并且目标函数的光滑分量的梯度是Lipschitz连续的,则近似梯度算法具有线性的收敛速率。在许多应用中,这类问题中的目标函数不是强凸的,特别是当问题是高维的并且正则化子被选择为引起稀疏性或低维性时。我们证明了,如果线性采样矩阵满足一定的假设且正则化范数是可分解的,那么即使目标函数不是强凸的,近似梯度同伦算法也能收敛于\emph{linear rate}.我们的结果推广了关于$l_1$ -正则化最小二乘问题同伦算法线性收敛性的结果。数值实验支持理论收敛速度分析。
2016-09-27 math.OC