Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化,如基追踪,LASSO,和基追踪去噪,以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式,我们开发了对偶变量的必要和充分的唯一性条件,通过简单而统一的方法,这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件,通过删除限制性假设,但也产生新的唯一性条件,更广泛的约束$\ell_1$ -极小化问题。
2017-11-16 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法(FM-HSDM),它是HSDM算法族的一个新成员,用于求解实希尔伯特空间中的仿射约束极小化问题,其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱,并在一定的假设下,强烈的解决方案的任务。不动点理论,变分不等式和仿射非扩张映射被用来设计一个计划,以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用,非常适合大规模优化任务,而不会影响收敛保证。与HSDM的前体相比,FM-HSDM具有Fejér单调性,步长参数在迭代过程中保持不变,以促进估计序列收敛到最小值,而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法,在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用,X应该是近似友好的--允许一个强凸函数,容易使线性扰动最小化。作为一个副产品,X允许一个计算成本低的线性最小化Oracle(LMO),能够最小化X个线性型。然而,在一些重要的情况下,廉价的LMO确实是可用的,但是X不是邻近友好的,这促使搜索仅基于LMO的算法。对于光滑凸极小化问题,存在一种经典的基于线性最优的算法--条件梯度算法。与此相反,我们已知的其他问题的凸结构(非光滑凸最小化,凹凸鞍点问题,甚至作为简单的双线性,和变分不等式与单调算子,甚至作为简单的仿射)的基于LMO的技术是相当新的,并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的(似乎更简单)基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
2015-10-02 math.OC
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化(AMRM)问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而,由于矩阵秩函数的组合性质,问题(AMRM)一般是NP-难的。许多替代函数被提出来代替矩阵秩函数,从而产生了许多相应的替代极小化问题,这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数(含$0\leqα<1$和$ε>0$)来逼近秩函数,并将NP难问题(AMRM)转化为$TL_{p}^ε$函数仿射矩阵秩最小化(TLAMRM)问题.首先研究了问题(AMRM)与(TLAMRM)的等价性,证明了当线性映射$\mathcal{A}$满足限制等距性(RIP)时,问题(TLAMRM)的全局极小解的唯一性也是NP-难问题(AMRM)的唯一解.其次,提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题(RTLAMRM)。最后,通过对低秩矩阵补全问题的数值实验,证明了该算法能够恢复低秩矩阵,通过对图像修复问题的大量数值实验,证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
On Coordinate Minimization of Convex Piecewise-Affine Functions
一种流行的算法来优化离散能量最小化问题的对偶LP松弛(a.k.a.图模型中的MAP推理或值约束满足)是收敛的消息传递算法,如最大和扩散,TRW-S,MPLP和SRMP。这些算法在实践中是成功的,尽管事实上,它们是一个版本的坐标最小化应用到凸分段仿射函数,这是不能保证收敛到一个全局最小。这些算法只收敛到一个局部极小,其特征在于从约束规划已知的局部一致性。我们推广的最大和扩散适用于任意凸分段仿射函数,它收敛到一个局部一致性条件的坐标最小化的版本。这个条件可以看作是全局最优性条件的符号松弛。
2017-09-14 cs.CV math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明,边界匹配最近推出的优化梯度法的最坏情况下的性能,从而建立边界是紧的,可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题,该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略,比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差,加快了收敛的收敛速率。在约束等距条件下,我们证明了该算法线性收敛于期望解。数值实验表明,与现有的贪婪算法相比,该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决,但一般的仿射秩最小化问题是NP难的。在本文中,我们表明,如果一定的限制等距性质成立的线性变换定义的约束,最小秩的解决方案可以恢复通过解决一个凸优化问题,即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念,并概述了一个字典有关的概念,从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族,用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上,我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素,当一个解决方案的不准确性是衡量其距离的解决方案集,新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者,从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
A seven-point algorithm for piecewise smooth univariate minimization
在本文中,我们构造了一个算法,用于最小化分段光滑函数的导数信息是不可用的。该算法构造一对二次函数,在具有最小已知函数值的点的每一侧上一个,并选择这些二次函数的交点作为下一个测试点。该算法依赖于在特定范围内低估真实函数的二次函数,这是使用随着算法进行而修改的调整项来实现的。
2020-12-11 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性,并给出了新的收敛速度。作为目标函数,考虑平滑部分和非平滑部分的组合,其中后者是块可分离的,例如,对应于凸约束或正则化。对于光滑部分,考虑了三种不同的强凸松弛:(i)拟强凸;(ii)二次函数增长;(iii)平面凸。线性收敛是建立在前两种情况下,推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下,也改进了以前的文献结果。所有的收敛结果有一个共同点,即与一般块坐标下降的先前相应结果相反,交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终,不仅更好的条件块确定的性能,已经类似地观察到在文献中。而且,更差条件的问题还额外地增强了性能,导致潜在地显著改进的收敛速度。此外,仅利用问题的凸性和光滑性,所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
The Stochastic Fejér-Monotone Hybrid Steepest Descent Method and the Hierarchical RLS
本文介绍了随机Fejér-monotone混合最速下降方法(S-FM-HSDM),用于求解带约束的复合凸极小化问题。最小化任务并不确切知道;噪声污染了关于复合损失函数和仿射约束的信息。S-FM-HSDM生成随机变量序列,在某些条件下,相对于概率空间,逐点收敛到无噪声最小化任务的解。S-FM-HSDM具有优化技术的理想属性,例如变量的分裂和恒定的步长(学习率)。此外,它提供了一种新的方式来利用信息的仿射约束通过适当的非扩张映射的不动点集。在S-FM-HSDM的后代中,分层递归最小二乘(HRLS)利用S-FM-HSDM对仿射约束的多功能性,并通过生成收敛到分层优化任务的解决方案的估计序列来提供对LS的新扭曲:最小化集合LS损失的最小化的凸损失。稀疏感知LS任务的数值测试表明,HRLS相比有利的几个国家的最先进的凸,以及非凸,随机近似和在线学习的同行。
2019-03-16 math.OC
Generalized Conditional Gradient with Augmented Lagrangian for Composite Minimization
本文提出了一种将广义条件梯度与近似步长相结合的分裂算法,我们称之为CGALP算法,用于实希尔伯特空间中极小化三个真凸下连续函数之和.最小化受到仿射约束,这特别允许通过通常的积空间技术以单独的方式处理复合问题(三个以上函数的和)。虽然经典的条件梯度法要求目标的可微部分的梯度的Lipschitz连续性,但CGALP只需要可微性(在适当的子集上),从而避免了梯度的Lipschitz连续性的复杂问题。对于目标函数中剩下的两个函数,我们不需要任何额外的正则性假设。第二个函数,可能是非光滑的,假设是简单的,即,相关联的邻近映射是容易计算的。对于第三个函数,也是非光滑的,我们只假设它的域也是有界的,并且线性扰动最小化预言是可访问的。特别是,这最后一个功能可以选择为一个非空的有界闭凸集的指标,以处理额外的约束。最后,仿射约束的增广拉格朗日方法来解决。我们的分析进行了广泛的选择,算法参数满足所谓的“开环”规则。作为主要结果,在较弱的条件下,我们证明了关于仿射约束的渐近可行性,对偶乘子的有界性,以及拉格朗日值收敛到鞍点最优值。我们还提供了可行性差距和拉格朗日值的收敛速度。
2019-10-07 math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题,其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题,通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地,我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数,并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数,我们表明,所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Optimal Gradient-Norm Minimization in Non-Euclidean Hölder-Smooth Convex Optimization
Zuse Institute Berlin(柏林齐美研究所);Technical University of Berlin(柏林工业大学);IMDEA Software Institute(IMDEA软件研究所)
本研究针对关于ℓₚ范数的Hölder光滑凸优化问题,开发两类算法填补了梯度范数最小化的复杂度差距,解决了p>2等未决问题,实现近最优梯度或acular复杂度。
2026-09-02 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果,有效的,即使在存在的线性包含约束,这种新方法允许一个明确的治疗梯度的可微函数,可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法,使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求,TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Optimized first-order methods for smooth convex minimization
我们引入新的优化一阶光滑无约束凸极小化方法。Drori和Teboulle最近描述了一种计算一类一阶算法中的$N$ -迭代最优步长系数的数值方法,这些一阶算法包括梯度法、重球法和Nesterov的快速梯度法。然而,Drori和Teboulle的数值方法是计算昂贵的大型$N$,相应的数值优化的一阶算法需要不切实际的内存和计算的大规模最优化问题。在本文中,我们提出了优化的一阶算法,实现了收敛范围是2倍小于Nesterov的快速梯度法,我们的边界被发现解析和细化的数值界。此外,所提出的优化一阶方法具有高效的递归形式,非常类似于Nesterov的快速梯度法。
2016-02-11 math.OC
A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming
我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下,并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了,同样的速度举行,如果线性子问题近似解决加性或乘性误差。与相关工作相比,当非光滑项是指示函数时,我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化,半定规划,最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。
2018-08-20 math.OC
General inertial smoothing proximal gradient algorithm for the relaxation of matrix rank minimization problem
我们考虑了Yu和Zhang(Comput.Optim.Appl. 1-20,2022)提出的矩阵秩最小化问题的精确连续松弛模型。受惯性技术的启发,我们提出了一种求解这类问题的通用惯性平滑近似梯度算法(GIMSPG)。证明了任意聚点的奇异值有一个公共的支撑集,非零奇异值有一个统一的下界。此外,在有限次迭代中,可以达到聚点的零奇异值。此外,我们证明了GIMSPG算法产生的序列的任何聚点是柔性参数约束下的连续松弛模型的提升平稳点。最后,分别对随机数据和图像数据进行了数值实验,验证了GIMSPG算法的有效性。
2022-04-15 math.OC
Generalizing the optimized gradient method for smooth convex minimization
本文推广了优化梯度法(OGM),它能使光滑凸极小化一阶方法的最坏费用函数界达到最优。具体而言,本文研究了广义的制定OGM和分析其最坏情况下的利率的函数值和范数的函数梯度。本文还提出了一种新的算法称为OGM-OG,它是在OGM的广义家庭,并具有最好的已知的分析最坏情况下的限制率$O(1/N^{1.5})$的梯度范数下降固定步骤的一阶方法。本文还证明了Nesterov的快速梯度法具有$O(1/N^{1.5})$最坏情况梯度范数率,但常数大于OGM-OG。证明是基于最坏情况下的分析称为性能估计问题。
2018-04-01 math.OC
Adaptive Regularization Minimization Algorithms with Non-Smooth Norms and Euclidean Curvature
考虑了无约束非线性极小化问题的一种正则化算法(AR 1 pGN),该算法使用的模型由任意阶的泰勒展开式和包含可能非光滑范数的正则化项组成.结果表明,范数的非光滑性并不影响使用$p$导数求一阶$ε_1$ -近似极小值的计算复杂性的$O(ε_1^{-(p+1)/p})$上界,而且这个结果并不依赖于$\Re^n$中范数的等价性.它还表明,如果$p=2$,界的$O(ε_2^{-3})$评估寻找二阶$ε_2$近似极小仍然持有的变体AR 1 pGN命名为AR 2GN,尽管可能的非光滑性质的正则项。此外,适应现有的理论处理的非光滑结果在一个有趣的修改子问题终止规则,导致更紧凑的复杂性分析。特别是,它示出了当牛顿的步骤是可接受的自适应正则化方法。讨论了非光滑范数正则化的二次多项式的近似极小化问题,并给出了一个新的近似二阶最优性必要条件最优性条件。然后提出了一个专门的算法,以执行一阶和二阶条件,这些条件足够强,以确保在AR 1 pGN(当$p=2$)和AR 2GN中存在合适的步骤,并分析了其迭代复杂性。
2021-05-27 math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法,证明其高阶平稳性收敛与一阶复杂度界,并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题,提出结合邻近步与序列二次规划步的算法,可局部识别最优光滑子结构并实现二次收敛,在两类问题上验证了性能。
2023-03-20 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题,提出一种基于Moreau包络的时变前向-后向近端变量平滑算法,提供了平稳点收敛性分析,并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
Moving higher-order Taylor approximations method for smooth constrained minimization problems
本文提出一种移动高阶Taylor近似方法(MTA),通过高阶Taylor逼近目标与约束求解复合(非)凸光滑约束问题,证明了非凸下全局收敛至KKT点及凸下的收敛速率,并给出高效实现与对比。
2025-03-03 math.OC
Performance of first-order methods for smooth convex minimization: a novel approach
我们介绍了一种新的方法来分析一阶黑箱最优化方法的性能。本文主要研究欧几里得空间$R^d$上的光滑无约束凸极小问题。我们的方法依赖于观察,根据定义,黑盒最优化方法的最坏情况行为本身就是一个最优化问题,我们称之为性能估计问题(PEP)。我们制定和分析PEP两类一阶算法。我们首先将这种方法应用于经典的梯度法,并推导出一个新的和严格的分析界限,其性能。然后,我们考虑更广泛的一类一阶黑箱方法,其中包括所谓的重球方法和快速梯度计划。我们表明,对于这个更广泛的类,它是可能的,这些方法的性能,通过解决一个充分放松的凸半定PEP得到新的数值界。最后,我们展示了一个有效的程序,找到最佳的步长,从而在一阶黑盒方法,达到最佳性能。
2012-06-14 math.OC
Stochastic Three Points Method for Unconstrained Smooth Minimization
在本文中,我们考虑无约束极小化问题的光滑函数在${\mathbb{R}}^n$中的设置,只有功能的评估是可能的。设计了一种新的随机无导数算法--随机三点法(STP),并分析了其迭代复杂度。在每一次迭代中,STP根据一定的固定概率规律生成一个随机搜索方向。我们对这个定律的假设是非常温和的:粗略地说,所有不把所有测度集中在任何通过原点的半空间上的定律都将成立。例如,我们允许在球面上的均匀分布,以及将所有测量集中在正生成集上的分布。给定当前的$x$,STP在三个点比较目标函数:$x$、$x+αs$和$x-αs$,其中$α>0$是步长参数,$s$是随机搜索方向。这三点中最好的是下一个。我们分析了几种步长选择方案(固定,减少,通过有限差分估计,等)下的方法STP。我们研究非凸,凸和强凸的情况下。
2019-05-07 math.OC
A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题,提出精确连续松弛方法与光滑近似梯度(SPG)算法,证明算法收敛于松弛问题的提升平稳点,数值实验验证了算法效率。
2021-03-17 math.OC
Quasinonexpansive Iterations on the Affine Hull of Orbits: From Mann's Mean Value Algorithm to Inertial Methods
不动点迭代在大量优化算法的设计和分析中起着核心作用。我们研究了一种新的迭代格式,其中的更新是通过将拟非扩张算子的组合应用于到当前点生成的轨道的仿射包中的一个点来获得的。这项调查统一了几个算法结构,包括曼的平均值方法,惯性方法,和多层无记忆方法。它还提供了一个框架,为发展新的算法,如我们提出的解决单调包含和最小化问题。
2017-08-13 math.OC
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化,允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出,并显示其亲和力的近端梯度。最后,对L1和全变差正则化问题进行了实验,并给出了相应的结果。
2021-10-20 cs.CV math.OC
A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization
我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数:平滑,加速,同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果,特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系,并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据,并说明新的方法可以优于国家的最先进的,包括Chambolle-Pock,和交替方向法的乘法器算法。
2018-02-22 math.OC
On a minimization problem of the maximum generalized eigenvalue: properties and algorithms
本文研究对称矩阵值仿射函数最大广义特征值的最小化问题,该问题非光滑且拟凸,应用于桁架结构特征频率优化。作者推导了Clarke次微分公式,证明其伪凸性,并提出平滑方法及加速、不精确平滑等启发式技术,通过数值实验验证了收敛性和效率。
2023-12-04 math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题,提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法,并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
A New Lineserach for Accelerated Composite Minimization
Delft University of Technology(代尔夫特理工大学);University of Toronto(多伦多大学);Rotterdam School of Management, Erasmus University(伊拉斯姆斯大学鹿特丹管理学院)
本文提出了一种基于函数评估的新线搜索步长规则,用于加速和非加速梯度下降,适用于复合最小化和非凸最小化问题。
2026-09-04 math.OC
Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds
在本文中,我们提出了一个分布式版本的随机块坐标下降法,以最小化部分可分光滑凸函数和完全可分非光滑凸函数的总和。在光滑函数梯度块Lipschitz连续的假设下,证明了该方法具有次线性收敛速度。对于新引入的广义误差界函数类,得到了该方法的线性收敛速率。我们证明了这类广义误差界函数既包含全局/局部误差界函数,又包含光滑强凸函数.我们还表明,收敛速度的理论估计取决于随机选择的块的数量和一个自然的措施分离的目标函数。
2015-11-20 math.OC
Composite Difference-Max Programs for Modern Statistical Estimation Problems
许多现代统计估计问题由三个主要组成部分定义:假设输出变量对输入特征的依赖性的统计模型;测量观测输出与模型预测输出之间的误差的损失函数;以及控制模型中的过拟合和/或变量选择的正则化器。我们研究了这个通用的统计估计问题的抽样版本,其中模型参数估计的经验风险最小化,这涉及到的经验平均值的损失函数在数据点加权模型正则化的最小化。在我们的设置中,我们允许上面讨论的所有三个分量函数都是凸差分(dc)类型,并使用大量常用的例子来说明它们,包括连续分段仿射回归和深度学习中的例子(其中激活函数是分段仿射的)。我们描述了一个非单调优化最小化(MM)算法解决统一的非凸,不可微最优化问题,这是制定为一个特殊结构的复合DC程序的逐点极大值型,并提出收敛结果的方向固定的解决方案。提出了一种有效的半光滑牛顿法来求解MM子问题的对偶。数值结果表明,所提出的算法的有效性和连续分段仿射回归优于标准的线性模型。
2018-10-07 math.OC
Accelerated first-order methods for large-scale convex minimization
本文讨论了具有Lipschitz连续梯度的光滑问题、具有次梯度有界变差的非光滑问题、具有Hölder连续梯度的弱光滑问题的几种(子)梯度法的最优复杂性.所提出的计划是最佳的光滑强凸问题的Lipschitz连续梯度和最佳的对数因子的非光滑问题的有界变化的次梯度。更具体地说,我们提出了两个估计序列的目标,并给出了两个迭代计划,为他们每个。在这两种情况下,第一个方案需要平滑参数和Hölder常数,而第二个方案是无参数的(除了强凸性参数,如果它不可用,我们设置为零),代价是应用非单调回溯线搜索。所有建议的计划的复杂性分析。在稀疏优化和机器学习中的一些应用的数值结果报告,证实了理论基础。
2016-04-29 math.OC
A Proximal Variable Smoothing for Minimization of Nonlinearly Composite Nonsmooth Function -- Finite-Max Minimization and MIMO Applications
Institute of Science Tokyo(东京科学大学)
针对非光滑优化问题,提出近端变量平滑算法,其具有单环结构,由两步组成。给出驻点收敛保证及收敛速率,通过数值实验验证该算法在鲁棒目标定位和MIMO信号检测场景下的有效性。
2026-07-08 eess.SP math.OC
A forward-backward dynamical approach to the minimization of the sum of a nonsmooth convex with a smooth nonconvex function
我们从一个前向-后向型隐式动力系统的角度讨论了一个适当的、凸的、下连续的和与一个(可能是非凸的)光滑函数的最小化问题。后者是利用光滑函数的梯度和非光滑函数的近点算子来表示的。由动力系统产生的轨迹被证明渐近收敛到目标的一个临界点,提供了后者的正则化满足Kurdyka-Eschojasiewicz属性。还提供了在正则化目标函数的Chlojasiewicz指数方面的轨迹的收敛速度。
2015-07-06 math.DS math.OC
On the set of points of smoothness for the value function for affine optimal control problems
研究了具有二次费用和一个位势的仿射最优控制问题的值函数的正则性,对于固定的终时刻和初始点。在不对奇异极小点作任何假设的情况下,证明了值函数在可达集内部的开稠密子集上是连续的。作为一个副产品,我们得到,它实际上是光滑的一个可能更小的集,仍然开放和密集。
2017-07-01 math.DG math.OC
Adaptive Smoothing Algorithms for Nonsmooth Composite Convex Minimization
我们提出了一个自适应平滑算法的基础上,Nesterov的平滑技术\cite{Nesterov2005c}解决“完全”非光滑复合凸优化问题。我们的方法结合了Nesterov的加速邻近梯度方案和一个新的同伦策略的光滑参数。通过适当地选择光滑函数,我们提出了一种新的算法,该算法具有$\mathcal{O}\left(\frac{1}{\varepsilon}\right)$ -最坏情况迭代复杂度,同时保持与Nesterov方法相同的每次迭代复杂度,并允许在每次迭代时自动更新光滑参数。然后,我们定制我们的算法来解决涵盖各种应用程序的四种特殊情况。我们还指定我们的算法来解决约束凸优化问题,并显示其收敛性保证的原始序列的迭代。我们通过三个数值例子证明了我们的算法,并与其他相关算法进行了比较。
2016-07-03 math.OC stat.ML
Minibatch Stochastic Three Points Method for Unconstrained Smooth Minimization
Mohammed VI Polytechnic University(穆罕默德六世理工大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在本文中,我们提出了一个新的零级最优化方法称为小批量随机三点(MiSTP)方法来解决一个无约束极小化问题的设置,只有一个近似的目标函数的评估是可能的。它基于最近提出的随机三点(STP)方法(Bergou等人,2020年)。在每次迭代时,MiSTP以与STP类似的方式生成随机搜索方向,但仅基于目标函数的近似值而不是其精确评估来选择下一个搜索方向。我们还分析了我们的方法在非凸和凸情况下的复杂性,并评估了它在多个机器学习任务上的性能。
2022-09-16 cs.LG math.OC
Semi-proximal Mirror-Prox for Nonsmooth Composite Minimization
GeorgiaTech(佐治亚理工学院);NYU(纽约大学);Inria(法国国家信息与自动化研究所)
我们提出了一个新的一阶优化算法来解决高维非光滑复合极小化问题。这类问题的典型示例具有分解成非平滑经验风险部分和非平滑正则化惩罚的目标。所提出的算法,称为半近端双Prox,利用芬克尔型表示的一部分的目标,而通过线性最小化的域处理的其他部分的目标。该算法与更经典的平滑近似梯度算法相反,后者需要在每次迭代时计算近似算子,因此对于高维问题是不切实际的。我们建立了理论上的收敛速度的半邻近的双Prox,它表现出最佳的复杂性界,即$O(1/ε^2)$,为数量的调用线性最小化oracle。我们提出了有前途的实验结果显示的兴趣的方法相比,竞争的方法。
2015-07-06 cs.LG math.OC
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性,证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点,并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Singularities of optimal time control-affine systems: the limit case
本文研究了具有二维控制的四维最小时间控制仿射问题的奇异性。正则化后,问题归结为研究奇异轨迹中某个幂零平衡点的分支。我们表明,极值流-因此,指数映射-是光滑的分层,因此分段光滑。
2020-11-03 math.DS math.OC
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法(ProPPA).该算法迭代计算最后估计的解的邻近点投影到一个仿射空间,这本身是平行的,并接近可行集。我们提供了理论上支持的一般算法的收敛性分析,然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中,包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明,该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
An optimal gradient method for smooth strongly convex minimization
对光滑强凸优化提出了一种最优梯度法。该方法是最佳的意义上说,它的最坏情况下的最佳点的距离上的界限完全匹配的下界的预言复杂性的类问题,这意味着没有黑盒一阶方法可以有一个更好的最坏情况下的保证,没有进一步假设的类问题在手。此外,我们提供了一个建设性的配方获得的算法参数的方法,并说明它可以用于推导方法的其他最优性标准以及。
2022-06-14 cs.NA math.NA math.OC
On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization
本文给出了大规模光滑凸极小化问题的黑盒预言复杂度的下界,重点讨论了高维光滑(Holder连续,给定指数和常数,梯度)凸函数的极小化问题||.||_ p-球,1<=p<= \infty。我们的边界原来是紧的(对数的设计维度因素),并可以被视为现有的低复杂性边界的大规模凸最小化覆盖的非光滑的情况下和“欧几里德”光滑的情况下(最小化的凸函数与Lipschitz连续梯度欧几里德球)的一个实质性的扩展。作为我们结果的一个副产品,我们证明了经典的条件梯度算法在最小化高维光滑凸函数时,在基于信息的复杂性理论的意义下是近最优的||.||_ \infty -球及其矩阵类比--方阵空间中的谱范数球。
2018-11-28 cs.CC math.OC
A $\operatorname{prox}$-Based Semi-Smooth Newton Method for TV-Minimization
University of Freiburg(弗赖堡大学);George Mason University(乔治梅森大学);Technical University of Berlin(柏林工业大学)
本文提出了一种基于$\operatorname{prox}$的半光滑牛顿法,用于求解非光滑的TV最小化问题。通过将对偶-原问题最优性条件转化为具有牛顿-型可微结构的非线性算子方程,研究了在无限维情况下所得到的半光滑牛顿方案的良定性,并识别了相关牛顿型导数的结构特性。对于符合的有限元离散化,证明了所得到的半光滑牛顿方法在全局上是良定的,并且在局部上具有超线性收敛性。该方法可以推广到一大类凸最小化问题,与已知的半光滑牛顿方法在障碍问题中一致,满足对偶-原不变性,并在适当附加假设下在无限维情况下是良定的。数值实验表明所提出的方法具有稳健的实用性能,包括可靠地将离散对偶-原间隙估计器减少到机器精度,对近邻参数选择的鲁棒性,与经典原半光滑牛顿方法相比的改进收敛域,以及仅使用网格无关初始化准则时对二次梯度网格的有效性能。
2026-05-21 cs.NA math.NA math.OC
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University(清华大学工业工程系)
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法,用于含协变量信息的随机规划,具有理论一致性和计算可行性,数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的,因此其凸松弛问题--核范数最小化问题往往被求解。最近,Ma,Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术,通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时,其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization
Peking University(北京大学);Shanghai Jiaotong University(上海交通大学);National University of Defense Technology(国防科技大学)
本文提出了一种新的松弛主导最小化方法,用于非光滑和非凸优化问题,该方法能涵盖现有主导最小化方法。通过弱化条件,允许使用直接逼近非光滑目标函数的替代函数,在鲁棒矩阵分解问题中表现出优势。
2015-11-25 cs.LG cs.NA math.NA
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度:仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度(APG)方法,用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比,不精确APG方法可以减少总的计算成本,如果一个光滑分量具有较高的计算成本,但比其他较小的光滑常数。利用这一性质,非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题,以及双线性鞍点结构非光滑凸优化的光滑逼近问题,其中光滑常数较小的光滑函数具有较高的计算代价.因此,它可以降低总的复杂性,找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于,我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环,而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明,显着更高的效率,我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Efficient First-order Methods for Convex Minimization: a Constructive Approach
我们描述了一种新的建设性的技术,设计有效的一阶方法的大范围的大规模凸最小化设置,包括光滑,非光滑,和强凸最小化。该技术建立在共轭梯度法的某种变体上,以构建一系列方法,使得a)该系列中的所有方法与基础共轭梯度法共享相同的最差情况保证,以及b)该系列包括固定步长一阶方法。我们证明了该方法的有效性,通过推导出最佳的方法为顺利和非顺利的情况下,包括新的方法,放弃知识的问题参数的成本,一维线搜索每次迭代,和一个通用的方法,这些类的工会,需要一个三维搜索每次迭代。在强凸的情况下,我们展示了如何可以使用数值工具来执行建设,并表明所得到的方法提供了一个改进的最坏情况下的限制相比,Nesterov的著名的快速梯度法。
2019-06-26 cs.NA math.NA math.OC