Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的,例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛,核范数,是一种有效的技术来解决问题的强性能保证。然而,非凸松弛比核范数具有更小的估计偏差,并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上,迭代重加权核范数计划,同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势,凸松弛和交替最小化方法。此外,我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法,使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa(爱荷华大学)
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题,因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12,14,15]中,作者建立了核范数极小化的充要零空间条件(强零空间条件),以恢复所有可能的秩不超过r的低秩矩阵。此外,在[12]中,Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件(弱零空间条件),并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件,而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件,它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数,并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Separation-Free Super-Resolution from Compressed Measurements is Possible: an Orthonormal Atomic Norm Minimization Approach
University of Iowa(爱荷华大学);Hong Kong University of Science and Technology(香港科技大学)
我们考虑的问题恢复叠加的$R$不同的复指数函数从压缩的非均匀时域样本。文献中提出了全变差(TV)最小化或原子范数最小化来恢复$R$频率或缺失数据。然而,已知的是,为了TV最小化和原子范数最小化以恢复丢失的数据或频率,即使当测量是无噪声的时,也需要将基础$R$频率很好地分离。本文表明,汉克尔矩阵恢复方法可以超分辨的$R$复指数和它们的频率从压缩的非均匀测量,无论他们的频率是多么接近彼此。提出了一种新的正交原子范数最小化(OANM)概念,并证明了在无分离超分辨中Hankel矩阵恢复的成功来自于Hankel矩阵的核范数是正交原子范数这一事实.更具体地说,我们表明,在传统的原子范数最小化,底层的参数值$\textbf{must}$被很好地分离,以实现成功的信号恢复,如果原子不断变化的连续值的参数。相反,对于OANM,即使原始原子可以任意接近,OANM也可能是成功的。作为研究的副产品,我们给出了一个核范数的矩阵不等式,并从压缩感知理论的角度给出了证明。
2017-11-04 cs.IT cs.LG math.IT
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London(帝国理工学院)
差分隐私关注的是预测质量,同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的,但它们通常是不可微的。分析了标准的差分隐私算法,如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法,已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中,我们假设了一类特殊的凸但非光滑的正则化,诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作,分析了双重优化问题的风险最小化问题的背景下,差分隐私。
2019-05-13 cs.LG stat.ML
Truncated Nuclear Norm Minimization for Image Restoration Based On Iterative Support Detection
University of Electronic Science and Technology of China(中国电子科技大学)
在图像修补、压缩感知和医学成像等实际应用中,从有限的测量值中恢复大矩阵是一个具有挑战性的任务,这类问题大多被表述为低秩矩阵逼近问题。由于秩算子的非凸性和不连续性,近年来的理论研究大多采用核范数作为凸松弛,通过极小化核范数正则化问题来解决低秩矩阵恢复问题。然而,核范数最小化的一个主要限制是所有奇异值同时最小化,并且秩可能不能很好地近似\cite{hu2012fast}。相应地,本文提出了一种新的多阶段算法,该算法利用\citep{hu2012fast}提出的截断核范数正则化(TNNR)和\citep{wang2010sparse}提出的迭代支持检测(ISD)的概念来克服上述局限性。除了\citep{hu2012fast}中考虑的矩阵完备化问题外,该方法还可以推广到一般的低秩矩阵恢复问题。大量的实验很好地验证了我们的新算法优于其他国家的最先进的方法。
2014-06-11 cs.CV cs.LG stat.ML
Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization
Tsinghua University(清华大学)
本文提出一阶平坦性度量与梯度范数感知最小化(GAM)方法,通过约束扰动半径内最大梯度范数寻求各方向曲率一致小的极小值,实验证明其能提升SGD和AdamW训练的模型泛化能力,并辅助SAM找到更平坦的极小值。
2023-07-04 cs.CV cs.LG
Beyond $\ell_1$-norm minimization for sparse signal recovery
University of British Columbia(不列颠哥伦比亚大学)
稀疏信号恢复一直占主导地位的基础上追求去噪(BPDN)的问题制定了十多年。在本文中,我们提出了一个算法,在寻找稀疏解欠定线性方程组在没有额外的计算成本优于BPDN。我们的算法,称为WSPGL 1,是一个修改的谱投影梯度$\ell_1$最小化(SPGL 1)算法,其中的序列的LASSO子问题被替换为一个序列的加权LASSO子问题与恒定的权重施加到支持估计。支持估计值从数据中导出,并在每次迭代时更新。该算法还在每次迭代时修改Pareto曲线,以反映正在解决的新的加权$\ell_1$最小化问题。我们通过大量的模拟表明,我们的算法的稀疏恢复性能优于$\ell_1$最小化和方法的恢复性能的迭代重新加权$\ell_1$(IRWL 1)最小化的Cand{è}s,Wakin,和博伊德,虽然它不匹配它在一般情况下。此外,我们的算法具有单个BPDN问题的计算成本。
2012-05-30 cs.IT cs.LG math.IT
On the Optimal Solution of Weighted Nuclear Norm Minimization
The Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学);Xidian University(西安电子科技大学)
近年来,核范数最小化(NNM)问题在计算机视觉和机器学习领域引起了广泛的关注。NNM问题是利用其凸性,它可以有效地解决。标准的核规范平等地正则化了所有奇异值,但这并不足以适应真实的场景。加权核范数最小化(WNNM)是NNM的自然扩展和推广。通过为不同的奇异值分配适当的不同权重,WNNM可以在图像去噪等应用中产生最先进的结果。然而,由于WNNM问题在一般情况下的非凸性,到目前为止,其全局最优解还没有完全解决。本文研究了WNNM的理论性质,证明了WNNM可以等价地转化为一个带线性约束的二次规划问题。这意味着WNNM等价于一个凸问题,其全局最优解可以很容易地通过现成的凸优化求解器来实现。我们进一步证明了当权值非降时,WNNM的全局最优解可以得到封闭形式。
2014-05-23 cs.CV cs.LG stat.ML
Robust Linear Discriminant Analysis Using Ratio Minimization of L1,2-Norms
Northwestern Polytechnical University(西北工业大学);Colorado School of Mines(科罗拉多矿业学院);University of Pittsburgh(匹兹堡大学)
线性判别分析(LDA)方法作为最流行的线性子空间学习方法之一,在机器学习领域得到了广泛的研究,并应用于许多科学应用中。传统的LDA最小化平方L2-范数的比率,这是敏感的离群值。近年来,许多基于L1范数的鲁棒主成分分析方法被提出来提高对离群点的鲁棒性。然而,由于L1-范数比优化的困难,到目前为止,还没有现有的工作,利用稀疏诱导范数的LDA目标。本文提出了一种基于L1,2-范数比最小化的鲁棒线性鉴别分析方法。最小化L1,2-范数比是一个比传统方法更具挑战性的问题,并且没有现有的优化算法来解决这种非光滑项比问题。我们推导出一个新的有效算法来解决这个具有挑战性的问题,并提供了理论分析我们的算法的收敛性。该算法易于实现,在实际应用中收敛速度快。在合成数据和9个真实基准数据集上的实验表明了所提出的鲁棒LDA方法的有效性。
2019-06-29 cs.CV cs.LG stat.ML
Complementary Composite Minimization, Small Gradients in General Norms, and Applications
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Pontificia Universidad Católica de Chile(智利天主教大学)
复合最小化是大规模凸优化中的一个强大框架,基于将目标函数解耦为具有结构上不同性质的项,并允许更灵活的算法设计。我们引入了一个新的算法框架互补复合最小化,其中的目标函数的(弱)光滑和一致凸项。这种特殊形式的解耦在统计和机器学习中很普遍,因为它与正则化有关。我们的工作主要贡献总结如下。首先,我们介绍了一般赋范空间中的互补复合最小化问题;其次,我们提供了一个统一的加速算法框架,以解决广泛的互补复合最小化问题;第三,我们证明了从我们的框架产生的算法是近最优的标准优化设置。此外,我们表明,我们的算法框架可以用来解决的问题,使一般赋范空间的梯度小。作为一个具体的例子,我们获得了标准$\ell_1$设置($\ell_{\infty}$范数中的小梯度)的接近最优的方法,基本上匹配Nesterov(2012)的边界,该边界以前仅适用于欧几里得设置。最后,我们表明,我们的复合方法广泛适用于一些回归和其他类别的最优化问题,其中正则化起着关键作用。我们的方法导致复杂性界限,要么是新的或匹配现有的最佳。
2023-02-15 cs.DS cs.LG math.OC
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中,我们考虑的问题,$\ell_{p}$范数线性回归,它有几个应用,如稀疏恢复,数据聚类,和半监督学习。这个问题,即使凸,不享有一个封闭的形式的解决方案。现有技术的算法是迭代的,但存在收敛问题,即,它们或者在p>3时发散,或者收敛到最优解对算法的初始化敏感。而且,这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理,提出了一种求解$\ell_{P}$范数回归问题的迭代算法:并行迭代AlgOrithM(PROMPT),并证明了该算法是单调的,且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素,这有助于有效地处理大规模数据,这是数据爆炸时代的常见情况。随后,我们表明,该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明,该算法收敛到最优解的任何随机初始化,也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能,使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
Bilinear Factor Matrix Norm Minimization for Robust PCA: Algorithms and Applications
The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院);University of Minnesota(明尼苏达大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
在低层视觉中,所有通道的受损离群值和奇异值的重尾分布已经被证明是许多应用的有效先验,例如背景建模、光度立体和图像对齐。它们可以用超拉普拉斯算子很好地建模。然而,使用这样的分布通常会导致具有挑战性的非凸,非光滑和非Lipschitz问题,并使现有的算法非常缓慢的大规模应用。与具有两个特定p值的lp-范数极小化问题的解析解一起,p=1/2和p=2/3时,提出了两种新的稳健主成分分析的双线性因子矩阵范数最小化模型。我们首先定义了双重核范数和Frobenius/核混合范数罚,然后证明了它们本质上分别是Schatten-1/2和2/3拟范数,从而得到了更易处理和可扩展的Lipschitz优化问题.我们的实验分析表明,我们的方法产生更准确的解决方案比原来的Schatten准范数最小化,即使在观察的数量是非常有限的。最后,我们将我们的惩罚应用于各种低级视力问题,例如,文本去除,运动目标检测,图像对齐和修复,并表明我们的方法通常优于国家的最先进的方法。
2018-10-11 cs.CV cs.LG math.OC
Alternating minimization for dictionary learning: Local Convergence Guarantees
University of California Berkeley(加州大学伯克利分校)
我们提出的交替最小化算法的字典学习/稀疏编码问题的理论保证。字典学习问题是将向量样本$y^{1},y^{2},\ldots, y^{n}$分解为适当的基(字典)$A^*$和稀疏向量$x^{1*},\ldots,x^{n*}$。我们的算法是一个简单的交替最小化过程,在交替步骤中在$\ell_1$最小化和梯度下降之间切换。字典学习和特别是交替最小化算法的字典学习,以及在理论和经验研究。然而,在以前的理论分析这个问题,我们取代了一个条件上的运营商范数(即最大幅度奇异值)的真正的基础字典$A^*$与矩阵无穷范数(即最大幅度项)的条件。我们的保证是在一个合理的生成模型下,允许字典与不断增长的运营商规范,并可以处理任意级别的过完备性,同时具有稀疏性,这是理论上最优的信息。我们还建立了我们的算法的样本复杂度的上界。
2019-07-30 cs.LG stat.ML
Unpacking the Implicit Norm Dynamics of Sharpness-Aware Minimization in Tensorized Models
本文分析了张量化模型中SAM的隐式范数动力学,提出DAS方法显式模拟其正则化行为,在降低计算开销的同时取得更优性能。
2025-08-14 cs.AI cs.LG stat.ML
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore(新加坡国立大学);Peking University(北京大学)
这项工作提出了一个通用的框架,用于解决低秩和/或稀疏矩阵最小化问题,这可能涉及多个非光滑项。迭代加权最小二乘法(IRLS)是一种快速求解器,它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而,传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题,这是许多任务的基本配方。作为一个具体的例子,我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示(LRR)问题,并从理论上证明了所导出的解是一个稳定点(如果$p,q\geq1$是全局最优的).我们的IRLS的收敛性证明比以前的证明更一般,它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明,我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Nonconvex Nonsmooth Low-Rank Minimization via Iteratively Reweighted Nuclear Norm
National University of Singapore(新加坡国立大学);Peking University(北京大学)
本文提出通过迭代重加权核范数算法解决非凸非光滑低秩最小化问题,利用非凸替代函数近似秩函数,提升低秩矩阵恢复性能。
2015-10-23 cs.CV cs.LG cs.NA
Multi-channel Nuclear Norm Minus Frobenius Norm Minimization for Color Image Denoising
Southwest University(西南大学)
彩色图像去噪在各种图像处理和计算机视觉任务中经常遇到。一种传统的策略是将RGB图像转换到相关性较低的颜色空间,并分别对新空间的每个通道进行降噪。然而,这样的策略不能充分利用通道之间的相关信息,不足以获得令人满意的结果。针对这一问题,在核范数减Frobenius范数最小化框架下,提出了一种新的彩色图像去噪多通道优化模型。具体来说,基于块匹配,将彩色图像分解为重叠的RGB块。对于每个补丁,我们堆叠其相似的邻居,形成相应的补丁矩阵。所提出的模型上执行的补丁矩阵,以恢复其无噪声版本。在恢复过程中,a)引入权值矩阵,充分利用信道间的噪声差异; b)在不额外分配权值的情况下,自适应收缩奇异值。有了它们,所提出的模型可以在保持简单性的同时取得有希望的结果。为了求解该模型,基于乘子框架的交替方向法建立了一种精确有效的算法。每个更新步骤的解可以解析地表示为闭形式。通过严格的理论分析,证明了该算法产生的解序列收敛到各自的平稳点。在合成和真实噪声数据集上的实验结果表明,该模型优于现有的模型。
2022-09-16 cs.CV cs.LG eess.IV
Penalty Decomposition Methods for $L0$-Norm Minimization
提出罚分解方法求解含L0-范数的优化问题,通过转化为秩最小化问题并利用向量化操作,在压缩感知等应用中优于现有方法。
2012-05-11 cs.CV cs.IT cs.LG
Scalable Nuclear-norm Minimization by Subspace Pursuit Proximal Riemannian Gradient
The University of Adelaide(阿德莱德大学);Charles Sturt University(查尔斯特大学)
本文提出一种基于子空间追求的近端黎曼梯度方法,用于高效求解核范数正则化问题,避免大秩SVD,提升矩阵补全和子空间聚类等任务的性能。
2015-03-18 cs.LG cs.NA math.NA
How robust is randomized blind deconvolution via nuclear norm minimization against adversarial noise?
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所);KU Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特天主教大学)
本文研究了从两个未知信号的卷积中恢复两个未知信号的问题,即通常所说的盲反卷积。在过去的十年中,由于核范数最小化启发式的成功,盲反卷积作为一个低秩恢复问题的重新表述导致了多个理论恢复保证。特别是,在没有噪声的情况下,精确的恢复已经建立了足够的非相干信号包含在低维子空间。然而,如果卷积被加性有界噪声破坏,恢复问题的稳定性仍然不太清楚。特别是,现有的重建界涉及大的维度因子,因此无法解释核范数最小化的维度无关鲁棒性的经验证据。最近,理论上的证据已经出现了病态行为的低秩矩阵恢复足够小的噪声水平。在这项工作中,我们开发了改进的恢复保证盲反卷积与对抗性噪声表现出平方根缩放的噪声水平。因此,我们的研究结果与现有的反例是一致的,这些反例反对相关的低秩矩阵恢复问题所证明的噪声水平的线性缩放。
2023-03-17 cs.IT cs.LG eess.SP
Tight Majorizations and Convergence Rates of Nuclear Norm Minimization IRLS
University of Central Florida(中佛罗里达大学);Wirtschaftsuniversität Wien(维也纳经济大学);KU Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特大学)
本文针对低秩恢复的约束核范数最小化问题,通过新的上界分析证明调和均值权重算子的最优性,给出IRLS算法的收敛速率,并经数值实验验证其优于单侧重加权方案。
2026-08-26 cs.LG cs.NA math.NA
Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization
本文研究了Schatten-p准范数正则化的矩阵最小化问题,提出了一种迭代加权奇异值最小化方法,证明了其收敛性并展示了其在解质量和速度上的优势。
2016-10-31 cs.LG cs.NA math.NA
Efficient Rank Minimization via Solving Non-convexPenalties by Iterative Shrinkage-Thresholding Algorithm
University of Science and Technology of China(中国科学技术大学)
秩最小化(RM)是一个广泛研究的任务,通过利用低秩结构的参数矩阵的解决方案。最近,利用非凸松弛求解RM问题受到了极大的关注。一些理论和实验工作已经证明,非凸松弛,如截断核范数正则化(TNNR)和重新加权核范数正则化(RNNR),可以提供比凸松弛更好的逼近原问题。然而,设计一个有效的算法与理论保证仍然是一个具有挑战性的问题。本文提出了一种简单而有效的近似型方法,即迭代收缩-保持算法(Iterative Shrinkage-Holding Algorithm,ISTA),并具体分析了如何用非凸加权和重加权核范数作为低秩正则化子来求解秩最小化问题。理论上,该方法可以收敛到临界点在非常温和的假设下,速度的顺序为$O(1/T)$。在合成数据和真实数据集上的实验结果表明,该算法在效率和准确性上都优于现有算法。
2018-09-14 cs.CV cs.LG stat.ML
Proximal Subgradient Norm Minimization of ISTA and FISTA
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
对于一阶光滑优化问题,加速现象的研究由来已久。直到最近,导致加速度的机制并没有成功地揭示了梯度校正项及其等效的隐速度形式。进一步,基于高分辨率微分方程框架,结合相空间表示和李雅普诺夫函数,发现了Nesterov加速梯度下降(\texttt{NAG})方法的平方梯度范数.然而,该结果不能直接推广到实际中广泛使用的复合优化,例如,稀疏表示的线性反问题本文对复合优化中一个关键的步长$s$和Lipschitz常数$L$不等式进行了细致的观察,发现它可以得到更严格的改进.我们应用更紧密的不等式中发现的构造良好的李雅普诺夫函数,然后获得的相空间表示的最接近的次梯度范数最小化,无论梯度校正或隐速度。此外,我们还证明了类迭代收缩阈值算法(ISTA)的平方近端次梯度范数以平方反比率收敛,类更快的迭代收缩阈值算法(FISTA)的平方近端次梯度范数以立方反比率加速收敛。
2022-11-03 cs.LG math.OC math.ST
Recovery of Future Data via Convolution Nuclear Norm Minimization
Southeast University(东南大学);SenseTime Research(商汤科技研究院)
从压缩感知的角度研究时间序列预测问题。首先,我们将TSF转换为一个更具包容性的问题,称为任意采样张量完成(TCAS),即从以任意方式采样的条目子集中恢复张量。虽然众所周知,在塔克低秩的框架中,理论上不可能根据一些任意选择的条目来识别目标张量,但在这项工作中,我们将证明TCAS确实可以根据一个称为卷积低秩的新概念来处理,这是众所周知的傅立叶稀疏性的推广。然后,我们介绍了一个凸计划,称为卷积核范数最小化(CNNM),我们证明,CNNM成功地解决TCAS只要采样条件-这取决于目标张量的卷积秩-服从。这一理论为一个基本问题提供了有意义的答案,即在给定的预测次数下,需要的最小抽样规模是多少。在单变量时间序列、图像和视频上的实验显示了令人鼓舞的结果。
2022-08-03 cs.AI cs.CV cs.IT
Gradient Norm Minimization of Nesterov Acceleration: $o(1/k^3)$
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
在一阶算法的发展史上,Nesterov的加速梯度下降算法(NAG)是一个里程碑。然而,加速的原因长期以来一直是个谜。直到在[Shi et al.,2021年]。在本文中,我们继续研究加速现象。首先,我们提供了一个显着简化的证明基于精确的观察和更严格的不等式的$L$ -光滑函数。然后,提出了一种新的隐速度高分辨率微分方程框架,以及相应的隐速度形式的相空间表示和李雅普诺夫函数,研究了NAG迭代序列$\{x_k\}_{k=0}^{\infty}$的收敛性.此外,从两种相空间表示中,我们发现梯度修正所起的作用与梯度中隐含的速度所起的作用是等价的,唯一的区别在于用$\{x_k\}_{k=0}^{\infty}$代替了迭代序列$\{y_{k}\}_{k=0}^{\infty}$.最后,对于NAG的梯度范数极小化是否具有更快的速度$o(1/k^3)$这一悬而未决的问题,我们给出了肯定的答案,并给出了证明。同时,对于情况$r > 2$,示出了目标值最小化$o(1/k^2)$的更快速率。
2022-09-19 cs.LG cs.NA math.NA