Adaptive Preconditioned Gradient Descent with Energy
本文将 Hessian-Riemannian、自然梯度等预条件梯度下降纳入 AEGD 框架，提出能量驱动的自适应步长，并证明三类目标函数下的无条件能量稳定性与收敛率，数值实验验证其优异性能。
2024-06-14 cs.NA math.NA math.OC
Fast Toeplitz eigenvalue computations, joining interpolation-extrapolation matrix-less algorithms and simple-loop conjectures: the preconditioned setting
在适当的技术假设下，简单回路理论可以推导出由函数$f$生成的Toeplitz矩阵$T_{n}(f)$的特征值的各种渐近展开式，不幸的是，这种理论在预处理设置中是不可用的，即对于$T_{n}^{-1}(g)T_{n}(l)$形式的矩阵，其中$l,g$是实值的，$g$是非负的，并且几乎处处不为零。独立地并且在$f=\frac{l}{g}$在$[0,π]$上是偶数和单调的较温和的假设下，已经开发了无矩阵算法，用于在矩阵阶的线性复杂度内快速计算上述类型的大型预处理矩阵的特征值：在这种算法的高效率的背后存在如在$g\equiv 1$的情况下的扩展，结合外推思想，因此，我们推测，简单循环理论必须扩展到这样一个新的设置，作为numerics强烈建议。在这里，我们把我们的注意力集中在变量的变化，其次是新变量的渐近展开，我们认为新的矩阵无算法特设当前的情况下。数值实验表明，高得多的精度，直到机器精度和相同的线性计算成本，当与文献中已经提出的无矩阵的程序相比。
2022-03-21 cs.NA math.NA
Convergence analysis of a locally accelerated preconditioned steepest descent method for Hermitian-definite generalized eigenvalue problems
Peking University（北京大学）；University of California, Davis（加州大学戴维斯分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文通过扩展经典分析技术，证明了预处理最速下降法在求解Hermitian-正定广义本征值问题中的收敛性，并推导了非渐近收敛率估计。
2016-05-30 cs.NA math.NA
Preconditioned Gradient Descent Algorithm for Inverse Filtering on Spatially Distributed Networks
图滤波器及其逆滤波器在去噪、平滑、采样、插值和学习等领域有着广泛的应用。在空间分布式网络（SDN）上实现逆滤波过程是一个显著的挑战，因为SDN上的每个代理都配备有容量有限的数据处理子系统和由于工程限制而具有有限范围的通信子系统。在这封信中，我们介绍了一个预处理的梯度下降算法来实现与具有小测地线宽度的图滤波器相关联的逆滤波过程。该算法具有指数收敛性，可在顶点级实现，并可应用于SDNs上的时变逆滤波。
2020-07-22 cs.IT cs.NA math.IT
A perturbed preconditioned gradient descent method for the unconstrained minimization of composite objectives
Milwaukee School of Engineering（密尔沃基工程学校）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
本文提出了一种扰动预条件梯度下降法，用于解决强凸目标函数的无约束最小化问题，并通过数值实验验证了其收敛性及移动性对计算的影响。
2025-12-22 cs.NA math.NA math.OC
Theoretical Analysis of Thermodynamic Matrix Inversion: First-order Equivalence to Preconditioned Gradient Descent and Implications for Analog Computing
Signaloid；University of Cambridge（剑桥大学）
本文分析了热力学矩阵求逆的底层动力学，证明其与预条件梯度下降一阶等价，通过Thermox验证算法实现超10万倍加速，建立了模拟热力学计算与优化方法的联系。
2026-08-11 cs.NA math.NA
A preconditioned deepest descent algorithm for a class of optimization problems involving the $p(x)$-Laplacian operator
本文研究成像与信号分析中涉及 $p(x)$-拉普拉斯算子的优化问题，在 amalgam 空间中证明其适定性，并提出基于冻结指数策略的预条件下降算法，通过数值实验验证其在图像处理中的潜在应用价值。
2023-04-18 cs.NA math.FA math.NA
A Preconditioned Descent Algorithm for Variational Inequalities of the Second Kind Involving the $p$-Laplacian Operator
Escuela Politécnica Nacional（国立理工学院）；Research Center on Mathematical Modeling (ModeMat)（数学建模研究中心）
本文提出了一种预条件下降法用于求解包含$p$-拉普拉斯算子的第二类变分不等式，并分析了该方法在函数空间中的收敛性。
2017-11-10 cs.NA math.NA math.OC
Preconditioned accelerated gradient descent methods for locally Lipschitz smooth objectives with applications to the solution of nonlinear PDEs
我们开发的Nesterov的加速梯度下降法（AGD）的应用程序的广泛的一类偏微分方程（PDE）的近似解的理论基础。这是通过证明存在的不变集和指数收敛速度时，其预处理版本（PAGD）适用于最小化局部Lipschitz光滑，强凸目标泛函。我们引入了一个二阶常微分方程（ODE）与预条件内置，并表明PAGD是一个显式的时间离散化的常微分方程，这需要一个自然的时间步长限制的能量稳定性。在连续时间水平上，我们使用一个简单的能量参数显示指数收敛的常微分方程的解决方案，其稳定状态。在离散层次上，假设上述步长限制，不变集的存在性被证明和匹配的指数收敛速率的PAGD计划推导出通过模仿的能量参数和连续水平上的收敛。应用的PAGD方法的数值偏微分方程的某些非线性椭圆偏微分方程使用准谱方法的空间离散，并进行了几个数值实验。结果证实了全局几何和网格步长独立收敛的PAGD方法，与预条件梯度下降（PGD）方法相比，提高了加速率。
2021-02-01 cs.NA math.NA math.OC
Preconditioned Steepest Descent Methods for some Nonlinear Elliptic Equations Involving p-Laplacian Terms
The University of Tennessee（田纳西大学）；The University of Massachusetts（马萨诸塞大学）
本文研究了预条件最速下降法求解包含p-拉普拉斯项的四阶和六阶非线性椭圆方程，通过分析能量函数和正则化p-拉普拉斯问题，验证了预条件器的有效性，并通过数值模拟验证了方法的效率。
2016-11-24 cs.NA math.NA
Convergence Analysis of a Preconditioned Steepest Descent Solver for the Cahn-Hilliard Equation with Logarithmic Potential
针对带对数势的Cahn-Hilliard方程有限差分格式计算效率问题，提出保正的预处理最速下降迭代求解器，证明其几何收敛性，数值验证了鲁棒性与效率。
2024-12-09 cs.NA math.NA
SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems
Department of Mathematics Penn State University（数学系宾夕法尼亚州立大学）
本文提出了一种结合SVD预条件和Adam优化器的梯度下降方法，用于高效解决非线性最小二乘问题，实验表明其在多种任务中均优于标准Adam。
2026-02-07 cs.LG cs.NA math.NA
A link between the steepest descent method and fixed-point iterations
本文建立了无约束最小化问题的最速下降法与其Euler-Lagrange方程不动点迭代之间的联系，借此重新发现了离散问题的预处理非线性共轭梯度法，并通过数值实验验证了该联系的益处。
2021-09-19 cs.NA math.NA
Steepest Descent Preconditioning for Nonlinear GMRES Optimization
研究了最近提出的求解无约束非线性最优化的非线性广义极小残差（N-GMRES）优化算法的最速下降预处理问题。提出了两种最速下降预处理方法。第一个采用线搜索，而第二个采用预定义的小步。在对目标函数和线搜索过程的较弱标准条件下，给出了带第一最速下降预条件子（带线搜索）的N-GMRES优化算法的一个简单的整体收敛证明. N-GMRES优化的最速下降预处理也是通过在具有对称正定算子的二次最优化问题的情况下将其与线性系统的标准非预处理GMRES相关联而激发的。对多种模型问题的数值试验表明，N-GMRES优化算法能够非常显著地加快独立最速下降优化的收敛速度。此外，最速下降预处理N-GMRES的性能被证明是具有竞争力的标准的非线性共轭梯度法和有限记忆Broyden-Fletcher-Goldfarb-Shanno方法所考虑的模型问题。这些结果有助于理论和数值建立最陡下降预处理N-GMRES作为无约束非线性最优化的一般最优化方法，与性能相比，已建立的技术似乎很有前途。此外，有人认为，真正的潜力的N-GMRES优化框架在于，它可以利用问题相关的非线性预条件，比最速下降更强大（或者，等价地，N-GMRES可以被用作一个简单的包装周围的任何其他迭代优化过程，以寻求该过程的加速），并说明了这种潜力与进一步的应用程序的例子。
2011-07-24 cs.NA math.NA math.OC
A preconditioned inverse iteration with an improved convergence guarantee
本文针对预处理逆迭代（PINVIT）变体提出了新的非渐近收敛证明，通过分析等效黎曼最速下降法，在放宽起始向量条件的同时实现了与PINVIT相近的收敛率，并通过理论和实验验证了改进的全局收敛性。
2024-12-19 cs.NA math.NA
Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method
Università della Svizzera Italiana（瑞士意大利语区大学）；UniDistance Suisse（瑞士远程大学）；Brown University（布朗大学）
本文提出一种基于数据并行非线性预条件信赖域策略（APTS）的深度神经网络训练方法，在MNIST和CIFAR-10上达到与SGD和Adam相当的精度，同时免去超参数调优。
2025-02-07 cs.LG cs.NA math.NA
Global Convergence of ESPRIT with Preconditioned First-Order Methods for Spike Deconvolution
针对尖峰反卷积问题，本文提出结合ESPRIT与自适应预条件梯度下降的新方法，通过非线性最小二乘估计点源参数，证明其超线性收敛速率及一维多快照下的全局收敛性，数值模拟验证了方法的鲁棒性与有效性。
2025-02-12 cs.NA eess.SP math.NA
Randomized Preconditioned Solvers for Strong Constraint 4D-Var Data Assimilation
针对强约束4D-Var数据同化中下降方向计算成本高的问题，提出三种基于随机化技术的可扩展预处理器，结合自适应策略，在两类模型问题上显著降低了PCG迭代和黑塞矩阵乘积次数。
2025-06-12 cs.NA math.NA
Riemannian preconditioned algorithms for tensor completion via tensor ring decomposition
本文提出基于张量环分解的黎曼预处理梯度下降与共轭梯度算法，通过新度量近似Hessian对角块并利用张量结构降低计算成本，实验证明其在张量补全中更高效且重建能力更优。
2023-11-14 cs.NA math.NA math.OC
Randomized Fast Subspace Descent Methods
针对光滑无约束凸优化问题，提出并分析了随机快速子空间下降（RFASD）方法。该方法的效率依赖于一个在$A$ -范数下稳定的空间分解，同时，在$A$ -范数下测量的条件数$κ_A$很小.在每次迭代中，子空间被随机地均匀地或通过与局部Lipschitz常数成比例的概率来选择。然后在每个选择的子空间中，应用预条件梯度下降法。RFASD对凸函数是次线性收敛的，对强凸函数是线性收敛的.与随机块坐标下降法相比，当$κ_A$较小且子空间分解是$A$稳定的时，RFASD的收敛速度更快.考虑Nesterov的“最坏”问题的多级空间分解支持这种改进。
2020-06-11 cs.NA math.NA math.OC
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons（蒙斯大学）；Université de Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新，称为启发式外推与重启（HER）。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF，特别是具有挑战性的计算场景，同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Steepest descent and conjugate gradient methods with variable preconditioning
研究带可变预处理的共轭梯度法，证明在预处理系统矩阵条件数一致有界时，该方法可能不优于梯度下降法，并给出新几何证明及数值实验揭示两种意外效应。
2007-04-02 cs.NA math.NA
Preconditioning transformations of adjoint systems for evolution equations
California State University Long Beach（加州州立大学长滩分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Iowa State University（爱荷华州立大学）
本文针对演化方程伴随系统提出两类预处理变换框架，将其应用于辐射扩散方程逆问题，使优化迭代收敛速度提升，可高精度重现波前。
2026-08-20 cs.NA math.NA math.OC
Inexact projected preconditioned gradient methods with variable metrics: a Lyapunov convergence theory (extended version)
School of Mathematics, Sichuan University（四川大学数学学院）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
本文针对不精确预条件投影梯度下降（IPPGD）方法的理论空白，提出不精确投影算子构造策略，结合李雅普诺夫分析证明其收敛性，经数值实验验证了方法的鲁棒性与计算效率。
2026-07-31 cs.NA math.NA math.OC
Variational Extrapolation of Implicit Schemes for General Gradient Flows
本文在一般情况下，对梯度流问题引入了一类无条件能量稳定的高阶精度格式。新的计划是一个高阶模拟的最小化运动的方法产生的时间离散逼近的梯度流通过解决一系列的最优化问题。特别地，每一步需要最小化梯度流的相关能量加上运动限制项，即，在关于内积的最速下降的经典上下文中，简单地是二次的。各种现有的无条件稳定的数值方法可以被认为是（通常在时间上仅为一阶精度）最小化其相关发展方程的运动方案，已经要求在每个时间步长处优化能量加上二次项。因此，我们的方法提供了一个无痛的方式来扩展这些高阶准确的时间计划，同时保持其无条件的稳定性。在这个意义上，它可以被看作是一个变分模拟理查森外推。
2020-02-10 cs.NA math.NA
On the Effectiveness of Richardson Extrapolation in Machine Learning
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
理查森外推法是数值分析中的经典技术，它可以通过线性组合从其超参数之一的不同值获得的多个估计来改善估计方法的逼近误差，而无需详细了解原始估计方法的内部结构。本文的主要目标是研究Richardson外推法何时可以用于机器学习，超越现有的应用程序步长适应随机梯度下降。我们确定两种情况下，理查森插值可以是有用的：（1）当超参数是现有迭代优化算法的迭代次数时，应用于平均梯度下降和Frank-Wolfe算法（其中我们获得多面体上$O(1/k^2)$的渐近速率，其中$k$是迭代次数），以及（2）当它是正则化参数时，应用Nesterov平滑技术最小化非光滑函数（其中我们获得渐近率接近$O(1/k^2)$的非光滑函数），和岭回归。在所有这些情况下，我们表明，外推技术的性能没有显着的损失，但有时具有很强的收益，我们提供了理论依据的渐近发展，这种收益的基础上，以及经验说明经典问题的机器学习。
2020-07-17 cs.LG cs.NA math.NA
Projected Sobolev Natural Gradient Descent for Efficient Neural Network Solution of the Gross--Pitaevskii Equation
Yau Mathematical Sciences Center, Tsinghua University（丘成桐数学科学中心，清华大学）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（燕京量子信息科学与应用研究院）；Hunan Key Laboratory for Computation and Simulation in Science and Engineering, Key Laboratory of Intelligent Computing and Information Processing of Ministry of Education, School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）
本文提出了一种基于投影Sobolev自然梯度下降的神经网络方法，用于高效求解格鲁斯-皮塔耶夫斯基方程，通过归一化约束和高效求解器提升计算效率和精度。
2026-08-11 cs.NA math.NA
Variable reduction as a nonlinear preconditioning approach for optimization problems
本文提出将非线性消元作为减少优化变量数量的预条件方法，通过约束变量满足部分最优性条件构造约化目标函数，改善问题条件数，并在右预条件梯度下降中验证了其有效性。
2024-09-02 cs.NA math.NA math.OC
Stochastic gradient descent based variational inference for infinite-dimensional inverse problems
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文提出基于随机梯度下降的变分推断方法，用于解决无限维反问题，通过引入随机化策略和预条件版本提升采样效率，并通过数值实验验证其有效性。
2026-03-04 cs.NA math.NA
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Department of EECS, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运营研究系）
本文提出针对重尾噪声下的随机预条件SGD的最坏情况复杂性理论，证明归一化在收敛速率上优于裁剪，解释了大规模训练中归一化的偏好。
2026-02-13 cs.LG cs.NA math.NA
A new extrapolation cascadic multigrid method for 3D elliptic boundary value problems on rectangular domains
Central South University（中南大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Tongji University（同济大学）；Hunan Normal University（湖南师范大学）
本文提出了一种新的 extrapolation cascadic 多网格（ECMG_jcg）方法，该方法能够以分钟级的时间解决具有超过1亿个未知数的三维椭圆边界值问题。通过结合Richardson外推和三二次Serendipity插值技术，引入了新的外推公式，为下一步更精细网格上的迭代求解提供良好的初始猜测，该公式是有限元（FE）解的三阶近似。然后，通过Jacobi预条件共轭梯度（JCG）方法求解由此有限元离散化得到的大型稀疏线性系统。此外，与传统的cascadic多网格（CMG）方法不同，迭代求解器使用相对残差停止准则，从而方便地获得所需的数值解精度。此外，还使用简单的Richardson外推技术，以较低的成本在整体精细网格上获得四阶近似解。测试结果表明，ECMG_jcg比经典多网格方法效率更高。由于初始猜测是对FE解的很好近似，数值结果表明，仅需少量迭代即可在ECMG_jcg上达到全二阶精度，这对于解决大规模方程组尤为重要，可以大大减少计算成本。值得注意的是，当容忍度变小时，ECMG_jcg仍只需少量迭代即可在每个网格上获得四阶外推解，除了在最精细网格上。最后，我们解释了为什么我们的ECMG算法对于解决此类问题如此高效。
2015-06-09 cs.NA math.NA
EnKSGD: A Class Of Preconditioned Black Box Optimization And Inversion Algorithms
本文提出EnKSGD类无导数优化算法，基于EnKF基础理论改进，兼具仿射不变性与回溯线搜索，无需子空间约束与方差坍缩，适用范围更广，数值实验验证其收敛速度优于现有EnKF优化方法。
2023-03-29 cs.NA math.NA math.OC
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
The conjugate gradient method with various viewpoints
综述了共轭梯度法与计算数学中其它方法的联系，包括与数值优化中的共轭方向法、子空间最优化方法和拟牛顿法BFGS的联系，以及与数值线性代数中的Lanczos方法的联系。讨论了与残差向量和共轭向量有关的两种多项式序列，其中残差多项式在逼近论中类似于正交多项式，多项式的根揭示了系数矩阵的某些信息.从不同于教科书的角度重新考虑了最速下降和CG的收敛速度。通过对一个椭圆型方程的数值解，讨论了无限维CG与有限维预处理CG之间的联系。
2019-12-14 cs.NA math.NA
Efficient high-resolution refinement in cryo-EM with stochastic gradient descent
本文针对冷冻电镜高分辨率精修中梯度下降方法失效的问题，通过条件数理论分析，提出基于Hutchinson对角估计器的预条件SGD算法，显著提升收敛速度，为统一从头重建与高分辨率精修奠定基础。
2025-06-25 cs.NA math.NA q-bio.BM
Natural gradient descent with momentum
Centrale Nantes（南特中央理工学院）
本文提出一种自然梯度下降的动量版本，用于改进非线性模型类的学习过程，通过结合惯性动态方法如Heavy-Ball或Nesterov，提升优化性能。
2026-04-16 cs.AI cs.LG cs.NA
Normalized Wolfe-Powell-type local minimax method for finding multiple unstable solutions of nonlinear elliptic PDEs
本文提出归一化Wolfe-Powell型局部极小极大方法（NWP-LMM），基于一般下降方向和两种归一化Wolfe-Powell步长规则求解非线性椭圆型PDE的多个不稳定解，证明了全局收敛性，并结合共轭梯度方向加速，数值实验表明其优于传统LMM。
2023-01-19 cs.NA math.NA
Block Majorization Minimization with Extrapolation and Application to $β$-NMF
Acapela Group（Acapela集团）；Institute of data sciences（数据科学研究所）；Faculty of Engineering（工程学院）；University of Mons（蒙斯大学）；Department of Mathematics and Operational Research（数学与运筹学系）
本研究提出带自适应外推的块优化最小化方法BMMe，证明其收敛性，将其用于设计带收敛保证的β-NMF乘性更新算法，并通过实验验证了显著的加速效果。
2025-04-15 cs.LG cs.NA eess.SP
Riemannian Acceleration with Preconditioning for symmetric eigenvalue problems
本文提出黎曼流形预条件框架和主角度量，构建用于对称特征值问题的 RAP 方法，并证明其相较预条件最速下降法具有更快且指数尖锐的收敛率。
2024-10-24 cs.NA math.NA
Multiple Right-Hand Side Techniques in Semi-Explicit Time Integration Methods for Transient Eddy Current Problems
University of Wuppertal（伍珀塔尔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文探讨了通过通用施尔补将磁矢势方程转化为有限刚性常微分方程的方法，并比较了子空间投影扩展法和正交分解法以减少迭代次数和计算成本。
2017-09-23 cs.CE cs.NA math.NA
Faster Least Squares Optimization
本文研究了带随机预条件子的超定最小二乘问题的迭代法，其中预条件子是基于数据矩阵的随机嵌入。我们考虑两种不同的方法：草图计算一次（固定预条件），或者随机投影在每次迭代时刷新，即，独立于前一个采样（变化的预处理器）。虽然固定的草图为基础的预处理器在最近的文献中得到了相当大的关注，很少有人知道刷新草图的性能。对于固定的草图，我们刻画了最优迭代法，即预条件共轭梯度法，以及它的收敛速率的子空间嵌入性质的随机嵌入。对于刷新的草图，我们提供了迭代Hessian草图（IHS）的预期误差的封闭式公式，即。预处理的最速下降。与基于子空间嵌入性质的固定预条件子的保证和分析相反，我们的公式是精确的，并且它涉及随机投影的期望逆矩。我们的主要技术贡献是表明，这种收敛速度，令人惊讶的是，无法改进与重球动量。此外，我们构造了局部最优的一阶方法，其收敛速度是有界的IHS。基于这些理论和数值研究，我们没有观察到刷新草图的额外随机性比固定的预条件子提供了明显的优势。因此，我们规定PCG作为选择方法，并根据我们的分析优化草图尺寸。我们规定的草图大小产生最先进的计算复杂性，解决高度超定线性系。最后，我们说明了我们的算法的数值效益。
2021-04-13 cs.CC cs.NA math.NA
Inertial Block Proximal Methods for Non-Convex Non-Smooth Optimization
我们提出了惯性版本的块坐标下降法解决非凸非光滑复合最优化问题。与当前最先进的加速一阶方法相比，我们的方法具有三个主要优势：（1）它们允许使用两个不同的外推点来评估梯度并添加惯性力（我们将凭经验证明它比使用单个外推点更有效），（2）它们允许随机挑选要更新的变量块，以及（3）它们不需要重新启动步骤。在较弱的假设下证明了生成序列的渐近收敛性，在一些附加的假设下证明了生成序列的整体收敛性，并给出了收敛速度.我们部署所提出的方法来解决非负矩阵分解（NMF），并表明它们与最先进的NMF算法竞争。还提供了关于非负近似规范多进分解（也称为非负张量因子分解）的其他实验。
2020-06-01 cs.NA math.NA math.OC
The Global R-linear Convergence of Nesterov's Accelerated Gradient Method with Unknown Strongly Convex Parameter
本文证明了未知强凸参数下Nesterov加速梯度法及其近端变体对强凸问题具有全局R-线性收敛，并指出与连续对应物的收敛速率结论相矛盾。
2025-05-27 cs.NA math.NA math.OC
