A posteriori superlinear convergence bounds for block conjugate gradient
本文将[J. Comput.应用数学,48(1993),pp. 327-341];也就是说,我们得到了类似的界限,但现在是块共轭的。我们还提出了一系列的计算实验,说明了这里开发的界限的有效性,以及[SIAM Review,47(2005),pp. 247-272]使用子空间之间的角度。使用这些界限,我们作出一些观察的发病超线性,以及如何发病取决于特征值分布和块的大小。
2022-09-10 cs.NA math.NA
Convergence Guarantees for Gradient-Based Training of Neural PDE Solvers: From Linear to Nonlinear PDEs
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学自然科学研究院,教育部计算数学重点实验室);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学上海市应用数学中心)
本文提出统一收敛理论,证明线性PDE下PINNs的全局收敛和非线性PDE下随机特征模型收敛到临界点,并揭示隐式正则化效应,实验验证了理论。
2025-10-08 cs.NA math.NA
Gradient entropy estimate and convergence of a semi-explicit scheme for diagonal hyperbolic systems
Ecole des Ponts ParisTech, Université Paris-Est(巴黎高等路桥学院,巴黎东大学)
本文研究了具有单调连续初值的对角双曲系统,提出了一种自然的半显式迎风一阶方案,并在速度雅可比矩阵非负条件下证明了该方案的梯度熵估计及其收敛性。
2014-01-06 cs.NA math.NA
A note on the convergence of the monotone inclusion version of the primal-dual hybrid gradient algorithm
该研究将Chambolle和Pock的原始-对偶混合梯度(PDHG)算法收敛性证明直接拓展到单调包含场景,完善了该算法的理论适用范围。
2023-11-07 cs.NA math.NA math.OC
Accelerated Gradient Methods with Gradient Restart: Global Linear Convergence
本文从数学上分析梯度重启对加速梯度方法的影响,证明其在强凸复合优化和二次凸目标下实现全局线性收敛,弥补未重启版本的不足。
2025-05-25 cs.NA math.NA math.OC
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent,arXiv:1805.08244]中引入的随机修正方程,当损失函数为扰动二次函数时,我们给出了异步随机梯度下降(ASGD)算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧,那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明,较长的延迟导致较慢的收敛速度。此外,学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Nonsmooth Convex Optimization using the Specular Gradient Method with Root-Linear Convergence
Michigan State University(密歇根州立大学);Kyungpook National University(庆北国立大学)
本文提出镜面梯度法,在仅假设凸性的一维实值函数最小化中实现根线性收敛,并给出无需显式计算镜面导数的实现方法。
2026-09-09 cs.NA math.NA math.OC
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg(雷根斯堡应用技术大学)
自适应矩估计(ADAM)是一种非常流行的深度神经网络训练算法,属于自适应梯度下降优化器家族。然而,据作者所知,没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法,给出了ADAM算法超参数的必要条件。由于参数的局部性质,目标函数可以是非凸的,但必须至少是两次连续可微的。然后,我们将这个过程应用到其他自适应梯度下降算法,并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Evolutionary $Γ$-convergence of entropic gradient flow structures for Fokker-Planck equations in multiple dimensions
考虑了$\mathbb{R}^d$中有界凸区域上Fokker-Planck方程的有限体积近似,并研究了相应的梯度流结构.本文用演化$Γ$ -收敛方法重新证明了离散到连续的Fokker-Planck方程的收敛性,即我们在梯度流结构水平上达到极限,推广了Disser和Liero得到的一维结果。证明是变分的性质,并依赖于Mosco收敛结果的泛函在离散到连续的限制,是独立的利益。我们的结果适用于任意规则的网格,即使相关的离散运输距离可能无法收敛到Wasserstein距离在这种普遍性。
2020-08-25 cs.NA math.AP math.NA
Convergence of a particle method for gradient flows on the $L^p$-Wasserstein space
本文研究 $L^p$-Wasserstein 空间中梯度流的粒子逼近,利用以粒子为中心的非重叠球离散能量并保持梯度流结构,证明其在一维情形收敛到双非线性扩散方程。
2025-01-07 cs.NA math.NA math.OC
On the convergence of Sobolev gradient flow for the Gross-Pitaevskii eigenvalue problem
本文研究三种投影Sobolev梯度流求解Gross-Pitaevskii特征值问题基态的收敛性,证明了能量耗散、全局收敛到临界点以及局部指数收敛到基态。
2023-11-28 cs.NA math.AP math.NA
Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
Princeton University(普林斯顿大学);Nanjing University(南京大学)
在本文中,我们考虑的问题是,是否有可能应用梯度平均策略,以改善次线性收敛速度没有任何增加的存储。我们的分析表明,一个积极的答案需要一个适当的平均策略和迭代,满足方差占主导地位的条件。作为一个有趣的事实,我们表明,如果我们定义的迭代方差总是占主导地位,即使是一点点的随机梯度迭代,建议的梯度平均策略可以增加收敛速度$\mathcal{O}(1/k)$ $\mathcal{O}(1/k^2)$的概率为Lipschitz梯度的强凸目标。这一结论为如何控制随机梯度迭代以提高算法的收敛速率提供了依据。
2020-02-25 cs.LG cs.NA math.NA
Convergence of the conjugate gradient method with unbounded operators
在无限维希尔伯特空间上的线性反问题的框架中,我们证明了在自伴非负算子是无界的,且对迭代算法的初始猜想有极小的、技术上不可避免的假设的最一般情况下,共轭梯度迭代收敛到反问题的精确解.收敛性被证明总是保持在希尔伯特空间范数(误差收敛),以及在其他水平的正则性(能量范数,剩余等)。这取决于迭代的规律性。我们还讨论了,无论是分析和通过选择的数值试验,我们的收敛结果的主要特点和差异相比的情况下,已经在文献中,操作员有界。
2021-11-17 cs.NA math.NA math.SP
Linear Convergence of the Proximal Incremental Aggregated Gradient Method under Quadratic Growth Condition
College of Science, National University of Defense Technology(国防科技大学理学院)
本文在二次增长条件下研究了近端增量聚合梯度法的全局线性收敛性,通过构造Lyapunov函数证明了方法在函数值和迭代点误差上的线性收敛性。
2017-02-27 cs.NA math.NA math.OC
Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
本文分析双时间尺度梯度下降上升算法在有限维和平均场设置下的收敛性,通过次相干性方法和混合同步-反射耦合技术,分别证明了近准静态区域和有限尺度比值下的收敛结果。
2025-10-10 cs.LG cs.NA math.NA
Convergence Analysis of Fractional Gradient Descent
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析了分数阶梯度下降在光滑且凸、强凸及非凸设置下的收敛性,建立了连接分数阶与整数阶导数的新界限,证明了不同条件下的线性或O(1/T)收敛性,并展示了其相比标准梯度下降的加速效果。
2024-06-04 cs.LG cs.NA math.NA
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Convergence of gradient based training for linear Graph Neural Networks
RWTH Aachen University(亚琛工业大学)
本文证明线性图神经网络在均方损失下梯度流训练以指数速率收敛至全局最小值,速率依赖初始权重和图移位算子,并验证于合成与真实数据集,同时探讨了梯度下降的收敛性。
2025-01-24 cs.DM cs.LG cs.NA
Convergence of gradient-based algorithms for the Hartree-Fock equations
Université Paris-Dauphine(巴黎第九大学)
本文利用Lojasiewicz梯度不等式证明自然梯度算法的收敛性,并扩展Cances和Le Bris的分析,证明Roothaan和Level-Shifting算法的收敛性,同时给出收敛速率估计并与数值结果比较。
2012-02-01 cs.NA math-ph math.AP
Discrete-to-continuum limit for nonlinear reaction-diffusion systems via EDP convergence for gradient systems
本文针对满足细致平衡条件的质量作用定律反应扩散系统,构造空间离散过程,证明解与梯度系统层面的离散到连续收敛,并通过链式法则不等式和变分方法实现。
2025-04-09 cs.NA math-ph math.AP