Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
该研究针对非凸损失投影SGD收敛衡量存在的局限,提出以梯度到Goldstein次微分的距离作为收敛准则,推导了不同数据分布下的渐近与非渐近收敛界,首次得到该场景下的非渐近高概率界。
2025-10-03 cs.LG math.OC
Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes
针对有限精度环境,研究扰动迭代SGD在数值误差与自适应步长下的收敛性,证明其渐近收敛至Clarke稳定点及期望非渐近收敛至近似稳定点。
2026-10-08 cs.LG math.OC
On the Convergence of Loss and Uncertainty-based Active Learning Algorithms
Meta;London School of Economics(伦敦政治经济学院)
本文研究基于损失或不确定性采样的SGD主动学习收敛性,提出自适应权重采样(AWS)算法,利用自适应步长实现期望随机Polyak步长,并给出光滑凸损失下的收敛速率,实验验证其高效性。
2024-11-22 cs.AI cs.LG
Critical Points and Convergence Analysis of Generative Deep Linear Networks Trained with Bures-Wasserstein Loss
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Duke University(杜克大学)
该研究针对生成式场景下采用Bures-Wasserstein损失的深度矩阵分解模型,刻画了其临界点与极小值点,解决了低秩处Hessian发散的分析难题,建立了梯度流与有限步长梯度下降的收敛性结果。
2023-07-13 cs.LG stat.ML
Global Convergence of SGD For Logistic Loss on Two Layer Neural Nets
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校);The University of Manchester(曼彻斯特大学)
本文首次证明SGD在两层神经网络的正则化逻辑损失上可收敛至全局最小值,适用于任意数据和多种激活函数,并给出连续时间下的指数收敛速率。
2024-03-17 cs.LG math.OC stat.ML
On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院)
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而,通过探索建模结构,我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象,我们研究了平方根Lasso(SQRT-Lasso)型回归问题。具体来说,我们表明,非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声,但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法(例如近似梯度下降,近似牛顿和近似拟牛顿算法),而无需担心损失函数的非光滑性。理论上,我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
Université Paris Cité(巴黎城市大学);CNRS(法国国家科学研究中心)
本文利用Bianchi等人的理论,证明了在切片Wasserstein损失下训练神经网络的固定步长SGD轨迹收敛于梯度流方程,并在更严格条件下收敛于广义临界点。
2024-03-18 cs.LG math.OC math.PR
Fast Global Convergence via Landscape of Empirical Loss
Faculty of Electrical Engineering, Technion(以色列理工学院电气工程学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
虽然优化凸目标(损失)函数已经成为机器学习的动力至少二十年,非凸损失函数最近吸引了快速增长的兴趣,由于许多理想的属性,如优越的鲁棒性和分类精度,与他们的凸对应。非凸估计的主要障碍是,它是在一般情况下难以找到最优解。本文研究了一些非凸M-估计的计算问题。特别是,我们证明了随机方差缩减方法收敛到全局最优的线性速率,通过利用人口损失的统计性质。在此基础上,我们改进了\cite{mei2016landscape}中批梯度法的收敛性分析。
2018-02-13 cs.LG stat.ML
Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
UT-Battelle, LLC(UT-巴特尔有限责任公司);Oak Ridge National Laboratory(橡树岭国家实验室)
提出联邦动态低秩训练(FeDLRT)方案,通过全局低秩基和方差校正实现全局损失收敛,显著降低客户端计算与通信成本且精度损失极小。
2024-06-25 cs.AI cs.LG math.OC
Optimization Landscapes Learned: Proxy Networks Boost Convergence in Physics-based Inverse Problems
Ludwig Maximilian University of Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Instituto de Telecomunicações(电信研究所)
针对物理逆问题中迭代优化算法易陷入局部极小和混沌的问题,提出利用深度神经网络学习并平滑复杂的PDE逆损失景观,在多个挑战性问题上实现了优于BFGS等传统优化器的收敛性。
2025-01-27 cs.LG math.OC
Convergence of Gradient Descent on Separable Data
Technion(以色列理工学院);USC(南加利福尼亚大学);TTI Chicago(芝加哥丰田技术研究所)
我们提供了一个详细的研究梯度下降的隐式偏差优化损失函数时,严格单调的尾巴,如逻辑损失,在可分离的数据集。我们看两个基本问题:(一)什么条件下的损失函数的尾部梯度下降收敛在$L_2$最大利润分离的方向?(b)保证金收敛的速度如何取决于损失函数的尾部和步长的选择?我们发现,对于一个大家庭的超多项式尾部损失,梯度下降迭代线性网络的任何深度收敛的方向$L_2$最大利润的解决方案,而这并不适用于损失较重的尾巴。在这个家庭中,对于简单的线性模型,我们证明了最优利率与固定步长确实得到了常用的指数尾损失,如逻辑损失。然而,在固定步长的情况下,最佳收敛速度与$1/\log(t)$一样非常慢,Soudry等人(2018)也证明了这一点。对于指数损失的线性模型,我们进一步证明了收敛速度可以提高到$\log (t) /\sqrt{t}$通过使用积极的步长,补偿迅速消失的梯度。数值结果表明,这种方法可能是有用的深层网络。
2019-03-24 cs.LG stat.ML
A Primal-Dual Convergence Analysis of Boosting
University of California, San Diego(加州大学圣地亚哥分校)
Boosting将弱学习者组合成具有低经验风险的预测器。它的对偶构造了一个高熵分布,弱学习者和训练标签不相关。本文研究了一个广泛的损失家族下的这种原始-对偶关系,包括AdaBoost的指数损失和逻辑损失,揭示了:-弱可学习性有助于整个损失家族:对于任何ε>0,O(ln(1/ε))迭代足以产生经验风险ε接近下确界的预测器;- 允许存在经验风险最小化者的情况可以用原始和对偶问题来表征,得到已知率O(ln(1/ε))的新证明;- 任意实例可以被分解为上述两个,授予率O(1/ε),为逻辑损失提供匹配的下限。
2012-04-02 cs.LG math.OC
Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
Independent Researcher(独立研究者)
本文提出产品稳定性这一损失函数结构特性,证明在边缘稳定性区域训练时,梯度下降可收敛至局部最小值,扩展了先前结果并适用于广泛损失函数类。
2026-09-29 cs.LG
Exponential convergence of testing error for stochastic gradient methods
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’ENS(巴黎高等师范学院计算机系);Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文考虑了具有正定核和平方损失的二元分类问题,研究了随机梯度方法的收敛速度。我们表明,虽然过量的测试损失(平方损失)慢慢收敛到零的观察(从而迭代)的数量趋于无穷大,测试误差(分类误差)收敛指数快速,如果假设低噪声条件。
2018-11-20 cs.LG stat.ML
Fast Convergence in Learning Two-Layer Neural Networks with Separable Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of British Columbia(不列颠哥伦比亚大学)
本文研究两层神经网络上归一化梯度下降的收敛性,证明在找到插值模型时训练损失线性收敛至全局最优,并通过算法稳定性分析建立有限时间泛化界,证明其不会过拟合。
2023-06-26 cs.LG
On the Convergence of mSGD and AdaGrad for Stochastic Optimization
Academy of Mathematics and Systems Science(数学与系统科学研究院);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);KTH Royal Institute of Technology(瑞典皇家理工学院);University of Notre Dame(圣母大学)
随机梯度下降(SGD)算法作为最基本的随机优化算法之一,在过去的十年中得到了广泛的发展,并在机器学习中得到了广泛的应用。已经有一些改进的SGD型算法,在许多竞赛和应用中,在收敛速度和精度方面优于SGD,例如基于动量的SGD(mSGD)和自适应梯度算法(AdaGrad)。尽管这些经验的成功,这些算法的理论特性还没有很好地建立,由于技术上的困难。有了这个动机,我们专注于收敛性分析的mSGD和AdaGrad的任何光滑(可能非凸)损失函数在随机优化。首先,我们证明了mSGD的迭代以概率1渐近收敛于一个连通的平稳点集,这比已有的关于子序列收敛或时间平均收敛的工作更一般.此外,我们还证明了mSGD的损失函数比SGD的损失函数以一定的速率衰减。此外,我们证明了AdaGrad的迭代是渐近收敛到一个连接的平稳点集的概率为1。同时,这个结果推广了文献中关于子序列收敛和时间平均收敛的结果。尽管上述收敛性结果具有一般性,但我们放宽了梯度噪声、损失函数的凸性以及迭代有界性的一些假设。
2022-01-26 cs.LG math.OC
Convergence beyond the over-parameterized regime using Rayleigh quotients
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
在本文中,我们提出了一种新的策略,通过梯度流来证明深度学习架构收敛到零训练(甚至测试)损失。我们的分析是集中在瑞利因子的概念,以证明更广泛的神经网络架构和损失函数的Kurdyka-Eschojasiewicz不等式。我们表明,瑞利矩提供了一个统一的观点,在文献中的几个收敛分析技术。我们的策略为参数学习的各种示例提供了收敛性证明。特别是,我们的分析不需要参数的数量趋于无穷大,也不需要样本的数量是有限的,从而扩展到测试损失最小化和超越过参数化制度。
2023-01-19 cs.LG
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑再生核希尔伯特空间中的二进制分类问题的随机梯度下降及其平均变量。在使用损失函数的一致性性质的传统分析中,已知即使在条件标签概率上假设低噪声条件时,期望分类误差也比期望风险收敛得更慢。因此,所得速率是次线性的。因此,重要的是考虑是否可以实现预期分类误差的更快收敛。在最近的研究中,在强低噪声条件下显示了随机梯度下降的指数收敛率,但理论分析仅限于平方损失函数,这对于二元分类任务来说有些不足。在本文中,我们显示了一个指数收敛的期望分类误差在最后阶段的随机梯度下降的一类广泛的可微凸损失函数在类似的假设。至于平均随机梯度下降,我们表明,从训练的早期阶段相同的收敛速度。在实验中,我们验证了我们的分析上的$L_2$正则化逻辑斯谛回归。
2022-07-25 cs.LG math.OC stat.ML
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件,并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似,例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University(亚琛工业大学)
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质,即,深度矩阵分解,通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下,梯度下降收敛到损失函数的临界点,即,这篇文章中的平方损失。此外,我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下,两层。在三层或多层的情况下,我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩,秩不能被确定的先验。
2021-11-24 cs.LG math.OC
Stochastic Gradient Descent on Separable Data: Exact Convergence with a Fixed Learning Rate
Technion(以色列理工学院);TTI Chicago(芝加哥丰田技术研究所)
随机梯度下降(SGD)是机器学习的核心工具。我们证明了SGD收敛到零损失,即使有一个固定的(非零)学习率-在特殊情况下的齐次线性分类器与光滑单调损失函数,优化线性可分离的数据。以前的作品假设要么消失的学习率,平均,或损失的假设,不适用于单调的损失函数用于分类,如逻辑损失。我们证明了我们的结果在一个固定的数据集,无论是采样或不替换。此外,对于逻辑损失(以及类似的指数尾损失),我们证明了对于几乎所有可分离的数据集,SGD的权重向量在$L_2$最大边缘向量的方向上收敛为$O(1/\log(t))$,并且损失收敛为$O(1/t)$ -类似于梯度下降。最后,我们研究了固定学习率与小批量大小成比例的情况。我们证明,在这种情况下,SGD(更换)的渐近收敛速度不依赖于小批量的大小在时代方面,如果支持向量跨度的数据。这些结果可以解释在使用SGD训练时在深度网络中观察到的类似行为。
2022-04-18 cs.LG stat.ML
Convergence Analysis of Optimization Algorithms
优化算法的后悔界是评价算法性能的基本准则之一。通过考察传统算法和自适应算法的遗憾界之间的差异,我们提供了一个指导选择优化器相对于给定的数据集和损失函数。为了分析,我们假设损失函数是凸的,并且其梯度是Lipschitz连续的。
2017-07-06 cs.AI cs.LG math.OC
Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
我们研究的问题,估计一个非参数的概率密度下的损失称为Besov IPM,其中包括,例如,$\mathcal{L}^p$距离,全变差距离,和Wasserstein和Kolmogorov-Smirnov距离的推广。对于各种各样的设置,我们提供了下限和上界,精确地识别如何选择损失函数和假设的数据相互作用,以确定最小最大的最佳收敛速度。我们还表明,线性分布估计,如经验分布或核密度估计,往往无法收敛到最优速率。我们的界限推广,统一,或改善最近和经典的结果。此外,IPM可用于形式化生成对抗网络(GANs)的统计模型。因此,我们展示了我们的结果如何暗示GAN的统计误差的界限,例如,GANs可以严格优于最佳线性估计。
2020-01-13 cs.IT cs.LG math.IT
List Sample Compression and Uniform Convergence
Department of Computer Science, Purdue University(普渡大学计算机科学系);Departments of Mathematics, Computer Science, Data and Decision Sciences, Technion(技术学院数学、计算机科学、数据与决策科学系);Google Research(谷歌研究)
研究列表学习中统一收敛和样本压缩原则的适用性,发现统一收敛仍等价于可学性,但样本压缩在特定标签空间下不成立。
2026-03-21 cs.LG stat.ML
NDCG-Consistent Softmax Approximation with Accelerated Convergence
School of Artificial Intelligence & Data Science University of Science and Technology of China(人工智能与数据科学学院 中国科学技术大学);School of Computer Science & Technology University of Science and Technology of China(计算机科学与技术学院 中国科学技术大学);School of Business & Management Hong Kong University of Science and Technology(管理学院 香港科学与技术大学)
本文通过 Taylor 展开提出与排序指标对齐的 RG² 与 RG^× 损失,并结合 ALS 优化,在保证排序性能的同时显著提升大规模相似度学习的收敛效率。
2025-06-11 cs.LG
Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence
Stanford University(斯坦福大学)
现代机器学习的一个主要挑战是从理论上理解过参数化模型的泛化特性。许多现有的工具依赖于一致收敛(UC),这是一个属性,当它成立时,保证测试损失将接近训练损失,在一类候选模型上均匀一致。Nagarajan和Kolter(2019)表明,在某些简单的线性和神经网络设置中,任何一致收敛界都将是空洞的,留下了如何在UC失败的设置中证明泛化的问题。我们的主要贡献是证明新的推广界在两个这样的设置,一个线性,一个非线性。我们研究了Nagarajan和Kolter的线性分类设置,以及通过两层神经网络在非线性区域学习的二次地面真值函数。我们证明了一种新型的边缘界限,表明在一定的信噪比阈值以上,任何接近最大边缘分类器将实现几乎没有测试损失在这两个设置。我们的研究结果表明,接近最大的利润是重要的:虽然任何模型,实现至少$(1 - ε)$分数的最大利润推广良好,分类器实现一半的最大利润可能会失败可怕的。基于Nagarajan和Kolter的不可能性结果,在稍强的假设下,我们证明了单侧UC边界和经典的边缘边界在接近最大边缘的分类器上会失败。我们的分析提供了为什么记忆可以与泛化共存的见解:我们表明,在这个具有挑战性的制度,泛化发生,但UC失败,近最大利润分类器同时包含一些概括的组件和一些过拟合组件,记住的数据。过拟合分量的存在足以排除UC,但接近极值的裕度保证存在足够的可推广分量。
2023-03-13 cs.LG
Error Estimate and Convergence Analysis for Data Valuation
National Center for Applied Mathematics, Tianjin University(应用数学国家中心,天津大学);School of Mechanical and Aerospace Engineering, Jilin University(机械与航空航天工程学院,吉林大学);School of Mathematics, Physics and Computing, University of Southern Queensland(数学、物理与计算学院,南方昆士兰大学)
本文提出基于NDDV的数据估值误差估计与收敛性分析方法,推导了损失差异的二次误差界,并证明了训练损失的梯度范数渐近消失及元损失的次线性收敛性。
2025-12-18 cs.LG
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
本文证明了宽深ReLU神经网络分类器的普适一致性,给出其达到极小极大最优收敛速率的概率测度充分条件,框架涵盖更一般场景,且logistic损失下的分类器呈现良性过拟合行为。
2024-01-30 cs.LG stat.ML
From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent
Google Research(谷歌研究院);Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
随机梯度下降(SGD)是学习大规模非凸模型的首选方法。虽然对SGD何时起作用的一般分析一直难以捉摸,但最近在理解梯度流(GF)对人口损失的收敛性方面取得了很多进展,部分原因是连续时间分析为我们带来了简单性。我们的论文的一个首要主题是提供SGD收敛的一般条件,假设人口损失的GF收敛。我们的主要工具,以建立这种连接是一个一般的逆李雅普诺夫定理,这意味着存在一个李雅普诺夫潜在的温和假设下的GF的收敛速度。事实上,使用这些潜在的,我们显示了一个一对一的对应关系之间的收敛速度的GF和几何性质的基本目标。当这些潜力进一步满足一定的自约束性质,我们表明,它们可以用来提供一个收敛保证梯度下降(GD)和SGD(即使当GF和GD/SGD的路径是相当远的)。事实证明,这些自约束假设在某种意义上也是GD/SGD工作所必需的。使用我们的框架,我们不仅为经典的设置(如凸损失或满足PL / KL属性的目标)提供了GD/SGD的统一分析,而且还为更复杂的问题(包括相位恢复和矩阵平方根)提供了统一分析,并扩展了Chatterjee 2022最近工作的结果。
2022-10-13 cs.AI cs.LG math.OC
Unregularized Online Learning Algorithms with General Loss Functions
State University of New York at Albany(纽约州立大学奥尔巴尼分校);City University of Hong Kong(香港城市大学)
在本文中,我们考虑再生核希尔伯特空间(RKHS)中的非正则化在线学习算法。首先,我们得到显式的非正则化在线学习算法的收敛速度与一般的伽玛激活损失(见定义1的文件)的分类。我们的结果扩展和改进了Ying和Pontil(2008)中关于最小二乘损失的结果以及Bach和Moulines(2011)中关于具有Lipschitz连续梯度的损失函数的最新结果。此外,我们建立了一个非常一般的条件,保证了这种算法的最后一个收敛的步长。其次,我们建立了,第一次,非正则成对学习算法与一般损失函数的收敛性,并推导出明确的速度多项式衰减步长的假设下。具体的例子来说明我们的主要结果。主要的技术是凸分析工具,高斯平均值的精细不等式,和归纳法。
2015-04-26 cs.LG stat.ML
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University(理海大学);University of Oxford(牛津大学)
本文研究和分析了随机递归梯度算法(SARAH)的小批量版本,它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度(平稳点)一般非凸函数和梯度控制函数的线性收敛速度,这两个有一些优势相比,其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
最近在许多机器学习学科中的研究都强调,标准的下降方法,即使没有显式正则化,也不仅仅是最小化训练误差,而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案,并且依赖于学习过程的细节,例如交叉熵损失的使用。在这项工作中,我们表明,对于经验风险最小化线性预测与任意凸,严格减少损失,如果风险没有达到其下确界,那么梯度下降路径和算法无关的正则化路径收敛到同一个方向(无论何时收敛到一个方向)。使用这个结果,我们提供了广泛使用的指数尾损失(如指数损失或逻辑损失)的理由:虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向,其他损失,如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
A Convergence Analysis of Gradient Descent for Deep Linear Neural Networks
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);Harvard University(哈佛大学)
我们通过最小化白化数据上的$\ell_2$损失来分析梯度下降训练深度线性神经网络(参数化为$x \mapsto W_N W_{N-1} \cdots W_1 x$)的全局最优收敛速度。当以下情况成立时,保证以线性速率收敛:(i)隐藏层的维度至少是输入和输出维度的最小值;(ii)初始化时的权重矩阵近似平衡;以及(iii)初始损失小于任何秩亏解的损失。关于初始化的假设(条件(ii)和(iii))是必要的,因为违反其中任何一个都可能导致收敛失败。此外,在输出维度为1的重要情况下,即标量回归,它们被满足,因此在随机初始化方案下以恒定概率收敛到全局最优值。我们的研究结果大大扩展了以前的分析,例如,深度线性残差网络(Bartlett等人,2018年)。
2019-10-26 cs.LG cs.NE stat.ML
Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia(不列颠哥伦比亚大学);INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
现代机器学习专注于高度表达的模型,这些模型能够完全拟合或插值数据,从而实现零训练损失。对于这样的模型,我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下,我们证明了恒定步长随机梯度下降(SGD)与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明,这一条件意味着SGD可以找到一个一阶稳定点,有效的全梯度下降在非凸设置。在插值条件下,我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下,我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下,上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O(1/k^2)错误界。最后,我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Any-stepsize Gradient Descent for Separable Data under Fenchel-Young Losses
The Institute of Statistical Mathematics(统计数学研究所);CyberAgent;Kyoto University(京都大学);OIST(海洋研究所)
本文基于Fenchel-Young损失框架,利用感知器论证证明了可分数据下任意步长梯度下降的收敛性,发现收敛速率的提升源于损失函数的分离边际而非自界定性质。
2025-10-11 cs.LG stat.ML
Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
本文提出了一种基于随机算法的高效计算方法,用于在物理损失中自适应神经切线核权重的收敛与计算效率提升。
2025-11-19 cs.LG cs.NA math.NA
Local SGD Accelerates Convergence by Exploiting Second Order Information of the Loss Function
The Hong Kong University of Science and Technology(香港科技大学)
本文从理论上证明局部SGD在IID数据下能有效利用损失函数的二阶信息,在小特征值特征向量上投影更大,从而加速收敛并可逼近牛顿法,实验验证了该理论。
2023-05-26 cs.LG
Symmetry Teleportation for Accelerated Optimization
University of California, San Diego(加州大学圣迭戈分校);IBM Research(IBM研究院);Northeastern University(东北大学)
现有的基于梯度的优化方法在最小化损失函数的方向上局部地更新参数。我们研究了一种不同的方法,对称隐形传态,它允许参数在损失水平集上旅行很大的距离,以提高后续步骤的收敛速度。隐形传态利用了优化问题中损失景观的对称性。本文给出了最优化和多层神经网络中测试函数的损失不变群作用,证明了隐形传态提高收敛速度的必要条件。我们还表明,我们的算法是密切相关的二阶方法。实验表明,隐形传态提高了梯度下降和AdaGrad的收敛速度,包括测试函数,多层回归和MNIST分类的几个优化问题。
2023-01-04 cs.LG
Consistent Multilabel Ranking through Univariate Losses
Mathematics and Computer Science, Marburg University(马尔堡大学数学与计算机科学学院)
我们考虑多标签分类中的秩损失最小化问题,这通常是通过定义在标签对上的凸代理损失来解决的。最近,这种方法受到质疑,一个负面的结果表明,常用的成对替代损失,如指数和逻辑损失,是不一致的。在本文中,我们展示了一个积极的结果,这可以说是令人惊讶的,鉴于前一个:更简单的单变量的指数和逻辑代理(即,定义在单个标签上)对于秩损失最小化是一致的。而不是直接证明收敛性,我们给出了一个更强大的结果,通过推导遗憾界和收敛速度。建议的损失建议有效的和可扩展的算法,这是实验测试。
2012-06-27 cs.LG stat.ML
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima
Pennsylvania State University(宾夕法尼亚州立大学)
具有非孤立最小值的损失函数已经出现在几个机器学习问题中,在理论和实践之间产生了差距。在本文中,我们提出了一种新的局部凸性条件,该条件适用于描述损失函数在非孤立极小点附近的行为。我们表明,这样的条件是一般的,足以包括许多现有的条件。此外,我们还利用随机稳定性的概念研究了SGD算法在这一较弱条件下的局部收敛性。从收敛性分析中得到的相应的浓度不等式有助于解释一些实际训练结果的经验观察。
2022-05-30 cs.LG cs.NA math.NA
On the relation between Loss Functions and T-Norms
University of Siena(锡耶纳大学);University of Florence(佛罗伦萨大学)
深度学习已被证明在计算机视觉和自然语言处理等多个领域取得了令人印象深刻的成果。这种成功的一个关键因素是新的损失函数的发展,如流行的交叉熵损失,它已被证明提供更快的收敛速度,并减少在非常深的结构消失梯度的问题。虽然交叉熵损失通常是合理的,从概率的角度来看,本文显示了一种替代和更直接的解释,这种损失的t-范数和相关的生成函数,并得出损失函数和t-范数之间的一般关系。特别是,所提出的工作显示出有趣的结果,导致一类新的损失函数的发展。这些损失可以在任何监督学习任务中被利用,并且可以导致比常用的交叉熵损失更快的收敛速度。
2019-07-18 cs.LG stat.ML
Convergence analysis of OT-Flow for sample generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院)
本文为深度生成模型 OT-Flow 建立了严格的理论收敛证明,通过重构模型框架证明了其向最优传输问题的 Γ-收敛性,并利用蒙特卡洛方法与神经网络逼近能力给出了离散与连续损失函数间的收敛性及上界。
2024-03-24 cs.LG cs.NA math.NA
Improved Convergence of Large Stepsize Gradient Descent for Logistic Regression
University of Maryland, College Park(马里兰大学学院公园分校)
本文证明在线性可分数据上,逻辑回归的大步长梯度下降在任意维度下达到损失ε的步数为多对数复杂度,通过划分振荡阶段为嵌套区间,利用间隔和秩限制深度,显著改进了现有收敛速率。
2026-10-06 cs.LG
A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
Department of Mathematics RWTH Aachen University(数学系RWTH亚琛大学)
本文从黎曼优化视角出发,研究了高斯-牛顿方法在前馈神经网络训练中的收敛性,提出自适应正则化方案以实现快速收敛。
2025-12-22 cs.AI cs.LG cs.SY
Fast convergence rates of deep neural networks for classification
Seoul National University(首尔国立大学)
我们推导了深度神经网络(DNN)分类器的快速收敛速度,其中使用铰链损失学习了整流线性单元(ReLU)激活函数。我们考虑真实模型的三种情况:(1)光滑决策边界,(2)光滑条件类概率,以及(3)边际条件(即,输入在决策边界附近的概率很小)。我们表明,使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛,前提是架构(即,层数、节点数和稀疏度)。是经过精心挑选的。一个重要的含义是,DNN架构非常灵活,可以在各种情况下使用,无需太多修改。此外,我们考虑了通过最小化交叉熵学习的DNN分类器,并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见,因为人类非常擅长识别大多数图像。为了证实我们的理论解释,我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。
2019-06-18 cs.LG math.ST stat.ML
Convergence Analysis of the Dynamics of a Special Kind of Two-Layered Neural Networks with $\ell_1$ and $\ell_2$ Regularization
本文推广了具有一个$ReLU$输出的两层无偏网络动力学的收敛性分析。我们考虑了两个流行的正则化项:参数向量$w$的$\ell_1$和$\ell_2$范数,并将其添加到系数为$λ/2$的平方损失函数中。我们证明了当$λ$很小时,在以原点为中心的球面上随机初始化下,权重向量$w$以概率$\geq (1-\varepsilon)(1-A_d)/2$收敛到最优解$\hat{w}$(关于新的损失函数),其中$\varepsilon$是一个小值,$A_d$是一个常数。数值实验包括相图和重复模拟验证了我们的理论。
2017-11-19 cs.LG stat.ML
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);DeepMind(深度思维)
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响,但理论上对其收敛特性知之甚少,特别是对于\emph{nonlinear}网络。在这项工作中,我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件,保证有效的收敛从随机初始化:(1)雅可比矩阵(网络的输出的所有训练情况下的参数)有完整的行秩,(2)雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络,我们证明了在非退化输入和过度参数化的假设下,这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后,我们证明了K-FAC,一个近似的自然梯度下降法,也收敛到全局最小值在相同的假设下,我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
Early Stage Convergence and Global Convergence of Training Mildly Parameterized Neural Networks
Peking University(北京大学);Stanford University(斯坦福大学)
本文针对轻度参数化神经网络,通过神经元激活模式的微观分析推导更强的梯度下界,证明了GD和SGD在随机初始化下的早期快速收敛性,并在指数型损失下进一步证明了GD的全局收敛性。
2023-05-29 cs.LG math.OC
Differentially Private Average Consensus: Obstructions, Trade-Offs, and Optimal Algorithm Design
本文研究了多智能体的平均一致性问题,在不同的隐私的要求下,代理人的初态对一个对手,可以访问所有的消息。我们首先建立一个差分私有共识算法不能保证收敛的代理的状态分布的确切平均值,这反过来又意味着同样的不可能性,为其他更强的收敛概念。这一结果促使我们设计了一种新型的差分私有拉普拉斯共识算法,其中代理人用指数衰减的拉普拉斯噪声线性扰动其状态转换和消息生成函数。我们证明了我们的算法几乎必然收敛到代理的初态的平均值的无偏估计,计算指数均方收敛速率,并正式表征其差分隐私特性。我们表明,我们的设计参数的最佳选择(相对于准确的平均值附近的收敛点的方差)对应于一个单次扰动的初态,并比较我们的设计与各种同行从文献中。模拟结果说明了我们的结果。
2017-02-28 math.DS math.OC
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
本文研究了最小化种群风险的随机最优化问题,其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题,他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用,我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
Blind Random Search with Noisy Loss Measurements: Averaging, Thresholding, and Almost Sure Convergence
该研究针对含噪声损失测量的盲随机搜索问题,通过结合平均与阈值化技术,实现了真实损失的几乎必然收敛。
2026-09-07 cs.IT math.IT math.OC
Asynchronous Distributed Optimization over Lossy Networks via Relaxed ADMM: Stability and Linear Convergence
在这项工作中,我们专注于最小化的凸费用函数的总和在一个分布式的方式在对等网络的问题。特别是,我们感兴趣的情况下,节点之间的通信容易失败,代理之间不同步。我们解决这个问题,提出了一个修改版本的放松ADMM,这对应于适用于对偶的Cumberman-Rachford分裂方法。利用算子理论的结果,我们能够证明所提出的算法的几乎必然收敛的通信损失和节点激活事件的分布的一般假设。通过进一步假设费用函数是强凸的,我们证明了算法平均线性收敛到最优解的一个邻域,并给出了算法收敛速度的一个上界.最后,我们提出了数值结果测试所提出的方法在不同的情况下。
2020-07-23 math.OC