Convergence of Gradient Descent on Separable Data
Technion(以色列理工学院);USC(南加利福尼亚大学);TTI Chicago(芝加哥丰田技术研究所)
我们提供了一个详细的研究梯度下降的隐式偏差优化损失函数时,严格单调的尾巴,如逻辑损失,在可分离的数据集。我们看两个基本问题:(一)什么条件下的损失函数的尾部梯度下降收敛在$L_2$最大利润分离的方向?(b)保证金收敛的速度如何取决于损失函数的尾部和步长的选择?我们发现,对于一个大家庭的超多项式尾部损失,梯度下降迭代线性网络的任何深度收敛的方向$L_2$最大利润的解决方案,而这并不适用于损失较重的尾巴。在这个家庭中,对于简单的线性模型,我们证明了最优利率与固定步长确实得到了常用的指数尾损失,如逻辑损失。然而,在固定步长的情况下,最佳收敛速度与$1/\log(t)$一样非常慢,Soudry等人(2018)也证明了这一点。对于指数损失的线性模型,我们进一步证明了收敛速度可以提高到$\log (t) /\sqrt{t}$通过使用积极的步长,补偿迅速消失的梯度。数值结果表明,这种方法可能是有用的深层网络。
2019-03-24 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Data
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向,并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
On Generalization of Decentralized Learning with Separable Data
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of British Columbia(不列颠哥伦比亚大学)
当数据自然地分布在通过底层图进行通信的代理之间时,去中心化学习提供了隐私和通信效率。受过参数化学习设置的启发,其中模型被训练到零训练损失,我们研究了分散学习的算法和泛化特性,在可分离数据上使用梯度下降。具体来说,分散梯度下降(DGD)和各种损失函数,渐近到零在无穷大(包括指数和逻辑损失),我们得到新的有限时间推广界。这补充了最近的一系列研究可分离数据上的泛化性能和梯度下降的隐式偏差的工作,但迄今为止仅限于集中式学习场景。值得注意的是,我们的泛化范围大致匹配,以他们的集中对应。这背后的关键和独立的利益,是建立新的界限的训练损失和DGD的共识率的一类自限损失。最后,在算法方面,我们设计了改进的基于梯度的例程,用于使用可分离数据进行分散学习,并在训练和泛化性能方面实证证明了速度的数量级。
2023-03-27 cs.DC cs.LG cs.MA
Convergence and Margin of Adversarial Training on Separable Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
对抗训练是一种用于训练鲁棒机器学习模型的技术。为了增强鲁棒性,它迭代地计算模型的对抗性示例,然后通过一些更新规则重新训练这些示例。这项工作分析了线性可分数据上对抗训练的性能,并提供了大幅度所需迭代次数的界限。我们表明,当更新规则由任意经验风险最小化器给出时,对抗训练可能需要指数级多次迭代才能获得较大的保证金。然而,如果使用梯度或随机梯度更新规则,则仅需要多项式多次迭代来找到大余量分离器。相比之下,在不使用对抗性示例的情况下,梯度方法可能需要指数级多次迭代才能实现大的裕度。我们的结果是通过显示具有梯度更新的对抗训练以$\mathcal{O}(\ln(t)^2/t)$速率最小化经验风险的鲁棒版本而得出的,尽管不平滑。我们从经验上证实了我们的理论。
2019-05-22 cs.LG math.OC stat.ML
Inductive Bias of Gradient Descent based Adversarial Training on Separable Data
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
对抗训练是训练鲁棒神经网络的一种原则性方法。尽管在实践中取得了巨大的成功,但其理论特性仍然在很大程度上未被探索。在本文中,我们提供了新的理论见解梯度下降为基础的对抗训练,通过研究其计算特性,特别是其归纳偏见。我们以线性可分数据上的二进制分类任务为例,当参数沿某些方向发散到无穷大时,损失渐近达到其下确界。具体来说,我们表明,当训练过程中的对抗扰动有界$\ell_2$ -范数,分类器学习梯度下降基于对抗训练收敛的方向上的最大$\ell_2$ -范数利润分类器的速度为$\tilde{\mathcal{O}}(1/\sqrt{T})$,显着快于速度$\mathcal{O}(1/\log T)$的训练与干净的数据。此外,当训练期间的对抗性扰动具有针对某些$q\ge 1$的有界$\ell_q$范数时,所得到的分类器在方向上收敛到最大混合范数边缘分类器,其具有鲁棒性的自然解释,作为在对数据的最坏情况$\ell_q$范数扰动下的最大$\ell_2$范数边缘分类器。我们的研究结果为对抗训练提供了理论支持,它确实提高了对抗干扰的鲁棒性。
2019-07-26 cs.LG stat.ML
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院与数学科学学院);Computer Science and Engineering, Ohio State University(俄亥俄州立大学计算机科学与工程系);Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系及放射学系)
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩,放宽了无约束特征假设,并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC
Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification
Blavatnik School of Computer Science, Tel Aviv University(塔夫茨大学布劳维特克计算机科学学院);Google Research(谷歌研究)
研究可分线性分类中无正则化梯度方法的泛化性能,证明收敛速率受损失模板几何性质而非损失函数本身影响,并建立了多分类设置下基于 $p$-范数平滑模板的风险上下界。
2025-05-28 cs.LG
Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes
Cornell University(康奈尔大学);ELLIS Institute Tübingen(ELLIS图宾根研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
该研究分析不可分数据下带大步长的逻辑回归梯度下降的动力学,发现其全局收敛性不成立,步长在1/λ与2/λ间时可收敛到稳定周期,高维下步长小于1/λ也可能出现该情况。
2026-09-03 cs.LG math.OC
Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection
Tufts University(塔夫茨大学);Clemson University(克莱姆斯大学)
本文提出VPBoost算法,结合变量投影和二次弱学习策略,实现对可分离光滑近似器的梯度提升,证明其在弱几何条件下收敛到驻点,并在强假设下达到超线性收敛速度。
2026-03-24 cs.LG cs.NA math.NA
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Does Momentum Change the Implicit Regularization on Separable Data?
University of Science & Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
动量加速技术在许多优化算法中被广泛采用。然而,动量如何影响优化算法的泛化性能,目前还没有理论上的答案。本文通过分析动量优化的隐式正则化方法来研究这一问题。我们证明了在指数尾损失和可分离数据的线性分类问题上,具有动量的梯度下降(GDM)收敛于L2最大边际解,这与香草梯度下降相同。这意味着带有动量加速的梯度下降仍然收敛到一个低复杂度的模型,这保证了它们的泛化。然后,我们分析了GDM的随机和自适应变体(即,SGDM和确定性亚当),并表明他们也收敛到L2最大利润的解决方案。在技术上,为了克服动量分析中的误差积累困难,我们构造了新的势函数来分析模型参数与最大边际解之间的差距。数值实验结果支持我们的理论结果。
2022-05-27 cs.LG math.OC
Fast Convergence in Learning Two-Layer Neural Networks with Separable Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of British Columbia(不列颠哥伦比亚大学)
本文研究两层神经网络上归一化梯度下降的收敛性,证明在找到插值模型时训练损失线性收敛至全局最优,并通过算法稳定性分析建立有限时间泛化界,证明其不会过拟合。
2023-06-26 cs.LG
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan(密歇根大学);Technion - Israel Institute of Technology(以色列理工学院);Illinois Institute of Technology(伊利诺伊理工大学)
本研究利用PERM损失框架将指数尾部性质扩展到多类,把梯度下降的隐式偏差理论从二分类推广到多分类,并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine(加州大学欧文分校);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同,我们考虑线性不可分的情况下,不同类别的训练数据位于正交子空间。我们表明,当网络有足够的(但不是非常大)数量的神经元,(1)相应的最小化问题有一个理想的景观,所有的临界点是完美的分类的全局极小值;(2)梯度下降是保证收敛到全局极小值。此外,我们发现了一个几何条件的网络权重,以便当它被满足时,权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
Any-stepsize Gradient Descent for Separable Data under Fenchel-Young Losses
The Institute of Statistical Mathematics(统计数学研究所);CyberAgent;Kyoto University(京都大学);OIST(海洋研究所)
本文基于Fenchel-Young损失框架,利用感知器论证证明了可分数据下任意步长梯度下降的收敛性,发现收敛速率的提升源于损失函数的分离边际而非自界定性质。
2025-10-11 cs.LG stat.ML
HAMSI: A Parallel Incremental Optimization Algorithm Using Quadratic Approximations for Solving Partially Separable Problems
Sabancı University(萨班哲大学);İstanbul Bilgi University(伊斯坦布尔比尔基大学);Boğaziçi University(海峡大学);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎电信技术学院)
我们提出HAMSI(Hessian Approximated Multiple Subsets Iteration),这是一个可证明收敛的二阶增量算法,用于解决大规模部分可分离优化问题。该算法是基于一个局部二次近似,因此,允许将曲率信息,以加快收敛。HAMSI本质上是并行的,它可以很好地随处理器的数量而扩展。结合有效利用现代并行计算机体系结构的技术,我们说明了所提出的方法比并行随机梯度下降收敛更快,当这两种方法被用来解决大规模矩阵分解问题。这种性能提升的代价是使用的内存与优化变量的总大小成线性比例。我们的结论是,HAMSI可以被认为是一个可行的替代方案,在许多大规模的问题,一阶方法的基础上的随机梯度下降的变种是适用的。
2017-08-04 cs.LG stat.ML
Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文通过NSD框架探讨了优化几何对多类可分数据解的影响,提出NucGD优化器以核范数约束 enforcing 低秩结构,并连接低秩投影方法,通过异步幂迭代实现高效SVD-free更新,分析了随机优化动态对收敛的影响。
2026-03-24 cs.LG math.OC stat.ML
Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
UC Berkeley(加州大学伯克利分校);Inria(法国国家科学与技术研究院);PSL University(巴黎社会科学高等学院);Google DeepMind(谷歌DeepMind)
本文研究了具有线性可分数据的$\ell_2$正则化逻辑斯谛回归的恒定步长梯度下降(GD)问题.经典理论建议小的步长以确保优化目标的单调减少,以$κ$为条件数的$\widetilde{\mathcal{O}}(κ)$步长实现指数收敛。令人惊讶的是,我们表明,这可以加速到$\widetilde{\mathcal{O}}(\sqrtκ)$通过简单地使用一个大的步长-目标的非单调演变。大步长带来的加速扩展到最小化可分离分布的群体风险,改进了最知名的步长上限,以达到接近最优的值。最后,我们描述了GD的局部收敛的最大步长,这也决定了在特殊情况下的全局收敛性。我们的结果扩展了Wu et al.(2024)的分析,从无穷远极小的凸设置到有限极小的强凸情况。
2025-11-03 cs.LG stat.ML
Tight Transition Time Bounds for Separable Logistic Regression at the Edge of Stability
Tsinghua University(清华大学);Stanford University(斯坦福大学)
本文否证了逻辑回归在稳定性边缘过渡时间与步长无关的猜想,证明最坏情况过渡时间为$(\log\eta)^{\min\{n-2,d-2\}}$量级,并通过归纳控制样本变化构造匹配实例。
2026-10-02 cs.LG stat.ML
SPLIT-PINN: Separable Probability Learning Technique via Physics-Informed Neural Networks for High-Dimensional Probabilistic Modeling
Department of Mechanical Engineering, University of Wisconsin-Madison(威斯康星大学麦迪逊分校机械工程系);Department of Mathematics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校数学系);Department of Civil Engineering, Johns Hopkins University(约翰霍普金斯大学土木工程系);Materials Physics and Applications Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室材料物理与应用 division);Department of Materials Science and Engineering, University of Wisconsin-Madison(威斯康星大学麦迪逊分校材料科学与工程系)
提出一种基于物理信息神经网络的可分离概率学习技术(SPLIT-PINN),通过将漂移场分解为边际校正项并施加正交约束,从数据中推断高维输运主导的联合概率密度函数演化,实现对多晶材料微观结构状态演变的准确概率预测。
2026-05-23 cond-mat.mtrl-sci cs.LG
Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data
The University of Hong Kong(香港大学);University of California, San Diego(加州大学圣地亚哥分校);Beijing University of Aeronautics and Astronautics(北京航空航天大学)
研究可分数据上全批量线性分类的速率控制情况,针对无记忆稳定性退火平滑符号下降,证明归一化迭代收敛特性,通过实验验证相关恒等式、展示预测图及缩放,还报告了多种情况的诊断,明确理论范围。
2026-07-08 cs.LG math.OC
Dimensionwise Separable 2-D Graph Convolution for Unsupervised and Semi-Supervised Learning on Graphs
The Hong Kong Polytechnic University(香港理工大学);Dalian University of Technology(大连理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
图卷积神经网络(GCN)一直是图表示学习的首选模型,这主要是由于图卷积的有效设计,即通过聚合其邻居的表示来计算节点的表示。然而,现有的GCN变体通常使用仅在对象链接图上操作的1-D图卷积,而不探索对象属性之间的信息性关系信息。这极大地限制了它们的建模能力,并可能导致在噪声和稀疏的真实世界网络上的性能较差。在本文中,我们探讨了2-D图卷积联合建模对象链接和属性关系的图表示学习。具体来说,我们提出了一个计算效率的维度可分离的2-D图卷积(DSGC)过滤节点功能。从理论上讲,我们表明,DSGC可以减少类内方差的节点特征的对象维和属性维学习更有效的表示。从经验上讲,我们证明,通过建模属性关系,DSGC实现了显着的性能增益超过国家的最先进的方法,节点分类和聚类在各种现实世界的网络。用于再现实验结果的源代码可在https://github.com/liqimai/DSGC获得。
2021-06-09 cs.LG stat.ML
Achieving Margin Maximization Exponentially Fast via Progressive Norm Rescaling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
本文提出渐进重缩放梯度下降(PRGD)算法,通过分析归一化梯度速度场实现指数速率的间隔最大化,突破了现有梯度方法的多项式速率瓶颈,并在实验中验证了其有效性。
2024-12-26 cs.LG math.OC
Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks
Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);Stanford University(斯坦福大学);Peking University(北京大学)
对抗性示例通常是针对特定模型的特定输入生成的,在神经网络中无处不在。在本文中,我们揭示了对抗性噪声放在一起时的一个令人惊讶的特性,即,如果配备有相应的标签,则由一步梯度方法制作的对抗性噪声是线性可分离的。我们从理论上证明了这个属性的两层网络随机初始化的条目和神经切线核设置的参数是不远处的初始化。证明的思想是表明标签信息可以有效地反向传播到输入,同时保持线性可分性。我们的理论和实验证据进一步表明,用训练数据的对抗性噪声训练的线性分类器能够很好地分类测试数据的对抗性噪声,说明对抗性噪声实际上对原始数据的分布注入了一种分布扰动。此外,我们的经验表明,当上述条件受到损害时,对抗性噪声可能变得不那么线性可分离,而它们仍然比原始特征更容易分类。
2022-06-09 cs.AI cs.LG stat.ML
Alternating Synthetic and Real Gradients for Neural Language Modeling
使用时间反向传播(BPTT)训练递归神经网络(RNN)具有已知的缺点,例如难以捕获序列中的长期依赖性。尚未发现BPTT的成功替代品。最近,已经提出了通过解耦神经接口模块的具有合成梯度的BP来代替BPTT用于训练RNN。另一方面,已经表明,用合成梯度和真实梯度学习的表示是不同的,尽管它们在功能上是相同的。在这个项目中,我们将探索将合成和真实梯度与神经语言建模任务相结合的方法。从经验上讲,我们证明了在语言建模任务定期热重启后,使用合成和真实梯度交替训练的有效性。
2022-06-03 cs.LG cs.NE
Tackling Failure Modes of PINNs and PIKANs Using Conflict-Free Gradients
Worcester Polytechnic Institute(伍斯特理工学院);Sandia National Laboratories(桑迪亚国家实验室)
本研究提出Norm-PCGrad梯度手术方法,解决PINN和PIKAN在域分解中的冲突梯度问题,实现最低相对L2误差,并引入SPINN降低计算成本,验证了方法的通用性。
2026-09-17 cs.LG
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
尽管在许多领域取得了成功,但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地,与人类相反,常规的序列到序列(seq 2seq)模型不能系统地概括,即,解释表示概念的新颖组合的句子(例如,文本段)在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色,但难以扩展和维护。而不是工程的语法,我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对,我们引入了一个重排序的第一次,稍后的框架,其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列,从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化(即,语义解析和机器翻译)。
2021-10-26 cs.CL cs.LG
Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?
Inria Paris(巴黎国家信息与自动化研究所);Inria Saclay Palaiseau(萨克莱研究所);ELLIS Institute Tübingen MPI for Intelligent Systems Tübingen AI Center, Germany(图宾根人工智能研究所);Department of Computer Science Cornell University(康奈尔大学计算机科学系)
本文探讨了 Logistic Regression 上的 Gradient Descent 在数据位于 Sphere 上时大步长的全局收敛性,证明了一维空间中步长低于稳定性阈值可全局收敛,但在高维空间中仍可能出现循环行为。
2026-10-21 cs.LG math.OC
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology(香港科技大学)
本文考虑了双向生成建模的一般$f$ -发散公式,其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法,这种配方,其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中,我们表明,不同的分歧诱导类似的算法在梯度评估,除了不同的缩放。因此,本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究,证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Sound Event Detection with Depthwise Separable and Dilated Convolutions
Tampere University(坦佩雷大学);Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所);South China University of Technology(华南理工大学)
现有技术的声音事件检测(SED)方法通常采用一系列卷积神经网络(CNN)来从输入音频信号中提取有用的特征,然后采用递归神经网络(RNN)来对所提取的特征中的较长时间上下文进行建模。CNN的通道数量和RNN的权重矩阵的大小对SED方法的参数总量有直接影响,其数量达到数百万。此外,通常用作SED方法输入的长序列以及RNN的使用,引入了诸如增加训练时间、梯度流困难以及阻碍SED方法并行化的影响。为了解决所有这些问题,我们提出用dependently可分离卷积替换CNN,用dilated卷积替换RNN。我们比较了所提出的方法的基线卷积神经网络上的SED任务,并实现了减少的参数量的85%和平均训练时间每历元的78%,并增加了平均帧的F1分数和减少的平均出错率分别为4.6%和3.8%。
2020-02-02 cs.LG cs.SD eess.AS
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Gradient descent aligns the layers of deep linear networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文建立了梯度流和梯度下降在线性可分数据上应用于深度线性网络时的风险收敛和渐近权重矩阵对齐--一种隐式正则化形式。更详细地,对于应用于严格递减损失函数的梯度流(对于具有特定递减步长的梯度下降具有类似结果):(i)风险收敛到0;(ii)归一化的第i个权重矩阵渐近地等于其秩-1近似$u_iv_i^{\top}$ ;(iii)这些秩-1矩阵跨层对齐,意味着$|v_{i+1}^{\top}u_i|\to1$。在逻辑损失(二进制交叉熵)的情况下,可以说:由网络引起的线性函数-其权重矩阵的乘积-收敛到与最大边际解相同的方向。这最后一个属性在先前的工作中被识别,但仅在梯度下降的假设下,这在这里是由对齐现象所暗示的。
2019-02-24 cs.LG math.OC stat.ML
AMSFL: Adaptive Multi-Step Federated Learning via Gradient Difference-Based Error Modeling
College of Computer Science and Technology, Hainan University(计算机科学与技术学院,海南大学)
针对联邦学习中平衡通信效率与模型精度的挑战,提出轻量级梯度差异近似(GDA)方法,利用一阶信息估计局部误差趋势,作为AMSFL框架关键组件,为大规模多步自适应训练提供统一误差建模策略。
2025-05-27 cs.DC cs.LG
Separable Gaussian Neural Networks: Structure, Analysis, and Function Approximations
California Polytechnic State University(加州州立理工大学);University of California, Merced(加州大学默塞德分校)
本文提出利用高斯函数可分离性的 SGNN,以 O(dN) 神经元替代 GRBFNN 的 O(N^d) 结构,在保持精度的同时显著加速,并在复杂函数逼近上优于 RuLU-DNN。
2023-08-13 cs.LG
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University(斯坦福大学)
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后,我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外,我们得到了一个关于对偶变量的充分条件,该条件确保非凸目标的平稳点是凸目标的KKT点,从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布,如正交可分数据,我们证明了这一充分条件成立。因此,非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data
INSAIT;Sofia University(索非亚大学)
本文研究两层神经网络在一般数据集(不限于线性可分)上的简单性偏差,证明训练早期特征聚集于少数方向,并在XOR类数据上精确刻画特征,表明中期特征更利于分布外泛化。
2024-11-07 cs.LG math.OC stat.ML
Frequency-Separable Hamiltonian Neural Network for Multi-Timescale Dynamics
本文提出频率可分离哈密顿神经网络,通过分解哈密顿函数为快慢模式,提升多时间尺度动态建模能力,改进长周期预测性能。
2026-03-15 cs.LG cs.SY eess.SY
The Marginal Value of Adaptive Gradient Methods in Machine Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
自适应优化方法(其利用从迭代历史构造的度量来执行局部优化)对于训练深度神经网络正变得越来越流行。例子包括AdaGrad、RMSProp和Adam。我们发现,对于简单的过参数化问题,自适应方法往往会找到与梯度下降(GD)或随机梯度下降(SGD)截然不同的解决方案。我们构造了一个说明性的二元分类问题,其中数据是线性可分的,GD和SGD实现零测试误差,AdaGrad,Adam和RMSProp实现任意接近一半的测试误差。我们还研究了自适应方法在几种最先进的深度学习模型上的经验泛化能力。我们观察到,自适应方法找到的解决方案比SGD更差(通常显着更差),即使这些解决方案具有更好的训练性能。这些结果表明,从业者应该重新考虑使用自适应方法来训练神经网络。
2018-05-22 cs.LG stat.ML
Implicit bias of deep linear networks in the large learning rate phase
University of Technology Sydney(悉尼科技大学);Northwestern University(西北大学)
大多数解释深度学习中正则化效应的理论研究都只关注具有足够小的学习率甚至梯度流(无穷小的学习率)的梯度下降。然而,这些研究忽略了在大多数实际应用中应用的相当大的学习率。在这项工作中,我们使用大学习率机制中的逻辑损失来表征深度线性网络对二进制分类的隐式偏差效应,这受到Lewkowycz等人的开创性工作的启发。[26]在平方损失的回归设置中。他们发现了一个具有大步长的学习率制度,称为弹射阶段,在训练的早期阶段,损失增加,最终收敛到最小值,比小学习率制度中发现的更平坦。我们声称,根据分离条件的数据,梯度下降迭代将收敛到一个平坦的最小值在弹射阶段。我们严格证明了这一说法的假设下,退化的数据,克服了困难的非常数Hessian的logistic损失,并进一步刻画了行为的损失和Hessian的不可分数据。最后,我们证明了在弹射阶段,随着学习率的非可分离数据所跨越的空间中的平坦的最小值可以导致更好的经验推广。
2020-12-16 cs.LG stat.ML
Generative Modeling by Estimating Gradients of the Data Distribution
Stanford University(斯坦福大学)
我们引入了一个新的生成模型,其中通过Langevin动态使用分数匹配估计的数据分布的梯度来产生样本。由于当数据驻留在低维流形上时,梯度可能定义不清并且难以估计,因此我们用不同水平的高斯噪声扰动数据,并联合估计相应的分数,即,- 对于所有噪声水平的扰动数据分布的梯度的矢量场。对于采样,我们提出了一个退火的朗之万动力学,我们使用梯度对应逐渐降低的噪声水平的采样过程越来越接近的数据流形。我们的框架允许灵活的模型架构,在训练过程中不需要采样或使用对抗方法,并提供了一个可用于原则性模型比较的学习目标。我们的模型在MNIST、CelebA和CIFAR-10数据集上产生了与GANs相当的样本,在CIFAR-10上获得了8.87的最新初始得分。此外,我们证明了我们的模型通过图像修补实验学习有效的表示。
2020-10-10 cs.LG stat.ML
UTBoost: Gradient Boosted Decision Trees for Uplift Modeling
JD Technology(京东科技)
本文提出UTBoost,通过两种新颖改进使梯度提升决策树顺序学习因果效应,解决提升建模中的反事实困境,并在大规模数据集上验证其优于基线模型。
2024-12-03 cs.AI cs.LG
Constant Step Size Stochastic Gradient Descent for Probabilistic Modeling
INRIA - ENS(法国国家信息与自动化研究所 - 巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
随机梯度方法可以从大量数据中学习概率模型。虽然大的步长(学习率)已被证明是最好的最小二乘(例如,高斯噪声)一旦与参数平均相结合,这些通常不会导致收敛算法。本文考虑广义线性模型,即基于指数族的条件模型。我们提出了平均矩参数,而不是自然参数的恒定步长的随机梯度下降。对于有限维模型,我们表明,这有时可以(令人惊讶地)导致更好的预测比最好的线性模型。对于无限维模型,我们证明了它总是收敛到最优预测,而平均自然参数永远不会。我们说明了我们的研究结果与模拟的合成数据和经典的基准与许多观察。
2018-11-21 cs.LG math.OC stat.ML
Rigorous dynamical mean field theory for stochastic gradient descent methods
本文通过严格动力学平均场理论推导了随机梯度下降方法的闭式方程,揭示了记忆核的形成机制并实现了非分离更新函数的处理。
2023-11-29 cs.IT cs.LG math-ph