Quadratic integrate-and-fire neurons exhibit less fragmented loss landscapes and outperform leaky integrate-and-fire neurons in spike-based gradient descent
University of Bonn（波恩大学）；University of Tübingen（图宾根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过对比LIF和QIF神经元在Spiking Heidelberg Digits数据集上的表现，发现QIF神经元具有更平滑的损失景观和梯度，从而在脉冲神经网络训练中表现更优。
2026-06-02 cs.LG cs.NE
Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization
ETH Zurich（苏黎世联邦理工学院）
二阶优化器被认为具有加速神经网络训练的潜力，但由于曲率矩阵的巨大尺寸，它们通常需要近似值在计算上易于处理。最成功的近似族是Kronecker因子，块对角曲率估计（KFAC）。在这里，我们结合了以前的工作，以评估精确的二阶更新与仔细的消融，以建立一个令人惊讶的结果：由于其近似，KFAC是不密切相关的二阶更新，特别是，它显着优于真正的二阶更新。这对人们普遍持有的信念提出了挑战，并立即提出了一个问题，即为什么KFAC表现如此出色。为了回答这个问题，我们提出的证据强烈表明，KFAC近似一阶算法，它执行梯度下降的神经元，而不是权重。最后，我们表明，这种优化器往往提高了KFAC的计算成本和数据效率。
2022-06-10 cs.LG
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST（韩国科学技术院）
为了理解深度ReLU网络的动态学习，我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是，对于具有球对称数据分布和平方损失函数的多层单ReLU神经元，我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界，我们得出结论，小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后，利用梯度流和梯度下降的关系，我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Simple Linear Neuron Boosting
本文提出一种基于Boosted Backpropagation的在线无矩阵预条件梯度下降算法，通过白化神经元特征加速网络收敛，适用于各类可微架构且易于在分布式环境中实现。
2025-02-03 cs.LG stat.ML
Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning
Blavatnik School of Computer Science, Tel Aviv University（塔夫茨大学Blavatnik计算机科学学院）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文在不可知策略学习设定下，提出将策略学习归约为非欧几里得空间一阶优化的通用框架，并在凸性和变分梯度支配条件下给出三种策略学习算法的样本复杂度上界，同时实证验证了该条件的实际相关性。
2025-07-06 cs.LG math.OC stat.ML
Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Seoul National University（首尔大学）
针对 SNN 离散理论不足及非线性支持有限的问题，提出基于 signGD 的神经元动力学，实现超越 ReLU 的低时间步 ANN-to-SNN 转换，并在大规模实验中达到 SOTA。
2024-07-01 cs.LG cs.NE
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University（西北大学）
在高斯边缘分布下，提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似，揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
Parameter-Agnostic Optimization under Relaxed Smoothness
ETH Zurich（苏黎世联邦理工学院）
针对$(L_0, L_1)$-光滑性下现有算法仍需调优步长的问题，提出NSGD-M实现无问题参数先验的近最优收敛，证明指数项不可避免，且确定性场景下可通过回溯线搜索抵消，给出首个广义光滑性下的参数无关收敛结果。
2023-11-06 cs.LG math.OC stat.ML
It's Not a Lottery, It's a Race: Understanding How Gradient Descent Adapts the Network's Capacity to the Task
Data and AI cluster, EAISI Eindhoven University of Technology（数据与人工智能集群，埃因霍温理工大学）
本文研究了梯度下降如何通过单隐藏层ReLU网络中单个神经元的学习动态，揭示了容量适应的机制，提出了三个动态原则，解释了为何训练后通过神经元合并或低范数权重剪枝可减少容量。
2026-05-07 cs.AI cs.CV cs.LG
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent
UW Madison（威斯康星大学麦迪逊分校）
我们研究学习单个神经元的基本问题，即，对于单调激活$σ:\mathbb{R}\mapsto\mathbb{R}$，形式为$\mathbf{x}\mapstoσ(\mathbf{w}\cdot\mathbf{x})$的函数，相对于在对抗性标签噪声存在下的$L_2^2$损失。具体地说，我们给出了标记的例子，从分布$D$上的$(\mathbf{x}, y)\in\mathbb{R}^d \times \mathbb{R}$，使存在$\mathbf{w}^\ast\in\mathbb{R}^d$实现$F(\mathbf{w}^\ast)=ε$，其中$F(\mathbf{w})=\mathbf{E}_{(\mathbf{x},y)\sim D}[(σ(\mathbf{w}\cdot \mathbf{x})-y)^2]$。学习器的目标是输出假设向量$\mathbf{w}$，使得$F(\mathbb{w})=C\, ε$具有高概率，其中$C>1$是通用常数。作为我们的主要贡献，我们给出了一个广泛的分布（包括对数凹分布）和激活函数的有效的常数因子近似学习器。具体地说，对于各向同性对数凹分布类，我们得到了以下重要推论：对于Logistic激活，我们得到了第一多项式时间常数因子近似（即使在高斯分布下）。我们的算法有样本复杂度$\widetilde{O}(d/ε)$，这是紧内的多对数因子。对于ReLU激…
2022-06-17 cs.DS cs.LG math.ST
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了随机梯度下降（SGD）最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时，SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层，一个隐藏层，和一个输出层（与$d \in \mathbb{N}$神经元上的输入层，$H \in \mathbb{N}$神经元上的隐藏层，和一个神经元上的输出层）。假设SGD过程的学习速率足够小，并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
Optimizing model-agnostic Random Subspace ensembles
University of Liège（列日大学）
提出了一种与模型无关的监督学习集成方法。所提出的方法是基于随机子空间的参数化版本，其中每个基础模型是从根据伯努利分布采样的特征子集中学习的。参数优化使用梯度下降来执行，并且通过使用重要性采样方法来使其易于处理，该方法避免了在每个梯度下降步骤之后对基础模型的频繁重新训练。因此，通过优化特征选择概率，可以自动调整参数随机子空间中的随机化程度。这是优于标准随机子空间方法的优点，其中随机化程度由超参数控制。此外，优化的特征选择概率可以被解释为特征重要性分数。我们的算法还可以很容易地将任何可微正则化项强加给这些重要性分数的约束。
2023-01-20 cs.LG
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Learning One-hidden-layer ReLU Networks via Gradient Descent
University of Virginia（弗吉尼亚大学）
研究了带修正线性单元（ReLU）激活函数的单隐层神经网络的学习问题，其中输入来自标准高斯分布，输出来自带噪声的教师网络.我们基于经验风险最小化理论分析了梯度下降法训练此类神经网络的性能，并提供了算法相关的保证。特别是，我们证明了张量初始化，然后梯度下降可以收敛到地面实况参数的线性速率到一些统计误差。据我们所知，这是第一个描述具有多个神经元的单隐藏层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论结果。
2018-06-20 cs.LG stat.ML
XOR_p A maximally intertwined p-classes problem used as a benchmark with built-in truth for neural networks gradient descent optimization
National Center for Biotechnology Information（美国国家生物技术信息中心）；National Library of Medicine（美国国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）
一个自然的p类推广的互斥或问题，减法模p，其中p是素数，提出并解决了使用一个单一的全连接的隐藏层与p-神经元。虽然这个问题非常简单，但它是复杂而具有挑战性的，并且代表了梯度下降优化算法的一个有趣的基准。测试了9个优化器和9个激活函数，直到p = 191，收敛最频繁和最快的方法是亚当优化器结合ELU激活函数。
2018-12-18 cs.LG stat.ML
Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of Electrical Engineering and Computer Sciences, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文针对黎曼流形上的测地强单调博弈，首次建立了 RGD 及其随机和自适应变体（SRGD、FARGD）的几何无关最后迭代线性收敛保证，并证明了样本复杂度的最优性和对条件数的独立性。
2025-11-10 cs.GT cs.LG math.OC
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University（布朗大学）
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而，如果不能有效地训练（选择）定义网络的参数，神经网络的强大表现力将化为乌有。通常，神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中，这种方法导致损失函数在训练开始时迅速减小，但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞，然后突然又开始快速减少，没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量，我们的结果适用于懒惰和自适应制度。主要调查结果如下：平稳期对应于激活模式保持恒定的时期，其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论，我们提出了一种新的迭代训练方法，主动神经元最小二乘法（ANLS），其特征在于在每一步的激活模式的显式调整，其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
Understanding How Over-Parametrization Leads to Acceleration: A case of learning a single teacher neuron
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）
过度参数化已成为深度学习中的一种流行技术。据观察，通过过度参数化，较大的神经网络需要比较小的神经网络更少的训练迭代来实现一定程度的性能-即过度参数化导致优化加速。然而，尽管过参数化被广泛使用，现在很少有理论可以解释由于过参数化的加速度。在本文中，我们建议通过研究一个简单的问题来理解它。具体来说，我们考虑存在具有二次激活的单个教师神经元的设置，其中通过使多个学生神经元学习从教师神经元生成的数据来实现过度参数化。我们证明，过参数化有助于梯度下降产生的搜索进入附近的全局最优解，实现零测试误差更快。另一方面，我们还指出了一个问题，关于过度参数化的必要性，并研究了如何缩放的输出神经元的影响收敛时间。
2021-09-27 cs.LG stat.ML
Quadratic number of nodes is sufficient to learn a dataset via gradient descent
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们证明了，如果一个激活函数满足一些温和的条件，并且具有该激活函数的两层全连接神经网络中的神经元数目超过一定的阈值，那么在平方损失函数上的梯度下降可以在线性时间内找到全局最小值的输入层的最优权值.该门限值是对先前获得的值的改进。我们假设这个界限不能通过我们在这项工作中使用的方法来改善。
2019-11-13 cs.LG math.OC math.ST
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST（韩国科学技术院）
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是，即使对于使用平方损失训练的单个ReLU神经元，最近也证明不可能根据模型参数的范数来表征隐式正则化（Vardi & Shamir，2021）。为了缩小理解ReLU网络有趣的泛化行为的差距，我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说，我们发现了支持向量方面的隐式偏差，这在ReLU网络为什么以及如何泛化方面起着关键作用。此外，我们分析了梯度流相对于初始化的范数的大小，并表明学习的权重的范数严格通过梯度流增加。最后，我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning
本文提出将神经元权重分解为 $W_1$ 与 $W_2$ 并分别更新目标、非目标特征的双权重框架，在多个回归与分类数据集上提升噪声、稀疏场景下的泛化与抗过拟合能力，且不增加推理开销。
2025-03-18 cs.LG
What do CNN neurons learn: Visualization & Clustering
Shanghai Jiao Tong University（上海交通大学）
近年来，卷积神经网络（CNN）在各种任务中取得了惊人的进展。然而，尽管性能很高，但训练和预测过程仍然是一个黑匣子，这使得提取神经元在CNN中学习的内容成为一个谜。在本文中，我们解决的问题，解释一个CNN从输入图像的焦点和偏好，神经元的支配，激活和贡献的一个具体的最终预测方面。具体来说，我们使用两种技术-可视化和聚类-来解决上述问题。可视化部分采用图像像素的梯度下降方法，聚类部分提出了两种算法分别对图像类别和网络神经元进行聚类。实验和定量分析证明了这两种方法在解释神经元学习什么这一问题上的有效性。
2020-10-18 cs.CV cs.LG
A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
该研究针对MAIS-O60问题构造反例，证明单神经元模加法训练中傅里叶对齐不成立，且失效情况在多种条件下普遍存在。
2026-08-07 cs.LG cs.NE math.OC
Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
许多有监督的机器学习方法自然地被转换为优化问题。对于参数为线性的预测模型，这通常会导致存在许多数学保证的凸问题。参数非线性的模型，如神经网络，导致非凸优化问题，难以保证。在这篇综述论文中，我们考虑了两层神经网络与齐次激活函数的隐藏神经元的数量趋于无穷大，并显示如何定性收敛保证可能会得出。
2021-10-15 cs.LG math.OC math.ST
Quantum Neuron Selection: Finding High Performing Subnetworks With Quantum Algorithms
Colorado State University（科罗拉多州立大学）
梯度下降方法长期以来一直是训练深度神经网络的事实标准。数百万个训练样本被输入到具有数十亿个参数的模型中，这些参数在数百个时期内缓慢更新。最近，有研究表明，随机初始化的大型神经网络包含的子网络与经过充分训练的模型一样好。这一见解为训练未来的神经网络提供了一个很有前途的途径，只需从大型随机模型中修剪权重。然而，这个问题是组合困难的，经典算法在寻找最佳子网络方面效率不高。在本文中，我们将探讨如何量子算法可以制定和应用到这个神经元选择问题。我们介绍了几种用于局部量子神经元选择的方法，这些方法降低了大规模神经元选择所需的纠缠复杂度，使得这个问题对于当前的量子硬件来说更容易处理。
2023-02-12 cs.LG
AdamX: Cosine similarity meets gradient descent
NOVA School of Science of Technology Universidade Nova de Lisboa, Caparica, Portugal
AdamX是一种结合余弦相似度控制更新幅度的一阶优化器，通过方差修正促进早期平滑训练，在多种基准上实现竞争性收敛速度。
2026-09-11 cs.LG math.OC
Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks
School of Engineering Technology, Purdue University（普渡大学工程技术学院）
本文提出分阶脉冲时序依赖梯度下降模型 FO-STDGD，将分数阶梯度下降引入脉冲时序依赖损失计算，在 MNIST 和 DVS128 Gesture 数据集上验证了分数阶增大可显著提升分类准确率，并展现出领先的计算效能。
2024-10-20 cs.AI cs.LG cs.NE
Global convergence of neuron birth-death dynamics
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Princeton University（普林斯顿大学）；Center for Data Science, New York University（纽约大学数据科学中心）
具有大量参数的神经网络允许平均场描述，这最近已被用作“过参数化”模型的有利训练特性的理论解释。在这种情况下，梯度下降服从一个确定性偏微分方程（PDE），在适当的假设下收敛到一个全局最优解的网络与一个单一的隐藏层。在这项工作中，我们提出了一个非本地的质量输运动力学，导致一个修改后的PDE具有相同的极小。我们实现这种非局部动力学作为一个随机神经元的生-死过程，我们证明了它加快了平均场极限的收敛速度。随后，我们实现了这PDE与两类数值计划收敛到平均场方程，其中每一个可以很容易地实现神经网络与有限数量的参数。我们用两个模型来说明我们的算法，以提供加速收敛的机制的直观性。
2019-03-27 cs.LG stat.ML
Deep Spiking Neural Networks with Resonate-and-Fire Neurons
Microsoft EGDC（微软埃及游戏开发中心）；U Barcelona（巴塞罗那大学）
在这项工作中，我们探索了一种新的脉冲神经网络（SNN）公式与共振和火灾（RAF）神经元（Izhikevich，2001）训练梯度下降通过反向传播。RAF-SNN虽然在生物学上更合理，但在不同的网络配置中，使用类似或更少的参数，实现了与机器学习文献中的传统模型相当或更高的性能。引人注目的是，RAF-SNN证明了在静态和动态条件下对测试/训练时引起的噪声的鲁棒性。与MNIST上的CNN相比，我们在测试时显示出比N（0，0.2）诱导噪声高25%的绝对准确度。与N-MNIST上的LSTM相比，我们在训练时显示出70%的绝对准确率和20%的诱导噪声。
2021-09-16 cs.LG cs.NE
Estimating Training Data Influence by Tracing Gradient Descent
Google（谷歌）
我们介绍了一种称为TracIn的方法，该方法计算训练样本对模型预测的影响。其思想是跟踪在训练过程中，每当使用感兴趣的训练样本时，测试点上的损失如何变化。我们通过以下方式提供TracIn的可扩展实现：（a）精确计算的一阶梯度近似，（b）标准训练过程的保存检查点，以及（c）深度神经网络的樱桃采摘层。与以前提出的方法相比，TracIn实现简单;它所需要的只是处理梯度、检查点和损失函数的能力。该方法是通用的。它适用于使用随机梯度下降或其变体训练的任何机器学习模型，与架构，领域和任务无关。我们期望该方法在研究和改进训练数据的过程中广泛使用。
2020-11-14 cs.LG stat.ML
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
Faster Biological Gradient Descent Learning
反向传播是一种流行的机器学习算法，它使用梯度下降来训练神经网络进行监督学习，但速度可能非常慢。已经开发了许多算法来加速收敛和提高学习的鲁棒性。然而，它们在生物学上实现起来很复杂，因为它们需要来自先前更新的信息。受生物学中突触竞争的启发，我们提出了一种简单的局部梯度下降优化算法，该算法可以减少训练时间，并且对过去的细节没有要求。我们的算法，名为动态学习率（DLR），类似于传统的梯度下降中使用的反向传播，除了在所有突触，而不是有一个统一的学习率，学习率取决于当前的神经元连接权重。我们的算法被发现可以加快学习速度，特别是对于小型网络。
2020-09-27 cs.LG cs.NE
When Are Solutions Connected in Deep Networks?
MPI-MIS（马克斯·普朗克数学研究所）；IST Austria（奥地利科学技术研究所）
在训练深度神经网络时，模式连通性现象如何以及为什么会发生，这一问题在研究界引起了极大的关注。从理论的角度来看，已经提出了两种可能的解释：（i）损失函数具有连接的子水平集，以及（ii）由随机梯度下降找到的解是dropout稳定的。虽然这些解释提供了对现象的见解，但他们的假设在实践中并不总是令人满意。特别地，第一种方法要求网络具有一个具有$N$神经元阶数的层（$N$是训练样本的数量），而第二种方法要求在每层移除一半神经元后损失几乎不变（直到剩余神经元的一些重新缩放）。在这项工作中，我们通过利用每个中间层的特征质量以及更温和的过参数化条件来改善这两个条件。更具体地说，我们表明：（i）在一般假设的中间层的功能，它足以最后两个隐藏层的顺序$\sqrt{N}$神经元，和（ii）如果在每一层的功能子集是线性可分离的，那么没有过参数化是需要显示的连接。我们的实验证实，所提出的条件，确保连接的解决方案找到随机梯度下降，即使在设置中，以前的要求不成立。
2021-10-21 cs.LG stat.ML
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Brown University（布朗大学）；Massachusetts Institute of Technology（麻省理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们提出了两种局部自适应激活函数的方法，即逐层和逐神经元局部自适应激活函数，它们可以提高深度和物理信息的神经网络的性能。激活函数的局部自适应是通过在每一层（逐层）和每个神经元（逐神经元）分别引入一个可伸缩参数，然后使用随机梯度下降算法的变体对其进行优化来实现的。为了进一步提高训练速度，在损失函数中加入了基于激活斜率的斜率恢复项，进一步加快了收敛速度，从而降低了训练成本。在理论方面，我们证明了在所提出的方法中，梯度下降算法不会被吸引到次优临界点或局部极小值的实际条件下的初始化和学习率，所提出的方法的梯度动态是无法实现的任何（自适应）学习率的基础方法。我们进一步表明，自适应激活方法加快收敛隐式乘条件矩阵的基础方法的梯度，而没有任何明确的计算条件矩阵和矩阵向量积。不同的自适应激活函数诱导不同的隐式条件矩阵。此外，所提出的方法与斜率恢复，以加快训练过程。
2020-06-17 cs.LG stat.ML
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University（卡内基梅隆大学）
我们提供了随机特征矩阵的条件数的（高概率）界。特别是，我们表明，如果复杂度比$\frac{N}{m}$，其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$，那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立，并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外，我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象，这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下，我们表明，风险降低$m$和$N$增加，即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度，我们的结果中的常数是明确的，独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院）；Industrial and Operations Engineering University of Michigan（密歇根大学工业与运营工程学院）
本文提出一种廉价预条件器，恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度，并使其对全局最小化器的病态条件不敏感，同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Neuron Block Dynamics for XOR Classification with Zero-Margin
RIKEN AIP（日本理化学研究所 Advanced Institute for Probing the Universe）；University of Tokyo（东京大学）
本文研究了零边距非线性分类中的神经块动力学，通过高斯XOR问题分析，揭示了神经元聚类和块级信号协调现象，并展示了在无边距假设下泛化性的分析方法。
2026-01-30 cs.LG stat.ML
Generalization and Stability of Interpolating Neural Networks with Minimal Width
我们调查的泛化和优化性能的浅层神经网络分类器训练梯度下降的插值制度。具体来说，在一个可实现的场景中，模型权重可以实现任意小的训练误差$ε$和它们与初始化的距离是$g(ε)$，我们证明了梯度下降与$n$训练数据实现训练误差$O(g(1/T)^2 /T)$和泛化误差$O(g(1/T)^2 /n)$在迭代$T$，提供至少有$m=Ω(g(1/T)^4)$隐藏的神经元。然后，我们表明，我们的可实现的设置包括一个特殊的情况下，数据是可分离的模型的神经切线内核。对于这一点和逻辑损失最小化，我们证明了训练损失以$\tilde O(1/ T)$的速度衰减，给定神经元的多对数数$m=Ω(\log^4 (T))$。此外，使用$m=Ω(\log^{4} (n))$神经元和$T\approx n$迭代，我们通过$\tilde{O}(1/n)$约束测试损失。我们的研究结果不同于现有的推广成果，使用算法的稳定性框架，这需要多项式的宽度，并产生次优的推广率。我们的分析的核心是使用一个新的自有界弱凸性属性，这导致了一个广义的局部拟凸性充分参数化的神经网络分类器。最后，尽管目标的非凸性，这导致收敛和广义差距的界限，类似于线性逻辑回归的凸设置中发现的。
2023-03-27 cs.LG stat.ML
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Spike-timing-dependent Hebbian learning as noisy gradient descent
University of Twente（特文特大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出基于噪声梯度下降的Hebb学习机制，证明其在非凸优化中能快速收敛至最优解，突破传统噪声梯度下降的收敛限制。
2026-01-13 cs.LG math.ST stat.TH
Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks
Stanford University（斯坦福大学）
多层神经网络--通常被构造成具有许多跨层非线性激活神经元的高度复杂结构--是否可以以一种非平凡的方式表现，但简化了其复杂性的主要部分？在这项工作中，我们发现了一种现象，在这种现象中，这些复杂网络的行为-在适当的缩放和随机梯度下降动力学-成为独立的神经元的数量，因为这个数字增长足够大。我们开发了一种形式主义，其中许多神经元的限制行为被捕获的一组方程，从而暴露了这些网络的一个以前未知的操作制度。虽然目前的追求在数学上是不严格的，但它补充了几个实验来验证这种行为的存在。
2019-02-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, U. Washington（数学系，华盛顿大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛，提出基于“沟壑”流形分解的步长策略，并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
Non-binary artificial neuron with phase variation implemented on a quantum computer
Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学）；Universidade Federal de Santa Maria (UFSM)（圣玛丽亚联邦大学）
提出一种在量子计算机上处理连续值的非二元人工神经元模型，通过复数相位操纵推广二元模型，并利用梯度下降在混合训练方案中验证了其有效性，为在近期量子设备上高效实现人工神经网络提供了新进展。
2024-10-30 cs.AI cs.LG cs.NE
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Feature Learning in Linear-Width Two-Layer Networks: Two vs. One Step of Gradient Descent
University of Pennsylvania（宾夕法尼亚大学）
本文研究线性宽度双层网络中梯度下降两步更新的特征学习，通过谱分析刻画权重更新为多离群点的尖峰随机矩阵，并揭示批重用相对于独立批在捕获高信息指数方向上的优势。
2026-05-21 cs.LG stat.ML
A Theory of Synaptic Neural Balance: From Local to Global Order
University of California, Irvine（加州大学欧文分校）
本研究提出突触神经平衡通用理论，基于缩放和平衡两种局部操作，证明随机局部平衡可收敛到唯一全局平衡态，且学习前或学习中加入平衡操作可提升学习速度与性能。
2024-10-31 cs.AI cs.LG cs.NE
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London（伦敦布鲁内尔大学）；Bradley University（布拉德利大学）
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上，神经网络为激活的神经元产生标量值。另一方面，胶囊产生一个值的向量，Hinton认为这对应于一个单一的复合特征，其中向量分量的值表示特征的属性，如变换或对比度。我们提出了一种参数化和训练胶囊的新方法，我们称之为同质向量胶囊（HVC）。我们通过实验证明，与使用单个最终完全连接层的CNN相比，改变卷积神经网络（CNN）以使用HVC可以实现更高的分类准确性，而不会增加其架构中的参数或操作数量。此外，HVC的引入使得能够使用自适应梯度下降，减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果，使用两个神经网络架构。首先，一个非常简单的单片CNN，当使用HVC时，与基线架构相比，前1分类准确度提高了63%，前5分类准确度提高了35%。其次，使用称为Inception v3的CNN架构，在有和没有HVC的情况下都实现了类似的准确性。此外，当使用HVC时，简单的单片CNN在超过300个时期后没有显示过拟合，而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
Learning a Single Index Model from Anisotropic Data with vanilla Stochastic Gradient Descent
RIKEN AIP（理化学研究所人工智能项目（RIKEN AIP））；University of Tokyo（东京大学）
本文研究了在各向异性高斯输入下使用原始SGD训练神经元学习单指数模型（SIM）的问题，证明了原始SGD能自动适应协方差结构，并基于协方差结构决定的有效维度推导了样本复杂度的上下界。
2025-03-31 cs.LG stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University（俄亥俄州立大学）
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述，目标函数采用指数损失函数。我们首先描述景观的损失函数，并表明，可以存在虚假的渐近局部极小值，除了渐近全局极小值。然后，我们表明，梯度下降（GD）可以收敛到一个全球或当地的最大利润率的方向，或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降（SGD），我们表明，它收敛于预期的全局或局部最大利润的方向，如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差，并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Hidden Gauge Controls Feature Specialization in ReLU Networks
School of Future Technology Southeast University（东南大学未来技术学院）
该研究在高斯教师-学生模型中发现，初始预测器不可见的隐藏尺度参数可控制ReLU网络中神经元的特征所有权，实现确定性的特征选择与冗余神经元剪枝。
2026-09-15 cs.AI cs.LG
