Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Seoul National University（首尔大学）
针对 SNN 离散理论不足及非线性支持有限的问题，提出基于 signGD 的神经元动力学，实现超越 ReLU 的低时间步 ANN-to-SNN 转换，并在大规模实验中达到 SOTA。
2024-07-01 cs.LG cs.NE
Agnostic Learning of a Single Neuron with Gradient Descent
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑学习最佳拟合的单个神经元的问题，通过使用梯度下降来最小化由一组i.i.d.引起的经验风险，通过在一些未知的联合分布$\mathcal{D}$上的期望平方损失$\mathbb{E}_{(x,y)\sim \mathcal{D}}[(σ(w^\top x)-y)^2]$来测量。样本$S\sim \mathcal{D}^n$。激活函数$σ$是一个任意的Lipschitz非减函数，使得优化问题在一般情况下是非凸和非光滑的，并涵盖了广义线性模型设置下典型的神经网络激活函数和逆连接函数。在不可知的PAC学习设置，其中没有对标签$y$和输入$x$之间的关系的假设，如果最佳的人口风险是$\mathsf{OPT}$，我们表明，梯度下降实现人口风险$O(\mathsf{OPT})+ε$在多项式时间和样本复杂度时，$σ$严格增加。对于ReLU激活，我们的人群风险保证是$O(\mathsf{OPT}^{1/2})+ε$。当标签采取的形式$y = σ(v^\top x) + ξ$为零均值亚高斯噪声$ξ$，我们表明，人口风险保证梯度下降提高到$\mathsf{OPT} + ε$。我们的样本复杂性和运行时保证（几乎）维度独立，当$σ$严格增加时，不需要超出有界性的分布假设。对于ReLU，我们在输入的边际分布的非简并假设下显示了相同的结果。
2020-08-31 cs.LG math.OC stat.ML
Revisiting Gradient Descent: A Dual-Weight Method for Improved Learning
本文提出将神经元权重分解为 $W_1$ 与 $W_2$ 并分别更新目标、非目标特征的双权重框架，在多个回归与分类数据集上提升噪声、稀疏场景下的泛化与抗过拟合能力，且不增加推理开销。
2025-03-18 cs.LG
It's Not a Lottery, It's a Race: Understanding How Gradient Descent Adapts the Network's Capacity to the Task
Data and AI cluster, EAISI Eindhoven University of Technology（数据与人工智能集群，埃因霍温理工大学）
本文研究了梯度下降如何通过单隐藏层ReLU网络中单个神经元的学习动态，揭示了容量适应的机制，提出了三个动态原则，解释了为何训练后通过神经元合并或低范数权重剪枝可减少容量。
2026-05-07 cs.AI cs.CV cs.LG
Quantum Neuron Selection: Finding High Performing Subnetworks With Quantum Algorithms
Colorado State University（科罗拉多州立大学）
梯度下降方法长期以来一直是训练深度神经网络的事实标准。数百万个训练样本被输入到具有数十亿个参数的模型中，这些参数在数百个时期内缓慢更新。最近，有研究表明，随机初始化的大型神经网络包含的子网络与经过充分训练的模型一样好。这一见解为训练未来的神经网络提供了一个很有前途的途径，只需从大型随机模型中修剪权重。然而，这个问题是组合困难的，经典算法在寻找最佳子网络方面效率不高。在本文中，我们将探讨如何量子算法可以制定和应用到这个神经元选择问题。我们介绍了几种用于局部量子神经元选择的方法，这些方法降低了大规模神经元选择所需的纠缠复杂度，使得这个问题对于当前的量子硬件来说更容易处理。
2023-02-12 cs.LG
Simple Linear Neuron Boosting
本文提出一种基于Boosted Backpropagation的在线无矩阵预条件梯度下降算法，通过白化神经元特征加速网络收敛，适用于各类可微架构且易于在分布式环境中实现。
2025-02-03 cs.LG stat.ML
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了随机梯度下降（SGD）最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时，SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层，一个隐藏层，和一个输出层（与$d \in \mathbb{N}$神经元上的输入层，$H \in \mathbb{N}$神经元上的隐藏层，和一个神经元上的输出层）。假设SGD过程的学习速率足够小，并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent
UW Madison（威斯康星大学麦迪逊分校）
我们研究学习单个神经元的基本问题，即，对于单调激活$σ:\mathbb{R}\mapsto\mathbb{R}$，形式为$\mathbf{x}\mapstoσ(\mathbf{w}\cdot\mathbf{x})$的函数，相对于在对抗性标签噪声存在下的$L_2^2$损失。具体地说，我们给出了标记的例子，从分布$D$上的$(\mathbf{x}, y)\in\mathbb{R}^d \times \mathbb{R}$，使存在$\mathbf{w}^\ast\in\mathbb{R}^d$实现$F(\mathbf{w}^\ast)=ε$，其中$F(\mathbf{w})=\mathbf{E}_{(\mathbf{x},y)\sim D}[(σ(\mathbf{w}\cdot \mathbf{x})-y)^2]$。学习器的目标是输出假设向量$\mathbf{w}$，使得$F(\mathbb{w})=C\, ε$具有高概率，其中$C>1$是通用常数。作为我们的主要贡献，我们给出了一个广泛的分布（包括对数凹分布）和激活函数的有效的常数因子近似学习器。具体地说，对于各向同性对数凹分布类，我们得到了以下重要推论：对于Logistic激活，我们得到了第一多项式时间常数因子近似（即使在高斯分布下）。我们的算法有样本复杂度$\widetilde{O}(d/ε)$，这是紧内的多对数因子。对于ReLU激…
2022-06-17 cs.DS cs.LG math.ST
What do CNN neurons learn: Visualization & Clustering
Shanghai Jiao Tong University（上海交通大学）
近年来，卷积神经网络（CNN）在各种任务中取得了惊人的进展。然而，尽管性能很高，但训练和预测过程仍然是一个黑匣子，这使得提取神经元在CNN中学习的内容成为一个谜。在本文中，我们解决的问题，解释一个CNN从输入图像的焦点和偏好，神经元的支配，激活和贡献的一个具体的最终预测方面。具体来说，我们使用两种技术-可视化和聚类-来解决上述问题。可视化部分采用图像像素的梯度下降方法，聚类部分提出了两种算法分别对图像类别和网络神经元进行聚类。实验和定量分析证明了这两种方法在解释神经元学习什么这一问题上的有效性。
2020-10-18 cs.CV cs.LG
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
Deep Spiking Neural Networks with Resonate-and-Fire Neurons
Microsoft EGDC（微软埃及游戏开发中心）；U Barcelona（巴塞罗那大学）
在这项工作中，我们探索了一种新的脉冲神经网络（SNN）公式与共振和火灾（RAF）神经元（Izhikevich，2001）训练梯度下降通过反向传播。RAF-SNN虽然在生物学上更合理，但在不同的网络配置中，使用类似或更少的参数，实现了与机器学习文献中的传统模型相当或更高的性能。引人注目的是，RAF-SNN证明了在静态和动态条件下对测试/训练时引起的噪声的鲁棒性。与MNIST上的CNN相比，我们在测试时显示出比N（0，0.2）诱导噪声高25%的绝对准确度。与N-MNIST上的LSTM相比，我们在训练时显示出70%的绝对准确率和20%的诱导噪声。
2021-09-16 cs.LG cs.NE
Faster Biological Gradient Descent Learning
反向传播是一种流行的机器学习算法，它使用梯度下降来训练神经网络进行监督学习，但速度可能非常慢。已经开发了许多算法来加速收敛和提高学习的鲁棒性。然而，它们在生物学上实现起来很复杂，因为它们需要来自先前更新的信息。受生物学中突触竞争的启发，我们提出了一种简单的局部梯度下降优化算法，该算法可以减少训练时间，并且对过去的细节没有要求。我们的算法，名为动态学习率（DLR），类似于传统的梯度下降中使用的反向传播，除了在所有突触，而不是有一个统一的学习率，学习率取决于当前的神经元连接权重。我们的算法被发现可以加快学习速度，特别是对于小型网络。
2020-09-27 cs.LG cs.NE
Learning One-hidden-layer ReLU Networks via Gradient Descent
University of Virginia（弗吉尼亚大学）
研究了带修正线性单元（ReLU）激活函数的单隐层神经网络的学习问题，其中输入来自标准高斯分布，输出来自带噪声的教师网络.我们基于经验风险最小化理论分析了梯度下降法训练此类神经网络的性能，并提供了算法相关的保证。特别是，我们证明了张量初始化，然后梯度下降可以收敛到地面实况参数的线性速率到一些统计误差。据我们所知，这是第一个描述具有多个神经元的单隐藏层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论结果。
2018-06-20 cs.LG stat.ML
Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks
School of Engineering Technology, Purdue University（普渡大学工程技术学院）
本文提出分阶脉冲时序依赖梯度下降模型 FO-STDGD，将分数阶梯度下降引入脉冲时序依赖损失计算，在 MNIST 和 DVS128 Gesture 数据集上验证了分数阶增大可显著提升分类准确率，并展现出领先的计算效能。
2024-10-20 cs.AI cs.LG cs.NE
XOR_p A maximally intertwined p-classes problem used as a benchmark with built-in truth for neural networks gradient descent optimization
National Center for Biotechnology Information（美国国家生物技术信息中心）；National Library of Medicine（美国国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）
一个自然的p类推广的互斥或问题，减法模p，其中p是素数，提出并解决了使用一个单一的全连接的隐藏层与p-神经元。虽然这个问题非常简单，但它是复杂而具有挑战性的，并且代表了梯度下降优化算法的一个有趣的基准。测试了9个优化器和9个激活函数，直到p = 191，收敛最频繁和最快的方法是亚当优化器结合ELU激活函数。
2018-12-18 cs.LG stat.ML
Topological Invariance and Breakdown in Learning
University of Michigan（密歇根大学）；Massachusetts Institute of Technology（麻省理工学院）；NTT Research（NTT研究所）
该研究证明置换等变学习规则的训练过程存在拓扑临界点，低于该点保留神经元拓扑结构，高于该点发生拓扑简化降低表达性，且该理论独立于架构与损失函数，可普适用于深度学习研究。
2025-10-03 cs.LG
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University（布朗大学）
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而，如果不能有效地训练（选择）定义网络的参数，神经网络的强大表现力将化为乌有。通常，神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中，这种方法导致损失函数在训练开始时迅速减小，但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞，然后突然又开始快速减少，没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量，我们的结果适用于懒惰和自适应制度。主要调查结果如下：平稳期对应于激活模式保持恒定的时期，其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论，我们提出了一种新的迭代训练方法，主动神经元最小二乘法（ANLS），其特征在于在每一步的激活模式的显式调整，其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
Quadratic number of nodes is sufficient to learn a dataset via gradient descent
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们证明了，如果一个激活函数满足一些温和的条件，并且具有该激活函数的两层全连接神经网络中的神经元数目超过一定的阈值，那么在平方损失函数上的梯度下降可以在线性时间内找到全局最小值的输入层的最优权值.该门限值是对先前获得的值的改进。我们假设这个界限不能通过我们在这项工作中使用的方法来改善。
2019-11-13 cs.LG math.OC math.ST
Understanding How Over-Parametrization Leads to Acceleration: A case of learning a single teacher neuron
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）
过度参数化已成为深度学习中的一种流行技术。据观察，通过过度参数化，较大的神经网络需要比较小的神经网络更少的训练迭代来实现一定程度的性能-即过度参数化导致优化加速。然而，尽管过参数化被广泛使用，现在很少有理论可以解释由于过参数化的加速度。在本文中，我们建议通过研究一个简单的问题来理解它。具体来说，我们考虑存在具有二次激活的单个教师神经元的设置，其中通过使多个学生神经元学习从教师神经元生成的数据来实现过度参数化。我们证明，过参数化有助于梯度下降产生的搜索进入附近的全局最优解，实现零测试误差更快。另一方面，我们还指出了一个问题，关于过度参数化的必要性，并研究了如何缩放的输出神经元的影响收敛时间。
2021-09-27 cs.LG stat.ML
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST（韩国科学技术院）
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是，即使对于使用平方损失训练的单个ReLU神经元，最近也证明不可能根据模型参数的范数来表征隐式正则化（Vardi & Shamir，2021）。为了缩小理解ReLU网络有趣的泛化行为的差距，我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说，我们发现了支持向量方面的隐式偏差，这在ReLU网络为什么以及如何泛化方面起着关键作用。此外，我们分析了梯度流相对于初始化的范数的大小，并表明学习的权重的范数严格通过梯度流增加。最后，我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London（伦敦布鲁内尔大学）；Bradley University（布拉德利大学）
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上，神经网络为激活的神经元产生标量值。另一方面，胶囊产生一个值的向量，Hinton认为这对应于一个单一的复合特征，其中向量分量的值表示特征的属性，如变换或对比度。我们提出了一种参数化和训练胶囊的新方法，我们称之为同质向量胶囊（HVC）。我们通过实验证明，与使用单个最终完全连接层的CNN相比，改变卷积神经网络（CNN）以使用HVC可以实现更高的分类准确性，而不会增加其架构中的参数或操作数量。此外，HVC的引入使得能够使用自适应梯度下降，减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果，使用两个神经网络架构。首先，一个非常简单的单片CNN，当使用HVC时，与基线架构相比，前1分类准确度提高了63%，前5分类准确度提高了35%。其次，使用称为Inception v3的CNN架构，在有和没有HVC的情况下都实现了类似的准确性。此外，当使用HVC时，简单的单片CNN在超过300个时期后没有显示过拟合，而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
Spike-timing-dependent Hebbian learning as noisy gradient descent
University of Twente（特文特大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出基于噪声梯度下降的Hebb学习机制，证明其在非凸优化中能快速收敛至最优解，突破传统噪声梯度下降的收敛限制。
2026-01-13 cs.LG math.ST stat.TH
A Link between Shock-wave Theory and Symmetry-reduced Stochastic Gradient Descent for Artificial Neural Networks
NEC Corporation（NEC公司）
本文通过微分几何、李群和流体力学，建立了冲击波理论与对称商化随机梯度下降学习动力学之间的显式数学联系，并应用于多种神经网络架构。
2026-06-18 cs.AI cs.LG
When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现代神经网络通常相当宽，导致大量的存储器和计算成本。因此，训练较窄的网络是非常有意义的。然而，训练狭义神经网络仍然是一项具有挑战性的任务。我们提出了两个理论问题：窄网络是否能像宽网络一样具有强大的表现力？如果是这样，那么损失函数是否表现出良性的优化前景？在这项工作中，我们提供了部分肯定的答案，这两个问题的1-隐藏层网络少于$n$（样本大小）的神经元时，激活是顺利的。首先，我们证明了只要宽度$m \geq 2n/d$（其中$d$是输入维），它的表达性就强，即，存在至少一个具有零训练损失的全局最小值。其次，我们确定了一个很好的局部区域，没有局部最小值或鞍点。然而，梯度下降是否能保持在这个好的区域还不清楚。第三，我们考虑了一个约束优化公式，其中可行域是良好的局部区域，并证明了每个KKT点是一个几乎全局极小。预计投影梯度方法收敛到KKT点在温和的技术条件下，但我们离开严格的收敛性分析，以未来的工作。彻底的数值结果表明，投影梯度方法在这个约束制定显着优于SGD训练窄神经网络。
2022-10-21 cs.LG
Neuronal Fluctuations: Learning Rates vs Participating Neurons
Numerikal Labs（Numerikal实验室）；Purdue University（普渡大学）
本研究探究学习率这一关键超参数对深度神经网络（DNNs）内部权重和偏置波动的影响，通过不同学习率训练模型并分析波动与精度的关系，揭示学习率对波动特征的作用及对优化过程的调节机制，为超参数调优提供新见解。
2025-11-13 cs.LG
A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
该研究针对MAIS-O60问题构造反例，证明单神经元模加法训练中傅里叶对齐不成立，且失效情况在多种条件下普遍存在。
2026-08-07 cs.LG cs.NE math.OC
Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
许多有监督的机器学习方法自然地被转换为优化问题。对于参数为线性的预测模型，这通常会导致存在许多数学保证的凸问题。参数非线性的模型，如神经网络，导致非凸优化问题，难以保证。在这篇综述论文中，我们考虑了两层神经网络与齐次激活函数的隐藏神经元的数量趋于无穷大，并显示如何定性收敛保证可能会得出。
2021-10-15 cs.LG math.OC math.ST
A Theory of Synaptic Neural Balance: From Local to Global Order
University of California, Irvine（加州大学欧文分校）
本研究提出突触神经平衡通用理论，基于缩放和平衡两种局部操作，证明随机局部平衡可收敛到唯一全局平衡态，且学习前或学习中加入平衡操作可提升学习速度与性能。
2024-10-31 cs.AI cs.LG cs.NE
Hidden Gauge Controls Feature Specialization in ReLU Networks
School of Future Technology Southeast University（东南大学未来技术学院）
该研究在高斯教师-学生模型中发现，初始预测器不可见的隐藏尺度参数可控制ReLU网络中神经元的特征所有权，实现确定性的特征选择与冗余神经元剪枝。
2026-09-15 cs.AI cs.LG
Global convergence of neuron birth-death dynamics
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Princeton University（普林斯顿大学）；Center for Data Science, New York University（纽约大学数据科学中心）
具有大量参数的神经网络允许平均场描述，这最近已被用作“过参数化”模型的有利训练特性的理论解释。在这种情况下，梯度下降服从一个确定性偏微分方程（PDE），在适当的假设下收敛到一个全局最优解的网络与一个单一的隐藏层。在这项工作中，我们提出了一个非本地的质量输运动力学，导致一个修改后的PDE具有相同的极小。我们实现这种非局部动力学作为一个随机神经元的生-死过程，我们证明了它加快了平均场极限的收敛速度。随后，我们实现了这PDE与两类数值计划收敛到平均场方程，其中每一个可以很容易地实现神经网络与有限数量的参数。我们用两个模型来说明我们的算法，以提供加速收敛的机制的直观性。
2019-03-27 cs.LG stat.ML
Non-binary artificial neuron with phase variation implemented on a quantum computer
Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学）；Universidade Federal de Santa Maria (UFSM)（圣玛丽亚联邦大学）
提出一种在量子计算机上处理连续值的非二元人工神经元模型，通过复数相位操纵推广二元模型，并利用梯度下降在混合训练方案中验证了其有效性，为在近期量子设备上高效实现人工神经网络提供了新进展。
2024-10-30 cs.AI cs.LG cs.NE
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University（西北大学）
在高斯边缘分布下，提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似，揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
When Are Solutions Connected in Deep Networks?
MPI-MIS（马克斯·普朗克数学研究所）；IST Austria（奥地利科学技术研究所）
在训练深度神经网络时，模式连通性现象如何以及为什么会发生，这一问题在研究界引起了极大的关注。从理论的角度来看，已经提出了两种可能的解释：（i）损失函数具有连接的子水平集，以及（ii）由随机梯度下降找到的解是dropout稳定的。虽然这些解释提供了对现象的见解，但他们的假设在实践中并不总是令人满意。特别地，第一种方法要求网络具有一个具有$N$神经元阶数的层（$N$是训练样本的数量），而第二种方法要求在每层移除一半神经元后损失几乎不变（直到剩余神经元的一些重新缩放）。在这项工作中，我们通过利用每个中间层的特征质量以及更温和的过参数化条件来改善这两个条件。更具体地说，我们表明：（i）在一般假设的中间层的功能，它足以最后两个隐藏层的顺序$\sqrt{N}$神经元，和（ii）如果在每一层的功能子集是线性可分离的，那么没有过参数化是需要显示的连接。我们的实验证实，所提出的条件，确保连接的解决方案找到随机梯度下降，即使在设置中，以前的要求不成立。
2021-10-21 cs.LG stat.ML
Training Hybrid Classical-Quantum Classifiers via Stochastic Variational Optimization
King’s College London（伦敦国王学院）
量子机器学习已经成为近期量子设备的潜在实际应用。在这项工作中，我们研究了一个两层的混合经典量子分类器，其中第一层的量子随机神经元实现广义线性模型（QGLM），其次是第二个经典的组合层。第一隐藏层的输入是通过幅度编码获得的，以便在每个神经元的量子比特数量中利用量子神经元的扇入的指数大小。为了便于QGLM的实现，所有权重和激活都是二进制的。虽然此类模型的训练策略的最新技术水平仅限于穷举搜索和类似单神经元感知器的位翻转策略，但这封信介绍了一种随机变分优化方法，可以通过随机梯度实现量子层和经典层的联合训练下降。实验表明，该方法的优点，为各种激活功能的QGLM神经元实现。
2022-01-21 cs.LG eess.SP quant-ph
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化，提出训练深度神经网络的贪心算法Neuron Pursuit，经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Neuron Block Dynamics for XOR Classification with Zero-Margin
RIKEN AIP（日本理化学研究所 Advanced Institute for Probing the Universe）；University of Tokyo（东京大学）
本文研究了零边距非线性分类中的神经块动力学，通过高斯XOR问题分析，揭示了神经元聚类和块级信号协调现象，并展示了在无边距假设下泛化性的分析方法。
2026-01-30 cs.LG stat.ML
A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models
University of Applied Sciences Fulda（富尔达应用科技大学）
本文提出了一种自组织映射与高斯混合模型之间关系的数学处理方法。我们表明，基于能量的SOM模型可以被解释为执行梯度下降，最大限度地减少近似的GMM对数似然，这是特别有效的高数据维数。邻域半径的类似SOM的减小可以理解为退火过程，确保梯度下降不会陷入不期望的局部最小值。这种联系允许将SOM视为生成概率模型，为使用SOM提供正式的理由，例如，来检测异常值或进行采样。
2020-09-24 cs.LG stat.ML
Generalization and Stability of Interpolating Neural Networks with Minimal Width
我们调查的泛化和优化性能的浅层神经网络分类器训练梯度下降的插值制度。具体来说，在一个可实现的场景中，模型权重可以实现任意小的训练误差$ε$和它们与初始化的距离是$g(ε)$，我们证明了梯度下降与$n$训练数据实现训练误差$O(g(1/T)^2 /T)$和泛化误差$O(g(1/T)^2 /n)$在迭代$T$，提供至少有$m=Ω(g(1/T)^4)$隐藏的神经元。然后，我们表明，我们的可实现的设置包括一个特殊的情况下，数据是可分离的模型的神经切线内核。对于这一点和逻辑损失最小化，我们证明了训练损失以$\tilde O(1/ T)$的速度衰减，给定神经元的多对数数$m=Ω(\log^4 (T))$。此外，使用$m=Ω(\log^{4} (n))$神经元和$T\approx n$迭代，我们通过$\tilde{O}(1/n)$约束测试损失。我们的研究结果不同于现有的推广成果，使用算法的稳定性框架，这需要多项式的宽度，并产生次优的推广率。我们的分析的核心是使用一个新的自有界弱凸性属性，这导致了一个广义的局部拟凸性充分参数化的神经网络分类器。最后，尽管目标的非凸性，这导致收敛和广义差距的界限，类似于线性逻辑回归的凸设置中发现的。
2023-03-27 cs.LG stat.ML
Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks
Stanford University（斯坦福大学）
多层神经网络--通常被构造成具有许多跨层非线性激活神经元的高度复杂结构--是否可以以一种非平凡的方式表现，但简化了其复杂性的主要部分？在这项工作中，我们发现了一种现象，在这种现象中，这些复杂网络的行为-在适当的缩放和随机梯度下降动力学-成为独立的神经元的数量，因为这个数字增长足够大。我们开发了一种形式主义，其中许多神经元的限制行为被捕获的一组方程，从而暴露了这些网络的一个以前未知的操作制度。虽然目前的追求在数学上是不严格的，但它补充了几个实验来验证这种行为的存在。
2019-02-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Genetic algorithm vs. gradient descent for training a neural network architecture dedicated to low data regimes in small medical datasets
Center for Medical Physics and Biomedical Engineering, Medical University of Vienna（医学物理与生物医学工程中心，维也纳医科大学）；Georgia Institute of Technology（佐治亚理工学院）
针对DEBI-NN架构，比较遗传算法与梯度下降在分类任务中的性能，发现遗传算法在决策边界和分类准确率上显著优于梯度下降。
2026-09-18 cs.LG cs.NE
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, U. Washington（数学系，华盛顿大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛，提出基于“沟壑”流形分解的步长策略，并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
Compiling to linear neurons
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
针对现有神经网络间接编程范式无法兼容离散算法的问题，提出线性编程语言$\textsf{Cajal}$，可将程序编译为适配梯度学习的线性神经元，实验证明其能提升网络学习效率与可调试性。
2025-11-14 cs.LG cs.PL
Feature Learning in Linear-Width Two-Layer Networks: Two vs. One Step of Gradient Descent
University of Pennsylvania（宾夕法尼亚大学）
本文研究线性宽度双层网络中梯度下降两步更新的特征学习，通过谱分析刻画权重更新为多离群点的尖峰随机矩阵，并揭示批重用相对于独立批在捕获高信息指数方向上的优势。
2026-05-21 cs.LG stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
Learning a Single Index Model from Anisotropic Data with vanilla Stochastic Gradient Descent
RIKEN AIP（理化学研究所人工智能项目（RIKEN AIP））；University of Tokyo（东京大学）
本文研究了在各向异性高斯输入下使用原始SGD训练神经元学习单指数模型（SIM）的问题，证明了原始SGD能自动适应协方差结构，并基于协方差结构决定的有效维度推导了样本复杂度的上下界。
2025-03-31 cs.LG stat.ML
High-performance deep spiking neural networks with 0.3 spikes per neuron
IBM Research Europe – Zurich（IBM欧洲研究院苏黎世分部）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本文分析了TTFS网络的训练动力学，解决了梯度消失或爆炸问题，通过保证SNN与ANN训练轨迹等价的映射方法，训练出每神经元不到0.3个脉冲的深度SNN，在多个图像分类数据集上达到与ANN相同的性能，并适用于低延迟、抗噪声的硬件实现。
2023-11-20 cs.LG cs.NE
A Theoretical Analysis of Soft-Label vs Hard-Label Training in Neural Networks
UIUC（伊利诺伊大学厄巴纳-香槟分校）；CUHK（香港中文大学）
该研究针对知识蒸馏中软标签训练神经元需求更少的问题，通过实验与两层神经网络理论分析，证明软标签训练神经元复杂度更低，且数据集越难优势越显著，深度网络实验也验证了该结论。
2024-12-12 cs.AI cs.LG
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University（俄亥俄州立大学）
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述，目标函数采用指数损失函数。我们首先描述景观的损失函数，并表明，可以存在虚假的渐近局部极小值，除了渐近全局极小值。然后，我们表明，梯度下降（GD）可以收敛到一个全球或当地的最大利润率的方向，或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降（SGD），我们表明，它收敛于预期的全局或局部最大利润的方向，如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差，并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
L4-Norm Weight Adjustments for Converted Spiking Neural Networks
Brigham Young University–Idaho（爱达荷州杨百翰大学）；Purdue University（普渡大学）
脉冲神经网络（SNN）由于其稀疏的、事件驱动的计算而被探索用于其潜在的能量效率益处。非尖峰人工神经网络通常使用反向传播用随机梯度下降来训练。脉冲神经网络中反向传播的真实梯度的计算受到脉冲神经元的不可微放电事件的阻碍。另一方面，使用近似梯度是有效的，但在许多时间步长上计算昂贵。因此，用于训练脉冲神经网络的一种常见技术是训练拓扑等效的非尖峰网络，然后将其转换为尖峰网络，用比例速率编码的泊松尖峰序列替换实值输入。转换后的SNN功能足够好，因为尖峰发放神经元的平均预激发膜电位与输入速率向量和神经元权重向量的点积成比例，类似于非尖峰发放网络的功能。然而，该转换仅考虑膜电位的平均值而不是时间方差。由于预激发膜电位的标准差与神经元权向量的L4范数成正比，为了提高转换后网络的分类精度，我们提出了一种基于L4范数的神经元权向量调整方法。
2021-11-17 cs.LG cs.NE
Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks
Institute of Science and Technology, Austria（奥地利科学技术研究所）
多层神经网络的优化通常会导致零训练误差的解决方案，但景观可能会出现虚假的局部最小值，并且最小值可能会断开。在本文中，我们揭示了这一现象：我们表明，随机梯度下降（SGD）和过参数化的组合，使景观的多层神经网络近似连接，从而更有利于优化。更具体地说，我们证明了SGD解决方案是通过一个分段线性路径连接的，并且随着神经元数量的增加，沿着这条路径的损失增加会消失。这个结果是由于SGD发现的参数随着网络变宽而变得越来越稳定。我们表明，如果我们删除一部分神经元（并适当地重新缩放剩余的神经元），损失的变化与神经元的总数无关，它只取决于剩下多少神经元。我们的结果表现出轻微的依赖于输入尺寸：他们是无量纲的两层网络和线性依赖于多层网络的尺寸。我们验证了我们的理论研究结果与不同的架构和分类任务的数值实验。
2020-07-23 cs.LG stat.ML
Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits
Intel Labs（英特尔实验室）
虽然稀疏编码原理可以成功地模拟感觉神经系统中的信息处理，但仍然不清楚如何在神经结构约束下完成学习。可行的学习规则必须完全依赖于突触局部信息，以便在空间分布的神经元上实现。我们描述了一个具有尖峰神经元的神经网络，它可以解决上述基本挑战并解决L1最小化字典学习问题，这是第一个能够做到这一点的模型。我们的主要创新是引入反馈突触，以创建一个路径，将看似非本地的信息转化为本地信息。所得到的网络将学习所需的误差信号编码为反馈引起的网络稳态的变化，并且类似于经典的随机梯度下降方法。
2017-05-19 cs.LG cs.NE
Orthogonal Over-Parameterized Training
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Emory University（埃默里大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Georgia Institute of Technology（佐治亚理工学院）；Alan Turing Institute（艾伦·图灵研究所）
神经网络的归纳偏差在很大程度上由结构和训练算法决定。如何有效地训练一个神经网络，以达到良好的泛化能力是非常重要的。我们提出了一种新的正交过参数化训练（OPT）框架，可以证明最小化超球面能量，这是超球面上神经元多样性的特征。通过在训练过程中保持最小超球能量，OPT可以大大提高经验泛化能力。具体来说，OPT固定神经元的随机初始化权重，并学习适用于这些神经元的正交变换。我们考虑多种方法来学习这样的正交变换，包括展开正交化算法，应用正交参数化，并设计正交保持梯度下降。为了更好的可扩展性，我们提出了随机OPT，它执行正交变换随机神经元的部分尺寸。有趣的是，OPT揭示了学习神经元的适当坐标系对泛化至关重要。我们提供了一些见解，为什么OPT产生更好的泛化。大量的实验验证了OPT优于标准训练。
2021-06-05 cs.CV cs.LG stat.ML
