Backpropagation Neural Tree
University of Reading（雷丁大学）；University of Cambridge（剑桥大学）；University of Catania（卡塔尼亚大学）
提出 Backpropagation Neural Tree (BNeuralT) 算法，一种模拟生物树突非线性的单神经元神经树模型，通过深度优先搜索的两阶段训练生成高性能且简约的模型，在分类、回归和模式识别任务中平衡复杂度与描述能力。
2022-02-04 cs.LG
Proximal Backpropagation
Technical University of Munich（慕尼黑工业大学）；University of Siegen（锡根大学）
我们提出了近端反向传播（ProxProp）作为一种新的算法，采用隐式而不是显式梯度步骤更新网络参数在神经网络训练。我们的算法是由显式梯度下降的步长限制，这构成了优化的障碍。ProxProp是从反向传播算法的一般观点开发的，反向传播算法是目前通过随机梯度下降及其变体来训练神经网络的最常见技术。具体来说，我们表明，反向传播的预测误差是相当于连续的梯度下降步骤的二次惩罚能量，其中包括网络激活作为变量的优化。我们进一步分析了ProxProp的理论性质，特别是证明了该算法在参数空间中产生下降方向，因此可以与各种各样的收敛算法相结合。最后，我们设计了一个有效的数值实现，与流行的深度学习框架集成良好。最后，我们展示了有前途的数值结果，并表明ProxProp可以有效地结合常见的一阶优化，如亚当。
2018-02-20 cs.LG
Stochastic Block-ADMM for Training Deep Networks
Oregon State University（俄勒冈州立大学）；Applied Research Center, PCG, Tencent（腾讯PCG应用研究中心）
在本文中，我们提出了随机块ADMM作为训练深度神经网络的方法，在批量和在线设置。我们的方法通过将神经网络分成任意数量的块，并利用辅助变量连接这些块，同时使用随机梯度下降进行优化。这允许在传统的反向传播不适用的情况下训练具有不可微约束的深度网络。这一点的一个应用是监督特征分解，我们提出的DeepFacto将非负矩阵分解（NMF）层插入网络。由于反向传播只需要在每个块内执行，我们的方法消除了消失的梯度，并提供了并行化的潜力。我们证明了我们提出的方法的收敛性，并通过监督和弱监督设置中的实验证明了其能力。
2021-05-01 cs.AI cs.DC cs.LG
Supervised Stochastic Gradient Algorithms for Multi-Trial Source Separation
Department of Statistics, University of Washington（统计学系，华盛顿大学）；Department of Bioengineering, University of Washington（生物工程系，华盛顿大学）
针对多次试验源分离问题，提出融合近端梯度与反向传播预测模型的监督式独立成分分析随机算法，提升了非凸优化成功率和成分可解释性。
2025-08-28 cs.LG stat.ML
Binary Stochastic Filtering: a Method for Neural Network Size Minimization and Supervised Feature Selection
University of Chemistry and Technology（化学技术大学）
提出了二进制随机滤波（BSF）算法，用于特征选择和神经元修剪。该方法定义了过滤层，该过滤层对训练过程中涉及的信息量进行惩罚。该信息可以是前一层的输入数据或输出，其分别直接导致特征选择或神经元修剪，从而产生特征的\textit{ad hoc}子集或选择每层中神经元的最佳数目。过滤层随机传递或丢弃基于单个权重的特征，这些权重在训练过程中使用标准的反向传播算法进行调整。实验中实现了神经网络规模的成倍减小。此外，该方法能够选择最少数量的特征，超过文献参考的准确性/维数比。
2019-08-20 cs.LG stat.ML
LPGD: A General Framework for Backpropagation through Embedded Optimization Layers
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Masaryk University（马萨里克大学）
针对嵌入式优化层的退化导数导致梯度无效的问题，提出可无缝集成到自动微分库的LPGD框架，通过扰动输入重跑前向求解器计算有效替代梯度，覆盖已有方法且收敛更快。
2024-07-08 cs.LG
Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks
Columbia University（哥伦比亚大学）
我们提出了高斯-牛顿和自然梯度方法的实用Levenberg-Marquardt变体，用于解决在训练涉及大量变量和庞大数据集的深度神经网络时出现的非凸优化问题。我们的方法使用子采样高斯-牛顿或Fisher信息矩阵和子采样梯度估计（完全随机）或全梯度（半随机），在后一种情况下，我们证明收敛到一个稳定点。通过使用谢尔曼-莫里森-伍德伯里公式与自动微分（反向传播），我们展示了我们的方法如何可以有效地执行。最后，数值结果表明我们所提出的方法的有效性。
2019-06-05 cs.LG stat.ML
Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
Nice, France（法国尼斯）
提出Dijkstra剪枝网内学习（D-INL），通过保留融合节点处的容量感知最短路径树移除非树链接，并建模有限速率随机门控以平衡稀疏性与预测信息，在分布式分类实验中减少70.4%的训练交换量且保持精度。
2026-05-22 cs.IT cs.LG math.IT
Associated Learning: Decomposing End-to-end Backpropagation based on Auto-encoders and Target Propagation
National Central University（中央大学）
反向传播（BP）是当今深度学习算法的基石，但它的效率很低，部分原因是反向锁定，这意味着更新一层的权重会锁定其他层的权重更新。因此，应用并行计算或流水线结构来同时更新不同层中的权重具有挑战性。在本文中，我们介绍了一种新的学习结构，称为关联学习（AL），它模块化的网络成更小的组件，每个组件都有一个本地目标。由于目标是相互独立的，AL可以同时独立地学习不同层的参数，因此可以应用流水线结构来提高训练吞吐量。具体地，该流水线结构将训练时间的复杂度从O（nl）（其是使用BP和随机梯度下降（SGD）进行训练时的时间复杂度）提高到O（n +1），其中n是训练实例的数量，l是隐藏层的数量。令人惊讶的是，即使AL中的大多数参数不直接与目标变量相互作用，通过这种方法训练深度模型产生的精度与使用典型BP方法训练的模型相当，其中所有参数都用于预测目标变量。因此，由于在实验中证明的可扩展性和预测能力，AL值得进一步研究，以确定更好的超参数设置，如激活函数选择，学习率调度和权重初始化，以积累经验，正如我们多年来使用典型的BP方法所做的那样。此外，也许我们的设计还可以激发深度学习的新网络设计。我们的实现可以在https://github.com/SamYWK/Associated_Learning上获得。
2021-02-09 cs.LG cs.NE stat.ML
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research（微软研究院）
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值，使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说，它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$，只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
A Theoretical View of Linear Backpropagation and Its Convergence
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文从理论角度分析了线性反向传播LinBP在对抗攻击和模型训练等任务中的收敛性，发现在相同超参数设置下LinBP比传统BP收敛更快，并通过大量实验验证了该理论结果。
2024-01-10 cs.CR cs.CV cs.LG
Backprop-Q: Generalized Backpropagation for Stochastic Computation Graphs
Hulu Innovation Lab（Hulu创新实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
在现实世界中，学习一个在内部执行随机操作的模型（称为随机计算图（SCG）），而不是学习一个确定性映射，这是很有吸引力的。然而，标准的反向传播不适用于SCG。我们试图从成本传播的角度来解决这个问题，与本地代理成本，称为Q函数，构建和学习的SCG中的每个随机节点。然后，可以使用标准反向传播基于这些代理成本来训练SCG。我们提出了整个框架作为一个解决方案来推广SCG的反向传播，这类似于一个演员-评论家架构，但基于图。为了广泛的适用性，我们研究了各种SCG结构，从一个成本到多个成本。我们利用强化学习（RL）和变分贝叶斯（VB）的最新进展，如偏离策略的批评学习和无偏和低方差梯度估计，并在SCG的背景下对其进行审查。广义反向传播将传输的学习信号扩展到随机节点之间的梯度之外，同时保留通过确定性节点反向传播梯度的益处。实验的建议和关注点，以帮助设计和测试任何特定的模型使用这个框架。
2019-01-08 cs.AI cs.LG stat.ML
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了使用自适应随机搜索作为构建块的深度神经网络架构内的一般，非凸优化操作。具体而言，对于位于网络中的某层并由某些网络参数参数化的目标函数，我们采用自适应随机搜索对其输出进行优化。这种操作是可微的，并且在反向传播过程中不会阻碍梯度的传递，因此使我们能够将其作为端到端学习的一个组件。我们研究了建议的优化模块的属性和基准，它对现有的两种替代品的合成能量为基础的结构化预测任务，并进一步展示其在随机最优控制应用。
2021-04-01 cs.LG cs.SY eess.SY
The Golden Ratio of Learning and Momentum
National Library of Medicine（国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）
梯度下降一直是人工神经网络从早期开始到今天的深度学习网络的核心训练原则。最常见的实现是用于以监督方式训练前馈神经网络的反向传播算法。反向传播涉及计算损失函数相对于网络权重的梯度，以更新权重，从而使损失最小化。虽然均方误差经常被用作损失函数，但一般的随机梯度下降原理并不直接与特定的损失函数联系起来。反向传播的另一个缺点是搜索两个重要的训练参数的最佳值，学习率和动量权重，这在大多数系统中是凭经验确定的。学习率指定了当跟随梯度时朝向损失函数的最小值的步长，而动量权重在更新当前权重时考虑先前的权重变化。将这两个参数结合使用通常被认为是改进训练的一种手段，尽管它们的具体值并不直接来自标准的反向传播理论。本文提出了一种新的信息理论损失函数的神经信号处理的突触。新的损失函数隐含了特定的学习率和动量权重，从而导致在实践中经常使用的经验参数。所提出的框架还提供了一个更正式的解释的动量项和它的平滑效果的训练过程。所有的结果都表明损失、学习率和动量是紧密相连的。为了支持这些理论研究结果，手写数字识别的实验表明，建议的损失函数和训练参数的实用性。
2020-06-08 cs.LG cs.NE stat.ML
Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
Rochester Institute of Technology（罗切斯特理工学院）；University of Kentucky（肯塔基大学）；The Ohio State University（俄亥俄州立大学）
针对多目标优化中梯度操控方法训练时间长的问题，提出周期随机多梯度下降算法，周期计算并复用动态权重以降低计算开销，在多种函数上达到最先进收敛速率，并显著减少训练时间。
2024-12-17 cs.AI cs.LG
Learning with Local Gradients at the Edge
为了实现在边缘设备上快速收敛和低内存的学习，我们提出了一种新的无反向传播优化算法，称为目标投影随机梯度下降（tpSGD）。tpSGD将直接随机目标投影推广到任意损失函数，并将目标投影扩展到训练递归神经网络（RNN）以及前馈网络。tpSGD使用逐层随机梯度下降（SGD）和通过标签的随机投影生成的局部目标，仅通过向前传递逐层训练网络。tpSGD不需要在优化过程中保留梯度，与SGD反向传播（BP）方法相比，大大减少了内存分配，后者需要整个神经网络权重、输入/输出和中间结果的多个实例。我们的方法在完全连接层、卷积层和递归层的相对较浅的网络上，在5%的准确度内执行了BP到BP的梯度下降。tpSGD在由多层感知器、卷积神经网络（CNN）和RNN组成的浅层模型中的性能也优于其他最先进的无梯度算法，具有竞争力的准确性和更少的内存和时间。我们评估了tpSGD在训练深度神经网络（例如VGG）方面的性能，并将该方法扩展到多层RNN。这些实验突出了与优化的基于层的适配器训练相关的新研究方向，用于在边缘使用tpSGD进行域转移。
2022-09-16 cs.AI cs.LG
Pushing Stochastic Gradient towards Second-Order Methods -- Backpropagation Learning with Transformations in Nonlinearities
Aalto University School of Science（阿尔托大学理学院）；New York University（纽约大学）
最近，我们提出将多层感知器网络中每个隐藏神经元的输出转换为平均零输出和零斜率，并使用单独的快捷连接来建模线性依赖关系。我们继续工作，首先引入第三个变换来规范化每个隐藏神经元的输出规模，其次通过分析连接到二阶优化方法。我们表明，变换使一个简单的随机梯度的行为更接近二阶优化方法，从而加快学习。这在理论和实验中都得到了证实。对第三种变换的实验表明，虽然它进一步提高了学习速度，但它也会收敛到更差的局部最优值，从而损害性能，其中许多隐藏神经元的输入和输出都接近于零。
2013-03-11 cs.CV cs.LG stat.ML
Stochastic Backpropagation and Approximate Inference in Deep Generative Models
Google DeepMind（谷歌DeepMind）
我们将深度神经网络和近似贝叶斯推断的思想结合起来，导出了一类广义的深度定向生成模型，并赋予了一种新的可扩展推理和学习算法。我们的算法引入了一个识别模型来表示近似的后验分布，并作为一个随机编码器的数据。我们开发随机反向传播-通过随机变量反向传播的规则-并使用它来开发一种算法，该算法允许联合优化生成和识别模型的参数。我们证明了几个真实世界的数据集，该模型生成逼真的样本，提供准确的插补的缺失数据，是一个有用的工具，高维数据可视化。
2014-05-30 cs.AI cs.LG stat.CO
On The Verification of Neural ODEs with Stochastic Guarantees
我们表明，神经常微分方程，一类新兴的时间连续神经网络，可以通过解决一组全局优化问题进行验证。为此，我们引入随机拉格朗日可达性（SLR），一种基于抽象的技术，用于构建一个紧密的Reachtube（在给定的时间范围内的一组可达状态的过度近似），并提供随机保证的形式的置信区间的Reachtube边界。SLR本质上避免了臭名昭著的包装效应（过度近似误差的积累），通过执行局部优化步骤来扩展安全区域，而不是像确定性可达性方法那样重复向前传播它们。为了实现快速局部优化，我们引入了一种新的前向模式伴随灵敏度方法来计算梯度，而无需反向传播。最后，我们建立了SLR的渐近和非渐近收敛速度。
2020-12-16 cs.LG cs.NE cs.SY
Imitating Deep Learning Dynamics via Locally Elastic Stochastic Differential Equations
University of Pennsylvania（宾夕法尼亚大学）
理解深度学习模型的训练动态可能是揭开这些模型有效性神秘面纱的必要一步。特别是，当使用随机梯度下降训练神经网络时，来自不同类别的数据如何在其特征空间中逐渐变得可分离？在这项研究中，我们使用一组随机微分方程（SDEs）来模拟深度学习训练期间特征的演变，每个随机微分方程对应于一个训练样本。作为我们建模策略中的一个重要组成部分，每个样本都包含一个漂移项，反映了输入端的反向传播对所有样本特征的影响。我们的主要发现揭示了关于类内影响的急剧相变现象：如果SDEs在某种意义上是局部弹性的，即对与输入相同的类的样本的影响更显著，则训练数据的特征变得线性可分离，这意味着训练损失消失;否则，无论训练时间多长，特征都不可分离。此外，在局部弹性的存在下，我们的SDES的分析表明，出现了一个简单的几何结构，称为神经崩溃的功能。总之，我们的研究结果揭示了局部弹性在神经网络的训练动力学中的决定性作用。我们证实了我们的理论分析与实验的合成数据集的几何形状和CIFAR-10。
2021-10-11 cs.CV cs.LG stat.ML
Training Deep Gaussian Processes using Stochastic Expectation Propagation and Probabilistic Backpropagation
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是概率和非参数的，因此可以说是更灵活的，具有更大的概括能力，并提供更好的校准不确定性估计比替代的深度模型。本文的重点是这些网络的可扩展近似贝叶斯学习。本文开发了一种新的和有效的扩展概率反向传播，一个国家的最先进的方法训练贝叶斯神经网络，可用于训练DGP。新方法利用了最近提出的一种扩展期望传播的方法，称为随机期望传播。该方法能够自动发现有用的输入变形、扩展或压缩，因此是贝叶斯核设计的一种灵活形式。我们在几个真实世界的数据集上展示了监督学习的新方法的成功，表明它通常优于GP回归，并且永远不会更差。
2015-11-11 stat.ML
Decoupled Parallel Backpropagation with Convergence Guarantee
University of Pittsburgh（匹兹堡大学）
反向传播算法是前向神经网络训练中必不可少的算法。它需要将误差梯度从输出层顺序地一直传播回输入层。反向传播算法中的反向锁定限制了我们并行更新网络层和充分利用计算资源。最近，已经提出了几种算法来打破反向锁定。然而，当网络深度较大时，它们的性能会严重下降。在本文中，我们提出了具有收敛保证的深度学习优化的解耦并行反向传播算法。首先，我们使用延迟梯度解耦反向传播算法，并表明当我们将网络分成多个模块时，反向锁定被移除。然后，我们利用解耦并行反向传播在两个随机方法，并证明我们的方法保证收敛到临界点的非凸问题。最后，我们在基准数据集上进行了训练深度卷积神经网络的实验。实验结果不仅证实了我们的理论分析，而且还表明，该方法可以实现显着的加速而不损失的准确性。
2018-07-21 cs.LG stat.ML
Practical Riemannian Neural Networks
我们提供了[Ollivier，2015]中引入的神经网络的准对角黎曼梯度下降的非合成数据集的第一个实验结果。这些数据包括MNIST、SVHN和FACE数据集以及以前未发表的脑电图数据集。准对角黎曼算法始终击败简单的随机梯度梯度下降的变化幅度。相对于简单反向传播的计算开销约为因子$2$。也许更有趣的是，这些方法也可以快速达到最终性能，因此需要更少的训练时间和更少的总计算时间。我们还提出了一个实现指南，这些黎曼梯度下降的神经网络，显示如何准对角版本可以实现最小的努力，现有的例程计算梯度。
2016-02-25 cs.LG cs.NE stat.ML
StochEP: Stochastic Equilibrium Propagation for Spiking Convergent Recurrent Neural Networks
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University Park（大学公园）；PA 16802, USA（宾夕法尼亚州16802, 美国）
针对现有均衡传播框架训练脉冲神经网络存在的缺陷，本文提出融合概率脉冲神经元的随机EP框架StochEP，可稳定训练深度脉冲CRNN，在视觉基准上性能接近主流方法且保留学习局部性。
2025-11-14 cs.ET cs.LG
L4-Norm Weight Adjustments for Converted Spiking Neural Networks
Brigham Young University–Idaho（爱达荷州杨百翰大学）；Purdue University（普渡大学）
脉冲神经网络（SNN）由于其稀疏的、事件驱动的计算而被探索用于其潜在的能量效率益处。非尖峰人工神经网络通常使用反向传播用随机梯度下降来训练。脉冲神经网络中反向传播的真实梯度的计算受到脉冲神经元的不可微放电事件的阻碍。另一方面，使用近似梯度是有效的，但在许多时间步长上计算昂贵。因此，用于训练脉冲神经网络的一种常见技术是训练拓扑等效的非尖峰网络，然后将其转换为尖峰网络，用比例速率编码的泊松尖峰序列替换实值输入。转换后的SNN功能足够好，因为尖峰发放神经元的平均预激发膜电位与输入速率向量和神经元权重向量的点积成比例，类似于非尖峰发放网络的功能。然而，该转换仅考虑膜电位的平均值而不是时间方差。由于预激发膜电位的标准差与神经元权向量的L4范数成正比，为了提高转换后网络的分类精度，我们提出了一种基于L4范数的神经元权向量调整方法。
2021-11-17 cs.LG cs.NE
Provable Multi-instance Deep AUC Maximization with Stochastic Pooling
University of Iowa（爱荷华大学）；Texas A&M University（德克萨斯农工大学）；Beijing Institute of Ophthalmology（北京眼科研究所）；Beijing Tongren Hospital（北京同仁医院）；Capital Medical University（首都医科大学）
针对多示例学习中包过大导致标准池化难以进行 GPU 反向传播的问题，本文提出带随机平滑最大或注意力池化的可证 MIDAM 算法，并验证其收敛性与性能优势。
2023-06-06 cs.AI cs.LG
Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
1963年，Polyak提出了一个简单的条件，足以证明梯度下降的全局线性收敛速度。这个条件是同年提出的Jasojasiewicz不等式的一个特例，它不需要强凸性（甚至不需要凸性）。在这项工作中，我们表明，这个更古老的Polyak-Jasojasiewicz（PL）不等式实际上比过去25年中已经探索的显示线性收敛速度而没有强凸性的主要条件更弱。我们还使用PL不等式给出新的分析随机和贪婪的坐标下降方法，基于符号的梯度下降方法，和随机梯度方法在经典的设置（减少或不变的步长），以及方差减少设置。我们进一步提出了一个推广，适用于非光滑优化的近似梯度方法，导致这些方法的线性收敛的简单证明。在此过程中，我们给出了机器学习中各种问题的简单收敛结果：最小二乘法，逻辑回归，boosting，弹性反向传播，L1正则化，支持向量机，随机对偶坐标上升和随机方差缩减梯度方法。
2020-09-12 cs.LG math.OC stat.CO
Stochastic Average Gradient : A Simple Empirical Investigation
Université de Montréal（蒙特利尔大学）
本文对比了随机平均梯度（SAG）与标准优化器，并提出SAG与动量及Adam的组合，在简单问题和病态条件下均展现出更快的收敛速度和更优性能。
2023-07-27 cs.LG math.OC
An Efficient Approach to Boosting Performance of Deep Spiking Network Training
Seoul National University（首尔国立大学）；Stanford University（斯坦福大学）
如今，深度学习在机器学习领域占据主导地位，在各个应用领域具有最先进的性能。最近，脉冲神经网络（SNN）已经吸引了大量的关注，特别是由于它们的功率效率，这可能使我们能够实现适合实时/移动应用的低功耗深度学习引擎。然而，实现基于SNN的深度学习仍然具有挑战性，特别是通过误差反向传播对SNN进行基于梯度的训练。我们不能简单地传播错误，通过SNN在传统的方式，因为SNN的属性，处理离散数据的一系列的形式。因此，大多数以前的研究采用了一种变通方法，即首先训练传统的加权和深度神经网络，然后将学习权重映射到训练中的SNN，而不是直接训练SNN参数。为了消除这种解决方案，最近提出了一类新的SNN，称为深度尖峰网络（DSN），它可以通过随机梯度下降的误差反向传播直接训练（无需传统深度网络的映射）。在本文中，我们通过在各种条件下进行的各种实验表明，反向路径上的膜电位的初始化是DSN训练中的重要步骤。此外，我们提出了一种简单有效的方法，可以通过控制反向路径上的初始膜电位来改善DSN训练。在我们的实验中，采用所提出的方法可以提高DSN训练在收敛时间和准确性方面的性能。
2019-02-27 cs.LG cs.NE
Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度神经网络是成功的，但计算成本很高的学习系统。时间和能量消耗的主要来源之一是众所周知的反向传播（backprop）算法，其大致占训练的计算复杂性的2/3。在这项工作中，我们提出了一种方法，以减少计算成本的backprop，我们命名为抖动backprop。它包括将随机量化方案应用于该方法的中间结果。特定的量化方案，称为非减法抖动（NSD），诱导稀疏性，可以利用计算有效的稀疏矩阵乘法。在流行的图像分类任务上的实验表明，与最先进的方法相比，它在广泛的模型集合中平均产生92%的稀疏性，而准确性没有下降或可以忽略不计，从而显着降低了向后传递的计算复杂性。此外，我们证明了我们的方法与最先进的训练方法完全兼容，这些方法将训练的位精度降低到8位，因此能够进一步降低计算要求。最后，我们讨论并展示了在分布式训练环境中应用抖动反向传播的潜在好处，其中通信和计算效率都可以随着参与节点的数量同时增加。
2020-04-16 cs.LG stat.ML
Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods
University of California, Irvine（加州大学欧文分校）
训练神经网络是一个具有挑战性的非凸优化问题，反向传播或梯度下降可能会陷入虚假的局部最优。提出了一种基于张量分解的双层神经网络保证训练算法。我们为我们提出的方法提供了风险界，在相关参数中具有多项式样本复杂度，例如输入维度和神经元数量。虽然学习任意目标函数是NP难的，但我们为可学习性提供了函数和输入的透明条件。我们的训练方法是基于张量分解，可证明收敛到全局最优，在一组温和的非退化条件。它由简单的并行线性和多线性运算组成，在计算复杂性方面与标准随机梯度下降（SGD）具有竞争力。因此，我们提出了一种计算效率高的方法，保证风险界的训练神经网络与一个隐藏层。
2016-01-12 cs.LG cs.NE stat.ML
Training Neural Networks with Optimal Double-Bayesian Learning
Lister Hill National Center for Biomedical Communications, National Library of Medicine National Institutes of Health（利斯特希尔国家生物医学通讯中心、国家医学图书馆国家卫生研究院）
本文提出了一种新的概率框架，用于学习率这一关键参数，通过双贝叶斯决策机制改进随机梯度下降，从而推导出理论上最优的学习率，并在多种任务中验证其有效性。
2026-05-19 cs.AI cs.LG cs.NE
Learning Pair Potentials using Differentiable Simulations
Massachusetts Institute of Technology（麻省理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
从实验或模拟数据中学习对相互作用对于分子模拟具有极大的兴趣。我们提出了一个一般的随机方法学习对相互作用的数据，使用微分模拟（DiffSim）。DiffSim通过分子动力学（MD）模拟定义了基于结构可观测量的损失函数，例如径向分布函数。然后通过随机梯度下降直接学习相互作用势，使用反向传播来计算结构损失度量相对于通过MD模拟的相互作用势的梯度。这种基于梯度的方法非常灵活，可以配置为同时模拟和优化多个系统。例如，可以同时学习不同温度或不同成分的电位。我们证明了恢复简单的对电位，如Lennard-Jones系统，从径向分布函数的方法。我们发现，DiffSim可以用来探测更广泛的功能空间的对电位相比，传统的方法，如迭代玻尔兹曼反演。我们表明，我们的方法可以用来同时适合在不同的组合物和温度下的模拟电位，以提高学习电位的可转移性。
2022-09-16 cs.LG physics.chem-ph physics.comp-ph
Agnostic Physics-Driven Deep Learning
ETH Zurich（苏黎世联邦理工学院）；Mila（米拉人工智能研究所）；University of Montreal（蒙特利尔大学）；Facebook A.I. Research（脸书人工智能研究院）
这项工作确定了一个物理系统可以在没有梯度计算的情况下进行统计学习，通过一个不可知的平衡传播（Aeqprop）过程，该过程结合了能量最小化，稳态控制和对正确响应的轻推。在Aeqprop中，系统的细节不必知道：该过程仅基于外部操作，并产生随机梯度下降而无需显式梯度计算。由于轻推，系统为每个训练样本执行一个真正的一阶梯度步骤，与零阶方法（如强化或进化策略）相比，这些方法依赖于试错法。这一过程大大拓宽了统计学习的潜在硬件的范围，任何系统具有足够的可控参数，即使系统的细节知之甚少。Aeqprop还确定，在自然（生物）物理系统中，真正的基于梯度的统计学习可能来自通用的，相对简单的机制，而无需反向传播及其对偏导数分析知识的要求。
2022-05-30 cs.LG
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr
Baidu Research（百度研究院）；University of Macau（澳门大学）
使用预训练模型微调深度卷积神经网络（CNN）有助于将从较大数据集学习的知识转移到目标任务。虽然即使当训练数据集很小时，准确性也可以大大提高，但迁移学习结果通常受到具有接近CNN权重的预训练模型的约束（Liu et al.，2019），因为这里的反向传播为更深的CNN层带来了更小的更新。在这项工作中，我们提出了RIFLE -一个简单而有效的策略，加深反向传播迁移学习设置，通过定期重新初始化全连接层与随机划痕在微调过程中。RIFLE为深层CNN层的权重带来了有意义的更新，并改进了低级特征学习，而随机化的效果可以在整个学习过程中轻松收敛。实验表明，使用RIFLE显著提高了深度迁移学习在广泛数据集上的准确性，在相同设置下，测试准确率提高0.5%-2%，优于用于类似目的的已知技巧，如Dropout，DropConnect，StochasticDepth，Disturb Label和Cyclic学习率。经验案例和消融研究进一步表明，RIFLE为深层CNN层带来了有意义的更新，提高了准确性。
2020-07-07 cs.CV cs.LG stat.ML
A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University（博伊西州立大学）；University of Delaware（特拉华大学）
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长，需要能够以节能方式（在边缘）实现的深度学习方法。在这项工作中，我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性（STDP）的无监督学习技术，从尖峰输入数据中提取特征。梯度下降（反向传播）仅用于输出层，以执行分类训练。与其他方法相比，平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降（SGD）近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
High-Dimensional Learning Dynamics of Quantized Models with Straight-Through Estimator
Fujitsu Limited & RIKEN center for AIP（富士通株式会社及RIKEN先进理工研究所）；The University of Tokyo（东京大学）；Ochanomizu University & RIKEN center for AIP（大仙大学及RIKEN先进理工研究所）
本文从理论上研究了使用直通估计器（STE）的量化神经网络在高维极限下的学习动力学，证明了其收敛于确定性常微分方程，揭示了量化范围对泛化误差平台期的影响，并量化了与未量化模型的渐近偏差。
2025-10-12 cond-mat.dis-nn cs.AI cs.LG
Unbiased Online Recurrent Optimization
新的无偏在线递归优化（UORO）算法允许在线学习一般的递归计算图，如递归网络模型。它以流式方式工作，避免了通过过去的激活和输入进行回溯。UORO在计算上与截断反向传播时间（截断BPTT）一样昂贵，截断BPTT是递归网络的在线学习的一种广泛算法。UORO是NoBackTrack的一个修改，它绕过了对模型稀疏性的需求，并使当前深度学习框架中的实现变得容易，即使是复杂的模型。像NoBackTrack一样，UORO提供无偏梯度估计;无偏性是随机梯度下降理论的核心假设，没有它就不能保证收敛到局部最优。相反，截短的BPTT不提供这种性质，导致可能的分歧。在截断BPTT发散的合成任务中，UORO收敛。例如，当一个参数有一个积极的短期，但长期的负面影响，截断BPTT发散，除非截断跨度是非常显着长于内在的时间范围的相互作用，而UORO表现良好，由于其梯度的无偏性。
2017-05-23 cs.LG cs.NE
ADMM-Based Training for Spiking Neural Networks
Department of Information Engineering (DEI), University of Padova, Italy（帕多瓦大学信息工程系）；Department of Information Engineering (DII), University of Brescia, Italy（布雷西亚大学信息工程系）；Department of Methematics ``Tullio-Levi Civita'', University of Padova, Italy（帕多瓦大学数学系）
本文提出基于ADMM的SNN训练方法，解决步骤函数非可导问题，通过迭代优化提升训练效率与可扩展性。
2026-01-18 cs.AI cs.LG cs.NE
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
A Bregman Learning Framework for Sparse Neural Networks
Hausdorff Center for Mathematics（豪斯多夫数学中心）；University of Bonn（波恩大学）；Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们提出了一个学习框架的基础上随机Bregman迭代，也被称为镜像下降，训练稀疏神经网络与逆尺度空间的方法。我们推导出一个基线算法，称为LinBreg，使用动量的加速版本，和AdaBreg，这是一个Bregmanized推广的亚当算法。与已建立的稀疏训练方法相比，所提出的算法家族构成了神经网络的再生策略，该策略仅基于优化而不需要额外的算法。我们的Bregman学习框架从很少的初始参数开始训练，然后只添加重要的参数，以获得稀疏和表达性强的网络。所提出的方法是非常简单和有效的，但支持的逆尺度空间方法的丰富的数学理论。我们推导出一个统计意义深远的稀疏参数初始化策略，并提供了严格的随机收敛性分析的损失衰减和额外的收敛性证明凸政权。仅使用ResNet-18的3.4%参数，我们就在CIFAR-10上实现了90.2%的测试准确率，而使用密集网络的准确率为93.6%。我们的算法还推出了一个自动编码器架构的去噪任务。所提出的框架还具有整合稀疏反向传播和资源友好型训练的巨大潜力。
2022-02-17 cs.LG cs.NA math.NA
Scaling of hardware-compatible perturbative training algorithms
National Institute of Standards and Technology（美国国家标准与技术研究院）；Department of Physics, University of Colorado（科罗拉多大学物理系）
本研究提出多路复用梯度下降（MGD）这一硬件兼容的扰动零阶训练方法，扩展了权重与节点扰动框架，发现其达到目标精度的时间不随网络规模线性增加，且能与动量等优化加速器兼容，为神经形态计算系统提供了实用解决方案。
2025-01-26 cs.LG cs.NE math.OC
KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey
University of Waterloo（滑铁卢大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Statistics and Actuarial Science（统计与精算科学系）；David R. Cheriton School of Computer Science（大卫·R·谢里顿计算机科学学院）；Centre for Pattern Analysis and Machine Intelligence（模式分析与机器智能中心）；Machine Learning Laboratory（机器学习实验室）；Data Analytics Laboratory（数据分析实验室）
这是一篇关于Karush-Kuhn-Tucker（KKT）条件、一阶和二阶数值优化以及分布式优化的教程和综述论文。在简要回顾了最优化的历史之后，我们从集合、范数、函数和最优化概念的性质开始。然后介绍了最优化问题、标准最优化问题（包括线性规划、二次规划和半定规划）和凸问题。我们还介绍了一些技术，如消除不等式，等式和集合约束，添加松弛变量，epigraph形式。介绍了拉格朗日函数、对偶变量、KKT条件（包括原始可行性、对偶可行性、弱对偶性、强对偶性、互补松弛性和平稳性条件）以及用拉格朗日乘子法求解最优化问题。然后，我们涵盖了一阶优化，包括梯度下降，线搜索，收敛的梯度法，动量，最速下降，和反向传播。介绍了加速梯度法、随机梯度下降法、小批量梯度下降法、随机平均梯度法、随机方差约简梯度法、AdaGrad、RMSProp和Adam优化器、近似方法等一阶方法（包括邻近标测、邻近点法和邻近梯度法）和约束梯度法（包括投影梯度法、凸集投影法和Frank-Wolfe法）。我们还介绍了非光滑和$\ell_1$最优化方法，包括套索正则化，凸共轭，Huber函数，软阈值，坐标下降和次梯度方法。然后，我们解释二阶方法，包括牛顿法无约束，等式约束和不等式约束问题。
2021-10-05 cs.DC cs.LG cs.NA
Exact Stochastic Second Order Deep Learning
Directed Energy Research Centre（定向能研究中心）；Technology Innovation Institute（技术创新研究院）
深度学习中的优化主要由围绕反向传播的中心概念构建的一阶方法主导。考虑二阶导数的二阶优化方法尽管具有优越的理论性质，但使用得很少。二阶方法的这种不足源于其过高的计算成本、糟糕的性能以及深度学习不可避免的非凸性。为了解决二阶优化的不足，人们进行了几次尝试，但没有得到一个具有成本效益的解决方案，更不用说精确的解决方案了。在这项工作中，我们证明了深度学习中这个长期存在的问题可以在随机情况下得到解决，只要神经网络得到适当的正则化。有趣的是，我们提供了一个表达式的随机海森和它的确切特征值。我们提供了一个封闭形式的公式，精确的随机二阶牛顿方向，我们解决了非凸性问题，并调整我们的精确解，有利于平坦的最小值，通过正则化和谱调整。我们在流行的数据集上测试了我们的精确随机二阶方法，并揭示了它对深度学习的充分性。
2021-04-08 cs.LG stat.ML
Total stochastic gradient algorithms and applications in reinforcement learning
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
反向传播和导数的链式法则已经很突出;然而，全导数法则并没有得到同样的关注。在这项工作中，我们将展示如何总导数规则导致一个直观的视觉框架，用于创建图形模型上的梯度估计。特别是，以前的“策略梯度定理”很容易推导。我们基于密度估计以及似然比梯度推导出新的梯度估计量，该梯度“跳”到中间结点，而不是直接跳到目标函数。我们评估我们的方法基于模型的策略梯度算法，取得了良好的性能，并提出了证据对大众PILCO算法的成功。
2019-02-05 cs.AI cs.LG cs.NE
Diffusion-DFL: Decision-focused Diffusion Models for Stochastic Optimization
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）
针对现有决策聚焦学习方法难以捕捉环境随机性的问题，提出首个基于扩散的DFL方法，利用重参数化技巧实现端到端训练，并设计轻量级分数函数估计器降低计算开销，在决策质量上显著优于强基线。
2025-10-13 cs.LG stat.ML
Trajectory Flow Matching with Applications to Clinical Time Series Modeling
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Yale School of Medicine（耶鲁医学院）；School of Clinical Medicine, University of Cambridge（剑桥大学临床医学院）；Université de Montréal（蒙特利尔大学）；CIFAR（加拿大高级研究院）
本文提出轨迹流匹配（TFM）方法，以无仿真方式训练神经常微分方程，避免通过动力学反向传播，从而提升训练稳定性和可扩展性，并在三个临床时间序列数据集上取得更优的性能和不确定性预测。
2025-02-04 cs.AI cs.LG stat.ML
Rare Event Analysis via Stochastic Optimal Control
Microsoft Research New England（微软研究院新英格兰分部）；Cornell University（康奈尔大学）；University of Cambridge（剑桥大学）；Courant Institute of Mathematical Sciences, NYU（纽约大学Courant数学科学研究所）
提出将稀有事件分析中的committor函数估计转化为随机最优控制问题，通过反馈控制引导轨迹采样，并开发两种损失函数及处理亚稳态的方法，在基准系统上获得更准确的结果。
2026-07-14 cs.LG math.OC physics.chem-ph
Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出一种无需梯度评估的生成模型采样方法，通过高频抖动余弦替代分数项，实现能量基和扩散模型的采样，适用于黑盒时变目标的潜空间场景。
2026-10-06 cs.LG math.OC stat.CO
