You Only Look One Step: Accelerating Backpropagation in Diffusion Sampling with Gradient Shortcuts
School of Astronautics, Beihang University(北航航天学院);Defense Innovation Institute, Chinese Academy of Military Science(国防创新研究院,中国军事科学院);Institute of Artificial Intelligence, Beihang University(北航人工智能学院);Beijing Zhongguancun Academy(中关村学院)
针对扩散模型生成中全链路反向传播成本高的问题,本文提出 SDO,仅保留单步计算图传播梯度,可优化各类采样参数,成本降低约90%且性能更优。
2025-05-12 cs.CV cs.LG
Belief propagation generalizes backpropagation
人工智能中最重要的两种算法是反向传播和置信度传播。尽管它们很重要,但它们之间的联系却没有得到很好的描述。我们发现,当输入到反向传播转换成一个输入到信念传播,使(循环)信念传播可以运行它,然后信念传播的结果编码的结果反向传播,从而反向传播恢复作为一个特殊的情况下,信念传播。换句话说,我们显然是第一次证明,信念传播推广反向传播。我们的分析是一种理论贡献,我们希望它可以调和我们对这些算法的理解,并为工程研究人员提供指导,以改善使用其中一种算法的系统的行为。
2022-10-02 cs.AI cs.LG stat.ML
Equilibrium Propagation for Learning in Lagrangian Dynamical Systems
Laboratoire d’Information Quantique CP224, Universit\'e libre de Bruxelles (ULB), Av. F. D. Roosevelt 50, 1050 Bruxelles, Belgium
本文将平衡传播扩展到拉格朗日动力系统,通过作用量极值化和轨迹微扰实现无需时间反向传播的高效参数训练,并给出其与量子平衡传播的联系。
2025-07-18 cs.LG nlin.CD physics.data-an
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten(肯普滕应用科学大学)
这项工作结合了卷积神经网络(CNN),通过自组织映射(SOM)和Hebbian学习进行聚类,提出了卷积自组织神经网络(CSNN)的构建模块,它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层,并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码,以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示,实现了与许多使用反向传播的方法相当的性能,同时我们在Cifar10上达到了相当的性能,并在Cifar100,Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation
Hahn-Schickard(哈恩-施卡德机构);Technical University of Munich(慕尼黑工业大学)
本研究提出面向低功耗微控制器的端侧训练算法TinyPropv2,通过动态调整稀疏度的稀疏反向传播降低计算量,在多数据集上精度降幅约1%,计算量最低仅为全量训练的10%,优于其他稀疏训练方法,适用于物联网嵌入式设备。
2024-09-11 cs.AI cs.LG
Equivalence of Equilibrium Propagation and Recurrent Backpropagation
MILA, Université de Montréal(蒙特利尔大学MILA)
循环反向传播和平衡传播是定点循环神经网络的监督学习算法,它们在第二阶段有所不同。在第一阶段,两种算法收敛到一个固定点,该点对应于进行预测的配置。在第二阶段,平衡传播松弛到对应于较小预测误差的另一个附近的固定点,而递归反向传播使用侧网络迭代计算误差导数。在这项工作中,我们建立了这两个算法之间的密切联系。我们表明,在第二阶段的每一个时刻,在平衡传播的神经活动的时间导数等于在侧网络中通过递归反向传播迭代计算的误差导数。这项工作表明,它是不需要有一个侧网络的计算误差衍生物,并支持的假设,在生物神经网络,时间衍生物的神经活动可能代码的错误信号。
2018-05-22 cs.LG
Backprop Evolution
TU Berlin(柏林工业大学);Google Brain(谷歌大脑)
反向传播算法是深度学习的基石。尽管它的重要性,一些变化的算法已被尝试。这项工作提出了一种方法来发现新的变化的反向传播方程。我们使用一个特定领域的语言来描述更新方程作为一个原始函数的列表。一种基于进化的方法被用来发现新的传播规则,最大限度地提高泛化性能后,几个时代的训练。我们发现几个更新方程,可以训练更快,训练时间短,比标准的反向传播,并执行类似的标准反向传播收敛。
2018-08-08 cs.LG cs.NE stat.ML
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms
本研究挑战了反向传播不可或缺的假设,证明无反向传播的Mono-Forward算法在MLP架构上分类准确率超越BP基线,且能耗降低41%、训练加速34%,是替代BP的高性能可持续方案。
2026-10-14 cs.AI cs.LG
Deep Residual Compensation Convolutional Network without Backpropagation
University of York(约克大学);Taif University(塔伊夫大学)
PCANet及其变体为分类任务提供了良好的准确性结果。然而,尽管网络深度在实现良好的分类精度方面很重要,但这些网络最多训练了9层。在本文中,我们介绍了一种残差补偿卷积网络,这是第一个用数百层训练的PCANet类网络,同时提高了分类精度。所提出的网络的设计由几个卷积层组成,每个卷积层后面都有后处理步骤和分类器。为了纠正分类错误并显着增加网络的深度,我们用来自所有先前层的剩余信息的新标签训练每一层。这种学习机制是通过在单个前向传递中遍历网络的层来实现的,而无需反向传播或梯度计算。我们在四个不同的分类基准(MNIST,CIFAR-10,CIFAR-100和TinyImageNet)上的实验表明,我们的深度网络优于所有现有的PCANet类网络,并且与几个传统的基于梯度的模型竞争。
2023-01-27 cs.CV cs.LG
Accelerating Deep Learning by Focusing on the Biggest Losers
Google Brain(谷歌大脑);BrdgAI
本文介绍了Selective-Backprop,这是一种通过在每次迭代中优先考虑高损失的示例来加速深度神经网络(DNN)训练的技术。Selective-Backprop使用训练示例的前向传递的输出来决定是否使用该示例来计算梯度和更新参数,或者立即跳到下一个示例。通过减少计算昂贵的反向传播步骤的数量,Selective-Backprop加速了训练。对CIFAR 10、CIFAR 100和SVHN在各种现代图像模型上的评估表明,选择性反向传播收敛到目标出错率的速度比标准SGD快3.5倍,比最先进的重要性采样方法快1.02- 1.8倍。通过使用过时的前向传递结果进行选择,可以实现26%的进一步加速,从而也跳过低优先级示例的前向传递。
2019-10-02 cs.LG stat.ML
Direct Training via Backpropagation for Ultra-low Latency Spiking Neural Networks with Multi-threshold
School of Microelectronics, Xidian University(西安电子科技大学微电子学院);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
脉冲神经网络(SNN)可以利用时空信息并具有能量效率的性质,这是深度神经网络(DNN)的良好替代方案。事件驱动的信息处理使得SNN可以减少DNN昂贵的计算量,节省大量的能量消耗。然而,高训练和推理延迟是更深SNN开发的限制。SNN在训练和推理过程中通常需要几十甚至几百个时间步长,这不仅增加了延迟,而且浪费了能量消耗。为了克服这个问题,我们提出了一种新的训练方法,基于反向传播(BP)的超低延迟(1-2个时间步长)SNN多阈值。为了增加每个锋电位的信息容量,我们引入了多阈值Leaky Integrate and Fired(LIF)模型。在我们提出的训练方法中,我们提出了三个近似导数的尖峰活动,以解决问题的不可微的问题,造成困难的直接训练SNNs的基础上BP。实验结果表明,我们提出的方法实现了平均准确率为99.56%,93.08%,和87.90%的MNIST,FashionMNIST,和CIFAR 10,分别只有2个时间步长。对于CIFAR 10数据集,我们提出的方法比以前报道的直接训练SNN的准确率提高了1.12%,时间步长更少。
2021-11-25 cs.LG cs.NE
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University(拉德堡德大学)
传统的误差反向传播,虽然是一个非常成功的算法,用于学习人工神经网络模型,包括功能,这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法,即使用自上而下的神经活动模型,将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后,这些目标可以用于生成用于网络训练的权重更新。然而,到目前为止,目标传播已经被证明是不等价的反向传播。在这里,我们推导出反向传播和目标传播(GAIT-道具)的修改形式之间的确切对应关系,其中目标是向前传递的小扰动。具体来说,当突触权重矩阵正交时,反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中,我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks
University of Alberta(阿尔伯塔大学)
梯度下降和反向传播使神经网络在许多现实世界的应用中取得了显着的成果。尽管不断取得成功,但用梯度下降训练神经网络可能是一件缓慢而费力的事情。我们提出了一种简单但更快的训练算法,称为零阶松弛反向传播(ZORB)。ZORB不计算梯度,而是使用目标的伪逆来反向传播信息。ZORB旨在减少训练深度神经网络所需的时间,而不会影响性能。为了说明速度的提高,我们在MNIST上训练了一个具有11层的前馈神经网络,并观察到ZORB的收敛速度比Adam快300倍,同时实现了相当的出错率,而无需任何超参数调整。我们还将ZORB的范围扩展到卷积神经网络,并将其应用于CIFAR-10数据集的子样本。对标准分类和回归基准的实验证明了ZORB相对于传统的带有梯度下降的反向传播的优势。
2020-11-17 cs.LG cs.NE stat.ML
Backpropagation-Free Trunk Training via the Split Forward Gradients
Lehigh University(莱维大学)
研究针对反向传播训练深度网络内存密集问题,提出Split-FG方法,在中间表示处拆分网络,精确计算输出头梯度,估计主干梯度,降低估计器方差,无需反向传播主干,在多个基准测试中取得较好结果并减少内存。
2026-07-21 cs.LG stat.ML
Backprop with Approximate Activations for Memory-efficient Network Training
Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
训练卷积神经网络模型是内存密集型的,因为反向传播需要存储所有中间层的激活。这在寻求在生产中部署非常深入的架构时提出了一个实际问题,特别是当模型需要在更新的数据集上频繁重新训练时。在本文中,我们提出了一种新的反向传播实现,通过使用计算成本可以忽略不计且对训练性能影响最小的近似值,可以显着减少内存使用。该算法重用公共缓冲区来临时存储完全激活并精确计算前向传递。它还存储激活的近似每层副本,显著节省内存,用于向后传递。与简单地近似标准反向传播中的激活相比,我们的方法限制了跨层误差的积累。这允许使用精度低得多的近似值,而不会影响训练精度。在CIFAR-10、CIFAR-100和ImageNet上的实验表明,我们的方法产生的性能接近精确训练,同时以低至4位的精度存储激活。
2019-10-28 cs.LG stat.ML
Backpropagation Clipping for Deep Learning with Differential Privacy
我们提出了反向传播裁剪,这是一种用于隐私保护深度学习的差分隐私随机梯度下降(DP-SGD)的新变体。我们的方法裁剪每个可训练层的输入(在向前传递期间)及其上游梯度(在向后传递期间),以确保层梯度的有界全局灵敏度;这种组合取代了现有DP-SGD变体中的梯度裁剪步骤。我们的方法很容易在现有的深度学习框架中实现。我们的实证评估的结果表明,反向传播裁剪提供了更高的准确性,在较低的值的隐私参数$ε$相比,以前的工作。我们使用$ε= 0.07$对MNIST的准确度达到98.7%,使用$ε= 3.64$对CIFAR-10的准确度达到74%。
2022-02-17 cs.LG
THDC: Training Hyperdimensional Computing Models with Backpropagation
Ghent University - Department of Information Technology(根特大学-信息科技系)
THDC通过反向传播实现端到端超维度计算,用可训练嵌入替代随机初始化向量,并引入单层二进制神经网络优化类别表示,从而在降低维度的同时提升准确率。
2026-01-27 cs.LG
Beyond backpropagation: bilevel optimization through implicit differentiation and equilibrium propagation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
本文综述了基于梯度的双层优化方法,重点介绍隐式微分与均衡传播两类方法的数学基础、梯度估计算法及其竞争优势。
2022-10-27 cs.LG math.OC
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University(康奈尔大学)
用于训练前馈神经网络的反向传递的实际算法是反向传播(BP)。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而,近年来,人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器(MLP)和卷积神经网络(CNN)中达到最先进的精度。在本文中,我们分析了MLP中预测和神经元的稳定性和相似性,并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation
Purdue University(普渡大学);Yale University(耶鲁大学)
脉冲神经网络(SNN)以异步离散事件(或脉冲)操作,这可能在神经形态硬件实现中导致更高的能量效率。许多工作已经表明,可以通过从训练的人工神经网络(ANN)复制权重并将每层的激发阈值设置为该层中接收的最大输入来形成用于推理的SNN。这些类型的转换SNN需要大量的时间步长来实现竞争性的准确性,这减少了能量节省。时间步长的数量可以通过从头开始使用基于尖峰的反向传播训练SNN来减少,但这在计算上是昂贵且缓慢的。为了解决这些挑战,我们提出了一种用于深度SNN的计算效率高的训练技术。我们提出了一种混合训练方法:1)采用转换后的SNN并使用其权重和阈值作为基于尖峰的反向传播的初始化步骤,以及2)在这个精心初始化的网络上执行增量尖峰定时相关反向传播(STDB),以获得在几个时期内收敛的SNN,并且需要更少的输入处理时间步长。STDB执行一个新的代理梯度函数定义使用神经元的尖峰时间。对于大多数标准图像分类数据集,所提出的训练方法在基于尖峰的反向传播的不到20个时期内收敛,从而与从头开始训练SNN相比大大降低了训练复杂度。我们在CIFAR-10,CIFAR-100和ImageNet数据集上为VGG和ResNet架构进行了实验。我们在SNN上使用250个时间步长实现了ImageNet数据集的65.19%的top-1准确率,与具有类似准确度的转换SNN相比,速度快了10倍。
2020-05-04 cs.CV cs.LG stat.ML
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University(普渡大学);Nanoelectronics Research Laboratory(纳米电子学研究实验室)
脉冲神经网络(SNN)正在探索其潜在的能源效率,从稀疏,事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络(SNN)的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是,触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数,以及传统的错误损失,导致反向传播学习算法,以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持,存在许多具有有效等效精度的解状态。因此,在该多目标优化过程中,在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外,我们还探索了一种模拟退火启发的损失加权技术,随着训练时间的增加,增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示,与仅针对准确性训练的等效SNN相比,具有等准确性的尖峰活动减少了70.1%,并且如果允许分类准确性降低1%的权衡,尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras(工程学院,印度理工学院马德拉斯分校);AI, Indian Institute of Technology, Madras(人工智能,印度理工学院马德拉斯分校)
本文提出Hopfield-Resnet架构,通过残差连接和裁剪ReLU激活函数,实现更深层次网络训练,提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Signal Propagation: A Framework for Learning and Inference In a Forward Pass
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个新的学习框架,信号传播(sigprop),传播学习信号和更新神经网络参数通过一个向前通过,作为一种替代反向传播。在sigprop中,只有推理和学习的前向路径。因此,除了推理模型本身之外,学习没有必要的结构或计算约束,例如反馈连接,权重传输或反向传递,这些都存在于基于反向传播的方法中。也就是说,sigprop支持全局监督学习,只有一个前向路径。这是层或模块并行训练的理想选择。在生物学中,这解释了没有反馈连接的神经元如何仍然可以接收全局学习信号。在硬件方面,这提供了一种用于全局监督学习而没有向后连接的方法。Sigprop通过构造与大脑和硬件中的学习模型具有兼容性,而不是反向传播,包括放松学习约束的替代方法。我们还证明了sigprop在时间和内存方面比它们更有效。为了进一步解释sigprop的行为,我们提供证据证明sigprop在反向传播的上下文中提供了有用的学习信号。为了进一步支持生物和硬件学习的相关性,我们使用sigprop来训练具有Hebbian更新的连续时间神经网络,并且仅用电压或用生物和硬件兼容的代理函数来训练脉冲神经网络。
2022-11-17 cs.LG cs.NE q-bio.NC
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras;Tesla(特斯拉);Cerebras Systems, Inc(Cerebras Systems 公司);Google(谷歌)
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发,探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中,我们评估使用小批量,细粒度的流水线反向传播,异步流水线并行训练算法,具有显着的硬件优势。我们介绍了两种方法,尖峰补偿和线性权重预测,有效地减轻了由流水线反向传播的并行性造成的缺点,并在我们的设置中优于现有技术。我们表明,适当的规范化和小批量也可以帮助训练。使用我们的方法,使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练,而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
The HSIC Bottleneck: Deep Learning without Back-Propagation
Victoria University(维多利亚大学)
我们引入了训练深度神经网络的HSIC(Hilbert-Schmidt独立准则)瓶颈。HSIC瓶颈是传统交叉熵损失和反向传播的替代方案,具有许多明显的优点。它减轻了爆炸和消失的梯度,从而能够在不跳过连接的情况下学习非常深的网络。不需要对称反馈或更新锁定。我们发现,HSIC瓶颈提供性能的MNIST/FashionMNIST/CIFAR 10分类与反向传播的交叉熵目标,即使系统不鼓励使输出类似的分类标签。使用SGD(没有反向传播)训练的单层来重新格式化信息,进一步提高了性能。
2019-12-05 cs.LG stat.ML
Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
National Institute of Standards and Technology(美国国家标准与技术研究院);University Colorado Boulder(科罗拉多大学博尔德分校)
提出无需反向传播的MGD零阶优化框架,可在线训练模拟或数字硬件神经网络,在CIFAR-10和Fashion-MNIST上表现可比反向传播,且现实硬件条件下训练速度快数个数量级。
2023-03-05 cs.LG cs.NE
Accelerated Training through Iterative Gradient Propagation Along the Residual Path
Université Paris Dauphine-PSL(巴黎多芬大学-PSL大学);Foxstream(福克斯流公司);ESPCI PSL(巴黎高等物理与化学工业学校-PSL大学)
本文提出Highway反向传播算法,通过沿残差路径迭代累积梯度并并行传播,加速深度模型训练,在多种架构上实现显著提速且性能损失极小。
2025-03-29 cs.LG
FedFwd: Federated Learning without Backpropagation
POSTECH(浦项科技大学)
FedFwd将前向-前向算法引入联邦学习,通过逐层局部更新减少计算和存储开销,在MNIST和CIFAR-10上取得与依赖反向传播方法相当的性能。
2023-09-03 cs.AI cs.LG
Gradient target propagation
Universidade Federal de Santa Maria(圣玛丽亚联邦大学)
我们报告了一个神经网络的学习规则,计算每个神经元应该通过估计其目标值来最小化给定的成本函数。通过理论分析,我们表明,这种学习规则包含反向传播,Hebian学习,和额外的条款。我们还给出了一个一般的技术权重初始化。我们的结果至少与反向传播获得的结果一样好。神经网络在三个问题中进行训练和测试:MNIST,MNIST-Fashion和CIFAR-10数据集。相关代码可在https://github.com/tiago939/target上获得。
2018-11-01 cs.LG
Dynamic Spectral Backpropagation for Efficient Neural Network Training
Indian Institute of Technology, India(印度理工学院);Massachusetts Institute of Technology, USA(麻省理工学院)
提出动态谱反向传播(DSBP)通过梯度投影降低复杂度并促进平坦极小值,结合五种扩展方法,在多个数据集上优于SAM、LoRA和MAML。
2025-05-29 cs.AI cs.LG
Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100
University of Maryland, College Park(马里兰大学帕克分校)
在$l_{2}$范数下用严格的Lipschitz约束训练卷积神经网络(CNN)对于可证明的对抗鲁棒性、可解释的梯度和稳定的训练是有用的。虽然$1$-Lipschitz CNN可以通过在每层上强制执行$1$-Lipschitz约束来设计,但训练这样的网络需要每层具有正交雅可比矩阵(对于所有输入),以防止梯度在反向传播期间消失。具有此属性的层称为梯度范数保持(GNP)。在这项工作中,我们引入了一个程序来证明$1$ -Lipschitz CNN的鲁棒性,通过放松网络的最后一个线性层的正交化,显着提高了CIFAR-100上标准和可证明的鲁棒精度的最新水平(分别为$4.80\%$和$4.71\%$的增益)。我们通过引入(i)一个新的梯度范数保持激活函数称为Householder激活函数(包括每个$\mathrm{GroupSort}$激活)和(ii)证书正则化来进一步提高其鲁棒性。在CIFAR-10上,我们在可证明的鲁棒精度($5.81\%$)方面取得了显着的改进,而标准精度($-0.29\%$)只有轻微的下降。复制论文中所有实验的代码可在\url{https://github.com/singlasahil14/SOC}上获得。
2022-03-28 cs.LG
Associated Learning: Decomposing End-to-end Backpropagation based on Auto-encoders and Target Propagation
National Central University(中央大学)
反向传播(BP)是当今深度学习算法的基石,但它的效率很低,部分原因是反向锁定,这意味着更新一层的权重会锁定其他层的权重更新。因此,应用并行计算或流水线结构来同时更新不同层中的权重具有挑战性。在本文中,我们介绍了一种新的学习结构,称为关联学习(AL),它模块化的网络成更小的组件,每个组件都有一个本地目标。由于目标是相互独立的,AL可以同时独立地学习不同层的参数,因此可以应用流水线结构来提高训练吞吐量。具体地,该流水线结构将训练时间的复杂度从O(nl)(其是使用BP和随机梯度下降(SGD)进行训练时的时间复杂度)提高到O(n +1),其中n是训练实例的数量,l是隐藏层的数量。令人惊讶的是,即使AL中的大多数参数不直接与目标变量相互作用,通过这种方法训练深度模型产生的精度与使用典型BP方法训练的模型相当,其中所有参数都用于预测目标变量。因此,由于在实验中证明的可扩展性和预测能力,AL值得进一步研究,以确定更好的超参数设置,如激活函数选择,学习率调度和权重初始化,以积累经验,正如我们多年来使用典型的BP方法所做的那样。此外,也许我们的设计还可以激发深度学习的新网络设计。我们的实现可以在https://github.com/SamYWK/Associated_Learning上获得。
2021-02-09 cs.LG cs.NE stat.ML
A Robust Backpropagation-Free Framework for Images
Rochester Institute of Technology(罗切斯特理工学院);University of South Florida(南佛罗里达大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
针对深度学习依赖反向传播梯度存在生物学不可行的权重传输问题,提出更具生物合理性的EKDAA算法,通过局部误差核与误差图实现反向传播,在多个图像基准上验证了有效性且支持不可微激活函数。
2023-11-05 cs.LG cs.NE
SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes
CEA, LIST(法国原子能与替代能源委员会 信息技术与系统实验室)
基于事件的神经形态系统通过对尖峰事件的低功耗稀疏和异步操作来取代密集矩阵上昂贵的浮点操作,从而有望降低深度学习任务的能耗。虽然这些系统可以使用反向传播算法的近似来训练得越来越好,但这些实现通常需要高精度的训练误差,因此与神经形态电路的典型通信基础设施不兼容。在这项工作中,我们分析了如何梯度可以离散成尖峰事件时,训练脉冲神经网络。为了加速我们的模拟,我们表明,使用一个特殊的实现的集成和消防神经元允许我们描述的累积激活和错误的脉冲神经网络在一个等效的人工神经网络,使我们能够大大加快训练相比,一个明确的模拟所有尖峰事件。通过这种方式,我们能够证明,即使对于深度网络,如果梯度被适当地重新缩放,梯度也可以被足够好地离散化。这种形式的基于尖峰的反向传播使我们能够在MNIST和CIFAR10数据集上实现与使用全精度梯度训练的最先进的脉冲神经网络相当或更好的精度。该算法,我们称之为SpikeGrad,是基于积累和比较操作,可以自然地利用稀疏性的梯度计算,这使得它成为一个有趣的选择尖峰神经形态系统与片上学习能力。
2019-06-03 cs.LG cs.NE
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment
Rochester Institute of Technology(罗切斯特理工学院);The Pennsylvania State University(宾夕法尼亚州立大学)
在大规模数据集上训练深度神经网络需要大量的硬件资源,这些资源的成本(即使在云平台上)使小型组织、团体和个人无法获得。反向传播是训练这些网络的主力,是一个固有的顺序过程,难以并行化。此外,它需要研究人员不断开发各种技巧,如专门的权重初始化和激活函数,以确保稳定的参数优化。我们的目标是寻找一种有效的、神经生物学上合理的替代反向传播的方法,可以用来训练深度网络。在本文中,我们提出了一个无梯度的学习过程,递归局部表示对齐,用于训练大规模神经结构。在CIFAR-10和大型基准测试ImageNet上进行的残差网络实验表明,由于权重更新可并行化且计算要求较低,我们的算法具有泛化和反向传播的能力,同时收敛速度更快。这是经验证据,证明无反向传播算法可以扩展到更大的数据集。
2020-09-18 cs.LG cs.NE stat.ML
Scaling Forward Gradient With Local Losses
NYU(纽约大学);Google(谷歌);UBC(不列颠哥伦比亚大学);Vector Institute(向量研究所)
前向梯度学习计算有噪声的方向梯度,是学习深度神经网络的反向传播的生物学上合理的替代方案。然而,标准的前向梯度算法,当天真地应用时,遭受高方差时,要学习的参数的数量是大的。在本文中,我们提出了一系列架构和算法修改,共同使前向梯度学习适用于标准深度学习基准任务。我们表明,它是可能的,以大大减少前向梯度估计的方差,通过施加扰动激活,而不是权重。通过引入大量的局部贪婪损失函数,每个函数只涉及少量的可学习参数,以及一个新的MLPMixer启发的架构LocalMixer,更适合于局部学习,我们进一步提高了前向梯度的可扩展性。我们的方法在MNIST和CIFAR-10上匹配反向传播,并且在ImageNet上显著优于先前提出的无反向传播算法。
2023-03-02 cs.CV cs.LG cs.NE
Mean field theory for deep dropout networks: digging up gradient backpropagation deeply
University of Technology Sydney(悉尼科技大学);Northwestern University(西北大学);Xiamen University(厦门大学)
近年来,平均场理论被应用于神经网络的研究,并取得了很大的成功。该理论已被应用于各种神经网络结构,包括CNN,RNN,残差网络和批量归一化。不可避免的是,最近的工作也涵盖了dropout的使用。平均场理论表明,存在的深度尺度限制了信号传播和梯度反向传播的最大深度。然而,梯度反向传播是在梯度独立性假设下导出的,即前馈期间使用的权重独立于反向传播中使用的权重。这不是神经网络在真实环境中的训练方式。相反,在前馈步骤中使用的相同权重需要被携带到其对应的反向传播。利用这一现实条件,我们对线性dropout网络进行了理论计算,并对dropout网络进行了一系列实验。我们的实验结果表明,一个有趣的现象,长度梯度可以反向传播的一个单一的输入和一对输入是由相同的深度尺度。此外,我们还研究了梯度统计度量的方差和均值之间的关系,并显示出普适性的出现。最后,我们通过一系列使用MNIST和CIFAR10的实验研究了深度dropout网络的最大可训练长度,并提供了一个比原始工作更精确的描述可训练长度的经验公式。
2020-04-13 cs.LG stat.ML
Analysis on Gradient Propagation in Batch Normalized Residual Networks
University of Southern California(南加州大学)
我们进行数学分析的效果批量归一化(BN)的梯度反向传播的残差网络的训练,这被认为是在解决梯度消失/爆炸问题中发挥了关键作用,在这项工作中。通过分别分析输入和梯度在通过BN和残差分支的前向和后向传递中的均值和方差行为,我们表明它们共同作用,将梯度方差限制在反向传播中残差块的一定范围内。因此,避免了梯度消失/爆炸问题。我们还显示了相对重要性的批量归一化w.r.t.剩余网络中的剩余分支。
2018-12-02 cs.LG stat.ML
Stochastic Backpropagation and Approximate Inference in Deep Generative Models
Google DeepMind(谷歌DeepMind)
我们将深度神经网络和近似贝叶斯推断的思想结合起来,导出了一类广义的深度定向生成模型,并赋予了一种新的可扩展推理和学习算法。我们的算法引入了一个识别模型来表示近似的后验分布,并作为一个随机编码器的数据。我们开发随机反向传播-通过随机变量反向传播的规则-并使用它来开发一种算法,该算法允许联合优化生成和识别模型的参数。我们证明了几个真实世界的数据集,该模型生成逼真的样本,提供准确的插补的缺失数据,是一个有用的工具,高维数据可视化。
2014-05-30 cs.AI cs.LG stat.CO
Memorized Sparse Backpropagation
Peking University(北京大学)
神经网络学习通常是耗时的,因为反向传播需要计算完整的梯度并将其反向传播到多个层。尽管其成功的现有的作品在加速传播通过稀疏,相关的理论特征仍然研究不足,实证研究发现,他们遭受的损失,包含在未传播的梯度的信息。为了解决这些问题,本文提出了一个统一的稀疏反向传播框架,并提供了详细的分析其理论特性。分析表明,当应用于多层感知器时,我们的框架基本上使用与真实梯度足够相似的估计梯度执行梯度下降,从而在某些条件下概率收敛。此外,一个简单而有效的算法命名为记忆稀疏反向传播(MSBP),提出了通过存储未传播的梯度在内存中的学习,在接下来的步骤中,以弥补信息丢失的问题。实验结果表明,所提出的MSBP是有效的,以减轻传统的稀疏反向传播的信息损失,同时实现可比的加速。
2020-10-27 cs.LG stat.ML
TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML On-device Learning
Hahn-Schickard(哈恩-席卡德);Technical University Munich(慕尼黑工业大学);University of Applied Sciences Offenburg(奥芬堡应用科学大学)
本文提出 TinyProp,通过在每个训练步骤动态调整稀疏反向传播比率,在 MCU 设备端微调中显著降低计算开销并减少精度损失。
2023-08-17 cs.CV cs.LG
Backprop-Q: Generalized Backpropagation for Stochastic Computation Graphs
Hulu Innovation Lab(Hulu创新实验室);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
在现实世界中,学习一个在内部执行随机操作的模型(称为随机计算图(SCG)),而不是学习一个确定性映射,这是很有吸引力的。然而,标准的反向传播不适用于SCG。我们试图从成本传播的角度来解决这个问题,与本地代理成本,称为Q函数,构建和学习的SCG中的每个随机节点。然后,可以使用标准反向传播基于这些代理成本来训练SCG。我们提出了整个框架作为一个解决方案来推广SCG的反向传播,这类似于一个演员-评论家架构,但基于图。为了广泛的适用性,我们研究了各种SCG结构,从一个成本到多个成本。我们利用强化学习(RL)和变分贝叶斯(VB)的最新进展,如偏离策略的批评学习和无偏和低方差梯度估计,并在SCG的背景下对其进行审查。广义反向传播将传输的学习信号扩展到随机节点之间的梯度之外,同时保留通过确定性节点反向传播梯度的益处。实验的建议和关注点,以帮助设计和测试任何特定的模型使用这个框架。
2019-01-08 cs.AI cs.LG stat.ML
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);School of Computing, Department of Computer Science, National University of Singapore(新加坡国立大学计算机学院计算机科学系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Department of Computer and Information Sciences, Faculty of Engineering and Environment, Northumbria University(诺森比亚大学工程与环境学院计算机与信息科学系);Zhejiang Lab(浙江实验室)
脉冲神经网络(SNN)使用时空脉冲模式来表示和传输信息,不仅具有生物学上的真实性,而且适合于超低功耗的事件驱动神经形态实现。受深度学习成功的启发,深度脉冲神经网络(DeepSNNs)的研究为人工智能应用提供了有前途的方向。然而,DeepSNN的训练并不简单,因为经过充分研究的误差反向传播(BP)算法并不直接适用。在本文中,我们首先了解了为什么错误反向传播在DeepSNN中不能很好地工作。为了解决这个问题,我们提出了一个简单而有效的整流线性突触后电位函数(ReL-PSP)用于尖峰神经元,并提出了一个尖峰定时相关的反向传播(STDBP)学习算法用于DeepSNN。在STDBP算法中,使用各个尖峰的定时来传达信息(时间编码),并且以事件驱动的方式基于尖峰定时来执行学习(反向传播)。我们的实验结果表明,所提出的学习算法在基于单脉冲时间的DeepSNN学习算法中达到了最先进的分类准确率。此外,通过利用从建议的STDBP学习算法获得的训练模型参数,我们证明了最近提出的神经形态推理加速器的超低功耗推理操作。实验结果表明,神经形态硬件消耗的总功耗为0.751 mW,并实现了47.71 ms的低延迟分类从MNIST数据集的图像。总体而言,这项工作研究了尖峰时序动态对信息编码,突触可塑性和决策的贡献,为未来DeepSNN和神经形态硬件系统的设计提供了新的视角。
2020-11-04 cs.LG cs.NE
Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of California–Irvine(加州大学尔湾分校)
直接训练脉冲神经网络(SNN)由于复杂的神经动力学和内在的不可微性在发射功能仍然具有挑战性。众所周知的反向传播通过时间(BPTT)算法提出的训练SNN遭受大内存占用,并禁止向后和更新解锁,使其不可能利用本地监督训练方法的潜力。这项工作提出了一个有效的和直接的训练算法,集成了本地监督的训练方法与时间截断BPTT算法的SNN。该算法在时间和空间两个局部性的BPTT,并有助于显着减少计算成本,包括GPU内存利用率,主存访问和算术运算。我们彻底探索了关于时间截断长度和局部训练块大小的设计空间,并对它们对运行不同类型任务的不同网络的分类精度的影响进行了基准测试。结果表明,时间截断对基于帧的数据集分类的准确性有负面影响,但导致在动态视觉传感器(DVS)记录的数据集的准确性的改善。尽管由此产生的信息丢失,局部训练是能够减轻过拟合。时间截断和局部训练的综合作用可以减缓精度下降,甚至提高精度。此外,与标准的端到端BPTT相比,训练深度SNN模型(如对CIFAR 10-DVS数据集进行分类的AlexNet)导致准确性提高7.26%,GPU内存减少89.94%,内存访问减少10.79%,MAC操作减少99.64%。
2021-12-13 cs.LG cs.NE eess.SP
Overcoming Rank Collapse in Feedback Alignment
Imperial College London(伦敦帝国理工学院);Mila(Mila研究所)
研究发现反馈对齐(FA)在深层网络中因误差信号秩低而失效,提出通过Muon优化器和隐藏活动归一化提升信号维度,在CIFAR100上ResNet-18准确率提升9个百分点。
2026-06-16 cs.LG
A Hybrid Method for Training Convolutional Neural Networks
Universidade da Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
人工智能算法的普及和使用一直在稳步增长。深度学习允许使用巨大的数据集来训练神经网络,并且还消除了对人类提取特征的需求,因为它使特征学习过程自动化。在训练深度神经网络(例如卷积神经网络)的核心中,我们发现了反向传播,即通过计算给定输入的损失函数相对于网络权重的梯度,它允许调整网络的权重,以更好地执行给定任务。本文提出了一种混合的方法,利用反向传播和进化策略来训练卷积神经网络,其中进化策略用于帮助避免局部极小值和微调权值,使网络获得更高的精度结果。我们表明,所提出的混合方法是能够改善定期训练的任务,图像分类在CIFAR-10,其中使用VGG 16模型和最终的测试结果增加了0.61%,平均相比,只使用反向传播。
2020-04-15 cs.CV cs.LG cs.NE
Backdrop: Stochastic Backpropagation
New York University(纽约大学)
我们介绍了background,一个灵活且易于实现的方法,直观地描述为仅沿反向传播管道起作用的dropout。背景是通过一个或多个掩蔽层来实现的,这些掩蔽层沿着网络插入到特定点。每个背景掩蔽层在前向传递中充当身份,但随机掩蔽后向梯度传播的部分。直观地说,在任何卷积层之后插入背景层会导致对应于该尺度特征的随机梯度。因此,background非常适合数据具有多尺度、层次结构的问题。Backdrop也可以应用于标准SGD方法不太适合的不可分解损失函数的问题。我们进行了大量的实验,并证明背景导致显着改善泛化。
2018-06-04 cs.LG stat.ML
Gradient Backpropagation based Feature Attribution to Enable Explainable-AI on the Edge
Georgia Institute of Technology(佐治亚理工学院)
可解释人工智能(XAI)领域最近出现了一股热潮,它解决了提供对黑盒机器学习模型行为的洞察力的问题。在该领域内,\textit{feature attribution}包括将相关性分数分配给输入特征并将其可视化为热图的方法。为多个这样的算法设计灵活的加速器是具有挑战性的,因为这些算法的硬件映射尚未被研究。在这项工作中,我们首先分析了基于梯度反向传播的特征属性算法,以确定推理所需的资源开销。梯度计算被优化以最小化存储器开销。其次,我们开发了一种基于高级综合(HLS)的可配置FPGA设计,该设计针对边缘设备,支持三种特征属性算法。采用基于瓦片的计算来最大限度地使用片上资源,同时遵守资源约束。代表性的CNN在CIFAR-10数据集上训练,并使用16位定点精度在多个Xilinx FPGA上实现,展示了我们库的灵活性。最后,通过有效地重用已分配的硬件资源,我们的设计方法展示了一种重新利用推理加速器的途径,以最小的开销支持特征属性,从而在边缘实现实时XAI。
2022-10-19 cs.AI cs.AR cs.LG
MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
几乎所有最先进的深度学习算法都依赖于误差反向传播,这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理,因此网络被视为一组代理。因此,所有单元都可以通过REINFORCE进行训练,这是一种由全局信号调制的局部学习规则,与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度,但它具有高方差,因此学习速度慢,使其无法训练深度网络。因此,我们提出了一种新的算法,称为MAP传播,以减少这种变化显着,同时保留本地属性的学习规则。实验表明,MAP传播可以解决常见的强化学习任务,在应用于演员-评论家网络时,速度与反向传播相似。因此,我们的工作允许在深度强化学习中更广泛地应用代理团队。
2021-10-05 cs.AI cs.LG
Decoupled Split Learning via Auxiliary Loss
School of Computing, Montclair State University(蒙特克莱尔州立大学计算机学院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
本文提出了一种通过辅助损失实现解耦分割学习的方法,有效降低通信和内存开销,同时保持性能与传统反向传播相当。
2026-02-08 cs.AI cs.LG
Numerical influence of ReLU'(0) on backpropagation
IRT Saint Exupéry(圣埃克苏佩里研究所);ISAE-SUPAERO(法国国立高等航空航天学院);ANITI(图卢兹人工智能跨学科研究所);Toulouse School of Economics(图卢兹经济学院);Université Toulouse 1 Capitole(图卢兹第一大学);Institut de Mathématiques de Toulouse(图卢兹数学研究所);CNRS(法国国家科学研究中心);IRIT, Université Paul Sabatier(图卢兹计算机科学研究所,保罗·萨巴捷大学)
该研究发现非光滑激活函数ReLU在0点的导数值是影响神经网络训练的超参数,在不同精度、网络和数据集上表现出差异,且重调整方法可缓冲其影响,提示非光滑问题的算法微分潜藏可调优参数。
2023-11-03 cs.AI cs.LG
Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
显着性方法通过显示输入元素对预测的重要性来解释神经网络的预测。一个流行的显着性方法家族利用梯度信息。在这项工作中,我们经验表明,两种方法来处理梯度信息,即积极的聚集,和积极的传播,打破这些方法。虽然这些方法反映了输入中的视觉显著信息,但它们不再解释模型预测,因为生成的显著性图对预测输出不敏感,对模型参数随机化不敏感。特别是对于聚合所选层的梯度的方法,如GradCAM++和FullGrad,仅聚合正梯度是有害的。我们进一步支持这一点,提出了几个变种的聚合方法,积极处理梯度信息。对于反向传播梯度信息的方法,如LRP,EQUIPGRAD和引导反向传播,我们展示了专门传播正梯度信息的破坏性影响。
2020-12-01 cs.CV cs.LG
On the Adversarial Robustness of Neural Networks without Weight Transport
University of Toronto(多伦多大学);Triage
用反向传播训练的神经网络是使用权重传输的深度学习的标准算法,很容易被现有的基于梯度的对抗攻击愚弄。这类攻击是基于输入的某些小扰动,使网络错误分类它们。我们发现,用反馈对齐训练的生物学上不太难以置信的深度神经网络,不使用权重传输,可以更难被愚弄,提供实际的鲁棒性。在MNIST上进行测试,没有权重传输的深度神经网络(1)具有98%的对抗准确率,而使用反向传播训练的神经网络的准确率为0.03%,(2)生成不可转移的对抗示例。然而,这个差距减少CIFAR-10,但仍然是显着的,特别是小扰动幅度小于1/2。
2019-10-03 cs.CR cs.LG stat.ML
Equilibrium Propagation for Complete Directed Neural Networks
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所));University of Lisbon(里斯本大学);RPI(伦斯勒理工学院);Instituto de Telecomunicações(电信研究所)
人工神经网络是监督学习最成功的方法之一,最初受到生物学对应物的启发。然而,人工神经网络最成功的学习算法,反向传播,被认为是生物学上不可信的。我们有助于生物学上合理的神经元学习的主题,建立和扩展的平衡传播学习框架。具体来说,我们介绍:一个新的神经元动力学和学习规则的任意网络架构;一个稀疏诱导方法能够修剪不相关的连接;一个动态系统表征的模型,使用李雅普诺夫理论。
2020-06-17 cs.LG cs.NE stat.ML