Backprop Evolution
TU Berlin（柏林工业大学）；Google Brain（谷歌大脑）
反向传播算法是深度学习的基石。尽管它的重要性，一些变化的算法已被尝试。这项工作提出了一种方法来发现新的变化的反向传播方程。我们使用一个特定领域的语言来描述更新方程作为一个原始函数的列表。一种基于进化的方法被用来发现新的传播规则，最大限度地提高泛化性能后，几个时代的训练。我们发现几个更新方程，可以训练更快，训练时间短，比标准的反向传播，并执行类似的标准反向传播收敛。
2018-08-08 cs.LG cs.NE stat.ML
Temporal Surrogate Back-propagation for Spiking Neural Networks
UC Santa Barbara（加州大学圣巴巴拉分校）
与人工神经网络（ANN）相比，脉冲神经网络（SNN）通常更节能，并且它们的工作方式与我们的大脑有很大的相似性。近年来，反向传播算法（BP）在人工神经网络的训练中显示出了强大的能力。然而，由于尖峰行为是不可微的，BP不能直接应用于SNN。尽管先前的工作展示了通过替代梯度或随机性在空间和时间方向上近似BP梯度的几种方法，但它们忽略了由每个步骤之间的重置机制引入的时间依赖性。在本文中，我们的目标是在理论上的完善和研究的影响，失踪项彻底。通过添加重置机制的时间依赖性，新算法对玩具数据集上的学习率调整更鲁棒，但在CIFAR-10等大型学习任务上没有表现出太大的改进。从经验上讲，缺少项的好处不值得额外的计算开销。在许多情况下，可以忽略缺失项。
2020-11-18 cs.LG cs.NE
Early Inference in Energy-Based Models Approximates Back-Propagation
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）
我们表明，Langevin MCMC推断在基于能量的模型与潜变量的属性，推断的早期步骤，从一个固定点开始，对应于传播误差梯度到内部层，类似于反向传播。反向传播的误差是关于已经接收到将它们推离静止点的外部驱动力的可见单元。反向传播的误差梯度对应于隐藏单元的激活的时间导数。这一观察结果可能是解释大脑如何像反向传播一样有效地在深层层次中执行信用分配的理论的一个元素。在这个理论中，连续值的潜变量对应于平均电压电位（跨时间，尖峰，以及可能在同一微列中的神经元），神经计算对应于近似推理和误差反向传播。
2016-02-07 cs.LG
A Consolidated Volatility Prediction with Back Propagation Neural Network and Genetic Algorithm
本文提出结合反向传播神经网络与遗传算法的整合模型，用于预测新兴股票市场波动率，实验表明预测结果准确且误差低。
2025-08-26 cs.LG cs.NE q-fin.CP
GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study
本研究比较了浅层神经网络中前向和反向传播的三种CUDA优化策略（平铺共享内存、预转置权重矩阵、融合MatMul+ReLU核），在NVIDIA Tesla T4上实现1.41倍加速。
2026-06-29 cs.DC cs.LG
Equivalence of Equilibrium Propagation and Recurrent Backpropagation
MILA, Université de Montréal（蒙特利尔大学MILA）
循环反向传播和平衡传播是定点循环神经网络的监督学习算法，它们在第二阶段有所不同。在第一阶段，两种算法收敛到一个固定点，该点对应于进行预测的配置。在第二阶段，平衡传播松弛到对应于较小预测误差的另一个附近的固定点，而递归反向传播使用侧网络迭代计算误差导数。在这项工作中，我们建立了这两个算法之间的密切联系。我们表明，在第二阶段的每一个时刻，在平衡传播的神经活动的时间导数等于在侧网络中通过递归反向传播迭代计算的误差导数。这项工作表明，它是不需要有一个侧网络的计算误差衍生物，并支持的假设，在生物神经网络，时间衍生物的神经活动可能代码的错误信号。
2018-05-22 cs.LG
Learned Digital Back-Propagation for Dual-Polarization Dispersion Managed Systems
Infinera, Unipessoal Lda（Infinera单人有限公司）；Infinera（Infinera公司）
针对WDM双偏振色散管理系统中的非线性抑制问题，提出了数字反向传播（DBP）和学习反向传播（LDBP）方法。LDBP实现了1.8 dB和1.2 dB的Q因子的改善，分别超过线性均衡和适应DM系统的DBP的变体。
2022-05-23 cs.AI cs.LG eess.SP
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia（微软亚洲研究院）
随机梯度下降（SGD）在训练深度神经网络方面取得了巨大成功，其中梯度是通过反向传播计算的。然而，不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播，它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题，这需要很高的计算成本。然后，我们减少了近似的后匹配传播，并提出了一种算法，变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络，并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Experimental Demonstration of Learned Time-Domain Digital Back-Propagation
Huawei Base G6（华为基地G6）
我们提出了第一个实验演示的学习时域数字反向传播（DBP），在64-GBd双极化64-QAM信号传输超过1014公里。性能增益与传统的，更高的复杂性，频域DBP获得的。
2019-12-23 cs.IT cs.LG eess.SP
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练：用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理，以实现快速有效的执行。然而，在训练中直接应用量化可能会导致显著的准确性损失，因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Bilevel Programs Meet Deep Learning: A Unifying View on Inference Learning Methods
Chalmers University of Technology（查尔姆斯理工大学）
在这项工作中，我们统一了一些推理学习方法，在文献中提出的替代训练算法的基础上定期误差反向传播。这些推理学习方法的开发具有非常不同的动机，主要旨在增强深度神经网络的生物相容性，并提高训练方法的内在并行性。我们表明，这些表面上非常不同的方法都可以通过连续应用一个特定的重新制定的双层优化程序。作为一个副产品，它也变得明显，所有考虑的推理学习方法包括反向传播作为一个特殊情况，因此至少近似误差反向传播在典型的设置。最后，我们提出了Fenchel反向传播，它取代了在标准反向传播中进行的无限小校正的传播与有限的目标作为学习信号。因此，Fenchel反向传播可以被视为通过显式目标传播进行学习的实例。
2021-09-12 cs.LG math.OC
Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation
Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
我们介绍了平衡传播，基于能量的模型的学习框架。它只涉及一种神经计算，在训练的第一阶段（进行预测时）和第二阶段（在目标或预测误差被揭示后）都执行。虽然该算法像反向传播一样计算目标函数的梯度，但它不需要用于第二阶段的特殊计算或电路，其中误差被隐式传播。平衡传播与对比赫布学习和对比发散有相似之处，同时解决了这两种算法的理论问题：我们的算法计算一个定义良好的目标函数的梯度。因为目标函数是根据局部扰动定义的，所以平衡传播的第二阶段对应于仅将预测（固定点或静止分布）推向减少预测误差的配置。在递归多层监督网络的情况下，在第二阶段，输出单元被稍微推向它们的目标，并且在输出层引入的扰动在隐藏层中向后传播。我们表明，当突触更新对应于尖峰定时依赖可塑性的标准形式时，在第二阶段“反向传播”的信号对应于误差导数的传播并编码目标函数的梯度。这项工作使得大脑可以实现类似于反向传播的机制变得更加合理，因为漏积分器神经计算在我们的模型中执行推理和错误反向传播。这两个阶段之间唯一的局部差异是是否允许突触变化。
2017-03-28 cs.LG
Improving Back-Propagation by Adding an Adversarial Gradient
反向传播算法广泛用于人工神经网络的学习。机器学习中的一个挑战是创建模型，这些模型可以推广到训练数据中看不到的新数据样本。最近，几种机器学习算法中的一个共同缺陷被发现：添加到输入数据中的小扰动导致数据样本的一致错误分类。容易误导模型的样本被称为对抗性样本。在对抗性示例上训练“maxout”网络可以减少这种脆弱性，但也可以提高分类性能。本文表明，对抗性训练在具有逻辑、双曲正切和整流线性单元的网络中也具有正则化效应。提出了对反向传播方法的一个简单扩展，即在训练中添加对抗梯度。该扩展需要额外的向前和向后传递来计算修改后的输入样本或小批量，用作标准反向传播学习的输入。MNIST上的第一个实验结果表明，“对抗性反向传播”方法增加了对抗性样本的抵抗力，提高了分类性能。扩展减少了分类错误的排列不变MNIST从1.60%到0.95%的逻辑网络，从1.40%到0.78%的网络与整流线性单元。在CIFAR-10上的结果表明，该方法具有类似于全连接网络中dropout的正则化效果。基于这些有希望的结果，对抗性反向传播被提出作为一种独立的正则化方法，应该进一步研究。
2016-04-06 cs.LG stat.ML
Back to the Future: Predicting Traffic Shockwave Formation and Propagation Using a Convolutional Encoder-Decoder Network
Texas A&M University（德州农工大学）
这项研究提出了一种深度学习方法来预测交通冲击波的传播。深度神经网络的输入是研究段的时空图，网络的输出是以时空图的形式预测的冲击波在研究段上的（未来）传播。所提出的方法的主要特点是能够提取嵌入在时间-空间图中的特征来预测交通冲击波的传播。
2019-05-04 cs.CV cs.LG eess.SP
Never look back - A modified EnKF method and its application to the training of neural networks without back propagation
The University of British Columbia（英属哥伦比亚大学）；Xtract Inc.（Xtract公司）；Centrum Wiskunde & Informatica (CWI)（数学与计算机科学中心）；University College London（伦敦大学学院）；Emory University（埃默里大学）
在这项工作中，我们提出了一个新的衍生物自由最优化方法，并探讨其用于训练神经网络。我们的方法是激励的Ensemble卡尔曼滤波器（EnKF），已成功地用于解决最优化问题，涉及大规模，高度非线性动力系统。EnKF方法的一个主要优点是它只需要评估前向传播，而不需要评估其导数。因此，在神经网络的上下文中，它简化了反向传播的需要，并大大减少了内存消耗。然而，该方法不是一个纯粹的“黑箱”全局优化启发式，因为它有效地利用了典型的学习问题的结构。最近，Kovachki和Stuart提出了EnKF用于训练深度神经网络的第一个有希望的结果。我们提出了一个重要的修改的EnKF，使我们能够证明我们的方法收敛到一个强凸函数的最小值。我们的方法也承担类似的隐式滤波，我们证明了它的潜力，最大限度地减少高度振荡的功能，使用一个简单的例子。此外，我们还提供了数值示例，展示了我们的方法在训练深度神经网络方面的潜力。
2018-05-31 cs.LG cs.NA cs.NE
Comparative Study of Instance Based Learning and Back Propagation for Classification Problems
Lahore College for Women University（拉合尔女子学院大学）；Ankara University（安卡拉大学）
本文提出了一个性能的比较研究的反向传播和基于实例的学习算法分类任务。该研究进行了一系列的实验，将所有可能的参数值的组合下评估的算法。该算法的分类精度在一系列数据集上进行比较，并使用交叉验证，Kappa统计，均方根值和真阳性与假阳性率等测量来评估其性能。除了性能比较，还比较了处理缺失值的技术，包括均值或众数替换和多重插补。结果表明，参数调整在提高算法的准确性方面起着至关重要的作用，因此，与基于实例的学习相比，反向传播显示出更好的结果。此外，多重插补方法能较好地处理缺失值问题，但不适用于数据量较少的情况。
2016-04-19 cs.LG
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
我们使用反向传播（即，BP-sLDA），其最大化给定输入文档的预测变量的后验概率。与传统的变分学习或吉布斯采样方法不同，所提出的学习方法应用（i）镜像下降算法进行最大后验推理，以及（ii）在深度架构上的反向传播以及随机梯度/镜像下降进行模型参数估计，从而实现模型的可扩展和端到端的判别学习。作为副产品，我们还应用该技术为传统的无监督LDA模型开发了一种新的学习方法（即，BP-LDA）。三个真实世界的回归和分类任务的实验结果表明，所提出的方法显着优于以前的监督主题模型，神经网络，并与深度神经网络。
2015-11-01 cs.LG
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Sri Manakula Vinayagar Engineering College（斯里马纳库拉维纳亚加尔工程学院）
针对反向传播计算开销大且存在梯度消失的问题，本文提出无需逐层计算梯度的即时参数更新方法，可加速训练并在基准数据集上超过现有方法。
2023-08-09 cs.CV cs.LG
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University（辅英大学）；Shu-Te University（树德科技大学）
近年来，将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机（Support Vector Machine，SVM）和反向传播神经网络（Back Propagation Neural Network，BPN）在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明，通过性能指标之间的差异是边际的，支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
Learning Physics-Informed Neural Networks without Stacked Back-propagation
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
物理信息神经网络（PINN）已成为求解偏微分方程（PDE）的常用机器学习方法。但是，面对高维二阶PDE问题，PINN将遭受严重的可扩展性问题，因为它的损失包括二阶导数，其计算成本将随着堆叠反向传播过程中的维度而增长。在这项工作中，我们开发了一种新的方法，可以显着加快物理信息神经网络的训练。特别是，我们参数化的PDE解决方案的高斯平滑模型，并表明，来自斯泰因的身份，二阶导数可以有效地计算，而无需反向传播。我们进一步讨论了模型容量，并提供方差减少方法来解决导数估计中的关键限制。实验结果表明，与标准PINN训练相比，我们提出的方法可以实现有竞争力的错误，但速度明显更快。我们的代码发布在https://github.com/LithiumDA/PINN-without-Stacked-BP。
2023-02-24 cs.LG
Truncated Back-propagation for Bilevel Optimization
Georgia Institute of Technology（佐治亚理工学院）
二层优化最近被重新审视，用于设计和分析超参数调整和元学习任务中的算法。然而，由于其嵌套结构，计算高维问题的精确梯度在计算上具有挑战性。一个启发式规避这个困难是使用近似梯度通过执行截断反向传播通过迭代优化过程，解决了较低级别的问题。虽然有前途的经验性能已被报道，其理论性质仍不清楚。在本文中，我们分析了这一族近似梯度的性质，并建立了收敛的充分条件。我们验证了几个超参数调整和元学习任务。我们发现，使用几步反向传播计算的近似梯度的优化通常执行精确梯度的优化，同时需要更少的内存和一半的计算时间。
2019-04-05 cs.LG stat.ML
Speeding-Up Back-Propagation in DNN: Approximate Outer Product with Memory
NYCU（阳明交通大学）；Bilkent University（比尔肯特大学）
本文提出了一种用于DNN训练中的反向传播近似评估算法，我们称之为带记忆的近似外积梯度下降（Mem-AOP-GD）。Mem-AOP-GD算法通过仅考虑包含反向传播的矩阵乘法中涉及的外积的子集来实现随机梯度下降的近似。为了校正该近似中的固有偏差，该算法在存储器中保留在近似中未使用的外积的累积。我们在两个设计参数下研究了所提出的算法在DNN训练损失方面的性能：（i）用于近似的外部产品的数量，以及（ii）用于选择这些外部产品的策略。我们的实验表明，显着改善计算复杂性以及准确性，确实可以通过Mem-AOPGD。
2021-10-18 cs.LG
The HSIC Bottleneck: Deep Learning without Back-Propagation
Victoria University（维多利亚大学）
我们引入了训练深度神经网络的HSIC（Hilbert-Schmidt独立准则）瓶颈。HSIC瓶颈是传统交叉熵损失和反向传播的替代方案，具有许多明显的优点。它减轻了爆炸和消失的梯度，从而能够在不跳过连接的情况下学习非常深的网络。不需要对称反馈或更新锁定。我们发现，HSIC瓶颈提供性能的MNIST/FashionMNIST/CIFAR 10分类与反向传播的交叉熵目标，即使系统不鼓励使输出类似的分类标签。使用SGD（没有反向传播）训练的单层来重新格式化信息，进一步提高了性能。
2019-12-05 cs.LG stat.ML
Reproducibility review of "Why Not Other Classes": Towards Class-Contrastive Back-Propagation Explanations
KTH Royal Institute of Technology（KTH皇家理工学院）
复现Wang & Wang 2022的类对比反向传播解释方法，验证其泛化性并指出原论文细节不足与方程错误，提供开源代码。
2025-01-19 cs.CV cs.LG
Semi-Implicit Back Propagation
神经网络长期以来受到人们的广泛关注，许多研究者致力于提高神经网络训练算法的有效性。虽然随机梯度下降（SGD）等显式梯度算法被广泛采用，但SGD算法仍存在梯度消失、小步长等问题，导致SGD算法收敛速度慢、不稳定。受误差反向传播（BP）和近似方法的启发，我们提出了一种半隐式的BP神经网络训练方法。类似于BP，神经元上的差异以向后的方式传播，并且参数用邻近映射更新。隐式更新隐藏的神经元和参数允许在训练算法中选择大的步长。最后，我们还证明了该算法产生的收敛序列的任何不动点都是目标损失函数的一个驻点。在MNIST和CIFAR-10上的实验表明，与SGD和类似的ProxBP算法相比，所提出的半隐式BP算法在损失减少和训练/验证精度方面都有更好的性能。
2020-02-10 cs.LG math.OC stat.ML
Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
Sun Yat-Sen University（中山大学）；Texas A&M University（德克萨斯A&M大学）
已经提出了基于反向传播的可视化来解释深度神经网络（DNN），其中一些产生具有良好视觉质量的解释。然而，这些直观的可视化是否与网络决策有关存在疑问。最近的研究证实了这一怀疑，通过验证几乎所有这些修改后的反向传播可视化都不忠实于模型的决策过程。此外，这些可视化产生模糊的“相对重要性分数”，其中低值不能保证独立于最终的预测。因此，开发一种新的反向传播框架，保证理论的忠实性，并产生一个清晰的理解定量归因得分是非常必要的。为了实现这一目标，我们借助互信息理论来生成解释，研究每个输入神经元中编码了多少输出信息。基本思想是通过反向传播来学习源信号，使得输入和输出之间的互信息应当尽可能多地保留在输入和源信号之间的互信息中。此外，我们提出了一个互信息保持逆网络，称为MIP-IN，其中每一层的参数递归训练学习如何反转。在反演过程中，采用正向Relu运算，使一般解释适应特定输入。然后，我们经验性地证明，反相源信号满足完整性和极小性属性，这是一个忠实的解释至关重要。此外，实证研究验证了MIP-IN产生的解释的有效性。
2021-04-14 cs.AI cs.LG
Learning Multi-Layered GBDT Via Back Propagation
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Xi’an, 710071, China（中国西安（710071））
深度神经网络能够通过反向传播（BP）学习多层表示。虽然梯度提升决策树（GBDT）对于表格数据建模是有效的，但是它相对于其输入是不可微的，从而遭受学习多层表示。在本文中，我们提出了一个框架，学习多层GBDT通过BP。我们基于线性回归来近似GBDT的梯度。具体地说，我们使用线性回归来替换每个叶子上的常数值，忽略单个样本对树结构的贡献。通过这种方式，我们估计了中间表示的梯度，这有助于多层GBDT的BP。实验结果表明，该方法在性能和表示能力方面是有效的。据我们所知，这是第一个工作，优化多层GBDT通过BP。这项工作为探索基于深度树的学习和将GBDT与神经网络相结合提供了新的可能性。
2021-09-27 cs.LG
Target Propagation via Regularized Inversion
University of Washington（华盛顿大学）
目标传播（TP）算法沿着神经网络计算目标而不是梯度，并以与梯度反向传播（BP）类似但不同的方式向后传播它们。该想法首先作为反向传播的扰动替代方案提出，其可以在训练多层神经网络时在梯度评估中实现更高的准确性（LeCun等人，1989年）。然而，TP仍然是一个模板算法，有许多变化，而不是一个很好的识别算法。重温LeCun等人的见解，（1989）和最近的Lee et al.（2015），我们提出了一个基于网络层正则化反演的目标传播的简单版本，可以在可微编程框架中轻松实现。我们比较其计算复杂性的BP之一，并描绘的制度，TP可以是有吸引力的BP相比。我们展示了如何我们的TP可以用来训练经常性的神经网络与各种序列建模问题的长序列。实验结果强调了正则化在TP实践中的重要性。
2021-12-02 cs.LG
Prime and Modulate Learning: Generation of forward models with signed back-propagation and environmental cues
University of Glasgow（格拉斯哥大学）
针对深度神经网络反向传播中的梯度爆炸与消失问题，提出利用误差符号启动学习并结合全局相关性信号调制速率的 Prime and Modulate 范式，在机器人平台上实现了收敛速度的显著提升。
2023-09-07 cs.LG
NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
Department of Statistics University of Oxford（统计系牛津大学）
本文提出 NoProp 训练方法，不依赖全局前向或反向传播，而是让每个模块独立学习对带噪目标进行局部去噪，并在多个图像分类基准上验证了其可行性与计算效率。
2025-08-17 cs.LG stat.ML
Parallel Complexity of Forward and Backward Propagation
NVIDIA
研究前向和反向传播作为三角方程组解的并行计算复杂度，提出直接和迭代并行算法，并展示FNN和RNN的反向传播可并行处理。
2017-12-18 cs.AI cs.LG cs.NA
Unifying back-propagation and forward-forward algorithms through model predictive control
National University of Singapore（新加坡国立大学）；Institute for Functional Intelligent Materials（功能智能材料研究院）
本文提出用模型预测控制框架统一反向传播与前向-前向算法，通过选择优化时域实现性能与效率的权衡，并给出有原则的时域选择方法。
2024-09-29 cs.LG math.OC
QF: Quick Feedforward AI Model Training without Gradient Back Propagation
OxInnovate
本文提出快速前馈（QF）学习框架，通过闭式前馈激活实现Transformer模型的知识整合与训练，无需梯度反向传播，兼具资源高效性和类脑特性。
2025-07-06 cs.AI cs.LG q-bio.NC
Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form
NVIDIA（英伟达）
本文研究了前馈和循环神经网络的线性代数理论，推导了Hessian的精确表达式，并展示了权重梯度和Hessian的矩阵形式。
2017-09-16 cs.AI cs.LG cs.NA
meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
我们提出了一个简单而有效的神经网络学习技术。前向传播照常计算。在反向传播中，仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化，即仅保留顶部$k$元素（就幅度而言）。结果，仅修改权重矩阵的$k$行或列（取决于布局），导致计算成本的线性减少（$k$除以向量维度）。令人惊讶的是，实验结果表明，我们只能在每个反向传播通道更新1-4%的权重。这不会导致大量的训练迭代。更有趣的是，所得到的模型的准确性实际上得到了提高，而不是降低，并给出了详细的分析。代码可在https://github.com/lancopku/meProp上获得
2019-03-11 cs.AI cs.CL cs.CV
Reviving and Improving Recurrent Back-Propagation
University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多）；Vector Institute（向量研究所）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）；Canadian Institute for Advanced Research（加拿大高等研究院）
在本文中，我们重新审视了递归反向传播（RBP）算法，讨论了它适用的条件以及如何在深度神经网络中满足这些条件。我们证明了RBP可能是不稳定的，并提出了两个变体的基础上共轭梯度的正规方程（CG-RBP）和Neumann系列（Neumann-RBP）。我们进一步研究了Neumann-RBP和时间反向传播（BPTT）及其截断版本（TBPTT）之间的关系。我们的Neumann-RBP具有与TBPTT相同的时间复杂度，但只需要恒定的内存，而TBPTT的内存成本与截断步骤的数量线性缩放。我们研究了所有RBP变体以及BPTT和TBPTT在三个不同的应用领域：连续Hopfield网络的联想记忆，引文网络中使用图神经网络的文档分类和全连接网络的超参数优化。所有的实验表明，RBP，特别是Neumann-RBP变体，是高效和有效的优化收敛递归神经网络。代码发布于：\url{https://github.com/lrjconan/RBP}。
2019-11-06 cs.LG stat.ML
Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons
Chalmers University of Technology（查尔姆斯理工大学）
本文提出基于能量的二元神经元模型 dual propagation，用两个内在状态的差值与均值编码误差和活动，只需一次逐层闭式推理；实验显示其在 Imagenet32x32 等数据集上准确率和运行时间均与反向传播等效。
2023-06-07 cs.LG
Efficient Neural Network Training via Forward and Backward Propagation Sparsification
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Google Research（谷歌研究院）
稀疏训练是加快深度神经网络训练速度和节省内存使用的自然想法，特别是因为大型现代神经网络明显过度参数化。然而，大多数现有的方法在实践中不能实现这一目标，因为基于链规则的梯度（w.r.t.结构参数）估计至少在反向传播步骤中需要密集计算。本文通过提出一种有效的稀疏训练方法来解决这个问题，该方法具有完全稀疏的向前和向后传递。我们首先制定的训练过程中作为一个连续的全局稀疏约束下的最小化问题。然后，我们将优化过程分为两个步骤，对应的权重更新和结构参数更新。对于前一步，我们使用传统的链规则，它可以通过利用稀疏结构稀疏。对于后一步，而不是在现有的方法中使用基于链规则的梯度估计，我们提出了一个方差减少的策略梯度估计，它只需要两个前向通过没有向后传播，从而实现完全稀疏的训练。我们证明了我们的梯度估计的方差是有界的。在真实世界数据集上的大量实验结果表明，与以前的方法相比，我们的算法在加速训练过程方面更有效，快了一个数量级。
2021-11-10 cs.AI cs.CV cs.LG
Training Simplification and Model Simplification for Deep Learning: A Minimal Effort Back Propagation Method
Peking University（北京大学）
我们提出了一种简单而有效的技术来简化神经网络的训练和结果模型。在反向传播中，仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化，即仅保留前k个元素（就幅度而言）。因此，仅修改权重矩阵的k行或k列（取决于布局），从而导致计算成本的线性降低。基于稀疏梯度，我们通过消除很少更新的行或列来进一步简化模型，这将降低训练和解码的计算成本，并可能加速实际应用中的解码。令人惊讶的是，实验结果表明，在大多数情况下，我们只需要在每次反向传播时更新不到5%的权重。更有趣的是，所得到的模型的准确性实际上得到了提高，而不是降低，并给出了详细的分析。模型简化结果表明，我们可以自适应地简化模型，通常可以减少约9倍，而不会损失任何准确性，甚至提高准确性。这些代码，包括扩展名，可在www.example.com上获得
2019-03-12 cs.LG stat.ML
Closed-loop deep learning: generating forward models with back-propagation
University of Glasgow（格拉斯哥大学）
反射是一种简单的闭环控制方法，它试图最大限度地减少错误，但由于总是反应太晚而无法做到这一点。自适应算法可以使用该误差来在预测线索的帮助下学习前向模型。例如，驾驶员学会通过向前看来改善他们的转向，以避免在最后一分钟转向。为了处理复杂的线索，如前面的道路，深度学习是一个自然的选择。然而，这通常仅通过采用具有离散状态空间的深度强化学习来间接实现。在这里，我们展示了如何通过将深度学习嵌入到闭环系统中并保持其连续处理来直接实现这一点。我们具体展示了如何在z空间中实现误差反向传播，以及如何在这种闭环情况下分析基于梯度的方法。这种学习模式的性能证明使用线跟随器在模拟和一个真正的机器人，表现出非常快速和连续的学习。
2020-01-13 cs.AI cs.LG cs.RO
Classification of normal/abnormal heart sound recordings based on multi-domain features and back propagation neural network
Dalian University of Technology（大连理工大学）；Dalian Minzu University（大连民族大学）
本文旨在将单个PCG记录分类为正常或异常，以便计算机辅助诊断。针对这一挑战提出的框架有四个步骤：预处理，特征提取，训练和验证。在预处理步骤中，记录被分割成四个状态，即，通过Springer分割算法得到第一心音、收缩间期、第二心音和舒张间期。在特征提取步骤中，作者从多个域中提取324个特征以执行分类。采用BP神经网络作为预测模型。根据模型正常和异常输出的统计量确定区分正常和异常的最佳阈值。通过六个训练集测试，所提出的预测器的性能是灵敏度0.812和特异性0.860（总体准确度为0.836）。然而，对于隐藏测试集，性能降低到灵敏度0.807和特异性0.829（总体准确度为0.818）。
2018-10-17 cs.LG eess.SP stat.ML
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出一种无需反向传播的优化式结构化剪枝方法，通过在概率空间中学习伯努利分布采样剪枝掩码，并利用策略梯度优化，实现大语言模型的高效全局异构剪枝。
2025-07-03 cs.CL cs.LG stat.ML
Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）；Center for Biomolecular Nanotechnologies, Istituto Italiano di Tecnologia（意大利技术研究院生物分子纳米技术中心）；School of Medical Sciences, University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP）医学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出ISNet方法，通过优化逐层相关性传播热力图抑制背景偏差和捷径学习，在胸部X光片分类等任务中显著提升深度神经网络对分布外数据的泛化鲁棒性。
2024-01-10 cs.CV cs.LG eess.IV
