ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks
University of Alberta（阿尔伯塔大学）
梯度下降和反向传播使神经网络在许多现实世界的应用中取得了显着的成果。尽管不断取得成功，但用梯度下降训练神经网络可能是一件缓慢而费力的事情。我们提出了一种简单但更快的训练算法，称为零阶松弛反向传播（ZORB）。ZORB不计算梯度，而是使用目标的伪逆来反向传播信息。ZORB旨在减少训练深度神经网络所需的时间，而不会影响性能。为了说明速度的提高，我们在MNIST上训练了一个具有11层的前馈神经网络，并观察到ZORB的收敛速度比Adam快300倍，同时实现了相当的出错率，而无需任何超参数调整。我们还将ZORB的范围扩展到卷积神经网络，并将其应用于CIFAR-10数据集的子样本。对标准分类和回归基准的实验证明了ZORB相对于传统的带有梯度下降的反向传播的优势。
2020-11-17 cs.LG cs.NE stat.ML
A samplewise backpropagation method for neural networks driven by fractional Brownian motion
提出分数布朗运动驱动的残差随机神经网络，通过离散随机最大值原理构建伴随递归，证明投影样本随机梯度下降的均方收敛性，实验表明分数驱动在长记忆恢复和鲁棒性上优于布朗和确定性基线。
2026-10-09 cs.LG math.OC
A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
National Institute of Standards and Technology（美国国家标准与技术研究院）；University Colorado Boulder（科罗拉多大学博尔德分校）
提出无需反向传播的MGD零阶优化框架，可在线训练模拟或数字硬件神经网络，在CIFAR-10和Fashion-MNIST上表现可比反向传播，且现实硬件条件下训练速度快数个数量级。
2023-03-05 cs.LG cs.NE
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University（南卫理公会大学）
最近，机器学习中的神经网络在早期处理层中使用整流线性单元（ReLU）以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明，输出激活概率Pr[y>0]在系统收敛时通常小于0.5，对于不采用跳跃连接的层，并且随着从输入层到输出层的进展，该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型，然后我们进行统计收敛分析，以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度，无论权重如何初始化，这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University（斯坦福大学）
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后，我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外，我们得到了一个关于对偶变量的充分条件，该条件确保非凸目标的平稳点是凸目标的KKT点，从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布，如正交可分数据，我们证明了这一充分条件成立。因此，非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Limitations of neural network training due to numerical instability of backpropagation
University of Vienna（维也纳大学）
本研究证明在浮点数梯度计算下，梯度下降训练难以保持ReLU网络仿射片段超线性增长，与理论构造的指数增长序列差异显著，数值实验验证了该结论。
2023-11-15 cs.LG math.FA stat.ML
Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches
Amirkabir University of Technology（阿米拉比尔理工大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
人们进行了许多尝试来改进自适应滤波器，这些自适应滤波器也可以用于改进反向传播（BP）。归一化最小均方（NLMS）算法是最小均方（LMS）算法中最成功的算法之一。然而，它的扩展到多层神经网络还没有发生过。在这里，我们首先表明，它是可以考虑的多层神经网络作为一个堆栈的自适应滤波器。此外，我们引入了比仿射投影算法（APA）中复杂的几何解释更易于理解的NLMS解释，用于单个全连接（FC）层，可以很容易地推广到例如卷积神经网络，并且在小批量训练中也能更好地工作。有了这个新的观点，我们引入了一个更好的算法，通过预测，然后校正的不良后果，发生在BP的行动，甚至在他们发生之前。最后，所提出的方法是兼容的随机梯度下降（SGD）和适用于基于动量的衍生工具，如RMSProp，亚当，NAG。我们的实验表明，我们的算法在训练深度神经网络的有用性。
2021-01-02 cs.LG stat.ML
Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
Nice, France（法国尼斯）
提出Dijkstra剪枝网内学习（D-INL），通过保留融合节点处的容量感知最短路径树移除非树链接，并建模有限速率随机门控以平衡稀疏性与预测信息，在分布式分类实验中减少70.4%的训练交换量且保持精度。
2026-05-22 cs.IT cs.LG math.IT
Fast and Interpretable Autoregressive Estimation with Neural Network Backpropagation
IEETA/DETI/LASI, University of Aveiro（IEETA/DETI/LASI，阿维罗大学）
本文提出利用神经网络反向传播进行自回归估计，通过嵌入自回归结构到前馈网络中，实现参数估计的同时保持可解释性，实验表明该方法在计算效率和稳定性上优于传统方法。
2026-03-19 cs.LG stat.ML
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology（麻省理工学院）
最近的工作已经研究了在神经切线核（NTK）制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多，我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论，我们从理论上证明了梯度下降驱动分层权重更新，这些更新与由误差加权的输入活动相关性一致，并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机，反向传播自由学习规则，理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则，并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度，这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Learning to learn with backpropagation of Hebbian plasticity
The Neurosciences Institute（神经科学研究所）
赫布可塑性是一个强大的原则，允许生物大脑从他们的一生经验中学习。相比之下，用反向传播训练的人工神经网络通常具有固定的连接权重，一旦训练完成就不会改变。虽然最近的方法可以赋予神经网络长期记忆，但赫布可塑性目前不适合梯度下降。在这里，我们推导出解析表达式的活动梯度神经网络与赫布塑料连接。使用这些表达式，我们可以使用反向传播来训练连接的基线权重，还可以训练它们的可塑性。因此，网络“学习如何学习”，以解决手头的问题：经过训练的网络在其生命周期内自动对不可预测的环境特征进行快速学习，扩大了可解决问题的范围。我们在各种在线学习任务上测试了该算法，包括模式完成，一次性学习和反向学习。该算法成功地学习如何从一次性指令中学习相关关联，并微调可塑性的时间动态，以允许响应于变化的环境参数进行持续学习。我们的结论是，反向传播的赫布可塑性提供了一个强大的模型，终身学习。
2016-10-19 cs.AI cs.LG cs.NE
Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks
Shahid Beheshti University（沙希德·贝赫什提大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出了一种新的逐步学习方法，通过求解约束优化问题来估计期望前提部分的输出。这种学习方法不需要反向传播输出误差来学习前提部分的参数。相反，估计规则前提部分的接近最佳的输出值，并且改变它们的参数以减小当前前提部分的输出与估计的期望输出之间的误差。因此，所提出的学习方法避免了误差反向传播，这会导致梯度消失，从而陷入局部最优。该方法不需要任何初始化方法。利用这种学习方法训练一个新的Takagi-Sugeno-Kang（TSK）模糊神经网络，其模糊规则在前件和后件中都包含许多参数，避免了由于梯度消失而陷入局部最优。为了学习所提出的网络参数，首先，引入并求解约束优化问题以估计前提部件的输出值的期望值。接着，利用这些值与当前值之间的误差，基于梯度下降（GD）方法来调整前提部件的参数。然后利用期望输出与网络输出的误差，通过GD方法学习后件的参数。所提出的范例被成功地应用到现实世界的时间序列预测和回归问题。根据实验结果，它的性能优于其他方法具有更简约的结构。
2021-11-20 cs.AI cs.LG
Training Multi-layer Spiking Neural Networks using NormAD based Spatio-Temporal Error Backpropagation
Indian Institute of Technology Bombay（印度理工学院孟买分校）；New Jersey Institute of Technology（新泽西理工学院）
脉冲神经网络（SNN）在监督学习和无监督学习应用中引起了人们的极大兴趣。本文研究多层前馈神经网络的训练问题。尖峰神经元采用的非线性积分和激发动力学使得难以训练SNN以响应于给定输入生成期望的尖峰序列。为了解决这个问题，首先将训练多层SNN的问题公式化为优化问题，使得其目标函数基于膜电位的偏差而不是尖峰到达时刻。然后，一种名为归一化近似下降（NormAD），手工制作的非凸优化问题的优化方法，推导出迭代突触权重更新规则。接下来，它被重新制定，以有效地训练多层SNN，并被证明是有效地执行时空误差反向传播。通过训练$2$层SNN以解决XOR问题的基于尖峰的公式化以及训练$3$层SNN以用于基于一般尖峰的训练问题来验证学习规则。因此，新算法是构建能够进行有效事件触发学习的深度脉冲神经网络的关键一步。
2019-07-29 cs.LG cs.NE eess.SP
An induction proof of the backpropagation algorithm in matrix notation
Institute of Psychology（心理学研究所）；Center for Behavioral Brain Sciences（行为脑科学研究中心）；Otto-von-Guericke Universität Magdeburg（奥托·冯·格里克马格德堡大学）
反向传播（BP）是神经网络的当代深度学习化身的核心组件。简而言之，BP是一种利用神经网络的计算架构来在神经网络参数优化期间有效地评估成本函数的梯度的算法。BP算法的有效性依赖于将多元链式规则应用于神经网络的计算结构及其相关的目标函数。对深度学习理论的介绍通常以矩阵形式呈现神经网络的计算架构，但避免在矩阵微分框架中对BP进行并行公式化和证明。这给深度学习的理论和教学带来了一些缺点。在这项工作中，我们克服了这些限制，提供了一个完整的归纳证明的BP算法的矩阵符号。具体地说，我们将BP算法引入矩阵微分的框架中，引入仿射线性势函数，以归纳形式证明了BP算法的有效性，并给出了矩阵形式BP算法的计算机代码实现。
2021-07-20 cs.LG math.ST q-bio.NC
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras；Tesla（特斯拉）；Cerebras Systems, Inc（Cerebras Systems 公司）；Google（谷歌）
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发，探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中，我们评估使用小批量，细粒度的流水线反向传播，异步流水线并行训练算法，具有显着的硬件优势。我们介绍了两种方法，尖峰补偿和线性权重预测，有效地减轻了由流水线反向传播的并行性造成的缺点，并在我们的设置中优于现有技术。我们表明，适当的规范化和小批量也可以帮助训练。使用我们的方法，使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练，而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
Deep learning for pedestrians: backpropagation in CNNs
SAP Labs（SAP实验室）
本文档的目标是提供一个教学介绍，介绍使用梯度下降训练深度神经网络的主要概念;这一过程称为反向传播。虽然我们关注的是一类非常有影响力的架构，称为“卷积神经网络“（CNN），但这种方法对整个机器学习社区来说是通用和有用的。由于观察到反向传播的推导经常被笨拙的索引重叙述所掩盖，这些叙述看起来有点抽象，我们的目标是提供一个概念清晰的向量化描述，很好地表达了更高层次的逻辑。遵循“写作是自然的方式，让你知道你的思维是多么草率”的原则，我们试图使计算细致，自成一体，但尽可能直观。没有什么是理所当然的，充足的插图作为视觉指南和广泛的参考书目提供了进一步的探索。(For为了清楚起见，长的数学推导和可视化被分解为短的“概括视图”和长的“详细视图”，作为可选内容组被编码到PDF中。有些图包含动画，旨在以更吸引人的方式说明重要概念。出于这些原因，我们建议您在本地下载该文档，并使用Adobe Reader打开它。其他查看器未经过测试，可能无法正确呈现详细视图和动画。）
2018-11-29 cs.AI cs.CV cs.LG
A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation
SUNY at Buffalo（纽约州立大学布法罗分校）
我们描述了递归神经网络（RNNs），它已经吸引了大量的关注顺序任务，如手写识别，语音识别和图像到文本。然而，与一般的前馈神经网络相比，RNN具有反馈回路，这使得理解反向传播步骤有点困难。因此，我们专注于基础知识，特别是误差反向传播来计算模型参数的梯度。此外，我们详细介绍了如何通过展开存储单元将误差反向传播算法应用于长短期记忆（LSTM）。
2018-01-14 cs.LG
MuProp: Unbiased Backpropagation for Stochastic Neural Networks
University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
深度神经网络是强大的参数模型，可以使用反向传播算法进行有效训练。随机神经网络结合了大参数函数和图形模型的能力，这使得学习非常复杂的分布成为可能。然而，由于反向传播不直接适用于在其计算图中包括离散采样操作的随机网络，因此训练此类网络仍然很困难。我们提出了MuProp，一个随机网络的无偏梯度估计器，旨在使这项任务更容易。MuProp通过使用基于平均场网络的一阶泰勒展开的控制变量来减少其方差，从而改进了似然比估计。至关重要的是，与之前使用反向传播训练随机网络的尝试不同，所得到的估计量是无偏的，并且表现良好。我们在结构化输出预测和离散潜变量建模方面的实验表明，MuProp在一系列困难的任务中都能获得始终如一的良好性能。
2016-02-25 cs.LG
SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic, Inc.（Neural Magic公司）
我们提供了一个新的有效版本的反向传播算法，专门用于正在训练的神经网络的权重是稀疏的情况。我们的算法是通用的，因为它适用于任意（非结构化）稀疏和常见的层类型（例如，卷积的或线性的）。我们在商用CPU上提供了一个快速的矢量化实现，并表明它可以在端到端的运行时实验中产生加速，无论是在使用已经稀疏化的网络的迁移学习中，还是在从头开始训练稀疏网络中。因此，我们的研究结果为商品硬件上的稀疏训练提供了第一个支持。
2023-02-09 cs.LG
Equivalence of Equilibrium Propagation and Recurrent Backpropagation
MILA, Université de Montréal（蒙特利尔大学MILA）
循环反向传播和平衡传播是定点循环神经网络的监督学习算法，它们在第二阶段有所不同。在第一阶段，两种算法收敛到一个固定点，该点对应于进行预测的配置。在第二阶段，平衡传播松弛到对应于较小预测误差的另一个附近的固定点，而递归反向传播使用侧网络迭代计算误差导数。在这项工作中，我们建立了这两个算法之间的密切联系。我们表明，在第二阶段的每一个时刻，在平衡传播的神经活动的时间导数等于在侧网络中通过递归反向传播迭代计算的误差导数。这项工作表明，它是不需要有一个侧网络的计算误差衍生物，并支持的假设，在生物神经网络，时间衍生物的神经活动可能代码的错误信号。
2018-05-22 cs.LG
DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation
Cornell University（康奈尔大学）
消失和爆炸梯度问题是研究得很好的障碍，使得循环神经网络很难学习长期的时间依赖性。我们提出了一种标准循环神经网络的重新参数化，通过Givens旋转以可证明的范数保持方式更新线性变换。此外，我们使用绝对价值函数作为逐元素非线性，以保持整个网络上反向传播信号的范数。我们表明，这种重新参数化减少了参数的数量，并保持相同的算法复杂度作为一个标准的递归神经网络，同时优于标准的递归神经网络与正交初始化和长短期记忆网络的复制问题。
2016-12-13 cs.LG
Analytically Tractable Inference in Deep Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
自诞生以来，深度学习一直非常依赖于反向传播和基于梯度的优化算法，以学习权重和偏置参数值。可处理近似高斯推理（TAGI）算法被证明是一种可行的和可扩展的替代反向传播的浅全连接神经网络。在本文中，我们演示了TAGI如何匹配或超过反向传播的性能，用于训练经典的深度神经网络架构。虽然TAGI的计算效率仍然低于依赖于反向传播的确定性方法，但它在分类任务上优于它们，并且在使用较少时期训练的较小架构的同时，与信息最大化生成对抗网络的性能相匹配。
2021-03-09 cs.LG
Chi-Square Test Neural Network: A New Binary Classifier based on Backpropagation Neural Network
School of Information Science and Engineering（信息科学与工程学院）；Lanzhou University（兰州大学）
我们介绍了卡方检验神经网络：一个单隐层反向传播神经网络使用卡方检验定理重新定义的成本函数和误差函数。使用标准反向传播算法修改权重和阈值。该方法的优点是在训练集和测试集上进行一致的数据分布。它可以用于二进制分类。在真实数据集上的实验结果表明，与相关方法相比，该算法能显著提高分类精度。
2018-09-04 cs.LG stat.ML
Empirical Results for Adjusting Truncated Backpropagation Through Time while Training Neural Audio Effects
Arturia（Arturia公司）；IMS, UMR CNRS 5218（CNRS UMR 5218数学研究所）；ENSC, Bordeaux INP（波尔多国立高等认知科学学院（波尔多国立理工学院））；Inria Bordeaux（波尔多法国国家信息与自动化研究所）
本文通过实验证明，优化TBPTT参数能提升神经音频效果模型的准确性和稳定性，同时减少计算成本并保持高质量的感知效果。
2025-12-08 cs.LG
Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients
Beijing Jiaotong University（北京交通大学）
尽管存在一些写得很好的解释和/或推导，但人们普遍认为神经网络的反向传播算法很难理解。本文基于导数放大系数的概念，给出了该算法的一种新的推导方法。首次提出的作者完全连接的级联网络，这一概念被发现，以及结转到传统的前馈神经网络，它铺平了道路，使用数学归纳法建立一个关键的结果，使反向传播的衍生放大系数。然后，我们建立了衍生放大系数和误差系数（通常被称为在文献中的错误）之间的联系，并表明，相同的反向传播过程可以用于误差系数。因此，整个推导过程是严格、简单和优雅的。
2022-04-30 cs.LG
Local learning for stable backpropagation-free neural network training towards physical learning
Department of Materials Science and Engineering, Delft University of Technology（材料科学与工程系，代尔夫特理工大学）；Department of Precision and Microsystems Engineering, Delft University of Technology（精密与微系统工程系，代尔夫特理工大学）；Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学）
本文提出FFzero框架，通过局部学习、原型表示和方向导数优化实现无反向传播的神经网络训练，适用于多层感知机和卷积神经网络的分类与回归任务。
2026-04-19 cs.CE cs.LG
Efficient Training of Neural Fractional-Order Differential Equation via Adjoint Backpropagation
University of Science and Technology of China（中国科学技术大学）；Anhui University（安徽大学）；Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；Lanzhou University（兰州大学）
针对神经分数阶微分方程训练内存占用高、计算复杂度大的问题，提出基于反向求解增广FDE的可扩展伴随反向传播方法，在保证性能的同时显著降低计算开销。
2025-03-20 cs.LG
Quaternion Backpropagation
South Westphalia University of Applied Science（西南法伦应用科学大学）
四元数值神经网络在过去的几年里经历了越来越多的流行和研究人员的兴趣，其中优化所需的关于四元数的导数被计算为关于实部和虚部的偏导数之和。然而，我们可以证明，产品和链式规则并不适用于这种方法。我们通过采用GHR演算来解决这个问题，并在此基础上推导出四元数反向传播。此外，我们通过实验证明了四元数反向传播的功能。
2022-12-26 cs.LG
Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
Damanhour University（达曼胡尔大学）
本文全面综述了复值神经网络（CVNNs）在反向传播算法和激活函数方面的最新进展，探讨了三种复数反向传播算法，分析了完全复数和分裂激活函数的设计挑战，并引入了一组新的复值激活函数以推动该领域的持续研究。
2024-07-27 cs.LG
Stabilizing Backpropagation in 16-bit Neural Training with Modified Adam Optimizer
Stony Brook University, Department of Computer Science, United States（石溪大学计算机科学系, 美国）；OpenNN Lab, MODULABS, Republic of Korea（开放神经网络实验室, MODULABS, 韩国）
本研究针对16位神经网络训练中Adam优化器存在的数值不稳定问题，发现epsilon超参数是主要诱因，提出微调epsilon的改进方法以稳定训练，为低精度计算下的可靠模型部署提供支撑。
2025-06-17 cs.LG
Backpropagation Through Time For Networks With Long-Term Dependencies
本文提出一种基于“离散前向灵敏度方程”及其变体的精确BPTT方法，用于解决RNNs中因长期依赖导致传统梯度近似算法失效的问题。
2025-06-25 cs.LG
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten（肯普滕应用科学大学）
这项工作结合了卷积神经网络（CNN），通过自组织映射（SOM）和Hebbian学习进行聚类，提出了卷积自组织神经网络（CSNN）的构建模块，它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层，并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码，以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示，实现了与许多使用反向传播的方法相当的性能，同时我们在Cifar10上达到了相当的性能，并在Cifar100，Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
General Backpropagation Algorithm for Training Second-order Neural Networks
人工神经网络是机器学习中的一个流行框架。为了增强单个神经元的能力，我们最近建议将当前类型的神经元升级为二阶神经元，其中神经元输入和相关权重之间的线性运算被非线性二次运算取代。单个二阶神经元已经具有很强的非线性建模能力，例如实现基本的模糊逻辑运算。在本文中，我们开发了一个通用的反向传播（BP）算法，训练的网络由二阶神经元。最后通过数值实验验证了广义BP算法的有效性.
2017-08-17 cs.LG stat.ML
Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML
提出 Grad-Instructor，用深度强化学习训练的 ENN 作为反向传播附加评估函数，提升 MLP 准确率并通过 Grad-CAM 增强可解释性。
2024-06-15 cs.LG
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Time Series Compression using Quaternion Valued Neural Networks and Quaternion Backpropagation
South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）
本文提出一种四元数时间序列压缩方法，利用四元数封装分段统计特征，并通过GHR微积分推导四元数反向传播训练四元数神经网络，在Tennessee Eastman Dataset的故障分类任务中优于实数模型及基线方法，提升了SimCLR-TS基准。
2024-03-25 cs.LG
Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization
Ehime University（爱媛大学）
本文提出不依赖反向传播或权重更新的阶跃激活全连接网络，通过训练类别平均输出向量与测试输出的相似度完成MNIST识别，最高约80%准确率，证明神经网络可仅凭前馈传播信息。
2024-08-18 cs.LG
Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks
University of Oxford（牛津大学）；MRC Brain Network Dynamics Unit（医学研究理事会脑网络动力学单元）；Hebei University of Technology（河北工业大学）
预测编码网络（PCNs）是大脑中信息处理的一种有影响力的模型。他们有吸引人的理论解释，并提供了一个单一的机制，占大脑的各种感知现象。另一方面，反向传播（BP）通常被认为是现代机器学习中最成功的学习方法。因此，令人兴奋的是，最近的工作制定了推理学习（IL），训练PCN近似BP。然而，存在几个剩余的关键问题：（i）IL是BP的近似，具有不现实/非平凡的要求，（ii）IL在单步权重更新中近似BP;在进行更多步骤的权重更新之后，它是否导致与BP相同的点是未知的，以及（iii）IL在计算上比BP显著更昂贵。为了解决这些问题，已经提出了IL的一种变体，其在全连接网络中严格等价于BP。在这项工作中，我们建立在这个结果的基础上，表明它也适用于更复杂的架构，即卷积神经网络和（多对一）循环神经网络。据我们所知，我们是第一个证明生物学上合理的算法能够在如此复杂的架构上精确地复制BP的准确性，弥合IL和BP之间的现有差距，并为PCN设置前所未有的性能，现在可以被认为是BP的有效替代品。
2021-03-05 cs.LG
Concept backpropagation: An Explainable AI approach for visualising learned concepts in neural network models
Norwegian University of Science and Technology（挪威科技大学）
针对神经网络黑盒不可解释的问题，提出概念反向传播方法，通过概念探针引导输入扰动最大化目标概念，实现概念在输入空间的可视化，可用于分析概念信息内化方式与表征纠缠程度。
2023-07-24 cs.LG
Supervised Learning in Temporally-Coded Spiking Neural Networks with Approximate Backpropagation
University of Minnesota（明尼苏达大学）；University of Surrey（萨里大学）；University of Applied Sciences, Stralsund（施特拉尔松德应用科学大学）
在这项工作中，我们提出了一种新的监督学习方法的时间编码的多层尖峰网络进行分类。该方法采用模拟反向传播但计算密集度低得多的强化信号。在每一层的权重更新计算仅需要除了该信号之外的本地数据。我们还采用了一种能够产生特定输出尖峰序列的规则;通过将目标尖峰时间设置为等于实际尖峰时间，并对关键高值神经元进行轻微的负偏移，实际尖峰时间变得尽可能早。在模拟的MNIST手写数字分类中，用该规则训练的两层网络与基于反向传播的无尖峰网络的性能相匹配。
2020-07-27 cs.LG cs.NE
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
Tufts University（塔夫茨大学）；Microsoft Research（微软研究院）
我们提出了RNNbow，一个交互式工具，用于在循环神经网络的反向传播训练过程中可视化梯度流。RNNbow是一个Web应用程序，它显示来自序列元素邻域中的递归神经网络（RNN）单元的相对梯度贡献。我们描述了时间反向传播（BPTT）的计算，该计算跟踪逐项梯度，或从序列的一个元素到序列的先前元素的梯度贡献。通过可视化梯度，而不是激活，RNNbow提供了对网络如何学习的洞察。我们用它来探索RNN的学习，RNN被训练成用C程序设计语言生成代码。我们展示了它如何揭示对消失梯度的洞察以及RNN在语料库中工作时训练的演变。
2019-07-29 cs.LG cs.NE
Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）
脉冲神经网络（SNN）非常适合于时空学习和能量高效的事件驱动神经形态处理器上的实现。然而，现有的SNN误差反向传播（BP）方法缺乏适当的处理尖峰不连续性和遭受低性能相比，传统的人工神经网络的BP方法。此外，通常需要大量的时间步长来实现良好的性能，导致高延迟，并使基于尖峰的计算无法扩展到深度架构。我们提出了一种用于训练深度SNN的新的时间尖峰序列学习反向传播（TSSL-BP）方法，该方法打破了两种类型的神经元间和神经元内依赖性的错误反向传播，并提高了时间学习精度。它通过考虑放电活动的全或无特征来捕获突触前放电时间的神经元间依赖性，并通过及时处理每个神经元状态的内部演变来捕获神经元内依赖性。TSSL-BP在几个步骤的大大缩短的时间窗口内有效地训练深度SNN，同时提高包括CIFAR 10在内的各种图像分类数据集的准确性。
2021-06-07 cs.LG cs.NE
Fractional-order Backpropagation Neural Networks: Modified Fractional-order Steepest Descent Method for Family of Backpropagation Neural Networks
Sichuan University（四川大学）；China University of Petroleum（中国石油大学）
本文提供了一种新的数学方法，改进的分数阶最速下降法（FSDM）用于训练反向传播神经网络（BPNN）;这与大多数以前的方法不同。分数阶微积分是一种很有前途的数学方法，由于其固有的优势，如长期记忆、非局部性和弱奇异性，它有可能在神经网络和控制论的应用中发挥重要作用。因此，为了提高经典的一阶BPNN的优化性能，在本文中，我们研究是否有可能修改FSDM和推广经典的一阶BPNN修改FSDM基于分数阶反向传播神经网络（FBPNN）。受此启发，本文提出了一个国家的最先进的分数阶微积分的应用程序，以实现一个修改的FSDM基于FBPNN的反向增量搜索是在负方向的近似分数阶偏导数的平方误差。首先，从数学上描述了一种改进的基于FSDM的FBPNN的理论概念。然后，详细分析了基于FSDM的改进FBPNN的分数阶全局最优收敛性的数学证明、结构假设以及分数阶多尺度全局最优性。最后，我们进行了比较实验，并将改进的基于FSDM的FBPNN与经典的一阶BPNN（即，一个示例函数近似，分数阶多尺度全局优化，以及两个与真实数据的比较性能。改进的基于FSDM的FBPNN的分数阶多尺度全局优化的更有效的最优搜索能力以确定全局最优解是优于经典的一阶BPNN的主要优点。
2019-07-10 cs.LG cs.NE eess.SP
Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
近年来，对卷积神经网络进行深度学习成为一种趋势。然而，许多经验证据表明，性能改善不能简单地通过堆叠更多的层。在本文中，我们认为这个问题从信息理论的角度来看，并提出了一种新的方法中继反向传播，鼓励传播的有效信息通过网络在训练阶段。该方法在ILSVRC 2015场景分类挑战赛中获得第一名。在两个具有挑战性的大规模数据集上的大量实验表明，我们的方法的有效性不限于特定的数据集或网络架构。我们的模型稍后将提供给研究界。
2016-04-03 cs.CV cs.LG
Efficient Deep Learning with Decorrelated Backpropagation
Department of Machine Learning and Neural Computing（机器学习与神经计算系）；Donders Institute for Brain, Cognition and Behaviour（大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
针对大规模深度神经网络训练计算成本高的问题，本文提出一种低开销全网络输入去相关算法，结合去相关反向传播机制，使深度残差网络训练速度提升两倍以上且精度更高，为高效深度学习提供新方向。
2025-11-11 cs.LG
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University（普渡大学）；Nanoelectronics Research Laboratory（纳米电子学研究实验室）
脉冲神经网络（SNN）正在探索其潜在的能源效率，从稀疏，事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络（SNN）的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是，触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数，以及传统的错误损失，导致反向传播学习算法，以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持，存在许多具有有效等效精度的解状态。因此，在该多目标优化过程中，在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外，我们还探索了一种模拟退火启发的损失加权技术，随着训练时间的增加，增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示，与仅针对准确性训练的等效SNN相比，具有等准确性的尖峰活动减少了70.1%，并且如果允许分类准确性降低1%的权衡，尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation
Singapore Management University（新加坡管理大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
与实权多层神经网络相比，二进制多层神经网络（BMNN）可以在专用硬件上更有效地实现。BMNN已被证明是有效的二进制分类任务的期望反向传播（EBP）算法在高维文本数据集。在本文中，我们研究的能力，BMNN使用EBP算法对多类图像分类任务。在MNIST上研究了具有多隐层和不同隐层单元数的二进制神经网络的性能。我们还探讨了图像空间滤波器的有效性和BMNN的辍学技术。在MNIST数据集上的实验结果表明，EBP在二进制权值下的测试误差为2.12%，在实权值下的测试误差为1.66%，与标准的BP算法在全连接MNN上的测试误差相当.
2015-03-22 cs.CV cs.LG cs.NE
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
传统的误差反向传播，虽然是一个非常成功的算法，用于学习人工神经网络模型，包括功能，这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法，即使用自上而下的神经活动模型，将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后，这些目标可以用于生成用于网络训练的权重更新。然而，到目前为止，目标传播已经被证明是不等价的反向传播。在这里，我们推导出反向传播和目标传播（GAIT-道具）的修改形式之间的确切对应关系，其中目标是向前传递的小扰动。具体来说，当突触权重矩阵正交时，反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中，我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
Algorithmic Complexities in Backpropagation and Tropical Neural Networks
本文提出了一种新的技术，通过使用热带实数矩阵代替实数矩阵来降低神经网络训练的算法复杂度。由于热带算法用加法代替乘法，用最大值代替加法，理论上我们在训练阶段的时间复杂度上实现了几个数量级的更好的常数因子。事实上，我们用实数的热带半环代替实数域，但通过神经网络获得相同的分类结果，这来自于拓扑和分析中的深入结果，我们在我们的笔记中验证了这一点。然后，我们探讨人工神经网络的热带算术和热带代数几何，并介绍了多层热带神经网络的通用逼近。在给出反向传播算法的热带重构后，我们验证了算法的复杂性大大低于通常的反向传播，因为热带算法没有通常乘法的复杂性。
2021-01-03 cs.CC cs.LG math.AG
A Bayesian regularization-backpropagation neural network model for peeling computations
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；RWTH Aachen University（亚琛工业大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Gdańsk University of Technology（格但斯克理工大学）
采用贝叶斯正则化-反向传播神经网络（BR-BPNN）模型对壁虎铲剥离过程中的最大法向和切向剥离力以及剥离合力角随剥离角的变化规律进行了预测。为了提高模型的有效性，采用了K折交叉验证方法。输入数据取自有限元（FE）剥离结果。神经网络用75%的FE数据集进行训练。剩余的25%用于预测剥离行为。针对隐层神经元数量的每次变化评估训练性能，以确定最佳网络结构。计算了相对误差，以便将预测结果与有限元结果进行比较。结果表明，BR-BPNN模型结合k-折叠技术具有显着的潜力，以估计剥离行为。
2022-01-24 cs.CE cs.LG
QuCNN : A Quantum Convolutional Neural Network with Entanglement Based Backpropagation
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Fordham University（福特汉姆大学）
量子机器学习仍然是量子计算中一个高度活跃的领域。这些方法中的许多方法已经将经典方法适应于量子设置，例如QuantumFlow等。我们推动了这一趋势，并展示了经典卷积神经网络对量子系统的适应-即QuCNN。QuCNN是一个基于参数化多量子态的神经网络层，计算每个量子滤波器状态和每个量子数据状态之间的相似性。使用QuCNN，可以通过单个辅助量子比特量子例程实现反向传播。通过在MNIST图像的一个小子集上应用具有数据状态和滤波器状态的卷积层，比较反向传播的梯度，并针对理想目标状态训练滤波器状态，来验证QuCNN。
2022-10-11 cs.LG quant-ph
Training all-mechanical neural networks for task learning through in situ backpropagation
University of Michigan（密歇根大学）
本文提出原位反向传播的机械类比方法，通过局部获取精确梯度实现机械神经网络的高效训练，并在回归、分类、任务切换及受损场景中验证了其高准确率与韧性，为机械机器学习硬件奠定基础。
2024-04-23 cs.LG physics.app-ph
