Backpropagation as a Nilpotent Linear System
Higher Institute of Informatics and Mathematics of Monastir, University of Monastir（蒙斯塔尔高等信息与数学学院，蒙斯塔尔大学）
研究将深度学习中反向传播的数学结构用F-伴随框架重新表述为线性系统，证明全局反向算子幂零，揭示其与块回代的等价性，通过数值示例展示在不同架构中的表现，并推导残差网络和迁移学习机制，提升反向传播理论。
2026-07-14 cs.LG cs.NE
Committees of deep feedforward networks trained with few data
Pattern Recognition Company GmbH（模式识别有限责任公司）；University of Lübeck（吕贝克大学）
已知深度卷积神经网络在图像分类任务上给出良好的结果。在本文中，我们提出了一种方法，以改善分类结果，通过结合多个这样的网络在一个委员会。我们采用了STL-10数据集，其中有很少的训练样本，并表明我们的方法可以达到的结果是优于国家的最先进的。网络的训练逐层，没有使用反向传播。我们还探讨了通过镜像，旋转和缩放来增强数据集的效果。
2014-06-23 cs.CV cs.NE
A Constructive Algorithm for Feedforward Neural Networks for Medical Diagnostic Reasoning
本研究旨在寻找解决复杂医学诊断的替代方案，其中人类知识应以一般方式理解。成功的应用实例表明，人类的诊断能力明显不如神经诊断系统。我们的研究描述了一个具有反向传播的构造性神经网络算法，为模式分类的近最小神经网络结构的增量构造提供了一种方法。该算法从单个隐藏层中隐藏单元的最小数量开始，每次向隐藏层添加一个额外的单元以提高网络的准确性并获得神经网络的最佳大小。我们的算法进行了测试的几个基准分类问题，包括癌症1，心脏病，糖尿病具有良好的泛化能力。
2010-09-23 cs.NE
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning
我们引入了错误前向传播，这是一种生物学上合理的机制，可以通过网络向前传播错误反馈。对于大脑中的错误反馈，连接性的架构约束几乎被消除;系统的向后连接性不被使用或不需要来提供错误反馈。反馈作为一种将功劳分配给前向通路中早期神经元的手段，因为它们对最终输出的贡献被认为用于大脑的学习。大脑如何解决信用分配问题还不清楚。在机器学习中，误差反向传播是深度多层网络中信用分配的一种非常成功的机制。反向传播需要每个神经元的对称互易连接。从生物学的角度来看，没有证据表明存在这样的架构约束，这使得反向传播不可能用于大脑中的学习。通过使用随机反馈权重来减少这种架构约束。使用随机反馈权重的模型需要每个神经元的向后连接模式，但避免对称权重和相互连接。在本文中，我们实际上消除了这种结构上的限制，只需要一个有效的误差反馈的反向环路连接。我们建议重用的前向连接提供的错误反馈，通过馈送到输入接收层的输出。这种机制，错误前向传播，是一个合理的基础，错误反馈如何发生在大脑深处，独立于复杂的网络架构的功能，但支持。我们的实验表明，两个和三个隐藏层的递归神经网络可以使用误差前向传播MNIST和时尚MNIST数据集，实现$1.90\%$和$11\%$泛化误差分别训练。
2018-08-09 cs.NE q-bio.NC
Learning Precise Spike Train to Spike Train Transformations in Multilayer Feedforward Neuronal Networks
我们推导出一个突触权重更新规则，用于学习时间上精确的尖峰训练到尖峰训练转换的多层前馈网络的尖峰神经元。该框架的目的是无缝地将误差反向传播推广到确定性尖峰神经元设置，严格基于尖峰定时，并避免调用与尖峰速率或尖峰概率模型有关的概念。推导是建立在两个创新。首先，提出了一种误差泛函，该泛函将网络的输出神经元发出的尖峰训练与期望的尖峰训练通过它们对虚拟突触后神经元的推定影响进行比较。该公式回避了尖峰对齐的需要，并导致所有感兴趣的量的封闭形式的解决方案。其次，将权重虚拟分配给尖峰而不是突触使得能够对输出的各个尖峰时间和突触权重以及网络中的所有中间神经元进行扰动分析，这产生了相对于所述实体的误差泛函的梯度。学习通过利用这些量的梯度下降机制进行。仿真实验证明了所提出的学习框架的有效性。这些实验还强调了兴奋性和抑制性神经元上突触之间的不对称性。
2016-01-08 cs.NE
A Universal Approximation Result for Difference of log-sum-exp Neural Networks
Politecnico di Torino（都灵理工大学）；IEIIT-CNR Torino（意大利国家研究委员会电子、电信与信息工程研究所都灵分部）；INRIA（法国国家信息与自动化研究所）；Ecole polytechnique（巴黎综合理工学院）
我们证明了一个神经网络，其输出作为两个前馈网络的输出的差异，指数激活函数在隐层和对数激活函数在输出节点（LSE网络）是一个光滑的通用逼近凸，紧集上的连续函数。通过使用对数变换，这类网络映射到一个家庭的减免费比率的广义posynomials，我们也证明了是普遍的逼近器的正函数的对数凸，紧凑的子集的正正交。差分-LSE网络相对于经典前馈神经网络的主要优点在于，在标准训练阶段之后，它们提供用于设计的代理模型，该代理模型具有特定的凸函数差分形式，这使得它们可经由相对有效的数值方法来优化。特别是，通过适应现有的差分凸算法，这些模型，我们得到了一个算法进行有效的优化设计。我们通过将其应用于2型糖尿病患者饮食的数据驱动设计来说明所提出的方法。
2019-05-21 cs.LG cs.NE
Biologically Plausible Learning via Bidirectional Spike-Based Distillation
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；School of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出双向脉冲基于蒸馏算法，通过联合训练前馈和反向脉冲网络，实现与反向传播相当的性能，推动生物合理神经网络学习的发展。
2026-02-11 cs.NE
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University（康奈尔大学）
用于训练前馈神经网络的反向传递的实际算法是反向传播（BP）。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而，近年来，人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器（MLP）和卷积神经网络（CNN）中达到最先进的精度。在本文中，我们分析了MLP中预测和神经元的稳定性和相似性，并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Scaling Laws Beyond Backpropagation
LightOn（LightOn公司）；Queen’s University（女王大学）；École Normale Supérieure（巴黎高等师范学院）
人们长期以来一直在研究反向传播的替代方法，以更好地理解生物大脑是如何学习的。最近，它们也作为一种更有效地训练神经网络的方法而引起了人们的兴趣。通过放松反向传播固有的约束（例如，对称前馈和反馈权重、顺序更新），这些方法实现了有前途的前景，例如局部学习。然而，不同方法在最终任务性能、收敛速度以及最终计算和数据要求方面的权衡很少被概述。在这项工作中，我们使用缩放定律来研究直接反馈对齐（DFA）的能力，训练因果解码器只有Transformers有效。缩放定律提供了建模决策所隐含的权衡的概述，直到推断它如何转移到越来越大的模型。我们发现，DFA未能提供更有效的缩放比反向传播：从来没有一个政权的退化损失所产生的使用DFA是值得的计算预算的潜在减少。我们的发现与替代训练方法社区以前的信念不同，并强调了需要整体的实证方法来更好地理解建模决策。
2022-10-26 cs.AI cs.CL cs.LG
Metaheuristic Design of Feedforward Neural Networks: A Review of Two Decades of Research
VŠB-Technical University of Ostrava（俄斯特拉发技术大学）；Machine Intelligence Research Labs (MIR Labs)（机器智能研究实验室）
在过去的二十年里，前馈神经网络（FNN）优化一直是多学科研究人员和实践者的主要兴趣。模糊神经网络的优化通常从不同的角度来考虑：权值的优化、网络结构的优化、激活节点的优化、学习参数的优化、学习环境的优化等，研究者们采用这些不同的观点主要是为了提高模糊神经网络的泛化能力。梯度下降算法如反向传播算法已被广泛应用于FNN的优化。它的成功是显而易见的，从模糊神经网络的应用到许多现实世界的问题。然而，由于基于梯度的优化方法的局限性，包括进化算法、群体智能等在内的元启发式算法，仍在广泛探索的研究人员，旨在获得广义模糊神经网络的给定问题。本文试图总结一个广泛的FNN优化方法，包括传统的和元启发式的方法。本文还尝试将FNN优化实践中出现的各种研究方向，如进化神经网络（NN）、协同进化神经网络、复值神经网络、深度学习、极限学习机、量子神经网络等联系起来，为未来的研究提供有趣的研究挑战，以应对当前的信息处理时代。
2017-05-16 cs.LG cs.NE
Training Algorithm for Neuro-Fuzzy Network Based on Singular Spectrum Analysis
在这篇文章中，我们提出了一个基于奇异谱分析（SSA）和一个标准的前馈神经预测模型的降噪算法的组合。基本上，该算法包括两个不同的步骤：数据预处理的基础上的SSA滤波方法和一步一步的训练过程中，我们使用一个简单的前馈多层神经网络与反向传播学习。所提出的降噪方法成功地去除了大部分噪声。这增加了处理后的数据集与原始数据集相比的长期可预测性。将该方法应用于国际太阳黑子数RZ时间序列的预测。结果表明，我们的组合技术具有更好的性能比直接应用于原始数据集的相同的网络提供。
2014-10-05 cs.NE stat.ME
S4NN: temporal backpropagation for spiking neural networks with one spike per neuron
Shahid Beheshti University（沙希德·贝赫什提大学）；CNRS（法国国家科学研究中心）；Universite Toulouse 3（图卢兹第三大学）
我们提出了一个新的监督学习规则的多层脉冲神经网络（SNN），使用一种形式的时间编码称为秩顺序编码。在这种编码方案下，所有神经元对每个刺激都只发射一个尖峰，但发射顺序携带着信息。特别地，在读出层中，第一个被激发的神经元决定了刺激的类别。我们推导出一种新的学习规则，这种网络，命名为S4 NN，类似于传统的误差反向传播，但基于lavelet。我们展示了如何近似的误差梯度可以向后计算的前馈网络中的任何层数。这种方法通过监督多个全连接层SNN达到了最先进的性能：MNIST数据集的测试准确率为97.4%，加州理工学院Face/Motorbike数据集的测试准确率为99.2%。然而，我们使用的神经元模型，非泄漏积分和发射，比以前所有工作中使用的模型简单得多。拟议的S4 NN的源代码可在https://github.com/SRKH/S4NN上公开获得。
2020-06-13 cs.CV cs.LG cs.NE
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain（鲁汶天主教大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
虽然误差反向传播算法能够实现深度神经网络训练，但它意味着（i）双向突触权重传输和（ii）更新锁定，直到完成前向和后向传递。这些限制不仅排除了生物相容性，而且还阻碍了边缘低成本自适应智能传感器的开发，因为它们严重限制了内存访问并带来缓冲开销。在这项工作中，我们表明，在监督分类问题中提供的一个热编码标签，表示为目标，可以被视为错误符号的代理。因此，它们的固定随机投影使隐藏层的逐层前馈训练成为可能，从而解决了权重传输和更新锁定问题，同时放松了计算和内存要求。基于这些观察结果，我们提出了直接随机目标投影（DRTP）算法，并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Biological credit assignment through dynamic inversion of feedforward networks
Champalimaud Research（尚帕利莫研究中心）；Champalimaud Centre for the Unknown（尚帕利莫未知中心）
学习依赖于大脑深处突触连接的变化。在多层网络中，这些变化由输出反馈的误差信号触发，通常通过前馈处理步骤的逐步反转。这个过程的黄金标准--反向传播--在人工神经网络中工作得很好，但在生物学上是不可信的。最近出现了一些解决这个问题的建议，但这些生物学上合理的方案中有许多是基于学习一组独立的反馈连接。这使得每个突触的错误分配变得复杂，因为它依赖于第二个学习问题，并且通过拟合反演而不是保证它们。在这里，我们证明了前馈网络变换可以通过动态有效地反转。我们从反馈控制的角度推导出这种动态逆，其中前向变换被重复使用，并与固定或随机反馈动态交互，以在后向传递过程中传播误差信号。重要的是，该方案不依赖于反馈的第二个学习问题，因为通过网络动态保证了准确的反演。我们将这些动态映射到通用前馈网络上，并表明所得到的算法在几个监督和非监督数据集上表现良好。最后，我们讨论了动态反演和二阶优化之间的潜在联系。总的来说，我们的工作介绍了另一种观点在大脑中的信用分配，并提出了一个特殊的作用，在学习过程中的时间动态和反馈控制。
2021-01-04 cs.LG cs.NE q-bio.NC
Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets
大脑中由尖峰神经元组成的循环连接网络是如何通过学习获得强大的信息处理能力的，这仍然是一个谜。这种理解的缺乏与缺乏用于尖峰神经元（RSNN）的递归网络的学习算法有关，所述递归网络既功能强大又可以通过已知的生物机制来实现。由于RSNN同时也是在神经形态硬件中实现脑启发电路的主要目标，因此缺乏算法洞察力也阻碍了该领域的技术进步。机器学习中递归神经网络学习的黄金标准是时间反向传播（BPTT），它针对给定的损失函数实现随机梯度下降。但是从生物学的角度来看，BPTT是不现实的，因为它需要在时间和空间上向后传输错误信号，即，从突触后神经元到突触前神经元我们表明，在线合并本地可用的信息，在计算过程中与合适的自上而下的学习信号，在实时提供了高能力的近似BPTT。对于任务中的错误信息只出现在网络计算的后期，我们丰富了本地可用的信息，通过前馈资格的突触，可以很容易地计算在一个在线的方式跟踪。由此产生的新一代递归神经网络学习算法提供了对大脑中网络学习的新理解，可以通过实验进行测试。此外，这些算法提供了有效的方法，在神经形态硬件的RSNN的片上训练。
2019-02-21 cs.NE
Extraction of Symbolic Rules from Artificial Neural Networks
虽然反向传播ANN通常比决策树更好地预测模式分类问题，但它们通常被视为黑盒，即，它们的预测不能解释为决策树的预测。在许多应用中，希望从训练的ANN中提取知识，以便用户更好地理解网络如何解决问题。提出并实现了一种新的规则提取算法--人工神经网络规则提取算法（REANN）。一个标准的三层前馈人工神经网络是该算法的基础。提出了一种四阶段的反向传播学习算法。通过将所提取的规则与由其他方法生成的符号规则进行比较来支持所提取的规则的显式性。提取的规则与其他方法相比，在规则的数量，规则的平均条件数，和预测精度。对乳腺癌、虹膜、糖尿病、季节分类等典型分类问题的实验结果表明，该方法具有较好的泛化能力.
2010-09-23 cs.NE
Training Multi-layer Spiking Neural Networks using NormAD based Spatio-Temporal Error Backpropagation
Indian Institute of Technology Bombay（印度理工学院孟买分校）；New Jersey Institute of Technology（新泽西理工学院）
脉冲神经网络（SNN）在监督学习和无监督学习应用中引起了人们的极大兴趣。本文研究多层前馈神经网络的训练问题。尖峰神经元采用的非线性积分和激发动力学使得难以训练SNN以响应于给定输入生成期望的尖峰序列。为了解决这个问题，首先将训练多层SNN的问题公式化为优化问题，使得其目标函数基于膜电位的偏差而不是尖峰到达时刻。然后，一种名为归一化近似下降（NormAD），手工制作的非凸优化问题的优化方法，推导出迭代突触权重更新规则。接下来，它被重新制定，以有效地训练多层SNN，并被证明是有效地执行时空误差反向传播。通过训练$2$层SNN以解决XOR问题的基于尖峰的公式化以及训练$3$层SNN以用于基于一般尖峰的训练问题来验证学习规则。因此，新算法是构建能够进行有效事件触发学习的深度脉冲神经网络的关键一步。
2019-07-29 cs.LG cs.NE eess.SP
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术研究所）
目标传播（TP）是一种比误差反向传播（BP）更合理的生物学算法来训练深度网络，提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器，用于传播在输出层生成的目标值。然而，这导致某些缺点;例如，需要仔细的超参数调整来同步前馈和反馈训练，并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练，但是具有这些逐层自编码器是TP工作的必要条件吗？我们通过提出固定权重差异目标传播（FW-DTP）来回答这个问题，该方法在训练过程中保持反馈权重不变。我们证实，这种简单的方法，自然地解决了上述问题的TP，仍然可以提供信息的目标值隐藏层为给定的任务;事实上，FW-DTP始终实现更高的测试性能比基线，差异目标传播（DTP），在四个分类数据集。我们还提出了一种新的传播架构，解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Synthesis of recurrent neural networks for dynamical system simulation
我们回顾了几种最广泛使用的训练循环神经网络逼近动力系统的技术，然后描述了一种新的算法。该算法是基于较早的理论结果，保证网络近似的质量。我们表明，一个前馈神经网络可以训练的向量场表示一个给定的动力系统使用反向传播，然后重铸，使用矩阵操作，作为一个经常性的网络，复制原始系统的动态。在详细介绍了这种算法及其与早期方法的关系后，我们提出了数值例子，证明了它的能力。我们的方法的一个显着特点是，原始动力系统和模拟它们的递归网络都在连续时间内运行。
2016-06-07 cs.NE
Feedback alignment in deep convolutional networks
Columbia University（哥伦比亚大学）
正在进行的研究已经确定了生物网络和深度人工神经网络中神经表征之间的相似性。这使得人们对开发用于训练人工网络的反向传播学习算法与大脑中的突触可塑性规则之间的类比重新产生了兴趣。这些努力受到反向传播的生物学上难以置信的特征的挑战，其中之一是对对称的前向和后向突触权重的依赖。已经提出了许多不依赖于权重对称的方法，但到目前为止，这些方法未能扩展到深度卷积网络和复杂数据。我们确定的主要障碍，这种算法的可扩展性，并介绍了几种技术来减轻它们。我们证明，修改后的反馈对齐方法，强制执行较弱形式的权重对称性，一个需要协议的重量符号，但不幅度，可以实现与反向传播的性能竞争。我们的研究结果补充了Bartunov et al.（2018）和Xiao et al.（2018 b）的研究结果，并表明促进前馈和反馈权重对齐的机制对于深度网络中的学习至关重要。
2019-06-10 cs.LG cs.NE stat.ML
Spike time displacement based error backpropagation in convolutional spiking neural networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Shahid Beheshti University（沙希德·贝赫什提大学）；CNRS Université Toulouse 3（法国国家科学研究中心图卢兹第三大学）
最近，我们提出了STiDi-BP算法，它避免了向后递归梯度计算，用于训练多层脉冲神经网络（SNN）与基于单脉冲的时间编码。该算法采用线性近似来计算尖峰潜伏期对膜电位的导数，并使用具有分段线性突触后电位的尖峰神经元来降低计算成本和神经处理的复杂性。在本文中，我们扩展了STiDi-BP算法，将其应用于更深的卷积架构中。基于MNIST和Fashion-MNIST数据集的图像分类任务的评估结果分别为99.2%和92.8%，证实了该算法适用于深度SNN。我们考虑的另一个问题是减少内存存储和计算成本。为此，我们考虑具有两组权重的卷积SNN（CSNN）：在向后传递中更新的实值权重和在前馈过程中使用的符号，二进制权重。我们评估的二进制CSNN的两个数据集的MNIST和时尚MNIST，并获得可接受的性能与一个可以忽略不计的精度下降相对于实值的权重（约$0.6%$和$0.8%$下降，分别）。
2021-08-31 cs.AI cs.CV cs.NE
Learning to Learn with Feedback and Local Plasticity
Columbia University（哥伦比亚大学）
对反向传播的生物学替代方案的兴趣是由两个愿望驱动的，即推进深度学习和神经科学之间的联系，并解决反向传播在在线、持续学习等任务上的缺点。然而，到目前为止，像大脑所采用的局部突触学习规则还无法与深度网络中的反向传播性能相匹配。在这项研究中，我们采用元学习来发现使用反馈连接和本地生物启发学习规则进行学习的网络。重要的是，反馈连接与前馈权重无关，避免了生物学上不可信的权重传输。我们的实验表明，元训练的网络有效地使用反馈连接执行在线信用分配在多层架构。令人惊讶的是，这种方法在回归和分类任务上匹配或超过了最先进的基于梯度的在线Meta学习算法，特别是在持续学习方面表现出色。对这些模型所采用的权重更新的分析表明，它们在减少更新之间的干扰方面与梯度下降有质的不同。我们的研究结果表明，存在一类生物学上合理的学习机制，不仅匹配梯度下降为基础的学习，但也克服了其局限性。
2020-06-16 cs.LG cs.NE q-bio.NC
A Theory of Local Learning, the Learning Channel, and the Optimality of Backpropagation
University of California, Irvine（加州大学欧文分校）
在存储和处理紧密交织的物理神经系统中，用于调整突触权重的规则只能取决于局部可用的变量，例如突触前和突触后神经元的活动，从而产生局部学习规则。首先通过指定局部变量的性质，然后通过将它们联系到每个学习规则中的函数形式来获得用于研究局部学习规则空间的系统框架。这样的框架也使系统地发现新的学习规则和学习规则和组对称性之间的关系的探索。我们研究多项式局部学习规则分层的程度和分析他们的行为和能力，在线性和非线性的单位和网络。在深度前馈网络中堆叠局部学习规则会导致深度局部学习。虽然深度局部学习可以学习有趣的表示，但它无法学习复杂的输入输出函数，即使目标可用于顶层。学习复杂的输入-输出函数需要局部深度学习，其中目标信息通过反向学习通道传递到深层。目标信息的性质和学习通道的结构划分了学习算法的空间。我们估计与几种算法相关的学习信道容量，并表明反向传播优于它们，同时最大限度地提高信息速率和最小化计算成本，即使在经常性的网络。该理论澄清了赫布学习的概念，建立了本地学习规则的权力和限制，引入了学习通道，使反向传播的最优性的形式分析，并解释了迄今为止发现的学习规则空间的稀疏性。
2016-10-21 cs.LG cs.NE stat.ML
Learning to solve the credit assignment problem
反向传播是当今人工神经网络（ANN）的驱动力。然而，尽管进行了广泛的研究，但仍不清楚大脑是否实现了这种算法。在神经科学家中，强化学习（RL）算法通常被视为一种现实的替代方案：神经元可以随机引入变化，并使用非特定的反馈信号来观察它们对成本的影响，从而近似它们的梯度。然而，这种学习的收敛速度与所涉及的神经元的数量关系不大。在这里，我们提出了一种混合学习方法。每个神经元使用RL型策略来学习如何近似反向传播提供的梯度。我们提供的证据表明，我们的方法收敛到某些类别的网络的真实梯度。在前馈和卷积网络中，我们的经验表明，我们的方法可以学习近似梯度，并且可以匹配精确的基于梯度的学习。学习反馈权重提供了一种生物学上合理的实现良好性能的机制，而不需要精确的，预先指定的学习规则。
2020-04-22 cs.NE q-bio.NC
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras（工程学院，印度理工学院马德拉斯分校）；AI, Indian Institute of Technology, Madras（人工智能，印度理工学院马德拉斯分校）
本文提出Hopfield-Resnet架构，通过残差连接和裁剪ReLU激活函数，实现更深层次网络训练，提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Unsupervised Learning by Competing Hidden Units
MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Institute for Advanced Study（高等研究院）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
人们普遍认为，反向传播算法对于在人工神经网络的早期层中学习良好的特征检测器是必不可少的，使得这些检测器对于由该神经网络的较高层执行的任务是有用的。同时，传统的反向传播形式在生物学上是不可信的。在本文中，我们提出了一个不寻常的学习规则，它具有一定程度的生物相容性，这是出于赫布的想法，突触强度的变化应该是本地的-即应该只依赖于活动的前和后突触神经元。我们设计了一个学习算法，利用全局抑制的隐藏层，并能够学习早期特征检测器在一个完全无监督的方式。这些学习的较低层特征检测器可以用于以通常的监督方式训练较高层权重，使得整个网络的性能与用反向传播算法端到端训练的标准前馈网络的性能相当。
2019-08-29 cs.CV cs.LG cs.NE
Online Training of Hopfield Networks using Predictive Coding
本研究首次将预测编码（PC）学习规则直接应用于Hopfield网络（一种循环神经网络）的训练，无需修改规则也无需时间展开，验证了训练后网络表现与经典Hopfield网络一致，拓展了生物可解释学习规则的应用场景。
2024-06-20 cs.NE
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Gradual DropIn of Layers to Train Very Deep Neural Networks
Naval Research Laboratory（海军研究实验室）；University of Maryland（马里兰大学）
我们引入了在训练过程中动态增长神经网络的概念。特别是，不可训练的深度网络从可训练的浅网络开始，新添加的层在训练过程中缓慢、有机地添加，从而增加了网络的深度。这是通过一个新的层来完成的，我们称之为DropIn。DropIn层通过传递来自前一层的输出（有效地跳过新添加的层）开始，然后越来越多地包括来自新层的单元用于前馈和反向传播。我们表明，传统方法无法训练的深度网络将与散布在架构中的DropIn层融合。此外，我们证明了DropIn在训练过程中以类似于dropout的方式提供正则化。实验描述了MNIST数据集和各种扩展的LeNet架构，CIFAR-10数据集的架构从3层扩展到11层，以及AlexNet架构扩展到13层和VGG 16层架构的ImageNet数据集。
2015-11-22 cs.CV cs.LG cs.NE
Training Multi-layer Neural Networks on Ising Machine
Tsinghua University（清华大学）
针对现有伊辛机仅能训练单层前馈网络的问题，本文提出伊辛学习算法，通过二元拓扑表示与损失降阶将多层QNN训练转化为QUBO问题，在MNIST上实现98.3%准确率，为深层网络训练提供新路径。
2023-11-06 cs.AI cs.LG cs.NE
Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning
Cornell University（康奈尔大学）
本文受生物逆流交换机制启发，提出逆流学习（CCL）框架，通过前馈与反馈网络的反平行信号传播实现信用分配，在多个数据集上取得与生物合理算法相当的性能，并展示了无监督学习潜力。
2024-10-23 cs.AI cs.LG cs.NE
A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
Pengcheng Laboratory（鹏城实验室）；Microsoft Research Asia – Shanghai（微软亚洲研究院-上海）；Peking University（北京大学）
本文通过分析反向传播过程揭示SNN可视为带噪声注入的二值激活网络自集成，提出SEI-BWSNN方法，利用多捷径和知识蒸馏改进二值权重SNN训练，在ImageNet上以2个时间步达到82.52%准确率。
2025-08-18 cs.LG cs.NE
Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
对生物学上合理的深度学习的追求不仅是为了解释生物神经网络的实验观察特性，而且还希望发现更有效的方法来训练人工网络。在本文中，我们提出了一个新的算法命名为变分可能流（VPF），最小概率流的扩展训练二进制深度玻尔兹曼机（DBMs）。我们发现，在VPF的权重更新是本地的，只取决于相邻神经元的状态和发射率。与对比发散不同，不需要吉布斯虚构;与反向传播不同，不需要交替的前馈和反馈阶段。此外，学习算法是有效的训练DBM与层内连接之间的隐藏节点。MNIST和Fashion MNIST的实验表明，VPF快速学习合理的特征，更准确地重建受损图像，并生成具有高估计对数似然的样本。最后，我们注意到，有趣的是，如果存在VPF的不对称版本，则权重更新直接解释了尖峰定时依赖可塑性（STDP）的实验结果。
2017-11-21 cs.LG cs.NE stat.ML
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
前馈神经网络（FNN）的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整，例如隐藏层的数量，每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的，这可能是人工无法管理的，所以它需要一个算法，可以自动设计一个最优的体系结构，具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法，它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索（TS）和梯度下降与动量反向传播（GDM）训练算法的优点，演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems
The University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
针对深度神经网络离线训练在线推理场景下的性能无保证与域偏移问题，提出基于控制论的全连接DNN末层在线更新律，结合谱归一化约束误差上界，仿真验证其在域偏移下的动力学学习有效性。
2024-02-01 cs.LG cs.NE cs.RO
SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays
CWI（荷兰国家数学与计算机科学研究中心）；University of Lübeck（吕贝克大学）
SpikingGamma通过内部递归记忆结构和sigma-delta spike编码，实现无替代梯度的在线训练，支持细时间模式学习和高效硬件映射。
2026-02-02 cs.LG cs.NE
