Are skip connections necessary for biologically plausible learning rules?
Janelia Research Campus（珍妮亚研究园区）；HHMI（霍华德·休斯医学研究所）
反向传播是深度学习的主力，然而，已经引入了其他几种生物动机的学习规则，例如随机反馈对齐和差异目标传播。这些方法都没有产生与反向传播相竞争的性能。在本文中，我们证明了中间层之间具有跳过连接的生物动机学习规则可以在MNIST数据集上执行反向传播，并且对各种超参数集具有鲁棒性。
2019-12-04 cs.LG cs.NE stat.ML
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
传统的误差反向传播，虽然是一个非常成功的算法，用于学习人工神经网络模型，包括功能，这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法，即使用自上而下的神经活动模型，将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后，这些目标可以用于生成用于网络训练的权重更新。然而，到目前为止，目标传播已经被证明是不等价的反向传播。在这里，我们推导出反向传播和目标传播（GAIT-道具）的修改形式之间的确切对应关系，其中目标是向前传递的小扰动。具体来说，当突触权重矩阵正交时，反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中，我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras（工程学院，印度理工学院马德拉斯分校）；AI, Indian Institute of Technology, Madras（人工智能，印度理工学院马德拉斯分校）
本文提出Hopfield-Resnet架构，通过残差连接和裁剪ReLU激活函数，实现更深层次网络训练，提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；Polytechnique Montréal（蒙特利尔理工学院）；HEC Montréal（蒙特利尔高等商学院）
时间反向传播（BPTT）的一个主要缺点是学习长期依赖性的困难，这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际，在生物学上也不可信。由于这个原因，通过时间的完全反向传播很少用于长序列，通过时间的截断反向传播被用作启发式。然而，这通常会导致对梯度的有偏估计，其中忽略了长期依赖性。为了解决这个问题，我们提出了一种替代算法，稀疏注意回溯，这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制，并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系，同时仅回溯少量时间步，不仅从最近的过去，而且从相关的过去状态。
2017-11-07 cs.AI cs.LG cs.NE
Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition
Department of Electrical, Computer, and Software Engineering（电气、计算机和软件工程系）；University of Auckland（奥克兰大学）
本文通过分解前向-前向算法的两个设计选择，探讨其性能限制来源，并提出Mono-Forward算法，以标准分类目标替代对比目标，提升性能与效率。
2026-05-07 cs.LG
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Biologically-plausible backpropagation through arbitrary timespans via local neuromodulators
通过基于反向传播的梯度下降来调整关键参数的递归神经网络模型的巨大成功激发了人们对生物神经网络如何解决相应的突触信用分配问题的思考。然而，到目前为止，对于生物网络如何通过时间实现必要的反向传播，生物突触网络信号架构的限制得到了广泛认可，几乎没有达成一致。在这里，我们建议，局部神经调质，如神经肽的突触外扩散可能提供一个有效的模式，倒传播躺在生物相容性的界限内。超越现有的基于时间截断的梯度近似，我们的近似基于梯度的更新规则，ModProp，通过任意的时间步长传播信用信息。ModProp表明，调制信号可以通过因果、时不变和突触类型特定的滤波器抽头卷积它们的资格迹线来作用于接收细胞。我们对ModProp学习的数学分析，以及对基准时间任务的模拟结果，证明了ModProp比现有的生物学上合理的时间信用分配规则的优势。这些结果表明，在一个较长的时间范围内，信号信贷信息相关的经常性相互作用的潜在神经元机制。最后，我们得到了一个模拟实现的ModProp，可以作为一个低复杂性和因果替代反向传播通过时间。
2023-01-14 cs.NE q-bio.NC
Robust Bidirectional Associative Memory via Regularization Inspired by the Subspace Rotation Algorithm
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
针对双向联想记忆（BAM）的鲁棒性差问题，提出双向子空间旋转算法（B-SRA），引入正交权重矩阵（OWM）和梯度模式对齐（GPA）正则化策略，经实验验证可大幅提升BAM的鲁棒性。
2026-08-03 cs.AI cs.LG
Deep Reservoir Networks with Learned Hidden Reservoir Weights using Direct Feedback Alignment
University of Maryland（马里兰大学）；Institute for Adv. Computer Studies（高级计算机研究所）
深度储备池计算已经成为深度学习的新范例，其基于结合分层深度学习来维护随机神经元池的储备池计算原理。储库范式反映并尊重生物大脑中的高度重复性，以及神经元动力学在学习中的作用。然而，阻碍深层储层网络开发的一个问题是不能通过储层反向传播。最近的深层库架构不以与深层人工神经网络相同的方式学习隐藏或分层表示，而是将所有隐藏库连接在一起以执行传统回归。在这里，我们提出了一种用于时间序列预测和分类的新型深度水库网络，该网络使用称为直接反馈对齐的生物启发的反向传播替代方案通过不可微的隐藏水库层进行学习，这类似于大脑中的全球多巴胺信号广播。我们在两个真实世界的多维时间序列数据集上证明了它的有效性。
2020-10-15 cs.LG cs.NE
Structured Knowledge Accumulation: An Autonomous Framework for Layer-Wise Entropy Reduction in Neural Learning
Université Joseph Fourier（约瑟夫·傅里叶大学）
本文提出SKA框架，以知识向量和决策概率定义逐层熵，使各层无需反向传播即可独立对齐并实现分层熵减，为梯度学习提供可扩展、具生物合理性的替代方案。
2025-03-18 cs.LG cs.NE
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
本文以教程兼综述形式系统讲解RNN与LSTM，涵盖BPTT、梯度问题及解决思路、LSTM/GRU结构变体，以及双向模型与ELMo。
2023-04-22 cs.CL cs.LG cs.NE
Reverse Differentiation via Predictive Coding
University of Oxford（牛津大学）；MRC Brain Network Dynamics Unit, University of Oxford（牛津大学MRC脑网络动力学研究组）；Hebei University of Technology（河北工业大学）
由于人工神经网络的兴起，深度学习重新定义了人工智能（AI）领域，人工神经网络是受大脑中神经学对应物启发的架构。多年来，人工智能和神经科学之间的二元论为这两个领域带来了巨大的好处，使神经网络被用于数十种应用。这些网络使用一种高效的反向微分实现，称为反向传播（BP）。然而，这种算法经常因其生物学上的不可信性而受到批评（例如，缺少参数的本地更新规则）。因此，越来越多地研究依赖于预测编码（PC）（一种描述大脑中信息处理的框架）的生物学上合理的学习方法。最近的工作证明，这些方法可以近似BP到一定的利润率的多层感知器（MLP），和渐近的任何其他复杂的模型，和零发散推理学习（Z-IL），PC的变体，能够准确地实现BP的MLP。然而，最近的文献也表明，还没有生物学上合理的方法，可以完全复制BP的权重更新复杂的模型。为了填补这一空白，在本文中，我们推广（PC和）Z-IL直接定义在计算图，并表明它可以执行精确的反微分。其结果是第一个在更新任何神经网络上的参数方面与BP等效的生物学上合理的算法，为神经科学和深度学习的跨学科研究提供了桥梁。
2023-02-20 cs.LG
Biologically Plausible Learning via Bidirectional Spike-Based Distillation
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；School of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出双向脉冲基于蒸馏算法，通过联合训练前馈和反向脉冲网络，实现与反向传播相当的性能，推动生物合理神经网络学习的发展。
2026-02-11 cs.NE
Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways
University of Notre Dame（圣母大学）
反向传播被广泛用于训练人工神经网络，但其与大脑中突触可塑性的关系尚不清楚。一些反向传播的生物模型依赖于与前馈连接对称的反馈投影，但实验并不能证实这种对称的反向连接的存在。随机反馈对齐提供了一种替代模型，其中错误通过固定的随机向后连接向后传播。这种方法成功地训练了浅层模型，但学习速度很慢，并且在更深层的模型或在线学习中表现不佳。在这项研究中，我们开发了一种元学习方法来发现可解释的，生物学上合理的可塑性规则，这些规则可以提高固定随机反馈连接的在线学习性能。由此产生的可塑性规则显示了在低数据状态下深度模型的改进在线训练。我们的研究结果突出了元学习发现有效的，可解释的学习规则，满足生物约束的潜力。
2023-02-07 cs.LG cs.NE q-bio.NC
Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Research Center for Brain-Inspired Intelligence, CASIA（中国科学院自动化研究所脑启发智能研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）模仿人脑中的信息处理过程，以包含丰富时空信息的脉冲序列表示和传输信息，在许多认知任务中表现出优越的性能。此外，事件驱动的信息处理使得能够在神经形态芯片上实现能量高效。深度学习的成功离不开反向传播。由于信息传输的离散性，直接将反向传播应用于SNN的训练，与传统的深度神经网络相比，仍存在性能差距。此外，需要大量的模拟时间来实现更好的性能，这导致高延迟。为了解决这些问题，我们提出了一个生物合理的空间调整，重新考虑膜电位和尖峰之间的关系，并实现了合理的调整梯度不同的时间步长。它精确地控制误差沿空间维度的反向传播。其次，我们提出了一种生物学上合理的时间调整，使误差在时间维度上跨越尖峰传播，克服了传统尖峰神经元在单个尖峰周期内的时间依赖性问题。我们已经在多个数据集上验证了我们的算法，实验结果表明，我们的算法大大降低了网络延迟和能量消耗，同时也提高了网络性能。我们已经在神经形态数据集N-MNIST、DVS-Gesture和DVS-CIFAR 10上实现了最先进的性能。对于静态数据集MNIST和CIFAR 10，我们已经超过了大多数传统的SNN反向传播训练算法，并取得了相对优越的性能。
2021-10-22 cs.CV cs.NE
A biologically plausible neural network for local supervision in cortical microcircuits
Flatiron Institute（弗莱提伦研究所）；Rutgers University（罗格斯大学）；NYU Medical Center（纽约大学医学中心）
反向传播算法是训练人工神经网络的宝贵工具;然而，由于权重共享要求，它不能提供合理的大脑功能模型。在这里，在一个两层网络的上下文中，我们推导出一个用于训练神经网络的算法，该算法通过不需要显式的误差计算和反向传播来避免这个问题。此外，我们的算法映射到一个神经网络，它与皮层的连接结构和学习规则非常相似。我们发现，我们的算法凭经验执行了一些数据集上的反向传播。
2020-11-30 cs.LG cs.NE q-bio.NC
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath；New York University（纽约大学）
该研究开发递归正交滤波器（RQFs）并提出前瞻性输入编码修正，缓解深度连续时间循环网络的梯度衰减，在语音命令等任务上取得优异性能，验证了其参数高效性。
2026-11-10 cs.LG cs.NE q-bio.NC
Learning to Learn with Feedback and Local Plasticity
Columbia University（哥伦比亚大学）
对反向传播的生物学替代方案的兴趣是由两个愿望驱动的，即推进深度学习和神经科学之间的联系，并解决反向传播在在线、持续学习等任务上的缺点。然而，到目前为止，像大脑所采用的局部突触学习规则还无法与深度网络中的反向传播性能相匹配。在这项研究中，我们采用元学习来发现使用反馈连接和本地生物启发学习规则进行学习的网络。重要的是，反馈连接与前馈权重无关，避免了生物学上不可信的权重传输。我们的实验表明，元训练的网络有效地使用反馈连接执行在线信用分配在多层架构。令人惊讶的是，这种方法在回归和分类任务上匹配或超过了最先进的基于梯度的在线Meta学习算法，特别是在持续学习方面表现出色。对这些模型所采用的权重更新的分析表明，它们在减少更新之间的干扰方面与梯度下降有质的不同。我们的研究结果表明，存在一类生物学上合理的学习机制，不仅匹配梯度下降为基础的学习，但也克服了其局限性。
2020-06-16 cs.LG cs.NE q-bio.NC
A More Biologically Plausible Local Learning Rule for ANNs
反向传播算法经常因其生物相容性而受到争议。然而，已经提出了用于神经结构的各种学习方法，以寻找更生物学上合理的学习。他们中的大多数都试图解决“重量传输问题”，并试图通过一些替代方法在架构中向后传播错误。在这项工作中，我们研究了一个略有不同的方法，只使用本地信息，捕捉尖峰定时信息，没有传播的错误。建议的学习规则是来自于尖峰时间依赖可塑性和神经元联想的概念。对具有两个隐藏层的MNIST和IRIS数据集的二进制分类进行的初步评估显示出与反向传播相当的性能。与通过交叉熵损失的反向传播学习的模型相比，使用这种方法学习的模型还显示出对FGSM攻击具有更好的对抗鲁棒性的可能性。学习的局部性为网络中的大规模分布式并行学习提供了可能性。最后，所提出的方法是一种更具生物学意义的方法，可能有助于理解生物神经元如何学习不同的抽象。
2020-11-24 cs.NE q-bio.NC
Biologically plausible deep learning -- but how far can we go with shallow networks?
EPFL（洛桑联邦理工学院）
从生物学的角度来看，用误差反向传播算法训练深度神经网络是不可信的。最近的许多出版物提出了深度学习的生物学合理变体的详细模型，通常将成功定义为在MNIST数据集上达到约98%的测试准确度。在这里，我们研究了在一个具有一个隐藏层和一个读出层的网络中，利用生物学上合理的局部学习规则，我们可以在数字（MNIST）和对象（CIFAR 10）分类上走多远。隐藏层权重是固定的（随机或随机Gabor滤波器），或者使用可以通过本地学习规则实现的无监督方法（PCA，ICA或稀疏编码）进行训练。读出层用监督的局部学习规则进行训练。我们首先用速率神经元实现这些模型。这种比较表明，首先，无监督学习并没有比固定随机投影或Gabor滤波器更好的性能。其次，具有局部感受野的网络比具有全对全连接的网络表现得更好，并且可以在MNIST上达到反向传播性能。然后，我们实现了两个网络-固定的，本地化的，随机和随机的Gabor滤波器在隐藏层-尖峰泄漏积分和消防神经元和尖峰定时依赖可塑性训练读出层。这些尖峰模型在MNIST上实现了> 98.2%的测试准确率，这接近于具有一个用反向传播训练的隐藏层的速率网络的性能。我们的浅层网络模型的性能与当前大多数生物学上合理的深度学习模型相当。此外，我们对浅尖峰网络的研究结果提供了重要的参考，并建议使用MNIST以外的数据集来测试未来生物学上合理的深度学习模型的性能。
2019-06-17 cs.LG cs.NE stat.ML
Memory Networks: Towards Fully Biologically Plausible Learning
Institute for Infocomm Research (IR), A*STAR（新加坡资讯通信研究院）；Paris-Saclay University（巴黎萨克雷大学）
针对现有神经网络反向传播和权重共享缺乏生物合理性的问题，提出受生物学启发的 Memory Network，通过单次传递实现快速高效学习，在 MNIST 上表现优异但处理 CIFAR10 仍需改进。
2024-09-18 cs.AI cs.LG cs.NE
A Diagnostic Evaluation of Neural Networks Trained with the Error Diffusion Learning Algorithm
Komatsu University（小松大学）
本文评估了使用误差扩散学习算法训练的多层感知机在奇偶性、回归和图像分类任务中的性能，发现其在深度网络中存在稳定性问题，并通过引入RMSNorm改进了数值稳定性。
2026-03-02 cs.LG
Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets
大脑中由尖峰神经元组成的循环连接网络是如何通过学习获得强大的信息处理能力的，这仍然是一个谜。这种理解的缺乏与缺乏用于尖峰神经元（RSNN）的递归网络的学习算法有关，所述递归网络既功能强大又可以通过已知的生物机制来实现。由于RSNN同时也是在神经形态硬件中实现脑启发电路的主要目标，因此缺乏算法洞察力也阻碍了该领域的技术进步。机器学习中递归神经网络学习的黄金标准是时间反向传播（BPTT），它针对给定的损失函数实现随机梯度下降。但是从生物学的角度来看，BPTT是不现实的，因为它需要在时间和空间上向后传输错误信号，即，从突触后神经元到突触前神经元我们表明，在线合并本地可用的信息，在计算过程中与合适的自上而下的学习信号，在实时提供了高能力的近似BPTT。对于任务中的错误信息只出现在网络计算的后期，我们丰富了本地可用的信息，通过前馈资格的突触，可以很容易地计算在一个在线的方式跟踪。由此产生的新一代递归神经网络学习算法提供了对大脑中网络学习的新理解，可以通过实验进行测试。此外，这些算法提供了有效的方法，在神经形态硬件的RSNN的片上训练。
2019-02-21 cs.NE
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Online Arbitrary Shaped Clustering through Correlated Gaussian Functions
Norwegian University of Science and Technology（挪威科技大学）
针对反向传播缺乏生物学合理性的问题，提出一种无需先验聚类数量、通过相关高斯函数捕获输入模式以产生任意形状聚类的新颖在线无监督聚类算法，其生物学合理性更强且在多个数据集上表现良好。
2023-11-20 cs.CV cs.LG cs.NE
Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；KUIS AI Center, Koc University（科奇大学KUIS人工智能中心）；EEE Department, Koc University（科奇大学电气与电子工程系）；John A. Paulson School of Engineering & Applied Sciences and Center for Brain Science, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院及脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）
本文提出相关信息最大化作为生物神经网络信号传播的替代规范方法，解决了传统神经网络和反向传播算法的生物合理性问题，并提供了一种无权重对称性的解决方案。
2026-03-26 cs.IT cs.LG cs.NE
Fine-Pruning: A Biologically Inspired Algorithm for Personalization of Machine Learning Models
College of Computing, The Georgia Institute of Technology（佐治亚理工学院计算学院）；Taub Faculty of Computer Science, Technion - Israel Institute of Technology（以色列理工学院陶布计算机科学学院）；Faculty of Biology, Technion - Israel Institute of Technology（以色列理工学院生物学院）
本文提出一种受生物启发的细剪算法，通过模仿大脑学习过程，以更少的计算资源和无标签数据实现机器学习模型的个性化，提升模型精度至90%。
2026-02-18 cs.NE q-bio.NC
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
DeepMind（深度思维）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）；University College London（伦敦大学学院）
误差反向传播算法（BP）不可能在真实的大脑中实现。然而，最近深度网络在机器学习和人工智能领域的成功，激发了人们对理解大脑如何跨多个层次学习以及如何近似BP的建议。到目前为止，这些建议都没有在BP引导的深度学习被证明至关重要的任务中进行严格的评估，或者在比简单的全连接网络更结构化的架构中进行评估。在这里，我们展示了在数据集上扩展生物动机的深度学习模型的结果，这些数据集需要具有适当架构的深度网络来实现良好的性能。我们在MNIST、CIFAR-10和ImageNet数据集上展示了结果，并探索了目标传播（TP）和反馈对齐（FA）算法的变体，并探索了完全连接和局部连接架构的性能。我们还介绍了重量运输的差异目标传播（DTP）修改，以消除反向传播的倒数第二层的自由变种。其中许多算法在MNIST中表现良好，但对于CIFAR和ImageNet，我们发现TP和FA变体的表现明显不如BP，特别是对于由局部连接单元组成的网络，这就引发了一个问题，即是否需要新的架构和算法来扩展这些方法。我们的研究结果和实施细节有助于为生物学驱动的深度学习计划建立基准。
2018-11-20 cs.AI cs.LG cs.NE
Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks
Sakana AI
提出模误差路由扩展误差扩散法，在严格遵循戴尔原则的双流兴奋/抑制网络中，实现MNIST 96.7%和CIFAR-10 61.7%的分类性能，并集成PPO在强化学习任务中取得竞争性结果。
2026-07-01 cs.LG cs.NE
Meta-Learning Bidirectional Update Rules
Google Research（谷歌研究院）
本文介绍了一种新的广义神经网络，其中神经元和突触保持多个状态。我们表明，经典的基于梯度的反向传播神经网络可以被看作是一个特殊的情况下，一个状态是用于激活和另一个梯度的两个状态的网络，更新规则来自链规则。在我们的广义框架中，网络既没有明确的梯度概念，也没有接收梯度。突触和神经元使用由共享的低维“基因组”参数化的双向Hebb式更新规则来更新。我们表明，这样的基因组可以从头开始元学习，使用传统的优化技术，或进化策略，如CMA-ES。所得到的更新规则推广到看不见的任务，并且对于若干标准计算机视觉和合成任务，比基于梯度下降的优化器更快地进行训练。
2021-06-11 cs.LG cs.NE
Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks
University of Chicago（芝加哥大学）；Department of Statistics（统计系）
我们为深度网络中的自监督学习（SSL）开发了生物学上合理的训练机制。具体地，通过生物学合理训练，我们意味着（i）权重的所有更新都基于突触前单元的当前活动和当前活动，或者从突触后单元的短期记忆中检索的活动，包括在最顶层的误差计算层，（ii）避免了诸如归一化、内积和除法的复杂计算，（iii）单元之间的不对称连接，（iv）大多数学习是以无监督的方式进行的。具有对比度损失的SSL满足第三个条件，因为它不需要标记的数据，并且它对观察到的对象扰动引入了鲁棒性，这在对象或观察者在3D中移动时自然发生，并且随着时间的推移具有可变的照明。我们提出了一个对比铰链为基础的损失，其错误涉及简单的本地计算满足（ii），而不是在文献中采用的标准对比损失，这并不容易借给自己在网络架构中实现，由于复杂的计算，涉及比率和内积。此外，我们表明，学习可以进行两个更合理的替代反向传播，满足条件（i）和（ii）。第一种是差分目标传播（DTP），第二种是逐层学习（LL），其中每一层直接连接到计算损失误差的层。这两种方法都代表了反向传播的对称权重问题的替代方案。通过使用SSL和DTP，LL训练卷积神经网络（CNN），我们发现我们提出的框架实现了与学习嵌入的标准BP学习下游线性分类器评估相当的性能。
2022-02-01 cs.LG cs.NE q-bio.NC
Towards Biologically Plausible Computing: A Comprehensive Comparison
本研究确立生物可信学习算法的评估标准，系统对比9类现有生物可信训练算法，并结合多架构、多数据集实验及脑活动匹配度验证，为开发更优算法、推动神经科学与机器学习交叉发展提供参考。
2024-06-23 cs.NE
Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks
Victoria University of Wellington（惠灵顿维多利亚大学）；ETH Zurich（苏黎世联邦理工学院）
误差反向传播算法是人工神经网络中一种非常有效的信用分配算法。然而，Backprop下的权重更新依赖于冗长的递归计算，需要单独的输出和错误消息-生物神经元不共享的功能，可能是不必要的。在本文中，我们重新Backprop和信用分配问题。我们首先分解Backprop到一个相互作用的学习算法的集合，提供这些子算法的性能上的遗憾界限，并分解Backprop的错误信号。利用这些结果，我们推导出一个新的信用分配算法的非参数回归，Kickback，这是显着比Backprop简单。最后，我们提供了一个充分的条件Kickback遵循误差梯度，并显示Kickback匹配Backprop的性能在现实世界的回归基准。
2014-11-23 cs.LG cs.NE q-bio.NC
Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
脉冲神经网络（SNN）很好地支持时空学习和节能的事件驱动硬件神经形态处理器。递归脉冲神经网络（RSNNs）是一类重要的神经网络，具有强大的计算能力。然而，RSNN的实际应用受到培训挑战的严重限制。生物启发的无监督学习在提高RSNN性能方面的能力有限。另一方面，现有的反向传播（BP）方法遭受高复杂性展开的时间，消失和爆炸梯度，以及近似分化的不连续尖峰活动时，应用到RSNN。为了能够在定义良好的损失函数下对RSNN进行监督训练，我们提出了一种新的用于训练深度RSNN的Spike-Train级别的反向传播（ST-RSBP）算法。建议的ST-RSBP直接计算的梯度率编码的损失函数定义在输出层的网络w.r.t可调参数。ST-RSBP的可扩展性是通过所提出的尖峰训练级计算来实现的，在此期间，SNN的时间效应在BP的前向和后向传递中被捕获。我们的ST-RSBP算法可以广泛应用于具有单个递归层的RSNN或具有多个前馈和递归层的深度RSNN。基于具有挑战性的语音和图像数据集，包括TI 46、N-TIDIGITS、Fashion-MNIST和MNIST，ST-RSBP能够训练RSNN，其精度超过当前最先进的SNN BP算法和传统的非尖峰深度学习模型。
2019-11-03 cs.LG cs.NE
Semi-supervised learning combining backpropagation and STDP: STDP enhances learning by backpropagation with a small amount of labeled data in a spiking neural network
Tokyo Institute of Technology（东京工业大学）；Saitama University（埼玉大学）；JST, PREST（日本科学技术振兴机构 PREST）
提出了一种脉冲神经网络的半监督学习方法。所提出的方法包括监督学习的反向传播和随后的无监督学习的尖峰定时依赖可塑性（STDP），这是一个生物学上合理的学习规则。数值实验表明，当使用少量标记数据时，该方法在不需要额外标记的情况下提高了精度。现有的判别模型的半监督学习方法还没有实现这一特征。这是可能的，以实现事件驱动系统的学习方法。因此，它将是非常有效的实时问题，如果它是在神经形态硬件上实现。结果表明，STDP发挥了重要的作用，而不是自组织应用后，监督学习，这不同于以前的方法，使用STDP作为预训练解释为自组织。
2021-05-19 cs.AI cs.NE
Emergent representations in networks trained with the Forward-Forward algorithm
University of Trieste（的里雅斯特大学）；AREA Science Park（AREA科学园）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
本研究发现，使用 Forward-Forward 算法训练的网络能自发形成类似大脑皮层的高稀疏性类别特定表征，且该现象也可在采用相同目标的 Backpropagation 训练中出现。
2025-03-31 cs.LG cs.NE
A Computational Framework of Cortical Microcircuits Approximates Sign-concordant Random Backpropagation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
最近的几项研究试图解决众所周知的反向传播（BP）方法的生物学不可信性。虽然有前途的方法，如反馈对齐，直接反馈对齐，以及它们的变种，如符号一致反馈对齐解决BP的重量运输问题，它们的有效性仍然存在争议，由于一系列其他未解决的问题。在这项工作中，我们回答的问题是，是否有可能实现随机反向传播仅基于神经科学中观察到的机制。我们提出了一个假设的框架，包括一个新的微电路架构及其支持赫布学习规则。该微电路结构包括三种类型的细胞和两种类型的突触连接，通过局部反馈连接计算和传播误差信号，并支持训练具有全局定义的尖峰误差函数的多层脉冲神经网络。我们采用Hebbian规则在局部隔室中操作来更新突触权重，并以生物学上合理的方式实现监督学习。最后，我们解释了建议的框架，从优化的角度来看，并显示其等价符号一致的反馈对齐。建议的框架是基准上的几个数据集，包括MNIST和CIFAR10，表现出良好的BP可比的准确性。
2022-05-26 cs.AI cs.LG cs.NE
Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
Institute for Informatics, University of Munich (LMU)（信息学院，慕尼黑大学（LMU））
在边缘运行的机器人系统需要高效的在线学习算法，可以在处理流式传感数据的同时不断适应不断变化的环境。传统的反向传播虽然有效，但与生物相容性原则相冲突，并且对于连续适应情景可能是次优的。预测编码（PC）框架提供了一种生物学上合理的替代方案，具有局部的、类似赫布的更新规则，使其适合于神经形态硬件实现。然而，PC的主要限制是由于训练期间的多次推理迭代而导致的计算开销。我们提出了时间摊销预测编码网络（PCN-TA），它保留了跨时间帧的潜在状态。通过利用时间相关性，PCN-TA显著降低了计算需求，同时保持了学习性能。我们在COIL-20机器人感知数据集上的实验表明，与反向传播相比，PCN-TA的权重更新减少了10%，并且比基线PC网络所需的推理步骤减少了50%。这些效率的提高直接转化为减少的计算开销，从而在资源受限的机器人系统中向边缘部署和实时适应支持迈进了一步。我们的方法受生物启发的性质也使其成为未来神经形态硬件实现的有希望的候选者，从而实现边缘的高效在线学习。
2025-10-29 cs.LG cs.NE
Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Hertfordshire（赫特福德大学）
本研究提出基于前向-前向算法的尖峰神经网络训练框架，通过两次前向传播实现逐层局部学习，在静态和尖峰数据集上以轻量架构达到与反向传播训练相当的性能，并提升计算效率与神经形态硬件兼容性。
2025-05-27 cs.AI cs.LG cs.NE
A Biologically Plausible Learning Rule for Deep Learning in the Brain
研究人员提出，深度学习在广泛的高复杂性任务中取得了重要进展，可能会激发对大脑学习的新见解。然而，人工神经网络用于深度学习的方法在生物学上是不现实的，需要用生物学上现实的对应方法来取代。以前的生物学上合理的强化学习规则，如AUGMEnT和AUGMEnT，显示出有希望的结果，但集中在三层的浅层网络上。这些学习规则是否也可以推广到具有更多层的网络，它们是否可以处理更高复杂性的任务？我们在经典和硬图像分类基准测试（即MNIST、CIFAR 10和CIFAR 100）上演示了学习方案，这些测试都是针对完全连接、卷积和局部连接架构的直接奖励任务。我们证明了我们的学习规则-Q-RNL-通过误差反向传播执行监督学习，这种类型的试错强化学习只需要1.5-2.5倍的时间，即使在CIFAR 100中分类100个不同的类。我们的研究结果为如何在大脑中实施深度学习提供了新的见解。
2019-07-02 cs.NE
Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions
University of Tokyo（东京大学）；Research Center for Mathematical Engineering（数学工程研究中心）；University of Tokyo Institutes for Advanced Study（东京大学先进研究机构）
本文提出了一种新型反向传播算法，用于训练无单突触限制的脉冲神经网络，通过多个突触时间的相对关系提高计算能力，并在准确性上超越了传统模型。
2022-11-29 cs.LG cs.NE
Energy-Efficient Information Representation in MNIST Classification Using Biologically Inspired Learning
KEIM Institute, Albstadt-Sigmaringen University, Germany（凯姆研究所，阿尔布施塔特-西格马林根大学，德国）；Department of Computer Science, Chemnitz University of Technology, Germany（计算机科学系，化学工业大学，德国）
本文提出了一种生物启发式学习规则，用于在MNIST分类中实现高效节能的信息表示，通过优化突触使用减少冗余，提升模型效率和适应性。
2026-02-28 cs.LG cs.NE
A Programmer's Guide to Cascaded Adaptive Combiners: Online Learning by Biologically Accurate Models of Multilayer Neuron Networks
RISE Research Institutes of Sweden（瑞研所）；Örebro University（厄勒布鲁大学）
提出一种更符合生物计算机制的机械性神经网络模型，通过级联自适应组合器实现多层网络的高效在线学习，替代反向传播，在图像分类任务中取得竞争性表现。
2026-06-15 cs.NE
Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
对生物学上合理的深度学习的追求不仅是为了解释生物神经网络的实验观察特性，而且还希望发现更有效的方法来训练人工网络。在本文中，我们提出了一个新的算法命名为变分可能流（VPF），最小概率流的扩展训练二进制深度玻尔兹曼机（DBMs）。我们发现，在VPF的权重更新是本地的，只取决于相邻神经元的状态和发射率。与对比发散不同，不需要吉布斯虚构;与反向传播不同，不需要交替的前馈和反馈阶段。此外，学习算法是有效的训练DBM与层内连接之间的隐藏节点。MNIST和Fashion MNIST的实验表明，VPF快速学习合理的特征，更准确地重建受损图像，并生成具有高估计对数似然的样本。最后，我们注意到，有趣的是，如果存在VPF的不对称版本，则权重更新直接解释了尖峰定时依赖可塑性（STDP）的实验结果。
2017-11-21 cs.LG cs.NE stat.ML
PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks
School of Computer Science（计算机学院）；University of Auckland（奥克兰大学）
PropNEAT通过双向基因组图到层架构映射，实现NEAT的高效GPU反向传播，在58个数据集上性能仅次于随机森林，训练时间随深度线性增长，可扩展至强化学习与卷积网络，并发现更稀疏的小网络。
2024-11-06 cs.AI cs.LG cs.NE
Two Routes to Scalable Credit Assignment without Weight Symmetry
Stanford University（斯坦福大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；Cellarity（Cellarity公司）
反向传播的神经可扩展性长期以来一直存在争议，主要是因为它使用了非局部权重传输$-$，这是一个神经元瞬时测量另一个神经元突触权重的生物学可疑要求。直到最近，试图创建避免权重传输的本地学习规则通常在反向传播的大规模学习场景中失败，例如使用深度卷积网络的ImageNet分类。在这里，我们研究了最近提出的本地学习规则，产生竞争力的性能与反向传播，并发现它是高度敏感的元paradigm的选择，需要费力的调整，不跨网络架构转移。我们的分析指出了这种不稳定性的根本数学原因，使我们能够确定一个更强大的本地学习规则，更好地转移，而无需元模型调整。尽管如此，我们发现这种局部规则和反向传播之间的性能和稳定性差距随着模型深度的增加而扩大。然后，我们研究了几种非局部学习规则，这些规则将瞬时权重传输的需求放松为更具生物学合理性的“权重估计”过程，表明这些规则与深度网络的最新性能相匹配，并且在存在噪声更新的情况下有效地运行。综上所述，我们的研究结果提出了两条发现无权重对称的信用分配神经实现的途径：进一步改进局部规则，使其在整个体系结构中保持一致，以及识别非局部学习机制的生物实现。
2020-06-25 cs.LG cs.NE q-bio.NC
Stacked unsupervised learning with a network architecture found by supervised meta-learning
堆叠无监督学习（SUL）似乎比反向传播更具有生物学合理性，因为学习对于每一层都是局部的。但是SUL在实际应用中远远没有达到反向传播的水平，这削弱了SUL可以解释大脑如何学习的观点。在这里，我们展示了一个SUL算法，它可以执行完全无监督的MNIST数字聚类，相对于基于反向传播的无监督算法具有相当的准确性。我们的算法是超过自我监督的方法，需要训练数据增强几何失真。在我们的无监督算法中，唯一的先验知识隐含在网络架构中。多个卷积“能量层”包含平方和非线性，灵感来自初级视觉皮层的“能量模型”。卷积核是通过K-Subspaces算法的快速小批量实现来学习的。高精度需要使用初始白化层进行预处理，在推理过程中比学习更不稀疏的表示，以及重新缩放增益控制。通过监督元学习发现网络架构的超参数，从而优化无监督聚类精度。我们认为这种无监督学习对网络结构中隐含的先验知识的依赖在生物学上是合理的，类似于大脑结构对进化历史的依赖。
2022-06-06 cs.NE q-bio.NC
Equilibrium Propagation for Complete Directed Neural Networks
INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；University of Lisbon（里斯本大学）；RPI（伦斯勒理工学院）；Instituto de Telecomunicações（电信研究所）
人工神经网络是监督学习最成功的方法之一，最初受到生物学对应物的启发。然而，人工神经网络最成功的学习算法，反向传播，被认为是生物学上不可信的。我们有助于生物学上合理的神经元学习的主题，建立和扩展的平衡传播学习框架。具体来说，我们介绍：一个新的神经元动力学和学习规则的任意网络架构;一个稀疏诱导方法能够修剪不相关的连接;一个动态系统表征的模型，使用李雅普诺夫理论。
2020-06-17 cs.LG cs.NE stat.ML
Backpropagation through space, time, and the brain
University of Bern（伯尔尼大学）
本文提出了一种生物合理的计算框架GLE，用于在物理动态神经网络中实现完全局部的空间-时间信用分配，通过利用树突形态和突触可塑性实现高效信息处理与存储。
2026-01-12 cs.AI cs.LG cs.NE
BP-STDP: Approximating Backpropagation using Spike Timing Dependent Plasticity
训练脉冲神经网络（SNN）的问题是理解大脑内部计算的必要前提，这一领域仍处于起步阶段。先前的工作表明，多层SNN中的监督学习使生物启发网络能够通过分层特征获取来识别刺激模式。虽然梯度下降在多层（和深）SNN中显示出令人印象深刻的性能，但它通常被认为在生物学上不合理，并且在计算上也是昂贵的。本文提出了一种新的监督学习方法的基础上，基于事件的尖峰定时依赖可塑性（STDP）规则嵌入在一个网络的集成和消防（IF）神经元。所提出的时间局部学习规则遵循在每个时间步应用的反向传播权重变化更新。该方法具有精确的梯度下降和时间局部有效的STDP的优点。因此，这种方法能够解决一些关于大脑中发生的准确和有效计算的公开问题。XOR问题，虹膜数据，和MNIST数据集上的实验结果表明，建议的SNN执行传统的神经网络一样成功。我们的方法也可以与最先进的多层SNN相比。
2018-03-09 cs.NE
Backprop Diffusion is Biologically Plausible
University of Siena（锡耶纳大学）
反向传播算法依赖于使用神经模型的抽象，该模型摆脱了时间的概念，因为输入即时映射到输出。在本文中，我们声称这种忽略时间的抽象，以及在喂养训练集时发生的突然输入变化，实际上是为什么在一些论文中，Backprop生物相容性被认为是一个可解释的问题的原因。我们表明，只要一个深前馈网络与神经元的时间延迟响应，反向传播权重更新原来是一个生物合理的扩散过程的基本方程的基础上向前向后波。我们还表明，这样的过程很好地近似了相对于网络深度不太快的输入的梯度。这些评论在一定程度上揭示了反向传播方程背后的扩散过程，并使我们将相应的算法解释为更一般的扩散过程的退化，这种扩散过程也发生在具有循环连接的神经网络中。
2020-06-17 cs.LG cs.NE q-bio.NC
Physical Deep Learning with Biologically Plausible Training Method
NTT Device Technology Labs.（NTT设备技术实验室）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息理工学系研究科）；Next Generation Artificial Intelligence Research Center, The University of Tokyo（东京大学下一代人工智能研究中心）
对进一步发展人工智能的需求不断增长，促使人们对基于模拟物理设备的非常规计算进行研究。虽然这种计算设备模仿大脑启发的模拟信息处理，但学习过程仍然依赖于针对数字处理优化的方法，例如反向传播。在这里，我们通过扩展称为直接反馈对齐的生物学上合理的训练算法来呈现物理深度学习。由于该方法是基于随机投影和任意非线性激励，我们可以训练一个物理神经网络没有知识的物理系统。此外，我们可以在一个简单且可扩展的物理系统上模拟和加速此训练的计算。我们证明了概念验证使用分层连接的光电递归神经网络称为深水库计算机。通过构建一个FPGA辅助的光电工作台，我们证实了加速计算的潜力，具有竞争力的性能基准。我们的研究结果为神经形态计算的训练和加速提供了实用的解决方案。
2022-04-01 cs.LG cs.NE nlin.AO
Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm
University of Edinburgh（爱丁堡大学）；University Sussex（萨塞克斯大学）；School of Informatics（信息学院）；School of Engineering and Informatics（工程与信息学院）；Sackler Center for Consciousness Science（萨克勒意识科学中心）；Evolutionary and Adaptive Systems Research Group（进化与自适应系统研究组）
最近提出的激活松弛（AR）算法提供了一个简单而强大的方法来近似误差的反向传播算法，只使用本地学习规则。与竞争方案不同，它收敛到精确的反向传播梯度，并且仅利用单一类型的计算单元和单一的向后松弛阶段。我们之前已经证明，该算法可以进一步简化，并通过（i）引入一组可学习的向后权重，克服了权重传输问题，以及（ii）避免计算每个神经元的非线性导数，使其在生物学上更合理。然而，到目前为止，这些简化的功效仅在简单的多层感知器（MLP）网络上进行了测试。在这里，我们表明，这些简化仍然保持使用更复杂的CNN架构和具有挑战性的数据集的性能，这已被证明是其他生物学上合理的方案难以扩展。我们还研究了原始AR算法的另一个生物学上不可信的假设-冻结前馈传递-是否可以在不损害性能的情况下放松。
2020-10-13 cs.AI cs.NE stat.ML
Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning
Cornell University（康奈尔大学）
本文受生物逆流交换机制启发，提出逆流学习（CCL）框架，通过前馈与反馈网络的反平行信号传播实现信用分配，在多个数据集上取得与生物合理算法相当的性能，并展示了无监督学习潜力。
2024-10-23 cs.AI cs.LG cs.NE
