Neural networks with dynamical coefficients and adjustable connections on the basis of integrated backpropagation
我们考虑的人工神经元将更新其权重系数的内部规则的基础上反向传播，而不是使用它作为一个外部的训练过程。为了实现这一点，我们将反向传播误差估计作为一个单独的实体包含在所有神经元模型中，并沿着突触连接执行其交换。除此之外，我们还添加了一些具有参考输入的特殊类型的神经元，这些神经元将作为整个网络的误差估计的基本来源。最后，我们为所有神经元引入一个训练控制信号，它可以实现权重的校正和误差估计的交换。对于经常性的神经网络，我们还演示了如何集成反向传播通过时间到他们的形式主义的帮助下，一些堆栈存储器的参考输入和外部数据输入的神经元。此外，对于广泛使用的神经网络，如长短期记忆，径向基函数网络，多层感知器和卷积神经网络，我们证明了他们的替代描述我们的新形式主义的框架内。
2018-08-06 cs.NE
A Programmer's Guide to Cascaded Adaptive Combiners: Online Learning by Biologically Accurate Models of Multilayer Neuron Networks
RISE Research Institutes of Sweden（瑞研所）；Örebro University（厄勒布鲁大学）
提出一种更符合生物计算机制的机械性神经网络模型，通过级联自适应组合器实现多层网络的高效在线学习，替代反向传播，在图像分类任务中取得竞争性表现。
2026-06-15 cs.NE
Avoiding overfitting of multilayer perceptrons by training derivatives
抗过拟合观察到的神经网络训练与扩展的反向传播算法。除了目标值之外，其成本函数还使用那些直到$4^{\mathrm{th}}$阶的导数。对于神经网络的常见应用，高阶导数不容易获得，因此考虑更简单的情况：训练网络以在2D和5D域内近似解析函数，并在2D圆内求解泊松方程。对于函数近似，成本是输出和目标之间的平方差以及它们相对于输入的导数之和。微分方程通常通过将多层感知器放在未知函数的位置并训练其权重来求解，因此方程在一定的误差范围内成立。通常使用的成本是等式的残差平方。附加项是所述残差相对于自变量的平方导数。为了研究过拟合问题，对不同间距的规则网格上的点进行代价最小化，并将其根均值与其在更密集测试集上的值进行比较。使用Rprop训练具有六个隐藏层和$2\cdot10^{4}$、$1\cdot10^{6}$和$5\cdot10^{6}$权重的全连接感知器，直到在最后1000个历元中成本变化小于10%，或者当达到$10000^{\mathrm{th}}$历元时。用$5\cdot10^{6}$权重训练网络以表示简单的2D函数，使用10个点，每个点具有8个额外的导数，产生$1.5$的成本测试与训练比率，而对于类似条件下的经典反向传播，该比率为$2\cdot10^{4}$。
2018-02-28 cs.NE
Dendritic cortical microcircuits approximate the backpropagation algorithm
Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）；University of Bern（伯尔尼大学）；University of Bristol（布里斯托大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
深度学习在过去几年中取得了显著的发展，其中许多都受到了神经科学的启发。然而，这些进步背后的主要学习机制-错误反向传播-似乎与神经生物学不一致。在这里，我们介绍了一个多层神经元网络模型与简化的树突室中，错误驱动的突触可塑性适应网络对一个全球性的期望输出。与以前的工作相比，我们的模型不需要单独的阶段，突触学习是由局部树突预测误差连续驱动的。这种错误起源于顶端树突，并且由于来自外侧中间神经元的预测输入与来自实际自上而下反馈的活动之间的不匹配而发生。通过使用简单的树突隔室和不同的细胞类型，我们的模型可以代表锥体神经元内的错误和正常活动。我们展示了该模型在回归和分类任务中的学习能力，并分析表明它近似于误差反向传播算法。此外，我们的框架是一致的，最近的观察学习之间的大脑区域和皮层微电路的架构。总的来说，我们介绍了一种新的观点学习树突状皮层电路和大脑如何解决长期存在的突触信用分配问题。
2018-10-26 cs.LG cs.NE q-bio.NC
Learning Precise Spike Train to Spike Train Transformations in Multilayer Feedforward Neuronal Networks
我们推导出一个突触权重更新规则，用于学习时间上精确的尖峰训练到尖峰训练转换的多层前馈网络的尖峰神经元。该框架的目的是无缝地将误差反向传播推广到确定性尖峰神经元设置，严格基于尖峰定时，并避免调用与尖峰速率或尖峰概率模型有关的概念。推导是建立在两个创新。首先，提出了一种误差泛函，该泛函将网络的输出神经元发出的尖峰训练与期望的尖峰训练通过它们对虚拟突触后神经元的推定影响进行比较。该公式回避了尖峰对齐的需要，并导致所有感兴趣的量的封闭形式的解决方案。其次，将权重虚拟分配给尖峰而不是突触使得能够对输出的各个尖峰时间和突触权重以及网络中的所有中间神经元进行扰动分析，这产生了相对于所述实体的误差泛函的梯度。学习通过利用这些量的梯度下降机制进行。仿真实验证明了所提出的学习框架的有效性。这些实验还强调了兴奋性和抑制性神经元上突触之间的不对称性。
2016-01-08 cs.NE
Improving Gradient Flow with Unrolled Highway Expectation Maximization
Ground Technology Research Institute, Agency for Defense Development（国防发展局地面技术研究所）
将基于模型的机器学习方法集成到深度神经架构中，可以利用深度神经网络的表达能力和基于模型的方法结合特定领域知识的能力。特别是，许多作品采用了期望最大化（EM）算法的形式展开的分层结构，这是联合训练的骨干神经网络。然而，它是很难有区别地训练骨干网络通过反向传播通过EM迭代，因为它们是容易消失的梯度问题。为了解决这个问题，我们提出了高速公路期望最大化网络（HEMNet），它是由展开迭代的广义EM（GEM）算法的基础上的牛顿-拉普森方法。HEMNet具有沿展开架构深度的缩放跳过连接或高速公路，从而在反向传播期间改善梯度流，同时与标准展开EM相比，产生可忽略不计的额外计算和内存成本。此外，HEMNet保留了底层EM过程，从而完全保留了原始EM算法的收敛特性。我们在几个语义分割基准测试中取得了显着的性能改善，并通过经验表明，HEMNet有效地消除了梯度衰减。
2020-12-09 cs.CV cs.LG cs.NE
Adapting Resilient Propagation for Deep Learning
Birkbeck, University of London（伦敦大学伯贝克学院）
弹性传播（Resilient Propagation，Rprop）算法在多层前馈神经网络的反向传播训练中得到了广泛的应用。然而，标准Rprop在深度神经网络的背景下遇到了困难，这通常发生在基于梯度的学习算法中。在本文中，我们提出了一个修改的Rprop，结合标准的Rprop步骤与一个特殊的辍学技术。我们将该方法应用于训练深度神经网络作为独立组件和集成公式。MNIST数据集上的结果表明，所提出的修改解决了标准Rprop的问题，提高了学习速度和准确性。
2015-09-16 cs.CV cs.LG cs.NE
Neural Nets via Forward State Transformation and Backward Loss Transformation
Radboud University Nijmegen（奈梅亨拉德堡德大学）
这篇文章研究（多层感知器）神经网络，重点是所涉及的转换-向前和向后-为了开发一个符合标准程序语义的语义/逻辑视角。常见的两遍神经网络训练算法使这一观点特别适合。在正向方向上，神经网络充当状态Transformers。然而，在相反的方向上，神经网络将输出的损失改变为输入的损失，从而像（实值）谓词Transformer一样起作用。通过这种方式，反向传播是构造函数的，正如最近的其他工作中所示。我们通过训练一个简单的神经网络实例来说明这一观点。
2018-03-25 cs.LG cs.NE
Temporally Efficient Deep Learning with Spikes
绝大多数自然感觉数据在时间上是冗余的。在附近的时间点采样的视频帧或音频样本往往具有类似的值。通常，深度学习算法不会利用这种冗余来减少计算。这可能是一种可耻的能源浪费。我们提出了一个神经网络的反向传播变体，其中计算与数据的变化率-而不是我们处理数据的速率-成比例。我们通过让神经元传达它们的状态和状态的时间变化来做到这一点。有趣的是，这种简单的通信规则产生了类似于生物学启发的泄漏整合和发射神经元的单元，以及相当于尖峰定时依赖可塑性（STDP）形式的权重更新规则，这是一种在大脑中观察到的突触学习规则。我们证明，在MNIST和MNIST的一个时间变体上，我们的算法的性能与用反向传播训练的多层感知器一样好，尽管层与层之间只传递离散值。
2017-06-13 cs.NE
Sparse-firing regularization methods for spiking neural networks with time-to-first spike coding
Chiba Institute of Technology（千叶工业大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；NEC Corporation（日本电气股份有限公司）
针对TTFS编码的脉冲神经网络低发放频率下信息处理能力研究不足的问题，提出M-SSR和F-SSR两种稀疏发放正则化方法，在多个数据集和网络结构上验证了降低发放频率的效果。
2023-07-24 cs.LG cs.NE
Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
本文提出SMGrNN，通过局部结构可塑性模块实现网络拓扑的在线进化，提升强化学习中的控制性能与稳定性。
2026-07-28 cs.LG cs.NE
Towards Biologically Plausible Computing: A Comprehensive Comparison
本研究确立生物可信学习算法的评估标准，系统对比9类现有生物可信训练算法，并结合多架构、多数据集实验及脑活动匹配度验证，为开发更优算法、推动神经科学与机器学习交叉发展提供参考。
2024-06-23 cs.NE
BS4NN: Binarized Spiking Neural Networks with Temporal Coding and Learning
Shahid Beheshti University（沙希德·贝赫什提大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；CerCo UMR 5549, CNRS Université Toulouse 3（法国国家科学研究中心图卢兹第三大学 CerCo UMR 5549 实验室）
我们最近提出了S4 NN算法，本质上是对多层脉冲神经网络的反向传播的一种适应，这种神经网络使用简单的非泄漏积分和激发神经元和一种称为第一个脉冲时间编码的时间编码形式。使用这种编码方案，神经元在每个刺激中最多激发一次，但激发顺序携带信息。在这里，我们引入了BS 4 NN，这是S4 NN的一种修改，其中突触权重被限制为二进制（+1或-1），以减少内存（理想情况下，每个突触一位）和计算占用空间。这是使用两组权重来完成的：第一，实值权重，通过梯度下降更新，并用于反向传播的反向传递，第二，它们的符号，用于正向传递。类似的策略已被用于训练（非尖峰）二值化神经网络。主要区别在于，BS 4 NN在时域中运行：尖峰信号按顺序传播，不同的神经元可能在不同的时间达到它们的阈值，这增加了计算能力。我们在两个流行的基准测试MNIST和Fashion-MNIST上验证了BS 4 NN，并获得了这种网络的合理准确度（分别为97.0%和87.3%），相对于实值权重（分别为0.4%和0.7%），准确度下降可以忽略不计。我们还证明了BS 4 NN在这两个数据集上的性能优于具有相同架构的简单BNN（分别为0.2%和0.9%），大概是因为它利用了时间维度。拟议的BS 4 NN的源代码可在https://github.com/SRKH/BS4NN上公开获得。
2021-12-06 cs.CV cs.NE
Training Algorithm for Neuro-Fuzzy Network Based on Singular Spectrum Analysis
在这篇文章中，我们提出了一个基于奇异谱分析（SSA）和一个标准的前馈神经预测模型的降噪算法的组合。基本上，该算法包括两个不同的步骤：数据预处理的基础上的SSA滤波方法和一步一步的训练过程中，我们使用一个简单的前馈多层神经网络与反向传播学习。所提出的降噪方法成功地去除了大部分噪声。这增加了处理后的数据集与原始数据集相比的长期可预测性。将该方法应用于国际太阳黑子数RZ时间序列的预测。结果表明，我们的组合技术具有更好的性能比直接应用于原始数据集的相同的网络提供。
2014-10-05 cs.NE stat.ME
Biologically-inspired neuronal adaptation improves learning in neural networks
Canadian Centre for Behavioural Neuroscience, University of Lethbridge（莱斯布里奇大学加拿大行为神经科学中心）
由于人类在许多任务上的表现仍然优于人工神经网络，因此从大脑中汲取灵感可能有助于改进当前的机器学习算法。对比赫布学习（CHL）和平衡传播（EP）是生物学上合理的算法，仅使用局部信息（不显式计算梯度）更新权重，并且仍然实现与传统反向传播相当的性能。在这项研究中，我们增强了CHL和EP与调整适应，灵感来自神经元中观察到的适应效应，其中神经元对给定刺激的反应在短时间后调整。我们将这种自适应功能添加到在MNIST和CIFAR-10上训练的多层感知器和卷积神经网络中。令人惊讶的是，适应改善了这些网络的性能。我们讨论了这一想法的生物学灵感，并调查为什么神经元适应可能是一个重要的大脑机制，以提高学习的稳定性和准确性。
2022-04-08 cs.AI cs.LG cs.NE
Comparative study of Financial Time Series Prediction by Artificial Neural Network with Gradient Descent Learning
金融预测是信号处理问题的一个例子，由于小样本、高噪声、非平稳性和非线性，而股票市场价格的快速预测对于企业的战略规划是非常重要的，本研究的目的是建立一个比较预测模型，前馈多层人工神经网络，用于金融时间序列预测的递归时间延迟神经网络。这项研究是在GoogleFinance提供的历史股票价格数据集的帮助下开发的。为了开发这种预测模型，采用了具有梯度下降学习的反向传播方法。最后，神经网络，学习与所述算法被发现是熟练的预测非平稳噪声金融时间序列。
2012-01-31 cs.AI cs.NE
Perceptrons from Memristors
忆阻器，具有记忆的电阻器，其输出取决于其输入的历史，已经成功地用于神经形态架构，特别是作为突触和非易失性存储器。然而，据我们所知，到目前为止还没有提出一种网络模型，其中突触和神经元都使用忆阻器实现。在目前的工作中，我们介绍模型的单一和多层感知器完全基于忆阻器。我们将delta规则应用于基于忆阻器的单层感知器，将反向传播算法应用于基于忆阻器的多层感知器。我们的研究结果表明，两者都表现出预期的感知器，包括满足明斯基-Papert定理。作为通用近似定理的结果，他们还表明忆阻器是通用函数近似器。通过将忆阻器用于神经元和突触，我们的模型为基于忆阻器的新型神经网络架构和算法铺平了道路。基于忆阻器的神经网络可以在能量守恒方面显示出优势，并为其他学习系统在经典和量子学习领域中适应基于忆阻器的范例开辟了可能性。
2018-12-26 cs.ET cs.NE quant-ph
Deep Learning in Spiking Neural Networks
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；Monash University（莫纳什大学）；Kharazmi University（哈拉齐米大学）；CNRS-Université de Toulouse 3（法国国家科学研究中心-图卢兹第三大学）
近年来，深度学习已经成为机器学习领域的一场革命，特别是对于计算机视觉。在该方法中，使用反向传播以监督方式训练深度（多层）人工神经网络（ANN）。需要大量的标记示例，但由此产生的分类精度确实令人印象深刻，有时甚至超过人类。人工神经网络中的神经元的特征在于单一的、静态的、连续值的激活。然而，生物神经元使用离散的尖峰来计算和传输信息，除了尖峰频率之外，尖峰时间也很重要。因此，脉冲神经网络（SNN）在生物学上比人工神经网络（ANN）更真实，如果人们想了解大脑是如何计算的，它可以说是唯一可行的选择。SNN也比ANN更硬件友好和节能，因此对技术有吸引力，特别是对于便携式设备。然而，训练深度SNN仍然是一个挑战。尖峰神经元的传递函数通常是不可微的，这妨碍了使用反向传播。在这里，我们回顾了最近的监督和无监督方法来训练深度SNN，并在准确性，计算成本和硬件友好性方面进行了比较。新出现的情况是，SNN在准确性方面仍然落后于ANN，但差距正在缩小，甚至可以在某些任务中消失，而SNN通常需要更少的操作。
2019-01-20 cs.AI cs.NE
Benchmarking Decoupled Neural Interfaces with Synthetic Gradients
神经神经网络是一类特殊的学习系统，它以生物神经功能为模型，具有Hebbian学习的有趣倾向，即“神经元连接在一起，一起激发”。然而，与它们的自然对应物不同，人工神经网络在网络中的神经元模块之间具有紧密和严格的耦合。这种耦合或锁定对网络施加了严格且不灵活的结构，该结构防止网络中的层更新其权重，直到发生完全前馈和后向传递。这样的约束虽然可能已经足够了一段时间，但现在在超大规模机器学习的时代不再可行，再加上对跨多个计算基础设施的学习过程的并行化的需求增加。为了解决这个问题，引入了具有解耦神经接口（DNI）的合成梯度（SG）作为反向传播算法的可行替代方案。本文进行了一个速度基准比较的速度和准确性能力的SG-DNI，而不是一个标准的神经接口，使用多层感知器MLP。SG-DNI显示出良好的前景，因为它不仅捕获了学习问题，而且由于它的异步学习能力，它的速度也快了3倍以上。
2018-05-21 cs.CV cs.LG cs.NE
Using Artificial Bee Colony Algorithm for MLP Training on Earthquake Time Series Data Prediction
Universiti Tun Hussein Onn Malaysia（马来西亚 Hussein Onn 大学）
近年来，计算机科学家对利用神经网络研究社会性昆虫的行为表现出极大的兴趣，以解决各种组合和统计问题。其中最主要的是人工蜂群（ABC）算法。本文研究了使用ABC算法，模拟智能觅食行为的蜜蜂群。用标准反向传播算法训练的多层感知器（MLP）通常利用计算密集型训练算法。反向传播（BP）算法的关键问题之一是，它有时会产生次优的权重，因为在解空间中存在许多局部最优的网络。为了克服在这项工作中使用的ABC算法来训练MLP学习由BP训练的地震时间序列数据的复杂行为，MLP-ABC的性能与标准BP的MLP训练进行基准测试。实验结果表明，对于时间序列数据，MLP-ABC的性能优于MLP-BP。
2011-12-20 cs.AI cs.LG cs.NE
Neural network to identify individuals at health risk
适当的体育活动可以降低心脏病和高血压等疾病的风险。然而，尽管大多数人声称进行一些体育锻炼，但只有少数人的锻炼足以保持健康的生活方式。因此，在过去十年中，缺乏身体活动已成为公众健康的主要问题之一。研究表明，从高中到大学，体育活动的减少幅度最大。因此，快速识别因缺乏身体活动而面临健康风险的大学生至关重要。研究还表明，一个人的身体活动水平与种族和性别等人口特征以及自我激励和家人和朋友的支持高度相关。这些信息可以通过20分钟的问卷从每个学生那里收集，但是分发和分析每个问卷所需的时间在大学校园里是不可行的。因此，我们提出了一个自动识别的学生处于危险之中，使这些学生可以更容易地有针对性的大学校园和体育活动促进部门。我们在本文中提出了一个监督的反向传播多层神经网络的初步结果，学生分为风险或不处于危险之中。
2011-05-09 cs.NE
QuasiNet: a neural network with trainable product layers
Faculty of Mathematics, Physics and Informatics Comenius University in Bratislava（布拉迪斯拉发夸美纽斯大学数学、物理与信息学院）
本文提出QuasiNet，通过引入可训练的乘积神经元层改进经典反向传播，有效解决异或、奇偶校验和双螺旋等困难问题，实验表明其成功率显著优于经典多层感知器。
2024-02-26 cs.AI cs.LG cs.NE
Dendritic Localized Learning: Toward Biologically Plausible Algorithm
本文提出树突局部化学习（DLL）算法，受锥体神经元启发，同时满足权重非对称、局部误差和单阶段训练三项生物合理性标准，并在MLP、CNN和RNN上取得领先性能。
2025-06-04 cs.NE
Deep Learning in Memristive Nanowire Networks
用于加速神经网络训练和推理的模拟交叉开关架构在过去几年中取得了巨大的进步。这些架构对于神经元数量少于大约一千个的密集层来说是理想的。然而，对于大型稀疏层，交叉开关架构的效率非常低。一种新的硬件架构，被称为MN3（记忆纳米线神经网络），最近被描述为一种有效的架构，用于模拟非常宽，稀疏的神经网络层，每层大约有数百万个神经元。MN3利用高密度忆阻纳米线网格来有效地连接大量具有可修改权重的硅神经元。在这里，为了探索MN3作为深度神经网络的能力，我们描述了一种用于训练深度MN3模型的算法，并在两个深度学习任务上对该架构进行基准模拟。我们利用一个简单的分段线性忆阻器模型，因为我们试图证明，训练是，在原则上，可能的随机纳米线架构。在未来的工作中，我们打算利用更现实的忆阻器模型，我们将适当地调整所提出的算法。我们表明，MN3能够执行组合，梯度传播和权重更新，这些功能使其能够作为一个深度神经网络。我们表明，一个模拟的多层感知器（MLP），从MN3网络，可以得到一个1.61%的出错率流行的MNIST数据集，相当于大小相等的基于软件的网络。据作者所知，这项工作代表了第一个能够复制反向传播算法的随机纳米线架构。
2020-03-03 cs.ET cs.NE
Multi-Sample Online Learning for Probabilistic Spiking Neural Networks
King’s College London（伦敦国王学院）；Intel Labs（英特尔实验室）
脉冲神经网络（SNN）通过动态、在线、事件驱动的二进制时间序列处理，捕获生物大脑的一些推理和学习效率。SNN的大多数现有学习算法都是基于确定性神经元模型，如leaky integrate-and-fire，并且依赖于通过时间的反向传播的启发式近似，其强制约束，如局部性。相比之下，概率SNN模型可以直接通过原则性的在线，本地，更新规则进行训练，这些规则已被证明对资源受限的系统特别有效。本文研究了概率SNN的另一个优点，即它们在相同输入下查询时生成独立输出的能力。结果表明，多个生成的输出样本可以在推理过程中使用，以鲁棒决策和量化不确定性-确定性SNN模型无法提供的功能。此外，它们可以用于训练，以获得对数损失训练标准及其梯度的更准确的统计估计。具体而言，本文介绍了一种在线学习规则的基础上广义期望最大化（GEM），遵循三因素的形式与全球学习信号，被称为GEM-SNN。在标准神经形态数据集上的结构化输出记忆和分类的实验结果表明，当增加用于推理和训练的样本数量时，在对数似然、准确性和校准方面都有显着改善。
2021-01-05 cs.LG cs.NE eess.SP
Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States
提出基于离子输运物理的忆阻突触模型，实现准连续电导态，并构建1T1R交叉阵列，通过模拟域原位学习支持大规模语言模型，效率远超传统CMOS。
2026-06-23 cond-mat.mes-hall cs.AR cs.ET
Structural Plasticity as Active Inference: A Biologically-Inspired Architecture for Homeostatic Control
Brennen Hill
本文提出SAPIN模型，通过结构可塑性和突触可塑性机制实现生物启发的稳态控制，成功解决Cart Pole任务并保持稳定策略。
2026-02-10 cs.AI cs.LG cs.NE
