Pre-Synaptic Pool Modification (PSPM): A Supervised Learning Procedure for Spiking Neural Networks
学习脉冲神经网络(SNN)模型的突触权值是计算神经科学和基于脉冲的计算中的一个核心问题。最佳权重值的发现可以被视为监督学习任务,其中选择模型网络的权重以最大化目标尖峰序列与模型输出之间的相似性。它仍然在很大程度上是未知的,是否优化尖峰训练相似性的高度经常性SNN产生的权重矩阵相似的地面实况模型。为此,我们提出了灵活的启发式监督学习规则,称为前突触池修改(PSPM),它依赖于随机权重更新,以便在所需时间的短窗口内产生尖峰,并消除此窗口外的尖峰。PSPM提高了所有对所有SNN的尖峰训练相似性,并且由于不需要梯度,因此不假设神经元的突触后电位或网络的结构。我们测试是否优化尖峰训练相似性需要发现准确的权重,并探讨本地和稳态权重更新的相对贡献。虽然PSPM提高了尖峰序列之间的相似性,但学习的权重通常与地面真实模型的权重不同,这意味着从尖峰数据进行连接体推断可能需要对连接统计进行额外的约束。我们还发现,尖峰训练相似性是敏感的本地更新,但其他措施的网络活动,如雪崩分布,可以通过突触稳态学习。
2019-10-08 cs.NE q-bio.NC
Synaptic Dynamics Realize First-order Adaptive Learning and Weight Symmetry
University of California at Santa Barbara(加州大学圣巴巴拉分校)
基于自适应的一阶自适应优化方法,如Adam优化器,在人工网络的训练中很流行,取得了最先进的结果。这项工作试图回答的问题,它是否是可行的生物神经系统,采用这样的优化方法。为此,我们展示了一个实现的亚当优化器使用生物学上合理的机制突触。所提出的学习规则具有明确的生物学对应性,在时间上连续运行,并实现了与亚当相当的性能。此外,我们提出了一种新的方法,灵感来自神经科学中观察到的突触的易感性,以规避反向传播(BP)中的重量传输问题的生物难以置信。该方法只利用局部信息,不需要单独的训练阶段,建立并保持了前向和后向信号路径的权值对称性,适用于提出的生物学上合理的Adam学习规则。这些机制可能揭示生物突触动力学促进学习的方式。
2022-12-01 cs.AI cs.NE
Unified Memcapacitor-Memristor Memory for Synaptic Weights and Neuron Temporal Dynamics
提出一种统一忆阻与忆容行为的存储堆栈,设计电路同时控制循环脉冲神经网络的空间与时间动态,仿真表明其在高效神经形态处理方面具潜力。
2025-06-27 cs.ET cs.NE eess.SP
Using inspiration from synaptic plasticity rules to optimize traffic flow in distributed engineered networks
控制数据流和路由是许多分布式网络中的一个基本问题,包括运输系统、集成电路和互联网。在大脑中,已经发现突触可塑性规则,这些规则调节网络活动以响应环境输入,这使得电路稳定而灵活。在这里,我们开发了一种新的神经启发模型,用于网络流量控制,仅依赖于以活动依赖的方式修改边权重。我们展示了两个基本的可塑性规则(长时程增强和长时程抑制)可以被铸造成一个分布式的梯度下降算法,用于调节工程网络中的交通流量。然后,我们的特点,通过模拟和分析,不同形式的边权重更新规则如何影响网络路由的效率和鲁棒性。我们发现在大脑中实验得出的某些类别的突触权重更新规则和工程中常用的规则之间存在密切的对应关系,这表明两者都有共同的原则。
2016-11-21 cs.NE q-bio.NC
Synaptic Scaling and Optimal Bias Adjustments for Power Reduction in Neuromorphic Systems
Rochester Institute of Technology(罗切斯特理工学院)
受生物大脑低功耗模式启发,该研究提出通过突触权重精细缩放降低神经形态系统功耗,实验显示部分场景功耗降幅超80%且准确率影响小,为边缘AI动态调功耗的神经形态系统设计提供新方向。
2023-06-12 cs.AI cs.NE
Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays
State University of New York at Buffalo(纽约州立大学布法罗分校);Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种扩展STDP的新学习规则,用于同时学习突触权重和延迟,在神经形态SNN分类任务中优于现有方法,并揭示突触效能与延迟的相互作用。
2025-06-17 cs.LG cs.NE
Reconstructing Neural Parameters and Synapses of arbitrary interconnected Neurons from their Simulated Spiking Activity
为了理解神经回路的行为,我们有一个先决条件,即我们有一个描述这个回路的动力系统模型。该模型由几个参数决定,不仅包括突触权重,还包括每个神经元的参数。现有的工作主要集中在突触权重或神经元参数。在本文中,我们提出了一种算法来重建所有参数,包括突触的尖峰神经元模型的权重。该模型以尤金·M. Izhikevich(Izhikevich 2007)由两个微分方程组成,涵盖了不同类型的皮层神经元。它结合了Hodgkin-Huxley型动力学的动力学性质和高计算效率。所提出的算法使用相应的膜电位的模型的重建的记录,并由两个主要组成部分。第一部分是一个基于秩的遗传算法(GA),它是用来找到模型的神经参数。第二种方法是最小均方方法,该方法通过最小化每个时间步长的计算和测量的膜电位之间的平方误差来计算所有互连神经元的突触权重。在准备重建的神经参数和突触的权重,从实际测量的膜电位,有前途的结果的基础上产生的随机参数化Izhikevich模型的模拟数据。该方法不仅收敛于神经元参数的全局最小值,而且能够高精度地逼近神经元的突触权值。
2016-08-22 cs.NE q-bio.NC
Generating functionals for computational intelligence: the Fisher information as an objective function for self-limiting Hebbian learning rules
生成泛函可以引导动力系统的演化,并构成处理与计算智能相关的神经网络复杂性的可能途径。我们提出并探索了一个新的目标函数,它允许获得传入突触权重的可塑性规则。自适应规则是赫布的,自限性的,并导致从最小化的Fisher信息相对于突触通量。我们进行了一系列的模拟,检查在各种情况下的新的学习规则的行为。突触权重的向量与输入活动的主方向对齐,无论何时出现。当有两个或两个以上的主方向时,进行线性判别;具有双峰发射率分布的方向,其特征在于负过剩峰度,是优选的。我们发现强大的性能和完整的稳态适应的突触权重结果作为一个副产品的突触通量最小化。这种自限制行为允许在任意持续时间内进行稳定的在线学习。当输入活动的统计数据在模拟的某个点发生变化时,神经元会获得新的信息,然而,这显示出一种明显的弹性,可以忘记以前获得的知识。当从随机抽取的突触权重开始时,学习是快速的,而当突触权重已经完全适应时,学习则慢得多。
2014-10-02 cond-mat.dis-nn cs.NE q-bio.NC
Tuning Synaptic Connections instead of Weights by Genetic Algorithm in Spiking Policy Network
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CAS)(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
本文提出用遗传算法优化模仿昆虫感觉运动通路的脉冲策略网络,通过调节突触连接而非权重,在机器人控制任务中达到主流深度强化学习同等性能且能效显著更高。
2024-11-25 cs.AI cs.NE
Variation Aware Training of Hybrid Precision Neural Networks with 28nm HKMG FeFET Based Synaptic Core
International College of Semiconductor Technology, National Yang-Ming Chiao Tung University(国立阳明交通大学半导体技术国际学院)
这项工作提出了一种混合精度神经网络训练框架,该框架具有基于eNVM的计算存储器单元和另一个SRAM单元,该计算存储器单元执行加权求和操作,该SRAM单元存储反向传播期间的权重更新误差以及更新硬件中的权重所需的脉冲数。基于MLP的神经网络的混合训练算法与28纳米铁电场效应管(FeFET)作为突触器件实现推理的准确性高达95%,在存在的设备和周期的变化。该架构主要使用FeFET器件的行为或宏模型进行评估,并通过实验校准器件变化,与浮点实现相比,我们已经实现了精度。
2022-02-23 cs.AI cs.ET cs.NE
Images as Weight Matrices: Sequential Image Generation Through Synaptic Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(瑞士意大利语区大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
快速权重程序员的工作已经证明了基于键/值外积的学习规则的有效性,用于通过另一个NN或其自身顺序生成神经网络(NN)的权重矩阵(WM)。然而,权重生成步骤通常不能被人类视觉上解释,因为存储在NN的WM中的内容不是。在这里,我们应用相同的原理来生成自然图像。由此产生的快速权重画家(FPA)学习执行增量学习规则序列,以顺序生成图像作为自发明的键和值的外积之和,一次一个等级,就好像每个图像是NN的WM一样。我们在生成对抗网络框架中训练我们的FPA,并在各种图像数据集上进行评估。我们展示了这些通用的学习规则如何生成具有可观视觉质量的图像,而无需对图像进行任何明确的归纳。虽然性能在很大程度上落后于最先进的图像生成器,但我们的方法允许可视化突触学习规则如何迭代产生复杂的连接模式,从而产生人类可解释的有意义的图像。最后,我们还证明了FPA输出端的额外卷积U-Net(现在在扩散模型中很流行)可以学习FPA生成图像的一步“去噪”,以提高其质量。代码是公开的。
2023-02-28 cs.CV cs.LG cs.NE
Allee Synaptic Plasticity and Memory
本文提出基于Allee的非线性可塑性模型,通过权重稳定机制和时间依赖性动力学扩展,解决了现有模型噪声敏感和权重无限增长问题,提升了记忆保持与模式检索的容量和可靠性。
2025-08-11 cs.NE math.DS q-bio.NC
Purin: A Biology-inspired Mechanism for Artificial Neural Networks
University of Exeter(埃克塞特大学);University of Wisconsin - Parkside(威斯康星大学帕克赛德分校)
提出受生物学启发的Purin机制,通过时间间隔抽象和有界因子引入短期与长期突触效能调制,无需离散时间步长,在AlexNet、VGG11和GoogLeNet上提升分类准确率。
2026-11-11 cs.AI cs.NE
ASP: Learning to Forget with Adaptive Synaptic Plasticity in Spiking Neural Networks
Purdue University(普渡大学)
动物学习的一个基本特征是“遗忘能力”,它允许生物体从不同的信息流中感知、建模和做出决策,并适应不断变化的环境。在此背景下,我们提出了一种新的无监督学习机制ASP(自适应突触可塑性),用于在动态环境中进行实时的在线学习的脉冲神经网络(SNNs)的改进识别。我们将自适应权重衰减机制与传统的尖峰定时依赖可塑性(STDP)学习模型的自适应SNN。基于突触前和突触后神经元的尖峰模式之间的时间相关性来调制突触权重的泄漏率。这种机制有助于逐渐忘记不重要的数据,同时保留重要但旧的信息。因此,ASP,保持遗忘和即时学习之间的平衡,以构建一个稳定的塑性自适应SNN连续变化的输入。我们证明,所提出的学习方法解决了灾难性遗忘,同时产生显着提高的准确性比传统的STDP学习方法的数字识别应用。此外,我们观察到,所提出的学习模型自动编码对输入数据中的相关特征的选择性注意,同时消除背景噪声(或去噪)的影响,进一步提高ASP学习的鲁棒性。
2018-06-08 cs.CV cs.NE
Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
递归脉冲神经网络(RSNNs)作为一类重要的脉冲神经网络(SNNs),具有强大的计算能力,被广泛应用于音频、文本等序列数据的处理。然而,大多数RSNN都有两个问题。1.由于缺乏体系结构指导,经常采用随机递归连接,这并不能保证良好的性能。2. RSNN的训练通常具有挑战性,需要检查可实现的模型精度。为了解决这些问题,我们提出了一种新型的RSNN,称为跳跃连接自递归SNN(ScSr-SNN)。ScSr-SNN中的递归是通过向尖峰神经元添加自递归连接来以刻板的方式引入的,这实现了局部记忆。网络动态丰富的非相邻层之间的跳跃连接。ScSr-SNN由简化的自递归和跳跃连接构建,能够实现类似于更复杂的RSNN的递归行为,而由于网络的主要前馈性质,可以更直接地计算误差梯度。此外,我们提出了一种新的反向传播(BP)方法,称为反向传播内在可塑性(BIP),通过训练内在模型参数来进一步提高ScSr-SNN的性能。与根据神经元活动调整神经元的内在参数的标准内在可塑性规则不同,除了突触权重训练之外,所提出的BIP方法基于定义良好的全局损失函数的反向传播误差梯度来优化内在参数。基于具有挑战性的语音和神经形态语音数据集,包括TI46-Alpha,TI46-Digits和N-TIDIGITS,与通过最先进的BP方法训练的其他类型的RSNN相比,所提出的ScSr-SNN可以将性能提高高达2.55%。
2020-10-23 cs.LG cs.NE
Global stability of a Hebbian/anti-Hebbian network for principal subspace learning
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
本文研究了Hebbian/anti-Hebbian网络在主子空间学习中的全局稳定性,证明了突触动态在两个阶段的演化特性。
2026-01-19 cs.NE math.DS q-bio.NC
Learning to Control Rapidly Changing Synaptic Connections: An Alternative Type of Memory in Sequence Processing Artificial Neural Networks
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利语区大学(瑞士提契诺大学));SUPSI(瑞士南部应用科学与艺术大学);KAUST(阿卜杜拉国王科技大学)
在标准的、通用的、序列处理的递归神经网络(RNN)中,短期记忆被存储为节点或“神经元”的激活。将前馈NN推广到这样的RNN在数学上是简单和自然的,甚至是历史性的:早在1943年,McCulloch和Pitts就提出了这一点,作为“突触修饰”的替代品(实际上,推广了Lenz-Ising模型,这是20世纪20年代第一个非序列处理RNN架构)。另一种鲜为人知的方法是将短期记忆存储在“突触连接”中-通过参数化和控制上下文敏感的时变权重矩阵的动态通过另一个NN -在序列处理NN中产生另一种“自然”类型的短期记忆:20世纪90年代早期的快速权重程序员(FWP)。FWP最近作为通用序列处理器出现了复兴,在各种任务中实现了有竞争力的性能。它们在形式上与现在流行的Transformers密切相关。在这里,我们提出了他们在人工神经网络的背景下,作为一个抽象的生物神经网络-一个角度,还没有强调在以前的FWP工作不够。我们首先回顾FWPs的教学目的,然后讨论从神经科学的见解动机的相关作品的连接。
2022-11-17 cs.LG cs.NE
An Approximate Backpropagation Learning Rule for Memristor Based Neural Networks Using Synaptic Plasticity
我们描述了一种用于训练深度神经网络的近似反向传播算法,该算法旨在与忆阻器实现的突触一起工作。关键思想是用一系列脉冲来表示输入信号和反向传播的增量值,这些脉冲触发突触权重的多个正或负更新,并且使用min运算而不是两个信号的乘积。在计算模拟中,我们表明,所提出的近似反向传播是收敛性很好,并可能适合于忆阻器实现的多层神经网络。
2016-07-27 cs.ET cs.NE
Presynaptic modulation as fast synaptic switching: state-dependent modulation of task performance
处于突触前位置的神经调节受体在完全参与时具有抑制突触传递数秒至数分钟的能力。这有效地改变了连接的突触强度。许多关于神经调节的研究都基于这样的假设,即这些效应在每个神经元上都是一致的。然而,有相当多的证据表明,突触前调节可能是突触特异性的。这将定义第二个“权重调制”矩阵,其反映给定位点处的突触前受体功效。在这里,我们探讨这一假设的功能后果。通过分析和比较在任务的不同方面训练的网络的权重矩阵,我们确定了低复杂度“调制矩阵”的潜力,它允许在不同训练的子任务之间切换,同时保留任务的一般性能特征。这意味着一个给定的网络可以通过调节神经调质的释放来适应不同的任务需求。具体而言,我们建议(a)网络可以提供相关的分类任务,而不需要训练完全独立的网络和(b)网络可以混合“记忆模式”,旨在再现记忆模式和“新颖模式”,旨在促进新模式的分类优化的反应。我们将这项工作与神经调质对脑状态依赖性处理的已知影响联系起来。
2004-01-25 cs.NE q-bio.NC
Co-learning synaptic delays, weights and adaptation in spiking neural networks
IDLab, University of Antwerp - imec(安特卫普大学IDLab实验室——IMEC(校际微电子中心))
本文提出在脉冲神经网络中协同学习突触权重、神经元适应参数和突触传播延迟,通过引入神经元异质性和时间关联能力,在多个语音识别数据集上以更少参数超越了同等规模的人工神经网络和GRU。
2023-09-12 cs.AI cs.LG cs.NE
Random feedback weights support learning in deep neural networks
大脑通过多层神经元处理信息。这种深层结构在表征上是强大的,但它使学习变得复杂,因为当出现错误时,很难识别负责的神经元。在机器学习中,反向传播算法通过精确计算神经元如何导致错误来将责任分配给神经元。为此,它将误差信号乘以由神经元轴突和更下游的所有突触权重组成的矩阵。这种操作需要精确编排突触重量信息的传输,这在大脑中被认为是不可能的。在这里,我们提出了一个令人惊讶的简单算法用于深度学习,它通过将错误信号乘以随机突触权重来分配责任。我们证明了网络可以学习从通过这些随机反馈连接发送的信号中提取有用的信息。从本质上讲,网络学会了学习。我们证明,这种新的机制执行快速和准确的反向传播的各种问题,并描述其功能的原则。我们的演示提供了一个合理的基础,神经元可以适应使用在大脑中的远端位置产生的误差信号,从而消除了长期以来的假设,在神经回路的学习算法的约束。
2014-11-02 cs.NE q-bio.NC
Optimal Learning with Excitatory and Inhibitory synapses
描述权结构和输入/输出统计之间的关系是理解神经电路计算能力的基础。在这项工作中,我研究的问题,存储之间的关联存在的相关性模拟信号,使用统计力学的方法。我的特点是典型的学习性能的随机输入和输出过程的功率谱。我发现,最佳的突触重量配置达到0.5的能力,任何分数的兴奋性抑制的重量,并有一个特殊的突触分布与沉默突触的有限部分。我进一步提供了典型的学习成绩和主成分分析在单一情况下之间的联系。这些结果可能会揭示大脑回路的突触轮廓,如小脑结构,被认为参与处理时间依赖性信号和执行在线预测。
2020-05-25 cond-mat.dis-nn cs.NE q-bio.NC
Stochasticity and Robustness in Spiking Neural Networks
人工神经网络通常需要精确的权重来操作,尽管它们起源于生物系统,而生物系统可能是高度可变和嘈杂的。然而,当实现利用模拟“突触”设备来编码权重的人工网络时,对这些值可以被编码的准确度和精度施加了固有的限制。在这项工作中,我们研究了不准确的突触对尖峰神经元和脉冲神经网络的影响。从数学分析的积分和火灾(IF)神经元,包括不同的非理想(如泄漏和通道噪声),我们证明,噪声可以用来使IF神经元的行为更强大的突触不准确性。然后,我们训练尖峰网络,利用IF神经元与无噪声和泄漏,并通过实验证实,噪声网络更强大。最后,我们表明,一个嘈杂的网络可以容忍预期的不准确性时,氧化铌为基础的电阻随机存取存储器用于编码突触权重。
2019-06-06 cs.NE q-bio.NC
The principle of weight divergence facilitation for unsupervised pattern recognition in spiking neural networks
Computing Center(计算中心);Far Eastern Branch(远东分部);Russian Academy of Sciences(俄罗斯科学院)
信号处理任务和生物神经元之间的相似之处导致对输入信号识别的自组织优化原理的理解。在本文中,我们将讨论生物系统和技术系统之间的相似性。我们建议添加众所周知的STDP突触可塑性规则,以指导对与背景噪声和相关信号之间的最大差异相关联的状态的权重修改。我们使用的原则,物理约束的重量增长的基础上,这样的重量的修改控制。提出可塑性发育所需的生化“物质”的存在和产生限制了生物突触的直接修饰。在本文中,关于信噪比的信息控制这样的物质的产生和储存,并驱动神经元的突触压力朝向具有最佳信噪比的状态。我们考虑了几个不同的输入信号制度的实验,以了解所提出的方法的功能。
2021-07-31 cs.AI cs.LG cs.NE
Dynamics of Structured Complex-Valued Hopfield Neural Networks
Mahindra University(马hindra大学);Ecole Centrale School of Engineering(Ecole Centrale工程学院);Universidade Estadual de Campinas(圣保罗州立大学);International Institute of Information Technology(国际信息科技研究所);Indian Institute of Technology(印度理工学院)
该研究探究结构化复值Hopfield神经网络的动力学,分析不同权重矩阵下的周期特性,提出两类新复值矩阵并验证其8周期动力学,为优化联想记忆模型提供理论支撑。
2025-03-25 cs.AI cs.NE
Markov chain Hebbian learning algorithm with ternary synaptic units
Korea Institute of Science and Technology(韩国科学技术研究院);Seoul National University(首尔大学);Korea University of Science and Technology(韩国科学技术大学)
尽管机器学习技术取得了显著的进步,但部分由于参数优化中的计算复杂性,最先进的机器学习算法通常使机器无法进行实时学习(在线学习)。作为替代方案,提出了一种学习算法来实时的训练存储器,它被命名为马尔可夫链赫布学习算法。该算法在训练期间追求有效的内存使用,因为(i)权重矩阵具有三元元素(-1,0,1),以及(ii)每次更新都遵循马尔可夫链-即将到来的更新不需要过去的权重内存。通过两个以数字为符号的概念验证任务(手写数字识别和乘法表记忆)对算法进行了验证。特别地,后者基于记忆的乘法运算,这可能类似于人类的心算。基于内存的乘法算法可行地提供了因式分解的基础,支持对算法的新见解。
2017-11-23 cs.LG cs.NE
Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors
Instituto de Microelectrónica de Sevilla, CSIC/Universidad de Sevilla(塞维利亚微电子研究所,西班牙国家研究委员会/塞维利亚大学);Eindhoven University of Technology(埃因霍温理工大学);IMEC-Netherlands(比利时微电子研究中心荷兰分部);University of Twente(特温特大学)
本研究提出硬件感知训练框架,协同优化SNN的突触权重与延迟,结合延迟剪枝降低内存占用,并设计高效硬件结构适配无原生延迟支持的Seneca平台,在SHD任务上实现软件到硬件的低精度损失部署。
2024-04-16 cs.AI cs.ET cs.NE
On the role of synaptic stochasticity in training low-precision neural networks
Bocconi Institute for Data Science and Analytics, Bocconi University(博科尼大学博科尼数据科学与分析研究所);Italian Institute for Genomic Medicine(意大利基因组医学研究所);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Politecnico di Torino(都灵理工大学);Radboud University Nijmegen(内梅亨大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所);International Centre for Theoretical Physics(国际理论物理中心)
神经网络模型中突触权重的随机性和有限精度是学习过程的生物和硬件建模的关键方面。在这里,我们表明,随机二进制权重的神经网络模型自然突出指数罕见的稠密区域的解决方案具有一些理想的属性,如鲁棒性和良好的泛化性能,而典型的解决方案是孤立的,很难找到。二进制的标准感知器问题的解决方案是从一个简单的梯度下降过程中获得的一组参数化的二进制突触的概率分布的实际值。分析和数值结果。还研究了一种旨在训练离散深度神经网络的算法扩展。
2018-03-20 cond-mat.dis-nn cs.LG cs.NE
A Digital Neuromorphic Architecture Efficiently Facilitating Complex Synaptic Response Functions Applied to Liquid State Machines
神经网络中的信息表示为神经元之间的加权连接或突触。当输入乘以神经网络权重时,由于神经网络的主要计算瓶颈是向量-矩阵乘法,因此这造成了问题。传统的处理架构不太适合模拟神经网络,通常需要大量的能量和时间。此外,生物神经网络中的突触不是二元连接,而是表现出非线性响应函数,因为神经递质在神经元之间发射和扩散。受神经科学原理的启发,我们提出了一种数字神经形态架构,尖峰时间处理单元(STPU),能够模拟任意复杂的突触反应功能,而不需要额外的硬件组件。我们考虑的范例尖峰神经元的时间编码的信息,而不是非尖峰率编码的神经元中使用的大多数神经网络。在这个范例中,我们研究液体状态机应用于语音识别,并显示如何与时间动态映射到STPU的液体状态机,展示了灵活性和效率的STPU的实例化神经算法。
2017-03-21 cs.NE q-bio.NC stat.ML
Neuromorphic Deep Learning Machines
UC Irvine(加州大学尔湾分校);Intel Corporation(英特尔公司)
类脑计算的一个持续的挑战是设计通用的和计算有效的推理和学习模型,这是兼容的空间和时间的限制,大脑。一种越来越流行和成功的方法是从深度神经网络中使用的推理和学习算法中获得灵感。然而,深度学习的主力,即梯度下降反向传播(BP)规则,通常依赖于存储在高精度存储器中的全网络信息的即时可用性,以及难以在神经形态硬件中实现的精确运算。值得注意的是,最近的研究表明,精确的反向传播权重对于学习深度表示并不重要。随机BP用随机权值代替反馈权值,并鼓励网络调整其前馈权值,以学习(随机)反馈权值的伪逆。在这些结果的基础上,我们展示了一种事件驱动的随机BP(eRBP)规则,该规则使用错误调制的突触可塑性来学习类脑计算硬件中的深度表示。该规则只需要一个加法和两个比较,每个突触的权重使用两室泄漏整合和消防(I&F)神经元,使其非常适合在数字或混合信号神经形态硬件的实现。我们的研究结果表明,使用eRBP,可以快速学习深度表示,与GPU上的人工神经网络模拟相比,可以实现几乎相同的分类精度,同时对学习期间的神经和突触状态量化具有鲁棒性。
2017-01-21 cs.AI cs.NE
NeoHebbian Synapses to Accelerate Online Training of Neuromorphic Hardware
针对神经形态系统先进学习规则对复杂突触器件的需求,提出并验证基于ReRAM的neoHebbian突触,通过双状态变量实现高效在线训练,经仿真证实其能稳健支持快速、紧凑且节能的先进学习规则实现。
2024-11-27 cs.ET cs.NE
Synaptic Activation and Dual Liquid Dynamics for Interpretable Bio-Inspired Models
Cyber-Physical Systems Research Unit(网络物理系统研究单元);Vienna University of Technology (TU Wien)(维也纳技术大学)
本文提出了一种统一框架,通过结合突触激活与双流体动力学,提升生物启发模型的可解释性和准确性,应用于车道保持控制任务。
2026-02-13 cs.AI cs.LG cs.NE
Information Bottleneck-Based Hebbian Learning Rule Naturally Ties Working Memory and Synaptic Updates
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
人工神经网络通过反向传播训练极深的网络,成功地解决了各种各样的问题。将反向传播直接应用于脉冲神经网络包含生物学上难以置信的组件,如权重传输问题或单独的推理和学习阶段。各种方法分别处理不同的组件,但完整的解决方案仍然是无形的。在这里,我们采取了一种替代方法,完全避免了反向传播及其相关问题。最近的深度学习工作提出了通过信息瓶颈(IB)独立训练网络的每一层。随后的研究指出,这种逐层的方法避免了跨层的错误传播,从而产生了一种生物学上合理的范例。不幸的是,IB是使用一批样本计算的。先前的工作通过仅使用两个样本(当前和先前样本)的权重更新来解决这个问题。我们的工作采取了不同的方法,将权重更新分解为局部和全局组件。局部分量是Hebbian的,并且仅依赖于当前样本。全局组件计算取决于一批样本的逐层调制信号。我们表明,这种调制信号可以学习的辅助电路与工作记忆(WM)像一个水库。因此,我们可以使用大于2的批大小,而批大小决定了WM所需的容量。据我们所知,我们的规则是第一个直接将突触更新与任务的WM耦合的生物学上合理的机制。我们评估我们的规则在合成数据集和图像分类数据集,如MNIST,我们探索WM能力对学习性能的影响。我们希望我们的工作是理解记忆在学习中的机械作用的第一步。
2021-11-24 cs.AI cs.LG cs.NE
A Theory of Synaptic Neural Balance: From Local to Global Order
University of California, Irvine(加州大学欧文分校)
本研究提出突触神经平衡通用理论,基于缩放和平衡两种局部操作,证明随机局部平衡可收敛到唯一全局平衡态,且学习前或学习中加入平衡操作可提升学习速度与性能。
2024-10-31 cs.AI cs.LG cs.NE
Natural-gradient learning for spiking neurons
在突触可塑性的许多规范理论中,权重更新隐含地取决于权重的所选参数化。例如,这个问题与神经元形态学有关:就它们对躯体放电的影响而言,功能上等同的突触由于它们沿着树突树的不同位置而在棘大小上可以有很大的不同。基于欧几里德梯度下降的经典理论由于这种参数化依赖性而容易导致不一致。这些问题在黎曼几何的框架中得到解决,在该框架中,我们提出塑性而是遵循自然梯度下降。在这个假设下,我们推导出一个突触学习规则的尖峰神经元,耦合功能效率与解释几个有据可查的生物现象,如树突民主,乘法缩放和heterosynaptic可塑性。因此,我们认为,在寻找功能性突触可塑性的过程中,进化可能已经提出了自己的自然梯度下降版本。
2022-02-23 cs.NE math.DG q-bio.NC
A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, Agency for Science, Technology and Research(科技研究局资讯通信研究院);Indian Institute of Science(印度科学学院)
本文提出了一种新的方法,在MC-SEFRON分类器的信息解释。为了开发一种方法来提取存储在训练好的分类器中的知识,首先,将先前开发的二进制类SEFRON分类器扩展到处理多类问题。MC-SEFRON使用总体编码方案将实值输入数据编码为尖峰模式。MC-SEFRON使用与SEFRON相同的监督学习规则进行训练。在训练之后,所提出的方法通过将时域中的加权突触后电位映射到特征域作为特征强度函数(FSF)来提取存储在分类器中的给定类的知识。对应于每个输出类的一组FSF表示从分类器提取的知识。这种知识编码方法的推导,以保持在时域和特征域的分类之间的一致性。FSF的正确性定量测量直接使用FSF分类任务。对于给定的输入,每个FSF在输入值处被采样以获得对应的特征强度值(FSV)。然后,在分类期间使用针对每个类获得的聚合FSV来确定输出类标签。FSV还用于在分类任务期间解释预测。利用10个UCI数据集和MNIST数据集,证明了FSF的知识提取方法、解释和可靠性。研究结果表明,对于UCI数据集和MNIST数据集,直接使用FSF的分类精度与MC-SEFRON的分类精度的平均差异仅为0.9%和0.1%左右。这清楚地表明,由FSF表示的知识具有可接受的可靠性,并且使用分类器的知识的分类的可解释性已被证明是合理的。
2019-02-28 cs.LG cs.NE stat.ML
Variational mean-field theory for training restricted Boltzmann machines with binary synapses
Sun Yat-sen University(中山大学)
只需要原始数据的无监督学习不仅是大脑皮层的基本功能,也是下一代人工神经网络的基础。然而,一个统一的理论框架来处理感觉输入,突触和神经活动在一起仍然缺乏。计算障碍源于突触的离散性以及学习这三个基本要素之间的复杂相互作用。在这里,我们提出了一个变分平均场理论,其中突触权重的分布被认为是。然后,无监督学习可以分解为两个相互交织的步骤:最大化步骤被执行为数据对数似然的下限的梯度上升,其中通过更新变分参数来确定突触权重分布,并且在等效或对偶神经网络上执行期望步骤作为消息传递过程,所述等效或对偶神经网络的参数由权重的变化参数指定分布因此,我们的框架提供了关于数据(或感觉输入),突触和神经活动如何相互作用的见解,以实现在感觉输入中提取统计特征的目标。这种变分框架在限制玻尔兹曼机与种植突触权重和手写数字学习中得到验证。
2020-08-18 cond-mat.dis-nn cs.LG cs.NE