Learning by message-passing in networks of discrete synapses
我们表明,一个消息传递过程允许存储在二进制的“材料”突触的随机模式,几乎饱和的信息理论界的数量。我们将学习算法应用于网络,其特征在于广泛的不同的连接拓扑结构和大小与生物系统(例如$n\simeq10^{5}-10^{6}$)。该算法可以变成一个在线的容错学习协议的潜在利益在建模方面的突触可塑性和在建设neuromorphic设备。
2005-12-09 cond-mat.dis-nn cs.LG q-bio.NC
Memcapacitive neural networks
我们表明,记忆电容(记忆电容)系统可以用作人工神经网络中的突触。作为我们的方法的一个例子,我们讨论了一个集成和消防神经网络的架构的基础上忆电容突触。此外,我们证明,尖峰时间依赖的可塑性,可以简单地实现与这些设备。记忆电容性突触是用于神经形态计算的忆阻性突触的低能量替代物。
2013-07-26 cond-mat.dis-nn cs.ET cs.NE
Stochastic learning in a neural network with adapting synapses
我们考虑一个神经网络与适应突触的动力学可以分析计算。该模型由$N$神经元组成,每个神经元连接到网络中随机选择的$K$输入神经元。突触是$n$状态变量,根据随机学习规则随时间演变;假设神经元具有并行随机动力学。由于网络保持相同的动态,无论是在计算或学习新的记忆,突触转换的概率很低。在极限$N\to\infty$(其中$K$是大而有限的)下,神经元和突触之间的关联可以忽略不计,系统的动力学行为可以通过系统宏观参数的流动方程进行分析计算。
1997-05-19 cond-mat.dis-nn q-bio
Avalanches in directed complex networks of neurons connected by stochastic synapses
由突触连接的二态模型神经元组成的有向复杂网络,在时间上可以随机地被阻断或激活,网络经历了从零活动的静止相到持续活动的活动相的相变。随机选择的神经元偶尔兴奋后,活动的雪崩出现在静止期。在相变点附近观察到的长雪崩的大小和持续时间分布是指数分布。在长时间雪崩的任何时刻,只有一小部分神经元是活跃的。
2009-06-25 cond-mat.dis-nn
Transition from asynchronous to oscillatory dynamics in balanced spiking networks with instantaneous synapses
我们报告了从异步振荡行为的过渡,在平衡的抑制网络的I类和II类神经元瞬时突触。集体振荡出现在充分连接的网络中。他们的起源是理解在最近开发的平均场模型,其稳定的解决方案是一个焦点。由于平衡,微观的不规则发射通过激发朝向宏观焦点的弛豫动力学来触发持续振荡。同样的机制在平衡的兴奋-抑制网络中引起准周期集体振荡。
2018-09-03 cond-mat.dis-nn
A replica approach to the state-dependent synapses neural network
复制方法被应用到一个神经网络模型与状态相关的突触从那些模式具有的相关性大于一定的阈值的系统的状态。复制对称和第一步复制对称破缺的结果,在零温度下的存储容量作为这个阈值的函数。与现有的结果进行了比较,通过使用统计方法获得的平均场方程的基础上。
1998-11-17 cond-mat.dis-nn q-bio
Subdominant Dense Clusters Allow for Simple Learning and High Computational Performance in Neural Networks with Discrete Synapses
我们表明,离散突触权重可以有效地用于大规模神经系统的学习,并导致意外的计算性能。我们专注于学习随机模式的单层网络中的二进制突触的代表性情况。标准的统计分析表明,这个问题是指数主导的孤立的解决方案,是非常难以找到算法。在这里,我们介绍了一种新的方法,使我们能够找到分析证据的次优势和极其密集的区域的解决方案的存在。数值实验证实了这些发现。我们还表明,密集的区域是令人惊讶的简单的学习协议,这些突触配置是强大的扰动和推广比典型的解决方案。这些结果扩展到具有多个状态的突触和更深层次的神经架构。大偏差度量还建议如何基于局部熵最大化设计新的优化算法方案。
2015-09-18 cond-mat.dis-nn q-bio.NC stat.ML
Maximum memory capacity on neural networks with short-term depression and facilitation
在这项工作中,我们研究,分析和采用Monte Carlo模拟,几个活动依赖的突触过程,如短期突触促进和抑郁症之间的竞争的影响,在神经网络的最大记忆存储容量。与突触抑制的情况相比,它大大降低了网络存储和检索“静态”活动模式的能力,突触易化增强了不同背景下的存储能力。特别是,我们发现了最佳值的相关突触参数(如神经递质的释放概率或特征促进时间常数)的存储容量可以是最大的,类似于静态突触,也就是说,没有活动依赖的过程。我们的结论是,抑制具有一定易化水平的突触可以恢复静态突触网络的良好检索特性,同时保持动态突触的非线性特性,便于信息处理和编码。
2008-09-11 cond-mat.dis-nn q-bio.NC
An artificial spiking synapse made of molecules and nanoparticles
基于分子的器件被设想为通过凭借其自组织能力以更简单的工艺水平和更低的成本提供新的功能或已经存在的功能来补充硅器件,此外,它们不受冯·诺依曼架构的约束,这可能为其他架构范例开辟道路。在这里,我们展示了一个由共轭分子和金属纳米颗粒(NP)制成的设备,它的行为就像一个尖峰突触,适合集成在神经网络架构中。我们证明,该设备表现出的生物突触的主要行为。这些结果开辟了在感知器和Hopfield网络的NOMFET的速率编码利用的方式。我们还可以设想NOMFET作为神经电子学的构建块,用于将由图案化神经元培养物制成的神经元或神经元逻辑器件与固态器件和电路连接。
2009-04-06 cond-mat.dis-nn cond-mat.mtrl-sci q-bio.NC
A novel compound synapse using probabilistic spin-orbit-torque switching for MTJ based deep neural networks
模拟电子非易失性存储器模仿突触操作正在探索的神经形态计算系统的实现。由随机二进制元素组成的复合突触是模拟记忆突触的替代方案,以实现多级记忆操作。在现有的二进制存储器技术中,基于磁性隧道结(MTJ)的磁性随机存取存储器(MRAM)技术已经成熟到商业化的程度。对于这项工作更重要的是,随机性对于MTJ开关物理是自然的,例如被称为p位的器件,其模仿二进制随机神经元。在这篇文章中,我们实验证明了一种新的复合突触,使用随机自旋轨道力矩(SOT)开关的合奏纳米磁铁,位于一个共享的自旋霍尔效应(SHE)材料通道,即钽。通过使用适当选择的脉冲方案,我们能够证明线性增强和抑郁症的突触,所需的许多神经形态架构。除了这项实验工作之外,我们还在基于SOT-MRAM的784*200*10深度信念网络(DBN)上进行了电路模拟,该网络由基于p位的神经元和复合突触组成。MNIST模式识别被用来评估系统的性能,我们的研究结果表明,识别错误率显着降低时,可以实现使用我们的增量脉冲方案,而不是非线性增强和抑郁症时,采用相同的脉冲。
2019-10-01 cond-mat.dis-nn physics.app-ph
A recurrent neural network with ever changing synapses
本文从离散时间主方程出发,对带噪声输入的循环神经网络进行了分析研究。后者是从生物学上可实现的学习规则的连接的权重。在数值研究中发现,网络动力学的不动点是时间依赖的,这意味着大脑中对固定信息(例如,要识别的单词)在时间上是不固定的。
2000-02-23 cond-mat.dis-nn q-bio
Combined local search strategy for learning in networks of binary synapses
二元突触网络中的学习是一个NP完全问题。构造了突触权重空间中的组合随机局部搜索策略,进一步提高了单个随机步行器的学习性能。我们应用两个相关的随机游走器,由它们的汉明距离和相关的能量成本(未学习的模式的数量)来学习相同的大模式集。每个步行者首先学习整个模式集的一小部分(两个步行者部分不同,但具有相同数量的模式),然后两个步行者合作探索各自的权重空间,以找到正确分类整个模式集的解决方案。所需的解决方案位于这两个步行者探索的重量空间的公共部分。这种组合策略的效率是支持我们广泛的数值模拟和典型的汉明距离以及能源成本估计退火计算。
2011-07-11 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Spin-Based Neuron Model with Domain Wall Magnets as Synapse
我们提出了人工神经网络的设计,实现超低电压操作,低功耗,高速度,高集成度的自旋器件。我们采用自旋扭矩开关的纳米磁体建模神经元和畴壁磁体紧凑,可编程突触。基于自旋的神经元-突触单元在30mV的超低电源电压下局部操作,导致低计算功率。采用基于CMOS的神经元间通信来实现网络级功能。我们证实电路操作与物理为基础的模型开发的自旋设备。字符识别作为基准应用的仿真结果显示,与45 nm CMOS设计相比,功耗降低了95%。
2012-08-15 cond-mat.dis-nn cond-mat.mes-hall physics.comp-ph
Recent advances, perspectives and challenges in ferroelectric synapses
外电场调谐的多重铁电极化可以用来模拟生物突触重量。铁电突触器件与其他已报道的器件相比有两个优点:一是铁电畴的本征开关,而不会引起电阻氧化物中的缺陷迁移,从而使这些铁电突触器件具有可靠的性能。另一个巨大的优点是极低的能量消耗,因为铁电极化由电场操纵,这消除了如在磁性和相变存储器中由电流引起的焦耳加热。铁电突触在构建低能耗、高效的类脑智能网络方面具有潜在的应用价值。在这里,我们总结了最近的铁电突触的开创性工作,涉及铁电隧道结(FTJ),铁电二极管(FD)和铁电场效应晶体管(FeFET)的结构,分别,并阐明了未来的工作需要加速其应用于高效的神经网络。
2020-07-14 cond-mat.dis-nn physics.app-ph
Field Free Spin-Orbit Torque Controlled Synapse and Stochastic Neuron Devices for Spintronic Boltzmann Neural Networks
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本研究提出无场自旋轨道转矩控制的突触和随机神经元器件,集成于玻尔兹曼机,在MNIST和Fashion MNIST上分别实现98%和86%的识别准确率,推动全自旋电子神经形态硬件发展。
2025-10-07 cond-mat.dis-nn cond-mat.mtrl-sci physics.app-ph
An associative memory of Hodgkin-Huxley neuron networks with Willshaw-type synaptic couplings
讨论了由N(=100)个具有时滞耦合的Hodgkin-Huxley(HH)神经元组成的神经网络的联想记忆,该神经网络在其突触权重中记忆P模式。除了强度在Willshaw型学习规则(具有静止/活动状态的0/1代码)之后进行修改的兴奋性突触之外,该网络还包括统一的抑制性突触,引入这些突触是为了减少串扰噪音。我们对HH神经元网络在无噪声状态下的模拟表明,对于$f \sim 0.04-0.10$的低神经元活动,$α_c = P_{\rm max}/N \sim 0.4 - 2.4$的存储容量产生了相当好的性能。我们的时间代码网络的存储容量与具有Willshaw型突触的速率代码模型的存储容量相当。我们的HH神经元网络实现不容易受到耦合的时间延迟的分布。本文还讨论了在提取存储模式的过程中,输出锋电位序列的空间间隔(ISI)的变化。
2000-07-15 cond-mat.dis-nn q-bio.NC
Neural networks with dynamical synapses: from mixed-mode oscillations and spindles to chaos
了解短时程突触抑制(STSD)和其他形式的突触可塑性是神经科学中的一个热点问题。在这里,我们研究STSD在形成复杂的脑节律模式中的作用。我们使用一个皮层电路模型的神经网络组成的不规则尖峰兴奋性和抑制性神经元具有1型和2型兴奋性和随机动力学。在该模型中,神经元形成稀疏连接的网络,它们的自发活动由代表突触噪声的随机尖峰驱动。通过模拟和分析计算,我们发现,如果STSD不存在,神经网络会显示异步行为或规则的网络振荡,这取决于噪声水平。在具有STSD的网络中,改变突触可塑性和噪声水平的参数,我们观察到向复杂模式的集体活动的过渡:混合模式和纺锤体振荡,集体活动的爆发和混沌行为。有趣的是,这些图案在一定的参数范围内是稳定的,并由临界边界分隔。因此,突触可塑性的参数可以在不同的网络状态之间起到控制参数或开关的作用。然而,由疾病引起的参数变化可能导致正在进行的神经活动的显著损害。我们通过使用混沌的0 - 1测试(Gottwald,G. &墨尔本,I.,#20004;,并表明它具有集体性。
2012-11-24 cond-mat.dis-nn physics.bio-ph q-bio.NC
Controlling chaos in diluted networks with continuous neurons
研究了具有连续神经元和非单调传递函数的稀释神经网络,包括固定突触和动态突触。一个具有周期性变化的噪声刺激导致了一种控制具有固定突触的神经系统中混沌的机制:适量的外部扰动迫使系统以与刺激相同的周期周期性地行为。
2000-07-19 cond-mat.dis-nn nlin.CD q-bio
Dynamical Synapses Enhance Neural Information Processing: Gracefulness, Accuracy and Mobility
实验数据表明,神经元连接效能表现出两种形式的短期可塑性,即短期抑制(STD)和短期易化(STF)。它们具有位于快速神经信号和快速学习之间的时间常数,并且可以作为神经系统在相关时间尺度上操纵时间信息的底物。本研究探讨了STD和STF对连续吸引子神经网络(CANN)动力学的影响及其在神经信息处理中的潜在作用。我们发现,STD赋予网络缓慢衰减的高原行为-网络,最初被刺激到一个活跃的状态衰减到一个沉默的状态非常缓慢的时间尺度上的STD,而不是神经信号的时间尺度。这为神经系统提供了一种机制,可以轻松地保持感官记忆,并优雅地关闭持续的活动。通过STF,我们发现网络可以在促进的神经元相互作用中保持外部输入的记忆痕迹,这提供了一种稳定网络对噪声输入的响应的方法,从而提高了群体解码的准确性。此外,我们发现STD增加了网络状态的移动性。增加的移动性增强了网络响应于时变刺激的跟踪性能,从而导致预期的神经响应。在一般情况下,我们发现,STD和STP往往有相反的网络动态和互补的计算优势的影响,这表明大脑可能会采用一种策略,根据计算的目的不同的加权。
2012-04-05 cond-mat.dis-nn physics.bio-ph q-bio.NC
Phase Change Memtransistive Synapse
在哺乳动物神经系统中,各种突触可塑性规则单独或协同地作用,并且在广泛的时间尺度上指示使学习和记忆形成成为可能的过程。为了模仿人工智能的生物认知,神经形态计算平台因此需要合成突触,可以忠实地表达这种复杂的可塑性和动力学。虽然一些可塑性规则已经用精心设计的CMOS和忆阻电路来模拟,但将多种可塑性(如长期(LTP)和短期可塑性(STP))与可调动态结合在一起的硬件演示以及相同的低功耗纳米级器件一直缺失。在这里,我们介绍相变忆传突触,它利用忆阻器的非易失性和晶体管的易失性来耦合LTP与同质和异质突触STP效应。我们表明,这种仿生突触可以使一些强大的认知框架,如短期尖峰时间依赖的可塑性(ST-STDP)和随机Hopfield神经网络。我们演示了如何,很像哺乳动物的大脑,这样的仿真可以建立时序关系的数据流的顺序学习和组合优化的任务。
2021-06-10 cond-mat.dis-nn
A Heterosynaptic Learning Rule for Neural Networks
在这篇文章中,我们介绍了一种新的随机Hebb类神经网络的学习规则,是神经生物学的动机。该学习规则结合了无监督(赫布)和监督(强化)学习的特征,并且在修改突触时的时间点选择方面是随机的。此外,学习规则不仅影响突触前和突触后神经元之间的突触,这被称为同突触可塑性,而且还影响突触前和突触后神经元的更远的突触。这种更复杂的突触可塑性形式最近受到神经生物学的研究,称为异突触可塑性。我们证明了这种学习规则是有用的,在训练神经网络学习奇偶校验功能,包括异或(XOR)映射在多层前馈网络。我们发现,我们的随机学习规则工作良好,即使在噪声的存在。重要的是,平均学习时间随着要学习的模式的数量多项式地增加,表明有效的学习。
2006-08-25 cond-mat.dis-nn
A memristive deep belief neural network based on silicon synapses
针对传统忆阻器良率低、电导态有限的问题,研究人员用CMOS工艺制备硅浮栅忆阻突触,构建忆阻深度置信神经网络,在MNIST数据集上实现97.05%的识别准确率,能效远高于GPU。
2023-07-21 cond-mat.dis-nn cond-mat.mtrl-sci cs.ET
Gauge Symmetry and Neural Networks
提出了一种新的神经网络模型。它由自旋变量和新的规范变量组成,前者描述神经元的状态,后者描述突触的状态。该模型具有局域规范对称性,类似于高能物理学中的格点规范理论。突触的时间依赖性描述了学习的过程。平均场论预言了一个与禁闭相对应的新阶段,即大脑丧失学习记忆能力的阶段。
2001-12-26 cond-mat.dis-nn hep-lat q-bio
Synaptic dynamics in complex self-assembled nanoparticle networks
我们报告了一个详细的研究神经形态开关行为的内在复杂的自组装金属纳米粒子的网络。我们表明,施加到这个网络的突触状原子开关的电场的强度和持续时间的变化,使我们能够控制开关的动态。开关被观察到高于一个明确定义的阈值的电压,与较高的电压导致增加的开关速率。我们展示了两种行为原型,并显示了如何切换动态变化的电压刺激的持续时间和幅度的函数。我们表明,每个突触的状态可以影响其他突触的活动,导致复杂的开关动态。我们进一步证明了网络的形态对测量的设备属性的影响,以及由整体网络电导所施加的约束。相关的开关动态,设备的稳定性在很长一段时间内,和设备制造的简单性提供了一个有吸引力的途径,实际实现的片上神经形态计算。
2018-12-24 cond-mat.dis-nn cond-mat.mes-hall
Storage Capacity Diverges with Synaptic Efficiency in an Associative Memory Model with Synaptic Delay and Pruning
众所周知,在相关型关联记忆模型的情况下,每个突触的存储容量通过突触修剪而增加。然而,整个网络的存储容量随之下降。为了克服这个困难,我们建议通过引入延迟突触来降低连接率,同时保持突触总数不变。在本文中,一个离散的同步型模型与延迟突触和他们的修剪作为一个具体的例子的建议进行了讨论。首先,我们解释柳井-金理论采用统计神经动力学。该理论涉及到具有串联延迟元件的网络动态的宏观动力学方程。其次,考虑到所解释方程的平移对称性,我们利用离散傅立叶变换重新推导了该模型的宏观稳态方程。定量地分析了存储容量。此外,两种类型的突触修剪解析处理:随机修剪和系统修剪。结果,很明显,在两种修剪中,存储容量随着延迟长度的增加而增加,并且当突触总数恒定时,突触的连接率降低。此外,一个有趣的事实变得清晰:由于随机修剪,存储容量渐近地接近$2/π$。相反,通过系统修剪,存储容量与延迟长度的对数成比例地发散,并且比例常数为$4/π$。这些结果从理论上支持修剪的意义后,过度生长的突触在大脑中,并强烈表明,大脑更喜欢存储动态吸引子,如序列和极限环,而不是平衡态。
2003-05-22 cond-mat.dis-nn q-bio
Using Programmable Graphene Channels as Weights in Spin-Diffusive Neuromorphic Computing
基于石墨烯的自旋扩散(GrSD)的神经网络,在这项工作中,利用本地可调的自旋输运的石墨烯和纳米磁体的非挥发性。通过使用静电门控石墨烯作为自旋电子突触,可以在自旋域中执行加权求和操作,同时可以使用电荷域中的电路对权重进行编程。耦合到磁动力学的四分量自旋/电荷电路模拟用于显示神经元突触功能的可行性,并量化不同自旋弛豫机制下石墨烯的模拟加权能力。通过实现无晶体管权重实现,石墨烯自旋扩散神经网络将每个细胞突触的能耗降低到0.08-0.32 fJ,并且与其数字对应物相比实现了显著更好的可扩展性,特别是随着突触的数量和位精度的增加。
2017-12-02 cond-mat.dis-nn cond-mat.mes-hall physics.app-ph
Radio-Frequency Multiply-And-Accumulate Operations with Spintronic Synapses
利用纳米电子器件的物理特性是实现紧凑、快速和节能的人工智能的主要领导者。在这项工作中,我们提出了一个原始的道路,在这个方向上,自旋电子谐振器作为人工突触的组件可以直接分类一个非线性射频信号,而无需数字化。谐振器通过自旋二极管效应将射频输入信号转换为直流电压。在这个过程中,它们将输入信号乘以突触权重,这取决于它们的谐振频率。我们证明,通过物理模拟与参数提取的实验设备,频率复用组件的谐振器实现的基石人工神经网络的操作,乘法和累加(MAC),直接在微波输入。结果表明,即使是一个非理想的现实模型,与我们的架构获得的输出仍然相当于传统的MAC操作。使用传统的机器学习框架与方程描述的自旋电子谐振器的物理增强,我们训练一个单层神经网络分类射频信号编码8 × 8像素的手写数字图片。自旋电子神经网络识别数字的准确率为99.96%,相当于纯软件神经网络。这种MAC实现为快速、低功耗射频分类应用提供了一种有前途的解决方案,并为自旋电子深度神经网络提供了一种新的构建模块。
2021-04-05 cond-mat.dis-nn cond-mat.mes-hall
Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks
Virginia Commonwealth University(弗吉尼亚联邦大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Centre de Nanosciences et de Nanotechnologies(纳米科学与纳米技术中心)
针对低分辨率随机Domain Wall突触,提出改进的in-situ和ex-situ训练算法,通过高精度梯度累积和噪声容限在MNIST上实现高准确率,且每次推理能耗仅13 pJ。
2021-11-14 cond-mat.dis-nn cond-mat.mes-hall cs.LG