Structural plasticity on an accelerated analog neuromorphic hardware system
在计算神经科学以及机器学习中,神经形态设备有望成为神经网络模拟的加速和可扩展的替代方案。它们的神经连接和突触能力取决于它们特定的设计选择,但总是固有地受到限制。在这里,我们提出了一种策略,以实现结构可塑性,优化资源分配,在这些约束条件下,不断重新布线的前和gpostsynaptic合作伙伴,同时保持神经元扇入常数和连接体稀疏。特别是,我们在模拟神经形态系统BrainScaleS-2上实现了该算法。它是在位于芯片上的定制嵌入式数字处理器上执行的,伴随着尖峰神经元和突触电路的混合信号基板。我们在一个简单的监督学习场景中评估了我们的实现,显示了它在训练数据的性质方面优化网络拓扑的能力,以及它的整体计算效率。
2020-09-30 cs.NE q-bio.NC
How can neuromorphic hardware attain brain-like functional capabilities?
本文指出当前神经形态硬件因照搬人工神经网络架构与训练方法而未能实现类脑功能,提出应聚焦于易于硬件实现且能支持类脑功能的核心原则。
2023-10-25 cs.NE q-bio.NC
Demonstrating Hybrid Learning in a Flexible Neuromorphic Hardware System
我们提出了一种新的方法来学习和可塑性的neuromorphic硬件系统的结果:使可实现的学习机制的灵活性,同时保持高效率与neuromorphic实现,我们结合了通用处理器与全定制的模拟元件。该处理器与完全并行的神经形态系统并行操作,该神经形态系统由连接到模拟连续时间神经元电路的突触阵列组成。新颖的模拟相关传感器电路并行且实时地处理每个突触的尖峰事件。处理器使用该预处理来计算新的权重,可能使用遵循其程序的附加信息。因此,可以在软件中定义学习规则,从而提供很大程度的灵活性。突触实现相关检测,面向尖峰定时依赖可塑性(STDP)作为中央计算原语在模拟域。与生物时间尺度相比,以1000的加速因子操作,我们测量从几十到几百微秒的时间常数。我们分析了多个芯片的变异性,并使用乘法STDP规则演示了学习。我们的结论是,所提出的方法将使灵活和有效的学习作为神经科学研究和技术应用的平台。
2016-10-13 cond-mat.dis-nn cs.NE q-bio.NC
Is a 4-bit synaptic weight resolution enough? - Constraints on enabling spike-timing dependent plasticity in neuromorphic hardware
大规模神经形态硬件系统通常承担细节级别和所需芯片资源之间的权衡。特别是当实现尖峰定时相关的可塑性时,与浮点精度相比,资源的减少导致限制。通过设计,节省资源的自然修改将是降低突触权重分辨率。在这项研究中,我们给出了一个估计突触权重离散化的影响在不同的水平上,从随机游走的个人权重的尖峰神经网络的计算机模拟。的FACETS晶圆级硬件系统提供了一个4位分辨率的突触权重,这被证明是足够的范围内,我们的网络基准。我们的研究结果表明,提高分辨率甚至可能是没有用的定制混合信号突触的进一步限制。此外,由于生产缺陷的变化进行了调查,并显示在本研究的背景下是不重要的。我们的研究结果代表了一个一般的框架,设置和配置硬件约束的突触。我们建议如何将权重离散化考虑用于其他专用于大规模模拟的后端。因此,我们提出的一个良好的硬件验证实践可能会提高硬件开发人员和神经科学家之间的协同效应。
2014-11-28 q-bio.NC
Robustness from structure: Inference with hierarchical spiking networks on analog neuromorphic hardware
尖峰网络如何能够执行概率推理是一个有趣的问题,不仅对于理解大脑中的信息处理,而且对于将这些计算原理转移到神经形态硅电路。已经提出了一些计算能力强大的尖峰网络模型,但它们中的大多数仅在理想条件下在软件模拟中进行了测试。在模拟物理系统中的任何实现,无论是体内还是计算机模拟,通常都会由于底层衬底的物理特性而导致失真的动态。在本文中,我们讨论了几个这样的失真的影响,很难或不可能消除经典的校准例程或参数训练。然后,我们认为,分层网络的泄漏集成和消防神经元可以提供所需的物理实现的鲁棒性,并证明这与软件模拟和仿真的加速模拟neuromorphic设备。
2017-03-12 cs.NE q-bio.NC stat.ML
Introducing "Neuromorphic Computing and Engineering"
计算的标准性质目前正受到一系列问题的挑战,这些问题开始阻碍技术进步。为解决其中一些问题而提出的策略之一是开发新颖的大脑启发处理方法和技术,并将其应用于广泛的应用场景。这是一项极具挑战性的工作,需要多个学科的研究人员将他们的努力结合起来,同时共同设计处理方法,支持计算架构及其底层技术。“类脑计算和工程”(NCE)杂志已经推出,以支持这一新的社区在这方面的努力,并提供一个论坛和知识库,介绍和讨论其最新进展。通过与编辑团队的同事密切合作,NCE的范围和特点已经设计,以确保它服务于学术界和工业界不断增长的跨学科和动态社区。
2021-05-30 cs.AR cs.CE cs.DC
SpikeFit: Towards Optimal Deployment of Spiking Networks on Neuromorphic Hardware
HSE University(俄罗斯高等经济大学);Center of Optical Neural Technologies(光学神经技术中心)
本文提出SpikeFit训练方法,通过协同优化离散权重值与模型、引入FSC剪枝,在低精度和严格硬件约束下实现脉冲神经网络的高效压缩与最完整部署,且能耗最低。
2025-10-31 cs.LG cs.NE q-bio.NC
Dendritic organic electrochemical transistors grown by electropolymerization for 3D neuromorphic engineering
在今天的神经形态工程中使用的标准自上而下技术的主要限制之一是它们无法映射生物大脑的3D性质。在这里,我们展示了如何双极电聚合可用于工程师的PEDOT:PSS树枝状纤维的3D网络。通过控制电聚合材料的生长条件,我们研究了树枝状纤维如何通过创建形状可控的结构来再现结构塑性。我们展示了多电极配置中的渐进拓扑结构演变。我们进行详细的电特性PEDOT:PSS树枝状晶体通过直流和阻抗谱测量,我们展示了如何有机电化学晶体管(OECT)可以实现这些结构。这些测量结果表明,OECTs的准静态和瞬态响应可以通过控制枝晶的形貌来调节。有机树突的独特性质被用来证明短期,长期和结构的可塑性,这是未来神经形态硬件发展所需的基本特征。
2021-07-13 cond-mat.dis-nn cond-mat.mtrl-sci cs.ET
The effect of heterogeneity on decorrelation mechanisms in spiking neural networks: a neuromorphic-hardware study
高级脑功能,如记忆,分类或推理,可以通过简化模型神经元的递归网络来实现。模拟神经形态硬件构成了用于在技术应用和神经科学研究中实现这种神经计算架构的快速且节能的基底。神经网络的功能性能通常严重依赖于神经活动中的相关性水平。在有限网络中,由于共享的突触前输入,相关性通常是不可避免的。最近的理论研究表明,生物神经网络中大量存在的抑制性反馈可以主动抑制这些共享输入相关性,从而使神经元几乎独立地放电。对于尖峰神经元的网络,抑制反馈的去相关效应到目前为止已经明确地证明了只有线性亚阈值动力学的同质神经元网络。然而,理论表明,这种效应是一种普遍现象,存在于任何具有足够抑制反馈的系统中,与网络结构或神经元和突触特性的细节无关。在这里,我们研究网络异质性的影响,在稀疏的,随机网络的抑制性神经元与非线性,基于电导的突触的相关性。模拟神经形态硬件系统Spikey上的这些网络的仿真,使我们能够测试的效率去相关抑制反馈中存在的硬件特定的异质性。硬件基板的可配置性使我们能够以系统的方式调节异质性的程度。我们选择性地研究了共享输入和循环连接对膜电位和脉冲序列相关性的影响。我们的结果证实...
2016-06-09 q-bio.NC
Real-Time Cortical Simulation on Neuromorphic Hardware
通过使用异构并行方案和SpiNNaker神经形态硬件,对一个具有生物学代表性的大规模脉冲神经网络进行了实时的【形】仿真.已发表的皮质微电路模型被用作基准测试用例,代表约。1平方毫米的早期感觉皮层,包含77k个神经元和3亿个突触。这是该模型的第一个真正实时的【形】模拟,在10秒的挂钟时间内执行10秒的生物模拟时间。这超过了HPC神经模拟器(3倍减速)和运行优化SNN库的GPU(2倍减速)的最佳成果。此外,该方法还表明,随着SNN规模的增加,实时的【形】处理能力也能得到保证,从而打破了传统计算机器的通信障碍.模型结果进行比较,建立HPC模拟器基线,以验证模拟的正确性,比较以及在一系列的统计措施。还报告了解决方案的能量和每个突触事件的能量,表明相对低技术的SpiNNaker处理器实现了相对于现代HPC系统的10倍能耗降低,并且与现代GPU的能耗相当。最后,系统的鲁棒性通过多个12小时的模拟皮层微电路,每个模拟12小时的生物时间,并展示了潜在的神经形态硬件作为神经科学研究工具,研究复杂的脉冲神经网络在延长的时间段。
2019-09-18 cs.ET q-bio.NC
Mapping of Local and Global Synapses on Spiking Neuromorphic Hardware
Stichting IMEC Nederland(荷兰IMEC基金会);IMEC Belgium(比利时IMEC);Drexel University(德雷塞尔大学)
尖峰神经网络(SNN)被广泛应用于解决复杂的模式识别、函数逼近和图像分类任务。随着这些网络的规模和复杂性不断增长,硬件实现变得具有挑战性,因为由于严格的能量预算,扩展完全连接的神经元的单个阵列(交叉开关)的大小不再可行。现代神经形态硬件集成了小型交叉开关和时分复用互连。为了将SNN映射到神经形态硬件上,划分SNN变得至关重要,其主要目的是减少全局通信延迟和能量开销。为了实现这一目标,我们提出了我们的粒子群优化,分区SNN到本地突触(映射在交叉)和全局突触(映射在时间复用的互连)的实例,目的是减少尖峰通信的互连。这通过减少尖峰间期失真和尖峰紊乱来改善延迟、功耗以及应用性能。我们的框架是在Python中实现的,接口CARLsim,GPU加速的应用级尖峰神经网络模拟器与扩展版本的Noxim,用于模拟时间复用互连。实验进行了现实和合成SNN为基础的应用程序与不同的计算模型,拓扑结构和尖峰编码方案。使用来自内部神经形态芯片的功率数,我们证明了PACMAN(SpiNNaker上SNN的广泛使用的分区技术)的能耗和尖峰延迟显著降低。
2019-08-13 cs.ET cs.LG cs.NE
Neuromorphic Pseudo-Random Number Generators with a Low Power Hardware Implementation
Hotchkiss Brain Institute, University of Calgary(卡尔加里大学霍奇金斯脑研究所);Biomedical Engineering, University of Calgary(卡尔加里大学生物医学工程系);Electrical and Software Engineering, University of Calgary(卡尔加里大学电气与软件工程系);Creative Destruction Lab(创意破坏实验室);ACHRI, University of Calgary(卡尔加里大学应用计算健康研究 institute)
该研究利用大脑混沌平衡状态的计算模型,构建了基于漏积分发放神经元的平衡尖峰神经网络,在低功耗FPGA上实现了神经形态伪随机数生成器,功耗3.24mW,速率120kbps,并通过标准质量测试。
2026-10-02 cs.NE q-bio.NC
RRAM based neuromorphic algorithms
本提交文件是一份关于基于RRAM的神经形态算法的报告。这份报告基本上给出了一个概述的算法上实现的神经形态硬件与交叉阵列的RRAM突触。本报告主要讲述了关于深度神经网络到尖峰神经网络转换的工作及其意义。
2019-01-12 cs.ET cs.NE q-bio.NC
Autocorrelations from emergent bistability in homeostatic spiking neural networks on neuromorphic hardware
神经形态计算的一个独特特征是记忆是通过系统集体动力学中过去信息的痕迹进行处理的隐式部分。关于过去输入的记忆程度通常由集体动态的自相关时间来量化。基于过去的实验证据,对潜在自相关性的一个潜在解释是接近临界波动。在这里,我们表明,自组织网络的兴奋性和抑制性泄漏集成和消防神经元,自相关性可以源于紧急双稳态时,减少外部输入强度。我们确定的双稳态作为一个波动引起的随机切换之间的亚稳态的非平衡相变附近的活动和静止状态。这种双稳定性发生在具有固定异质权重的网络中,这是发展过程中自组织的结果。具体而言,在我们的神经形态硬件实验和计算机模拟中,尽管单神经元时间尺度仅为20 ms,但出现的双稳态引起自相关时间超过500 ms。我们的结果首次验证了泄漏的积分和激发神经元网络中生物相容的自相关时间,这不是由接近临界的波动产生的,而是由内稳态调节网络中出现的双稳态产生的。因此,我们的研究结果构成了一个新的,互补的机制,突发自相关神经元网络,与生物和人工网络的影响,并介绍了一般范式的波动引起的双稳态驱动系统吸收状态。
2022-08-17 nlin.AO q-bio.NC
Surrogate gradients for analog neuromorphic computing
Heidelberg University(海德堡大学);Friedrich Miescher Institute for Biomedical Research(弗里德里希·米歇尔生物医学研究所)
为了以低代谢成本快速处理时间信息,生物神经元将输入整合为模拟和,但与尖峰、时间上的二进制事件进行通信。模拟神经形态硬件使用相同的原理来仿真具有出色能效的脉冲神经网络。然而,由于设备不匹配和缺乏有效的训练算法,在这样的硬件上实例化高性能尖峰网络仍然是一个重大挑战。在这里,我们介绍了一个通用的在环学习框架的基础上替代梯度,解决这些问题。使用BrainScaleS-2神经形态系统,我们证明了学习自我纠正设备不匹配,从而在视觉和语音基准上产生竞争性尖峰网络性能。我们的网络显示稀疏的尖峰活动,平均而言,每个隐藏神经元和输入远少于一个尖峰,以高达85 k帧/秒的速率执行推理,消耗不到200 mW。总之,我们的工作为模拟神经形态硬件上的低能量尖峰网络处理设定了几个新的基准,并为未来的片上学习算法铺平了道路。
2021-05-20 cs.ET cs.LG cs.NE