MaD: Mapping and debugging framework for implementing deep neural network onto a neuromorphic chip with crossbar array of synapses
神经形态系统或用于类脑计算的专用硬件随着对用于突触的不同设备材料的研究的进展而变得流行,特别是在交叉结构以及特定于或兼容于神经形态硬件的算法中。因此,将任何深度神经网络自动映射到具有突触交叉阵列和高效调试框架的神经形态芯片上是非常必要的。这里,映射被定义为将一部分深神经网络层部署到神经形态核心上,并在神经元群体之间生成连接列表以指定神经形态芯片上的各种神经形态核心之间的连接。验证是在推理期间在神经形态芯片上执行的计算的验证。该框架一起成为映射和映射(MaD)框架。MaD框架在使用上相当通用,因为它是一个Python包装器,可以与几乎所有神经形态芯片的模拟器工具集成。本文详细说明了MaD框架,考虑到一些优化,同时映射到一个单一的neuromorphic核心。MNIST和CIFAR-10数据集上的分类任务被认为是MaD框架的测试用例实现。
2019-01-01 cs.ET cs.NE
A neuromorphic approach to image processing and machine vision
Birla Institute of Technology & Science (BITS) Pilani(比拉理工学院(BITS)皮拉尼分校)
神经形态工程本质上是人工系统的发展,例如采用生物神经系统中发现的信息表示的电子模拟电路。尽管计算机比人脑更快、更准确,但在识别能力方面却落后于人脑。然而,可以预见,与计算机视觉和图像处理领域有关的神经形态学的进步将在计算机解释和分析信息的方式上提供相当大的改进。在本文中,我们探讨了视觉任务,如图像分割,视觉注意和对象识别的实现。此外,各向异性扩散的概念已被检查,其次是一种新的方法,采用忆阻器执行图像分割。此外,我们还讨论了神经形态视觉传感器在人工视觉系统中的作用,以及为了实现信号的异步传输而涉及的协议。此外,还讨论了两种被广泛接受的用于模拟物体识别和视觉注意过程的算法。在本文的整个跨度,我们一直强调就业的非易失性存储器件,如忆阻器,实现人工视觉系统。最后,我们讨论了硬件加速器,并希望代表一个恰当的例子,认为计算机视觉的进步可能直接受益于非易失性存储器技术的进步。
2022-08-07 cs.AI cs.CV cs.NE
Classifying neuromorphic data using a deep learning framework for image classification
Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)(科技研究局(A*STAR)资讯通信研究院)
在人工智能领域,类脑计算已经出现了几十年。然而,深度学习最近取得了很大进展,使得它在分类任务中的准确性方面始终优于神经形态学习算法。特别是在图像分类领域,类脑计算传统上使用时间或速率编码来将数据集中的静态图像编码成尖峰序列。直到最近,神经形态视觉传感器才被神经形态研究界广泛使用,并提供了这种编码方法的替代方案。从那时起,已经引入了通过将这种传感器应用于图像数据集(例如,神经形态CALTECH 101)而获得的若干神经形态数据集。这些数据被编码在尖峰序列中,因此似乎是神经形态学习算法基准测试的理想选择。具体而言,我们训练用于在CALTECH 101和神经形态CALTECH 101数据集的折叠版本上进行图像分类的深度学习框架。我们分别获得了91.66%和78.01%的准确率为CALTECH 101和神经形态CALTECH 101数据集。对于CALTECH 101,我们的准确度接近最好的报告准确度,而对于神经形态CALTECH 101,它比最后一个最好的报告准确度高出10%以上。这就提出了这样的数据集作为神经形态学习算法的基准是否合适的问题。
2018-07-02 cs.CV cs.NE
Implementing Spiking Neural Networks on Neuromorphic Architectures: A Review
最近,工业界和学术界都提出了几种不同的神经形态系统来执行使用脉冲神经网络(SNN)设计的机器学习应用。随着设计和技术方面的复杂性不断增加,对这样的系统进行编程以接纳和执行机器学习应用正变得越来越具有挑战性。此外,神经形态系统需要保证实时性能,消耗更低的能量,并提供对逻辑和存储器故障的容忍度。因此,显然需要能够在当前和新兴的神经形态系统上实现机器学习应用并同时解决性能、能量和可靠性的系统软件框架。在这里,我们提供了一个全面的概述,提出了这样的框架,基于平台的设计和软硬件协同设计。我们强调的挑战和机遇,未来在系统软件技术领域的类脑计算。
2022-02-17 cs.NE cs.SE
Higher-Order Neuromorphic Ising Machines -- Autoencoders and Fowler-Nordheim Annealers are all you need for Scalability
Washington University in St. Louis(华盛顿大学圣路易斯分校);Indian Institute of Science(印度科学学院);Heidelberg University(海德堡大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
提出一种基于异步自编码器架构的高阶神经形态伊辛机,通过直接操作伊辛子句而非自旋来捕获高阶交互,结合福勒-诺德海姆量子隧穿退火动力学,在保持资源复杂度独立于交互阶数的同时,实现了优于二阶模型的解质量和可扩展性。
2025-06-24 cs.NE
Sensing to Intelligence: Principles for Neuromorphic Circuits and Systems
Indian Institute of Science(印度科学学院)
本文提出神经形态工程应由计算原理而非生物相似性定义,并从感知、计算、记忆等角度总结设计原则,强调物理状态嵌入计算。.
2026-09-22 cs.NE
TONUS: Neuromorphic human pose estimation for artistic sound co-creation
本文提出艺术声音装置TONUS,利用面向专用神经形态芯片的脉冲神经网络实现多头人体姿态估计,使参观者通过精细身体动作与机器共同创作声音景观,探索更具诗意和沉浸感的人机艺术交互。
2025-07-21 cs.NE
When Conventional machine learning meets neuromorphic engineering: Deep Temporal Networks (DTNets) a machine learning frawmework allowing to operate on Events and Frames and implantable on Tensor Flow Like Hardware
Sorbonne Universitas(索邦大学);University of Pittsburgh/Medical Center(匹兹堡大学医学中心);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们介绍了深度时间网络的原理,它允许通过深度集成原理来增加卷积网络的时间,不仅使用空间信息,而且使用越来越大的时间窗口。该概念可以用于传统的图像输入,也可以用于基于事件的数据。虽然受到大脑结构的启发,在越来越大的空间和时间尺度上整合信息,但它可以使用现有的架构在传统的硬件上运行。我们介绍了初步的结果,以显示该方法的效率。更深入的结果和分析将很快公布!
2018-11-19 cs.LG cs.NE
A spiking neural algorithm for the Network Flow problem
目前尚不清楚神经形态硬件在机器学习和神经科学之外的潜力。在这个项目中,一个问题是固有的难以完全实现的神经形态硬件通过引入一个新的机器模型,其中传统的图灵机和神经形态预言机一起工作,以解决此类问题。我们表明,P-完全最大网络流问题是棘手的模型,其中的预言可以只咨询一次(“运行和运行”模型),但变得易于处理的使用交互式(“神经形态协处理器”)模型的计算。更具体地说,我们表明,一个对数空间约束的图灵机访问一个交互式的神经形态预言与线性空间,时间和能量的限制,可以解决最大网络流。该算法的一个修改变体在英特尔Loihi芯片上实现;英特尔实验室开发的神经形态众核处理器。我们表明,通过卸载的神经形态处理器的增强路径的搜索,我们可以得到能源效率的收益,而不牺牲运行时资源。这一结果表明,P-完全问题可以映射到神经形态架构在理论上和潜在的实际有效的方式。
2019-11-29 cs.CC cs.NE
A Case for Lifetime Reliability-Aware Neuromorphic Computing
具有非易失性存储器(NVM)的类脑计算可以显著提高使用基于尖峰的计算和生物启发的学习算法实现的机器学习任务的性能并降低能耗。操作某些NVM(如相变存储器(PCM))所需的高电压会加速神经元CMOS电路的老化,从而缩短神经形态硬件的寿命。在这项工作中,我们评估了长期的,即,在神经形态硬件上执行最先进的机器学习任务的寿命可靠性影响,考虑负偏置温度不稳定性(NBTI)和时间相关介电击穿(TDDB)等故障模型。基于这样的公式,我们显示了由于神经形态电路的周期性松弛而获得的可靠性-性能权衡,即,一种走走停停的类脑计算。
2020-07-04 cs.AR cs.NE
On the Role of System Software in Energy Management of Neuromorphic Computing
最近,诸如DYNAP和Loihi的类脑计算系统被引入到计算社区,以提高机器学习程序的性能和能量效率,特别是使用脉冲神经网络(SNN)实现的那些机器学习程序。用于神经形态系统的系统软件的作用是将大型机器学习模型(例如,具有许多神经元和突触)并将这些集群映射到硬件的计算资源。在这项工作中,我们制定的神经形态硬件的能量消耗,考虑神经元和突触消耗的功率,以及在互连上的通信尖峰消耗的能量。基于这样的配方,我们首先评估的系统软件在管理神经形态系统的能量消耗的作用。接下来,我们制定了一个简单的基于几何的映射方法,将神经元和突触放置到计算资源上,以减少能耗。我们评估我们的方法与10个机器学习应用程序,并证明所提出的映射方法导致显着降低类脑计算系统的能耗。
2021-03-22 cs.AR cs.NE
jaxsnn: Event-driven Gradient Estimation for Analog Neuromorphic Hardware
针对传统机器学习框架难处理脉冲异步数据的问题,提出基于JAX的jaxsnn库,采用灵活数据结构与时间处理方式,保留自动微分与可组合性,支持脉冲神经网络仿真与梯度估计,兼容时间连续型神经形态后端,弥合架构与框架间差距。
2024-01-30 cs.NE
Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware
University of South Carolina(南卡罗来纳大学)
随着技术行业正朝着在更小的边缘计算设备上实现诸如自然语言处理、路径规划、图像分类等任务的方向发展,对算法和硬件加速器的更有效实现的需求已经成为重要的研究领域。近年来,已经发布了几个边缘深度学习硬件加速器,专门专注于减少深度神经网络(DNN)消耗的功率和面积。另一方面,在离散时间序列数据上操作的脉冲神经网络(SNN)已经被示出在部署在专用神经形态的基于事件/异步硬件上时甚至比上述边缘DNN加速器实现显著的功率降低。虽然神经形态硬件在边缘加速深度学习任务方面表现出了巨大的潜力,但目前算法和硬件的空间有限,仍处于相当早期的发展阶段。因此,已经提出了许多旨在将预训练的DNN转换为SNN的混合方法。在这项工作中,我们提供了一个将预先训练的DNN转换为SNN的通用指南,同时还介绍了在延迟,功率和能量方面改进转换后的SNN在神经形态硬件上的部署的技术。我们的实验结果表明,与英特尔神经计算棒2相比,英特尔的神经形态处理器Loihi使用我们的SNN改进技术,在测试的图像分类任务中,功耗最多可降低27倍,能耗降低5倍。
2022-11-22 cs.AI cs.CV cs.ET
Distributed Representations Enable Robust Multi-Timescale Symbolic Computation in Neuromorphic Hardware
University of Groningen(格罗宁根大学);Groningen Cognitive Systems and Materials Center (CogniGron)(格罗宁根认知系统与材料中心);Tsinghua University(清华大学);Kiel University(基尔大学)
针对循环脉冲神经网络多时间尺度鲁棒计算难题,提出基于高维分布式表征的单次权重学习方案,将有限状态机嵌入网络动力学,经仿真、忆阻器硬件及Loihi 2验证可扩展且无需精细调优,为神经形态硬件符号计算提供新路径。
2025-01-13 cs.AI cs.NE
Neuromorphic Processing and Sensing: Evolutionary Progression of AI to Spiking
University of Strathclyde(思克莱德大学)
随着机器学习和深度学习应用的不断增长,需要更多的计算资源来成功满足始终连接的自动化世界不断增长的需求。基于脉冲神经网络算法的神经形态技术有望通过对人脑的功能和尖峰进行建模,使用一小部分计算和功率需求来实现高级人工智能。随着帮助数据科学家和机器学习工程师开发人工和深度神经网络的最新创新的工具和平台的激增,向新范式的过渡将需要在当前完善的基础上进行构建。本文阐述了基于尖峰信号的神经形态技术的理论工作原理,并综述了硬件处理器、软件平台和神经形态传感设备的最新进展。为当前的机器学习专家铺平了一条发展道路,以更新他们的技能,以及从当前一代深度神经网络到SNN的分类或预测模型。这可以通过利用SpiNNaker和Nengo迁移工具包形式的现有专用硬件来实现。第一手,VGG-16神经网络转换为SNN的实验结果是共享的。一个前瞻性的目光到工业,医疗和商业应用,可以很容易地受益于SNN结束了这项调查到类脑计算的未来。
2020-07-10 cs.AI cs.CV cs.LG
Neuromorphic Computing is Turing-Complete
Oak Ridge National Laboratory(橡树岭国家实验室)
类脑计算是一种非冯·诺依曼计算范式,它通过模拟人脑来执行计算。神经形态系统是非常节能的,并且已知消耗的功率比CPU和GPU少数千倍。它们有可能在未来推动关键用例,如自动驾驶汽车、边缘计算和物联网。出于这个原因,它们被认为是未来计算领域不可或缺的一部分。神经形态系统主要用于基于尖峰的机器学习应用,尽管在图论、微分方程和基于尖峰的模拟中存在一些非机器学习应用。这些应用表明,类脑计算可能能够通用计算。然而,类脑计算的通用可计算性尚未建立。在这项工作中,我们证明了类脑计算是图灵完备的,因此能够通用计算。具体来说,我们提出了一个类脑计算模型,只有两个神经元参数(阈值和泄漏)和两个突触参数(权重和延迟)。我们设计了神经形态电路来计算所有的μ-递归函数(即,常数、后继和投影函数)和所有μ递归算子(即,复合,原始递归和最小化运算符)。由于μ-递归函数和算子恰好是可以使用图灵机计算的,本文建立了类脑计算的图灵完备性。
2021-04-28 cs.CC cs.CL cs.ET
Stuck-at Faults in ReRAM Neuromorphic Circuit Array and their Correction through Machine Learning
San Jose State University(圣何塞州立大学)
针对ReRAM神经形态电路的固定故障导致推理精度下降的问题,研究了不同缺陷模式的影响,并提出机器学习校正策略,将缺陷电路推理精度从48%提升至85%。
2024-02-15 cs.AR cs.LG cs.NE
Improving Inference Lifetime of Neuromorphic Systems via Intelligent Synapse Mapping
非易失性存储器(NVM),如电阻式RAM(RRAM),用于神经形态系统中,以实现高密度和低功耗的模拟突触权重。不幸的是,RRAM单元可以在读取其内容一定次数后切换其状态。这种行为挑战了在神经形态系统上实现机器学习推理的完整性和程序一次读取多次的哲学,影响了服务质量(QoS)。高温和频繁使用可以显著缩短RRAM单元在绝对需要重新编程之前可以可靠读取的次数。我们提出了一个架构的解决方案,以延长基于RRAM的neuromorphic系统的读耐力。我们做出了两个重要贡献。首先,我们将RRAM单元的读耐受性公式化为编程突触权重及其在机器学习工作负载内的激活的函数。其次,我们提出了一个智能的工作负载映射策略,结合耐力配方放置的突触的机器学习模型到RRAM单元的硬件。目标是延长推断寿命,推断寿命定义为在训练的权重需要在系统的RRAM单元上重新编程之前,模型可以用于生成输出(推断)的次数。我们评估我们的架构解决方案与机器学习工作负载上的一个基于RRAM的神经形态系统的周期准确的模拟器。我们的研究结果表明,推理寿命显着增加,只有最小的性能影响。
2021-06-16 cs.AR cs.NE
Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms
本文提出Word2Spike,一种结合泊松率编码的神经形态方法,将词向量映射为脉冲吸引子状态,在保持高语义相似度和重建准确率的同时,实现了抗噪的联想记忆性能。
2025-09-09 cs.AI cs.NE
Training Spiking Deep Networks for Neuromorphic Hardware
University of Waterloo(滑铁卢大学)
我们描述了一种训练尖峰深度网络的方法,该网络可以使用泄漏积分和激发(LIF)神经元运行,在五个数据集上实现了尖峰LIF网络的最新结果,包括大型ImageNet ILSVRC-2012基准测试。我们将深度人工神经网络转换为尖峰网络的方法是可扩展的,并且适用于各种神经非线性。我们通过软化神经响应函数来实现这些结果,使其导数保持有界,并通过使用噪声训练网络来提供对尖峰引入的可变性的鲁棒性。我们的分析表明,这些网络在神经形态硬件上的实现将比传统硬件上的等效非尖峰网络高出许多倍。
2016-11-16 cs.LG cs.NE
Convolutional Networks for Fast, Energy-Efficient Neuromorphic Computing
深度网络现在能够在广泛的识别任务中实现人类水平的性能。独立地,类脑计算现在已经通过基于尖峰神经元、低精度突触和可扩展通信网络的新芯片架构展示了前所未有的能量效率。在这里,我们证明了类脑计算,尽管其新颖的架构原语,可以实现深度卷积网络,i)在8个标准数据集(包括视觉和语音)上接近最先进的分类精度,ii)在保持硬件底层能效和高吞吐量的同时执行推理,在上述数据集上以每秒1200到2600帧之间运行,并使用25到275 mW之间的功率(有效地> 6000帧/秒/ W)和iii)可以使用反向传播来指定和训练,具有与当代深度学习相同的易用性。这是第一次,深度学习的算法能力可以与神经形态处理器的效率相结合,使嵌入式、智能、脑启发计算的前景更近一步。
2016-05-24 cs.NE
Concepts and Paradigms for Neuromorphic Programming
本文通过概念分析重新定义神经形态计算机中的“编程”,并探索被忽视的编程范式,旨在突破深度学习方法的局限,拓展神经形态编程的研究方向。
2023-10-27 cs.ET cs.NE
ON-OFF Neuromorphic ISING Machines using Fowler-Nordheim Annealers
NeuroSA 是一种基于 Fowler-Nordheim 退火的神经形态伊辛机,通过异步 ON-OFF 神经元对实现模拟退火,在 MAX-CUT 和最大独立集基准上达到或超越最先进结果,且无需图特定调参,并在 SpiNNaker2 上验证了可行性。
2025-03-01 cs.NE
P-CRITICAL: A Reservoir Autoregulation Plasticity Rule for Neuromorphic Hardware
递归人工神经网络上的反向传播算法需要随时间展开累积状态。这些状态必须在内存中保存一段未定义的时间,这段时间取决于任务。本文使用储备池计算范例,其中使用未经训练的递归神经网络层作为预处理器阶段来学习时间和有限的数据。这些所谓的水库需要广泛的微调或神经可塑性与无监督学习规则。我们提出了一个新的局部可塑性规则命名为P-CRITICAL设计的自动水库调整,以及翻译英特尔的Loihi研究芯片,最近的神经形态处理器。我们比较了我们的方法在机器学习社区的知名数据集上,同时使用尖峰神经元架构。我们观察到来自各种模式的任务的性能提高,而无需调整参数。这种算法可能是边缘设备上端到端节能的基于神经形态学的机器学习的关键。
2020-09-11 cs.NE
Neuromorphic Hardware In The Loop: Training a Deep Spiking Network on the BrainScaleS Wafer-Scale System
在模拟神经形态硬件上仿真脉冲神经网络比在传统计算机上仿真它们有几个优点,特别是在速度和能耗方面。然而,这通常是以减少对仿真网络的动态控制为代价的。在本文中,我们演示了如何迭代训练的硬件仿真网络可以补偿模拟基板引起的异常。我们首先将在软件中训练的深度神经网络转换为BrainScaleS晶圆级神经形态系统上的尖峰网络,从而与生物时域相比实现了10000的加速因子。该映射之后是在环训练,在每个训练步骤中,网络活动首先记录在硬件中,然后用于通过反向传播计算软件中的参数更新。一个重要的发现是,参数更新不必是精确的,而只需要近似地遵循正确的梯度,这简化了更新的计算。使用这种方法,经过几十次迭代,尖峰网络显示出接近理想的软件仿真原型的准确性。所提出的技术表明,模拟神经形态设备上模拟的深尖峰网络可以获得良好的计算性能,尽管模拟基板的固有变化。
2017-03-06 cs.NE
Scalable Network Emulation on Analog Neuromorphic Hardware
针对BrainScaleS-2平台提出分区仿真功能,使超规模深度脉冲神经网络可训练,并在MNIST和EuroSAT数据集上验证,推进大规模神经形态计算。
2024-11-06 cs.NE
Benchmarking Deep Spiking Neural Networks on Neuromorphic Hardware
随着越来越多的基于事件的神经形态硬件系统正在开发中的大学和工业,有一个领域的具体措施,以评估其性能的需求越来越大。在这项工作中,我们使用的方法转换预先训练的非尖峰到脉冲神经网络的性能损失和测量的能量每推理的神经形态硬件系统(BrainScaleS,Spikey,SpiNNaker)和CPU(NEST)和CPU/GPU(GeNN)的共同模拟框架。对于模拟硬件,我们进一步应用一种称为硬件在环训练的再训练技术来应对设备失配。对五个不同的网络进行了分析,其中包括三个通过神经架构搜索框架自动优化发现的网络。我们证明,转换损耗通常低于百分之一的数字实现,并适度较高的模拟系统的好处是低得多的能源每推理成本。
2020-10-26 cs.NE
DFSynthesizer: Dataflow-based Synthesis of Spiking Neural Networks to Neuromorphic Hardware
脉冲神经网络(SNN)是一种新兴的计算模型,它采用事件驱动的激活和生物启发的学习算法。基于SNN的机器学习程序通常在基于瓦片的神经形态硬件平台上执行,其中每个瓦片由称为交叉杆的计算单元组成,其映射程序的神经元和突触。然而,在现成的神经形态硬件上合成这样的程序是具有挑战性的。这是因为硬件的固有资源和延迟限制,其影响模型性能,例如,精度和硬件性能,例如,吞吐量我们提出了DFSynthesizer,一个端到端的框架,用于将基于SNN的机器学习程序合成到神经形态硬件。拟议的框架分四个步骤运作。首先,它分析了机器学习程序,并使用代表性数据生成SNN工作负载。其次,它划分SNN工作负载并生成适合目标神经形态硬件的交叉条的集群。第三,它利用同步数据流图(SDFG)的丰富语义来表示集群SNN程序,允许在关键硬件约束(如交叉杆的数量、每个交叉杆的尺寸、瓦片上的缓冲空间和瓦片通信带宽)方面进行性能分析。最后,采用一种新的调度算法在硬件的交叉开关上执行集群,保证了硬件性能。我们用10个常用的机器学习程序来评估DFSynthesizer。我们的研究结果表明,DFSynthesizer提供了更严格的性能保证相比,目前的映射方法。
2021-08-04 cs.AR cs.ET cs.NE
Low-Power, Neuromorphic, Acoustic Anomaly Detection for Persistent Machine Monitoring
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);AeroVironment, Inc(AeroVironment公司);University of New Mexico COSMIAC Research Center(新墨西哥大学COSMIAC研究中心);Air Force Research Laboratory(空军研究实验室)
该研究在Intel Loihi 2神经形态处理器上实现低功耗声学异常检测,在两个基准测试中性能超基线,能耗比CPU、GPU低两个数量级,为持续机器监测提供实用方案。
2026-08-20 cs.AI cs.ET cs.LG
Analysis of Generalized Hebbian Learning Algorithm for Neuromorphic Hardware Using Spinnaker
本文探讨了将 Generalized Hebbian Algorithm 应用于 SpiNNaker 大规模神经形态硬件平台,实验表明该方法显著提升了分类准确率,展现了生物启发式学习算法在推进神经形态计算领域的潜力。
2024-11-18 cs.NE
A Self-Driving Robot Using Deep Convolutional Neural Networks on Neuromorphic Hardware
University of California, Irvine(加州大学欧文分校);Northrop Grumman(诺斯洛普·格鲁曼公司);University of Maryland(马里兰大学);BrainChip LLC(BrainChip有限责任公司)
类脑计算是降低移动嵌入式系统体积、重量和功耗的一种很有前途的解决方案。在本文中,我们介绍了这样一个系统的实现,通过创建IBM TrueNorth NS1e和自主的基于Android的机器人平台之间的第一个闭环电池供电的通信系统。使用这个系统,我们构建了一个数据集的路径跟随行为,手动驱动基于Android的机器人沿着陡峭的山路和记录视频帧从安装在机器人上的摄像头以及相应的电机命令。我们使用该数据集来训练在TrueNorth NS 1e上实现的深度卷积神经网络。安装在机器人上并由机器人电池供电的NS1e导致了一个自动驾驶机器人,它可以成功地实时的穿越陡峭的山路。据我们所知,这是TrueNorth NS1e神经形态芯片首次在闭环控制下嵌入移动平台。
2016-11-04 cs.NE cs.RO
A Digital Neuromorphic Architecture Efficiently Facilitating Complex Synaptic Response Functions Applied to Liquid State Machines
神经网络中的信息表示为神经元之间的加权连接或突触。当输入乘以神经网络权重时,由于神经网络的主要计算瓶颈是向量-矩阵乘法,因此这造成了问题。传统的处理架构不太适合模拟神经网络,通常需要大量的能量和时间。此外,生物神经网络中的突触不是二元连接,而是表现出非线性响应函数,因为神经递质在神经元之间发射和扩散。受神经科学原理的启发,我们提出了一种数字神经形态架构,尖峰时间处理单元(STPU),能够模拟任意复杂的突触反应功能,而不需要额外的硬件组件。我们考虑的范例尖峰神经元的时间编码的信息,而不是非尖峰率编码的神经元中使用的大多数神经网络。在这个范例中,我们研究液体状态机应用于语音识别,并显示如何与时间动态映射到STPU的液体状态机,展示了灵活性和效率的STPU的实例化神经算法。
2017-03-21 cs.NE q-bio.NC stat.ML
SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning
Technische Universität Dresden(德累斯顿工业大学);SpiNNcloud Systems GmbH(SpiNNcloud Systems 有限公司);Universitätsmedizin Berlin(柏林大学医学中心)
针对现代机器学习在边缘设备的高能耗与延迟问题,本文介绍了数字神经形态芯片SpiNNaker2的运行原理及其大规模异步系统,展示了其在多种神经网络应用中的原型,旨在推动未来基于事件和异步算法的发展。
2024-01-09 cs.ET cs.LG cs.NE
From Clean Room to Machine Room: Commissioning of the First-Generation BrainScaleS Wafer-Scale Neuromorphic System
第一代BrainScaleS,也称为BrainScaleS-1,是一种用于模拟大规模尖峰神经元网络的神经形态系统。遵循“物理建模”原则,其VLSI电路旨在模拟生物实例的动态:模拟电路实现神经元和突触,其时间常数来自其电子组件的内在属性。它在连续时间内运行,与生物状态相比,动力学通常匹配10000的加速因子。容错设计允许它实现晶圆级集成,尽管不可避免的模拟变化和组件故障。在本文中,我们介绍了BrainScaleS-1晶圆模块的调试过程,简要描述了系统的物理组件,说明了组装过程中采取的步骤和操作措施。此外,我们反思了系统的开发过程和经验教训,并通过模拟晶圆级同步点火链来演示其功能,迄今为止,最大的尖峰网络仿真使用模拟组件和单个突触运行。
2023-03-22 cs.ET cs.NE
Reinforcement co-Learning of Deep and Spiking Neural Networks for Energy-Efficient Mapless Navigation with Neuromorphic Hardware
Computational Brain Lab, Department of Computer Science, Rutgers University(罗格斯大学计算机科学系计算大脑实验室)
节能的无地图导航对于移动机器人来说至关重要,因为它们在有限的机载资源下探索未知环境。虽然最近的深度强化学习(DRL)方法已成功地应用于导航,但其高能耗限制了其在几个机器人应用中的使用。在这里,我们提出了一种神经形态的方法,结合了脉冲神经网络的能量效率与DRL的最优性,并在无地图导航的学习控制策略中进行基准测试。我们的混合框架,尖峰深度确定性策略梯度(SDDPG),由尖峰演员网络(SAN)和深度评论家网络,其中两个网络使用梯度下降联合训练。共同学习使两个网络之间的协同信息交换成为可能,使它们能够通过共享的表示学习克服彼此的局限性。为了评估我们的方法,我们在英特尔的Loihi神经形态处理器上部署了经过训练的SAN。当在模拟和真实世界的复杂环境中进行验证时,与Jetson TX2上的DDPG相比,我们在Loihi上的方法每次推理消耗的能量减少了75倍,并且还表现出更高的成功导航率,范围从1%到4.2%,并取决于前向传播时间步长。这些结果加强了我们正在进行的努力,设计大脑启发的算法,用于控制具有神经形态硬件的自主机器人。
2020-07-31 cs.LG cs.NE cs.RO
The Backpropagation Algorithm Implemented on Spiking Neuromorphic Hardware
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Peking University(北京大学)
本研究在Intel Loihi神经形态处理器上实现了基于突触链门控的脉冲反向传播算法,首次实现全芯片训练,无需外部计算机,并在MNIST分类任务上达到与离线训练SNN相当的精度,适用于边缘计算。
2021-08-26 cs.AI cs.LG cs.NE
Is my Neural Network Neuromorphic? Taxonomy, Recent Trends and Future Directions in Neuromorphic Engineering
School of EEE Nanyang Technological University(南洋理工大学电气与电子工程学院)
在本文中,我们回顾了最近的工作发表在过去3年的保护伞下的神经形态工程,分析这些系统之间的共同特点。我们看到,没有明确的共识,但每个系统都具有以下一个或多个特征:(1)模拟计算(2)非冯·诺依曼架构和低精度数字处理(3)脉冲神经网络(SNN),其组件与生物学密切相关。我们比较了最近的机器学习加速器芯片,以表明模拟处理和降低位精度的架构确实具有最佳的吞吐量、能量和面积效率。然而,纯数字架构也可以通过采用非冯·诺依曼架构来实现相当高的效率。鉴于数字硬件设计的设计自动化工具,它提出了一个问题,在不久的将来采用模拟处理的工业设计的可能性。接下来,我们讨论了定义标准和选择适当的基准的神经形态系统设计的进展的重要性,并提出了一些期望的特性,这样的基准。最后,我们将脑机接口作为一个潜在的任务,满足这些基准的所有标准。
2020-02-27 cs.ET cs.LG cs.NE
Neuromorphic Programming: Emerging Directions for Brain-Inspired Hardware
CogniGron Center(CogniGron中心);Bernoulli Institute(伯努利研究所);University of Groningen(格罗宁根大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文分析神经形态计算语境下的编程问题,挑战传统编程范式,提出贴合神经形态硬件物理特性的编程框架,围绕五项基本特征展开研究,倡导未被充分利用的技术并呼吁构建更丰富的抽象层以释放这类硬件的潜力。
2024-10-15 cs.AI cs.DC cs.ET
A Study of Complex Deep Learning Networks on High Performance, Neuromorphic, and Quantum Computers
Oak Ridge National Laboratory(橡树岭国家实验室);USC Information Sciences Institute(南加州大学信息科学研究所);University of Tennessee(田纳西大学)
当前的深度学习方法使用在基于大型图形处理单元(GPU)的计算机上训练的卷积神经网络(CNN)已经非常成功。这种方法的三个限制是:1)它们基于简单的分层网络拓扑,即,高度连接的层,没有层内连接; 2)手动配置网络以实现最佳结果,以及3)神经元模型的实现在成本和功率方面都是昂贵的。在本文中,我们使用三种不同的计算架构来评估深度学习模型,以解决这些问题:量子计算训练复杂拓扑,高性能计算(HPC)自动确定网络拓扑,以及类脑计算用于低功耗硬件实现。由于当前量子计算机的输入大小限制,我们使用MNIST数据集进行实验。我们的研究结果显示了串联使用三种架构来解决上述深度学习限制的可行性。我们表明,随着网络复杂性的增加,量子计算机可以在易于处理的时间内找到高质量的层内连接权重值;高性能计算机可以找到最佳的基于层的拓扑结构;神经形态计算机可以表示来自低功耗忆阻硬件中其他架构的复杂拓扑结构和权重。
2017-07-13 cs.LG cs.NE
Design-Technology Co-Optimization for NVM-based Neuromorphic Processing Elements
神经形态硬件平台可以显著降低机器学习推理任务的能量开销。我们提出了一个设计技术权衡分析,以实现这样的推理任务的处理元件(PE)的非易失性存储器(NVM)为基础的神经形态硬件。通过详细的电路级模拟在缩放的工艺技术节点,我们显示了技术缩放对信息处理延迟的负面影响,这会影响嵌入式ML系统的服务质量(QoS)。在更精细的粒度下,PE内部的延迟取决于1)由其电流路径上的寄生组件引入的延迟,以及2)感测其NVM单元的不同电阻状态的变化延迟。基于这两点,我们做出以下三点贡献。首先,在技术方面,我们提出了一种优化方案,其中需要最长时间来感测的NVM电阻状态被设置在具有最小延迟的电流路径上,反之亦然,减少了平均PE延迟,从而提高了QoS。其次,在架构方面,我们在每个PE中引入隔离晶体管,将其划分为可以单独进行电源门控的区域,从而降低延迟和能耗。最后,在系统软件方面,我们提出了一种机制,在硬件的神经形态PE上实现机器学习推理任务时,利用所提出的技术和架构增强。最近的神经形态硬件架构的评估表明,我们提出的设计技术协同优化方法提高了机器学习推理任务的性能和能源效率,而不会产生高的每比特成本。
2022-03-10 cs.ET cs.NE
Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware
类脑计算的硬件实现可以显著提高用脉冲神经网络(SNN)实现的机器学习任务的性能和能量效率,使得这些硬件平台特别适合于嵌入式系统和其他能量受限的环境。我们观察到,当通过其突触元件传播尖峰时,硬件的交叉开关中的长位线和字线产生显著的电流变化,突触元件通常设计有非易失性存储器(NVM)。这样的电流变化在硬件的每个交叉杆内创建热梯度,这取决于机器学习工作负载以及工作负载的神经元和突触到这些交叉杆的映射。\mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.}我们提出了一种新的技术,将基于SNN的机器学习工作负载的神经元和突触映射到神经形态硬件。我们做了两个新的贡献。首先,我们制定了一个详细的热模型的神经形态硬件中的交叉杆纳入工作负载的依赖性,其中每个基于NVM的突触细胞的温度计算考虑其相邻细胞的热贡献。其次,我们将这个热模型的映射神经元和突触的SNN为基础的工作负载使用爬山启发式。其目的是减少交叉杆中的热梯度。我们使用最先进的神经形态硬件的10个机器学习工作负载来评估我们的神经元和突触映射技术。我们证明…
2020-12-17 cs.DC cs.ET cs.NE
RRAM based neuromorphic algorithms
本提交文件是一份关于基于RRAM的神经形态算法的报告。这份报告基本上给出了一个概述的算法上实现的神经形态硬件与交叉阵列的RRAM突触。本报告主要讲述了关于深度神经网络到尖峰神经网络转换的工作及其意义。
2019-01-12 cs.ET cs.NE q-bio.NC
A Nonparametric Framework for Quantifying Generative Inference on Neuromorphic Systems
受限玻尔兹曼机和深度信念网络已成功用于概率生成模型应用,如图像遮挡去除,模式完成和运动合成。此类算法中的生成推理可以使用称为吉布斯采样的马尔可夫链蒙特卡罗过程在硬件上非常有效地执行,其中随机样本从在神经形态基底上实现的有噪积分和激发神经元中提取。目前,没有令人满意的指标存在用于评估神经形态平台的高维数据上实现的这种算法的生成性能。本文演示了应用非参数拟合优度测试来量化生成性能,以及提供决策指导的标准选择的神经形态吉布斯采样器的参数和优化使用的硬件资源在采样过程中使用。
2016-02-18 cs.NE
Reliability-Performance Trade-offs in Neuromorphic Computing
使用非易失性存储器(NVM)构建的神经形态架构可以显著提高使用脉冲神经网络(SNN)设计的机器学习任务的能量效率。这些架构的交叉开关中的电压降的主要来源是交叉开关的位线和字线上的寄生组件,这些寄生组件被故意制造得更长以实现更低的每比特成本。我们观察到,寄生电压降在交叉开关中的NVM单元的编程速度和可靠性中产生显著的不对称性。具体地,在较短电流路径上的NVM单元编程更快,但具有比在较长电流路径上的NVM单元更低的耐久性,反之亦然。神经形态架构中的这种不对称性产生了可靠性-性能权衡,可以使用SNN映射技术有效地利用这一点。在这项工作中,我们使用先前提出的SNN映射技术与来自当代机器学习任务的10个工作负载来演示这种权衡,用于最先进的神经形态硬件。
2020-09-26 cs.DC cs.ET cs.NE
Neuromorphic Energy-Aware Learning for Adaptive Deep Brain Stimulation
Dept. of Electrical and Computer Engineering, University of California, Santa Cruz, CA, USA(加州大学圣克鲁兹分校电气与计算机工程系);Dept. of Bioengineering, University of California, San Diego, La Jolla, CA, USA(加州大学圣地亚哥分校生物工程系)
提出能量感知学习,将执行器能耗纳入强化学习奖励,在帕金森病深部脑刺激中抑制病理振荡45.2%并减少刺激电荷80.0%,通过稀疏知识蒸馏部署到神经形态处理器,推理能耗降低28.1倍。
2026-06-26 cs.AI cs.LG cs.NE
Finding the Gap: Neuromorphic Motion Vision in Cluttered Environments
许多动物在环境中蜿蜒而行,避免碰撞。潜在的神经机制如何在各种环境中产生强大的行为仍然不清楚。在苍蝇的大脑中,运动敏感神经元指示附近物体的存在,方向线索被整合在一个称为中央复合体的区域内。与传统的基于流的信号处理方法相比,这种神经元机制使用基于事件的方法,当动物感觉到变化时就会发生事件。与冯·诺依曼计算架构相反,基于事件的神经形态硬件被设计为以异步和分布式方式处理信息。受苍蝇大脑的启发,我们首次模拟了一个神经形态闭环系统,模拟了在飞行昆虫中观察到的基本行为,例如在混乱中蜿蜒和穿越间隙,这与自动驾驶汽车高度相关。我们在软件和神经形态硬件上实现了我们的系统。当我们在环境中移动时,我们的智能体会感知周围环境的变化,并使用这些信息来避免碰撞。代理人的机动结果从一个封闭的行动感知循环实现概率决策过程。自寒武纪大爆发以来,这种闭环被认为推动了生物制剂中神经回路的发展。在理解人工智能体中的神经计算的基本探索中,我们通过闭合神经形态系统中的循环,更接近于理解和建模生物智能。作为一个闭环系统,我们的系统加深了我们对神经网络中的处理以及生物和人工系统中的计算的理解。通过这些研究,我们的目标是为未来的神经形态智能奠定基础,从而充分发挥神经形态系统的潜力。
2021-02-16 cs.NE
Neuromorphic In-Memory Computing Framework using Memtransistor Cross-bar based Support Vector Machines
Indian Institute of Science(印度科学学院);Washington University in St. Louis(圣路易斯华盛顿大学)
提出了一种新的支持向量机(SVM)设计框架,该框架不要求SVM核函数为正定核,并允许用户根据固定的模板向量定义内存约束。这使得框架可扩展,并使其实现低功耗,高密度和内存受限的嵌入式应用。还讨论了其有效的硬件实现,其利用新颖的基于低功率记忆晶体管的交叉结构,并且对器件失配和随机性是鲁棒的。我们使用记忆晶体管的测量数据,并表明,所设计的支持向量机可以实现分类精度与传统的支持向量机在合成和真实世界的基准数据集。该框架将有益于物联网(IoT)和边缘设备的基于SVM的唤醒系统的设计,其中存储晶体管可用于优化系统的能量效率并执行存储器内矩阵向量乘法(MVM)。
2019-05-29 cs.LG cs.NE
Deep Neuromorphic Networks with Superconducting Single Flux Quanta
University of Rochester(罗切斯特大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种基于单磁通量子(SFQ)超导技术的深度神经形态网络设计方法,通过SFQ突触和神经元电路构建深度异或网络,实现宽分类裕度且无需非常规超导器件或晶体管,并可通过外部电流调节,为可扩展低温神经形态计算提供有效方案。
2023-09-21 cs.ET cs.LG cs.NE
Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware
Technical University of Munich(慕尼黑工业大学);Imperial College(帝国理工学院);SpiNNcloud Systems GmbH(SpiNNcloud系统有限公司)
本文将多维谐波检索建模为稀疏恢复,提出深度展开S-LISTA复值CNN,并通过扩展FS转换为SNN后部署于SpiNNaker2,实现近五倍能效提升。
2024-12-05 cs.AI cs.AR cs.NE
Learning through structure: towards deep neuromorphic knowledge graph embeddings
Siemens AG Technology(西门子股份公司技术部)
本研究提出将知识图谱推理的深度图学习架构映射到神经形态架构的策略,结合冻结图神经网络与浅层嵌入模型,实现传统硬件上的提速降存,还扩展出适用于神经形态硬件的脉冲神经网络版本的稀疏嵌入算法。
2021-09-21 cs.AI cs.LG cs.NE
MT-Spike: A Multilayer Time-based Spiking Neuromorphic Architecture with Temporal Error Backpropagation
现代深度学习使能的人工神经网络,例如深度神经网络(DNN)和卷积神经网络(CNN),已经在广泛的识别应用上取得了一系列突破性的记录。然而,与这种深度和复杂的神经网络模型相关联的巨大计算和存储需求极大地挑战了它们在资源有限的平台上的实现。基于时间的脉冲神经网络是类脑计算系统设计中的一个很有前途的解决方案,它可以在单个芯片内实现显著的计算效率和功耗效率。然而,相关的研究活动一直狭隘地集中在生物相容性和理论学习方法,导致低效的神经处理和不切实际的多层扩展,从而显着限制了处理现实认知任务的速度和准确性。在这项工作中,一个实用的多层基于时间的尖峰神经形态架构,即“MT尖峰”,开发,以填补这一空白。与建议的实际时间编码方案,平均延迟响应模型,时间误差反向传播算法,和启发式损失函数,“MT-尖峰”实现更有效的神经处理,通过灵活的神经模型的大小减少,同时提供非常有竞争力的分类精度为现实的识别任务。仿真结果很好地验证了深度多层学习的算法能力可以与基于时间的尖峰神经形态架构的效率无缝融合,展示了“MT-Spike”在资源和功耗受限的嵌入式平台中的巨大潜力。
2018-03-14 cs.NE q-bio.NC
Dynamic Reliability Management in Neuromorphic Computing
类脑计算系统使用非易失性存储器(NVM)来实现高密度和低能量的突触存储。操作NVM所需的升高的电压和电流导致硬件中每个神经元和突触电路中基于CMOS的晶体管老化,使晶体管的参数偏离其标称值。积极的设备扩展增加了功率密度和温度,这加速了老化,对神经形态系统的可靠运行提出了挑战。现有的面向可靠性的技术以固定的间隔周期性地对硬件中的所有神经元和突触电路进行去应力,假设最坏情况的操作条件,而没有实际跟踪它们在运行时间的老化。为了减轻这些电路的压力,必须中断正常操作,这在尖峰生成和传播中引入了延迟,从而影响尖峰间间隔并因此影响性能,例如,精度我们提出了一种新的架构技术,以减轻老化相关的可靠性问题,在neuromorphic系统,通过设计一个智能的运行时管理器(NCRTM),它动态destresses神经元和突触电路在响应短期老化的CMOS晶体管在执行机器学习工作负载,以满足可靠性目标。NCRTM仅在绝对必要时才对这些电路进行减压,否则通过将减压操作安排在关键路线之外来降低性能影响。我们在神经形态硬件上使用最先进的机器学习工作负载评估NCRTM。我们的研究结果表明,NCRTM显着提高了神经形态硬件的可靠性,对性能的边际影响。
2021-05-05 cs.AR cs.NE
Astromorphic Self-Repair of Neuromorphic Hardware Systems
虽然基于脉冲神经网络(SNN)的类脑计算架构作为通向生物合理机器学习的途径越来越受到关注,但注意力仍然集中在神经元和突触等计算单元上。从神经突触的角度出发,本文试图探讨神经胶质细胞,特别是星形胶质细胞的自我修复作用。这项工作研究了与星形胶质细胞计算神经科学模型的更强相关性,以开发具有更高生物保真度的宏观模型,准确捕捉自我修复过程的动态行为。硬件-软件协同设计分析表明,生物形态星形胶质细胞调节具有自我修复神经形态硬件系统中的硬件现实故障的潜力,在MNIST和F-MNIST数据集上具有显著更好的准确性和无监督学习任务的修复收敛性。我们的实现源代码和训练模型可在https://github.com/NeuroCompLab-psu/Astromorphic_Self_Repair上获得。
2023-03-08 cs.NE
SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院);Centre de Recherche Cerveau et Cognition (CERCO), UMR5549 CNRS - Univ. Toulouse 3(大脑与认知研究中心(CERCO),CNRS UMR5549 - 图卢兹第三大学);University of Chinese Academy of Sciences(中国科学院大学)
SpikingJelly是一个面向脉冲神经网络的全栈开源平台,提供数据集预处理、模型构建、参数优化与芯片部署工具,训练加速达11倍,并通过多级继承和半自动代码生成支持低成本自定义模型加速,推动高能效神经形态智能系统发展。
2023-10-25 cs.LG cs.NE cs.SE