Brain-inspired global-local learning incorporated with neuromorphic computing
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
目前存在两种主要的学习方法,包括错误驱动的全局学习和面向神经科学的局部学习。将它们集成到一个网络中可以为多功能学习场景提供互补的学习能力。与此同时,类脑计算具有很大的潜力,但仍然需要大量有用的算法和算法硬件协同设计来发挥优势。在这里,我们报告了一个神经形态的混合学习模型,通过引入一个大脑启发的元学习范式和一个微分尖峰模型,结合神经元动力学和突触可塑性。它可以元学习局部可塑性,并接收自顶向下的监督信息进行多尺度协同学习。我们展示了该模型在多个不同任务中的优势,包括少样本学习,持续学习和神经形态视觉传感器的容错学习。它实现了比单一学习方法更高的性能,并显示出在赋予神经形态应用革命的希望。在Tianjic神经形态平台上,通过算法-硬件协同设计实现了混合模型,证明了该模型能够充分利用神经形态众核架构开发混合计算范型。
2021-06-22 cs.AI cs.NE q-bio.NC
Neuromorphic Computing is Turing-Complete
Oak Ridge National Laboratory(橡树岭国家实验室)
类脑计算是一种非冯·诺依曼计算范式,它通过模拟人脑来执行计算。神经形态系统是非常节能的,并且已知消耗的功率比CPU和GPU少数千倍。它们有可能在未来推动关键用例,如自动驾驶汽车、边缘计算和物联网。出于这个原因,它们被认为是未来计算领域不可或缺的一部分。神经形态系统主要用于基于尖峰的机器学习应用,尽管在图论、微分方程和基于尖峰的模拟中存在一些非机器学习应用。这些应用表明,类脑计算可能能够通用计算。然而,类脑计算的通用可计算性尚未建立。在这项工作中,我们证明了类脑计算是图灵完备的,因此能够通用计算。具体来说,我们提出了一个类脑计算模型,只有两个神经元参数(阈值和泄漏)和两个突触参数(权重和延迟)。我们设计了神经形态电路来计算所有的μ-递归函数(即,常数、后继和投影函数)和所有μ递归算子(即,复合,原始递归和最小化运算符)。由于μ-递归函数和算子恰好是可以使用图灵机计算的,本文建立了类脑计算的图灵完备性。
2021-04-28 cs.CC cs.CL cs.ET
A Case for Lifetime Reliability-Aware Neuromorphic Computing
具有非易失性存储器(NVM)的类脑计算可以显著提高使用基于尖峰的计算和生物启发的学习算法实现的机器学习任务的性能并降低能耗。操作某些NVM(如相变存储器(PCM))所需的高电压会加速神经元CMOS电路的老化,从而缩短神经形态硬件的寿命。在这项工作中,我们评估了长期的,即,在神经形态硬件上执行最先进的机器学习任务的寿命可靠性影响,考虑负偏置温度不稳定性(NBTI)和时间相关介电击穿(TDDB)等故障模型。基于这样的公式,我们显示了由于神经形态电路的周期性松弛而获得的可靠性-性能权衡,即,一种走走停停的类脑计算。
2020-07-04 cs.AR cs.NE
Neuromorphic FPGA Design for Digital Signal Processing
University of North Dakota(北达科他大学)
本文提出利用类脑计算技术在FPGA上实现数字信号处理,通过实验验证其在低延迟和持续学习方面的优势,同时指出其在功耗提升与数值精度之间的权衡。
2026-01-11 cs.NE eess.SP
On the Role of System Software in Energy Management of Neuromorphic Computing
最近,诸如DYNAP和Loihi的类脑计算系统被引入到计算社区,以提高机器学习程序的性能和能量效率,特别是使用脉冲神经网络(SNN)实现的那些机器学习程序。用于神经形态系统的系统软件的作用是将大型机器学习模型(例如,具有许多神经元和突触)并将这些集群映射到硬件的计算资源。在这项工作中,我们制定的神经形态硬件的能量消耗,考虑神经元和突触消耗的功率,以及在互连上的通信尖峰消耗的能量。基于这样的配方,我们首先评估的系统软件在管理神经形态系统的能量消耗的作用。接下来,我们制定了一个简单的基于几何的映射方法,将神经元和突触放置到计算资源上,以减少能耗。我们评估我们的方法与10个机器学习应用程序,并证明所提出的映射方法导致显着降低类脑计算系统的能耗。
2021-03-22 cs.AR cs.NE
Classification Accuracy Improvement for Neuromorphic Computing Systems with One-level Precision Synapses
脑启发类脑计算以其高能量效率和并行数据处理的特点,显示了其相对于传统冯诺依曼体系结构的显著优势。然而,有限的分辨率的突触权重降低系统的准确性,从而阻碍了神经形态系统的使用。在这项工作中,我们提出了三种正交的方法来学习一级精度的突触,即分布感知量化,量化正则化和偏置调谐,在多层感知和卷积神经网络上的实验表明,该算法的准确率下降可以很好地控制在0.19%以内(5.53%)的MNIST(CIFAR-10)数据库,相比,一个理想的系统没有量化。
2017-01-07 cs.NE
INsight: A Neuromorphic Computing System for Evaluation of Large Neural Networks
深度神经网络已经在各种认知任务中表现出令人印象深刻的结果,例如目标检测和图像分类。为了执行大型网络,冯·诺依曼计算机将大量的权重参数存储在外部存储器中,并且处理元件是时间共享的,这导致了功耗高的I/O操作和处理瓶颈。本文描述了一个类脑计算系统,该系统是从头开始设计的大规模神经网络的节能评估。该计算系统由一个非传统的编译器,一个神经形态架构,和一个空间高效的微架构,利用现有的集成电路设计方法。编译器将经过训练的前馈网络分解为稀疏连接的网络,线性压缩权重,并生成减少连接数量的时间延迟神经网络。简化网络中的连接和单元被映射到硅突触和神经元。我们展示了一个现场可编程门阵列的基础上,执行MNIST手写数字分类的准确率为97.64%的类脑计算系统的实现。
2015-08-05 cs.NE
Floating-Point Multiplication Using Neuromorphic Computing
类脑计算描述了使用超大规模集成电路系统来模拟神经生物体系结构,并且也被视为传统冯诺依曼体系结构的有前途的替代方案。任何新的计算架构都需要一个可以执行浮点运算的系统。在本文中,我们描述了一个神经形态系统,执行IEEE 754兼容的浮点乘法。乘法的复杂过程被分成更小的子任务,由指数加法器,偏置减法器,尾数乘法器和符号OF/UF执行。我们研究了每个比特的神经元数量对精度和比特出错率的影响,并估计了每个组件所需的最佳神经元数量。
2020-08-30 cs.ET cs.NE
A Survey of Neuromorphic Computing and Neural Networks in Hardware
类脑计算指的是各种受大脑启发的计算机、设备和模型,它们与普遍存在的冯·诺依曼计算机体系结构形成对比。这种受生物学启发的方法创造了高度连接的合成神经元和突触,可用于模拟神经科学理论以及解决具有挑战性的机器学习问题。这项技术的承诺是创造一种类似大脑的学习和适应能力,但技术挑战是巨大的,从大脑如何工作的准确神经科学模型开始,寻找材料和工程突破来构建支持这些模型的设备,创建一个编程框架,以便系统可以学习,创建具有类似大脑功能的应用程序。在这项工作中,我们提供了一个全面的调查研究和动机类脑计算在其历史。我们首先回顾了类脑计算的动机和驱动因素,然后回顾了该领域的主要研究领域,我们将其定义为神经启发模型,算法和学习方法,硬件和设备,支持系统,最后是应用程序。最后,我们广泛讨论的主要研究课题,需要解决在未来几年看到的承诺,类脑计算履行。这项工作的目标是提供一个详尽的审查进行类脑计算的研究,因为这个词的成立,并激励进一步的工作,照亮在该领域的差距,需要新的研究。
2017-05-19 cs.NE
Critical Neuromorphic Computing based on Explosive Synchronization
神经元系综中的同步振荡已经被提出来为大脑中的信息处理提供神经基础。在这项工作中,我们提出了一个类脑计算算法的基础上振荡器同步在一个临界制度。该算法利用输入扰动的高维瞬态动力学,并将其转化为适当的输出流。采用耦合相位振荡器作为神经形态元件的好处之一是,振荡器之间的同步可以在临界状态下进行微调。特别是在临界状态附近,边缘同步振荡器以高效率工作,并保持更好的计算性能。我们还表明,由特定的神经元连接引起的爆炸性同步产生更好的和稳定的输出。这一工作提供了一个系统的方法来编码计算在一个大尺寸的耦合振荡器,这可能是有用的,在设计神经形态设备。
2018-10-16 cs.CC cs.NE
Hardware-friendly Neural Network Architecture for Neuromorphic Computing
神经网络体系结构的硬件-软件协同优化正在成为研究的主流,特别是由于商业神经形态芯片(如IBM Truemorth和Intel Loihi)的出现。考虑到硬件限制,特定神经网络架构的开发与神经形态硬件的设计同步进行,将对完整的系统级应用产生巨大影响。在本文中,我们研究了各种神经网络架构,并提出了一个是硬件友好的神经形态硬件与交叉阵列的突触。考虑到硬件的限制,我们演示了如何可以设计的神经形态硬件,以最大限度地提高分类精度的训练网络架构,同时,我们选择了一个神经网络架构,以最大限度地利用神经形态核心。我们还提出了一个框架映射到一个神经形态芯片的神经网络命名为映射和映射(MaD)框架。MaD框架被设计为通用的,因为它是一个Python包装器,原则上可以与任何神经形态芯片的模拟器工具集成。
2019-04-03 cs.NE
Intrinsic Numerical Robustness and Fault Tolerance in a Neuromorphic Algorithm for Scientific Computing
本文提出了一种神经形态算法,展示其在求解偏微分方程时对神经元和脉冲丢失的高鲁棒性,并通过结构超参数调节其容错能力。
2026-03-10 cs.AI cs.LG cs.NA
Neuromorphic Computing for Content-based Image Retrieval
Target Tech(塔吉特科技)
类脑计算通过模拟脉冲神经网络来模拟大脑的神经活动。在众多的机器学习任务中,神经形态芯片有望在成本和能效方面提供卓越的解决方案。在这里,我们探讨Loihi,英特尔开发的类脑计算芯片,用于图像检索的计算机视觉任务的应用。我们评估了使用深度学习嵌入的基于内容的视觉搜索和推荐系统中至关重要的功能和性能指标。我们的研究结果表明,神经形态解决方案的能效比ARM Cortex-A72 CPU高出约2.5倍,比NVIDIA T4 GPU高出12.5倍,通过轻量级的卷积神经网络进行推理,而不需要重复,同时保持相同的匹配精度。该研究验证了类脑计算在低功耗图像检索中的潜力,作为现有冯诺依曼架构的补充范例。
2021-08-17 cs.CV cs.LG cs.NE
Speed-based Filtration and DBSCAN of Event-based Camera Data with Neuromorphic Computing
本文面向神经形态计算与事件相机数据处理,提出两种脉冲神经网络架构,分别实现基于速度的事件过滤和基于DBSCAN的事件聚类。
2024-01-26 cs.NE
Convolutional Networks for Fast, Energy-Efficient Neuromorphic Computing
深度网络现在能够在广泛的识别任务中实现人类水平的性能。独立地,类脑计算现在已经通过基于尖峰神经元、低精度突触和可扩展通信网络的新芯片架构展示了前所未有的能量效率。在这里,我们证明了类脑计算,尽管其新颖的架构原语,可以实现深度卷积网络,i)在8个标准数据集(包括视觉和语音)上接近最先进的分类精度,ii)在保持硬件底层能效和高吞吐量的同时执行推理,在上述数据集上以每秒1200到2600帧之间运行,并使用25到275 mW之间的功率(有效地> 6000帧/秒/ W)和iii)可以使用反向传播来指定和训练,具有与当代深度学习相同的易用性。这是第一次,深度学习的算法能力可以与神经形态处理器的效率相结合,使嵌入式、智能、脑启发计算的前景更近一步。
2016-05-24 cs.NE
A Case for 3D Integrated System Design for Neuromorphic Computing & AI Applications
Columbia University(哥伦比亚大学);Duke University(杜克大学);U.C. Santa Barbara(加州大学圣巴巴拉分校)
在过去的十年中,人工智能在社会中找到了许多应用领域。随着人工智能解决方案变得越来越复杂,用例越来越多,他们强调需要解决在实施过程中面临的性能和能效挑战。为了应对这些挑战,人们对神经形态芯片的兴趣越来越大。类脑计算依赖于非冯·诺依曼架构以及新颖的设备、电路和制造技术来模仿人脑。在这些技术中,3D集成是人工智能硬件的重要推动力,也是缩放定律的延续。在本文中,我们概述了独特的机会,3D集成提供了在神经形态芯片设计,讨论了新一代神经形态架构中出现的机会,并审查的障碍。神经形态架构,依赖于大脑的灵感和模仿的目的,面临着巨大的挑战,由于有限的理解的功能和人类大脑的架构。然而,高水平的投资致力于开发神经形态芯片。我们认为,3D集成不仅为神经形态芯片的成本效益和灵活设计提供了战略优势,它还可以提供设计灵活性,将先进的功能,以进一步造福于未来的设计。
2021-03-02 cs.AI cs.AR cs.ET
Spike-based Neuromorphic Computing for Next-Generation Computer Vision
本文介绍基于脉冲的神经形态计算作为传统深度卷积神经网络的能效替代方案,概述器件、电路和算法层的代表性示例,并展望其在计算机视觉中的未来应用方向。
2024-03-16 cs.AI cs.ET cs.LG
Exploiting Inherent Error-Resiliency of Neuromorphic Computing to achieve Extreme Energy-Efficiency through Mixed-Signal Neurons
Purdue University(普渡大学)
受大脑启发的类脑计算有望在某些类别的学习任务中实现极高的效率,例如分类和模式识别。类脑计算的性能和功耗很大程度上取决于神经元结构的选择。传统上已知数字神经元(Dig-N)在高速下准确且高效,同时遭受来自大型设计中的大量晶体管的高漏电流。另一方面,模拟/混合信号神经元容易受到噪声、可变性和失配的影响,但可能导致极低功耗设计。在这项工作中,我们将分析,比较和对比现有的神经元架构与建议的混合信号神经元(MS-N)的性能,功率和噪声,从而证明了所提出的混合信号神经元的适用性,以实现极端的能量效率在类脑计算。所提出的MS-N采用65 nm CMOS技术实现,在所有频率上的能效比在同一技术节点中合成的两个传统数字神经元高出100倍以上。我们还证明了完全连接甚至卷积神经网络(CNN)的固有错误弹性可以在一定程度上处理MS-N的噪声以及制造非理想性。值得注意的是,MNIST数据集上的系统级实现在最坏情况下,当带宽中的集成噪声功率为~ 0.1 uV 2时,分类误差增加了2.1%,同时在所提出的具有8位精度的神经元的晶体管参数中引入了+-3σ量的变化和失配。
2018-06-13 cs.AI cs.ET cs.NE
Genetic Motifs as a Blueprint for Mismatch-Tolerant Neuromorphic Computing
本文受生物发育启发,通过基于基因表达模式和遗传规则的权重矩阵可微重参数化,将脑网络基序融入SNN架构,以提升神经形态硬件对器件失配的鲁棒性。
2024-10-25 cs.NE
Neuromorphic Computing with AER using Time-to-Event-Margin Propagation
提出利用 AER 固有时间原语的 TEMP 异步神经形态计算架构,以互连延迟替代局部 MAC 实现存储与计算,并在 MNIST 上达到 99% 以上准确率。
2023-04-27 cs.NE
Scalable neuromorphic computing from autonomous spiking dynamics in a clockless reconfigurable chip
LMOPS UR4423 Laboratory, CentraleSupélec and Université de Lorraine(LMOPS UR4423实验室,中央超导电子实验室和洛林大学)
本文提出了一种基于无时钟数字电路自主连续演化的脉冲动态的可扩展神经形态架构,通过FPGA实现可配置的布尔脉冲神经元网络,展示了在音频分类任务中高效处理脉冲编码数据的性能,且能耗显著低于传统数字方案。
2026-05-15 cs.LG cs.NE
Photonics for artificial intelligence and neuromorphic computing
由于光子集成平台上光电元件的激增,光子计算的研究蓬勃发展。光子集成电路使超快人工神经网络成为可能,为一类新的信息处理机器提供了框架。在这样的硬件上运行的算法有可能满足医疗诊断、电信以及高性能和科学计算等领域对机器学习和人工智能日益增长的需求。与此同时,神经形态电子学的发展突出了该领域的挑战,特别是与处理器延迟相关的挑战。神经形态光子学提供了亚纳秒级的激光,为扩展人工智能领域提供了一个互补的机会。在这里,我们回顾了集成光子神经形态系统的最新进展,讨论了当前和未来的挑战,并概述了满足这些挑战所需的科学和技术的进步。
2020-11-12 cs.NE physics.app-ph physics.optics
Memory Wall is not gone: A Critical Outlook on Memory Architecture in Digital Neuromorphic Computing
University of Twente(特温特大学)
本文批判性分析了数字神经形态处理器中内存墙问题,指出芯片内内存系统已成为面积和能耗的主要消耗者,需重新评估内存组织以提升边缘和嵌入式应用的竞争力。
2026-04-09 cs.AR cs.NE
Waves and symbols in neuromorphic hardware: from analog signal processing to digital computing on the same computational substrate
受皮层微电路启发,提出用循环脉冲神经网络在同一神经形态基底上实现模拟信号处理与数字计算的无缝切换,并通过硬件实验验证其稳健性。
2025-02-27 cs.NE
AutoML for neuromorphic computing and application-driven co-design: asynchronous, massively parallel optimization of spiking architectures
Argonne National Laboratory(阿贡国家实验室)
在这项工作中,我们扩展了AutoML启发的方法来探索和优化神经形态架构。通过集成的并行异步基于模型的搜索方法与仿真框架来模拟尖峰架构,我们能够有效地探索神经形态架构的配置空间,并确定在目标应用程序中导致最高性能的条件的子集。我们已经证明了这种方法的实时,片上学习应用程序的一个典型案例。我们的研究结果表明,我们可以有效地使用优化方法来优化复杂的架构,从而提供了一个可行的途径,以应用程序驱动的协同设计。
2023-02-26 cs.AR cs.LG cs.NE
Bridging Quantized Artificial Neural Networks and Neuromorphic Hardware
本文提出SDANN框架,直接在神经形态硬件上实现量化人工神经网络,无需调参或性能损失,并通过偏置校准和缩放积分方法解决位宽限制,实验证明其精度与量化ANN完全一致,且在真实硬件上验证了可行性。
2025-06-22 cs.NE
Time-coded Spiking Fourier Transform in Neuromorphic Hardware
经过几十年的不断优化计算系统,摩尔定律正在达到它的目的。然而,对快速高效的处理系统的需求越来越大,这些系统可以处理大数据流,同时减少系统占用空间。类脑计算通过创建随时间推移与二进制事件通信的分散式架构来满足这一需求。尽管在过去的几年里,它的快速增长,新的算法,可以利用这种新兴的计算范式的潜力,并可以刺激先进的neuromorphic chips.In这项工作的设计,我们提出了一个基于时间的脉冲神经网络,这是数学上等价的傅立叶变换。我们在神经形态芯片Loihi中实现了该网络,并使用汽车调频连续波雷达在五种不同的真实场景中进行了实验。实验结果验证了该算法的有效性,并希望它们能促进adhoc神经形态芯片的设计,从而提高现有数字信号处理器的效率,鼓励类脑计算在信号处理方面的研究。
2022-03-31 cs.NE eess.SP
A New Neuromorphic Computing Approach for Epileptic Seizure Prediction
Westlake University(西湖大学);Fudan University(复旦大学)
本文报道了几种利用卷积神经网络(CNN)进行癫痫发作预测的高特异性和高灵敏度的方法。然而,CNN在计算上是昂贵的并且耗电。这些不便使得基于CNN的方法难以在可穿戴设备上实现。基于能量有效的脉冲神经网络,提出了一种用于癫痫发作预测的类脑计算方法。该方法使用高斯随机离散编码器从EEG样本中产生尖峰序列,并在结合CNN和SNN优点的尖峰卷积神经网络(Spiking-CNN)中进行预测。实验结果表明,与CNN相比,Spiking-CNN CNN的灵敏度、特异度和AUC分别保持在95.1%、99.2%和0.912,而计算复杂度降低了98.58%,表明Spiking-CNN具有硬件友好性和高精度。
2021-02-25 cs.AI cs.HC cs.NE
Explore Activation Sparsity in Recurrent LLMs for Energy-Efficient Neuromorphic Computing
imec Netherlands(荷兰微电子研究中心);TU Eindhoven(埃因霍温理工大学);University of Twente(特温特大学);Maastricht University(马斯特里赫特大学)
提出一种低成本的无需训练算法,通过稀疏化循环LLM的激活来提升神经形态硬件的能效,在保持准确率的同时显著降低计算需求、能耗和延迟。
2025-01-09 cs.AI cs.AR cs.LG
Stochastic single flux quantum neuromorphic computing using magnetically tunable Josephson junctions
单通量量子(SFQ)电路形成了一种自然的神经形态技术,SFQ脉冲和超导传输线分别模拟动作电位和轴突。在这里,我们提出了一个新的组件,磁约瑟夫森结,具有可调性和可重构性,缺乏从以前的SFQ神经形态电路。纳米级的磁性结构作为一个可调的突触成分,修改结临界电流。这些电路可以在热极限附近工作,其中神经元的随机放电是该技术的重要组成部分。该技术能够创建复杂的神经系统,每秒超过10^21次神经放电,功耗约为1 W。
2016-11-12 cond-mat.supr-con cs.NE
A Bibliometric Review of Neuromorphic Computing and Spiking Neural Networks
本文通过文献计量方法系统梳理近22年神经形态计算与脉冲神经网络领域的研究趋势、核心文献、合作网络及主题演变,为AI研究者提供入门指引并展望脉冲计算前景。
2023-04-14 cs.NE
SuperNeuro: A Fast and Scalable Simulator for Neuromorphic Computing
针对现有神经形态模拟器或速度慢可扩展性差、或缺少突触延迟等功能的问题,研究提出支持同构/异构仿真与GPU加速的SuperNeuro模拟器,实验验证其在不同规模网络下的速度均显著优于主流同类工具。
2023-05-04 cs.ET cs.NE
Analysis of Generalized Hebbian Learning Algorithm for Neuromorphic Hardware Using Spinnaker
本文探讨了将 Generalized Hebbian Algorithm 应用于 SpiNNaker 大规模神经形态硬件平台,实验表明该方法显著提升了分类准确率,展现了生物启发式学习算法在推进神经形态计算领域的潜力。
2024-11-18 cs.NE
Design Technology Co-Optimization for Neuromorphic Computing
我们提出了一个设计技术的权衡分析,在实现机器学习推理的处理核心的非易失性存储器(NVM)为基础的众核神经形态硬件。通过详细的电路级模拟缩放工艺技术节点,我们显示了设计缩放对NVM读耐力的负面影响,这直接影响了它们的推理寿命。在更精细的粒度下,核的推断寿命取决于1)在核上编程的突触权重的电阻状态(设计)和2)由电流路径上的寄生组件引入的核内的电压变化(技术)。我们表明,这样的设计和技术特点可以纳入设计流程,以显着提高推理寿命。
2021-10-15 cs.ET cs.NE
The Potential Impact of Neuromorphic Computing on Radio Telescope Observatories
International Centre for Radio Astronomy Research, University of Western Australia(国际射电天文研究中心,西澳大利亚大学)
本文探讨神经形态计算在射电望远镜观测站中的应用潜力,通过分析不同神经形态方法对射电天文学处理流程的影响,提出利用SNNs降低能耗并提升RFI检测性能的解决方案。
2026-01-12 astro-ph.IM cs.NE
Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing
本文提出神经形态中间表示(NIR),通过统一的混合系统原语抽象离散化与硬件差异,在7个模拟器和4个硬件平台上复现多种脉冲神经网络模型,实现神经形态软硬件解耦与跨平台互操作。
2024-09-30 cs.NE
Quantum materials for energy-efficient neuromorphic computing
类脑计算方法变得越来越重要,因为我们解决了未来的需要,有效地处理大量的数据。量子材料的独特属性可以通过实现新的节能设备概念来帮助解决这些需求,这些概念可以在硬件层面实现神经形态的想法。特别是,强相关性会产生高度非线性的响应,例如可以用于短期和长期塑性的导电相变。类似地,磁化动力学是强非线性的,并且可以用于数据分类。本文讨论了这些方法的选择的例子,并提供了一个视角,目前的机遇和挑战,组装量子材料为基础的设备的神经形态功能到更大的紧急复杂的网络系统。
2022-04-04 cond-mat.mtrl-sci cs.ET cs.NE
Embodied Neuromorphic Artificial Intelligence for Robotics: Perspectives, Challenges, and Research Development Stack
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校);Khalifa University(哈利法大学)
本文针对机器人技术缺乏具身智能的问题,提出通过神经形态AI(SNN)实现具身智能的六个视角,涵盖学习规则、跨层优化、基准、可靠性、安全隐私及协同发展,并指出挑战与未来方向。
2024-09-12 cs.AI cs.LG cs.NE
Neuromorphic hardware as a self-organizing computing system
University Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);University of Lorraine(洛林大学);Inria Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南分所);University of Bordeaux(波尔多大学);University of Applied Sciences of Western Switzerland(瑞士西部应用科学大学);HES-SO(瑞士西部高等专业学院)
提出了一种自组织神经形态结构SOMA。目的是研究计算系统中基于神经的自组织,并证明自组织硬件结构的可行性。考虑到这些属性来自大规模和完全连接的神经映射,我们将重点关注基于数字尖峰神经元的自组织硬件架构的定义,这些神经元提供硬件效率。从生物学的角度来看,这对应于所谓的突触可塑性和结构可塑性的组合。我们打算定义计算模型能够同时自组织在计算和通信水平,我们希望这些模型是硬件兼容,容错和可扩展的神经细胞结构的手段。
2018-10-30 cs.AI cs.AR cs.DC
Neuromorphic Nearest-Neighbor Search Using Intel's Pohoiki Springs
类脑计算应用神经科学的见解来揭示计算技术的创新。在大脑中,数十亿个相互连接的神经元通过利用传统计算系统所不具备的特性(例如时间尖峰代码和集成存储器和计算的精细并行处理单元)以极低的能量水平执行快速计算。在这里,我们展示了Pohoiki Springs神经形态系统,这是一个由768个相互连接的Loihi芯片组成的网络,它们在硅中共同实现了1亿个尖峰神经元。我们展示了一个可扩展的近似k-近邻(k-NN)算法搜索大型数据库,利用神经形态的原则。与最先进的传统基于CPU的实现相比,在包含超过100万个高维模式的几个标准数据集上进行评估时,我们实现了卓越的延迟,索引构建时间和能源效率。此外,该系统支持在O(1)时间内在线向索引数据库添加新数据点,这与所有常规k-NN实现不同。
2020-04-27 cs.NE
The Potential of Combined Learning Strategies to Enhance Energy Efficiency of Spiking Neuromorphic Systems
本研究针对神经形态计算系统的能效提升需求,提出融合PSTDP与幂律型STDP的组合学习方法,优化CSNN架构,在保持感知精度的同时减少参数、降低能耗与硬件开销,为高能效类脑计算硬件提供通用框架。
2024-08-13 cs.NE
Low Precision Policy Distillation with Application to Low-Power, Real-time Sensation-Cognition-Action Loop with Neuromorphic Computing
IBM Research(IBM研究院)
强化学习(RL)设置中的低精度网络相对未被探索,因为函数近似的二进制激活的限制。在这里,在离散行动ATARI域,我们证明,第一次,低精度的政策蒸馏从高精度网络提供了一个原则性的,实用的方法来训练RL代理。作为一个应用程序,在10个不同的ATARI游戏,我们展示了实时的【形】端到端的游戏在低功耗神经形态硬件通过转换成离散的动作的游戏帧序列。
2018-09-25 cs.LG cs.NE stat.ML
Dynamic Reliability Management in Neuromorphic Computing
类脑计算系统使用非易失性存储器(NVM)来实现高密度和低能量的突触存储。操作NVM所需的升高的电压和电流导致硬件中每个神经元和突触电路中基于CMOS的晶体管老化,使晶体管的参数偏离其标称值。积极的设备扩展增加了功率密度和温度,这加速了老化,对神经形态系统的可靠运行提出了挑战。现有的面向可靠性的技术以固定的间隔周期性地对硬件中的所有神经元和突触电路进行去应力,假设最坏情况的操作条件,而没有实际跟踪它们在运行时间的老化。为了减轻这些电路的压力,必须中断正常操作,这在尖峰生成和传播中引入了延迟,从而影响尖峰间间隔并因此影响性能,例如,精度我们提出了一种新的架构技术,以减轻老化相关的可靠性问题,在neuromorphic系统,通过设计一个智能的运行时管理器(NCRTM),它动态destresses神经元和突触电路在响应短期老化的CMOS晶体管在执行机器学习工作负载,以满足可靠性目标。NCRTM仅在绝对必要时才对这些电路进行减压,否则通过将减压操作安排在关键路线之外来降低性能影响。我们在神经形态硬件上使用最先进的机器学习工作负载评估NCRTM。我们的研究结果表明,NCRTM显着提高了神经形态硬件的可靠性,对性能的边际影响。
2021-05-05 cs.AR cs.NE
Introducing "Neuromorphic Computing and Engineering"
计算的标准性质目前正受到一系列问题的挑战,这些问题开始阻碍技术进步。为解决其中一些问题而提出的策略之一是开发新颖的大脑启发处理方法和技术,并将其应用于广泛的应用场景。这是一项极具挑战性的工作,需要多个学科的研究人员将他们的努力结合起来,同时共同设计处理方法,支持计算架构及其底层技术。“类脑计算和工程”(NCE)杂志已经推出,以支持这一新的社区在这方面的努力,并提供一个论坛和知识库,介绍和讨论其最新进展。通过与编辑团队的同事密切合作,NCE的范围和特点已经设计,以确保它服务于学术界和工业界不断增长的跨学科和动态社区。
2021-05-30 cs.AR cs.CE cs.DC
Parallel nonlinear neuromorphic computing with temporal encoding
本文提出一种基于时空超表面时间编码的并行非线性神经形态处理器,实现多通道信息叠加,兼具高线性和非线性,实验验证了多标签识别、多任务并行及动态记忆能力。
2025-06-09 cs.NE physics.app-ph
Neuromorphic Split Computing with Wake-Up Radios: Architecture and Design via Digital Twinning
针对神经形态拆分计算中主无线电待机能耗过高的问题,提出集成唤醒无线电的新型架构,并结合数字孪生与LTT序贯检验方法解决阈值选取难题,实现了带理论可靠性保证的低能耗神经形态无线通信设计。
2024-09-16 cs.NE eess.SP
PeleNet: A Reservoir Computing Framework for Loihi
脉冲神经网络的高级框架是快速原型和高效开发复杂算法的关键因素。这种框架在过去几年中已经出现在传统计算机上,但对神经形态硬件进行编程仍然是一个挑战。通常需要具有关于神经形态芯片的硬件的知识的低级编程。PeleNet框架旨在简化神经形态硬件Loihi的储备池计算。它构建在Intel的NxSDK之上,用Python编写。该框架管理权重矩阵、参数和探测器。特别是,它提供了在多个核心和芯片上的自动和高效的网络分布。有了这个,用户不必面对技术细节,可以专注于实验。
2020-11-24 cs.NE
Reliability-Performance Trade-offs in Neuromorphic Computing
使用非易失性存储器(NVM)构建的神经形态架构可以显著提高使用脉冲神经网络(SNN)设计的机器学习任务的能量效率。这些架构的交叉开关中的电压降的主要来源是交叉开关的位线和字线上的寄生组件,这些寄生组件被故意制造得更长以实现更低的每比特成本。我们观察到,寄生电压降在交叉开关中的NVM单元的编程速度和可靠性中产生显著的不对称性。具体地,在较短电流路径上的NVM单元编程更快,但具有比在较长电流路径上的NVM单元更低的耐久性,反之亦然。神经形态架构中的这种不对称性产生了可靠性-性能权衡,可以使用SNN映射技术有效地利用这一点。在这项工作中,我们使用先前提出的SNN映射技术与来自当代机器学习任务的10个工作负载来演示这种权衡,用于最先进的神经形态硬件。
2020-09-26 cs.DC cs.ET cs.NE
Accelerated Analog Neuromorphic Computing
本文介绍了BrainScales(BSS)加速模拟类脑计算架构背后的概念。它描述了第二代BrainScales-2(BSS-2)版本及其最新的计算机实现,即作为欧洲人脑计划(HBP)内类脑计算活动的一部分开发的EMANN-X专用集成电路(ASIC)。虽然第一代采用180 nm工艺,但第二代采用65 nm技术。这允许集成数字可塑性处理单元,一个高度并行的微处理器,专门用于在加速模拟神经形态系统中学习的计算需求。所提出的架构是基于神经元和突触的连续时间、模拟、物理模型实现的,类似于连接到内置数字计算核心的模拟神经形态加速器。虽然模拟部分在连续时间内模拟神经网络的基于尖峰的动态,但后者模拟在较慢的时间尺度上发生的生物过程,如结构和参数变化。与生物时间尺度相比,仿真是高度加速的,即所有的时间常数都比生物学小几个数量级。可编程离子通道仿真和房室间电导允许对非线性树突、反向传播动作电位以及NMDA和钙平台电位进行建模。为了扩展模拟加速器的可用性,它还支持向量矩阵乘法。因此,BSS-2支持深度卷积网络的推理以及在同一基底内使用复杂的尖峰神经元集合的局部学习。
2020-03-26 cond-mat.dis-nn cs.NE q-bio.NC
RANC: Reconfigurable Architecture for Neuromorphic Computing
已经引入神经形态架构作为用于能量高效的脉冲神经网络执行的平台。这些架构提供的大量并行性也引发了非机器学习应用领域的兴趣。为了解除硬件设计人员和应用程序开发人员的准入门槛,我们提出了RANC:一个可重构的架构类脑计算,一个开源的高度灵活的生态系统,使快速实验与神经形态架构在软件通过C++仿真和硬件通过FPGA仿真。我们通过展示其重建IBM TrueNorth行为的能力来展示RANC生态系统的实用性,并通过与IBM Compass仿真环境和已发表文献的直接比较进行验证。RANC允许基于应用洞察优化架构,以及对未来的神经形态架构进行原型设计,以完全支持新的应用类别。我们展示了高度参数化和可配置的RANC的性质,通过研究架构的变化,提高应用程序映射效率的定量分析的基础上Alveo U250 FPGA的影响。我们提出了跨合成孔径雷达分类和向量矩阵乘法应用的实现的后路由资源使用和吞吐量分析,并展示了一个神经形态架构,该架构可扩展到模拟259K个不同的神经元和73.3M个不同的突触。
2020-11-01 cs.AR cs.ET cs.NE
Shape-Dependent Multi-Weight Magnetic Artificial Synapses for Neuromorphic Computing
在神经形态计算中,人工突触提供基于来自神经元的输入设置的多权重电导状态,类似于大脑。可能需要超过多个权重的突触的附加属性,并且可以取决于应用,需要从相同材料生成不同突触行为的需要。在这里,我们测量基于磁性材料的人工突触,该磁性材料使用磁性隧道结和磁畴壁。通过在单个磁性隧道结下的畴壁轨道中制造光刻凹口,我们实现了4-5个稳定的电阻状态,这些电阻状态可以使用自旋轨道扭矩进行重复控制。我们分析了几何形状对突触行为的影响,表明梯形器件具有高可控性的不对称权重更新,而直器件具有更高的随机性,但具有稳定的电阻水平。将设备数据输入神经形态计算模拟器,以显示应用特定突触功能的有用性。实现应用于流式Fashion-MNIST数据的人工神经网络,我们表明梯形磁突触可以用作有效的在线学习的化生功能。通过实现一个用于CIFAR-100图像识别的卷积神经网络,我们证明了直磁突触由于其电阻水平的稳定性而达到了接近理想的推理精度。这项工作表明多权重磁突触是一种可行的神经形态计算技术,并为新兴的人工突触技术提供了设计指南。
2022-02-17 cond-mat.mes-hall cs.NE
Adaptive motor control and learning in a spiking neural network realised on a mixed-signal neuromorphic processor
类脑计算是受生物神经网络的启发而产生的一种新的计算硬件和算法设计范例。类脑计算基于事件的性质和固有的并行性使其成为一种很有前途的范例,用于构建基于神经网络的高效体系结构,以控制快速敏捷的机器人。在本文中,我们提出了一个脉冲神经网络架构,使用感觉反馈来控制旋转速度的机器人车辆。当速度达到目标值时,从车辆的目标速度到正确的运动命令的映射(两者都在神经形态设备上的脉冲神经网络中表示)使用片上塑性突触权重自主地存储在设备上。我们验证控制器使用的微型移动车辆和惯性测量单元的车轮电机作为感官反馈和演示在线学习的一个简单的“逆模型”在两层脉冲神经网络的神经形态芯片。具有256个尖峰神经元的原型神经形态设备使我们能够实现纯粹神经形态运动控制和学习的概念架构的简单证明。如果有更大的神经形态设备,该架构可以很容易地按比例放大。
2018-10-25 cs.ET cs.NE
Porting HTM Models to the Heidelberg Neuromorphic Computing Platform
分层时间记忆(HTM)是一种基于对新皮层的详细研究的机器智能计算理论。海德堡神经形态计算平台(Heidelberg Neuromorphic Computing Platform)是人脑计划(Human Brain Project,HBP)的一部分,是一个混合信号(模拟和数字)的大规模平台,用于对尖峰神经元网络进行建模。在本文中,我们提出的第一个努力在移植HTM网络到这个平台。我们描述了一个框架,用于模拟关键HTM操作使用尖峰网络模型。然后,我们描述了具体的空间池和时间记忆的实现,以及模拟证明,基本属性保持。我们讨论的问题,在实施全套的可塑性规则使用尖峰定时依赖可塑性(STDP),粗略的地方和路线计算。虽然还需要进一步的工作,但我们的初步研究表明,在海德堡平台上有效地运行大规模HTM网络(包括可塑性规则)应该是可能的。更一般地说,移植高层次的HTM算法的生物物理神经元模型的练习,有望成为一个富有成效的研究领域,为未来的研究。
2016-02-09 cs.NE q-bio.NC
Memristors -- from In-memory computing, Deep Learning Acceleration, Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired Computing
机器学习,特别是以深度学习的形式,推动了人工智能最近的大部分基本发展。深度学习基于计算模型,这些模型在一定程度上是生物启发的,因为它们依赖于并行操作的连接的简单计算单元的网络。深度学习已成功应用于对象/模式识别、语音和自然语言处理、自动驾驶汽车、智能自诊断工具、自主机器人、知识渊博的个人助理和监控等领域。这些成功主要由三个因素支持:大量数据的可用性,计算能力的持续增长和算法创新。摩尔定律的即将消亡,以及随之而来的通过缩放可以实现的计算能力的预期适度改进,提出了所描述的进展是否会由于硬件限制而减慢或停止的问题。本文回顾了一种新型的超越CMOS硬件技术忆阻器的案例,它是实现高能效存内计算、深度学习加速器和脉冲神经网络的潜在解决方案。中心主题是对非冯诺依曼计算架构的依赖以及开发定制学习和推理算法的需求。为了证明生物学的经验教训可以为人工智能的进一步发展提供方向,我们简要讨论了一个基于储备池计算的例子。我们通过推测未来神经形态和大脑启发的计算系统的大局观来结束审查。
2020-04-30 cs.ET cs.NE