How can neuromorphic hardware attain brain-like functional capabilities?
本文指出当前神经形态硬件因照搬人工神经网络架构与训练方法而未能实现类脑功能，提出应聚焦于易于硬件实现且能支持类脑功能的核心原则。
2023-10-25 cs.NE q-bio.NC
Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing
本文提出神经形态中间表示（NIR），通过统一的混合系统原语抽象离散化与硬件差异，在7个模拟器和4个硬件平台上复现多种脉冲神经网络模型，实现神经形态软硬件解耦与跨平台互操作。
2024-09-30 cs.NE
Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning
CNRS（法国国家科学研究中心）；LEAT（电子、天线与电信实验室）
皮质可塑性是使我们能够学习和适应环境的主要特征之一。事实上，大脑皮层通过结构和突触可塑性机制进行自我组织，这很可能是人类大脑发育的一个非常有趣的特征：多模式关联。尽管感觉形式的多样性，如视觉，声音和触觉，大脑达到相同的概念（收敛）。此外，生物学观察表明，当两者相关（发散）时，一种模态可以激活另一种模态的内部表征。在这项工作中，我们提出了可重入自组织映射（ReSOM），这是一种基于自组织映射和Hebbian学习的再入理论的脑启发神经系统。我们提出并比较了不同的计算方法的无监督学习和推理，然后量化增益的ReSOM在多模态分类任务。发散机制用于基于另一模态来标记一个模态，而收敛机制用于提高系统的整体精度。我们进行我们的实验上构建的书面/口头数字数据库和DVS/EMG手势数据库。所提出的模型上实现的细胞神经形态的架构，使分布式计算与本地连接。我们展示了由ReSOM引起的所谓硬件可塑性的增益，其中系统的拓扑结构不是由用户固定的，而是通过自组织沿着系统的经验学习的。
2020-09-02 cs.LG cs.NE q-bio.NC
Improving Self-Organizing Maps with Unsupervised Feature Extraction
Université Côte d’Azur, CNRS, LEAT（蔚蓝海岸大学、法国国家科学研究中心、电子天线与电信实验室）
自组织映射（SOM）是一种受大脑启发的神经模型，在无监督学习，特别是在嵌入式应用中非常有前途。然而，在处理复杂数据集时，它无法学习有效的原型。在这项工作中，我们建议使用提取的功能，而不是原始数据，以提高SOM的性能。我们使用两种不同的方法对SOM分类精度进行了比较研究：使用基于梯度学习的稀疏卷积自动编码器的机器学习方法，以及使用Spike Timing Dependant Plasticity学习的脉冲神经网络的神经科学方法。SOM在提取的特征上进行训练，然后使用很少的标记样本来标记具有相应类别的神经元。我们研究的影响的特征地图，SOM的大小和标记的子集的大小上的分类精度使用不同的特征提取方法。我们将SOM分类提高了+6.09\%，并在无监督图像分类方面达到了最先进的性能。
2020-09-04 cs.CV cs.NE
A Scalable Approach to Modeling on Accelerated Neuromorphic Hardware
神经形态系统为扩大计算研究的探索空间提供了机会。然而，将效率和可用性统一起来往往是一个挑战。这项工作提出了BrainScaleS-2系统，一种基于物理建模的混合加速神经形态硬件架构的软件方面的努力。我们介绍了BrainScaleS-2操作系统的关键方面：实验工作流程，API分层，软件设计和平台操作。我们提出用例来讨论和推导软件的需求，并展示实现。重点在于新的系统和软件功能，如多房室神经元，硬件在环训练的快速重新配置，嵌入式处理器的应用程序，非尖峰操作模式，交互式平台访问和可持续的硬件/软件共同开发。最后，我们讨论了进一步的发展，在硬件扩展，系统的可用性和效率。
2022-03-21 cs.NE
A Survey of Neuromorphic Computing and Neural Networks in Hardware
类脑计算指的是各种受大脑启发的计算机、设备和模型，它们与普遍存在的冯·诺依曼计算机体系结构形成对比。这种受生物学启发的方法创造了高度连接的合成神经元和突触，可用于模拟神经科学理论以及解决具有挑战性的机器学习问题。这项技术的承诺是创造一种类似大脑的学习和适应能力，但技术挑战是巨大的，从大脑如何工作的准确神经科学模型开始，寻找材料和工程突破来构建支持这些模型的设备，创建一个编程框架，以便系统可以学习，创建具有类似大脑功能的应用程序。在这项工作中，我们提供了一个全面的调查研究和动机类脑计算在其历史。我们首先回顾了类脑计算的动机和驱动因素，然后回顾了该领域的主要研究领域，我们将其定义为神经启发模型，算法和学习方法，硬件和设备，支持系统，最后是应用程序。最后，我们广泛讨论的主要研究课题，需要解决在未来几年看到的承诺，类脑计算履行。这项工作的目标是提供一个详尽的审查进行类脑计算的研究，因为这个词的成立，并激励进一步的工作，照亮在该领域的差距，需要新的研究。
2017-05-19 cs.NE
Spiking Linear Dynamical Systems on Neuromorphic Hardware for Low-Power Brain-Machine Interfaces
神经形态架构通过使用许多简单的尖峰神经元代替传统硬件来实现低功耗操作。在这里，我们开发了精确的线性计算方法，在脉冲神经网络和使用这些方法来映射到现有的神经形态芯片的线性动力系统（LDS）的演变：IBM的TrueNorth。我们分析表征，并数值验证，尖峰LDS状态序列和它的非尖峰对应之间的差异。这些分析结果揭示了神经形态计算中时间、空间、能量和精度之间的多方面权衡。为了证明我们的工作的实用性，我们实现了一个神经形态卡尔曼滤波器（KF），并使用它离线解码人类的语音音高从神经数据。神经形态KF可用于神经科学以外的领域的低功耗滤波，如导航或机器人。
2018-06-05 cs.NE q-bio.NC
Accelerate & Actualize: Can 2D Materials Bridge the Gap Between Neuromorphic Hardware and the Human Brain?
二维（2D）材料由于其电子结构、物理性质和原子薄的范德华结构的多样性而为超越冯·诺依曼计算架构范例的设备和系统提供了令人兴奋的机会，所述原子薄的范德华结构使得能够容易地与常规电子材料和硅基硬件集成。所有主要类别的非易失性存储器（NVM）设备都已经使用2D材料进行了演示，包括它们作为神经形态计算硬件中应用的突触设备的操作。它们的原子级薄结构，优越的物理性能，即，机械强度、导电性和导热性以及栅极可调电子特性在NVM器件和系统中提供了性能优势和新颖的功能。然而，与现有材料和技术相比，器件性能和可变性仍然是实际应用的主要问题。最终，2D材料作为一种新型电子材料的进展，特别是它们在神经形态电子领域的应用，将取决于它们以薄膜形式可扩展的合成，具有所需的晶体质量，缺陷密度和相纯度。
2023-01-24 cond-mat.mes-hall cs.NE
Scalable Network Emulation on Analog Neuromorphic Hardware
针对BrainScaleS-2平台提出分区仿真功能，使超规模深度脉冲神经网络可训练，并在MNIST和EuroSAT数据集上验证，推进大规模神经形态计算。
2024-11-06 cs.NE
Brain-Inspired Hardware for Artificial Intelligence: Accelerated Learning in a Physical-Model Spiking Neural Network
Kirchhoff Institute for Physics, Heidelberg University（海德堡大学基尔霍夫物理研究所）；Department of Physiology, University of Bern（伯尔尼大学生理学系）；University of Bern（伯尔尼大学）；Heidelberg University（海德堡大学）；Kirchhoff Institute for Physics（基尔霍夫物理研究所）
人工智能的未来发展将受益于新的、非传统的大脑启发计算基底的存在。神经形态计算机的目标是提供这样一种基底，以再现大脑在自适应、低功耗信息处理方面的能力。我们提出了BrainScaleS-2混合信号神经形态系统的原型芯片的结果，该系统采用物理模型方法，相对于生物实时的，脉冲神经网络动力学加速1000倍。使用嵌入式可塑性处理器，我们都模拟乒乓街机视频游戏，并实现了本地可塑性规则，使强化学习，允许片上神经网络学习玩游戏。实验证明了所采用的方法的关键方面，如加速和灵活的学习，高能效和抗噪声能力。
2019-10-01 cs.AI cs.ET cs.NE
Synapse Loss Estimation for the BrainScaleS Wafer-scale Neuromorphic System
TUD Dresden University of Technology（德累斯顿工业大学）
本文针对BrainScaleS晶圆级神经形态系统，提出基于概率分布和路由架构的突触损失估计方法，预测映射均匀随机网络时的损失，并验证其能力与局限，助力映射优化与硬件设计。
2026-10-07 cs.ET cs.NE
Demonstrating the Advantages of Analog Wafer-Scale Neuromorphic Hardware
针对数值模拟资源消耗大、传统模拟器有局限的问题，本文展示BrainScaleS-1模拟晶圆级神经形态硬件的优势，其仿真速度恒定且不受网络规模影响，还报告了两个生物启发网络的仿真时间和能耗。
2024-12-03 cs.NE
Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi
神经形态硬件基于模拟大脑的自然生物结构。由于其计算模型与标准神经模型相似，因此它可以作为神经科学和人工智能领域研究项目的计算加速，包括生物医学应用。然而，为了开发新一代计算机芯片，严格的模拟和随后的基于大脑的实验数据验证是必要的。在这项工作中，我们研究了英特尔的第五代神经形态芯片-“Loihi”，这是基于脉冲神经网络（SNN）的新想法，模拟大脑中的神经元的潜力。这项工作是在模拟泄漏整合和消防（LIF）模型的基础上，小鼠初级视觉皮层匹配到一个丰富的数据集的解剖，生理和行为的约束。在经典硬件上的仿真作为神经形态实现的验证平台。我们发现Loihi非常有效地复制了经典模拟，并且随着网络的扩大，在时间和能量性能方面都有很好的扩展。
2021-09-22 cs.ET cs.NE
Brain-inspired photonic signal processor for periodic pattern generation and chaotic system emulation
储备池计算是用于处理时间依赖信号的生物启发计算范例。它的硬件实现由于其简单性和在一系列基准测试任务上的出色性能而备受关注。在以前的实验中，输出是从系统中分离出来的，在大多数情况下，只是在后处理计算机上离线计算。然而，数值研究表明，将输出反馈到水库将打开长期时间序列预测的可能性。在这里，我们提出了一个光子水库计算机与输出反馈，并证明其能力，以产生周期性的时间序列和模拟混沌系统。我们详细研究了实验噪声对系统性能的影响。在混沌系统的情况下，这导致我们引入几个指标，基于标准的信号处理技术，以评估仿真的质量。我们的工作大大扩大了硬件水库计算机可以解决的任务范围，因此也扩大了它们可能解决的应用范围。它也提出了新的问题，在非线性动力学和混沌理论。
2018-02-06 cs.NE
RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics
International Research Center for Neurointelligence (IRCN)（国际神经智能研究所以）
RECAP通过局部赫布学习机制，结合自组织原型读出，实现鲁棒的图像分类，避免误差反向传播，适用于在线更新。
2026-02-25 cs.AI cs.CV cs.LG
Inference with Artificial Neural Networks on Analog Neuromorphic Hardware
神经形态BrainScaleS-2 ASIC包括混合信号神经元和突触电路以及两个多功能数字微处理器。该系统主要用于模拟尖峰脉冲神经网络，也可用于人工神经网络的矢量矩阵乘法和累加模式。模拟乘法在突触电路中进行，而结果在神经元的膜电容器上累积。作为一种模拟的存内计算设备，它保证了高能效。然而，固定模式噪声和试验间变化要求实现的网络应对一定程度的扰动。输入值的数字分辨率（5位）、矩阵权重（6位）和所得神经元激活（8位）强加了进一步的限制。在本文中，我们讨论了BrainScaleS-2作为模拟推理加速器，并提出了校准和优化策略，突出了硬件在环训练的优势。在其他基准测试中，我们使用二维卷积和两个密集层对MNIST手写数字数据集进行分类。我们达到了98.0%的测试准确率，与软件中评估的相同网络的性能非常匹配。
2020-07-01 cs.NE
Neuromorphic Programming: Emerging Directions for Brain-Inspired Hardware
CogniGron Center（CogniGron中心）；Bernoulli Institute（伯努利研究所）；University of Groningen（格罗宁根大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文分析神经形态计算语境下的编程问题，挑战传统编程范式，提出贴合神经形态硬件物理特性的编程框架，围绕五项基本特征展开研究，倡导未被充分利用的技术并呼吁构建更丰富的抽象层以释放这类硬件的潜力。
2024-10-15 cs.AI cs.DC cs.ET
Spiking Neural Network on Neuromorphic Hardware for Energy-Efficient Unidimensional SLAM
Rutgers University（罗格斯大学）
高效节能的同时定位与地图构建（SLAM）是移动机器人探索未知环境的关键。哺乳动物的大脑通过一个专门的神经元网络来解决SLAM，表现出异步计算和基于事件的通信，能耗非常低。我们提出了一个大脑启发的脉冲神经网络（SNN）架构，通过引入基于脉冲的参考帧变换，视觉似然计算和贝叶斯推理来解决一维SLAM。我们将我们的神经形态算法集成到英特尔的Loihi神经形态处理器中，这是一种模仿大脑计算模式的非冯·诺依曼硬件。我们对我们的神经形态方法和广泛用于小型环境的GMapping算法之间的准确性和能效进行了比较分析。我们基于Loihi的SNN架构消耗的能量比在CPU上运行的GMapping少100倍，同时在头部方向定位和地图生成方面具有相当的准确性。这些结果为扩展我们的方法为Loihi控制的自主机器人提供主动SLAM替代解决方案铺平了道路。
2019-09-19 cs.NE cs.RO
Efficient Reward-Based Structural Plasticity on a SpiNNaker 2 Prototype
神经科学的进步揭示了大脑在非常有限的资源下有效解决复杂学习任务的机制。然而，当人们试图将这些发现移植到硅衬底上时，效率往往会损失，因为大脑启发的算法通常会大量使用复杂的函数，如随机数发生器，这些函数在标准通用硬件上计算起来很昂贵。第二代SpiNNaker系统的原型芯片就是为了克服这个问题而设计的。低功耗ARM处理器配备了随机数发生器和指数函数加速器，可高效执行大脑启发算法。我们实现了最近推出的奖励为基础的突触采样模型，采用结构可塑性学习的功能或任务。该模型的数值模拟需要在每个时间步中更新突触变量，包括探索性随机项。据我们所知，这是迄今为止在SpiNNaker系统上实现的最复杂的突触模型。通过有效地利用硬件加速器和数值优化，一个塑性更新的计算时间减少了2倍。这一点，结合拟合模型到本地SRAM，导致62%的能源减少相比，没有加速器和使用外部DRAM的情况下。该模型的实现被集成到SpiNNaker软件框架中，允许可扩展到更大的系统。在这项工作中提出的硬件-软件系统铺平了道路，节能移动和生物医学应用与生物合理的大脑启发算法。
2019-03-20 cs.NE
Band-to-Band Tunneling based Ultra-Energy Efficient Silicon Neuron
人类大脑由大约1000亿个神经元组成，这些神经元通过四端突触连接在一起。脉冲神经网络（SNN）从大脑中汲取灵感，对复杂的认知和学习任务进行建模。神经形态工程在硬件中实现SNN，期望大规模地模仿大脑（即，1000亿个神经元），具有生物面积和能量效率。超节能和紧凑的神经元的设计对于SNN的大规模硬件实现至关重要。在这项工作中，我们已经通过实验证明了一个部分耗尽（PD）绝缘体上硅（SOI）MOSFET的泄漏集成和火灾（LIF）神经元，其中能量和面积效率是由两个设计要素-第一隧穿基于操作和第二紧凑的亚阈值SOI控制电路设计。带到带隧穿（BTBT）诱导的空穴在体内的存储用于神经元的“整合”功能。一个紧凑的控制电路“发射”一个尖峰时，身体电位超过发射阈值。然后，神经元通过从设备的身体接触中移除存储的空穴来“重置”。另外，控制电路在神经元中提供“泄漏”，这是生物神经元的基本特性。与具有等效能量/尖峰的CMOS设计相比，所提出的神经元提供10倍更高的面积效率。或者，它在面积等效的神经元技术上具有10^4倍的能效。生物可比的能源和面积效率以及CMOS兼容性，使所提出的设备有吸引力的大规模硬件实现SNN。
2019-02-26 cs.NE
Human action recognition with a large-scale brain-inspired photonic computer
视频流中人类动作的识别是计算机视觉中具有挑战性的任务，其主要应用于例如脑机接口和监控。深度学习最近取得了显著的成果，但在实践中很难使用，因为它的训练需要大量的数据集和专用的耗能硬件。在这项工作中，我们提出了一个可扩展的光子神经启发架构的基础上的储备池计算范例，能够识别基于视频的人类行为与国家的最先进的准确性。我们的实验光学设置包括现成的组件，并实现了一个大型并行递归神经网络，易于训练，可以扩展到数十万个节点。这项工作铺平了道路，朝着简单的可重构和节能的光子信息处理系统的实时视频处理。
2020-04-06 cs.NE
An Efficient Software-Hardware Design Framework for Spiking Neural Network Systems
脉冲神经网络（SNN）是模仿大脑自然行为的第三代神经网络（NN）。通过基于二进制输入/输出的处理，SNN提供更低的复杂度、更高的密度和更低的功耗。这项工作提出了一个有效的软件-硬件设计框架开发SNN系统的硬件。此外，本文还提出了一种基于分组交换通信方式的低成本神经突触核的设计方案。评估结果表明，大小为784：1200：1200：10的ANN到SNN的转换方法对MNIST的准确率为99%，而无监督的STDP在大小为784：400的情况下的准确率为89%。256个神经元和65 k个突触的设计也在ASIC 45 nm技术中实现，面积成本为0.205 $m m^2$。
2020-03-22 cs.NE
Neuromorphic Simulation of Drosophila Melanogaster Brain Connectome on Loihi 2
本文首次在 Intel Loihi 2 神经形态芯片上实现含 14 万神经元和 5 千万突触的黑腹果蝇全脑连接组仿真，通过解决扇入扇出等硬件映射难题，实现了比传统数值仿真快数个数量级的加速，验证了神经形态平台对生物真实模型的支持能力。
2025-08-22 cs.DC cs.NE
Integrating programmable plasticity in experiment descriptions for analog neuromorphic hardware
针对BrainScaleS-2混合可塑性实验中网络拓扑、协议与可塑性算法描述割裂的问题，提出统一高级实验描述语言及集成框架。
2024-12-04 cs.NE
Brain Connectivity Impairments and Categorization Disabilities in Autism: A Theoretical Approach via Artificial Neural Networks
自闭症谱系障碍（ASD）是一种严重损害沟通和社会功能的发育障碍，也表现出与精神僵化，重复行为和抽象推理困难有关的方面。此外，兴奋性和抑制性大脑状态之间的不平衡，以及皮层连接中断，是自闭症行为的根源。我们的主要目标是揭示这些局部兴奋性失衡和/或长脑连接中断与上述认知特征之间的联系。我们开发了一个基于自组织映射（SOM）的理论模型，其中一个三级人工神经网络定性地结合了在ASD患者大脑中观察到的这些变化。我们的模型的计算模拟表明，高兴奋状态或长距离连接不足是认知改变的起源，如分类困难和心理僵化。更具体地说，在皮层地图开发中兴奋性突触到达区域的扩大导致低分类（过度选择性）和差的概念形成。而且，局部兴奋性突触的过度强化和长距离连接不足，尽管通过不同的机制，有助于受损的分类（选择性不足）和精神僵化。我们的研究结果表明，如何，在一起，局部和全球的大脑连接性的改变引起损坏的皮层结构在不同的方式和不同的皮层区域。这些改变会破坏感官刺激的编码、概念的表征，从而破坏分类的过程--通过这种方式，严重限制了自闭症推理中的心理灵活性和概括能力。
2018-11-16 cs.NE q-bio.NC
Brain-Inspired Learning on Neuromorphic Substrates
神经形态硬件致力于模拟类脑神经网络，因此有望实现对时间数据流的可扩展、低功耗信息处理。然而，要解决现实世界的问题，这些网络需要训练。然而，由于基于梯度的学习算法的离线特性和所需的非局部计算，在神经形态基底上的训练产生了显著的挑战。本文提供了一个数学框架的设计实用的在线学习算法的神经形态基板。具体来说，我们展示了实时递归学习（RTRL），一种用于计算传统递归神经网络（RNN）中梯度的在线算法，与用于训练脉冲神经网络（SNN）的生物学上合理的学习规则之间的直接联系。此外，我们激励基于块对角雅可比矩阵的稀疏近似，这降低了算法的计算复杂性，减少了非局部信息的要求，并根据经验导致良好的学习性能，从而提高其适用性神经形态基板。总之，我们的框架弥合了突触可塑性和深度学习中基于梯度的方法之间的差距，并为未来神经形态硬件系统上强大的信息处理奠定了基础。
2020-10-22 cs.LG cs.NE
To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration
Politecnico di Torino（都灵理工大学）；Delft University of Technology（代尔夫特理工大学）；University of Zürich and ETH Zürich（苏黎世大学和苏黎世联邦理工学院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
该研究从数字硬件视角定量对比ANN与SNN的加速技术及平台，明确二者适用场景，提出混合二者的方法或能实现最优效果，为深度学习硬件设计提供参考。
2024-01-28 cs.AI cs.AR cs.LG
Recent Advances and New Frontiers in Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，脉冲神经网络（SNN）因其丰富的时空动态特性、多样的编码方式以及与神经元形态硬件自然匹配的事件驱动特性，在脑启发智能领域受到广泛关注。随着SNN的发展，受脑科学成果启发，以人工通用智能为目标的新兴研究领域--脑启发智能（brain-inspired intelligence）正在成为热门。本文回顾了SNN的最新进展，并从五个主要研究主题讨论了SNN的新前沿，包括基本要素（即，尖峰神经元模型、编码方法和拓扑结构）、神经形态数据集、优化算法、软件和硬件框架。我们希望我们的调查可以帮助研究人员更好地了解SNN，并激发新的工作来推进这一领域。
2022-10-15 cs.AI cs.NE
BrainSlug: Transparent Acceleration of Deep Learning Through Depth-First Parallelism
NEC Laboratories Europe（日本电气欧洲实验室）；Systems and Machine Learning Group（系统与机器学习组）
PyTorch和TensorFlow等神经网络框架是从对象识别到机器翻译等众多机器学习应用的主力。虽然这些框架是通用的并且使用简单，但是深度神经网络中的训练和推理是资源密集型的（能量、计算和内存）。与最近专注于算法增强的工作相比，我们引入了BrainSlug，这是一个框架，通过将默认的逐层处理更改为深度优先方法，从而透明地加速神经网络工作负载，减少计算所需的数据量，从而提高可用硬件缓存的性能。BrainSlug在CPU上实现了高达41.1%的性能提升，在GPU上实现了35.7%的性能提升。这些优化对用户来说是零成本的，因为它们不需要改变硬件，只需要对软件进行微小的调整。
2018-04-23 cs.AI cs.CV cs.DC
Sequence learning in a spiking neuronal network with memristive synapses
大脑启发计算提出了一套算法原则，有望推动人工智能的发展。它们赋予系统自学习能力、高效的能源使用和高存储容量。大脑计算的核心概念是序列学习和预测。这种形式的计算对于我们几乎所有的日常任务都是必不可少的，例如运动生成，感知和语言。了解大脑如何执行这样的计算不仅对推进神经科学很重要，而且还为新技术的大脑启发应用铺平了道路。先前开发的序列预测和召回的脉冲神经网络实现通过局部的、生物启发的可塑性规则以无监督的方式学习复杂的高阶序列。一种新兴的硬件类型，有希望有效地运行这种类型的算法是神经形态硬件。它模拟大脑处理信息的方式，并将神经元和突触直接映射到物理基底上。忆阻器件已被确定为神经形态硬件中的潜在突触元件。特别地，氧化还原诱导的电阻式随机存取存储器（ReRAM）器件在许多方面都很突出。它们允许可扩展性，节能和快速，并且可以实现生物可塑性规则。在这项工作中，我们研究了使用ReRAM设备作为序列学习模型中生物突触替代品的可行性。我们使用神经模拟器NEST实现并模拟了包括ReRAM可塑性的模型。我们研究了不同设备属性对序列学习模型性能特征的影响，并证明了不同开关比，电导分辨率，设备变异性和突触故障的弹性。
2022-11-29 cs.ET cs.NE
Emulating Brain-like Rapid Learning in Neuromorphic Edge Computing
UC Irvine（加州大学欧文分校）；Fortiss-Research Institute of the Free State of Bavaria（巴伐利亚自由州Fortiss研究院）；Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）；Forschungszentrum Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）
本研究利用数字神经形态技术提出两阶段学习方法，通过元训练优化突触可塑性超参数，在 Intel Loihi 上实现了远优于迁移学习的实时单样本学习，有效解决边缘端高效可靠在线学习难题。
2024-08-28 cs.AI cs.NE
Event-based Backpropagation for Analog Neuromorphic Hardware
神经形态计算旨在将生物神经系统的研究经验融入计算机架构的设计中。虽然现有的方法已经成功地实现了这些计算原理的各个方面，例如基于稀疏尖峰的计算，但基于事件的可扩展学习在大规模系统中仍然是一个难以捉摸的目标。然而，只有这样，神经形态系统相对于其他硬件架构的潜在能效优势才能在学习过程中实现。我们提出了我们的进展，实现EventProp算法的BrainScaleS-2模拟神经形态硬件的例子。以前的基于梯度的学习方法使用“代理梯度”和密集采样的观测值或受到限制的假设基础上的动态和损失函数。相比之下，我们的方法只需要从系统尖峰时间的观察，同时能够纳入其他系统的观察，如膜电压测量，在一个原则性的方式。这导致梯度估计的信息效率的一个数量级的改进，这将直接转化为优化的硬件实现中的对应的能量效率改进。我们提出了估计梯度的理论框架和验证估计正确性的结果，以及使用BrainScaleS-2系统的低维分类任务的结果。在此基础上的工作有可能使可扩展的梯度估计在大规模的神经形态硬件作为一个系统状态的连续测量将是禁止和能源效率低下，在这种情况下。它还表明了在设备上实现该算法的可行性，该算法将在大规模模拟神经形态硬件中实现可扩展的，节能的，基于事件的学习。
2023-02-13 cs.NE q-bio.NC
Simulating Structural Plasticity of the Brain more Scalable than Expected
大脑的结构可塑性描述了随着时间的推移，新突触的产生和旧突触的删除。Rinke等人（JPDC 2018）介绍了一种可扩展的算法，该算法使用Barnes-Hut算法的变体在当前硬件上模拟多达10亿个神经元的结构可塑性。它们表现出良好的可扩展性，并证明了$O(n \log^2 n)$的运行时复杂性。在这篇评论文章中，我们表明，仔细考虑的算法和严格的证明，理论上的运行时间甚至可以被归类为$O(n \log n)$。
2022-11-02 cs.DC cs.NE cs.PF
Neural and Synaptic Array Transceiver: A Brain-Inspired Computing Framework for Embedded Learning
UC Irvine（加州大学欧文分校）；UC San Diego（加州大学圣地亚哥分校）；Intel Corporation（英特尔公司）
自主和自适应行为的嵌入式持续学习是神经形态硬件的关键应用。然而，神经形态实现嵌入式学习在大规模的灵活性和效率都受到了阻碍，缺乏一个合适的算法框架。因此，大多数神经形态硬件在大型专用处理器或GPU集群上进行离线训练，并在事后传输到设备。我们通过引入神经和突触阵列收发器（NSAT）来解决这个问题，NSAT是一种神经形态计算框架，通过匹配算法要求和神经和突触动态来促进灵活高效的嵌入式学习。NSAT支持事件驱动的监督、无监督和强化学习算法，包括深度学习。我们在广泛的任务中展示了NSAT，包括Mihalas-Niebur神经元的模拟，动态神经场，基于事件的深度学习的事件驱动随机反向传播，无监督学习的基于事件的对比发散，以及序列学习的基于电压的学习规则。我们预计，这一贡献将为新一代设备奠定基础，使自适应移动系统、可穿戴设备和具有数据驱动自主性的机器人成为可能。
2018-08-08 cs.AI cs.NE
Low-Power Neuromorphic Hardware for Signal Processing Applications
New Jersey Institute of Technology（新泽西理工学院）；IBM Research Zurich（IBM苏黎世研究院）；University of Hertfordshire（赫特福德大学）；Intel Labs（英特尔实验室）
机器学习已经成为实现复杂认知任务的主要工具，这些任务需要监督、无监督和强化学习。虽然由此产生的机器在某些情况下甚至表现出超人的性能，但在没有昂贵的超级计算机的情况下，它们的能耗往往被证明是令人望而却步的。大多数最先进的机器学习解决方案都是基于神经元的无记忆模型。这与人类大脑中的神经元不同，人类大脑中的神经元使用尖峰事件中的时间信息来编码和处理信息。与当前的机器学习系统相比，生物神经元的不同计算原理以及它们如何组合在一起以有效地处理信息被认为是其优越效率背后的关键因素。受大脑时间编码机制的启发，第三代脉冲神经网络（SNN）正在被研究用于构建一类新的信息处理引擎。然而，基于冯·诺依曼架构的现代计算系统不适合有效地实现SNN，因为它们的性能受到在物理上分离的逻辑和存储器单元之间不断穿梭数据的需要的限制。因此，解决冯·诺依曼瓶颈的新型计算架构是必要的，以便构建能够以低能量预算实现SNN的系统。在本文中，我们回顾了一些架构和系统级的设计方面，涉及开发一类新的大脑启发的信息处理引擎，模仿基于时间的信息编码和处理方面的大脑。
2019-08-05 cs.ET cs.LG cs.NE
Brain-inspired global-local learning incorporated with neuromorphic computing
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
目前存在两种主要的学习方法，包括错误驱动的全局学习和面向神经科学的局部学习。将它们集成到一个网络中可以为多功能学习场景提供互补的学习能力。与此同时，类脑计算具有很大的潜力，但仍然需要大量有用的算法和算法硬件协同设计来发挥优势。在这里，我们报告了一个神经形态的混合学习模型，通过引入一个大脑启发的元学习范式和一个微分尖峰模型，结合神经元动力学和突触可塑性。它可以元学习局部可塑性，并接收自顶向下的监督信息进行多尺度协同学习。我们展示了该模型在多个不同任务中的优势，包括少样本学习，持续学习和神经形态视觉传感器的容错学习。它实现了比单一学习方法更高的性能，并显示出在赋予神经形态应用革命的希望。在Tianjic神经形态平台上，通过算法-硬件协同设计实现了混合模型，证明了该模型能够充分利用神经形态众核架构开发混合计算范型。
2021-06-22 cs.AI cs.NE q-bio.NC
Experimental Demonstration of Array-level Learning with Phase Change Synaptic Devices
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；IBM Research, T.J. Watson Research Center（IBM研究院，T.J.沃森研究中心）
生物大脑的计算性能长期以来一直吸引着人们的极大兴趣，并在计算和信号处理的操作原理、算法和架构方面产生了灵感。在这项工作中，我们专注于硬件实现类脑学习的大脑启发的架构。我们证明，在硬件中，2-D交叉阵列的相变突触器件可以实现联想学习和执行模式识别。使用相变突触设备的实验性10 × 10阵列的设备和阵列级研究已经表明，模式识别对于突触电阻变化是鲁棒的，并且可以通过增加训练迭代的数量来容忍大的变化。我们的测量表明，初始变化从9%增加到60%会导致所需的训练迭代次数从1增加到11。
2014-06-03 cs.AI cs.NE
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England（工程数学与技术学院，布里斯托大学，英格兰）
本文提出Spiking Brain Compression（SBC）框架，通过一次性后训练压缩提升脉冲神经网络的效率，实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE
The hardware is the software
本研究提出“硬件即软件”的观点，指出神经形态工程应依托非生物智能系统的硬件物理特性，而神经科学的核心价值是挖掘可跨硬件迁移的生物智能原理。
2023-10-20 cs.ET cs.NE q-bio.NC
Spiking neuromorphic chip learns entangled quantum states
人工神经网络对量子态的逼近在过去几年中得到了广泛的关注。与此同时，模拟神经形态芯片，灵感来自生物大脑的结构和动力学特性，在运行人工神经网络架构时显示出高能效，以利于生成应用。这鼓励采用这样的硬件系统作为量子系统模拟的平台。在这里，我们报告了使用最新的基于尖峰的BrainScaleS硬件实现原型，使我们能够表示具有高分辨率的几个量子比特最大纠缠量子态。模拟硬件很好地捕获了纯和混合双量子比特态的Bell相关性，证明了用尖峰神经形态芯片模拟量子系统的重要构建块。
2021-10-25 cond-mat.dis-nn cs.ET cs.NE
A Historical Review of Forty Years of Research on CMAC
Nanyang Technological University（南洋理工大学）
小脑模型关节控制器（CMAC）是一种在许多相关领域有影响的脑启发计算模型。自20世纪70年代提出以来，该模型得到了广泛的研究，并提出了许多原型的变体，如Kernel-CMAC，Self-Organizing Map CMAC和Linguistic CMAC。本文着重介绍了CMAC模型是如何逐步发展和完善的，以满足快速、自适应和鲁棒控制的要求。提出了CMAC作为神经网络和CMAC作为查表技术两种观点。从模型的体系结构、学习算法和应用三个方面进行了讨论。最后，对该模型的未来研究方向进行了展望。
2017-02-08 cs.AI cs.NE
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhongguancun Laboratory（中关村实验室）；Sensetime Research（商汤科技研究院）
本文受神经科学临界脑假说启发，提出基于特征信息熵的神经元临界性度量及剪枝-再生方法，在降低高达95.26%剪枝成本的同时超越现有SOTA性能。
2024-11-21 cs.AI cs.CV cs.LG
Topology Optimization of Random Memristors for Input-Aware Dynamic SNN
the University of Hong Kong（香港大学）；ACCESS – AI Chip Center for Emerging Smart Systems, InnoHK Centers（ACCESS新兴智能系统AI芯片中心（InnoHK中心））；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）
本文提出PRIME框架，通过优化随机忆阻脉冲神经网络拓扑并采用输入感知动态早停策略，在保持性能的同时大幅提升能效并降低计算负载。
2024-07-26 cs.AI cs.ET cs.NE
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China（微电子学院 中国科学技术大学）
本文提出一种受大脑启发的反馈调节残差循环神经网络（FRE-RNN），通过减少谱半径加速收敛，显著降低计算成本，性能与反向传播相当，同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Neuromorphic scaling advantages for energy-efficient random walk computation
受大脑难以置信的效率和能力的启发，类脑计算（NMC）方法将从根本上改善计算。大多数NMC的研究，旨在复制大脑的计算结构和人造硬件的架构，都集中在人工智能;然而，较少探索的是这种大脑启发的硬件是否可以提供超越认知任务的价值。我们证明了高度的并行性和可配置的尖峰神经形态架构，使他们非常适合通过离散时间马尔可夫链实现随机游走。这种随机游走在蒙特卡洛方法中是有用的，蒙特卡洛方法代表了用于解决广泛的数值计算任务的基本计算工具。此外，我们展示了如何涉及一类随机微分方程的概率解的数学基础，可以利用这些模拟来提供一系列广泛适用的计算任务的解决方案。尽管处于早期开发阶段，但我们发现，在足够的规模下，NMC平台可以大幅降低高性能计算（HPC）平台的能源需求。
2021-07-27 cs.DC cs.NA cs.NE
In the realm of hybrid Brain: Human Brain and AI
本文提出受大脑启发的脑机接口（BI-BCIs），将脉冲神经网络与神经形态硬件结合，用于解码多模态神经信号、建模大脑信息处理并提升BCI稳定性与效率。
2024-01-17 cs.NE cs.SY eess.SY
Event management for large scale event-driven digital hardware spiking neural networks
对类脑计算的兴趣导致了大量创新的神经形态系统的设计。单独而言，脉冲神经网络（SNN）、事件驱动模拟和数字硬件神经形态系统受到了广泛关注。尽管事件驱动的SNN在软件中很受欢迎，但很少有数字硬件架构被发现。这是因为现有的事件管理硬件解决方案无法随事件数量扩展。本文介绍了结构化堆队列，一种流水线数字硬件数据结构，并证明了它适用于事件管理。结构化堆队列随着事件的数量优雅地扩展，允许大规模数字硬件事件驱动的SNN的有效实现。缩放对于存储器是线性的，对于逻辑资源是对数的，并且对于处理时间是常数。在现场可编程门阵列（FPGA）上实现了结构化堆队列的使用，并进行了图像分割实验，SNN为65~536个神经元和513~184个突触。事件可以以每7个时钟周期1的速率处理，并且406 $\times$ 158像素图像在200 ms内被分割。
2013-04-02 cs.AI cs.DC cs.NE
Towards 3D Acceleration for low-power Mixture-of-Experts and Multi-Head Attention Spiking Transformers
University of California Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；Burapha University（布拉帕大学）
针对脉冲Transformer缺乏高并行类脑计算硬件支持的问题，本文提出首个面向低功耗混合专家与多头注意力脉冲Transformer的3D硬件架构，通过3D堆叠集成实现能效与延迟的显著优化。
2024-12-07 cs.AI cs.AR cs.NE
The Portiloop: a deep learning-based open science tool for closed-loop brain stimulation
University of Montreal（蒙特利尔大学）；Concordia University（康考迪亚大学）
闭环脑刺激是指捕捉脑电图（EEG）等神经生理测量，快速识别感兴趣的神经事件，并产生听觉、磁或电刺激，从而与大脑过程精确交互。这是一种很有前途的新方法，用于基础神经科学，也可能用于临床应用，如恢复退化的记忆功能;然而，现有的工具昂贵，笨重，并提供有限的实验灵活性。在这篇文章中，我们提出了Portiloop，这是一种基于深度学习的便携式低成本闭环刺激系统，能够针对特定的脑振荡。我们首先文档的开放硬件实现，可以从商业可用的组件构建。我们还提供了一个快速，轻量级的神经网络模型和一个探索算法，可以自动优化模型超参数以获得所需的脑振荡。最后，我们验证了一个具有挑战性的测试用例的实时睡眠纺锤波检测的技术，与离线专家性能的大规模在线数据注释纺锤波数据集（MODA;组共识）的结果。软件和计划作为开放科学计划提供给社区，以鼓励进一步发展和推进闭环神经科学研究。
2022-06-15 cs.LG cs.NE eess.SP
