TraNNsformer: Neural network transformation for memristive crossbar based neuromorphic system design
使用基于后互补金属氧化物半导体(CMOS)技术的忆阻交叉阵列(MCA)实现神经形态系统已经成为实现神经网络的低功耗加速的有前景的解决方案。然而,最近的趋势是设计深度神经网络(DNN)来实现类似人类的认知能力,这对神经形态系统的可扩展设计提出了重大挑战(由于计算/存储需求的增加)。网络修剪[7]是一种强大的技术,可以删除冗余连接,以设计最佳连接(最大稀疏)DNN。然而,这样的修剪技术引起与交叉开关结构不相干的不规则连接。最终,他们生产的DNN具有非常低效的硬件实现(在面积和能量方面)。在这项工作中,我们提出了TraNNsformer -一个集成的训练框架,可以转换DNN,使其能够在基于MCA的系统上有效实现。TraNNsformer首先修剪连接矩阵,同时用剩余的连接形成集群。随后,它重新训练网络以微调连接并加强集群。这是迭代完成的,以将原始连接转换为最佳修剪和最大聚类映射。在没有精度损失的情况下,TraNNsformer相对于原始网络减少了28% - 55%(49% - 67%)的面积(能源)消耗。与网络修剪相比,TraNNsformer节省了28% - 49%(15% - 29%)的面积(能源)。此外,TraNNsformer是一个技术感知框架,允许将给定的DNN映射到忆阻技术允许的任何MCA大小,以实现可靠的操作。
2018-03-04 cs.ET cs.NE
Neuromorphic computing with multi-memristive synapses
类脑计算已成为构建下一代智能计算系统的一条有前途的途径。忆阻器件表现出历史依赖的电导率调制,可以有效地表示人工神经网络中的突触权重。然而,保持高网络精度所必需的在宽动态范围内精确调制器件电导被证明是具有挑战性的。为了解决这个问题,我们提出了一个多忆阻突触架构与一个有效的全球计数器为基础的仲裁方案。我们专注于相变存储器设备,开发了一个全面的模型,并通过模拟证明了这一概念的有效性为尖峰和非脉冲神经网络。此外,我们目前的实验结果涉及超过一百万相变存储设备的时间相关性的无监督学习使用脉冲神经网络。这项工作为实现大规模、高能效的类脑计算系统迈出了重要的一步。
2019-02-24 cs.ET
Advancing Memristive Analog Neuromorphic Networks: Increasing Complexity, and Coping with Imperfect Hardware Components
我们通过实验证明了4 × 4二进制图像分为4类,使用3层混合信号神经形态网络(“MLP感知器”),基于两个无源20 × 20忆阻交叉阵列,板集成离散CMOS组件。该网络具有10个隐藏层和4个输出层模拟CMOS神经元和428个金属氧化物忆阻器,即几乎比任何先前报道的功能忆阻器电路复杂一个数量级。此外,该分类器的推理操作完全在集成硬件中执行。为了处理更大的交叉阵列,我们已经开发了一种半自动的方法来形成和测试,并比较了几种忆阻器训练方案,以应对这些设备的不完美行为,以及模拟CMOS神经元的可变性。所提出的计划的有效性进行了实验验证,使用实施的网络,此外,通过建模的操作一个更大的网络,300个隐藏层神经元,在MNIST基准。最后,我们提出了一个简单的修改实现忆阻器为基础的矢量矩阵乘法器,使其在更宽的温度范围内的操作。
2016-11-10 cs.ET cs.NE
Stochastic Memristive Devices for Computing and Neuromorphic Applications
纳米级电阻开关器件(忆阻器件或忆阻器)已经被研究用于从非易失性存储器、逻辑到神经形态系统的许多应用。然而,一个主要的挑战是解决这些纳米级器件在空间和时间上的潜在大变化。在这里,我们表明,在基于金属丝的忆阻器件的开关可以是完全随机的。虽然单个切换事件是随机的,但切换的分布和概率可以很好地预测和控制。电阻开关的固有随机性质允许这些二进制器件用作新型容错计算方案(例如随机计算)的构建块,而不是试图使用过多的电压或时间来强制高开关概率,并在神经形态应用中提供所需的“模拟”特征。为了验证这种潜力,我们在时间和空间域中展示了基于忆阻器的随机比特流,并表明二进制忆阻器阵列可以作为神经形态应用的多级“模拟”设备。
2013-04-22 cond-mat.other cs.ET
My, and others', spiking memristors are true memristors: a response to R.S. Williams' question at the New Memory Paradigms: Memristive Phenomena and Neuromorphic Applications Faraday Discussion
在法拉第讨论会上,在题为“具有尖峰忆阻器的神经形态计算:习惯化、逻辑门的实验实例化和一种新的序列敏感感知器模型”的论文中,证明了可以使用忆阻器电流尖峰(直流响应)以顺序方式完成大量计算。由于这些尖峰在许多忆阻器(可能是所有忆阻器)中被发现,因此这种新颖的方法对于快速和可再现的忆阻器电路非常有用。然而,有人提出了这些尖峰实际上是由于忆阻还是仅仅是电路中的电容引起的问题。在这个较长版本的法拉第讨论回应中,尽可能多的信息来自我实验室的已发表和未发表的数据。我们发现这些器件可能是具有一定电容的不完美忆阻器,并且尖峰与忆阻器磁滞曲线中看到的频率效应有关,因此是忆阻的一个组成部分。
2018-12-14 cs.ET physics.app-ph
On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks
类脑计算的最新突破表明,局部形式的梯度下降学习与脉冲神经网络(SNN)和突触可塑性是兼容的。虽然SNN可以使用神经形态VLSI可扩展地实现,但仍然缺少可以使用梯度下降原位学习的架构。在本文中,我们提出了一种具有在线三进制权重更新的局部、基于梯度、错误触发的学习算法。该算法使在线训练的多层SNN与忆阻神经形态硬件表现出较小的损失的性能相比,与最先进的。我们还提出了一个硬件架构的忆阻交叉阵列的基础上执行所需的向量矩阵乘法。必要的外围电路,包括突触前,突触后和写电路所需的在线培训,已被设计在亚阈值制度的标准180纳米CMOS工艺的节能。
2020-11-21 cs.ET cs.NE
3D Vertical Dual-Layer Oxide Memristive Devices for Neuromorphic Computing
制备了具有水平W电极、垂直Pd电极和在水平电极侧壁上形成的WOx开关层的双层阻变器件,并对其进行了表征。该器件表现出良好的模拟开关特性和在两层形成的器件的电特性的小失配。三维(3D)垂直器件结构允许更高的存储密度和更大的连接性用于神经形态计算应用。我们展示了垂直器件表现出类似于平面器件的增强和凹陷特性,并且可以独立编程,层间没有串扰。
2014-04-04 cond-mat.other cs.ET
A differential memristive synapse circuit for on-line learning in neuromorphic computing systems
在类脑计算架构中利用忆阻器件的基于尖峰的学习通常使用需要来自突触前和突触后节点的重叠脉冲的学习电路。这对在网络中传输的脉冲的长度以及网络的吞吐量施加了严格的约束。此外,这些电路中的大多数不会将流过忆阻器件的电流与刺激目标神经元的电流解耦。当使用具有高电导值的器件时,这可能是一个问题,因为所产生的电流很大。在本文中,我们提出了一种新的电路,通过使用一种新的差分方案的基础上的吉尔伯特归一化电路,从一个用于刺激突触后神经元的忆阻器件产生的电流。我们展示了该电路如何用于减少忆阻器件中的可变性的影响,以及它如何非常适合于不需要重叠的突触前和突触后脉冲的基于尖峰的学习机制。我们证明了建议的突触电路与SPICE模拟的功能,并验证其学习性能与高层次的行为网络模拟使用随机梯度下降学习规则在两个分类任务。
2017-09-16 cs.ET
Scaled Hippocampus-inspired Neural Networks on Neuromorphic Memristive Hardware
George Washington University(乔治华盛顿大学);George Mason University(乔治梅森大学)
受海马CA3区启发的脉冲神经网络,通过四管齐下目标函数缩小规模,在忆阻器硬件上实现生物现实静息态动力学,展示新兴硬件上生物现实算法的潜力。
2026-09-16 cs.ET cs.NE
Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays
University of Michigan(密歇根大学)
提出了一种采用梯度学习方法来训练完全忆阻的脉冲神经网络的方法--MEMprop。我们的方法利用固有的设备动态触发自然产生的电压尖峰。由忆阻动力学发射的这些尖峰本质上是模拟的,并且因此是完全可微分的,这消除了对在脉冲神经网络(SNN)文献中流行的替代梯度方法的需要。忆阻神经网络通常将忆阻器集成为映射离线训练的网络的突触,或者以其他方式依赖于关联学习机制来训练忆阻神经元的网络。相反,我们直接在忆阻神经元和突触的模拟SPICE模型上应用时间反向传播(BPTT)训练算法。我们的实现是完全忆阻的,因为突触权重和尖峰神经元都集成在电阻RAM(RRAM)阵列上,而不需要额外的电路来实现尖峰动态,例如,模数转换器(ADC)或阈值比较器。因此,高阶电物理效应被充分利用,以在运行时间使用忆阻神经元的状态驱动动力学。通过向非近似的基于梯度的学习,我们获得了高度竞争力的准确性之间先前报道的轻量级密集完全MSNN在几个基准。
2022-06-26 cs.AI cs.AR cs.ET
A neuromorphic systems approach to in-memory computing with non-ideal memristive devices: From mitigation to exploitation
忆阻器件代表了用于构建神经形态电子系统的有前途的技术。除了它们的紧凑性和非易失性特征之外,它们的特征在于计算相关的物理性质,例如状态依赖性、非线性电导变化以及它们的开关阈值和电导值的内在可变性,这使得它们成为用于模拟真实突触的生物物理学的理想设备。在本文中,我们提出了一个脉冲神经网络架构,支持使用忆阻器件作为突触元件,并提出了混合信号模拟-数字接口电路,减轻其电导值的变化的影响,并利用其在开关阈值的变化,实现随机学习。通过使用在互补推挽机制中配置并与电流模式归一化器电路接口的忆阻器件对来减轻器件可变性的影响。随机学习机制是通过将突触权重的期望变化映射到从忆阻器件的固有随机行为导出的相应切换概率来获得的。我们展示了CMOS电路的特点,并提出了一个标准的神经网络手写数字分类基准的MNIST数据集的基础上的架构。我们使用行为级脉冲神经网络模拟评估在此基准上提出的方法的性能,显示由电流模式归一化器电路产生的电导变化的减少的效果,以及作为每个突触中使用的忆阻器件的数量的函数的性能的增加。
2018-07-13 cs.ET
Compact and Energy-Efficient Memristive Spiking Neuromorphic Accelerator for Bio-inspired Interception Tasks
The University of Texas at Arlington(阿灵顿得克萨斯大学);South Dakota State University(南达科他州立大学)
提出一种基于1T1R交叉阵列和分离输入/膜节点的IF神经元的忆阻神经形态加速器,通过电路级优化和存内计算实现高能效、高精度的仿生拦截任务推理。
2026-05-29 cs.ET
Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits
神经计算领域的进展取决于使用比传统微处理器更有效的硬件。最近的工作表明,混合信号集成忆阻电路,特别是它们的无源('0 T1 R')品种,可以显着提高神经形态网络的性能,远远落后于它们的数字同行。然而,主要的障碍是相对不成熟的忆阻器技术,因此迄今为止仅展示了有限的功能。在这里,我们通过实验演示了一个隐藏层感知器分类器完全在混合信号集成硬件中的操作,该硬件由两个无源20 x20金属氧化物忆阻交叉阵列组成,与分立CMOS元件集成在一起。所展示的多层感知器网络,其复杂性几乎是以前报道的基于被动忆阻电路的功能神经形态分类器的10倍,当使用非原位训练方法时,在模拟中获得的3%内实现分类保真度。忆阻器制造技术的改进,特别是降低其I-V特性的变化,促进了成功的演示。
2017-12-04 cs.ET physics.app-ph
Neuro-memristive Circuits for Edge Computing: A review
Nazarbayev University(纳扎尔巴耶夫大学);University of California Berkeley(加州大学伯克利分校)
连接到互联网的传感器网络不断增长,其产生的数据量、准确性、可变性和速度对云计算基础设施的电源管理、可扩展性和可持续性提出了挑战。在较低功率要求下提高边缘计算设备的数据处理能力可以减少云计算解决方案的若干开销。本文提供了可以集成到边缘计算设备中的神经形态CMOS忆阻架构的综述。我们讨论了为什么神经形态架构对边缘设备有用,并展示了用于边缘计算的神经忆阻电路领域的优点,缺点和开放问题。
2018-11-28 cs.AI cs.AR cs.ET
Nonlinear behavior of memristive devices for hardware security primitives and neuromorphic computing systems
本研究针对忆阻器件非线性行为,采用考虑电容与惯性效应的物理启发紧凑模型仿真界面型RRAM,匹配实验数据,揭示频率升高下的特性转变,并提出将频谱作为器件指纹的硬件安全应用方案。
2024-03-27 cond-mat.mes-hall cs.ET
Generic Wave Digital Emulation of Memristive Devices
神经形态电路在生物启发的信息处理意义上模仿大脑的部分功能,以实现与生物系统相似的效率。虽然神经元有常见的数学模型,可以实现为非线性振荡电路,但它们之间突触耦合的电学表示更具挑战性。由于这种耦合强度取决于过去的学习过程,它应该包括一种记忆。我们认为,忆阻器件,这本质上是非线性电阻器与记忆,是潜在的候选人,取代神经形态电路中的突触。由于在一个复杂的神经形态电路中有大量的突触,基于这种系统的模拟的预先调查可能非常低效和耗时。灵活和实时的忆阻仿真器可以直接集成到实际电路中,可以克服这个问题。在我们的方法中,我们介绍了一个通用的忆阻仿真器的基础上波数字的原则。该仿真器具有灵活、鲁棒、高效的特点,并保持了实际器件的无源性.反过来,这也使得它可以独立于特定的应用程序进行重用。在所提出的工作中,列出了不同的数学模型以及基于物理模型的实际设备的仿真。
2017-09-20 cs.ET
Wafer Quality Inspection using Memristive LSTM, ANN, DNN and HTM
Nazarbayev University(纳扎尔巴耶夫大学)
自动化晶圆检测和质量控制是一项复杂且耗时的任务,使用神经形态忆阻架构作为单独的检测设备或直接集成到传感器中可以加快速度。本文提出了不同的神经形态结构的性能分析和比较图案化的晶圆质量检测和分类。非易失性忆阻器件在这些架构中的应用确保了低功耗、小的片上面积可扩展性。我们证明了长短期记忆(LSTM)在相同的训练迭代次数下优于其他架构,并且具有相对较低的片上面积和功耗。
2018-09-27 cs.AI cs.ET
Hardware design of LIF with Latency neuron model with memristive STDP synapses
本文介绍了一种神经形态系统的硬件实现。该系统由具有延迟的泄漏整合和激发(Leaky Integrate-and-Fire with Latency,LIFL)神经元和尖峰定时依赖可塑性(Spike-Timing Dependent Plasticity,STDP)突触组成。LIFL神经元模型允许编码比常见的Integrate-and-Fire模型更多的信息,通常考虑用于神经形态实现。在我们的系统中,LIFL神经元使用CMOS电路实现,而忆阻器用于STDP突触的实现。提供了整个电路的描述。最后,通过模拟由三个神经元和两个突触组成的基序来评估所提出的架构的能力。仿真结果证实了该系统的有效性,并适用于更复杂的脉冲神经网络的设计
2018-03-31 cs.ET cs.NE
Technology Aware Training in Memristive Neuromorphic Systems based on non-ideal Synaptic Crossbars
使用神经形态系统的机器学习领域的进展为神经网络的硬件实现的可能性的广泛研究铺平了道路。已经探索了各种忆阻技术,例如基于氧化物的器件、自旋电子学和相变材料,以快速和能量有效的方式实现神经形态系统的核心功能单元,即突触网络和神经元功能。然而,突触阵列的交叉杆实现中的各种非理想性会显著降低神经网络的性能,并因此对可行的交叉杆大小施加限制。在这项工作中,我们建立了交叉开关实现中出现的各种非理想性的数学模型,如源极电阻,神经元电阻和芯片到芯片的器件变化,并分析了它们对全连接网络(FCN)和卷积神经网络(CNN)的分类精度的影响与标准训练算法训练。我们发现,在理想条件下训练的网络在相关非理想范围的非理想交叉杆上实现时,可以遭受高达59.84%的FCN和62.4%的CNN的准确性下降。这严重限制了横杆的尺寸。作为解决方案,我们提出了一种技术感知的训练算法,它结合了标准训练算法中的非理想性的数学模型。我们证明,我们提出的方法实现了显着恢复的测试精度在1.9%的理想精度的FCN和CNN的1.5%。我们进一步表明,我们提出的训练算法可以潜在地允许使用大小为784 $\times$ 500的用于FCN和4096 $\times$ 512的用于CNN的显著更大的交叉开关阵列,并且在准确性方面具有较小或没有折衷
2017-11-24 cs.ET
Polymer-based composites for engineering organic memristive devices
忆阻材料与神经形态应用有关,因为它们可以将信息处理与记忆存储结合在单个计算元件中,就像生物神经元一样。这些生物启发材料中的许多都模仿了大脑中发生的记忆和学习过程的特征。在这项工作中,我们报告了一个双端(2-T)的有机器件的忆阻性能的离子迁移介导的离子传输聚合物的基础上。该材料具有独特的忆阻特性:它是可逆切换的,显示数十种导电状态,通过尖峰时间依赖可塑性(STDP)展示了赫布学习,并在单个设备中表现出短期(STM)和长期记忆(LTM)。这两种学习现象的起源和协同作用,从理论上解释了离子电解质和离子导电介质之间的化学相互作用。进一步讨论了传输机制,解释了这些离子器件在可变电场下的动态行为。我们提出这种基于聚合物的复合材料作为一种杰出的神经形态材料,其可调,廉价,灵活,易于加工,可重复,并且比其无机类似物更具生物相容性。
2021-10-22 cond-mat.mtrl-sci cond-mat.soft cs.ET
Synchronization of two memristive coupled van der Pol oscillators
本文的目的是探索通过由Ag-TiO x-Al忆阻器件组成的阻容网络耦合两个van der Pol(vdP)振荡器的可能性。通过网络连接两个可编程单结晶体管(PUT)的栅极端子来介导耦合。在高阻态(HRS)的memresistance是在MOhm的顺序,导致两个独立的自持振荡器,其特征在于不同的频率f1和f2和振荡之间没有相位关系。在几个周期之后并且依赖于介导的脉冲幅度,忆阻器件切换到低电阻状态(LRS),并且观察到频率适应和相位锁定。实验结果强调从理论上考虑两个耦合的vdP方程的系统。所提出的神经形态回路传达了两个相互作用的神经元集合的基本原则:同步和记忆。该实验可能通向更大的神经形态网络,其中耦合参数可以随时间和强度而变化,并且由忆阻器件实现。
2015-11-15 cs.ET physics.ins-det
Scaling Limits of Memristor-Based Routers for Asynchronous Neuromorphic Systems
本研究探讨忆阻交叉阵列作为异步SNN硬件中路由通道的扩展极限,通过理论建模、22nm FDSOI电路仿真及4K-ReRAM芯片实验,确定了IR压降和漏电问题导致的功能界限,为多核异步神经形态系统的忆阻路由器设计提供指导。
2023-12-21 cs.ET cs.NE
Implementation of binary stochastic STDP learning using chalcogenide-based memristive devices
纳米级忆阻器件的出现鼓励了许多不同的研究领域在多种应用中利用它们。其中一个被提议的应用是在生物启发的神经形态系统中实现突触连接。随着神经元和突触数量的增加,正在开发大规模神经形态硬件平台,这在在线学习能力方面具有关键瓶颈。尖峰时间依赖可塑性(Spike-timing-dependent plasticity,STDP)是一种受到生物学启发的广泛使用的学习机制,它根据突触前和突触后尖峰之间的时间相关性来更新突触权重。在这项工作中,我们实验证明,二进制随机STDP学习可以从忆阻器时,在设备的两侧施加适当的脉冲。
2021-03-01 cs.ET cs.SY eess.SY
Versatile CMOS Analog LIF Neuron for Memristor-Integrated Neuromorphic Circuits
Université de Sherbrooke(舍布鲁克大学);Université de Lille(里尔大学);Aix-Marseille Université(艾克斯-马赛大学);Université Paris-Saclay(巴黎萨克雷大学)
本文提出了一种多功能CMOS模拟LIF神经元,用于实现忆阻器集成神经形态电路中的自适应突触处理与本地学习规则。
2024-06-28 cs.ET cs.SY eess.SY
Spoken Digit Classification by In-Materio Reservoir Computing with Neuromorphic Atomic Switch Networks
包括碘化银(AgI)结的原子开关网络(Atomic Switch Networks,简称AgI)被用作物理储备池计算(RC)的神经形态衬底,AgI结是一种以前未被开发为高度互连的纳米线网络内的功能忆阻元件的材料。这类新的基于ASN的设备已被物理表征并用于对语音数字音频数据进行分类,证明了基于衬底的设备架构的实用性,其中可以利用固有的材料特性来执行材料内计算。这项工作表明,在时间分析的自由口语数字数据(FSDD)的分类精度高。这些结果扩展了可用于生产功能性纳米线网络的可行忆阻材料的类别,并支持基于ASN的设备作为涉及记忆、适应和学习的类脑计算应用的独特硬件平台的实用性。
2021-03-23 cond-mat.dis-nn cond-mat.mes-hall cond-mat.mtrl-sci
A Hardware Friendly Unsupervised Memristive Neural Network with Weight Sharing Mechanism
忆阻神经网络(Memristive Neural Networks,MNN)是近年来研究的热点,它利用忆阻器作为神经元或突触。然而,大多数忆阻器与主流集成电路技术不兼容,并且它们在大规模下的稳定性不是很好。本文介绍了一种硬件友好的MNN电路,该电路利用数字集成电路实现忆阻特性。通过该方法,实现了发放时间依赖可塑性(STDP)和无监督学习。提出了一种权值共享机制,以弥补网络规模和硬件资源的不足。实验结果表明,该算法在保持较高识别精度和速度的同时,显著节省了硬件资源。此外,网络资源的增长速度比网络规模的增长速度要慢,这表明我们的方法在实现大规模神经形态网络方面具有潜力。
2019-01-01 cs.ET cs.NE
Physical based compact model of Y-Flash memristor for neuromorphic computation
本文提出一种基于物理的Y-Flash忆阻器紧凑模型,准确描述其在DC和AC状态下的动态编程与擦除操作,并已集成至商业电路设计工具,为神经形态计算应用提供支持。
2022-02-16 cs.ET physics.app-ph
Laser Fault Injection in Memristor-Based Accelerators for AI/ML and Neuromorphic Computing
本研究提出激光故障注入威胁模型,通过HSPICE仿真展示其可高精度推断忆阻交叉阵列内部权重并破坏计算完整性。
2025-10-15 cs.ET cs.NE cs.SY
End-to-End Memristive HTM System for Pattern Recognition and Sequence Prediction
从流输入中学习和预测的神经形态系统在普适边缘计算及其应用中具有重要的前景。在本文中,提出了一个神经形态系统,处理的时空信息的边缘。从理论上讲,该系统是基于分层的时间存储器,固有地提供在线学习,弹性,和容错。在架构上,它是一个完全定制的混合信号设计,具有底层数字通信方案和模拟计算模块。因此,所提出的系统具有可重构性,实时处理,低功耗,低延迟处理。所提出的架构是基准预测现实世界的流数据。该网络在混合信号系统上的平均绝对百分比误差比其基线算法模型低1.129倍。这种减少可以归因于设备的非理想性和突触连接的概率形成。我们证明了Hebbian学习和网络稀疏性的综合效应在延长整个网络寿命方面也起着重要作用。我们还说明,该系统提供了3.46倍的延迟和77.02倍的功耗降低相比,在相同的技术节点实现的自定义CMOS数字设计。通过采用特定的低功耗技术,如时钟门控,我们观察到161.37倍的功耗降低。
2020-06-22 cs.ET cs.NE
An Efficient and Accurate Memristive Memory for Array-based Spiking Neural Networks
本文提出一种基于限流的3T1R忆阻存储器设计,解决忆阻突触编程不可靠问题,较1T1R设计优化READ电流约19倍、节能约9倍,并降低工艺变化影响,适用于脉冲神经网络。
2023-09-06 cs.ET cs.NE
Training and Operation of an Integrated Neuromorphic Network Based on Metal-Oxide Memristors
尽管半导体集成电路技术取得了巨大的进步,但人类大脑皮层的极端复杂性使得用相当数量的设备实现神经形态网络具有非常大的挑战性。最有前景的候选者之一是基于混合CMOS/忆阻器电路的所谓CrossNet,它可以提供相当的复杂性,同时运行速度更快,功耗可管理。在这些电路中,通常的CMOS堆栈增加了一个或几个交叉层,每个交叉点处都有可调的两端忆阻器。最近,在制造这种忆阻交叉开关及其与CMOS电路的集成的技术的改进方面有了重大进展,包括其垂直集成的首次演示。另外,已经有几个离散忆阻器作为神经形态网络的人工突触的演示。最近,这种实验扩展到相变忆阻器件的交叉阵列。然而,这种器件的调整需要在每个交叉点处增加一个晶体管,因此它们的缩放前景不如金属氧化物忆阻器令人印象深刻,金属氧化物忆阻器的非线性I-V曲线可以实现无晶体管操作。在这里,我们报告的第一个实验实施的无晶体管的金属氧化物忆阻器交叉开关与设备的可变性降低到足以证明一个简单的集成神经网络,单层感知器的成功操作。该网络可以使用粗粒度的各种增量规则算法进行原位训练,以将3x 3像素的黑/白图像完美地分类为3类。我们相信,这一演示是实现更大,更复杂的忆阻神经形态网络的重要一步。
2014-12-01 cs.ET
Fused-MemBrain: a spiking processor combining CMOS and self-assembled memristive networks
针对数据处理增长需求,提出结合CMOS与自组装忆阻网络的Fused-MemBrain脉冲处理器,受高尔基合胞体理论启发,模拟其与脉冲神经网络接口,可替代突触降低面积并增强并行计算能力。
2024-11-28 cs.ET
Measurement of the Crystallization and Phase Transition of Niobium Dioxide Thin-Films for Neuromorphic Computing Applications Using a Tube Furnace Optical Transmission System
本研究开发了一套卧式管式炉光学透射系统,原位测量了用于神经形态计算的二氧化铌薄膜在退火结晶及冷却相变过程中的光谱透射率变化,并证实了结晶态NbO2的制备及其在不同基底上的相变温度差异。
2024-07-11 cond-mat.mtrl-sci cs.ET physics.app-ph
Mem-elements based Neuromorphic Hardware for Neural Network Application
本研究提出基于忆阻、忆容交叉阵列的DNN协同设计框架及OTA-电容忆感模拟器,在CIFAR-10等任务中取得高准确率,验证了低功耗神经形态硬件的可行性与制造潜力。
2024-03-05 cs.AI cs.ET cs.NE
Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses
尖峰循环神经网络(RNN)是一种很有前途的工具,用于解决各种复杂的认知和运动任务,由于其丰富的时间动态和稀疏处理。然而,在专用的神经形态硬件上训练尖峰RNN仍然是一个开放的挑战。这主要是由于缺乏本地的,硬件友好的学习机制,可以解决时间信用分配问题,并确保稳定的网络动态,即使在权重分辨率是有限的。如果人们诉诸于使用忆阻器件进行存内计算来解决冯-诺依曼瓶颈问题,则这些挑战将进一步加剧,代价是尖峰RNN的计算和工作存储器两者的可变性大幅增加。为了解决这些挑战,并使在线学习忆阻神经形态RNN,我们提出了一个模拟框架的基础上,准确和全面的相变存储器(PCM)设备模型的差分架构交叉阵列。我们训练一个尖峰RNN,其权重在所提出的仿真框架中进行仿真,使用最近提出的电子道具学习规则。虽然e-prop局部近似理想的突触更新,但由于实质上的PCM非理想性,难以在忆阻衬底上实现更新。我们比较了几种广泛适用的权重更新方案,这些方案主要旨在应对这些设备的非理想性,并证明了累积梯度可以在忆阻衬底上在线有效地训练尖峰RNN。
2021-09-25 cs.ET cs.NE
Sequence learning in a spiking neuronal network with memristive synapses
大脑启发计算提出了一套算法原则,有望推动人工智能的发展。它们赋予系统自学习能力、高效的能源使用和高存储容量。大脑计算的核心概念是序列学习和预测。这种形式的计算对于我们几乎所有的日常任务都是必不可少的,例如运动生成,感知和语言。了解大脑如何执行这样的计算不仅对推进神经科学很重要,而且还为新技术的大脑启发应用铺平了道路。先前开发的序列预测和召回的脉冲神经网络实现通过局部的、生物启发的可塑性规则以无监督的方式学习复杂的高阶序列。一种新兴的硬件类型,有希望有效地运行这种类型的算法是神经形态硬件。它模拟大脑处理信息的方式,并将神经元和突触直接映射到物理基底上。忆阻器件已被确定为神经形态硬件中的潜在突触元件。特别地,氧化还原诱导的电阻式随机存取存储器(ReRAM)器件在许多方面都很突出。它们允许可扩展性,节能和快速,并且可以实现生物可塑性规则。在这项工作中,我们研究了使用ReRAM设备作为序列学习模型中生物突触替代品的可行性。我们使用神经模拟器NEST实现并模拟了包括ReRAM可塑性的模型。我们研究了不同设备属性对序列学习模型性能特征的影响,并证明了不同开关比,电导分辨率,设备变异性和突触故障的弹性。
2022-11-29 cs.ET cs.NE
State Characterisation of Self-Directed Channel Memristive Devices
针对忆阻器状态表征需求,提出一种受物理启发的通用建模方法表征自导向通道(SDC)忆阻器状态,并引入噪声感知的最小方差估计方法从电压电流对识别状态,助力忆阻器在存储与神经形态系统的应用。
2025-05-21 cs.ET physics.app-ph
Enhanced Read Resolution in Reconfigurable Memristive Synapses for Spiking Neural Networks
本文针对4位忆阻突触READ分辨率不足的问题,通过器件级缩放及READ电压、体偏置运行时自适应显著提升电流裕度与分辨率,并在分类任务中验证其抗噪准确率优势。
2023-06-23 cs.ET
NbO2-based memristive neurons for burst-based perceptron
基于脉冲学习的类脑计算在降低计算能力方面具有广阔的前景。由两个局部有源忆阻器组成的忆阻神经元被用来模拟生物神经元的动力学行为。在这项工作中,基于NbO2的忆阻神经元的动态工作条件和它们的转换之间的尖峰和爆发的边界进行了全面的研究。此外,分析了突发的基本机制,并证明了在每个突发期间的尖峰数量的可控性。最后,提出了在感知器神经网络中,利用每个突发周期内的脉冲数来编码信息,实现模式分类和信息传输。研究结果为神经电阻在脉冲神经网络中的实际应用提供了一种很有前途的方法。
2020-04-10 cs.ET eess.SP
Hierarchical Composition of Memristive Networks for Real-Time Computing
材料科学的进步已经导致了忆阻器件的自组装网络的物理实例化,并通过储备池计算证明了它们的计算能力。储备池计算是一种利用集体系统动力学进行实时的【形】计算的方法。一个动态系统,称为水库,是激发与随时间变化的信号和观察其状态被用来重建所需的输出信号。然而,这种单片组件由于信号相互依赖性和所得到的相关读出而限制了计算能力。在这里,我们介绍了一种方法,分层组成一组互连的忆阻网络到一个更大的水库。我们使用信号放大和恢复来降低储层状态相关性,这改善了从输入信号中的特征提取。使用相同数量的输出信号,这种异构小型网络的分层组成在波形生成任务上比单片忆阻网络至少好20%。在NARMA-10任务中,与具有S形神经元的均匀水库相比,我们将误差减少了2倍,而单个忆阻网络无法产生正确的结果。分层组合是用这种新型纳米级硬件解决更复杂任务的关键。
2015-04-26 cond-mat.dis-nn cs.ET cs.NE
Chalcogenide optomemristors for multi-factor neuromorphic computation
设备和电路上的神经处理正迅速成为模拟生物神经网络的流行方法。已经采用了精细的CMOS和忆阻技术来实现这一点,包括基于硫族化物的存内计算概念。在这里,我们表明,纳米级的硫属化物半导体薄膜可以作为构建块的新型神经计算,其可调的电子和光学特性的联合利用。我们证明了锗掺杂硒化物的非线性光活性腔可以模拟三因素新赫布塑性和分流抑制的计算功能强大的非线性操作。我们应用这个属性来解决一个迷宫游戏,通过强化学习,以及一个单神经元解决方案的XOR,这是一个线性不可分割的问题与点神经元。我们的研究结果指出了一种新的忆阻器,对类脑计算具有广泛的意义。
2021-07-02 cs.ET physics.app-ph
Threshold Logic Computing: Memristive-CMOS Circuits for Fast Fourier Transform and Vedic Multiplication
脑启发电路可以提供一种替代解决方案来实现利用逻辑门的容错和泛化能力的计算架构。在本文中,我们提出了由忆阻平均电路结合运算放大器和/或CMOS反相器组成的忆阻阈值电路结构,以实现复杂的计算电路。所开发的忆阻阈值逻辑门用于设计现代微处理器中有用的FFT和乘法电路。总的来说,所提出的阈值逻辑在各个方面都优于以前的忆阻CMOS逻辑单元,然而,表明较低的芯片面积,较低的THD和可控的泄漏功率,但相对于CMOS逻辑具有较高的功耗。
2014-11-19 cs.AR cs.ET
Hardware-Algorithm Co-Design for Hyperdimensional Computing Based on Memristive System-on-Chip
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出了一种基于忆阻系统级芯片的超维计算硬件-算法协同设计方法,通过利用忆阻交叉bar阵列的随机性与面向硬件的编码技术,实现了在边缘设备上的高效能AI应用。
2025-12-23 cs.ET
Emulating short-term synaptic dynamics with memristive devices
神经形态架构为实现超越传统冯诺依曼机器的计算能力提供了巨大的希望。实现这一愿景的基本要素是高度可扩展的突触模拟,不会破坏生物保真度。在这里,我们表明,单固态二氧化钛忆阻器可以表现出非联想可塑性现象中观察到的生物突触,其亚稳态记忆状态转换特性的支持。我们发现,与传统的固态存储器的使用相反,速率限制波动的存在是捕捉短期突触动态的一个关键特征。我们还展示了如何利用我们的原型的时间动态来实现时空计算,展示了忆阻器构建生物物理学现实的神经处理系统的全部潜力。
2015-07-08 cs.ET
Accurate Emulation of Memristive Crossbar Arrays for In-Memory Computing
存内计算是新兴的非冯·诺依曼计算范例,其中通过利用存储器设备的物理属性在存储器中执行某些计算任务。诸如相变存储器(PCM)之类的忆阻器件(其中根据它们的电导水平来存储信息)特别适合于存内计算。特别地,忆阻器件在以交叉开关配置组织时可以用于通过利用基尔霍夫电路定律来执行矩阵-向量乘法运算。为了探索这种存内计算核在诸如深度学习的应用中以及用于系统级架构探索的可行性,非常期望开发捕获忆阻器件的关键物理属性的精确硬件仿真器。在这里,我们提出了一个这样的PCM仿真器,并通过实验验证它使用的PCM原型芯片的测量。此外,我们提出了一个应用程序的仿真器的神经网络推理,我们的仿真器可以捕捉到约400,000 PCM设备的电导演变非常好。
2020-04-07 cs.ET
RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks
使用后CMOS技术的类脑计算由于其解决冯-诺依曼计算系统中的存储器和功率瓶颈的有前途的能力而获得极大的普及。在本文中,我们提出了一种可重构和节能的架构,内置于忆阻交叉阵列(MCA)的深度脉冲神经网络(SNN)。先前的工作主要集中在交叉开关上SNN的设备和电路实现上。CNOARC通过提出一个完整的SNN加速系统及其后续分析来推进这一点。EMARC利用MCA的能量效率进行内积计算,并实现了分层可重构设计,以可扩展的方式将数据流模式纳入SNN。我们在不同SNN上评估了所提出的架构,复杂度范围从2k-230 k神经元和1.2M-5.5M突触。在这些网络上的仿真结果表明,与基线数字CMOS架构相比,对于多层感知器(深度卷积网络),CAMARC实现了500倍(15倍)的能效和300倍(60倍)的吞吐量。此外,MARC是一种技术感知架构,它将给定的SNN拓扑映射到给定交叉开关技术的最优化MCA大小。
2017-02-20 cs.ET cs.NE
Emulating long-term synaptic dynamics with memristive devices
忆阻器件的潜力经常被用于实现类脑计算的神经形态架构。然而,设计过程不允许材料的扩展操作,与CMOS技术不同,在生物突触是忆阻器的观点下,忆阻材料的性质应该在这种计算的背景下被利用。在这里,我们表明,单固态二氧化钛忆阻器可以表现出在生物皮层突触中观察到的关联可塑性现象,并被捕获的现象学可塑性模型称为三联体规则。该规则包括一个尖峰定时依赖的可塑性制度和一个经典的赫布联想制度,并与大量的电生理数据兼容。通过一组实验与我们的人工,忆阻,突触,我们表明,与传统的固态存储器的使用,场和热驱动的开关机制,可以呈现双极和/或单极编程模式的共存是一个显着的特点捕捉长时程增强和抑郁症突触动态。我们进一步证明了忆阻器的非线性累积性质促进了长时程增强或抑制记忆转换。
2016-04-22 cs.ET
Memristive System Design for Variable Pixel G-Neighbor Denoising Filter
图像模糊伪影是任何空间去噪滤波器的主要挑战。该伪影由给定邻域或固定大小的窗口内的异质强度贡献。选择最相似的强度(G-近邻)有助于调整具有边缘感知性质的窗口形状,并随后减少这种模糊伪影。本文提出了一种忆阻电路的设计,以实现这种可变像素的G-邻居滤波器。忆阻电路表现出并行处理能力(近实时)和神经形态架构。所提出的设计被证明是两个算法(MATLAB)和电路(SPICE)的仿真。电路设计评估的各种参数,如处理时间,制造面积使用,和功耗。去噪性能证明使用图像质量指标,如峰值信噪比(PSNR),均方误差(MSE),和结构相似性指数测度(SSIM)。自适应滤波与均值滤波相结合,均方误差平均降低约65%,峰值信噪比和信噪比分别提高近18%和12%。
2017-09-24 cs.ET
Memristive, Spintronic, and 2D-Materials-Based Devices to Improve and Complement Computing Hardware
在数据驱动的经济中,几乎所有行业都受益于信息技术的进步-强大的计算系统对于快速技术进步至关重要。然而,如果我们不解决当前计算能力需求与现有技术所能提供的能力之间的差异,这一进展可能会放缓。提高能源效率的关键限制是与冯·诺依曼架构相关的数据传输成本的过度增长以及互补金属氧化物半导体(CMOS)技术(例如晶体管)的基本限制。在这篇透视文章中,我们讨论了三种可能在未来计算系统中发挥重要作用的技术:忆阻电子学,自旋电子学和基于2D材料的电子学。我们提出了如何这些可能会改变传统的数字计算机,并有助于采用新的范例,如类脑计算。
2022-07-01 cs.ET
Preprocessing Methods for Memristive Reservoir Computing for Image Recognition
针对忆阻储备池计算性能依赖预处理方法与储备池规模且缺乏相关量化评估的问题,本文系统对比多种预处理方法对准确率与能耗的影响,提出基于奇偶校验的预处理方法,可在器件数适度增加的前提下提升2-6%的准确率,为提升系统效率与可扩展性提供支撑。
2025-07-31 cs.AR cs.ET cs.NE
Simulation platform for pattern recognition based on reservoir computing with memristor networks
忆阻系统和设备潜在地可用于实现应用于模式识别的储备池计算(RC)系统。然而,忆阻RC系统的计算能力取决于诸如系统架构和忆阻元件的物理特性等交织的因素,这使得识别系统性能的关键因素变得复杂。在这里,我们开发了一个模拟平台,RC与忆阻器设备网络,它可以测试不同的系统设计的性能改进。数值模拟表明,忆阻网络的RC系统可以产生高的计算性能相媲美的国家的最先进的方法在三个时间序列分类任务。我们证明,通过适当地设置网络结构、忆阻器的非线性和前/后处理,可以实现设备到设备可变性下的出色和鲁棒的计算,这增加了使用不可靠的组件设备进行可靠计算的潜力。我们的研究结果有助于建立一个设计指南的忆阻水库实现节能机器学习硬件。
2022-06-19 cs.ET cs.NE
A Robust Learning Rule for Soft-Bounded Memristive Synapses Competitive with Supervised Learning in Standard Spiking Neural Networks
Groningen Cognitive Systems and Materials Center(格罗宁根认知系统与材料中心);University of Groningen(格罗宁根大学)
忆阻器件是一类电路元件,作为未来脑启发计算的构建块显示出很大的希望。在理论神经科学中,有一种很有影响力的观点认为大脑是一个功能计算装置:给定输入信号,大脑应用一个功能,以产生新的内部状态和运动输出。因此,能够近似函数是未来大脑研究的基础,也是获得更高效计算机器的基础。在这项工作中,我们采用了一种新的监督学习算法-基于控制掺杂铒钛酸锶忆阻突触-学习非平凡的多维函数。通过在脉冲神经网络模拟器Nengo中实现我们的方法,我们表明我们至少能够匹配使用理想的线性突触时获得的性能,并且-这样做-这种忆阻器件可以用作计算基底,以实现更高效的大脑启发计算。
2022-04-12 cs.ET cs.LG cs.NE
Neuromorphic Computing - An Overview
针对传统计算逼近极限的问题,本文概述神经形态计算这一效仿人脑的新兴领域,介绍其必要性、现有技术,涵盖传统硬件上的神经形态风格计算及专用硬件(神经形态芯片与光子学系统)的优缺点,并展望未来。
2025-10-17 cs.ET cs.NE
A memristive deep belief neural network based on silicon synapses
针对传统忆阻器良率低、电导态有限的问题,研究人员用CMOS工艺制备硅浮栅忆阻突触,构建忆阻深度置信神经网络,在MNIST数据集上实现97.05%的识别准确率,能效远高于GPU。
2023-07-21 cond-mat.dis-nn cond-mat.mtrl-sci cs.ET