Computing Networks: A General Framework to Contrast Neural and Swarm Cognitions
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas(应用数学与系统研究所);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
本文提出了计算网络(CN)的框架。CN被用来概括神经和群架构。人工神经网络,蚁群优化,粒子群优化,和现实的生物模型被用作CN的实例化的例子。将这些体系结构描述为CN允许它们进行比较。它们的差异和相似之处允许识别使神经和群架构能够执行复杂计算并表现出复杂认知能力的属性。在这方面,氯化萘最相关的特点是存在多种动力和功能尺度。多个动态和功能尺度与适应,认知(大脑和群集)和计算之间的关系进行了讨论。
2010-07-26 cs.AI cs.NE nlin.AO
Neural Computing
本章旨在提供对世界问题的下一个层次的理解,以及对这些问题的解决方案,这些问题在神经计算领域内非常好,同时在他们的方法中是智能的,以唤起教育家,研究人员,学术专业人员,学生和相关人员的创新意识,通过突出这一领域的主要研究人员和创新者所做的工作,鼓励读者开发更新和更先进的技术。通过本章的分析,我们将对当前的社会问题进行探讨,并结合目前的理论和研究成果,提出相应的解决方案。迄今为止发现的不同类型的神经网络和其中一些神经网络的应用,除了它们的理论理解之外,还集中在应用中涉及的工作和核心概念上。
2021-07-06 cs.AI cs.LG cs.NE
Comparison of Neural Network based Soft Computing Techniques for Electromagnetic Modeling of a Microstrip Patch Antenna
Birla Institute of Technology and Science Pilani(皮拉尼比尔拉技术与科学学院)
本文提出了比较各种神经网络和算法的基础上的准确性,快速性和一致性的天线建模。利用MATLAB Nntool,以介电常数、基片高度和工作频率为输入,采用22种不同的网络和训练算法组合,对矩形微带天线的尺寸进行了预测。网络的比较和表征是基于准确性、均方误差和训练时间进行的。另一方面,算法在训练过程中的准确性,速度,可靠性和平滑性进行了分析。最后,对这些结果进行了分析,并根据用途、优点和缺点对每个神经网络和算法提出了建议。例如,据观察,减少径向偏置网络是最准确的网络和缩放共轭梯度是最可靠的电磁建模算法。本文将帮助研究人员直接找到最佳的网络和算法,而不做费时的实验。
2021-12-07 cs.AI cs.NE
Autonomous Perceptron Neural Network Inspired from Quantum computing
本摘要将在纠正方程式中的小错误后进行修改。(二)
2016-02-08 cs.NE quant-ph
INsight: A Neuromorphic Computing System for Evaluation of Large Neural Networks
深度神经网络已经在各种认知任务中表现出令人印象深刻的结果,例如目标检测和图像分类。为了执行大型网络,冯·诺依曼计算机将大量的权重参数存储在外部存储器中,并且处理元件是时间共享的,这导致了功耗高的I/O操作和处理瓶颈。本文描述了一个类脑计算系统,该系统是从头开始设计的大规模神经网络的节能评估。该计算系统由一个非传统的编译器,一个神经形态架构,和一个空间高效的微架构,利用现有的集成电路设计方法。编译器将经过训练的前馈网络分解为稀疏连接的网络,线性压缩权重,并生成减少连接数量的时间延迟神经网络。简化网络中的连接和单元被映射到硅突触和神经元。我们展示了一个现场可编程门阵列的基础上,执行MNIST手写数字分类的准确率为97.64%的类脑计算系统的实现。
2015-08-05 cs.NE
On Optimizing Deep Convolutional Neural Networks by Evolutionary Computing
深度网络优化是目前非常活跃的研究领域。随着神经网络变得越来越深,手动优化网络的能力变得越来越困难。提出了小批量归一化、有效域的识别、动量更新、残差块的引入、学习率的采用等方法来加快人工训练过程中的收敛速度,同时保持较高的精度水平。然而,对于给定的问题,寻找最优的拓扑结构的问题正在成为一个具有挑战性的任务,需要立即解决。很少有研究人员试图使用进化计算方法来优化网络结构。其中,很少有人成功进化出具有强化学习和长短期记忆的网络。很少有人将进化编程应用于深度卷积神经网络。这些尝试主要是对网络结构进行改进,然后对网络的超参数进行优化。然而,仍然缺乏在当前在手动过程中实践的技术下演化深层网络结构的机制。将这种技术结合到染色体水平的进化计算中,当然可以使我们获得更好的拓扑深层结构。本文最后指出了基于进化的深度神经网络和深度神经网络之间的差距。此外,它还提出了一些使用进化计算技术优化深度神经网络的见解。
2018-08-06 cs.NE
A Bibliometric Review of Neuromorphic Computing and Spiking Neural Networks
本文通过文献计量方法系统梳理近22年神经形态计算与脉冲神经网络领域的研究趋势、核心文献、合作网络及主题演变,为AI研究者提供入门指引并展望脉冲计算前景。
2023-04-14 cs.NE
Synaptic Sampling of Neural Networks
Sandia National Laboratories(桑迪亚国家实验室)
本文提出scANN技术,通过将神经网络权重视为伯努利抛硬币实现直接采样,适用于硬件级概率计算,在接近确定性性能的同时显式描述输出的不确定性。
2023-11-21 cs.AI cs.LG cs.NE
Hyperdimensional Computing vs. Neural Networks: Comparing Architecture and Learning Process
Villanova University(维拉诺瓦大学)
超维计算(HDC)作为一种新兴的非冯·诺依曼计算范式,受到了广泛的关注.受人类大脑功能的启发,HDC利用高维模式来执行学习任务。与神经网络相比,HDC显示出诸如能量效率和更小的模型大小等优点,但在复杂应用中的学习能力低于标准。最近,研究人员观察到,当与神经网络组件相结合时,HDC可以实现比传统HDC模型更好的性能。这促使我们探索HDC理论基础背后更深层次的见解,特别是与神经网络的联系和差异。在本文中,我们对HDC和神经网络进行了比较研究,以提供一个不同的角度,HDC可以从一个非常紧凑的神经网络训练的前期。实验结果表明,这种神经网络派生的HDC模型可以实现高达21%和5%的准确性提高,分别从传统的和基于学习的HDC模型。本文旨在提供更多的见解,并阐明未来的研究方向,这一流行的新兴学习计划。
2022-07-24 cs.LG cs.NE
SEMULATOR: Emulating the Dynamics of Crossbar Array-based Analog Neural System with Regression Neural Networks
Pohang University of Science and Technology(浦项科技大学)
由于深度神经网络需要大量的计算和存储器,因此使用新兴存储器设备的模拟计算是边缘设备数字计算的有前途的替代方案。然而,由于模拟计算系统的仿真时间越来越长,它还没有被探索。为了克服这个问题,开发了解析近似的仿真器,但是这些模型是不准确的,并且缩小了乘法累加运算(MAC)的外围电路的选择。在这个意义上,我们提出了一种方法,SEMULATOR(模拟模拟计算模块的模拟器),它使用深度神经网络来模拟基于纵横制的模拟计算系统的行为。与建议的神经架构,我们的实验和理论表明,它模拟了一个MAC单元的神经计算。此外,与SPICE等电路仿真器相比,仿真时间大大缩短。
2021-01-19 cs.ET cs.LG cs.NE
Hyperdimensional Computing with Spiking-Phasor Neurons
向量符号架构(VSAs)是一个强大的框架,用于表示组合推理。它们适用于神经网络实现,使我们能够创建能够执行认知功能的神经网络,如空间推理、算术、符号绑定和逻辑。但是所涉及的向量可能相当大,因此另一个标签是超维(HD)计算。神经形态硬件的进步有望将神经网络的运行时间和能量足迹减少几个数量级。在本文中,我们扩展了一些开创性的工作,以运行VSA算法的尖峰神经元,可以有效地运行在神经形态硬件的基板上。
2023-02-28 cs.NE
Fault Tolerance in Distributed Neural Computing
随着计算系统复杂性的增加,完全的硬件可靠性不再能得到保证。但是,我们需要确保整个系统的可靠性。人工神经网络最重要的特征之一是其内在的容错性。这项工作的目的是调查这种网络是否具有可以应用于更广泛的计算系统的功能。本文提出了一种分析,在学习和操作阶段,分布式前馈神经网络与分散的事件驱动的时间管理,这是不敏感的间歇性故障所造成的不可靠的通信或故障的硬件组件。模型中使用的学习规则在空间和时间上都是局部的,这允许有效的可扩展的分布式实现。我们调查注入故障引起的开销,并分析在网络的不同区域的计算硬件有限的故障的敏感性。
2015-09-30 cs.DC cs.NE
CMOS Implementation of Field Programmable Spiking Neural Network for Hardware Reservoir Computing
u-tokyo(东京大学)
本文提出一种基于CMOS的场可编程脉冲神经网络架构,用于硬件共振计算,通过集成电压控制振荡器和可编程权重互连,实现任意共振配置,并在仿真和芯片测量中展示了FORCE算法、线性与非线性记忆容量和NARMA10任务的高效实现。
2025-09-22 cs.NE
When In-memory Computing Meets Spiking Neural Networks -- A Perspective on Device-Circuit-System-and-Algorithm Co-design
Yale University(耶鲁大学)
本综述探讨脉冲神经网络与模拟存内计算的交叉,强调二者在低功耗边缘计算中的协同潜力,并指出需通过器件到系统的协同设计来解决系统级瓶颈,推动低功耗神经形态计算发展。
2024-08-22 cs.AI cs.AR cs.LG
Memristors -- from In-memory computing, Deep Learning Acceleration, Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired Computing
机器学习,特别是以深度学习的形式,推动了人工智能最近的大部分基本发展。深度学习基于计算模型,这些模型在一定程度上是生物启发的,因为它们依赖于并行操作的连接的简单计算单元的网络。深度学习已成功应用于对象/模式识别、语音和自然语言处理、自动驾驶汽车、智能自诊断工具、自主机器人、知识渊博的个人助理和监控等领域。这些成功主要由三个因素支持:大量数据的可用性,计算能力的持续增长和算法创新。摩尔定律的即将消亡,以及随之而来的通过缩放可以实现的计算能力的预期适度改进,提出了所描述的进展是否会由于硬件限制而减慢或停止的问题。本文回顾了一种新型的超越CMOS硬件技术忆阻器的案例,它是实现高能效存内计算、深度学习加速器和脉冲神经网络的潜在解决方案。中心主题是对非冯诺依曼计算架构的依赖以及开发定制学习和推理算法的需求。为了证明生物学的经验教训可以为人工智能的进一步发展提供方向,我们简要讨论了一个基于储备池计算的例子。我们通过推测未来神经形态和大脑启发的计算系统的大局观来结束审查。
2020-04-30 cs.ET cs.NE
Hardware-friendly Neural Network Architecture for Neuromorphic Computing
神经网络体系结构的硬件-软件协同优化正在成为研究的主流,特别是由于商业神经形态芯片(如IBM Truemorth和Intel Loihi)的出现。考虑到硬件限制,特定神经网络架构的开发与神经形态硬件的设计同步进行,将对完整的系统级应用产生巨大影响。在本文中,我们研究了各种神经网络架构,并提出了一个是硬件友好的神经形态硬件与交叉阵列的突触。考虑到硬件的限制,我们演示了如何可以设计的神经形态硬件,以最大限度地提高分类精度的训练网络架构,同时,我们选择了一个神经网络架构,以最大限度地利用神经形态核心。我们还提出了一个框架映射到一个神经形态芯片的神经网络命名为映射和映射(MaD)框架。MaD框架被设计为通用的,因为它是一个Python包装器,原则上可以与任何神经形态芯片的模拟器工具集成。
2019-04-03 cs.NE
Spiking Neural Network Phase Encoding for Cognitive Computing
本文提出基于认知计算原理,利用脉冲神经网络和离散傅里叶变换实现任意时间序列信号的重建,通过N个神经元捕获频率分量并探讨幅度相位关系,为认知信号分析提供新方法。
2024-05-25 cs.NE
Multiplier-less Artificial Neurons Exploiting Error Resiliency for Energy-Efficient Neural Computing
大规模人工神经网络在分类和识别应用中显示出巨大的潜力。然而,它们的大计算需求扩展了计算平台的能力。这些神经网络的基本组成部分是神经元及其突触。数字硬件神经元的核心由乘法器、累加器和激活函数组成。乘法器消耗了数字神经元中的大部分处理能量,从而消耗了人工神经网络的硬件实现中的大部分处理能量。我们提出了一个近似乘法器,利用计算共享的概念,并利用神经网络应用程序的错误弹性,以实现改善的能源消耗。我们还提出了无乘法器人工神经元(MAN),以更大程度地改善能耗,并调整训练过程以确保准确性的最小下降。我们评估了所提出的设计5识别应用程序。结果表明,35%和60%的能源消耗减少,神经元大小为8位和12位,分别与最大的损失约2.83%的网络精度相比,传统的神经元实现。我们还实现了37%和62%的面积减少为8位和12位的神经元大小,分别在等速条件下。
2016-02-27 cs.NE
Reservoir Computing based Neural Image Filters
University of Virginia(弗吉尼亚大学)
清晰的图像是机器视觉系统正确识别视觉特征的重要要求。然而,物理成像系统的环境、光学器件、电子器件可能在所获取的图像中引入极端的失真和噪声。在这项工作中,我们探讨了使用储备池计算,一个动态的神经网络模型的灵感来自生物系统,在创建动态图像滤波系统,提取信号从噪声中使用逆建模。我们讨论了实现这些网络的硬件接近传感器的可能性。
2018-09-07 cs.CV cs.ET cs.NE
Photonic neural field on a silicon chip: large-scale, high-speed neuro-inspired computing and sensing
光子神经网络在低延迟和超低能耗的高速神经处理方面具有巨大的潜力。然而,大规模神经网络的片上实现仍然是具有挑战性的,由于其低的可扩展性。在此,我们提出了光子神经场的概念,并在硅芯片上实验性地实现了它,以实现高度可扩展的神经启发计算。与现有的光子神经网络相比,光子神经场是一个空间连续的场,非线性地响应于光输入,其高空间自由度允许在毫米级芯片上进行大规模和高密度的神经处理。在这项研究中,我们使用片上的光子神经场作为一个水库的信息,并展示了一个高速混沌时间序列预测与低误差使用类似的储备池计算的训练方法。我们讨论的光子神经场是潜在的能够执行一个以上的千倍乘累加操作每秒为一个单一的输入波长上的足迹小到几平方毫米。除了处理之外,光子神经场还可以用于快速感测光学相位的时间变化,这得益于其对光输入的高灵敏度。光学处理与光学传感的融合为端到端数据驱动的光学传感方案铺平了道路。
2021-05-22 cs.ET cs.NE physics.app-ph
Speed-based Filtration and DBSCAN of Event-based Camera Data with Neuromorphic Computing
本文面向神经形态计算与事件相机数据处理,提出两种脉冲神经网络架构,分别实现基于速度的事件过滤和基于DBSCAN的事件聚类。
2024-01-26 cs.NE
DropIn: Making Reservoir Computing Neural Networks Robust to Missing Inputs by Dropout
Università di Pisa(比萨大学);Biobeats Ltd(Biobeats 有限公司)
本文提出了一种新的,原则性的方法来训练递归神经网络的储备池计算家庭是强大的,在预测时间丢失的部分输入功能。通过建立在Dropout正则化的集合属性上,我们提出了一种名为DropIn的方法,该方法可以有效地将神经模型训练为子网络的委员会机器,每个子网络都能够使用原始输入特征的子集进行预测。我们讨论的应用程序的DropIn方法的背景下,储备池计算模型和目标应用程序的输入源是不可靠的或容易被断开,如在普及的无线传感器网络和环境智能。我们使用来自这些应用领域的真实数据提供了一个实验评估,展示了Dropin方法如何允许保持与模型的预测性能相当的预测性能,而不会丢失功能,即使20%-50%的输入不可用。
2017-05-07 cs.LG cs.NE stat.ML
Exponential scaling of neural algorithms - a future beyond Moore's Law?
虽然大脑长期以来一直被认为是未来计算的潜在灵感,但摩尔定律-从超级计算机到智能手机等技术革命的缩放特性-在很大程度上受到材料科学进步的推动。随着晶体管的能力即将结束,人们越来越关注新的计算方法,包括对神经计算潜力的重新热情。本文描述了神经技术的最新进展,其中许多都是在近几十年来计算的快速发展的帮助下,现在重新点燃了这个机会,将神经计算的见解带入更广泛的计算应用。随着我们对大脑的了解越来越多,我们激发新的计算模式的能力也在不断进步。这些新的计算方法,我们已经在深度学习和神经形态硬件等技术中看到了,它们本身将提高我们了解大脑的能力,因此可以预测会产生更进一步的见解。本文将描述这种正反馈如何有潜力改变计算科学和神经科学如何相互作用的局面,并建议计算中的下一种形式的指数缩放可能会出现在我们对大脑的逐步理解中。
2017-07-13 cs.NE q-bio.NC
Device-Circuit-Architecture Co-Exploration for Computing-in-Memory Neural Accelerators
University of Notre Dame(圣母大学);University of Pittsburgh(匹兹堡大学)
神经架构和硬件设计的共同探索有望同时优化网络精度和硬件效率。然而,用于共同探索的最先进的神经架构搜索算法专用于传统的von-vonann计算架构,其性能受到众所周知的存储器墙的严重限制。在本文中,我们首次将内存计算架构与神经架构搜索相互作用,从而轻松超越内存墙,旨在找到具有高网络精度和最大硬件效率的最有效神经架构。这种新颖的组合为提高性能提供了机会,但也带来了一系列挑战。设计空间跨越从器件类型、电路拓扑到神经架构的多个层次。此外,在存在器件变化的情况下,性能可能会降低。为了解决这些挑战,我们提出了一个跨层的探索框架,即NACIM,它共同探索设备,电路和架构设计空间,并考虑到设备的变化,以找到最强大的神经架构。实验结果表明,NACIM可以找到一个强大的神经网络与0.45%的准确性损失的存在下的设备变化,从国家的最先进的NAS的76.44%的损失相比,没有考虑变化;此外,NACIM实现了能源效率高达16.3 TOPs/W,比国家的最先进的NAS高3.17倍。
2020-03-21 cs.LG cs.NE
Reservoir Computing with Evolved Critical Neural Cellular Automata
本文提出利用演化策略优化神经元胞自动机(NCA)使其达到临界状态,并将其作为储备池计算的基底,在5-bit记忆任务中获得满分,在图像分类任务上表现优异,且对极端初始条件具有鲁棒性。
2025-08-13 cs.NE
Toward stochastic neural computing
本文提出随机神经计算理论,通过矩神经网络捕捉脉冲神经网络的统计特性,实现高效训练并最小化预测不确定性,应用于神经形态硬件,推动类脑智能发展。
2024-04-21 cs.NE physics.bio-ph q-bio.NC
Combinatorial optimization solving by coherent Ising machines based on spiking neural networks
本研究设计了一种由反对称耦合的简并光学参量振荡器脉冲和耗散脉冲构建的光学脉冲神经网络,并引入非线性传递函数,数值证明该脉冲神经网络-相干伊辛机在组合优化问题上性能优异,有望推动神经计算与光学计算的新应用。
2023-10-20 cs.NE quant-ph
Computing the Stereo Matching Cost with a Convolutional Neural Network
University of Ljubljana(卢布尔雅那大学);New York University(纽约大学)
我们提出了一种方法,用于提取深度信息的纠正图像对。我们训练一个卷积神经网络来预测两个图像块的匹配程度,并使用它来计算立体匹配成本。通过基于交叉的成本聚合和半隐式匹配来细化成本,然后进行左右一致性检查以消除遮挡区域中的错误。我们的立体方法在KITTI立体数据集上实现了2.61%的出错率,并且是目前(2014年8月)在该数据集上表现最好的方法。
2015-10-20 cs.CV cs.LG cs.NE
Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing
这项工作提出了一种新的算法,称为增强卷积拓扑的进化探索(EXACT),它能够进化卷积神经网络(CNN)的结构。EXACT部分是在增强拓扑的神经进化(NEAT)算法之后建模的,但有一些明显的例外,允许它扩展到大规模分布式计算环境,并使用卷积滤波器来进化网络。除了多线程和MPI版本之外,EXACT已经作为BOINC志愿者计算项目的一部分实现,允许大规模进化。在两个月的时间里,公民科学网格上的4,500多台自愿计算机训练了12万多个CNN,并在MNIST手写数字数据集上实现了98.32%的测试数据准确率。这些结果甚至更强,因为用于训练CNN的反向传播策略相当初级(ReLU单元,L2正则化和Nesterov动量),并且这些是在没有细化反向传播超参数的情况下进行的初始测试运行。此外,EXACT进化策略与用于训练CNN的方法无关,因此可以通过弹性变形、预训练和丢弃等先进技术进一步改进它们。进化的网络也很有趣,显示出“有机”结构和与标准人类设计架构的显着差异。
2017-03-15 cs.NE
Waves and symbols in neuromorphic hardware: from analog signal processing to digital computing on the same computational substrate
受皮层微电路启发,提出用循环脉冲神经网络在同一神经形态基底上实现模拟信号处理与数字计算的无缝切换,并通过硬件实验验证其稳健性。
2025-02-27 cs.NE
Characterizing Self-Developing Biological Neural Networks: A First Step Towards their Application To Computing Systems
碳纳米管通常被视为硅晶体管的唯一替代技术。虽然它们是最有可能的短期办法,但也应研究其他长期办法。虽然将生物神经元作为替代组件乍一看似乎荒谬,但CMOS-神经元接口的最新进展表明这一方向可能并非不切实际;此外,已知生物神经元能够自组装成能够执行复杂信息处理任务的非常大的网络,这尚未通过其他新兴技术实现。在生物神经元之上设计计算系统的第一步是构建自组装生物神经网络的抽象模型,就像计算机架构师操纵晶体管和电路的抽象模型一样。在这篇文章中,我们提出了生物神经网络结构的第一个模型。我们提供的经验证据表明,该模型匹配的生物神经网络中发现的活的有机体,并表现出小世界的图形结构特性,常见于许多大型和自组织系统,包括生物神经网络。更重要的是,我们提取的简单的本地规则和特点,这些网络的增长,使潜在的大,但现实的生物神经网络的发展,将需要复杂的信息处理/计算任务。基于这个模型,未来的工作将针对理解这种网络的演化和学习特性,以及如何使用它们来构建计算系统。
2005-05-10 cs.AR cs.NE nlin.AO
High-Throughput In-Memory Computing for Binary Deep Neural Networks with Monolithically Integrated RRAM and 90nm CMOS
由于密度、泄漏和并行计算挑战,深度学习硬件设计一直受到SRAM等传统存储器的挑战。电阻器件可以解决密度和易失性问题,但受到外围电路集成的限制。在这项工作中,我们展示了一个可扩展的RRAM为基础的存内计算的设计,称为XNOR-RRAM,这是在90纳米CMOS工艺与单片集成的RRAM器件之间的金属1和2。我们将128 x 64 RRAM阵列与包括行/列解码器和闪存模数转换器(ADC)在内的CMOS外围电路集成在一起,这些电路共同成为面向大型深度神经网络(DNN)的可扩展基于RRAM的存内计算的核心组件。为了最大限度地提高存内计算的并行性,我们同时置位RRAM阵列的所有128条字线,沿位线执行模拟计算,并使用ADC对复位电压进行复位。通过写验证方案收紧低阻态的电阻分布,并对ADC失调进行校准。原型芯片测量表明,所提出的设计分别实现了MNIST和CIFAR-10数据集的98.5%和83.5%的高二进制DNN准确度,能量效率分别为24 TOPS/W和158 GOPS吞吐量。与最先进的文献相比,这表示吞吐量、能量延迟乘积(EDP)和能量延迟平方乘积(ED 2 P)分别提高了5.6倍、3.2倍和14.1倍。所提出的XNOR-RRAM可以为面积/能量受限的边缘计算设备实现智能功能。
2019-09-16 cs.ET cs.NE
Towards Budget-Driven Hardware Optimization for Deep Convolutional Neural Networks using Stochastic Computing
近年来,深度卷积神经网络(DCNN)在许多机器学习应用中取得了巨大的成功。然而,深层结构带来了计算复杂度的显著增加。大规模深度学习系统主要在高性能服务器集群中运行,因此限制了应用程序扩展到个人或移动设备。以前在DCNN的GPU和/或FPGA加速方面的工作显示出越来越高的加速比,但忽略了其他限制,如面积,功率和能量。随机计算(SC)作为一种独特的数据表示和处理技术,有可能实现大规模深度学习系统的完全并行和可扩展的硬件实现设计。提出了一种以预算需求为驱动、兼顾总体精度性能的自动设计分配算法。这种系统化的方法使得能够自动设计DCNN,其中所有设计参数被联合优化。实验结果表明,该算法可以实现所有设计参数的联合优化给定的综合预算的DCNN。
2018-05-10 cs.ET cs.NE
High-Speed CMOS-Free Purely Spintronic Asynchronous Recurrent Neural Network
类脑计算系统克服了传统冯·诺依曼计算体系结构的局限性。这些计算系统可以通过使用比CMOS更有效的新兴技术来进一步改进神经计算。最近的研究表明,忆阻器和自旋电子器件在各种神经网络设计中提高了效率和速度。本文提出了一种生物启发的全自旋电子神经元用于全自旋电子Hopfield RNN。该网络用于解决任务,并将结果与当前使用新兴技术的Hopfield神经形态架构进行比较。
2022-10-01 cond-mat.dis-nn cs.NE eess.SP
Boda-RTC: Productive Generation of Portable, Efficient Code for Convolutional Neural Networks on Mobile Computing Platforms
神经网络(NN)的流行跨越学术界、工业界和流行文化。特别地,卷积神经网络(CNN)已经被应用于许多基于图像的机器学习任务,并且已经产生了强有力的结果。用于大型和/或深度CNN模型的有效训练和部署的硬件/软件系统的可用性已经并且继续是该领域的重要考虑因素。早期的NN计算系统集中于利用现有的密集线性代数技术和库。当前的方法使用低级机器特定编程和/或闭源的、专门构建的供应商库。在这项工作中,我们提出了一个开源系统,与现有的方法相比,实现竞争力的计算速度,同时实现更高的可移植性。我们通过使用代码生成方法针对供应商中立的OpenCL平台来实现这一点。我们认为,我们的方法允许:(1)为现有的硬件目标快速开发新的计算内核,以及(2)为新的硬件目标快速调整现有的计算内核。本文介绍了针对高通Snapdragon 820移动计算平台进行CNN部署的案例研究结果。
2016-09-13 cs.DC cs.MS cs.NE
Neuromorphic on-chip reservoir computing with spiking neural network architectures
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);New Mexico State University(新墨西哥州立大学)
本文研究了在储备池计算框架中应用整合发放神经元,结合元学习与模拟退火优化网络拓扑,并在Intel Loihi神经形态芯片上实现了低功耗的混沌动态捕捉与时间序列预测。
2024-07-30 cs.ET cs.LG cs.NE
A Novel Approximate Hamming Weight Computing for Spiking Neural Networks: an FPGA Friendly Architecture
稀疏和长二进制向量的汉明重量是许多科学应用中的重要模块,特别是在我们感兴趣的脉冲神经网络中。为了改善他们的FPGA实现的面积和延迟,我们提出了一种方法的灵感来自突触传输失败,利用FPGA查找表来压缩长输入向量。为了评估这种方法的有效性,我们使用一个简单的线性加法器来计算压缩向量的“1”的数量。我们将压缩器分为两个层次的查找表和深度的两个以上的水平,浅的。通过这种方法生成的架构显示了高达82%和35%的减少不同配置的浅压缩机的面积和延迟分别。此外,我们的仿真结果表明,计算的脉冲神经网络的1024位向量的汉明重量,通过只使用深度压缩器保留了网络的混沌行为,而对学习性能的影响不大。
2021-04-29 cs.AR cs.NE
Vanishing Nodes: Another Phenomenon That Makes Training Deep Neural Networks Difficult
National Taiwan University(台湾大学)
众所周知,在训练深度网络时,梯度消失/爆炸的问题是一个挑战。在本文中,我们描述了另一种称为消失节点的现象,它也增加了训练深度神经网络的难度。随着神经网络的深度增加,网络的隐藏节点具有更高的相关行为。这导致了这些节点之间的巨大相似性。因此,隐藏节点的冗余度随着网络变得更深而增加。我们称这个问题为消失节点,我们提出了度量消失节点指标(VNI)的程度,定量测量消失的节点。VNI可以由网络参数来表征,该网络参数被解析地示出为与网络的深度成比例并且与网络的宽度成反比。理论结果表明,当VNI增加到1(其最大值)时,有效节点数为1,并且消失/爆炸梯度和消失节点是两个不同的挑战,增加了训练深度神经网络的难度。实验的数值结果表明,在反向传播训练过程中,消失节点的程度将变得更加明显,并且当VNI等于1时,即使梯度既不消失也不爆炸,网络也无法学习简单的任务(例如XOR问题)。我们将这种梯度称为行尸走肉梯度,当网络规模相对足够大时,它无法帮助网络收敛。最后,实验表明,训练失败的可能性随着网络深度的增加而增加。由于缺乏网络表示能力,训练将变得更加困难。
2019-10-22 cs.LG cs.NE stat.ML
Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic Intelligence
近年来,人们对用于边缘计算应用的人工智能电路和系统的开发越来越感兴趣。存内计算混合信号神经形态架构为边缘计算传感处理应用提供了有前途的超低功耗解决方案,这要归功于它们实时仿真脉冲神经网络的能力。这种方法提供的细粒度并行性允许这样的神经电路通过使其动态适应感测信号来有效地处理感测数据,而不必求助于冯·诺依曼架构的时间复用计算范例。为了进一步降低功耗,我们提出了一套混合信号模拟/数字电路,利用先进的全耗尽绝缘体上硅(FDSOI)集成工艺的特点。具体来说,我们探索先进的FDSOI技术的选择,以解决模拟设计问题,并相应地优化突触积分器和自适应神经元电路的设计。我们提出了电路仿真结果,并证明了电路的能力,以产生生物合理的神经动力学与紧凑的设计,优化实现大规模的脉冲神经网络的神经形态处理器。
2020-07-14 cs.ET cs.NE nlin.AO
Sparsity in Reservoir Computing Neural Networks
University of Pisa(比萨大学)
储备池计算(RC)是一种设计递归神经网络的著名策略,具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面,常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论,但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中,我们实证研究的角度下,丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接,并在连接从输入到水库。我们的研究结果指出,稀疏性,特别是在输入水库的连接,有一个重要的作用,在发展内部的时间表示,有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
First Demonstration of Second-order Training of Deep Neural Networks with In-memory Analog Matrix Computing
Peking University(北京大学)
本文首次利用存内类比矩阵计算实现深度神经网络的二次训练,通过减少训练周期和提升能效,展示了其在高效人工智能加速中的潜力。
2025-12-05 cs.AR cs.ET cs.NE
Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit
Tsinghua University(清华大学)
专用光学处理器被认为是现代计算的颠覆性技术,可以通过大幅提高计算性能从根本上加速人工智能(AI)的发展。用于神经信息处理的光学神经网络架构的最新进展已被应用于执行各种机器学习任务。然而,现有架构的复杂性和性能有限;并且每个架构都需要自己的专用设计,无法在部署后重新配置以在不同应用程序的不同神经网络模型之间切换。在这里,我们提出了一个光电可重构计算范式,通过构建一个衍射处理单元(DPU),可以有效地支持不同的神经网络,并实现了高模型的复杂性与数百万的神经元。它通过对光调制器和光电探测器的动态编程,实现了极高的数据调制速度和大规模的网络参数更新。我们演示了DPU的重新配置,以实现各种衍射前馈和递归神经网络,并开发了一种新的自适应训练方法,以规避系统的缺陷。我们将训练好的网络应用于基准数据集上的手写数字图像和人体动作视频的高速分类,实验结果显示与电子计算方法相当的分类准确性。此外,我们的原型系统与现成的光电子元件构建超过了国家的最先进的图形处理单元(GPU)的性能的几倍的计算速度和超过一个数量级的系统能源效率。
2020-08-26 cs.LG cs.NE eess.IV
Neural Computing with Coherent Laser Networks
Queens College of the City University of New York(纽约市立大学皇后学院);The Graduate Center, City University of New York(纽约市立大学研究生中心);City College of the City University of New York(纽约市立学院)
我们表明,一个相干的激光网络表现出新兴的神经计算能力。该方案利用激光网络的集体行为,将多个相位图案作为控制动力学方程的稳定不动点存储,并通过适当的激励条件检索这些图案,从而表现出联想记忆特性。首先讨论了模拟经典XY模型的无源耗散耦合激光器网络的强泵浦机制中的联想记忆功能。据讨论,尽管网络的存储容量大,固定点模式之间的大重叠有效地限制模式检索只有两个图像。接下来,我们表明,这种限制可以通过使用激光器之间的非互易耦合来提升,这允许利用大的存储容量。这项工作开辟了新的可能性,神经计算与相干激光网络作为新的模拟处理器。此外,这里讨论的底层动力学模型提出了一种新的基于能量的递归神经网络,它可以处理连续数据,而不是本质上是二进制系统的Hopfield网络和Boltzmann机器。
2022-04-05 cs.LG cs.NE nlin.PS
Neuromorphic Computing for Content-based Image Retrieval
Target Tech(塔吉特科技)
类脑计算通过模拟脉冲神经网络来模拟大脑的神经活动。在众多的机器学习任务中,神经形态芯片有望在成本和能效方面提供卓越的解决方案。在这里,我们探讨Loihi,英特尔开发的类脑计算芯片,用于图像检索的计算机视觉任务的应用。我们评估了使用深度学习嵌入的基于内容的视觉搜索和推荐系统中至关重要的功能和性能指标。我们的研究结果表明,神经形态解决方案的能效比ARM Cortex-A72 CPU高出约2.5倍,比NVIDIA T4 GPU高出12.5倍,通过轻量级的卷积神经网络进行推理,而不需要重复,同时保持相同的匹配精度。该研究验证了类脑计算在低功耗图像检索中的潜力,作为现有冯诺依曼架构的补充范例。
2021-08-17 cs.CV cs.LG cs.NE
Perturbative Gradient Training: A novel training paradigm for bridging the gap between deep neural networks and physical reservoir computing
Department of Physics and Energy Science, University of Colorado Colorado Springs(物理学与能源科学系,科罗拉多州立大学)
本文提出微扰梯度训练(PGT),通过参数空间随机微扰仅用前向传播近似梯度更新,解决物理储备池无法反向传播的问题,并在仿真和磁振子硬件实验中验证其性能可媲美标准反向传播。
2025-06-05 cond-mat.mes-hall cs.ET cs.LG