Stochastic Computing with Integrated Optics
随机计算(SC)允许降低硬件复杂度并提高错误弹性应用的能量效率。然而,计算范例的主要限制是由比特流的固有串行计算引起的低吞吐量。在本文中,我们解决的实现SC在光域中,以提高计算速度的目的。我们实现了一个通用的光学架构,允许执行多项式函数。我们提出了设计方法来探索设计空间,以优化关键指标,如电路的鲁棒性和功耗。我们表明,一个电路实现一个二阶多项式次数的功能,并在1GHz的工作导致20.1pJ的激光消耗每计算位。
2019-03-26 cs.ET physics.optics
sBSNN: Stochastic-Bits Enabled Binary Spiking Neural Network with On-Chip Learning for Energy Efficient Neuromorphic Computing at the Edge
在这项工作中,我们提出了随机二进制脉冲神经网络(sBSNN)的随机脉冲神经元和二进制突触(随机只在训练过程中),计算概率与一位精度的功率效率和内存压缩的类脑计算。我们提出了一种节能的实现所提出的sBSNN使用“随机位”作为核心计算原语,以实现随机神经元和突触,这是在90纳米CMOS工艺制造,实现高效的片上训练和推理的图像识别任务。测量的数据表明,“随机位”可以被编程为模仿尖峰神经元,以及用于训练二进制突触权重的随机尖峰定时依赖可塑性(或sSTDP)规则,而无需昂贵的随机数生成器。我们的研究结果表明,与全精度(32位)SNN相比,所提出的sBSNN实现提供了高达32倍的神经元和突触记忆压缩的可能性,并且对于双层全连接SNN,能量效率为89.49 TOPS/W。
2020-02-25 cs.AR cs.ET
Synthesizing Number Generators for Stochastic Computing using Mixed Integer Programming
随机计算(SC)是一种高密度、低功耗的计算技术,它将值编码为一元比特流,而不是二进制编码(BE)值。实际的SC实现需要确定性的或伪随机数序列,其被最佳地相关以生成比特流并实现准确的结果。不幸的是,搜索空间的大小使得手动设计最佳相关的数字序列成为一项困难的任务。为了自动化这个设计负担,我们提出了一个合成配方,使用混合整数规划自动生成最佳相关的数字序列。特别是,我们的合成公式将乘法和平方电路等算术运算的准确度分别提高了2.5倍和20倍。我们还展示了如何我们的技术可以扩展到规模更大的电路。
2019-02-26 cs.ET
Stochastic Memristive Devices for Computing and Neuromorphic Applications
纳米级电阻开关器件(忆阻器件或忆阻器)已经被研究用于从非易失性存储器、逻辑到神经形态系统的许多应用。然而,一个主要的挑战是解决这些纳米级器件在空间和时间上的潜在大变化。在这里,我们表明,在基于金属丝的忆阻器件的开关可以是完全随机的。虽然单个切换事件是随机的,但切换的分布和概率可以很好地预测和控制。电阻开关的固有随机性质允许这些二进制器件用作新型容错计算方案(例如随机计算)的构建块,而不是试图使用过多的电压或时间来强制高开关概率,并在神经形态应用中提供所需的“模拟”特征。为了验证这种潜力,我们在时间和空间域中展示了基于忆阻器的随机比特流,并表明二进制忆阻器阵列可以作为神经形态应用的多级“模拟”设备。
2013-04-22 cond-mat.other cs.ET
Optical Stochastic Computing Architectures Using Photonic Crystal Nanocavities
随机计算允许使用比特流的串行处理来大幅降低硬件复杂性。虽然诱导的高计算延迟可以克服使用集成光学技术,现实的光学随机计算架构的设计需要节能的开关器件。光子晶体(PhC)纳米腔是$μm^2$级器件,在皮秒级开关速度下提供100 fJ开关操作。制造工艺允许控制每个纳米腔谐振的品质因数,从而有机会实现涉及级联门和多波长信号的架构。在这份报告中,我们调查的级联门架构的设计,使用纳米腔的背景下,随机计算。我们提出了一个传输模型,考虑关键的纳米腔器件参数,如品质因数,谐振波长和开关效率。该模型与实验测量进行了校准。提出了“异”门和多路复用器的设计。我们说明了使用的门来设计一个边缘检测滤波器。针对灰度图像的处理,对激光功率、比特流长度和比特出错率进行了系统级探索。实验结果表明,该结构的功耗为8.5nJ/pixel,处理时间为512 ns/pixel.
2021-02-03 cs.ET physics.optics
Stochastic Computing for Hardware Implementation of Binarized Neural Networks
二进制神经网络是最近发现的一类具有最小存储器需求且不依赖乘法的神经网络,是实现紧凑且节能的推理硬件的绝佳机会。然而,这样的神经网络通常不是完全二进制化的:它们的第一层保持固定点输入。在这项工作中,我们提出了一个随机计算版本的二进制神经网络,其中输入也被二进制化。对Fashion-MNIST和CIFAR-10数据集的仿真结果表明,该网络的性能接近传统二值化神经网络。我们的证据表明,培训过程中应适应随机计算使用。最后,ASIC实现我们的计划进行了调查,在一个系统中,密切相关的逻辑和存储器,实现自旋力矩磁阻随机存取存储器。该分析表明,随机计算方法可以允许在面积方面相对于传统的二值化神经网络有相当大的节省(在Fashion-MNIST任务上减少62%的面积)。如果我们接受合理的精度降低,它还可以在能源消耗方面实现重要的节省:例如,Fashion-MNIST测试精度可以节省2.1倍,成本为1.4%。这些结果突出了二值化神经网络在硬件实现方面的高潜力,并且使它们适应硬件约束可以提供重要的好处。
2019-06-03 cs.ET
Stochastic Magnetoelectric Neuron for Temporal Information Encoding
模拟大脑计算原理的各个方面可能会导致能够表现出类似大脑的认知能力的神经计算机的发展。在这封信中,我们提出了一个磁电子神经元,利用噪声作为计算资源,并能够编码信息随着时间的推移,通过独立控制外部电压信号。我们广泛的设备操作的特点,使用模拟和证明其适用性的类脑计算平台进行时间信息编码。
2019-12-29 cs.ET
A Parallel Bitstream Generator for Stochastic Computing
随机计算具有容错性强、硬件成本低等特点,在神经网络、图像处理等领域具有广阔的应用前景。然而,比特流发生器,将一个二进制数转换为比特流,占用了很大的面积和能量消耗,从而削弱了SC的优越性。在本文中,我们提出了一种新的技术,用于产生比特流并行,它只需要一个时钟转换,显着降低了硬件成本。综合结果表明,提出的并行比特流生成器提高了2.5倍的面积和712倍的能耗。
2019-04-21 cs.AR cs.ET eess.SP
Spintronics based Stochastic Computing for Efficient Bayesian Inference System
Fert Beijing Research Institute, BDBC, School of Electronic and Information Engineering(费尔北京研究院,大数据科学与脑机智能高精尖创新中心,电子信息工程学院);Fert Beijing Research Institute, BDBC, School of Computer Science and Engineering(费尔北京研究院,大数据科学与脑机智能高精尖创新中心,计算机科学与工程学院);Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Beihang University(北京航空航天大学)
贝叶斯推理是解决不确定性和不完全性统计学习问题的一种有效方法。然而,推理效率在物理上受到传统计算平台瓶颈的限制。本文提出了一种新兴的贝叶斯推理系统,利用自旋电子学为基础的随机计算。利用自旋电子器件固有的随机性,实现了随机比特流发生器作为核心部件。该系统的数据融合和贝叶斯信念网络的典型应用进行评估。仿真结果表明,该方法可以实现显着提高推理效率的功耗和推理速度。
2017-11-03 cs.AI cs.AR cs.ET
Memristive Stochastic Computing for Deep Learning Parameter Optimization
College of Science and Engineering, James Cook University(詹姆斯库克大学科学与工程学院);University of Michigan(密歇根大学)
随机计算(SC)是一种计算范式,它允许使用随机比特流和数字逻辑进行各种算术运算的低成本和低功耗计算。与二进制域中使用的传统表示方案相比,随机域中的比特流序列是无关紧要的,并且计算通常是不确定的。在这篇简报中,我们利用概率传导桥接RAM(CBRAM)设备切换期间的随机性来有效地生成随机比特流,以便执行深度学习(DL)参数优化,将乘法和累加(MAC)单元的大小减少5个数量级。我们证明,在使用40纳米互补金属氧化物半导体(CMOS)工艺,我们的可扩展架构占用1.55毫米$^2$和消耗约167 $μ$ W时,优化参数的卷积神经网络(CNN),而它正在接受训练的字符识别任务,观察没有显着减少训练后的准确性。
2021-03-11 cs.AI cs.AR cs.ET
Stateless Stochastic Computing for Generative AI on Superconducting Logic: A Model-Hardware Co-Design
University of Southern California(南加州大学)
该研究通过模型-硬件协同设计,在超导单磁通量子(SFQ)逻辑中实现无状态随机计算,构建类别条件流匹配图像生成器,减少约瑟夫森结用量,为生成式AI的超导硬件实现提供方案。
2026-10-14 cs.AR cs.ET
Improved Data Encoding for Emerging Computing Paradigms: From Stochastic to Hyperdimensional Computing
Case Western Reserve University(凯斯西储大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本文提出采用硬件友好的VDC-2^n低偏差序列生成随机数的编码策略,以改善SC与HDC系统的相关性、硬件复杂度、精度和能效。
2025-01-06 cs.AI cs.ET cs.LG
Reservoir Computing using Stochastic p-Bits
我们提出了一个通用的硬件框架,直接实现储备池计算,一个流行的软件方法,用于实现和训练递归神经网络,特别适合于时间推理和模式识别的网络建设。我们提供了一个具体的例子的候选硬件单元的基础上的组合的软磁铁,自旋轨道材料和CMOS晶体管,可以实现这些网络。水库计算机的有效非冯-诺依曼硬件实现可以为在各种新兴系统中集成时间神经网络开辟一条途径,例如物联网(IoT),工业控制,生物和光传感器以及自动驾驶汽车。
2017-09-29 cond-mat.mes-hall cs.ET cs.NE
Stochastic logic in biased coupled photonic probabilistic bits
本文提出利用耦合偏置光学参量振荡器构成的相干伊辛机模拟随机逻辑,为概率计算提供实验可行的光子硬件方案,并通过全密度矩阵数值模拟验证其可行性。
2024-06-06 cs.ET physics.optics
Late Breaking Results: Fortifying Neural Networks: Safeguarding Against Adversarial Attacks with Stochastic Computing
本文提出将随机计算(SC)作为神经网络的防御机制,并通过严格实验验证其可显著降低对抗攻击导致输出被篡改的风险,提升模型安全性与可靠性。
2024-07-05 cs.CR cs.ET
An All-Memristor Deep Spiking Neural Computing System: A Step Towards Realizing the Low Power,Stochastic Brain
深度“模拟人工神经网络”(ANN)以非常高的精度执行复杂的分类问题。然而,它们依赖于巨大的功率来执行计算,掩盖了准确性的好处。另一方面,生物大脑比这些网络强大得多,消耗的能量也少了几个数量级,这表明我们存在一些概念上的不匹配。考虑到生物神经元使用能量高效的尖峰序列进行通信,并且行为是不确定的,将这些效应纳入深度人工神经网络可能会使我们朝着更现实的神经元迈出几步。在这项工作中,我们提出了如何利用纳米级电阻器件的固有随机性来模拟尖峰神经元的功能,该神经元可以被纳入深度随机脉冲神经网络(SNN)。在算法层面上,我们提出了如何修改训练,以将ANN转换为SNN,同时支持这些设备提供的随机激活函数。我们设计电路架构,将随机忆阻神经元与执行突触权重功能的忆阻交叉杆结合在一起。我们测试了所提出的用于图像分类的全忆阻器深度随机SNN,并且在结合电路和设备相关的非理想性之后,观察到ANN基线的准确度仅下降约1%。我们见证了该网络对某些变化的鲁棒性,并且消耗的能量比CMOS对应物少约6.4倍。
2018-04-13 cs.ET
P2LSG: Powers-of-2 Low-Discrepancy Sequence Generator for Stochastic Computing
本文提出了一种源自2的幂VDC序列的低成本、节能的低差异序列生成器P2LSG,用于随机计算,在图像缩放和场景合并任务中实现了更高的精度与更低的能耗。
2023-09-13 cs.AR cs.ET
Stoch-IMC: A Bit-Parallel Stochastic In-Memory Computing Architecture Based on STT-MRAM
本文提出基于STT-MRAM的位并行随机存内计算架构Stoch-IMC,通过随机逻辑、调度映射算法及子阵列内并行显著提升性能、降低能耗并增强寿命与位翻转容忍度。
2024-11-28 cs.AR cs.ET
Concept of a System-on-Chip Research Platform Benchmarking Interaction of Memristor-based Bio-inspired Computing Paradigms
本文提出一种集成多种忆阻器仿生计算阵列、支持片内与片间通信的SoC研究平台架构,可作为未来开发的基准系统,并满足后处理忆阻器与CMOS共集成及高速NoC监测需求。
2025-05-16 cs.ET
Towards Budget-Driven Hardware Optimization for Deep Convolutional Neural Networks using Stochastic Computing
近年来,深度卷积神经网络(DCNN)在许多机器学习应用中取得了巨大的成功。然而,深层结构带来了计算复杂度的显著增加。大规模深度学习系统主要在高性能服务器集群中运行,因此限制了应用程序扩展到个人或移动设备。以前在DCNN的GPU和/或FPGA加速方面的工作显示出越来越高的加速比,但忽略了其他限制,如面积,功率和能量。随机计算(SC)作为一种独特的数据表示和处理技术,有可能实现大规模深度学习系统的完全并行和可扩展的硬件实现设计。提出了一种以预算需求为驱动、兼顾总体精度性能的自动设计分配算法。这种系统化的方法使得能够自动设计DCNN,其中所有设计参数被联合优化。实验结果表明,该算法可以实现所有设计参数的联合优化给定的综合预算的DCNN。
2018-05-10 cs.ET cs.NE
All-in-Memory Stochastic Computing using ReRAM
本文提出利用ReRAM器件物理特性实现全内存随机计算,原位完成随机数生成、随机计算和比特流转换,在吞吐量和能耗上显著优于现有方案,同时以仅5%的图像质量下降应对ReRAM低可靠性问题。
2025-04-11 cs.AR cs.ET
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky(肯塔基大学)
CNN推理任务的加速使用通常被转换为矢量点积(VDP)运算的卷积运算。已经提出了几种基于光子微谐振器(MRR)的硬件架构来加速整数量化的CNN,与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而,现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡,这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量,从而严重降低了可实现的性能优势。为了解决这个缺点,我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性,我们发明了一种基于MRR的光学随机乘法器(OSM)。我们采用多个OSM的级联方式使用密集波分复用,打造一种新的基于随机计算的光学神经网络加速器(SCONNA)。SCONNA实现了显着的高吞吐量和能源效率,以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明,SCONNA在每秒帧数(FPS)、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进,平均比先前工作中的两个基于光子MRR的模拟CNN加速器高,对于大型CNN,Top-1精度下降仅高达0.4%,对于小型CNN,则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器,用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
High-Accuracy and Fault Tolerant Stochastic Inner Product Design
在这项工作中,我们提出了一种新的随机计算的内积设计。随机计算是一种新兴的计算技术,它将一个数字编码成在随机比特流中观察到一个数字的概率。这导致降低的硬件成本和高容错性。建议的内积设计是基于一个双线双极性编码格式,并适用于在一个中央积累单元的输入顺序处理。顺序处理显著提高了计算精度,因为它允许进位位的初步消除。此外,与传统的加法器树方法相比,中央累加单元提供了更好的可扩展性。我们表明,建议的内积设计优于国家的最先进的设计在硬件成本方面的高精度要求和容错。
2018-11-20 cs.ET eess.SP
Prediction of Radiation Fog by DNA Computing
Indian Statistical Institute(印度统计研究所)
本文提出了一种基于DNA计算的辐射雾预报湿实验室算法。DNA计算的概念本质上是利用在湿实验室中生成分类器算法。该分类器是基于一个新的概念,基于相似性的模糊推理适合湿实验室实施。这种基于相似性的模糊推理的新概念不同于传统的基于相似性度量的模糊推理方法,并且还通过DNA化学取代了经典模糊推理的逻辑方面。因此,我们增加了一个新的层面,现有形式的模糊推理,使其下降到纳米级。我们利用DNA计算的大规模并行性的概念,在湿实验室中设计这种新的分类器。这种新设计的分类器是非常普遍的性质,除了辐射雾的预测,这种方法也可以应用到其他类型的数据。为了实现我们的目标,我们首先模糊化给定的观察参数的合成DNA序列的形式,这是所谓的模糊DNA和处理人类推理的模糊概念。
2015-07-07 cs.AI cs.ET q-bio.BM
Power Optimizations in MTJ-based Neural Networks through Stochastic Computing
人工神经网络(ANN)在模式识别和图像分类等任务中得到了广泛的应用。然而,使用传统二进制算术单元的ANN的硬件实现在计算上是昂贵的、能量密集的并且具有大面积开销。随机计算(SC)是一种新兴的范例,它用简单的逻辑电路取代这些传统的单元,特别适合于容错应用。自旋电子器件,例如磁性隧道结(MTJ),能够取代存储器和逻辑电路中的CMOS。在这项工作中,我们提出了一种节能的使用MTJ,表现出概率切换行为,随机数发生器(SNG),这构成了我们的NN实现的基础上,在SC域。此外,NN的错误弹性目标应用允许我们引入近似计算,这是一个框架,其中计算的准确性是为了大幅降低功耗而权衡的。我们建议近似的突触权重在我们的MTJ为基础的神经网络的实现,我们的MTJ-SNG的属性所带来的方式,以实现能源效率。我们设计了一个算法,可以在给定的误差容限内进行这种近似在一个单层NN的最佳方式,由于凸性的问题制定。然后,我们使用该算法,并开发了一种启发式方法近似多层神经网络。为了给我们的方法的有效性的角度来看,在一个标准的分类问题,与26%的准确性损失小于1%,所提出的算法带来了43%的功耗降低。
2017-08-17 cs.ET cs.NE
Energy-efficient stochastic computing with superparamagnetic tunnel junctions
超顺磁性隧道结(SMTJ)已经成为一种有竞争力的,现实的纳米技术,以支持新形式的随机计算在CMOS兼容的平台。他们的应用之一是生成适合在随机计算实现中使用的随机比特流。我们描述了一种基于预充电读出放大器的数字可编程比特流生成方法。该生成器比基于SMTJ的比特流生成器显著更节能,基于SMTJ的比特流生成器利用自旋电流来调谐概率,并且比相关的基于CMOS的实现方式更高效两倍。这个比特流生成器的真正随机性使我们能够将它们用作新型神经网络架构的基本单元。为了利用潜在的节省,我们将算法与电路协同设计,而不是直接将经典的神经网络转录到硬件中。神经网络数学的灵活性使我们能够使网络适应我们在设备级别做出的明确节能选择。其结果是卷积神经网络设计在$\approx$ 150 nJ/推理下运行,MNIST性能为97%-与最近文献中的可比建议相比,能效提高了1.4至7.7倍。
2020-03-06 cond-mat.mes-hall cs.ET physics.app-ph
Reservoir Computing Universality With Stochastic Inputs
相对于$L ^p $型标准的三个重要的家庭与随机离散时间半无限输入的水库计算机的通用逼近性能。首先,证明了具有多项式或神经网络读出映射的线性油藏系统是通用的。更重要的是,证明了同样的性质适用于两个家庭的线性读出,即三角状态仿射系统和回声状态网络,这是最广泛使用的水库系统中的应用。读数中的线性是监督式机器学习应用中的关键特征。它保证了这些系统可以在高维情况下和存在大型数据集的情况下使用。本文中使用的$L ^p $标准允许制定的普遍性的结果,不一定强加几乎肯定的统一有界的输入或衰减的记忆属性的过滤器,需要近似。
2018-07-07 cs.ET cs.NE math.DS
StoX-Net: Stochastic Processing of Partial Sums for Efficient In-Memory Computing DNN Accelerators
Iowa State University of Science and Technology(爱荷华州立科技大学)
针对存内计算中ADC开销大的瓶颈,提出基于自旋轨道矩磁隧道结概率开关的阵列级部分和随机处理方案,消除ADC并提升能效与面积效率,配合量化感知训练和非均匀采样长度转换,在CIFAR-10上实现高达16倍能效、8倍延迟和10倍面积改进,同时保持接近软件精度。
2024-11-08 cs.AI cs.AR cs.ET
Stochastic Simulated Quantum Annealing for Fast Solution of Combinatorial Optimization Problems
本文提出基于随机计算和量子蒙特卡洛的随机模拟量子退火(SSQA),通过并行自旋状态更新算法在经典计算中模拟量子退火,实现比传统方法更快的收敛速度并能处理更大规模的全连接组合优化问题。
2023-06-29 cs.ET quant-ph
DISCA: A Digital In-memory Stochastic Computing Architecture Using A Compressed Bent-Pyramid Format
1 Centre for Electronics Frontiers, Institute for Integrated Micro;Nano Systems, School of Engineering, The University of Edinburgh, UK.;2 Electrical \& Electronics Engineering, Queen's University Belfast, UK.
本文提出DISCA,一种基于压缩弯金字塔格式的数字存内随机计算架构,旨在提升大规模AI模型矩阵乘法任务的能量效率。
2026-04-22 cs.AI cs.AR cs.ET