Binarized Neural Networks
介绍了一种训练二值化神经网络(BNN)的方法--在运行时和在训练时计算参数梯度时使用二值权值和激活值的神经网络。我们进行了两组实验,每组基于不同的框架,即Torch 7和Theano,我们在MNIST,CIFAR-10和SVHN上训练BNN,并取得了接近最先进的结果。在前向过程中,BNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算,这可能会大大提高功耗效率。最后但并非最不重要的是,我们编写了一个二进制矩阵乘法GPU内核,使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍,而不会损失任何分类精度。用于训练和运行我们的BNN的代码是可用的。
2016-03-10 cs.LG cs.NE
Deeply learned face representations are sparse, selective, and robust
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文设计了一种用于人脸识别的高性能深度卷积网络(DeepID 2+)。它是通过识别-验证监控信号学习的。通过增加隐藏表示的维度并向早期卷积层添加监督,DeepID 2+在LFW和YouTube Faces基准上实现了新的最先进水平。通过实证研究,我们发现了其深层神经激活的三个特性对高性能至关重要:稀疏性,选择性和鲁棒性。(1)据观察,神经激活是适度稀疏的。适度的稀疏性最大化了深度网络的区分能力以及图像之间的距离。令人惊讶的是,即使在神经响应被二值化之后,DeepID 2+仍然可以实现高识别精度。(2)它的高层神经元对身份和身份相关属性具有高度选择性。我们可以识别出不同的神经元子集,当存在不同的身份或属性时,这些神经元要么不断兴奋,要么受到抑制。虽然DeepID 2+在训练过程中没有被教导区分属性,但它已经隐式地学习了这些高级概念。(3)它对遮挡更加鲁棒,尽管遮挡模式不包括在训练集中。
2014-12-03 cs.CV
QubitHD: A Stochastic Acceleration Method for HD Computing-Based Machine Learning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);University of California Irvine(加州大学欧文分校);University of California San Diego(加州大学圣地亚哥分校);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
机器学习算法基于大脑启发的超维(HD)计算,通过利用高维向量空间的统计特性来模仿认知。它是在不同的机器学习任务(例如分类、半监督学习和聚类)中实现高能效的有前途的解决方案。现有的基于HD计算的ML算法的弱点是它们必须被二值化以实现非常高的能量效率。同时,二值化模型达到较低的分类精度。为了解决能量效率和分类精度之间的权衡问题,我们提出了QubitHD算法。它随机二进制化基于HD的算法,同时保持可比的分类精度,以他们的非二进制化的同行。与最先进的基于HD的ML算法相比,QubitHD的FPGA实现在能效方面提高了65%,在训练时间方面提高了95%。在训练和推理过程中,它在速度和能效方面也优于最先进的低成本分类器(如二进制神经网络)。
2022-10-10 cs.LG cs.NE stat.ML
Deep Binarized Photonic Reservoir Computing for Ultrafast Multimedia Signal Processing
Université de Lorraine(洛林大学);CentraleSupélec(中央理工-高等电力学院);LMOPS Laboratory(LMOPS实验室);Chaire Photonique(光子学教席)
提出一种基于数字微镜器件超快二进制光学调制、随机介质光学散射、CMOS传感器高速光电探测和时分复用深层结构的深度光子神经网络,在储层计算框架下实现Gb/s级处理速率,并在视频、图像和语音识别等多媒体任务中达到最优性能。
2026-05-28 cs.NE physics.optics
LightNN: Filling the Gap between Conventional Deep Neural Networks and Binarized Networks
深度神经网络(DNN)的专用集成电路(ASIC)实现由于其更高的分类速度而被许多系统采用。然而,尽管它们可能具有更好的准确性,但较大的DNN需要大量的能量和面积,从而限制了它们的广泛采用。DNN的能量消耗由存储器访问和计算驱动。二值化神经网络(BNN)作为精度和能量消耗之间的折衷,可以实现极大的能量减少,并且由于其正则化效应,对于大型DNN具有良好的精度。然而,当采用较小的DNN配置时,BNN显示出较差的准确性。在本文中,我们提出了一种新的DNN模型LightNN,它将乘法替换为一个移位或有限数量的移位和加法。对于固定的DNN配置,LightNN在稍微增加能量的情况下比BNN具有更好的准确性,但比传统DNN更节能,精度仅略低。因此,LightNN为硬件设计人员提供了更多选择,以便在精度和能耗之间进行权衡。此外,对于大型DNN配置,LightNN具有正则化效应,使其在精度上优于传统DNN。这些结论是通过实验验证使用MNIST和CIFAR-10数据集为不同的DNN配置。
2017-12-02 cs.NE
Design Automation for Binarized Neural Networks: A Quantum Leap Opportunity?
University of Bologna(博洛尼亚大学);ETH Zurich(苏黎世联邦理工学院)
一般来说,设计自动化,尤其是逻辑合成,可以在设计特定于应用的二值化神经网络(BNN)方面发挥关键作用。本文提出了一种用于超低功耗近传感器处理的纯组合BNN的硬件设计和综合。我们利用BNN模型带来的主要机会,主要包括逻辑逐位运算和整数计数和比较,将超低功耗深度学习电路推向传感器,并将其与二值化混合信号图像传感器数据耦合。我们分析的面积,功率和能量指标的BNN合成的组合网络。我们在GlobalFoundries 22nm SOI技术中的合成结果显示,用于实现具有32x32二进制输入传感器感受野和在设计时固定的权重参数的组合BNN的硅面积为2.61mm2。这比具有可重新配置参数的合成网络小2.2倍。相对于其他类似的深度学习近传感器处理技术,我们的方法具有10倍的能效。
2017-11-21 cs.AR cs.CV cs.NE
Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient Image Classification
Zhengzhou University(郑州大学);Victoria University of Wellington(惠灵顿维多利亚大学)
数据有效的图像分类是一个具有挑战性的任务,旨在解决图像分类使用小的训练数据。基于神经网络的深度学习方法对于图像分类是有效的,但是它们通常需要大规模的训练数据并且具有主要的限制,诸如需要专业知识来设计网络架构并且具有差的可解释性。进化深度学习是最近的一个热门话题,它将演化计算与深度学习相结合。然而,大多数进化深度学习方法都集中在进化神经网络的架构上,这些架构仍然受到诸如可解释性差等限制。为了解决这个问题,本文提出了一种新的基于遗传编程的进化深度学习方法来进行数据高效的图像分类。新方法可以自动进化变长模型,使用许多重要的运营商从图像和分类域。它可以从彩色或灰度图像中学习不同类型的图像特征,构造有效的、多样的集成用于图像分类。灵活的多层表示使新方法能够为不同的任务自动构建浅层或深层模型/树,并通过多个内部节点对输入数据执行有效的转换。新方法被应用于解决五个不同的训练集大小的图像分类任务。结果表明,在大多数情况下,对于数据高效的图像分类,它的性能优于深度学习方法。深入分析表明,该方法具有良好的收敛性,并能演化出具有高度可解释性、不同长度/大小/形状和良好可移植性的模型。
2022-09-27 cs.AI cs.CV cs.LG
DDIPNet and DDIPNet+: Discriminant Deep Image Prior Networks for Remote Sensing Image Classification
S\ a o Paulo State University - UNESP Department of Computing Bauru, SP - Brazil
遥感图像分类的研究对城市规划和农业等人类日常工作具有重要影响。如今,技术的快速进步和许多高质量的遥感图像的可用性创造了可靠的自动化方法的需求。当前的论文提出了两种用于图像分类目的的基于深度学习的新架构,即,Discriminant Deep Image Prior Network和Discriminant Deep Image Prior Network+,结合了Deep Image Prior和Triplet Networks学习策略。在三个著名的遥感图像数据集上进行的实验取得了最先进的结果,证明了使用深度图像先验进行遥感图像分类的有效性。
2022-12-20 cs.CV cs.LG
NeSyFOLD: Neurosymbolic Framework for Interpretable Image Classification
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对深度学习模型缺乏可解释性的问题,提出NeSyFOLD神经符号框架,用分层回答集程序替代CNN全连接层构建可解释分类模型,结合稀疏核学习缩减规则规模,还提出语义标注算法提升规则直观性。
2023-08-20 cs.AI cs.CV cs.LG
Variation-aware Binarized Memristive Networks
在深度神经网络(DNN)中,将权重量化为二进制状态可以用简单的累加来代替资源消耗型的乘法累加操作。这样的二进制神经网络(BNN)表现出大大降低的资源和功率需求。此外,忆阻器已被证明是DNN中有前途的突触权重元件。在本文中,我们提出并模拟新的二进制忆阻卷积神经网络(BMCNN)的架构,采用混合权重和参数表示。我们离线训练所提出的架构,然后将训练后的参数映射到我们的二值化忆阻器件进行推理。为了考虑忆阻器件的变化,并研究它们对性能的影响,我们介绍了$R_{ON}$和$R_{OFF}$的变化。此外,我们引入了一些方法来减轻我们提出的网络中忆阻变化的不利影响。最后,我们使用MNIST数据集对我们的BMCNN和变化感知BMCNN进行基准测试。
2019-10-14 cs.ET cs.NE eess.SP
Polariton lattices as binarized neuromorphic networks
St. Petersburg State University(圣彼得堡国立大学)
本研究提出基于激子-极化激元凝聚体晶格的二值化神经形态网络,利用极化激元的相干性与非线性实现高效并行二值运算,在图像与语音识别任务中性能优于现有极化激元系统及传统基准模型。
2024-11-09 cond-mat.dis-nn cs.LG cs.NE
Image Classification with A Deep Network Model based on Compressive Sensing
Wuhan University(武汉大学)
为了简化深度学习网络的参数,实现级联压缩感知模型“CSNet”用于图像分类。首先,我们使用级联压缩感知网络从数据中学习特征。其次,CSNet通过二进制哈希和分块直方图生成特征。最后,使用线性SVM分类器对这些特征进行分类。在MNIST数据集上的实验表明,该算法可以获得较高的分类精度。
2014-09-25 cs.CV
Deep Self-taught Learning for Remote Sensing Image Classification
University of Bonn(波恩大学)
提出了一种基于深度自学习的遥感影像土地覆盖分类方法。我们的自学方法学习合适的特征表示的输入数据使用稀疏表示和不完全字典学习。我们提出了一个深度学习框架,该框架提取多个层中的表示,并使用最深层的输出作为分类算法的输入。我们评估我们的方法使用多光谱Landsat 5 TM图像的研究区域在北部的新Progresso(南美洲)和苏黎世夏季数据集提供的苏黎世大学。实验表明,通过深度自学学习框架学习的特征可以用于分类,并且与使用原始特征表示的分类结果相比,可以改善结果。
2017-12-19 cs.CV
Hyperspectral Image Classification Based on Adaptive Sparse Deep Network
Shantou University(汕头大学)
稀疏模型广泛应用于高光谱图像分类中,然而稀疏度和正则化参数的不同对分类结果有很大影响,本文提出了一种基于深度结构的自适应稀疏深度网络,通过深度网络构造最优稀疏表示和正则化参数。基于交替方向乘法(ADMM)算法,设计了一个数据流图来表示每次更新迭代,推导了前向网络和反向传播网络,反向传播网络中所有参数采用梯度下降法进行更新。在此基础上,提出了一种自适应稀疏深度网络(Adaptive Sparse Deep Network,ANN),并与传统的分类器或其他稀疏模型算法进行了比较,实验结果表明,该方法在HSI分类中取得了很大的改进。
2019-10-21 cs.CV eess.IV
Implementing Binarized Neural Networks with Magnetoresistive RAM without Error Correction
自旋力矩磁阻随机存取存储器(ST-MRAM)的最令人兴奋的应用之一是深度神经网络的存储器内实现,其可以允许将人工智能的能量效率提高几个数量级,相对于其在计算机和图形卡上的实现。特别是,ST-MRAM可能是实现二进制神经网络(BNN)的理想选择,BNN是2016年发现的一种深度神经网络,它可以实现最先进的性能,同时大大减少了传统人工智能方法的内存占用。然而,ST-MRAM的挑战在于它容易出现写入错误,并且通常需要使用纠错。在这项工作中,我们表明,这些位错误可以容忍BNN到一个突出的水平,基于图像识别任务的例子(MNIST,CIFAR-10和ImageNet):位出错率的ST-MRAM高达0.1%的识别精度几乎没有影响。因此,相对于传统应用,BNN对ST-MRAM的要求相当宽松。因此,我们表明,对于BNN,ST-MRAM可以编程弱(低能量)的编程条件,没有纠错码。我们表明,这一结果可以允许使用低能量和低面积的ST-MRAM单元,并表明,在系统级的能量节省可以达到一个因素2。
2019-08-12 cs.ET cs.NE
Efficient and Low-Footprint Object Classification using Spatial Contrast
University of Pittsburgh(匹兹堡大学)
本研究提出基于事件传感器的局部空间对比度分类范式,结合二值化DNN在GTSRB数据集上实现了数据与内存占用大幅降低,仅小幅损失精度,适合边缘部署。
2023-11-06 cs.CV cs.NE eess.IV
Supported-BinaryNet: Bitcell Array-based Weight Supports for Dynamic Accuracy-Latency Trade-offs in SRAM-based Binarized Neural Network
在这项工作中,我们引入基于位单元阵列的支持参数,以提高基于SRAM的二值化神经网络(SRAM-BNN)的预测精度。我们的方法增强了SRAM-BNN的训练权重空间,同时对典型设计要求最小的开销。在我们的设计中,更灵活的权重空间导致更高的预测精度。我们采用行数模(DAC)转换器,并在SRAM-BNN的计算流程,为基于位单元阵列的权重支持。使用所讨论的干预措施,我们的计划还允许对延迟的准确性的动态权衡,以解决典型的实时应用中的动态延迟约束。我们具体讨论了两种训练情况下的结果:(i)在预训练的BNN上学习支持参数,以及(ii)同时学习支持和权重二值化。在前一种情况下,我们的方法减少了35.71%的MNIST分类错误(出错率从1.4%下降到0.91%)。在后一种情况下,误差减少了27.65%(出错率从1.4%减少到1.13%)。为了减少功耗开销,我们提出了一个动态丢弃的支持参数的一部分。我们的架构可以放弃52%的基于位单元阵列的支持参数,而不会失去准确性。我们还根据不同程度的工艺变化的晶体管,我们的设计特点。
2019-11-26 cs.NE eess.SP
Random Bias Initialization Improves Quantized Training
Huawei Montreal Research Center(华为蒙特利尔研究中心)
二进制神经网络以较大幅度提高了深度模型的计算效率。然而,成功的全精度训练和二进制训练之间仍然存在性能差距。我们带来了一些关于为什么存在这种准确性下降的见解,并呼吁更好地理解二进制网络几何。我们首先分析具有ReLU激活的全精度神经网络,并将其与其二进制化版本进行比较。这种比较建议用随机偏差初始化网络,这是一种反直觉的补救措施。
2020-04-20 cs.CV cs.LG cs.NE
Automated flow for compressing convolution neural networks for efficient edge-computation with FPGA
LeapMind, Inc.(LeapMind 公司)
基于深度卷积神经网络(CNN)的解决方案是计算机视觉任务的当前最先进技术。由于这些模型的尺寸很大,它们通常在CPU或GPU集群上运行。然而,功率要求和成本预算可能是物联网应用采用CNN的主要障碍。最近的研究强调,CNN在其结构中包含显著的冗余,并且可以量化以降低位宽参数和激活,同时保持可接受的精度。由于二进制化CNN中涉及的逐位逻辑运算,低位宽尤其是单位宽(二进制)CNN特别适合于基于FPGA实现的移动应用。此外,向较低位宽的过渡为性能优化和模型改进开辟了新的途径。在本文中,我们提出了一个自动流程,从训练的TensorFlow模型到FPGA片上系统实现二值化CNN。该流程涉及模型参数和激活的量化,嵌入式C中网络和模型的生成,然后自动生成用于二进制卷积的FPGA加速器。通过在低成本、低功耗的Cyclone-V FPGA器件上实现二进制化的“YOLOV 2”来演示自动化流程。使用二值化YOLOV 2的目标检测实验表明,与CPU和移动CPU平台相比,FPGA上的模型大小和推理速度具有显着的性能优势。此外,从训练模型到FPGA合成的整个自动化流程可以在一小时内完成。
2017-12-18 cs.AI cs.AR cs.NE
Loss-aware Binarization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络模型虽然非常强大且非常成功,但在空间和时间方面的计算成本很高。最近,已经有一些关于二进制化网络权重和激活的尝试。这大大减小了网络的大小,并将底层乘法替换为加法甚至XNOR位操作。然而,现有的二值化方案都是基于简单的矩阵近似,忽略了二值化对损失的影响。在本文中,我们提出了一个近似牛顿算法与对角Hessian近似,直接最大限度地减少损失w.r.t.二进制化的权重。底层的近端步骤有一个有效的封闭形式的解决方案,和二阶信息可以有效地获得从二阶矩已经计算的亚当优化器。在前馈网络和递归网络上的实验表明,该算法的性能优于现有的二值化方案,并且对宽网络和深网络具有更好的鲁棒性。
2018-05-10 cs.LG cs.NE
TentacleNet: A Pseudo-Ensemble Template for Accurate Binary Convolutional Neural Networks
Politecnico di Torino(都灵理工大学)
二值化是实现轻量级深度卷积神经网络(CNN)的一种有吸引力的策略。尽管提供了毫无疑问的节省,最重要的是内存占用,但它可能会导致过度的准确性损失,从而阻止广泛使用。这项工作详细阐述了这方面的内容,介绍了TentacleNet,这是一种新的模板,旨在通过并行化提高二值化CNN的预测性能。受集成学习理论的启发,它由一个紧凑的拓扑结构组成,该拓扑结构是端到端可训练的,并经过组织以最大限度地减少内存使用。通过三个真实的基准测试收集的实验结果表明,TentacleNet填补了经典二进制模型留下的空白,确保了大量的内存节省。最先进的二元系综方法。
2019-12-26 cs.CV cs.LG cs.NE
A Computing Kernel for Network Binarization on PyTorch
University of Electronic Science and Technology of China(电子科技大学);Ecole de Technologie Supérieure(高等技术学院)
深度神经网络目前已经在图像分类、目标检测等广泛的任务中取得了最先进的成果。然而,它们既消耗计算量又占用内存,使得它们难以部署在低功耗设备上。网络二值化是现有模型压缩和加速的有效技术之一,但PyTorch上还没有支持它的计算内核。在本文中,我们在PyTorch上开发了一个支持1位xnor和bitcount计算的计算内核。实验结果表明,与对照组相比,我们的内核可以使二值化神经网络的推理速度在GPU上提高3倍,在CPU上提高4.5倍。
2019-11-11 cs.LG cs.NE
DeepLung: 3D Deep Convolutional Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine(加州大学尔湾分校);Baidu Research(百度研究院)
在这项工作中,我们提出了一个完全自动化的肺癌CT诊断系统,DeepLung。DeepLung包含两个部分,结节检测和分类。考虑到肺部CT数据的三维特性,设计了两个三维网络分别用于结节检测和分类。具体来说,3D Faster R-CNN被设计用于结节检测,具有类似U网的编码器-解码器结构,以有效地学习结节特征。对于结节分类,提出了具有3D双路径网络(DPN)特征的梯度提升机(GBM)。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证,其性能优于最先进的方法,并超过了四位经验丰富的医生的平均性能。对于DeepLung系统,首先通过结节检测子网络检测候选结节,并通过分类子网络进行结节诊断。大量的实验结果表明,DeepLung在LIDC-IDRI数据集上的结节级别和患者级别诊断方面与经验丰富的医生相当。
2017-09-16 cs.CV cs.LG cs.NE
Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification
University of California, Irvine(加州大学尔湾分校)
乳腺X线照片分类与乳腺癌的计算机辅助诊断直接相关。传统的方法依赖于感兴趣区域(ROI),这需要很大的努力来注释。受使用深度卷积特征进行自然图像分析和多实例学习(MIL)标记一组实例/补丁的成功启发,我们提出了端到端训练的深度多实例网络,用于基于整个乳房X光片的质量分类,而无需上述ROI。我们探索了三种不同的方案来构建用于整个乳房X线照片分类的深度多实例网络。在INbreast数据集上的实验结果表明,与以前使用分割和检测注释的工作相比,所提出的网络具有鲁棒性。
2017-05-23 cs.CV cs.LG cs.NE
Conditionally Deep Hybrid Neural Networks Across Edge and Cloud
Purdue University(普渡大学)
“物联网”在我们日常生活中的普遍存在,导致了最近雾计算的激增,包括云计算和边缘智能的协作。为此,深度学习一直是实现此类智能系统的主要驱动力。然而,深度学习中不断增长的模型大小对资源受限的边缘设备中的部署提出了重大挑战。此外,在分布式智能环境中,在边缘和云系统之间进行有效的工作负载分配是必要的。为了解决这些挑战,我们提出了一个条件深度混合神经网络,用于实现基于AI的雾计算。所提出的网络可以以分布式方式部署,包括边缘的量化层和早期退出以及云上的全精度层。在推理过程中,如果早期退出对分类结果具有高置信度,则它将允许样本在边缘退出,并且云上的较深层被有条件地激活,这可以导致提高的能量效率和推理延迟。我们进行了广泛的设计空间探索,目标是最大限度地减少边缘的能耗,同时在图像分类任务上实现最先进的分类精度。我们表明,在边缘处使用二值化层,所提出的条件混合网络可以处理边缘处65%的推理,从而在CIFAR-10数据集上以最小的精度降低5.5倍的计算能量。对于更复杂的数据集CIFAR-100,我们观察到,在边缘进行4位量化的拟议网络在边缘实现了52%的早期分类,能量降低了4.8倍。该分析为我们设计高效的混合网络提供了见解,这些网络比基于边缘云的分布式智能系统的全精度网络具有更高的能效。
2020-05-21 cs.CV cs.LG cs.NE
Whetstone: A Method for Training Deep Artificial Neural Networks for Binary Communication
Sandia National Laboratories(桑迪亚国家实验室);Center for Computing Research(计算研究中心)
本文提出了一种训练低精度通信网络的新技术。以节点之间的最小通信为目标不仅能够使用新兴的尖峰神经形态平台,而且还可以额外地传统地简化处理。低功耗和嵌入式神经形态处理器与传统的冯·诺依曼处理器相比,每瓦性能有可能大幅提高,但对这些受大脑启发的平台进行编程通常需要特定于平台的专业知识,这限制了它们的适用性。到目前为止,大多数人工神经网络还没有使用离散的尖峰状通信进行操作。我们提出了一种使用反向传播优化算法的迭代修改来训练深度脉冲神经网络的方法。我们称之为Whetstone的这种方法可以有效可靠地为尖峰硬件目标配置网络,并且性能损失很小(如果有的话)。Whetstone网络使用单时间步长二进制通信,并且不需要速率码或其他基于尖峰的编码方案,从而产生在时序和大小上与传统ANN相当的网络,尽管具有二进制通信。我们在一些图像分类网络上演示了Whetstone,描述了锐化过程如何与不同的训练优化器相互作用,并改变了网络内的活动分布。我们进一步注意到,Whetstone与几个非分类神经网络应用程序兼容,例如自动编码器和语义分割。Whetstone可广泛扩展,目前使用Keras包装器中的自定义激活函数实现流行的TensorFlow机器学习框架。
2018-10-26 cs.LG cs.NE
Deep-learning-based data page classification for holographic memory
Chiba University(千叶大学)
我们提出了一种基于深度学习的全息存储器中使用的数据页面分类。我们数值研究了传统的多层感知器(MLP)和深度神经网络的分类性能,在重建的页面数据被一些噪声污染和随机横向移动的条件下。MLP的分类准确率为91.58%,而深度神经网络能够以99.98%的准确率对数据页面进行分类。深度神经网络的准确性比MLP好两个数量级。
2017-07-02 cs.CV cs.LG cs.NE
DeepPainter: Painter Classification Using Deep Convolutional Autoencoders
Bar-Ilan University(巴伊兰大学);University of Maryland(马里兰大学)
在本文中,我们描述了画家分类的问题,并提出了一种新的方法,基于深度卷积自动编码器神经网络。虽然以前的方法依赖于图像处理和手动特征提取的绘画,我们的方法操作的原始像素水平,没有任何预处理或手动特征提取。我们首先在绘画数据集上训练深度卷积自动编码器,然后使用它来初始化分类阶段的监督卷积神经网络。所提出的方法大大优于以前的方法,将3-画家分类问题的以前的最新技术水平从90.44%的准确度(以前的最新技术水平)提高到96.52%的准确度,即,出错率降低了63%。
2017-11-23 cs.CV cs.LG cs.NE
Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations
提出了一种新的基于反向传播的离散脉冲神经网络(SNN)训练算法。受二值化神经网络的最新深度学习算法的启发,使用具有直通梯度估计器的二进制激活来对泄漏积分放电尖峰神经元进行建模,克服了使用反向传播训练SNN的困难。提出了两种SNN训练算法:(1)不连续积分的SNN,适用于速率编码的输入尖峰信号;(2)连续积分的SNN,具有更好的通用性,可以处理具有时间信息的输入尖峰信号。在40 nm CMOS中设计的神经形态硬件利用了尖峰稀疏性,并表现出高分类准确性(MNIST上>98%)和低能量(48.4-773 nJ/图像)。
2017-09-19 cs.NE
Minimizing Area and Energy of Deep Learning Hardware Design Using Collective Low Precision and Structured Compression
深度学习算法在许多识别任务中取得了巨大的成功;然而,这些算法通常包括深度神经网络(DNN)结构和大量参数,这使得在功率/面积受限的嵌入式平台上实现它们具有挑战性。为了减少网络的大小,一些研究通过修剪和正则化引入元素或行/列/块稀疏性来研究压缩。此外,最近的许多工作都集中在降低激活和权重的精度上,其中一些降低到单个位。然而,将各种稀疏结构与二值化或非常低精度(2-3位)的神经网络相结合还没有被全面地探索。在这项工作中,我们提出了最小面积/能量DNN硬件的设计技术,其精度下降最小。在训练过程中,二值化/低精度和结构化稀疏性都被用作约束,以找到给定深度学习算法的最小内存占用。CIFAR-10数据集的DNN模型具有50倍的权重内存减少,其准确性与浮点对应模型相当。DNN硬件在40纳米CMOS的面积,性能和能量的结果报告的MNIST数据集。结合了8倍结构化压缩和3位权重精度的优化DNN在每个分类20 nJ时显示出98.4%的准确率。
2018-04-19 cs.NE
Supervised Hebbian learning in Deep Counterstream Associative Networks
Albstadt-Sigmaringen University, KEIM Institute(阿尔斯特-锡格马林根大学,KEIM研究所)
提出监督反向流学习,通过同时从输入和输出层发起活动波并在隐藏层相遇,利用局部Hebbian规则双向链接活动模式,实现无需对称连接或独立误差通道的深度学习,在二值化MNIST上达到高测试精度。
2026-06-28 cs.NE