首页/论文/1807.09760

arXiv 1807.097602018-07-24cs.NE

混合精确卷积神经网络表示方法

Method for Hybrid Precision Convolutional Neural Network Representation

Mo'taz Al-Hami, Marcin Pietron, Rishi Kumar, Raul A. Casas, Samer L. Hijazi, Chris Rowen

备注：: Cadence Design Systems

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本发明涉及集成电路中卷积神经网络（CNN）的定点表示。当针对实际实现量化CNN时，在用于系数和数据之间的运算的精度与系统的精度之间存在折衷。同构表示可能不足以以实现复杂性或功耗方面的合理成本来实现最佳性能水平。需要表示数据和系数的简约方式来提高功率效率和吞吐量，同时保持CNN的准确性。

英文摘要：

This invention addresses fixed-point representations of convolutional neural networks (CNN) in integrated circuits. When quantizing a CNN for a practical implementation there is a trade-off between the precision used for operations between coefficients and data and the accuracy of the system. A homogenous representation may not be sufficient to achieve the best level of performance at a reasonable cost in implementation complexity or power consumption. Parsimonious ways of representing data and coefficients are needed to improve power efficiency and throughput while maintaining accuracy of a CNN.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Tartan：利用数值精度可变性加速深度学习网络中的全连接层和卷积层

Tartan: Accelerating Fully-Connected and Convolutional Layers in Deep Learning Networks by Exploiting Numerical Precision Variability

Tartan（TRT）是一种用于深度神经网络（DNN）推理的硬件加速器，并在卷积神经网络上进行了评估。TRT利用DNN的可变每层精度要求来提供执行时间，该执行时间与卷积层和全连接层的每层使用的精度p成比例。现有技术已经展示了仅对于卷积层具有相同执行性能的加速器。在图像分类CNN上的实验表明，在研究的所有网络中，TRT的平均性能比最先进的位并行加速器高出1：90倍，而准确性没有任何损失，同时能效高出1：17倍。TRT不需要网络重新训练，同时它可以在执行性能和能源效率的进一步改进中权衡精度。例如，如果1%的相对精度损失是可接受的，则TRT比传统的位并行加速器平均快2：04倍，能效高1：25倍。Tartan配置一次处理2位，比1位配置需要更少的面积，将效率提高到位并行基线的1：24倍，同时卷积层的速度提高了73%，全连接层的速度提高了60%。

2017-07-27cs.NE

使用低精度和稀疏性加速深度卷积网络

Accelerating Deep Convolutional Networks using low-precision and sparsity

Intel Labs（英特尔实验室）

我们探索技术，以显着提高深度卷积网络的计算效率和性能，而不影响其准确性。为了提高计算效率，我们专注于用极低精度（2位）权重网络实现高精度，为了加快执行时间，我们积极跳过对零值的操作。在Imagenet对象分类挑战中，我们使用低精度网络\footnote{github release of the source code coming soon}实现了76.6% Top-1/93% Top-5的最高报告准确率，同时与实现类似准确率的全精度网络相比，将计算要求降低了约3倍。此外，为了充分利用我们的低精度网络的优势，我们构建了一个深度学习加速器核心dLAC，它可以实现高达1 TFLOP/mm^2的单精度浮点运算（约2 TFLOP/mm^2的半精度）。

2016-10-02cs.LGcs.NE

ShiftCNN：一种用于卷积神经网络推理的通用低精度结构

ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks

Panasonic Silicon Valley Lab（松下硅谷实验室）

在本文中，我们介绍了ShiftCNN，一种用于无乘法器卷积神经网络（CNN）推理的通用低精度架构。ShiftCNN基于2的幂权重表示，因此仅执行移位和加法运算。此外，ShiftCNN通过预计算卷积项来大幅降低卷积层的计算成本。这种优化可以应用于具有相对小的权重码本的任何CNN架构，并且允许将乘积运算的数量减少至少两个数量级。所提出的架构目标定制推理加速器，并可以在FPGA或ASIC上实现。对ImageNet的广泛评估表明，当采用所提出的量化算法时，最先进的CNN可以在不重新训练的情况下转换为ShiftCNN，准确度下降不到1%。针对现代FPGA的RTL仿真表明，与传统的8位定点架构相比，卷积层的功耗降低了4倍。

2017-06-07cs.CVcs.NE

参数高效混合脉冲-量子卷积神经网络与替代梯度和量子数据重传

Parameter efficient hybrid spiking-quantum convolutional neural network with surrogate gradient and quantum data-reupload

College of Information and Communication Technology, Can Tho University（芹苳大学信息与通信技术学院）；Center of Digital Transformation and Communication, Can Tho University（芹苳大学数字化转型与通信中心）；College of Engineering and Computer Science, VinUniversity（Vin大学工程与计算机科学学院）；Department of Computer Science and Engineering, The University of Aizu（会津大学计算机科学工程系）

本文提出了一种参数高效的混合脉冲-量子卷积神经网络，通过统一优化策略实现脉冲神经网络和量子电路的联合训练，无需依赖预训练的脉冲编码器和子集数据集，提高了模型性能和可扩展性。

2025-12-03cs.NE

训练卷积神经网络的一种混合方法

A Hybrid Method for Training Convolutional Neural Networks

Universidade da Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）

人工智能算法的普及和使用一直在稳步增长。深度学习允许使用巨大的数据集来训练神经网络，并且还消除了对人类提取特征的需求，因为它使特征学习过程自动化。在训练深度神经网络（例如卷积神经网络）的核心中，我们发现了反向传播，即通过计算给定输入的损失函数相对于网络权重的梯度，它允许调整网络的权重，以更好地执行给定任务。本文提出了一种混合的方法，利用反向传播和进化策略来训练卷积神经网络，其中进化策略用于帮助避免局部极小值和微调权值，使网络获得更高的精度结果。我们表明，所提出的混合方法是能够改善定期训练的任务，图像分类在CIFAR-10，其中使用VGG 16模型和最终的测试结果增加了0.61%，平均相比，只使用反向传播。

2020-04-15cs.CVcs.LGcs.NE

基于混合正交投影和估计的卷积神经网络学习

Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation

York University（约克大学）

卷积神经网络（CNN）在各种计算机视觉任务中具有优异的性能，其中CNN通常采用由卷积层、池化层和全连接层组成的类似结构。在本文中，我们提出了一种新的方法，即混合正交投影和估计（HOPE），CNN，以引入正交性到CNN结构。HOPE模型可以被看作是一种混合模型，将使用正交线性投影的特征提取与混合模型相结合。该模型能有效地从原始高维特征向量中提取有用信息，同时滤除无关噪声。在这项工作中，我们提出了三种不同的方法来将HOPE模型应用于CNN，即，{ \em HOPE-Input}、{ \em single-HOPE-Block}和{ \em multi-HOPE-Block}。对于{ \em HOPE-Input} CNN，HOPE层直接在输入之后使用，以使高维输入特征向量去相关。或者，在{ \em single-HOPE-Block}和{ \em multi-HOPE-Blocks} CNN中，我们考虑使用HOPE层来替换CNN中的一个或多个块，其中一个块可以包括若干卷积层和一个池化层。在Cifar-10和Cifar-100数据集上的实验结果表明，HOPE层施加的正交约束可以显着提高CNN在这些图像分类任务中的性能（我们在未应用图像增强时实现了最佳性能之一，在图像增强时实现了前5名性能）。

2016-09-11cs.CVcs.NE

更多相关论文收起更多论文

DeepBrain：使用深度卷积自编码器对神经原位杂交图像进行功能表示，用于基因本体分类

DeepBrain: Functional Representation of Neural In-Situ Hybridization Images for Gene Ontology Classification Using Deep Convolutional Autoencoders

Bar-Ilan University（巴伊兰大学）；University of Maryland（马里兰大学）

本文提出了一种新的基于深度学习的方法，用于学习哺乳动物神经图像的功能表示。该方法使用深度卷积去噪自动编码器（CDAE）来生成原位杂交（ISH）图像的不变的紧凑表示。虽然大多数现有的生物成像分析方法都没有开发来处理具有高度复杂解剖结构的图像，但本文提出的结果表明，CDAE提取的功能表示可以帮助学习功能基因本体类别的特征，以便以高度准确的方式进行分类。使用这种CDAE表示，我们的方法通过将平均AUC从0.92提高到0.98，即，减少了75%的错误。该方法对相对于原始图像显著下采样的输入图像进行操作，以使其在计算上可行。

2017-11-27cs.CVcs.LGcs.NE

一种用于推进机器学习模型的脉冲-卷积混合神经网络方法

A Hybrid Spiking-Convolutional Neural Network Approach for Advancing Machine Learning Models

Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）；North Carolina A&T State University（北卡罗来纳农工州立大学）；Universität Bielefeld（比勒费尔德大学）

本研究提出一种结合SNN时序处理与CNN空间特征提取能力的混合SC-NN模型，采用LIF神经元层与传统CNN层结构，在自定义图像修复数据集上实现当前最优性能，验证了两类网络融合的应用潜力。

2024-07-11cs.AIcs.NE

基于28 nm HKMG FeFET突触核的混合精度神经网络的变异感知训练

Variation Aware Training of Hybrid Precision Neural Networks with 28nm HKMG FeFET Based Synaptic Core

International College of Semiconductor Technology, National Yang-Ming Chiao Tung University（国立阳明交通大学半导体技术国际学院）

这项工作提出了一种混合精度神经网络训练框架，该框架具有基于eNVM的计算存储器单元和另一个SRAM单元，该计算存储器单元执行加权求和操作，该SRAM单元存储反向传播期间的权重更新误差以及更新硬件中的权重所需的脉冲数。基于MLP的神经网络的混合训练算法与28纳米铁电场效应管（FeFET）作为突触器件实现推理的准确性高达95%，在存在的设备和周期的变化。该架构主要使用FeFET器件的行为或宏模型进行评估，并通过实验校准器件变化，与浮点实现相比，我们已经实现了精度。

2022-02-23cs.AIcs.ETcs.NE

基于混合差分进化算法的图像分类深度卷积神经网络设计

A Hybrid Differential Evolution Approach to Designing Deep Convolutional Neural Networks for Image Classification

Victoria University of Wellington（惠灵顿维多利亚大学）

卷积神经网络（CNN）在图像分类中显示出了其优越性，而演化计算（EC）方法近年来兴起，可以自动设计CNN的结构，以节省人工设计CNN的繁琐工作。本文提出了一种新的混合差分进化（DE）算法，该算法通过增加交叉算子来进化任意长度的CNN结构，称为DECNN。在所提出的DECNN方法中有三个新的想法。首先，改进现有的有效编码方案以适应变长CNN结构;其次，为变长DE开发新的变异和交叉算子以优化CNN的超参数;最后，引入新的第二次交叉以进化CNN结构的深度。该算法在6个广泛使用的基准数据集上进行了测试，并将结果与12种最先进的方法进行了比较，结果表明该方法与最先进的算法相比具有很强的竞争力。此外，所提出的方法也比较了一种方法，使用粒子群优化与类似的编码策略命名为IPPSO，和建议的DECNN优于IPPSO的准确性。

2018-08-22cs.AIcs.CVcs.LG

深度卷积神经网络结构和短连接演化的混合GA-PSO方法

A Hybrid GA-PSO Method for Evolving Architecture and Short Connections of Deep Convolutional Neural Networks

School of Engineering and Computer Science Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）

图像分类是一个困难的机器学习任务，其中卷积神经网络（CNN）已经被应用了20多年，以解决这个问题。近年来，代替传统的仅将当前层与其下一层连接的方式，已经提出了将当前层与其下一层之外的前向层连接的快捷连接，这已被证明能够促进深度CNN的训练过程。然而，有各种方法来构建快捷连接，在解决特定问题时很难手动设计最佳快捷连接，特别是考虑到网络架构的设计已经非常具有挑战性。本文提出了一种混合演化计算（EC）方法，用于\textit{automatically}进化深层CNN的架构和快捷连接。本文的主要工作有三个方面：第一，提出了一种新的编码策略，对CNN进行编码，将其结构和最短连接分开编码;第二，提出了一种结合粒子群优化和遗传算法的混合两级EC方法来搜索最优CNN;最后，引入可调的学习率用于适应度评估，其在给定固定数量的时期的情况下为训练过程提供更好的学习率。在三个广泛使用的图像分类基准数据集上对该算法进行了评估，并与12个基于非EC的竞争对手和一个基于EC的竞争对手进行了比较。实验结果表明，该方法优于所有的同行竞争对手的分类精度。

2019-03-10cs.AIcs.CVcs.LG

支持混合量子的RBM优势：用于量子图像压缩和生成学习的卷积自编码器

A Hybrid Quantum enabled RBM Advantage: Convolutional Autoencoders For Quantum Image Compression and Generative Learning

University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）

了解D-Wave量子计算机如何用于机器学习问题越来越引起人们的兴趣。我们的工作评估了使用D-Wave作为机器学习采样器的可行性。我们描述了一个混合系统，它将经典的深度神经网络自动编码器与使用D-Wave的量子退火限制玻尔兹曼机（RBM）相结合。我们使用两个数据集（MNIST数据集和MNIST Fashion数据集）来评估我们的混合自动编码器算法。我们通过使用下游分类方法来评估这种方法的质量，其中训练是基于量子RBM生成的样本。我们的方法克服了当前2000量子位D-Wave处理器中的两个关键限制，即有限数量的量子位可用于容纳完全连接的量子目标函数和二进制像素表示的样本的典型问题大小。由于这些限制，我们能够展示我们如何实现灰度28 x 28大小的图像到二进制6 x 6大小的图像的近22倍压缩因子，并对原始28 x 28灰度图像进行有损恢复。我们进一步展示了如何在训练RBM后从D-Wave生成样本，从而生成28 x 28图像，这些图像是原始输入数据分布的变化，而不是重新创建训练样本。我们使用深度卷积神经网络来制定MNIST分类问题，该深度卷积神经网络使用来自量子RBM的样本来训练MNIST分类器，并将结果与使用原始MNIST训练数据集训练的MNIST分类器以及使用经典RBM样本训练的MNIST分类器进行比较。我们的混合自动编码器方法表明RBM结果相对于使用当前RBM经典计算机实现基于图像…

2020-01-31cs.ETcs.LGcs.NE