Can Deep Learning Relax Endomicroscopy Hardware Miniaturization Requirements?
Simon Fraser University(西蒙弗雷泽大学)
共聚焦激光显微内镜(CLE)是一种新型的成像模式,提供在体内组织学横截面的检查组织。最近,已经尝试开发用于临床和研究应用的小型化体内成像装置,特别是共焦激光显微镜。然而,微型CLE部件(例如共焦透镜)的当前实施方式损害了图像分辨率、信噪比或两者,这对体内成像的实用性产生了负面影响。在这项工作中,我们证明了基于软件的技术可以用来恢复丢失的信息,由于显微内镜硬件小型化和重建图像的分辨率更高。特别地,密集连接的卷积神经网络用于从低分辨率输入重建高分辨率CLE图像。在所提出的网络中,每一层都直接连接到所有后续层,从而有效地结合了低级和高级特征以及整个网络中的高效信息流。为了训练和评估我们的网络,我们使用了181个高分辨率CLE图像的数据集。定量和定性的结果表明,该网络的优越性相比,传统的插值技术和竞争的学习为基础的方法。这项工作表明,基于软件的超分辨率是一种可行的方法,以补偿由于内窥镜硬件小型化的分辨率损失。
2018-06-21 cs.CV
Exploring Hardware Friendly Bottleneck Architecture in CNN for Embedded Computing Systems
Xi'an Jiaotong University(西安交通大学)
本文针对嵌入式计算系统提出硬件友好的轻量级CNN模型L-Mobilenet,结合前沿网络结构设计与软硬件协同优化,在ZYNQ平台上实现了精度相当前提下的速度与参数量显著提升。
2024-03-11 cs.CV
FLASH: Fast Neural Architecture Search with Hardware Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
神经结构搜索(NAS)是一种设计高效、高性能深度神经网络(DNN)的技术。随着ML应用程序的性能需求不断增长,硬件加速器开始在DNN设计中发挥核心作用。这种趋势使得NAS对于大多数实际应用程序来说更加复杂和耗时。本文提出了FLASH,一种非常快速的NAS方法,可以在实际硬件平台上共同优化DNN的准确性和性能。作为主要的理论贡献,我们首先提出了NN度,这是一种量化具有跳跃连接的DNN的拓扑特征的分析度量(例如,DenseNets、ResNets、Wide-ResNets和MobileNets)。新提出的NN度允许我们在一秒钟内进行无训练NAS,并通过从具有超过630亿个配置的巨大搜索空间中训练25个样本来构建准确度预测器。其次,通过在目标硬件上执行推理,我们微调和验证我们的分析模型,以估计各种DNN架构的延迟,面积和能耗,同时执行标准ML数据集。第三,我们构建了一个分层算法的基础上单纯同源全局优化(SHGO)优化模型架构协同设计过程中,同时考虑目标硬件的面积,延迟和能耗。我们证明,相比国家的最先进的NAS方法,我们提出的分层SHGO为基础的算法,使超过四个数量级的加速(具体来说,所提出的算法的执行时间约为0.1秒)。最后,我们的实验评估表明,闪存可以轻松地转移到不同的硬件架构,从而使我们能够在不到3秒的时间内在Raspberry Pi-3B处理器上执行NAS。
2021-08-01 cs.CV cs.LG
TabConv: Low-Computation CNN Inference via Table Lookups
University of Southern California(南加州大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出基于查表近似卷积的 TabConv,并用余弦相似度优先级掩码选择近似层,在多种 CNN 和数据集上以保持 93% 以上性能为代价大幅削减推理算术运算。
2024-04-08 cs.CV cs.LG cs.NE
Improving Resnet-9 Generalization Trained on Small Datasets
Ascend Team, Toronto Research Center, Huawei Technologies(华为技术有限公司多伦多研究中心昇腾团队)
本文提出结合多种正则化与优化技术,在小型数据集上提升ResNet-9泛化能力,实现88%准确率,赢得ICLR竞赛。
2023-09-07 cs.CL cs.CV cs.LG
Efficient Semantic Segmentation for Visual Bird's-eye View Interpretation
Valeo Comfort and Driving Assistance(法雷奥舒适与驾驶辅助系统)
在具有有限硬件的实时应用中执行语义分割的能力非常重要。一个这样的应用是视觉鸟瞰图的解释,这需要四个全向相机图像的语义分割。在本文中,我们提出了一个有效的语义分割,设置新的标准,在运行时和硬件要求。我们的两个主要贡献是通过并行化ArgMax层来减少运行时间,以及通过将通道修剪方法应用于ENet模型来减少硬件要求。
2018-11-29 cs.CV
NASH: Neural Architecture Search for Hardware-Optimized Machine Learning Models
Jilin University(吉林大学);Delft University of Technology(代尔夫特理工大学)
针对机器学习算法需兼顾精度、吞吐量与延迟的需求,提出NASH神经架构搜索方法,含四种策略,在ImageNet上提升ResNet精度,集成FINN工具实现高吞吐量,优化精度与硬件利用率的权衡且代码开源。
2024-03-10 cs.AI cs.CV cs.LG
The Reversible Residual Network: Backpropagation Without Storing Activations
University of Toronto(多伦多大学);Uber Advanced Technologies Group(Uber先进技术集团)
深度残差网络(ResNets)极大地推动了图像分类的最新发展,随着网络的深度和广度的增长,其性能也在不断提高。然而,内存消耗成为瓶颈,因为需要存储激活以便使用反向传播计算梯度。我们提出了可逆残差网络(RevNet),这是ResNets的一个变体,其中每个层的激活都可以从下一层的激活中精确重建。因此,在反向传播期间,大多数层的激活不需要存储在存储器中。我们在CIFAR-10、CIFAR-100和ImageNet上证明了RevNets的有效性,建立了与相同大小的ResNets几乎相同的分类准确性,即使激活存储要求与深度无关。
2017-07-14 cs.CV cs.LG
Joint Pruning & Quantization for Extremely Sparse Neural Networks
National Taiwan University(台湾大学)
我们研究了深度神经网络的修剪和量化。我们的目标是实现量化网络的极高稀疏性,以实现低成本和低功耗的加速器硬件。在实际场景中,密集预测任务的应用特别多,因此我们选择立体深度估计作为目标。我们提出了一个两阶段的修剪和量化流水线,并引入了一个泰勒分数旁边的一个新的微调模式,以实现极端的稀疏性,而不牺牲性能。我们的评估不仅表明,修剪和量化应联合调查,但也表明,几乎99%的内存需求可以削减,而硬件成本可以降低高达99.9%。此外,为了与其他作品进行比较,我们证明了当应用于CIFAR10和ImageNet上的ResNet时,我们的剪枝阶段单独击败了最先进的技术。
2020-10-05 cs.CV
HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
Rutgers University(罗格斯大学);Indiana University(印第安纳大学);Washington State University(华盛顿州立大学)
本文提出HALOC框架,通过可微分的硬件感知架构搜索自动确定逐层低秩压缩秩值,在显著减少FLOPs的同时提升模型精度,并在多种硬件平台上实现实际加速。
2023-02-02 cs.AI cs.CV cs.LG
Channel Gating Neural Networks
本文介绍了通道门控,一个动态的,细粒度的,硬件有效的修剪计划,以减少卷积神经网络(CNN)的计算成本。通道门控识别特征中对分类结果贡献较小的区域,并跳过对这些无效区域的输入通道子集的计算。与静态网络修剪不同,通道门控通过利用特定于输入的特性在运行时优化CNN推理,这允许在几乎没有准确性损失的情况下大幅降低计算成本。我们的实验表明,在最先进的网络中应用通道门控实现了2.7-8.0 $\times$减少浮点运算(FLOPs)和2.0-4.4 $\times$减少片外存储器访问的CIFAR-10上的精度损失最小。将我们的方法与知识蒸馏相结合,可以将ResNet-18的计算成本降低2.6 $\times$,而不会降低ImageNet的准确性。我们进一步证明,通道门控可以有效地实现在硬件中。我们的方法表现出稀疏模式,非常适合于密集的脉动阵列与最小的额外硬件。我们设计了一个通道门控网络的加速器,它可以使用FPGA或ASIC实现。运行ImageNet的量化ResNet-18模型,我们的加速器平均实现了令人鼓舞的2.4 $\times$的加速,理论FLOP减少了2.8 $\times$。
2019-10-28 cs.CV cs.LG stat.ML
Lupulus: A Flexible Hardware Accelerator for Neural Networks
Eindhoven University of Technology(埃因霍温理工大学)
神经网络对于广泛的应用来说已经变得不可或缺,但它们具有高计算和存储要求,需要从网络的算法描述到硬件实现进行优化。此外,机器学习的高创新率使得硬件实现提供高水平的可编程性以支持神经网络的当前和未来需求变得非常重要。在这项工作中,我们提出了一个灵活的硬件加速神经网络,称为Lupulus,支持各种方法调度和映射到加速器的操作。Lupulus是在28 nm FD-SOI技术中实现的,并展示了380 GOPS/GHz的峰值性能,AlexNet和VGG-16卷积层的延迟分别为21.4ms和183.6ms。
2020-05-03 cs.AR cs.CV eess.SP
Distributed Low Precision Training Without Mixed Precision
University of Oxford(牛津大学)
低精度训练是在有限的硬件资源上部署深度模型的最流行策略之一。DCN的定点实现有可能减轻复杂性并促进嵌入式硬件上的潜在部署。然而,大多数低精度训练解决方案是基于混合精度策略。在本文中,我们提出了一个消融研究不同的低精度训练策略,并提出了一个解决方案,IEEE FP-16格式的整个训练过程。我们在ImageNet完整数据集上测试了128 GPU集群上的ResNet 50。我们已经看到,使用FP 32格式来训练深度模型不是必要的。我们已经看到,通信成本降低,模型压缩,和大规模分布式训练是三个耦合的问题。
2019-12-27 cs.CV cs.DC
FAT: Training Neural Networks for Reliable Inference Under Hardware Faults
Xilinx Research Labs(赛灵思研究实验室)
深度神经网络(DNN)是用于多种应用的最先进算法,从图像分类到语音识别。在提供出色的准确性的同时,它们通常具有巨大的计算和内存需求。因此,量化神经网络(QNN)越来越多地被采用和部署,特别是在嵌入式设备上,这不仅是因为它们的高准确性,而且还因为与浮点等效网络相比,它们的计算和内存要求显着降低。QNN部署也正在评估安全关键应用,如汽车,航空电子,医疗或工业。这些系统需要功能安全,即使在存在硬件故障的情况下也能保证无故障行为。一般来说,容错可以通过向系统添加冗余来实现,这进一步加剧了总体计算需求,并且使得难以满足功率和性能要求。为了降低实现功能安全的硬件成本,探索可以利用DNN固有特性的特定领域解决方案至关重要。在这项工作中,我们提出了一种新的方法,称为故障感知训练(FAT),其中包括错误建模过程中的神经网络(NN)的训练,使QNN弹性设备上的特定故障模型。我们的实验表明,通过在训练过程中在卷积层中注入故障,可以训练出高度准确的卷积神经网络(CNN),与原始网络相比,CNN具有更好的容错能力。此外,我们表明,冗余系统,这是建立从QNN训练FAT实现更高的最坏情况下的准确性,以较低的硬件成本。这已经在许多分类任务中得到验证,包括CIFAR10,GTSRB,SVHN和ImageNet。
2020-11-11 cs.CV cs.LG
HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs
Sony Semiconductor Israel(索尼半导体以色列公司)
最近的网络量化工作使用混合精度量化产生了最先进的结果。许多高效边缘设备硬件实现的迫切要求是,它们的量化器是统一的,并且具有2的幂阈值。在这项工作中,我们介绍了硬件友好的混合精度量化块(HMQ),以满足这一要求。HMQ是一个混合精度量化块,它将Gumbel-Softmax估计器重新用于一对量化参数(即位宽和阈值)的平滑估计器。HMQ使用它来搜索量化方案的有限空间。从经验上讲,我们将HMQ应用于在CIFAR 10和ImageNet上训练的神经网络分类模型。对于ImageNet,我们测试了四种不同的架构,并表明,尽管我们的量化方案增加了限制,但我们仍然获得了有竞争力的结果,在某些情况下,还获得了最先进的结果。
2020-07-20 cs.CV cs.LG stat.ML
Efficiera Residual Networks: Hardware-Friendly Fully Binary Weight with 2-bit Activation Model Achieves Practical ImageNet Accuracy
LeapMind Inc.(LeapMind公司);M3, Inc.(M3公司)
提出Efficiera Residual Networks(ERNs),通过全二进制权重和2-bit激活实现全超低位量化,引入共享常数缩放因子技术支持整数残差计算,在边缘设备上以极小模型尺寸实现高ImageNet准确率与快速推理。
2024-10-15 cs.CV cs.LG
Adaptive Pixel-wise Structured Sparse Network for Efficient CNNs
Tsinghua University(清华大学)
为了加速深度CNN模型,本文提出了一种新的空间自适应框架,可以根据输入图像动态生成像素级稀疏度。该稀疏算法在统一的重要性映射下具有像素级细化、区域自适应等特点,易于硬件实现。进一步提出了一种稀疏控制方法,以使具有不同精度/延迟要求的应用能够在线调整。稀疏模型适用于广泛的视觉任务。实验结果表明,该方法有效地提高了ResNet-18的图像分类和SRResNet的超分辨率的计算效率。在图像分类任务中,我们的方法可以节省30%-70%的MAC,而前1和前5的准确率略有下降。在超分辨率任务中,我们的方法可以减少超过90%的MAC,而PSNR和SSIM仅下降约0.1 dB和0.01。还包括硬件验证。
2021-03-20 cs.CV eess.IV
Profiling Neural Blocks and Design Spaces for Mobile Neural Architecture Search
University of Alberta(阿尔伯塔大学);Huawei Technologies(华为技术有限公司);Huawei Kirin Solution(华为麒麟解决方案)
神经架构搜索使神经网络设计自动化,并在许多深度学习应用中取得了最先进的成果。虽然最近的文献都集中在设计网络,以最大限度地提高精度,很少有工作已经进行了了解不同的硬件架构设计空间的兼容性。在本文中,我们分析了用于构建One-for-All(MobileNetV 3),ProxylessNAS和ResNet系列的神经块,以了解它们在各种设备上的预测能力和推理延迟,包括华为麒麟9000 NPU,RTX 2080 Ti,AMD Threadripper 2990 WX和三星Note 10。我们引入了一种方法来量化神经块对硬件的友好性,以及它们在宏网络中的位置对整体网络性能的影响,仅通过端到端测量。基于广泛的分析结果,我们得出的设计见解,并将其应用到硬件特定的搜索空间减少。我们发现,在减少搜索空间搜索产生更好的准确性,延迟帕累托边界比搜索在原来的搜索空间,定制架构搜索根据硬件。此外,从测量中获得的见解导致所有研究的搜索空间的ImageNet top-1得分明显更高。
2021-09-25 cs.CV cs.LG
3D U-Net for segmentation of COVID-19 associated pulmonary infiltrates using transfer learning: State-of-the-art results on affordable hardware
Charité Universitätsmedizin Berlin(柏林夏里特医学院);Technische Universität München(慕尼黑工业大学)
肺浸润的分割可以帮助评估COVID-19的严重程度,但手动分割是劳动和时间密集型的。使用神经网络分割肺浸润将使这项任务自动化。然而,从计算机断层扫描(CT)数据训练3D U-Net是时间和资源密集型的。因此,在这项工作中,我们开发并测试了一种解决方案,即如何使用迁移学习在有限的硬件上以更短的时间训练最先进的分割模型。我们使用最近发布的RSNA国际COVID-19开放放射学数据库(RICORD),使用18层3D ResNet(在Kinetics-400数据集上预训练)作为编码器来训练一个全三维的U-Net架构。然后,在接受胸部CT检查的COVID-19患者的两个公开数据集(Corona Cases和MosMed数据集)上测试了模型的泛化。我们的模型表现与之前发布的3D U-Net架构相当,在调优数据集上实现了0.679的平均Dice得分,在Coronacases数据集上实现了0.648,在MosMed数据集上实现了0.405。值得注意的是,这些结果是在单个GPU上用更短的训练时间实现的,可用内存比以前研究中使用的GPU少。
2021-01-25 cs.CV cs.LG eess.IV
ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University(东北大学);Syracuse University(雪城大学);SUNY University at Buffalo(纽约州立大学布法罗分校);University of Southern California(南加利福尼亚大学)
为了促进深度神经网络(DNN)的高效嵌入式和硬件实现,研究了DNN模型压缩技术的两个重要类别:权重修剪和权重量化。前者利用权重数量的冗余,而后者利用权重的比特表示的冗余。然而,缺乏DNN的联合权重修剪和量化的系统框架,从而限制了可用的模型压缩比。此外,除了简单的模型大小减小之外,还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制,我们提出了ADMM-NN,这是DNN的第一个算法-硬件协同优化框架,使用交替方向乘法(ADMM),这是一种强大的技术,可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术,在每次ADMM迭代中动态更新正则化目标,从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化,以促进硬件级实现。在没有精度损失的情况下,我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪,显著高于先前的工作。当专注于计算减少时,改进变得更加显著。结合权重修剪和量化,我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小,当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV