Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy
Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）；Central Washington University（中央华盛顿大学）
针对 CNN 滤波器剪枝中互信息计算昂贵且易受噪声影响的问题，提出基于空间 aura 熵的改进方法，在 CIFAR-10 上提升了剪枝性能与计算效率。
2023-12-08 cs.CV cs.LG
DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks
HUAWEI（华为）
卷积算子是卷积神经网络（CNN）的核心，也是计算量最大的算子。为了使CNN更有效，已经提出了许多方法来设计轻量级网络或压缩模型。虽然已经提出了一些有效的网络结构，如MobileNet或ShuffleNet，但我们发现卷积核之间仍然存在冗余信息。为了解决这个问题，我们提出了一种新的动态卷积方法来自适应地生成卷积核的基础上的图像内容。为了证明其有效性，我们在多个最先进的CNN上应用动态卷积。一方面，我们可以显着降低计算成本，同时保持性能。对于ShuffleNetV 2/MobileNetV 2/ResNet 18/ResNet 50，DyNet可以在不损失准确性的情况下减少37.0/54.7/67.2/71.3%的FLOP。另一方面，如果保持计算成本，则可以大大提高性能。基于MobileNetV 3-Small/Large架构，DyNet在ImageNet上实现了70.3/77.1%的Top-1准确率，提高了2.9/1.9%。为了验证可扩展性，我们还将DyNet应用于分割任务，结果表明，DyNet可以减少69.3%的FLOPs，同时保持平均IoU分割任务。
2020-04-22 cs.CV cs.LG
Accelerating Very Deep Convolutional Networks for Classification and Detection
Microsoft Research（微软研究院）
本文旨在加速卷积神经网络（CNN）的测试时计算，特别是对计算机视觉社区产生重大影响的深度CNN。与以前的方法，设计近似线性滤波器或线性响应，我们的方法考虑到非线性单元。我们开发了一个有效的解决方案，从而产生的非线性优化问题，而不需要随机梯度下降（SGD）。更重要的是，虽然以前的方法主要集中在优化一个或两个层，但我们的非线性方法能够实现非对称重建，当多个（例如，>=10）层近似。对于广泛使用的非常深的VGG-16模型，我们的方法实现了4倍的整体模型加速，而ImageNet分类中的前5个错误仅增加了0.3%。当插入Fast R-CNN检测器时，我们的4倍加速VGG-16模型也显示出目标检测的准确性下降。
2015-11-18 cs.CV cs.LG cs.NE
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Accelerating Image Classification with Graph Convolutional Neural Networks using Voronoi Diagrams
School of Computer Science, University of Windsor（计算机科学学院，温莎大学）
本研究提出将图卷积神经网络（GCNs）与沃罗诺伊图结合的图像分类框架，通过基于图的图像表示及德劳内三角剖分简化，在基准数据集上提升预处理时间和分类准确率，还提出更快的归一化沃罗诺伊图卷积网络（NVGCN）。
2025-08-19 cs.CV cs.LG
Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
Peking University（北京大学）；Momenta
滤波器修剪是加速和压缩卷积神经网络（CNN）的最有效方法之一。在这项工作中，我们提出了一种称为Gate Decorator的全局过滤器修剪算法，该算法通过将其输出乘以通道缩放因子（即门）来转换香草CNN模块。当比例因子设置为零时，相当于删除相应的滤波器。我们使用泰勒展开来估计由将比例因子设置为零引起的损失函数的变化，并将该估计用于全局滤波器重要性排名。然后我们通过删除那些不重要的过滤器来修剪网络。修剪后，我们将所有的缩放因子合并到其原始模块中，因此没有引入特殊的操作或结构。此外，我们提出了一个迭代修剪框架称为滴答，以提高修剪精度。大量的实验证明了我们的方法的有效性。例如，我们在ResNet-56上实现了最先进的剪枝率，减少了70%的FLOP，而没有明显的准确性损失。对于ImageNet上的ResNet-50，我们的修剪模型具有40%的FLOP减少，在top-1准确度方面优于基线模型0.31%。使用各种数据集，包括CIFAR-10，CIFAR-100，CUB-200，ImageNet ILSVRC-12和PASCAL VOC 2011。代码可在github.com/youzhonghui/gate-decorator-pruning上获得
2019-09-18 cs.CV cs.LG eess.IV
Accelerating Prostate Diffusion Weighted MRI using Guided Denoising Convolutional Neural Network: Retrospective Feasibility Study
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Graz University of Technology（格拉茨工业大学）；GE Healthcare（GE医疗）
目的：研究通过减少采集平均值的数量并使用建议的引导去噪卷积神经网络（DnCNN）对所得图像进行去噪来加速前列腺弥散加权成像（DWI）的可行性。材料与方法：从6台单一供应商MRI扫描仪中回顾性收集了前列腺DWI扫描的原始数据（2018年7月至2019年7月）。118个数据集用于训练和验证（年龄：64.3 ± 8岁），37个用于测试（年龄：65.1 ± 7.3岁）。高b值扩散加权（hb-DW）数据重建成噪声图像使用两个平均值和参考图像使用所有16个平均值。将传统的DnCNN修改为引导的DnCNN，其使用低b值DWI图像作为引导输入。对去噪hb-DW图像进行定量和定性阅片师评价。使用累积链接混合回归模型来比较读者评分。使用Bland Altman分析法分析表观扩散系数（ADC）图（去噪与参考）之间的一致性。结果如下：与DnCNN相比，引导DnCNN产生具有更高峰值信噪比和结构相似性指数以及更低归一化均方误差（p < 0.001）的去噪hb-DW图像。与参考图像相比，去噪图像获得了更高的图像质量评分（p < 0.0001）。基于去噪hb-DW图像的ADC值与参考ADC值具有良好的一致性。结论：通过减少采集平均值的数量并使用所提出的引导DnCNN对所得图像进行去噪来加速前列腺DWI在技术上是可行的。
2020-06-30 cs.CV eess.IV physics.med-ph
Channel Pruning for Accelerating Very Deep Neural Networks
Megvii Inc.（旷视科技）
本文介绍了一种新的通道修剪方法来加速非常深的卷积神经网络。给定一个训练好的CNN模型，我们提出了一个迭代的两步算法，通过基于LASSO回归的通道选择和最小二乘重建来有效地修剪每一层。我们进一步推广该算法到多层和多分支的情况。我们的方法减少了累积误差，提高了与各种架构的兼容性。我们的修剪VGG-16实现了最先进的结果，速度提高了5倍，误差仅增加了0.3%。更重要的是，我们的方法能够加速ResNet，Xception等现代网络，并且在2倍加速下分别仅损失1.4%和1.0%的准确性，这是非常重要的。代码已公开。
2017-08-21 cs.CV
cltorch: a Hardware-Agnostic Backend for the Torch Deep Neural Network Library, Based on OpenCL
ASAPP（ASAPP公司）
本文介绍了cltorch，火炬神经网络框架的硬件无关的后端。cltorch支持在来自不同硬件供应商（包括AMD、NVIDIA和Intel）的GPU上训练深度神经网络。cltorch包含足够的实现来运行AlexNet、VGG、Overfeat和GoogleNet等模型。它是使用OpenCL语言编写的，OpenCL是一种便携式计算语言，由Khronos Group管理。cltorch是Chintala的convnet-benchmarks页面上排名第一的硬件无关机器学习框架。本文介绍了在为Torch创建cltorch后端时遇到的技术挑战，并详细介绍了与快速实现硬件无关的挑战。卷积层被认为是加速硬件不可知框架的关键领域。确定了加速卷积实现的可能方法，包括：使用implicitgemm或winograd算法实现卷积，使用适用于与卷积算法相关联的几何形状的GEMM实现，或使用可插拔的硬件特定卷积实现。
2016-06-15 cs.CV cs.NE
LayerDropBack: A Universally Applicable Approach for Accelerating Training of Deep Networks
School of Computer Science, Ariel University（阿里尔大学计算机科学学院）
提出LayerDropBack方法，仅在反向传播中引入随机性以加速深度网络训练，无需修改架构，在多种模型和数据集上实现16.93%至23.97%的训练时间缩减且保持或提升精度。
2024-12-23 cs.CV
Automatic Rank Selection for High-Speed Convolutional Neural Network
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
低秩分解在加速卷积神经网络（CNN）中起着核心作用，而分解后的核张量的秩是决定神经网络复杂度和精度的关键参数。在本文中，我们将秩选择定义为一个组合优化问题，并提出了一种方法，以最大限度地减少网络的复杂性，同时保持所需的精度。由于搜索空间的限制，组合优化是不可行的。为了限制搜索空间并获得最优秩，我们定义了带有边界条件的空间约束参数。我们还提出了一个线性近似的精度函数来预测优化的CNN模型在降低成本期间的微调精度。在AlexNet和VGG-16上的实验结果表明，该算法满足精度约束。我们的方法与截断SVD相结合，在推理和训练时间方面优于最先进的方法，精度几乎相同。
2018-06-29 cs.CV
Accelerating Proposal Generation Network for \\Fast Face Detection on Mobile Devices
University of Southern California（南加州大学）；Samsung Research America（三星美国研究院）
人脸检测是近几十年来被广泛研究的问题。近年来，深度神经网络已经取得了显著的进步，然而，由于其有限的计算能力和内存，直接将这些技术应用于移动设备仍然具有挑战性。在这项工作中，我们提出了一个实时人脸检测的建议生成加速框架。更具体地说，我们采用了流行的级联卷积神经网络（CNN）作为基础，然后在基本框架上应用我们的加速方法来加快模型推理时间。我们的动机是观察到，这个框架的计算瓶颈来自建议生成阶段，其中密集图像金字塔的每个级别都必须通过网络。在这项工作中，我们通过利用全局和局部面部特征（即，全局面部和面部部分）。在公共基准测试WIDER-face和FDDB上的实验结果表明，与现有技术相比，该方法具有令人满意的性能和更快的速度。%的可比精度与最先进的速度更快。
2019-04-27 cs.CV
Point Proposal Network: Accelerating Point Source Detection Through Deep Learning
University of Pretoria（比勒陀利亚大学）
点源探测技术用于在射电天文测量中识别和定位点源。随着平方公里阵列（SKA）望远镜的发展，巡天图像的尺寸将从千兆像素大幅增加到万亿像素。在SKA探路者望远镜最近进行的调查中，点源探测已经被证明是一个挑战。本文提出了点建议网络（PPN）：一种利用深度卷积神经网络进行快速源检测的点源检测器。在模拟MeerKAT图像上测量的结果表明，尽管与领先的替代方法相比精度较低，但与替代方法不同，PPN执行源检测的速度更快，并且能够扩展到大图像。
2021-02-04 cs.CV cs.LG
Gemtelligence: Accelerating Gemstone classification with Deep Learning
CSEM SA（瑞士电子与微技术中心）；ETH（苏黎世联邦理工学院）；Gübelin Gem Lab Ltd（古柏林宝石实验室有限公司）；EPFL（洛桑联邦理工学院）
针对传统宝石产地判定与处理检测存在主观性、耗时且结果不一致的问题，本研究提出基于深度学习的Gemtelligence方法，利用多仪器异构数据实现精准分析，性能媲美昂贵专业检测与专家目检，提升了宝石分析的自动化与鲁棒性。
2023-05-31 cs.CV
Accelerating CNN inference on FPGAs: A Survey
Institut Pascal（帕斯卡研究所）；IETR, INSA Rennes（雷恩国立应用科学学院电子与电信研究所）
卷积神经网络（CNN）目前被用来解决越来越多的问题，从语音识别到图像分类和分割。CNN所需的大量处理需要专用和定制的硬件支持方法。此外，CNN工作负载具有流式传输性质，非常适合于可重新配置的硬件架构，例如FPGA。在过去的3年里，关于CNN FPGA加速主题的研究数量和多样性表明了巨大的工业和学术兴趣。本文介绍了一种基于FPGA的CNN推理加速器。计算工作量，其并行性和所涉及的内存访问进行了分析。在神经元层面，解释了卷积层和全连接层的优化，并比较了不同方法的性能。在网络层面，涵盖了近似计算和数据路径优化方法，并比较了最先进的方法。本调查中研究的方法和工具代表了FPGA CNN推理加速器的最新趋势，并将推动高效硬件深度学习的未来发展。
2018-05-26 cs.AR cs.CV cs.DC
Hashed Binary Search Sampling for Convolutional Network Training with Large Overhead Image Patches
Oak Ridge National Laboratory（橡树岭国家实验室）
与地面实况地图相关联的非常大的开销图像具有为机器学习算法生成数十亿个训练图像块的潜力。然而，随机采样选择标准往往会导致冗余和噪声图像补丁的模型训练。由于这一挑战背后的研究工作很少，目前的状况意味着错过了开发监督学习算法的机会，这些算法可以在广泛的地理场景中推广。此外，大规模机器学习的大部分计算周期都花费在处理噪声和冗余图像块上。我们展示了一个潜在的框架，以解决这些挑战，同时评估人类住区检测任务。一种新的二叉搜索树采样方案融合了基于核的散列过程，使用从图像内容生成的二进制代码将图像补丁映射到散列桶中。该框架利用数十亿图像块中的固有冗余来提升大多数高方差保持样本，以加速算法训练和提高模型泛化能力。
2017-07-18 cs.CV
Binary-decomposed DCNN for accelerating computation and compressing model without retraining
Chubu University（中部大学）；Denso IT Laboratory（电装IT实验室）
最近的趋势表明，识别准确性的提高甚至更加深刻。深度卷积神经网络（DCNN）的推理过程具有大量参数，需要大量计算，并且可能非常慢。大量的参数也需要大量的内存。这导致计算时间越来越长，模型尺寸越来越大。为了实现包含DCNN的移动和其他低性能设备，必须压缩模型大小并加速计算。为此，本文提出了二进制分解的DCNN，它解决了这些问题，而无需重新训练。我们的方法在现有的网络模型中用二进制内积计算代替实值内积计算，以加速推理计算并减小模型大小，而无需重新训练。二进制计算可以使用逻辑运算符（如XOR和AND）以及位计数来高速完成。在使用AlexNet与ImageNet分类任务的测试中，速度提高了1.79倍，模型压缩了约80%，出错率的增加限制在1.20%。使用VGG-16，速度提高了2.07倍，模型大小减少了81%，误差仅增加了2.16%。
2017-09-14 cs.CV
Less is More: Accelerating Faster Neural Networks Straight from JPEG
Instituto de Ciência e Tecnologia, Universidade Federal de São Paulo – UNIFESP（圣保罗联邦大学科学技术研究所（UNIFESP））
大多数可用的图像数据通常以压缩格式存储，其中JPEG是最普遍的。为了将此数据馈送到卷积神经网络（CNN）上，需要初步解码过程以获得RGB像素，这需要高计算负载和存储器使用。因此，近年来，用于处理JPEG压缩数据的CNN的设计受到了关注。在大多数现有的作品中，典型的CNN架构被适配为便于使用DCT系数而不是RGB像素进行学习。虽然它们是有效的，但它们的结构变化要么提高了计算成本，要么忽略了DCT输入的相关信息。在本文中，我们研究了加速为DCT输入设计的CNN的不同方法，利用学习策略通过充分利用DCT输入来降低计算复杂性。我们的实验在ImageNet数据集上进行。结果表明，学习如何以数据驱动的方式组合所有DCT输入比手动丢弃它们更好，并且其与减少层的组合已被证明可以有效地降低计算成本，同时保持准确性。
2022-08-24 cs.CV
Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning
University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
深度无监督领域自适应（UDA）近年来受到越来越多的研究者的关注。然而，现有的方法是计算密集的，由于计算成本的卷积神经网络（CNN）采用的大多数工作。到目前为止，还没有有效的网络压缩方法来加速这些模型。在本文中，我们提出了一个统一的传输通道修剪（TCP）的方法来加速UDA模型。TCP能够通过修剪不太重要的通道来压缩深度UDA模型，同时通过减少跨域分布发散来学习可转移特征。因此，它减少了负迁移的影响，保持了目标任务的竞争力。据我们所知，TCP是第一种旨在加速深度UDA模型的方法。TCP在两个基准交换机Office-31和ImageCLEF-DA上进行了验证，两个基准交换机具有两个公共骨干网络VGG 16和ResNet 50。实验结果表明，TCP实现可比或更好的分类精度比其他比较方法，同时显着降低计算成本。更具体地说，在VGG 16中，我们在修剪26%的浮点运算（FLOPs）后获得了更高的准确率;在ResNet 50中，我们在修剪12%的FLOPs后也获得了一半的任务的更高准确率。我们希望TCP将为未来加速迁移学习模型的研究打开一扇新的大门。
2019-03-25 cs.CV cs.LG
MetaDIP: Accelerating Deep Image Prior with Meta Learning
University of Maryland, College Park（马里兰大学帕克分校）
深度图像先验（DIP）是最近提出的一种通过将重建图像拟合到未经训练的卷积神经网络的输出来解决成像逆问题的技术。与预先训练的前馈神经网络不同，相同的DIP可以推广到任意的逆问题，从去噪到相位恢复，同时在每个任务上提供有竞争力的性能。DIP的主要缺点是，虽然前馈神经网络可以在单次通过中重建图像，但DIP必须在数百到数千次迭代中逐渐更新其权重，这需要大量的计算成本。在这项工作中，我们使用元学习来大规模加速基于DIP的重建。通过学习DIP权重的适当初始化，我们证明了在一系列逆成像任务中运行时间的10倍改进。此外，我们证明了一个网络训练，以快速重建人脸也推广到重建自然图像补丁。
2022-09-18 cs.CV eess.IV
Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization
Frères Mentouri University Constantine（君士坦丁兄弟门图里大学）
本文提出一种受引力启发的结构化剪枝方法，通过将滤波器权重拉向零或非零来同时优化权重并排序重要性，在CIFAR数据集上验证了其无需复杂微调即可获得有竞争力的剪枝效果。
2024-11-25 cs.CV
Learning Instance-wise Sparsity for Accelerating Deep Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）
探索高效率和低内存使用的深度卷积神经网络对于各种各样的机器学习任务非常重要。大多数现有的方法用于通过操纵参数或过滤器来加速深度模型，而无需数据，例如，修剪和分解。相比之下，我们从不同的角度研究这个问题，尊重数据之间的差异。通过识别不同实例的信息特征，开发了一种实例特征修剪。具体来说，通过研究特征衰减正则化，我们期望深度神经网络中每个实例的中间特征图是稀疏的，同时保持整体网络性能。在在线推理过程中，可以消除由经过良好训练的神经网络的中间层提取的输入图像的细微特征，以加速后续计算。我们进一步采取变异系数作为一种措施，以选择适合加速的层。在基准数据集和网络上进行的大量实验证明了该方法的有效性。
2019-07-27 cs.CV cs.LG
More is Less: A More Complicated Network with Less Inference Complexity
AI Institute（360人工智能研究院）；CAI, University of Technology Sydney（悉尼科技大学CAI）；National University of Singapore（新加坡国立大学）
针对卷积神经网络的推理过程，提出了一种新的通用网络结构，该网络结构较复杂，但推理复杂度较低。核心思想是为每个原始卷积层配备另一个低成本协作层（LCCL），这两个并行层的ReLU输出的逐元素乘法产生逐层输出。组合层可能比原始卷积层更具鉴别力，并且其推理速度更快，原因有两个：1）LCCL特征图的零单元在逐元素乘法之后将保持为零，并且因此跳过原始卷积层中的对应高成本卷积的计算是安全的，2）如果LCCL被实现为1*1卷积或仅由所有通道共享的单个滤波器，则其速度非常快。在CIFAR-10、CIFAR-100和ILSCRC-2012基准测试上的大量实验表明，我们提出的网络结构平均可以将推理过程加速32%，而性能下降可以忽略不计。
2017-05-15 cs.CV
Accelerating cardiac cine MRI using a deep learning-based ESPIRiT reconstruction
Stanford University（斯坦福大学）；GE Healthcare（通用电气医疗集团）
提出了一种称为DL-ESPIRiT的新型神经网络架构，用于快速重建采集的心脏MRI数据，而没有先前提出的基于深度学习的重建框架中存在的视野限制。此外，基于可分离3D卷积的新型卷积神经网络被集成到DL-ESPIRiT中，以更有效地学习用于动态图像重建的时空先验。该网络是在从11名健康志愿者收集的经IRB批准的完全采样的2D心脏电影数据集上训练的。将DL-ESPIRiT与称为$l_1$ -ESPIRiT的最先进的并行成像和压缩感知方法进行比较。在回顾性欠采样数据集（R=12）上评估了两种方法的重建准确性，包括标准图像质量指标以及基于自动深度学习的左心室容积分割。这种方法的可行性证明了在重建的前瞻性欠采样的数据，在一个单一的心跳每片收购。
2020-05-18 cs.CV eess.SP
Speeding up convolutional networks pruning with coarse ranking
University of Tennessee（田纳西大学）；Sun Yat-Sen University（中山大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
基于神经元的剪枝在加速深度卷积神经网络方面取得了显著的成功，其流水线是一个迭代的三步过程：排序，剪枝和微调。然而，这种迭代过程在计算上是昂贵的。在这项研究中，我们提出了一种新的计算效率高的通道修剪方法的基础上的粗排名，利用中间结果在微调排名过滤器的重要性，建立在国家的最先进的作品与数据驱动的排名标准。这项工作的目标是不提出一个单一的改进方法建立在一个特定的通道修剪方法，但引入一个新的通用框架，适用于一系列的通道修剪方法。利用各种基准图像数据集（CIFAR-10、ImageNet、Birds-200和Flowers-102）和网络架构（AlexNet和VGG-16）来评估所提出的用于对象分类目的的方法。实验结果表明，该方法可以实现几乎相同的性能与相应的国家的最先进的作品（基线），而我们的排名时间是可以忽略不计的短。具体而言，使用所提出的方法，在CIFAR-10上的AlexNet和ImageNet上的VGG-16中，整个剪枝过程的总计算时间分别减少了75%和54%。我们的方法将大大促进修剪实践，特别是在资源受限的平台上。
2019-02-18 cs.CV
Learning a Robust Representation via a Deep Network on Symmetric Positive Definite Manifolds
Beijing Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院智能信息技术北京市重点实验室）
最近的研究表明，聚合预训练卷积神经网络（CNN）的卷积特征可以为各种视觉任务提供令人印象深刻的性能。对称正定（SPD）矩阵由于其学习适当的统计表示来表征视觉特征的底层结构的显著能力而成为一个强大的工具。在本文中，我们建议通过端到端深度网络下的SPD生成和SPD变换将深度卷积特征聚合到SPD矩阵表示中。为此，在我们的网络中引入了几个新的层，包括非线性内核聚合层，SPD矩阵变换层和矢量化层。非线性核聚合层用于将卷积特征直接聚合到真实SPD矩阵中。SPD矩阵变换层被设计为构造更紧凑和有区别的SPD表示。在矢量化层进行矢量化和归一化操作，以减少冗余和加速收敛。我们的网络中的SPD矩阵可以被认为是连接卷积特征和高级语义特征的中级表示。为了证明我们的方法的有效性，我们进行了广泛的实验视觉分类。实验结果表明，我们的方法显着优于国家的最先进的方法。
2017-11-20 cs.CV
Learning Orientation-Estimation Convolutional Neural Network for Building Detection in Optical Remote Sensing Image
Chongqing University（重庆大学）
得益于深度学习在计算机视觉领域的巨大成功，基于CNN的目标检测方法受到了广泛关注。已经提出了各种框架，这些框架在大范围的数据集上表现出令人敬畏和强大的性能。然而，对于遥感图像中的建筑物检测，建筑物往往构成了多样性的方向，这使得它的应用是一个挑战，现成的方法来建筑物检测。在这项工作中，我们的目标是将方向回归到流行的轴对齐的边界框检测方法来解决这个问题。为了使轴对齐的包围盒适应任意方向的包围盒，我们还开发了一种算法来估计任意两个任意方向的包围盒之间的交集重叠（IoU），该算法便于在图形处理单元（GPU）中实现以加速计算。该方法利用CNN进行稳健的特征提取和旋转限界框回归。我们以端到端的方式呈现我们的模型，使其易于训练。该模型被制定和训练，以预测方向，位置和范围，同时获得更紧密的限界框，因此，更高的平均平均精度（mAP）。在不同尺度的遥感图像上进行的实验表明，该算法的性能优于传统算法。
2019-03-14 cs.CV
Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
加速动态磁共振成像（MRI）的数据采集导致了具有挑战性的不适定逆问题，在过去的几十年中，该问题引起了信号处理和机器学习社区的极大兴趣。该问题的关键成分是如何利用MR序列的时间相关性来解决混叠伪影。传统上，这样的观察导致非凸优化问题的公式化，其使用迭代算法来解决。然而，最近，基于深度学习的方法由于其解决一般反演问题的能力而获得了显著的普及。在这项工作中，我们提出了一个独特的，新颖的卷积递归神经网络（CRNN）架构，重建高质量的心脏MR图像从高度欠采样的k空间数据，通过联合利用时间序列的依赖关系，以及传统的优化算法的迭代性质。特别是，所提出的架构嵌入了传统的迭代算法的结构，有效地建模的迭代重建阶段的复发，通过使用经常性的隐藏连接在这样的迭代。此外，时空依赖性，同时学习，通过利用跨时间序列的双向经常性隐藏连接。所提出的算法能够学习的时间依赖性和迭代重建过程中有效地只有非常少的参数，而优于目前的MR重建方法的计算复杂性，重建精度和速度。
2018-10-14 cs.CV
Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks
University of Technology Sydney（悉尼科技大学）；Fudan University（复旦大学）；Hangdian University（杭州电子科技大学）
更深更宽的卷积神经网络（CNN）虽然具有更好的性能，但计算代价昂贵。加速这种过度参数化的神经网络已经受到越来越多的关注。典型的修剪算法是三级流水线，即，培训、修剪和再培训。现有的方法在再训练期间将修剪的滤波器固定为零，从而显著减小优化空间。此外，他们直接修剪大量的过滤器，这将导致不可恢复的信息丢失。为了解决这些问题，我们提出了一种渐进软滤波器剪枝（ASFP）方法来加速深层神经网络的推理过程。首先，我们在再训练阶段更新修剪的过滤器。结果表明，修剪后的模型的优化空间不会减小，而是与原模型的优化空间相同。这样，模型就有足够的能力从训练数据中学习。其次，我们渐进地修剪网络。我们首先修剪一些过滤器，然后在训练过程中渐进地修剪更多的过滤器。渐近剪枝使训练集的信息逐渐集中到剩余的滤波器中，从而保证后续训练和剪枝过程的稳定性。实验表明，我们的ASFP的有效性图像分类基准。值得注意的是，在ILSVRC-2012上，我们的ASFP在ResNet-50上减少了40%以上的FLOP，而前5名的准确性仅下降了0.14%，比软过滤器修剪（SFP）高出8%。
2019-11-11 cs.CV
Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction
Stanford University（斯坦福大学）；Apple Inc.（苹果公司）；GE Healthcare（GE医疗）
许多真实世界的信号源是复值的，具有实部和虚部。然而，绝大多数现有的深度学习平台和网络架构都不支持使用复值数据。MRI数据本质上是复值的，因此现有方法丢弃了复数据的更丰富的代数结构。在这项工作中，我们研究了端到端复值卷积神经网络-特别是代替双通道实值网络的图像重建。我们将其应用于磁共振成像重建的目的，加速扫描时间，并确定各种有前途的复值激活函数的性能。我们发现，在各种网络架构和数据集上，与具有相同数量可训练参数的实值卷积相比，具有复值卷积的复值CNN提供了更好的重建。
2020-05-12 cs.CV cs.LG eess.IV
WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
滤波器剪枝由于其在压缩和加速卷积神经网络方面的能力，近年来受到越来越多的关注。各种数据无关的标准，包括范数为基础的和关系为基础的，提出了修剪最不重要的过滤器。然而，这些国家的最先进的标准，未能充分考虑到过滤器的相异性，因此可能会导致性能下降。本文首先通过实例分析了基于关系准则的局限性，然后提出了一种新的与数据无关的准则-加权混合准则（WHC），以解决基于范数准则和基于关系准则的问题。通过考虑每个滤波器的大小和滤波器之间的线性相关性，WHC可以鲁棒地识别最冗余的滤波器，这些滤波器可以被安全地修剪而不会对网络引入严重的性能下降。大量的修剪实验，在一个简单的一次性的方式证明了建议的WHC的有效性。特别是，WHC可以在ImageNet上修剪ResNet-50，减少超过42%的浮点运算，而不会在前5名的准确性方面造成任何性能损失。
2023-02-16 cs.AI cs.CV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
Inria（法国国家信息与自动化研究所）
在这项工作中，我们使用深度学习来建立3D对象模型和“野外”图像之间的密集对应。我们引入了“DenseReg”，这是一种全卷积神经网络（F-CNN），它在单个前馈通道中在每个前景像素处密集地回归一对U-V模板坐标。为了训练DenseReg，我们通过结合3D可变形模型拟合和2D地标注释来构造监督信号。我们定义的回归任务的内在，U-V坐标的3D可变形模型，在训练时与图像实例相对应。许多其他对象相关的任务（例如，部分分割，地标定位）被证明是这个任务的副产品，并大大改善由于它的引入。我们通过将语义分割的思想与回归网络相结合来获得高度准确的回归结果，从而产生一种“量化回归”架构，该架构首先通过分类获得位置的量化估计，然后通过残差的回归对其进行细化。我们表明，这样的网络可以提高现有的最先进的姿态估计系统的性能。首先，我们证明了我们的系统可以作为统计可变形模型的初始化，以及级联架构的一个元素，共同定位地标和估计密集的对应关系。我们还表明，所获得的密集对应可以作为“特权信息”的来源，补充和扩展纯地标级注释，加速和改善姿态估计网络的训练。我们报告了在具有挑战性的300 W面部标志定位基准和MPII和LSP人体姿态估计数据集上的最新性能。
2018-03-11 cs.CV
Energy-based Tuning of Convolutional Neural Networks on Multi-GPUs
University of Malaga（马拉加大学）；University of Cordoba（科尔多瓦大学）
深度学习（DL）应用在人工智能领域的发展势头越来越强劲，特别是在GPU表现出卓越的技能来加速其具有挑战性的计算需求之后。在这种情况下，卷积神经网络（CNN）模型构成了一个代表性的例子，成功的广泛的一组复杂的应用程序，特别是在数据集上的目标可以表示通过层次结构的本地功能的语义复杂性增加。在大多数真实场景中，改善结果的路线图依赖于涉及蛮力计算的CNN设置，研究人员最近证明Nvidia GPU是加速的最佳硬件对应物之一。我们的工作通过对CNN在旗舰图像和视频应用中部署的关键参数进行能量研究来补充这些发现：分别通过步态进行对象识别和人员识别。我们基于两个最流行的网络（ResNet/AlexNet）评估四个不同网络的能耗：ResNet（167层），2D CNN（15层），CaffeNet（25层）和ResNetIm（94层），使用批量大小为64，128和256，然后将这些与速度和准确性相关联，以确定最佳设置。在一台配备Maxwell和Pascal Titan X GPU的多GPU服务器上的实验结果表明，能量与性能相关，Pascal与Maxwell相比可能有高达40%的增益。更大的批量可以提高性能并节省能源，但我们必须关注准确性，这有时会显示出对小批量的偏好。我们希望这项工作能够为现代HPC时代的广泛CNN和DL应用提供初步指导，其中GFLOPS/w比率构成了主要目标。
2018-08-01 cs.CV
Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation
Southern University of Science and Technology（南方科技大学）；Shanghai Aircraft Design and Research Institute（上海飞机设计研究院）
为了实现高性能深度卷积神经网络（CNN）的自动化设计，神经结构搜索（NAS）方法在学术界和工业界都变得越来越重要。由于用于性能评估的CNN的随机梯度下降（SGD）训练的成本很高，大多数现有的NAS方法对于实际部署来说计算成本很高。为了解决这个问题，我们首先引入了一个新的性能估计指标，称为随机权重评估（RWE），以具有成本效益的方式量化CNN的质量。RWE只训练其最后一层，而不是完全训练整个CNN，并将随机初始化的权重留给最后一层，这导致在几秒钟内进行单个网络评估。其次，多目标NAS采用复杂度度量来平衡模型大小和性能。总的来说，我们提出的方法获得了一组有效的模型，在两个现实世界的搜索空间与国家的最先进的性能。然后将在CIFAR-10数据集上获得的结果转移到ImageNet数据集上，以验证所提算法的实用性。此外，NAS-Bench-301数据集上的消融研究揭示了与现有方法相比，所提出的RWE在估计性能方面的有效性。
2021-10-08 cs.CV cs.LG cs.NE
LB-CNN: An Open Source Framework for Fast Training of Light Binary Convolutional Neural Networks using Chainer and Cupy
University “Politehnica” of Bucharest（布加勒斯特理工大学）
轻二进制卷积神经网络（LB-CNN）在如许多工业应用中所需的低能量计算平台中实现时特别有用。在这里，介绍了一个优化紧凑型LB-CNN的框架，并评估了其有效性。该框架免费提供，可以在免费访问的云平台上运行，因此不需要重大投资。优化后的模型以标准化的.h5格式保存，可用作专用工具的输入，以便进一步部署到特定技术中，从而实现各种智能图像传感器的快速开发。加速我们模型优化的主要因素，特别是二进制卷积核的选择，是Chainer/Cupy机器学习库，它为训练输出层作为极端学习机器提供了显著的加速。包括使用Keras/Tensorflow对输出层进行额外训练，因为它可以提高准确性。广泛使用的数据集，包括MNIST，GTSRB，ORL，VGG的结果显示精度和复杂性之间的很好的折衷。特别是，对于人脸识别问题，精心优化的LB-CNN模型提供了高达100%的准确率。这种TinyML解决方案非常适合需要低能耗图像识别的工业应用。
2021-06-25 cs.CV cs.LG eess.IV
JotlasNet: Joint Tensor Low-Rank and Attention-based Sparse Unrolling Network for Accelerating Dynamic MRI
School of Electronics and Information Engineering, Harbin Institute of Technology（哈尔滨工业大学电子与信息工程学院）；The Fourth Hospital of Harbin（哈尔滨第四医院）
本文提出 JotlasNet，将张量低秩先验与基于注意力的逐通道可学习软阈值稀疏先验结合，并由复合分裂算法展开为高效并行结构，在 OCMR 和 CMRxRecon 上提升动态 MRI 重建性能。
2025-02-17 cs.AI cs.CV
Fast Image Processing with Fully-Convolutional Networks
Intel Labs（英特尔研究院）
我们提出了一种方法来加速各种各样的图像处理运营商。我们的方法使用了一个全卷积网络，该网络是在输入输出对上训练的，这些输入输出对展示了操作员的动作。经过培训后，原来的操作员根本不需要运行。经过训练的网络以全分辨率运行，并在恒定时间内运行。我们调查网络架构的近似精度，运行时间和内存占用的影响，并确定一个特定的架构，平衡这些考虑。我们评估了10个先进的图像处理运营商，包括多种变分模型，多尺度色调和细节处理，摄影风格转移，非局部去雾，和非真实感风格化的方法。所有操作员都近似于同一个模型。实验表明，该方法是显着更准确的比先验近似计划。在MIT-Adobe数据集上，它将评估算子的PSNR测量的近似精度提高了8.5 dB（从27.5 dB提高到36 dB），并将DSSIM降低了3倍，同时是最快的，与最准确的先验近似方案相比。我们证明了我们的模型在数据集和分辨率上的推广，并研究了所提出的方法的一些扩展。结果显示在补充视频https://youtu.be/eQyfHgLx8Dc
2017-09-02 cs.CV cs.GR cs.LG
Discretizing Group-Convolutional Neural Networks for 3D Geometry in Feature Space
Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
本文提出在特征空间中进行采样，通过特征相似性选择代表性样本，从而解耦几何分辨率与内存处理成本，实现计算效率与精度的平衡。实验表明粗粒度的特征空间采样能有效保持分类精度，加速等变3D分类器的训练。
2026-05-14 cs.CV cs.GR cs.LG
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
Accelerating Cardiac MRI Reconstruction with CMRatt: An Attention-Driven Approach
ML-Labs Dublin City University（都柏林城市大学ML实验室）；Insight SFI Research Centre for Data Analytics Dublin City University（都柏林城市大学Insight SFI数据分析研究中心）；School of Medicine University College Dublin（都柏林大学学院医学院）
本文针对 CMR 欠采样重建中的混叠问题，系统比较 U-Net 上的空间与通道注意力，并基于 CMRxRecon 提出性能更优的 CMRatt 注意力流程。
2024-04-10 cs.CV eess.IV
Efficient Semantic Scene Completion Network with Spatial Group Convolution
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
我们引入了空间群卷积（SGC）来加速3D密集预测任务的计算。SGC与组卷积正交，组卷积作用于空间维度而不是特征通道维度。该算法将输入体素分成不同的组，然后对这些组进行3D稀疏卷积。由于在执行卷积时只考虑有效体素，因此可以显著减少计算量，但精度略有损失。语义场景完成任务，其目的是预测一个完整的3D体积与语义标签从一个单一的深度图像上所提出的操作进行了验证。通过SGC，我们进一步提出了一个高效的3D稀疏卷积网络，它利用了多尺度架构和从粗到细的预测策略。评估是在SUNC数据集上进行的，实现了最先进的性能和快速。代码可在https://github.com/zjhthu/SGC-Release.git上获得
2019-07-11 cs.CV
Simple 2D Convolutional Neural Network-based Approach for COVID-19 Detection
Institute of Data Science, National Cheng Kung University（国立成功大学数据科学学院）；Department of Electrical Engineering, National Cheng Kung University（国立成功大学电机工程学系）
本研究提出SSFL++框架和KDS采样方法，用于分析肺部CT图像，通过过滤OOD数据减少70%冗余，并使用简单EfficientNet-2D模型在COVID-19-CT-DB数据集上实现高效检测。
2024-03-17 cs.CV cs.LG eess.IV
Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks
Department of Automation, Tsinghua University（清华大学自动化系）
提出DynamicViT式动态空间稀疏化框架，依据输入逐步剪除或分流低信息量空间位置，以非对称快速/慢速路径高效加速ViT、CNN及密集预测任务。
2023-06-02 cs.AI cs.CV cs.LG
