Class-Discriminative CNN Compression
Princeton University（普林斯顿大学）
通过修剪和蒸馏来压缩卷积神经网络（CNN）已经在社区中受到越来越多的关注。特别是，设计一种基于类别区分的方法是理想的，因为它与CNN的训练目标无缝契合。在本文中，我们提出了类判别压缩（CDC），它在修剪和蒸馏中注入了类判别，以促进CNN的训练目标。我们首先研究了一组判别函数对通道修剪的有效性，其中我们通过直观的概括在我们的研究中包括众所周知的单变量二进制类统计，如学生T检验。然后，我们提出了一种新的层自适应分层修剪方法，在那里我们使用一个粗糙的类歧视计划的早期层和一个罚款后的层。这种方法自然符合CNN在早期层处理粗糙语义并在后期提取精细概念的事实。此外，我们利用判别成分分析（DCA）提取知识的中间表示在子空间中具有丰富的判别信息，这提高了隐藏层的线性可分性和分类精度的学生。结合修剪和蒸馏，CDC在CIFAR和ILSVRC 2012上进行了评估，我们始终优于最先进的结果。
2021-10-21 cs.CV
Tensor Reordering for CNN Compression
Trinity College Dublin（都柏林圣三一学院）；Dublin City University（都柏林城市大学）
我们展示了如何在卷积神经网络（CNN）滤波器的参数冗余可以有效地减少修剪在谱域。具体来说，通过离散余弦变换（DCT）提取的表示比原始空间更有利于修剪。通过依赖于权重张量整形和重新排序的组合，我们实现了高水平的层压缩，而精度损失很小。我们的方法被应用于压缩预训练的CNN，我们表明，轻微的额外微调允许我们的方法在显著的参数减少后恢复原始模型的性能。我们在ResNet-50和MobileNet-V2架构上验证了我们的方法用于ImageNet分类任务。
2020-10-22 cs.CV cs.LG
Layer-Wise Data-Free CNN Compression
Apple（苹果公司）
我们提出了一种计算效率高的方法来压缩训练好的神经网络，而不使用真实数据。我们将无数据网络压缩问题分解为独立的逐层压缩。我们展示了如何有效地生成逐层训练数据只使用一个预先训练的网络。我们使用这些数据在预训练的网络上执行独立的逐层压缩。我们还展示了如何对网络进行预处理，以提高分层压缩方法的准确性。我们提出了分层压缩使用量化和修剪的结果。在量化时，我们以更高的精度压缩比相关的工作，而使用数量级较少的计算。当压缩MobileNetV2并在ImageNet上进行评估时，我们的方法在所有位宽下都优于现有的量化方法，在$8$位量化中实现了$+0.34\%$改进，并且在较低位宽下实现了更强的改进（在$5$位上达到了$+28.50\%$改进）。当修剪时，我们的性能优于类似计算包络的基线，在相同的精度下实现$1.5$倍的稀疏率。我们还展示了如何将我们的高效方法与高计算生成方法相结合，以改善其结果。
2022-05-19 cs.CV
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University（卡内基梅隆大学）
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而，它们因其贪婪的内存和计算需求而臭名昭著，这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署，研究人员开发了修剪和量化算法来压缩此类网络，而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验，而在这项工作中，我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后，我们研究了不同的压缩架构对模型的影响，并设计了一个压缩架构，与未压缩的模型相比，模型大小减少了73.1%，推理时间减少了71.3%，BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
Attention-based Feature Compression for CNN Inference Offloading in Edge Computing
Aarhus University（奥胡斯大学）
研究了设备-边缘协同推理系统中CNN推理的计算卸载问题。受新兴范式语义通信的启发，我们提出了一种新的基于自动编码器的CNN架构（AECNN），用于在终端设备上进行有效的特征提取。我们在CNN中设计了一个基于通道注意方法的特征压缩模块，通过选择最重要的特征来压缩中间数据。为了进一步减少通信开销，我们可以使用熵编码来去除压缩数据中的统计冗余。在接收端，我们设计了一个轻量级的解码器，通过从接收到的压缩数据中学习来重建中间数据，以提高准确性。为了加快收敛速度，我们使用逐步的方法来训练基于ResNet-50架构获得的神经网络。实验结果表明，AECNN可以将中间数据压缩超过256倍，精度损失仅约4%，优于最先进的工作，BottleNet++。与直接将推理任务卸载到边缘服务器相比，AECNN可以更早地完成推理任务，特别是在无线信道条件较差的情况下，这突出了AECNN在时间约束内保证更高精度的有效性。
2023-02-10 cs.CV
Cross-filter compression for CNN inference acceleration
卷积神经网络具有很强的多任务处理能力，如图像分类等。然而，需要大量资源来训练网络。因此，已经做出了很多努力来通过降低权重、激活和梯度的精度来加速神经网络。然而，这些滤波量化方法存在由核的大小引起的自然上限。同时，随着小内核的普及，自然限制进一步降低。为了解决这个问题，我们提出了一种新的交叉滤波器压缩方法，可以提供$\sim32\times$节省内存和$122\times$加速卷积运算。在我们的方法中，所有的卷积滤波器被量化到给定的比特，空间相邻的滤波器共享相同的缩放因子。我们的压缩方法分别基于Binary-Weight和XNOR-Net，在CIFAR-10和ImageNet数据集上进行了评估，这些数据集具有广泛使用的网络结构，如ResNet和VGG，与最先进的量化方法相比，可以看到可容忍的准确性损失。
2020-05-18 cs.CV
Learned Image Compression with Mixed Transformer-CNN Architectures
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）；Shanghai Jiao Tong University（上海交通大学）
与经典的图像压缩标准相比，图像压缩（LIC）方法已经取得了令人鼓舞的进展，并表现出更好的率失真性能。现有的LIC方法大多是基于卷积神经网络（CNN-based）或基于变换器的，它们具有不同的优点。如何充分发挥两者的优势是一个值得探讨的问题，这就面临着两个挑战：1）如何有效地融合两种方法？2)如何以合适的复杂度实现更高的性能？在本文中，我们提出了一个有效的并行transformer-CNN混合（TCM）块，具有可控的复杂性，结合局部建模能力的CNN和非局部建模能力的Transformers器，以改善整体架构的图像压缩模型。此外，受熵估计模型和注意力模块的最新进展的启发，我们提出了一个通道的熵模型与参数有效的swin-transformer-based的注意力（SWAtten）模块，通过使用通道压缩。实验结果表明，我们提出的方法在三个不同分辨率的数据集上实现了最先进的率失真性能（即，Kodak、Tecnick、CLIC专业验证）与现有LIC方法进行比较。代码在https://github.com/jmliu206/LIC_TCM。
2023-03-27 cs.CV eess.IV
Gabor filter incorporated CNN for compression
DENSO CORPORATION（电装公司）
卷积神经网络（CNN）在许多计算机视觉任务中取得了显著的成功。然而，高成本的推理是嵌入式和实时系统的问题，所以有很多研究压缩网络。另一方面，自我注意模型的最新进展表明，卷积滤波器在早期层中优于自我注意，这表明较强的归纳偏差在早期层中更好。如卷积滤波器中所示，强偏置可以训练特定滤波器并将不必要的滤波器构造为零。这类似于经典的图像处理任务，其中选择合适的滤波器使得紧凑的字典来表示特征。我们遵循这个想法，并将Gabor滤波器纳入CNN的早期层进行压缩。通过反向传播学习Gabor滤波器的参数，因此特征仅限于Gabor滤波器。我们发现，CIFAR-10的VGG-16的第一层有192个内核/特征，但学习Gabor滤波器平均需要29.4个内核。此外，使用Gabor滤波器，第一层和第二层中平均分别有83%和94%的内核可以在更改后的ResNet-20上被移除，其中前五层与CIFAR-10的两层较大内核交换。
2021-12-14 cs.CV
Lossless Compression of Mosaic Images with Convolutional Neural Network Prediction
McMaster University（麦克马斯特大学）
我们提出了一个基于CNN的预测无损压缩方案的原始彩色马赛克图像的数码相机。这个专门的应用问题以前没有得到充分研究，但现在变得越来越重要，因为用于图像恢复任务的现代CNN方法（例如，超分辨率、低光照增强、去模糊），必须对原始原始马赛克图像进行操作以获得最佳可能结果。本文的关键创新点是空间-光谱镶嵌模式的高阶非线性CNN预测器。深度学习预测可以更准确地对空间-光谱镶嵌图像中高度复杂的样本依赖性进行建模，从而比现有的图像预测器更彻底地消除统计冗余。实验表明，所提出的CNN预测器实现了前所未有的无损压缩性能的相机原始图像。
2020-01-28 cs.CV eess.IV
Lost in Compression: the Impact of Lossy Image Compression on Variable Size Object Detection within Infrared Imagery
Durham University（杜伦大学）
有损图像压缩策略通过将数据编码为简化形式，可以更有效地存储和传输数据。这对于在存储设备较少的环境中使用较大的数据集进行培训至关重要。然而，这种压缩可能导致深度卷积神经网络（CNN）架构的性能严重下降，即使在应用温和压缩并且所得到的压缩图像在视觉上是相同的情况下。在这项工作中，我们应用有损JPEG压缩方法与六个离散的增加压缩水平{95，75，50，15，10，5}的红外波段（热）图像。我们的研究定量评估了有损压缩水平的增加对不同目标检测架构（级联RCNN，FSAF和可变形DETR）的性能的影响，这些架构相对于数据集中存在的不同大小的对象。当在未压缩数据上进行训练和评估时，我们在FLIR数据集上使用Cascade R-CNN实现了0.823的最大平均精度（mAP），优于之前的工作。在所有三种CNN架构中，有损压缩的影响在更高的压缩级别（15、10、5）下更极端。然而，在有损压缩图像上重新训练模型显着改善了所有三个CNN模型的性能，平均增量为~76%（在更高的压缩级别5）。此外，我们证明了相对于压缩水平的不同对象区域{小，小，中，大}的相对灵敏度。我们发现，微小的物体比中型和大型物体对压缩更敏感。总体而言，Cascade R-CNN在大多数对象区域类别中达到了最大mAP。
2022-05-16 cs.AI cs.CV
DMCNN: Dual-Domain Multi-Scale Convolutional Neural Network for Compression Artifacts Removal
PKU-NTU Joint Research Institute（北京大学-南洋理工大学联合研究院）
JPEG是有损图像压缩方法中最常用的标准之一。然而，JPEG压缩不可避免地引入了各种各样的伪像，特别是在高压缩率下，这可能会极大地影响体验质量（QoE）。最近，基于卷积神经网络（CNN）的方法已经显示出用于去除JPEG伪影的优异性能。人们已经做了很多努力来深化CNN并提取更深层次的特征，而相对较少的作品关注网络的感受野。在本文中，我们说明了输出图像的质量可以显着提高在许多情况下，通过扩大的感受野。进一步，我们提出了一种双域多尺度CNN（DMCNN），以充分利用像素和DCT域上的冗余。实验表明，DMCNN为JPEG伪影去除任务设置了新的最先进的技术。
2018-06-11 cs.CV
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）
在本文中，我们压缩卷积神经网络（CNN）的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计，从而在给定的量化比特率下产生次优的CNN性能，或者仅在训练期间考虑它们的联合统计，并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换（解相关）和重构，以在任何给定的量化比特率下提高压缩。变换量化将量化和降维（去相关）技术统一在一个框架中，以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论，并将最佳量化作为率失真优化问题。然后，我们表明，这个问题可以解决使用最佳的位深度分配后，解相关的最佳端到端学习变换（ELT），我们在本文中推导出。实验表明，变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地，我们发现具有再训练的变换量化能够将CNN模型（例如AlexNet、ResNet和DenseNet）压缩到非常低的比特率（1-2比特）。
2021-11-07 cs.CV cs.IT cs.LG
Learning a Single Tucker Decomposition Network for Lossy Image Compression with Multiple Bits-Per-Pixel Rates
The Hong Kong Polytechnic University（香港理工大学）；DJI Innovations Co., Ltd（大疆创新科技有限公司）
有损图像压缩是图像处理中的一个经典问题，其目的是利用不精确的近似来表示图像。最近，深度卷积神经网络（CNN）通过从大量数据中学习编码器-量化器-解码器网络，在LIC中取得了有趣的结果。然而，现有的基于CNN的LIC方法通常只能训练一个特定的每像素位数（bpp）的网络。这种“每bpp一个网络”的问题限制了CNN在实际LIC应用中的通用性和灵活性。在本文中，我们建议学习一个可以以多个bpp速率执行LIC的单个CNN。一个简单而有效的塔克分解网络（TDNet）的开发，其中有一个新的塔克分解层（TDL）的潜像表示分解成一组投影矩阵和一个核心张量。通过改变核心张量的秩及其量化，我们可以很容易地调整单个CNN内潜像表示的bpp率。此外，提出了一种迭代非均匀量化方案来优化量化器，并引入由粗到精的训练策略来重建解压缩图像。大量的实验证明了TDNet在PSNR和MS-SSIM指标方面的最新压缩性能。
2018-07-10 cs.CV
CC-Net: Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame（圣母大学）
用于生物医学图像分析的卷积神经网络（CNN）通常具有非常大的尺寸，导致高存储需求和高操作延迟。为特定成像应用搜索基础CNN的可接受压缩表示通常涉及一系列耗时的训练/验证实验，以在网络大小和准确性之间实现良好的折衷。为了解决这一挑战，我们提出了CC-Net，一种新的图像复杂度引导的CNN压缩方案，用于生物医学图像分割。给定一个CNN模型，CC-Net根据从训练数据计算的平均图像复杂度预测不同大小网络的最终精度。然后，它选择一个乘法因子，以产生具有可接受的网络精度和大小的期望网络。实验表明，CC-Net可以有效地生成压缩的分割网络，保持高达95%的基本网络分割精度，并且在最佳情况下仅利用全尺寸网络的0.1%的可训练参数。
2019-09-08 cs.CV
Coreset-Based Neural Network Compression
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出了一种基于滤波器核集表示的卷积神经网络（CNN）压缩算法。我们利用CNN权重和神经元激活（跨样本）空间中存在的冗余来获得压缩。我们的方法不需要再训练，易于实现，并在各种各样的CNN架构中获得最先进的压缩性能。再加上量化和霍夫曼编码，我们创建的网络提供了类似AlexNet的准确性，其内存占用比原始AlexNet小$832\times$，同时还显著减少了推理时间。此外，这些压缩网络在微调时，也成功地推广到其他领域。
2018-07-25 cs.CV cs.LG
Fast Exploration of Weight Sharing Opportunities for CNN Compression
Ecole Centrale de Lyon（里昂中央理工学院）；Institut des Nanotechnologies de Lyon and CNRS（里昂纳米技术研究所及法国国家科学研究中心）
卷积神经网络（CNN）中涉及的计算工作量通常是低功耗嵌入式设备无法承受的。有大量的近似技术来解决这个问题。这些方法具有需要使用设计空间探索（DSE）针对每个CNN进行优化的超参数。这项工作的目标是证明DSE相位时间可以很容易地爆炸的最先进的CNN。因此，我们建议使用一个优化的探索过程，大大减少探索时间，而不牺牲输出的质量。
2021-02-02 cs.AI cs.CV cs.LG
Approximating Continuous Convolutions for Deep Network Compression
University of Oxford（牛津大学）
我们提出了一种压缩卷积神经网络层的新方法ApproxConv。将传统的离散卷积重新定义为空间上参数化函数的连续卷积，我们使用函数逼近来捕获CNN滤波器的基本结构，其参数比传统操作少。我们的方法能够减少训练的CNN层的大小，只需要少量的微调。我们证明，我们的方法能够将现有的深度网络模型压缩一半，同时仅损失1.86%的准确率。此外，我们证明了我们的方法与其他压缩方法兼容，如量化，允许进一步减少模型大小。
2022-10-17 cs.CV
Lossless Compression of Point Cloud Sequences Using Sequence Optimized CNN Models
我们提出了一个新的范例编码的几何点云序列，其中的卷积神经网络（CNN），估计编码分布的优化序列的几个帧进行压缩。我们采用轻量级的CNN结构，我们将训练作为编码过程的一部分进行，并且CNN参数作为比特流的一部分进行传输。新提出的编码方案对每个点云的八叉树表示进行操作，连续编码每个八叉树分辨率层。在每个八叉树分辨率层，体素网格被逐段遍历（每个部分垂直于选定的坐标轴），并且在每个部分中，二乘二体素组的占用率在单个算术编码操作中被立即编码。基于关于八叉树的当前和较低分辨率层中的相邻体素的占用的可用信息，为每个二乘二组体素定义条件编码分布的上下文。CNN在四个阶段中估计来自一个部分的所有体素组的占用模式的概率分布。在每个新的阶段中，上下文与在前一阶段中编码的occupancy一起更新，并且每个阶段并行地估计概率，从而在处理的并行性和上下文的信息量之间提供合理的权衡。CNN的训练时间与其余编码步骤所花费的时间相当，从而导致具有竞争力的整体编码时间。比特率和编码-解码时间与最近发布的压缩方案相比毫不逊色。
2022-06-02 cs.CV eess.IV
S-Net: A Scalable Convolutional Neural Network for JPEG Compression Artifact Reduction
Zhejiang University（浙江大学）；Sichuan University（四川大学）
最近的研究已经使用深度残差卷积神经网络（CNN）来减少JPEG压缩伪影。这项研究提出了一种可扩展的CNN称为S-Net。我们的方法有效地调整网络规模动态多任务系统的实时操作，几乎没有性能损失。它提供了一种简单而直接的技术来评估随着网络深度的增加而获得的性能增益，并且有助于去除冗余网络层以最大化网络效率。我们使用Keras框架和TensorFlow后端在NVIDIA K80 GPU服务器上实现了我们的架构。我们在DIV 2K数据集上训练我们的模型，并在公共基准数据集上评估它们的性能。为了验证所提出的方法的通用性和普适性，我们创建并使用了一个新的数据集，称为WIN 143，过度处理的图像评估。实验结果表明，我们提出的方法优于其他基于CNN的方法，并达到最先进的性能。
2018-10-18 cs.CV
DepthTCM: High Efficient Depth Compression via Physics-aware Transformer-CNN Mixed Architecture
Department of Mechanical Engineering, Yonsei University（延世大学机械工程系）；Meta Reality Labs（Meta现实实验室）
DepthTCM通过物理感知的Transformer-CNN混合架构实现深度图压缩，采用多波长深度编码将深度映射为平滑的3通道图像，并通过4位量化和学习编码器实现高效压缩，实验显示其在Middlebury 2014数据集上达到0.307 bpp的压缩率，精度达99.38%。
2026-03-22 cs.CV
Directed-Weighting Group Lasso for Eltwise Blocked CNN Pruning
Alibaba, Inc.（阿里巴巴集团）；JD.com, Inc.（京东集团）
Elwise层是多分支深度学习网络中常用的结构。在滤波器修剪过程中，由于elwise层的特定操作，所有先前的卷积层都应该投票决定哪些滤波器应该被修剪。由于只有投票过滤器的交集被修剪，压缩率是有限的。这项工作提出了一种称为定向加权组套索（DWGL）的方法，该方法在过滤器级别组套索项上强制执行索引增量（定向）系数，以便获得高激活的低索引过滤器倾向于被保留，而高索引过滤器倾向于被修剪。当使用DWGL时，在投票过程中保留的过滤器要少得多，压缩率可以提高。本文在ResNet串联网络上对所提方法进行了测试。在CIFAR-10上，它在ResNet-56上实现了75.34%的压缩率，误差增量为0.94%，在ResNet-20上实现了52.06%的压缩率，误差增量为0.72%。在ImageNet上，它使用ResNet-50实现了53%的压缩率，误差增量为0.6%，使网络速度提高了2.23倍。此外，它在ResNet-50上实现了75%的压缩率，误差增量为1.2%，网络速度提高了4倍。
2019-10-21 cs.CV
Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
针对不同压缩技术组合顺序影响性能的问题，提出通过拓扑排序得到的CNN组合压缩最优序列，可大幅降低计算成本且精度损失极小，为模型压缩实践提供参考。
2024-08-17 cs.CV cs.LG cs.NE
D-CNN and VQ-VAE Autoencoders for Compression and Denoising of Industrial X-ray Computed Tomography Images
Department for X-Ray Imaging, Federal Institute for Materials Research（X射线成像部门，材料研究与测试联邦机构）；Institute of Physics and Astronomy, University of Potsdam（物理与天文学研究所，波茨坦大学）
本研究利用 D-CNN 和 VQ-VAE 两种自编码器压缩工业 XCT 图像，引入边缘保留敏感指标评估质量，发现不同架构和压缩率需按需选择，为数据存储与分析提供指导。
2025-07-10 cs.CV eess.IV
Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT)
Faculty of Computer Science（计算机科学学院）；Selinus University of Sciences and Literature（塞利努斯科学与文学大学）
针对JPEG压缩中DFT周期性导致的图像伪影问题，提出一种基于CNN自编码器的有效图像压缩方法，实验表明该方法能实现更好的图像重建与良好的压缩效果。
2023-07-02 cs.CV cs.LG eess.IV
Video compression with low complexity CNN-based spatial resolution adaptation
Bristol Vision Institute（布里斯托尔视觉研究所）；University of Bristol（布里斯托尔大学）
最近已经证明，空间分辨率自适应可以集成在视频压缩中，以通过在编码之前进行空间下采样和在解码器处进行超分辨来提高整体编码性能。当使用卷积神经网络（CNN）来执行分辨率上采样时，已经报告了显著的改进。然而，由于采用了基于CNN的超分辨率，这种方法在解码器处具有高复杂度。在本文中，提出了一种新的框架，支持灵活分配的复杂性之间的编码器和解码器。该方法采用CNN模型在编码器处进行视频下采样，并使用Lanczos 3滤波器在解码器处重建全分辨率。所提出的方法被集成到HEVC HM 16.20软件中，并使用All Intra配置在JVET UHD测试序列上进行评估。实验结果证明了所提出的方法的潜力，与原始HEVC HM相比具有显著的比特率节省（超过10%），并且编码器（29%）和解码器（10%）处的计算复杂度降低。
2020-07-29 cs.CV cs.LG cs.MM
Compact CNN Structure Learning by Knowledge Distillation
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）；University of Verona（维罗纳大学）
压缩深度卷积神经网络（CNN）的概念对于在嵌入式设备上使用有限的计算、功耗和内存资源至关重要。然而，现有的方法实现这一目标的代价是在计算机视觉任务的推理精度下降。为了解决这个缺点，我们提出了一个框架，利用知识蒸馏以及可定制的块优化来学习轻量级的CNN结构，同时保持对压缩性能权衡的更好控制。考虑到具体的资源限制，例如，浮点运算每推理（FLOPs）或模型参数，我们的方法导致在一个国家的最先进的网络压缩，同时能够实现更好的推理精度。在综合评估中，我们证明了我们的方法是有效的，鲁棒的，并且与各种网络架构和数据集的结果一致，训练开销可以忽略不计。特别是，对于已经紧凑的网络MobileNet_v2，我们的方法提供了高达2倍和5.2倍更好的模型压缩方面的FLOP和模型参数，分别，同时获得1.05%更好的模型性能比基线网络。
2021-04-19 cs.CV
HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression
Institute for Clarity in Documentation（清晰度文献研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
新兴的边缘计算促进了在不牺牲太多准确性的情况下压缩神经网络的巨大兴趣。在这方面，低秩张量分解构成了一个强大的工具，通过将4路核张量分解为多级较小的张量来压缩卷积神经网络（CNN）。在Tucker-2分解的基础上，提出了一种广义高阶Tucker关节核（HOTCAKE）方法，该方法包括四个步骤：输入通道分解、引导Tucker秩选择、高阶Tucker分解和微调。通过对每个CONV层进行HOTCAKE，获得了具有适度精度折衷的高度压缩的CNN模型。实验表明，HOTCAKE甚至可以压缩预压缩的模型，并产生最先进的轻量级网络。
2020-02-28 cs.CV cs.LG stat.ML
A multi-branch convolutional neural network for detecting double JPEG compression
Shenzhen University（深圳大学）
双重JPEG压缩的检测是取证分析的重要内容。提出了几种基于卷积神经网络（CNN）的方法。这些方法仅接受来自预处理数据的输入，例如直方图特征和/或解压缩图像。在本文中，我们提出了一个CNN的解决方案，使用原始DCT（离散余弦变换）系数从JPEG图像作为输入。考虑到JPEG中DCT子带的特性，设计了一种多分支CNN结构来检测JPEG格式的图像是否经过双重压缩。与以往的方法相比，该方法提供了端到端的检测能力。大量的实验已经进行了证明所提出的网络的有效性。
2017-10-16 cs.CV cs.MM
Ultra High Fidelity Image Compression with $\ell_\infty$-constrained Encoding and Deep Decoding
Shanghai Jiao Tong University（上海交通大学）；McMaster University（麦克马斯特大学）
在医学、遥感和科学等许多专业领域，用户往往要求图像压缩方法在数学上是无损的。但是无损图像编码具有相当低的压缩比（对于自然图像约为2：1）。在满足严格的保真度要求的同时实现显著压缩的唯一已知技术是九十年代开发和标准化的$\ell_\infty$约束编码的方法。经过二十年的研究，我们在$\ell_\infty$约束图像编码方面取得了重大进展，提出了一种新的基于CNN的软$\ell_\infty$约束解码方法。新方法通过使用称为$\ell_\infty\mbox{-SDNet}$的恢复CNN来将常规解码图像映射到潜像来修复压缩缺陷。$\ell_\infty\mbox{-SDNet}$的一个独特优势是它能够在每个像素的基础上实施严格的误差界限。因此，原始图像的任何小的独特结构都不会被丢弃或扭曲，即使它们是主流CNN恢复方法以其他方式牺牲的统计离群值。更重要的是，本研究提出了一种新的$\ell_\infty$约束编码和深度软解码（$\ell_\infty\mbox{-ED}^2$）的图像压缩系统. $\ell_\infty \mbox{-ED}^2$方法胜过现有的有损图像压缩方法中的最佳方法（例如，BPG、WebP等）不仅在$\ell_\infty$中，而且在$\ell_2$误差度量和感知质量中，对于接近感知透明重构的阈值的比特率。在操作上，新的压缩系统是实用的，具有低复杂度的实时编码器和级…
2020-02-10 cs.CV eess.IV
Stability Based Filter Pruning for Accelerating Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）；Samsung R&D Institute（三星研发院）
卷积神经网络（CNN）在各种任务（分类，检测等）上取得了令人印象深刻的性能。以高计算和存储器要求为代价跨越多个域。因此，将CNN用于实时应用需要模型压缩方法，不仅减少参数的总数，而且还减少整体计算。在这项工作中，我们提出了一种基于稳定性的CNN过滤器级修剪方法。我们在不同的架构（LeNet，VGG-16，ResNet和Faster RCNN）和数据集上评估了我们提出的方法，并通过广泛的实验证明了其通用性。此外，我们的压缩模型可以在运行时使用，而不需要任何特殊的库或硬件。我们的模型压缩方法将FLOPS的数量减少了6.03倍，GPU内存占用量减少了17倍以上，显著优于其他最先进的过滤器修剪方法。
2018-11-20 cs.CV
OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）；ETH Zurich（苏黎世联邦理工学院）
最先进的2D图像压缩方案依赖于卷积神经网络（CNN）的能力。尽管CNN为2D图像压缩提供了有希望的前景，但将此类模型扩展到全向图像并不简单。首先，全向图像具有特定的空间和统计特性，不能完全捕获当前的CNN模型。第二，构成CNN架构的基本数学运算，例如，平移和采样，在球体上没有很好的定义。在本文中，我们研究了全向图像表示模型的学习，并提出使用HEALPix球体均匀采样的属性来重新定义全向图像深度学习模型中使用的数学工具。我们尤其：i）提出球面上新卷积运算的定义，其保持经典2D卷积的高表现力和低复杂度; ii）使标准CNN技术（例如步幅、迭代聚合和像素重排）适应球面域;然后iii）将我们的新框架应用于全向图像压缩的任务。我们的实验表明，我们提出的球体上的解决方案导致更好的压缩增益，可以节省13.7%的比特率相比，类似的学习模型应用于等距矩形图像。此外，与基于图卷积网络的学习模型相比，我们的解决方案支持更具表现力的滤波器，可以保留高频并提供更好的压缩图像感知质量。这样的结果表明，所提出的框架，这开辟了新的研究场所，其他全向视觉任务，有效地实现了球面流形上的效率。
2022-08-21 cs.CV eess.IV
EdgeCompress: Coupling Multidimensional Model Compression and Dynamic Inference for EdgeAI
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；HP-NTU Digital Manufacturing Corporate Lab, Nanyang Technological University（惠普-南洋理工大学数字制造联合实验室）；Department of Computer Science, Norwegian University of Science and Technology（挪威科技大学计算机科学系）；HP Inc.（惠普公司）
研究针对卷积神经网络在嵌入式设备部署的计算成本问题，提出EdgeCompress框架，通过动态图像裁剪和复合收缩进行多维模型压缩，结合动态推理框架，有效减少计算冗余，提高推理效率，实验证明该框架能显著提升模型性能。
2026-07-09 cs.AR cs.CV cs.LG
On the Impact of Lossy Image and Video Compression on the Performance of Deep Convolutional Neural Network Architectures
Durham University（杜伦大学）
广义图像理解的最新进展已经看到深度卷积神经网络（CNN）在广泛的基于图像的检测、分类和预测任务中的使用激增。虽然这些方法的报告性能令人印象深刻，但本研究调查了迄今为止尚未解决的问题，即普通图像和视频压缩技术对这种深度学习架构性能的影响。集中在JPEG和H.264（MPEG-4 AVC）作为代表性的代理，在网络连接的图像/视频设备和基础设施中常用的当代有损图像/视频压缩技术，我们研究的影响，在五个离散的任务：人体姿态估计，语义分割，目标检测，动作识别，和单眼深度估计的性能。因此，在本研究中，我们包括各种网络架构和域，包括端到端卷积、编码器-解码器、基于区域的CNN（R-CNN）、双流和生成对抗网络（GAN）。我们的研究结果表明，网络性能和有损压缩的水平之间的非线性和非均匀的关系。值得注意的是，性能在JPEG质量（量化）水平为15%和H.264恒定速率因子（CRF）为40以下显著降低。然而，在某些情况下，在预压缩图像上重新训练所述架构反而可以恢复高达78.4%的网络性能。此外，在采用编码器-解码器流水线的架构和那些表现出对有损图像压缩的弹性的架构之间存在相关性。输入压缩与输出任务性能之间的关系的特征可用于通知未来图像/视频设备和基础设施内的设计决策。
2020-07-28 cs.CV
Neural Epitome Search for Architecture-Agnostic Network Compression
National University of Singapore（新加坡国立大学）；Bytedance Inc.（字节跳动公司）
最近的无线传感器网络[1]是一种新的模型压缩方法，通过从一个紧凑的集合中采样滤波器权重，并已被证明是有效的一维卷积神经网络（CNN）。然而，WSNet的权值采样策略是人为设计和固定的，这可能会严重限制CNN的表达能力，削弱其压缩能力。在这项工作中，我们提出了一种新的自动采样方法，该方法适用于1D和2D CNN，与WSNet相比具有显着的性能改善。具体来说，我们提出的自动采样方法学习采样规则端到端，而不是独立的网络架构设计。通过这种可微分权重采样规则学习，从紧凑集中优化采样步长和通道选择，以实现模型压缩率和性能之间的更好折衷。我们证明，在相同的压缩比，我们的方法优于WSNet的6.5%的一维卷积。此外，在ImageNet上，我们的方法比MobileNetV2完整模型的分类准确率高出1.47%，FLOPs减少了25%。在与基线模型相同的骨干架构下，我们的方法甚至优于一些基于神经架构搜索（NAS）的方法，如AMC [2]和MNasNet [3]。
2019-12-28 cs.CV
Efficient CNN Compression via Multi-method Low Rank Factorization and Feature Map Similarity
针对低秩分解压缩CNN存在的秩选择难、微调久、兼容性差等问题，提出基于特征图相似性的秩选择策略与多方法逐层适配的端到端DSE压缩框架，实现高精度损失极小的高效压缩，优于多种前沿方法。
2025-09-29 cs.AI cs.CV
High-throughput Onboard Hyperspectral Image Compression with Ground-based CNN Reconstruction
Politecnico di Torino（都灵理工大学）
航天器机载高光谱图像的压缩是有限的计算资源和不断增长的空间和光谱分辨率的光学仪器之间的权衡。因此，它需要具有良好的率失真性能和高吞吐量的低复杂度算法。近年来，空间数据系统咨询委员会（CCSDS）重点关注基于预测编码的无损和近无损压缩方法，并于最近发布了CCSDS 123.0-B-2推荐标准。虽然量化预测残差的环路内重构为近无损操作模式提供了出色的率失真性能，但由于数据依赖性，它显著限制了可实现的吞吐量。在本文中，我们研究了一种更快的方法的性能的基础上预量化的图像其次是无损预测压缩。虽然众所周知这是次优的，但可以利用强大的信号模型来重建地面段的图像，恢复部分次优。特别是，我们证明了卷积神经网络可以用于此任务，并且它们可以恢复在每像素2位的比特率下产生的整个SNR下降。
2019-07-05 cs.CV cs.LG eess.IV
Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression
Beihang University（北京航空航天大学）；Griffith University（格里菲斯大学）
虽然对卷积神经网络（CNN）的研究进展迅速，但这些模型的实际部署往往受到计算资源和内存约束的限制。在本文中，我们通过提出一种新的过滤器修剪方法来压缩和加速CNN来解决这个问题。我们的工作是基于线性关系，确定在不同的特征地图子空间，通过可视化的特征地图。这种线性关系意味着CNN中的信息是冗余的。我们的方法通过将子空间聚类应用于特征图来消除卷积滤波器中的冗余。通过这种方式，网络中的大部分代表性信息可以保留在每个簇中。因此，我们的方法提供了一个有效的解决方案，过滤器修剪，大多数现有的方法直接删除过滤器的基础上简单的算法。所提出的方法与网络结构无关，因此它可以被任何现成的深度学习库采用。在不同网络和任务上的实验表明，我们的方法优于微调前的现有技术，并在微调后达到了最先进的结果。
2018-03-15 cs.CV
BVI-DVC: A Training Database for Deep Video Compression
University of Bristol（布里斯托大学）
与传统方法相比，深度学习方法越来越多地应用于视频压缩算法的优化，并且可以实现显着增强的编码增益。这种方法通常采用卷积神经网络（CNN），它是在内容覆盖范围相对有限的数据库上训练的。在本文中，一个新的广泛的和有代表性的视频数据库，BVI-DVC，提出了用于训练基于CNN的视频压缩系统，特别强调机器学习工具，增强传统的编码架构，包括空间分辨率和位深上采样，后处理和环路滤波。BVI-DVC包含从270 p到2160 p的各种空间分辨率的800个序列，并且已经在四种不同编码工具的十种现有网络架构上进行了评估。实验结果表明，该数据库产生显着的改善，在编码增益方面超过现有的（常用的）图像/视频训练数据库在相同的训练和评估配置。通过使用针对所有测试编码模块和CNN架构的所提出的数据库，基于PSNR的评估和基于VMAF的8.1%的总体额外编码改进高达10.3%。
2020-10-08 cs.CV eess.IV
CAS-CNN: A Deep Convolutional Neural Network for Image Compression Artifact Suppression
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
有损图像压缩算法普遍用于减小通过网络传输并记录在数据存储介质上的图像的大小。然而，我们为它们的高压缩率付出了代价，视觉伪影降低了用户体验。深度卷积神经网络已经成为非常成功地解决高级计算机视觉任务的广泛工具。最近，他们已经找到了进入低级计算机视觉和图像处理领域的方法，主要是用相对较浅的网络来解决回归问题。我们提出了一种新的12层深度卷积网络，用于图像压缩伪影抑制，具有分层跳跃连接和多尺度损失函数。我们实现了高达1.79 dB的PSNR提升超过普通JPEG和最高0.36 dB的改善比以前最好的ConvNet的结果。我们表明，针对特定质量因子（QF）训练的网络对用于压缩输入图像的QF具有弹性-针对QF 60训练的单个网络在从40到76的宽QF范围内提供超过1.5 dB的PSNR增益。
2016-11-22 cs.AI cs.CV cs.GR
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University（香港浸会大学）
深度卷积神经网络（CNN）已成功应用于许多现实问题。然而，深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备（例如，移动电话）。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN，其中卷积滤波器中的权重为1或-1，因此每个权重可以使用单个位有效地存储。然而，现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题，我们提出了一种新的方法，通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器，从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此，我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型，我们已经从理论上表明，我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此，我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析，我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明，我们提出的方法实现了更高的压缩比现有的方法，同时保持相当的精度。
2020-10-06 cs.CV cs.LG
CHEX: CHannel EXploration for CNN Model Compression
Princeton University（普林斯顿大学）；Alibaba Group（阿里巴巴集团）；Northeastern University（东北大学）；Dalian University of Technology（大连理工大学）；DAMO Academy（达摩院）
通道修剪已被广泛认为是一种有效的技术，以减少深卷积神经网络的计算和存储成本。然而，传统的修剪方法有局限性，因为它们仅限于修剪过程，并且它们需要完全预训练的大型模型。这种限制可能导致次优模型质量以及过多的内存和训练成本。在本文中，我们提出了一种新的渠道探索方法，被称为CHEX，以纠正这些问题。与仅修剪策略相反，我们建议在整个训练过程中重复修剪和重新生长通道，这降低了过早修剪重要通道的风险。更确切地说：从层内的方面，我们通过一个众所周知的列子集选择（CSS）公式来解决通道修剪问题。从层间的角度来看，我们的再生阶段打开了一条路径，用于在全局信道稀疏约束下动态地重新分配所有层的信道数量。此外，所有的探索过程都是在一次训练中完成的，而不需要预先训练的大型模型。实验结果表明，CHEX可以有效地减少各种CNN架构在各种计算机视觉任务，包括图像分类，目标检测，实例分割，和3D视觉的FLOPs。例如，我们在ImageNet数据集上压缩的ResNet-50模型达到了76%的top1准确率，而原始ResNet-50模型的FLOP仅为25%，优于之前最先进的通道修剪方法。检查点和代码可在这里。
2022-03-29 cs.CV
Smart Scissor: Coupling Spatial Redundancy Reduction and CNN Compression for Embedded Hardware
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；HP-NTU Digital Manufacturing Corporate Lab, Nanyang Technological University（惠普-南洋理工大学数字制造联合实验室）；HP Inc.（惠普公司）
研究针对CNN计算开销大问题，提出动态图像裁剪框架减少空间冗余，引入轻量级前景预测器实现精细裁剪，还提出复合收缩策略压缩CNN三维，将两者结合成Smart Scissor框架，有效降低计算开销并保持高精度。
2026-07-09 cs.AR cs.CV cs.LG
The Devil Is in the Details: Window-based Attention for Image Compression
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人创新中心）
所学习的图像压缩方法已经表现出比经典图像压缩标准更好的率失真性能。大多数现有的学习图像压缩模型是基于卷积神经网络（CNN）。尽管基于CNN的模型贡献很大，但其主要缺点是其结构不是为捕获局部冗余而设计的，特别是非重复纹理，这严重影响了重建质量。因此，如何充分利用图像的全局结构和局部纹理，成为基于学习的图像压缩的核心问题。受Vision Transformer（ViT）和Swin Transformer的最新进展启发，我们发现将局部感知注意机制与全局相关特征学习相结合可以满足图像压缩的期望。在本文中，我们首先广泛地研究了多种注意机制对局部特征学习的影响，然后介绍了一种更直接有效的基于窗口的局部注意块。所提出的基于窗口的注意力是非常灵活的，它可以作为一个即插即用的组件来增强CNN和Transformer模型。此外，我们提出了一种新的对称TransFormer（STF）框架中的绝对Transformer块的下采样编码器和上采样解码器。大量的实验评估表明，该方法是有效的，优于国家的最先进的方法。该代码可在https://github.com/Googolxx/STF上公开获取。
2022-03-16 cs.CV eess.IV
RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RL-Pruner，一种利用强化学习自动学习CNN层级间最优不均匀剪枝分布的结构化剪枝方法，无需特定模型实现即可有效压缩并加速模型。
2024-11-10 cs.AI cs.CV
Boosting CNN-based primary quantization matrix estimation of double JPEG images via a classification-like architecture
University of Siena（锡耶纳大学）；Shenzhen University（深圳大学）
估计双重JPEG压缩图像的主量化矩阵是图像取证中的一个重要问题，因为它允许推断关于图像的过去历史的重要信息。此外，跨不同图像区域的主量化矩阵的不一致性可以被用来定位双重JPEG篡改图像中的拼接。传统的基于模型的方法在特定的假设下工作的第一和第二压缩质量之间的关系和对齐的JPEG网格。最近，已经提出了一种能够在各种条件下工作的基于深度学习的估计器，其在大多数情况下优于定制的现有方法。该方法基于卷积神经网络（CNN），该网络经过训练以解决作为标准回归问题的估计。通过利用量化系数的整数性质，在本文中，我们提出了一种深度学习技术，该技术通过采用相似分类架构来执行估计。CNN使用损失函数进行训练，该损失函数考虑了估计的准确度和均方误差（MSE）。结果证实了所提出的技术的优越性能，与最先进的方法相比，基于统计分析，特别是深度学习回归。此外，该方法在一般操作条件下工作的能力，关于第二压缩网格与第一压缩网格的对准以及前一压缩和第二压缩的JPEG质量的组合，在实际应用中是非常相关的，其中这些信息是先验未知的。
2021-03-17 cs.CV cs.GT
CNN-Based Detection of Generic Constrast Adjustment with JPEG Post-processing
University of Siena（锡耶纳大学）；CNIT - Consorzio Nazionale Interuniversitario per le Telecomunicazioni（CNIT - 国家电信大学间联盟）
在JPEG后处理存在的情况下检测对比度调整已知是一项具有挑战性的任务。JPEG后处理通常被无辜地应用，因为JPEG是最常见的图像格式，或者当它被故意应用于消除操纵痕迹时，它可能对应于洗钱攻击。在本文中，我们提出了一个基于CNN的通用对比度调整，这是强大的JPEG压缩检测器。所提出的系统依赖于一个基于补丁的卷积神经网络（CNN），训练区分原始图像从对比度调整后的图像，为一些选定的不同性质的调整算子。JPEG压缩的鲁棒性是通过使用JPEG示例训练CNN来实现的，这些示例在一系列质量因子（QF）上压缩。实验结果表明，该检测器的工作非常好，以及规模的调整类型，在各种各样的看不见的色调调整，产生非常好的性能。
2018-05-29 cs.CR cs.CV
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo（滑铁卢大学）
现代卷积神经网络（CNN）架构尽管在解决各种问题方面具有优势，但通常太大而不能部署在资源受限的边缘设备上。在本文中，我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层，从而得到广义Kronecker乘积分解（GKPD）。我们的方法产生了一个即插即用的模块，可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法，包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法，如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
To What Extent Does Downsampling, Compression, and Data Scarcity Impact Renal Image Analysis?
The University of Queensland（昆士兰大学）；Sullivan Nicolaides Pathology（沙利文·尼科莱德斯病理中心）
肾直接免疫荧光（DIF）标本中肾小球或过滤袋的状况是诊断肾脏疾病的关键指标。数字病理学系统将玻璃组织学载玻片数字化为全载玻片图像（WSI），然后用更高放大倍数的物镜自动检测和放大肾小球，这对病理学家非常有帮助。在本文中，使用肾小球检测作为研究案例，我们提供了几个重要问题的分析和观察，以帮助计算机辅助诊断（CAD）系统的发展，以处理WSI。大图像分辨率、大文件大小和数据稀缺始终是处理的挑战。为此，我们首先检查图像下采样率对检测精度的影响。其次，我们研究图像压缩的影响。第三，我们研究了训练集的大小和检测精度之间的关系。为了理解上述问题，在最先进的检测器上进行了实验：Faster R-CNN，R-FCN，Mask R-CNN和SSD。观察到的关键结果如下：（1）在利用$40\times$目标捕获的8倍下采样下实现检测准确度、检测速度和文件大小之间的最佳平衡;（2）显著减小文件大小的压缩不一定对总体准确度具有不利影响;（3）将训练数据的量减少到一定程度导致准确度下降，但对召回率具有可忽略的影响;（4）在大多数情况下，Faster R-CNN在肾小球检测任务中实现了最佳准确性。我们表明，$40\times$ WSI图像的图像文件大小可以减少超过6000倍，肾小球检测精度的损失可以忽略不计。
2019-09-22 cs.CV
Compression of Deep Neural Networks for Image Instance Retrieval
Institute for Infocomm Research（资讯通信研究所）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Massachusetts Institute of Technology（麻省理工学院）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）
图像实例检索是从数据库中检索包含相同对象的图像的问题。基于卷积神经网络（CNN）的描述符正在成为用于为实例检索问题生成{ \it全局图像描述符}的主导方法。基于CNN的{ \it全局描述符}的一个主要缺点是，未压缩的深度神经网络模型需要数百兆字节的存储空间，这使得它们不便于在移动应用程序或自定义硬件中部署。在这项工作中，我们研究的问题，神经网络模型压缩集中在图像实例检索任务。我们研究了量化，编码，修剪和权重共享技术，以减少模型的大小的实例检索问题。我们提供了广泛的实验结果之间的权衡检索性能和模型的大小为不同类型的网络上的几个数据集提供了最全面的研究这一主题。我们将模型压缩到几MB的量级：比未压缩的模型小两个数量级，同时在检索性能上的损失可以忽略不计。
2017-01-18 cs.CV
Operationalizing Convolutional Neural Network Architectures for Prohibited Object Detection in X-Ray Imagery
Durham University（杜伦大学）
深度卷积神经网络（CNN）的最新进展为航空安全及其他领域的X射线安全筛查自动化带来了新的见解。在这里，我们探讨了两个最近的端到端的目标检测CNN架构，级联R-CNN和FreeAnchor的可行性，通过平衡处理时间和图像数据压缩的影响，从操作的角度来看，禁止项目检测。总的来说，我们使用具有ResNet 50主干的FreeAnchor架构实现了最大的检测性能，使用OPIXray和SIXray基准数据集获得了87.7和85.8的平均精度（mAP），显示出优于先前工作的性能。FreeAnchor具有更少的参数和更短的训练时间，可实现最高的检测推理速度，约为13 fps（每幅图像3.9 ms）。此外，我们评估了有损图像压缩对检测器性能的影响。CNN模型显示出对有损压缩的相当大的弹性，导致在50的JPEG压缩水平下mAP仅降低1.1%。此外，提供了对数据增强技术的全面评估，包括MixUp和CutMix策略以及其他标准转换的适应，进一步提高了检测精度。
2021-10-10 cs.AI cs.CV cs.LG
Real-Time Correlation Tracking via Joint Model Compression and Transfer
University of Science and Technology of China（中国科学技术大学）；Tencent AI Lab（腾讯人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
相关滤波器（CF）由于其计算效率而在视觉跟踪中受到了广泛的关注。通过现成的CNN模型（例如，VGG），CF跟踪器实现了最先进的性能，同时消耗了大量的计算资源。这限制了深度CF跟踪器部署到许多只有单核CPU可用的移动平台。在本文中，我们提出在知识蒸馏框架内联合压缩和传输现成的CNN模型。我们将从图像分类任务中预训练的CNN模型作为教师网络，并将此教师网络提取为轻量级学生网络作为特征提取器，以加速CF跟踪器。在蒸馏过程中，我们提出了一个保真度损失，使学生网络保持教师网络的表示能力。同时，我们设计了一个跟踪损失，以适应学生网络的目标从目标识别到视觉跟踪。蒸馏过程在多个层上离线执行，并使用背景感知的在线学习方案自适应地更新学生网络。在五个具有挑战性的数据集上进行的广泛实验表明，轻量级学生网络将最先进的深度CF跟踪器的速度加快到单核CPU上的实时的【形】，同时保持几乎相同的跟踪精度。
2019-07-23 cs.CV
Target Aware Network Architecture Search and Compression for Efficient Knowledge Transfer
RV University（RV大学）；Google Research（谷歌研究院）；New Jersey Institute of Technology（新泽西理工学院）；Indian Institute of Information Technology Allahabad（印度信息技术学院阿拉哈巴德分校）
本文提出两阶段框架 TASCNet，通过自动搜索目标任务适配的深层结构并剪除冗余滤波器，在保持性能的同时减少参数与 FLOPs，实现高效知识迁移。
2024-01-24 cs.CV
Play and Prune: Adaptive Filter Pruning for Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
虽然卷积神经网络（CNN）在各种分类/识别任务上取得了令人印象深刻的性能，但它们通常由大量参数组成。这导致显著的存储器需求以及计算开销。因此，越来越需要用于压缩基于CNN的模型的滤波器级修剪方法，其不仅减少参数的总数，而且还减少总体计算。我们提出了一个新的最小-最大框架，用于CNN的过滤器级修剪。我们的框架称为Play and Prune（PP），它通过自适应修剪率联合修剪和微调CNN模型参数，同时保持模型的预测性能。我们的框架由两个模块组成：（1）自适应过滤器修剪（AFP）模块，它最大限度地减少模型中的过滤器数量;（2）修剪速率控制器（PRC）模块，它最大限度地提高修剪过程中的准确性。此外，与大多数以前的方法不同，我们的方法允许直接指定所需的容错性，而不是修剪水平。我们的压缩模型可以在运行时部署，而不需要任何特殊的库或硬件。我们的方法将VGG-16的参数数量减少了17.5倍，FLOPS数量减少了6.43倍，并且没有损失准确性，显著优于其他最先进的过滤器修剪方法。
2019-05-11 cs.AI cs.CV cs.LG
Enhancing Learned Image Compression via Cross Window-based Attention
Portland State University（波特兰州立大学）
针对学习型图像压缩模型捕捉局部冗余性能差的问题，提出集成特征编码模块和跨尺度窗口注意力的CNN解决方案，在Kodak和CLIC数据集上验证其有效性，性能与最先进方法相当。
2025-02-12 cs.CV cs.MM eess.IV
