Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文从压缩表示和存储训练参数的角度研究了深度神经网络（DNN）压缩。我们探索了以前被忽视的DNN参数跨层架构不可知表示共享的机会。为此，我们将前馈参数与DNN架构解耦，并利用加法量化（一种针对图像描述符发明的极端有损压缩方法）来压缩表示参数。然后根据任务目标对表示进行微调，以提高任务准确性。我们在MobileNet-v2、VGG-11、ResNet-50、特征金字塔网络以及为分类、检测和分割任务训练的修剪DNN上进行了广泛的实验。概念上简单的计划始终优于迭代非结构化修剪。应用于ResNet-50，在ILSVRC 12分类挑战中具有76.1%的top-1准确度，它实现了没有准确度损失的$7.2\times$压缩比和74.79%准确度的$15.3\times$压缩比。进一步的分析表明，表示共享可能经常发生在网络层之间，并且在相同的压缩比下，学习整个DNN的共享表示可以比将模型压缩为多个单独的部分获得更好的准确性。我们发布PyTorch代码以促进DNN在资源受限设备上的部署，并刺激未来对DNN参数的高效表示和存储的研究。
2021-11-19 cs.CV cs.LG
DNN Feature Map Compression using Learned Representation over GF(2)
Panasonic Beta Research Lab（松下Beta研究实验室）
在本文中，我们介绍了一种压缩深度神经网络（DNN）中间特征映射的方法，以减少推理过程中的内存存储和带宽需求。与以前的工作不同，所提出的方法是基于将定点激活转换为最小GF（2）有限域上的向量，然后嵌入到DNN中的非线性降维（NDR）层。这样的端到端学习表示通过利用沿着通道或空间维度的定点激活内的量化冗余来找到更紧凑的特征图。我们将从修改后的SqueezeNet和MobileNetV2导出的拟议网络架构应用于ImageNet分类和PASCAL VOC目标检测任务。与以前的方法相比，所进行的实验表明，在只增加按位计算的同时，内存需求降低了2倍，精度略有下降。
2018-08-15 cs.CV
DeepN-JPEG: A Deep Neural Network Favorable JPEG-based Image Compression Framework
Indiana University（印第安纳大学）；University of Miami（迈阿密大学）；Syracuse University（雪城大学）
深度神经网络（DNN）作为最具吸引力的机器学习技术之一，在图像分类等各种智能任务中表现出了优异的性能。DNN在很大程度上通过对大量训练数据执行昂贵的训练来实现这样的性能。为了减少智能资源有限的物联网（IoT）系统中的数据存储和传输开销，有效的数据压缩是传输实时生成的数据集进行训练或分类之前的“必备”功能。虽然有许多众所周知的图像压缩方法（如JPEG），但我们首次发现，基于人类视觉的图像压缩方法（如JPEG压缩）并不是DNN系统的最佳解决方案，特别是在高压缩比的情况下。为此，我们开发了一个为DNN应用定制的图像压缩框架，名为“DeepN-JPEG”，以拥抱DNN架构的深度级联信息处理机制的本质。基于具有各种最先进DNN的“ImageNet”数据集的广泛实验表明，“DeepN-JPEG”可以实现比流行的JPEG解决方案高约3.5倍的压缩率，同时保持相同的图像识别精度水平，这表明其在基于DNN的智能物联网系统设计中具有巨大的存储和功耗效率潜力。
2018-03-14 cs.CV cs.GR cs.PF
A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods
Syracuse University（雪城大学）；Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；Alibaba Group（阿里巴巴集团）
为了解决深度神经网络（DNN）的大模型尺寸和密集计算需求，已经提出了权重修剪技术，并且权重修剪技术通常分为两类，即，基于静态正则化的修剪和基于动态正则化的修剪。然而，前一种方法目前遭受复杂的工作负载或精度下降，而后者需要很长的时间来调整参数，以实现所需的修剪率而不损失精度。在本文中，我们提出了一个统一的DNN权重修剪框架，动态更新的正则化项由指定的约束，它可以生成非结构化稀疏和不同类型的结构化稀疏。我们还将我们的方法扩展到一个集成框架，用于组合不同的DNN压缩任务。
2020-04-12 cs.CV cs.LG cs.NE
Evaluation Metrics for DNNs Compression
University of Bristol（布里斯托大学）；Thales（泰雷兹）；University of Antwerp（安特卫普大学）
针对DNN压缩缺乏统一评估标准的问题，本文构建NetZIP框架并提出CHATS与OCS两项指标，在PC和Raspberry Pi 4上以分类、检测任务验证其评估能力。
2023-10-03 cs.CV cs.LG
A Compact DNN: Approaching GoogLeNet-Level Accuracy of Classification and Domain Adaptation
University of Pittsburgh（匹兹堡大学）；LG San Jose Lab（LG圣何塞实验室）；Duke University（杜克大学）
最近，基于网络架构设计的DNN模型压缩，例如，SqueezeNet，吸引了很多关注。与众所周知的模型相比，在这些非常紧凑的网络上没有观察到图像分类的准确性下降。然而，一个新出现的问题是，这些模型压缩技术是否会损害DNN的学习能力，而不是对单个数据集上的图像进行分类。我们的初步实验表明，这些压缩方法可能会降低领域自适应（DA）的能力，虽然分类性能保持。因此，本文提出了一种新的紧凑网络结构和无监督DA方法。DNN建立在一个新的基本模块Conv-M上，该模块提供了更多样化的特征提取器，而不会显着增加参数。我们的DA方法的统一框架将同时学习跨域的不变性，减少特征表示的发散，并适应标签预测。DNN拥有410万个参数，仅为AlexNet的6.7%或GoogLeNet的59%。实验表明，我们的DNN在分类和DA上都获得了GoogLeNet级别的准确性，我们的DA方法略优于以前的竞争对手。总而言之，我们基于DNN的DA策略在流行的Office-31数据集上的18个DA任务中的16个上实现了最先进的技术。
2017-04-03 cs.AI cs.CV cs.NE
DNN-Driven Compressive Offloading for Edge-Assisted Semantic Video Segmentation
Huazhong University of Science and Technology（华中科技大学）；Essex University（埃塞克斯大学）；Hong Kong University of Science and Technology（香港科技大学）
深度学习在语义分割方面表现出了令人印象深刻的性能，但对于资源受限的移动设备来说，它仍然负担不起。虽然卸载计算任务是有希望的，但高流量需求压倒了有限的带宽。现有的压缩算法不适合语义分割，因为缺乏明显和集中的感兴趣区域（RoIs）迫使采用统一的压缩策略，导致压缩比或准确率低。本文介绍了STAC，一个DNN驱动的压缩方案为边缘辅助的语义视频分割量身定制。STAC是第一个利用DNN的梯度作为空间自适应压缩的空间灵敏度度量，并实现了卓越的压缩比和准确性。然而，使这种内容定制的压缩适应于视频是具有挑战性的。实际问题包括不同的空间敏感性和巨大的带宽消耗的压缩策略反馈和卸载。我们通过时空自适应方案来解决这些问题，该方案（1）将部分策略生成操作离线以减少通信负载，以及（2）通过密集的光流跨帧传播压缩策略和分割结果，并自适应地卸载关键帧以适应视频内容。我们在商用移动终端上实现了STAC。实验结果表明，STAC算法在保证精度的前提下，与现有算法相比，可以节省高达20.95%的带宽。
2022-03-28 cs.CV cs.MM cs.NI
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
对于许多应用，利用DNN（深度神经网络）需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来，人们对人工智能（人工智能）方法的理解和解释产生了一个新的研究领域，称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作，例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法，例如量化和修剪，这些方法到目前为止还没有得到充分的探索。在本文中，我们使用可解释的AI方法：主要是DeepLIFT方法。我们将这些方法用于（1）DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重，（2）使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享，以及（3）基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下，我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
Feature Distillation: DNN-Oriented JPEG Compression Against Adversarial Examples
Flordia International University（佛罗里达国际大学）；Northeastern University（东北大学）
基于图像压缩的方法来防御对抗性的例子攻击，威胁到深度神经网络（DNN）的安全使用，最近已经研究。然而，现有的工作主要依赖于直接调整压缩率等参数，盲目地减少图像特征，从而在应用防御方法后，缺乏对防御效率（即污染图像的准确性）和良性图像的分类准确性的保证。为了克服这些限制，我们提出了一个基于JPEG的防御性压缩框架，即“特征蒸馏”，以有效地纠正对抗性的例子，而不会影响良性数据的分类准确性。我们的框架使用两步方法显着提升了防御效率和边际精度降低：首先，我们通过在JPEG压缩或解压缩的频域中开发防御性量化来最大化恶意输入扰动的恶意特征过滤，由半解析方法指导;其次，我们通过面向DNN的量化细化过程来抑制良性特征的失真以恢复分类精度。我们的实验结果表明，提出的“特征蒸馏”可以显着超过最新的输入转换为基础的缓解，如绗缝和电视最小化在三个方面，包括防御效率（提高分类精度从$\sim20\%$到$\sim90\%$对抗的例子），防御后的良性图像的准确性（$\le1\%$准确性下降），和处理时间每幅图像（$\sim259\times$加速）。此外，我们的解决方案也可以提供最好的防御效率（$\sim60\%$准确性）对最近的适应性攻击与最小的准确性降低（$\sim1\%$）良性图像相比，其他基于输入变换的防御方法。
2019-04-16 cs.CR cs.CV
DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks
Rice University（莱斯大学）；Meta Inc（元公司）
本文提出DepthShrinker框架，通过训练后移除激活函数并将不规则紧凑算子收缩为密集算子，在保持精度的同时显著提升紧凑DNN的真实硬件效率与吞吐量。
2025-01-04 cs.CV cs.LG
Exploring Gradient Flow Based Saliency for DNN Model Compression
City University of Hong Kong（香港城市大学）；Baidu USA LLC（百度美国有限责任公司）
模型修剪旨在减少深度神经网络（DNN）模型大小或计算开销。传统的模型修剪方法，例如评估DNN的通道重要性的l-1修剪，过于关注每个通道的局部分析，并利用整个特征的幅度，而忽略了其与每个卷积操作后的批量归一化（BN）和ReLU层的相关性。为了克服这些问题，本文从梯度流的角度提出了一种新的模型剪枝方法。具体来说，我们首先基于泰勒展开，通过整合BN层和ReLU激活函数的影响，从理论上分析了沟道的影响。然后，建议在BN层中合并缩放参数和移位参数的一阶Talyor多项式，以有效地指示DNN中的通道的重要性。在图像分类和图像去噪两个任务上的综合实验证明了所提出的新理论和方案的优越性。代码可在https://github.com/CityU-AIM-Group/GFBS上获得。
2021-10-24 cs.CV cs.LG
VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization
Nankai University（南开大学）；Advanced Digital Sciences Center（先进数字科学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
量化已被证明是降低DNN的计算和/或存储成本的有效方法。然而，量化位宽和最终精度之间的权衡是复杂的和非凸的，这使得难以直接优化。最小化系数数据的直接量化损失（DQL）是一种有效的局部优化方法，但以往的工作往往忽略了对DQL的精确控制，导致最终DNN模型精度损失较高。在本文中，我们提出了一个新的度量称为向量损失。基于这个新的度量，我们开发了一个新的量化解决方案称为VecQ，它可以保证最小的直接量化损失和更好的模型精度。此外，为了加快模型训练过程中提出的量化过程，我们通过参数化概率估计方法和基于模板的推导计算来加速量化过程。我们评估我们提出的算法MNIST，CIFAR，ImageNet，IMDB电影评论和THUCNews文本数据集与数值DNN模型。结果表明，我们提出的量化解决方案是更准确和有效的比国家的最先进的方法，但更灵活的位宽支持。此外，我们的量化模型的显着性目标检测（SOD）任务的评估保持可比的特征提取质量高达16 $\times$重量大小减少。
2020-06-10 cs.CV
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
Northeastern University（东北大学）；Syracuse University（雪城大学）；DiDi AI Labs（滴滴人工智能实验室）；University of Michigan（密歇根大学）
结构化权重剪枝是DNN的一种典型模型压缩技术，用于减少存储和计算需求并加速推理。由于大量的灵活的超参数，一个自动的超参数确定过程是必要的。本文提出了一种自动结构化剪枝框架AutoCompress，该框架具有以下关键性能改进：（i）有效地将结构化剪枝方案的组合纳入自动过程;（ii）采用最先进的基于ADMM的结构化权重剪枝作为核心算法，并提出了一种创新的额外纯化步骤，以进一步降低权重而不损失准确性;以及（iii）开发有效的启发式搜索方法，并通过基于经验的引导搜索进行增强，以取代现有的深度强化学习技术，该技术与目标修剪问题存在潜在的不兼容性。在CIFAR-10和ImageNet数据集上进行的大量实验表明，AutoCompress是在权重和FLOP数量上实现超高剪枝率的关键。例如，在相同的精度下，AutoCompress在修剪率方面比先前的自动模型压缩工作高出33倍（实际参数计数减少120倍）。在智能手机上的实际测量中，从AutoCompress框架中观察到了显著的推理加速。我们在匿名链接发布本作品的所有模型：http://bit.ly/2VZ63dS。
2019-09-11 cs.AI cs.CV cs.LG
Self-supervised Knowledge Distillation Using Singular Value Decomposition
Inha University（仁荷大学）
为了解决深度神经网络（DNN）训练数据量大、计算量大的问题，提出了将师生（T-S）DNN的知识转化为S-DNN的方法。然而，现有的T-S-DNN具有有限的使用范围，并且T-DNN的知识没有充分地转移到S-DNN。为了提高从T-DNN转移的知识的质量，我们提出了一种新的知识蒸馏使用奇异值分解（SVD）。此外，我们将知识转移定义为一个自我监督的任务，并提出了一种从T-DNN连续接收信息的方法。仿真结果表明，S-DNN的计算量仅为T-DNN的1/5，在分类精度上比T-DNN提高了1.1%.同样假设相同的计算成本，我们的S-DNN优于由最先进的蒸馏驱动的S-DNN，性能优势为1.79%。代码可以在https：//github.com/sseung0703/SSKD\_SVD上找到。
2018-07-18 cs.CV cs.LG stat.ML
Compression-Resistant Backdoor Attack against Deep Neural Networks
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出基于特征一致性训练的抗压缩后门攻击，通过最小化后门图像与其压缩版本的特征差异，使攻击对JPEG、JPEG2000、WEBP等多种压缩具有鲁棒性，攻击成功率超过97%，并具备对未见压缩算法的泛化能力。
2022-01-03 cs.CV
STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression
Nanjing University of Science and Technology（南京理工大学）
深度神经网络（DNN）在计算机视觉的许多任务中表现出色。然而，流行架构的过度参数化表示显著增加了它们的计算复杂性和存储成本，并且阻碍了它们在具有受限资源的边缘设备中的可用性。尽管许多张量分解（TD）方法已经被很好地研究用于压缩DNN以学习紧凑表示，但它们在实践中遭受不可忽略的性能下降。在本文中，我们提出了可扩展张量化网络（Scalable Tensorizing Networks，简称SCANN），它可以动态自适应地调整模型大小和分解结构，而无需重新训练。首先，我们在训练过程中通过添加低秩正则化器来解决压缩问题，以保证网络在全张量格式下具有所需的低秩特征。然后，考虑到网络各层具有不同的低秩结构，采用数据驱动的自适应TD方法获得网络拓扑结构，该方法从预训练模型中学习每层分解的拓扑结构，并在指定的存储约束下适当选择秩。因此，它与任意网络架构兼容，并实现了比其他张量化版本更高的压缩性能和灵活性。几个流行的架构和基准测试的综合实验证实了我们的模型对提高参数效率的优越性。
2022-05-30 cs.AI cs.CV
DeepSZ: A Novel Framework to Compress Deep Neural Networks by Using Error-Bounded Lossy Compression
The University of Alabama（阿拉巴马大学）；Argonne National Laboratory（阿贡国家实验室）；University of California, Riverside（加州大学河滨分校）
DNN已被快速而广泛地用于提高许多复杂科学和工程应用中的数据分析质量。由于对分析质量的需求越来越高，以及需要解决越来越复杂的应用程序，今天的DNN变得越来越深入和广泛。然而，广泛而深入的DNN需要大量的资源，这大大限制了它们在资源受限系统上的利用。虽然已经提出了一些网络简化方法来解决这个问题，但它们存在低压缩比或高压缩误差，这可能会为目标精度引入昂贵的重新训练过程。本文提出了一种精度损失有界的神经网络压缩框架DeepSZ，该框架包括网络剪枝、误差界评估、误差界配置优化和压缩模型生成四个关键步骤，具有高压缩比和低编码时间的特点。贡献是三方面的。(1)我们开发了一种自适应的方法来选择可行的误差范围为每一层。(2)我们建立了一个模型，以估计整体损失的准确性的基础上，个别解压缩层造成的准确性下降。(3)我们开发了一个有效的优化算法来确定最适合的配置的误差界，以最大限度地提高压缩比下的用户设置的精度约束。实验表明，DeepSZ可以在ImageNet上分别以46倍和116倍的压缩比压缩AlexNet和VGG-16，在MNIST上分别以57倍和56倍的压缩比压缩LeNet-300-100和LeNet-5，准确率损失最高仅为0.3%。与其他最先进的方法相比，DeepSZ可以将压缩比提高1.43倍，DNN编码性能提高4.0倍（使用四个Nvidia Tesla V100 GPU），解码性能提高6.2倍…
2019-04-23 cs.CV
Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression
Shenzhen University（深圳大学）
具有大量参数的深度卷积神经网络（CNN）需要密集的计算资源，因此难以部署在资源受限的平台中。因此，近年来，基于分解的方法已被用于压缩CNN。然而，由于压缩因子和性能是负相关的，所以现有技术的作品要么遭受严重的性能下降，要么具有相对较低的压缩因子。为了克服这个问题，我们提出通过联合矩阵分解来压缩CNN并减轻性能下降，这与单独压缩层的现有工作不同。这个想法的灵感来自CNN中有很多重复的模块。通过将具有相同结构的权重投影到相同的子空间中，可以以更大的秩联合压缩网络。特别地，提出了三种联合矩阵分解方案，并提出了相应的基于奇异值分解的优化方法。针对不同的基准数据集，在三个具有挑战性的紧凑CNN上进行了大量的实验，以证明我们所提出的算法的优越性能。因此，我们的方法可以将ResNet-34的大小压缩22倍，与几种最先进的方法相比，精度下降更小。
2022-10-26 cs.AI cs.CV
Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Iowa State University（爱荷华州立大学）；Technical University of Darmstadt（达姆施塔特工业大学）
模型压缩是在功率和内存受限的资源上部署深度神经网络（DNN）的基本技术。然而，现有的模型压缩方法往往依赖于人类的专业知识，并专注于参数的局部重要性，忽略了DNN中丰富的拓扑信息。在本文中，我们提出了一种新的多阶段图嵌入技术的基础上图神经网络（GNNs）识别DNN拓扑结构，并使用强化学习（RL）找到一个合适的压缩策略。我们进行了资源受限（即，FLOPs）通道修剪，并将我们的方法与最先进的模型压缩方法进行了比较。我们在从典型到移动友好网络的各种模型上评估了我们的方法，例如ResNet系列，VGG-16，MobileNet-v1/v2和ShuffleNet。结果表明，我们的方法可以实现更高的压缩比与最小的微调成本，但产生出色的和有竞争力的性能。
2022-07-01 cs.CV cs.LG
Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM
Sensetime Research（商汤科技研究院）；Tsinghua University（清华大学）；Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
权值修剪和权值量化是DNN模型压缩的两个重要方面。这些技术的先前工作主要基于化学。最近的一项工作使用先进的优化技术ADMM（Alternating Direction Methods of Multipliers）开发了DNN权重修剪的系统框架，实现了最先进的权重修剪结果之一。在这项工作中，我们首先扩展这样的一杆ADMM为基础的框架，以保证解决方案的可行性，并提供快速收敛速度，以及推广到权重量化。我们进一步开发了一个多步骤的渐进式DNN权重修剪和量化框架，具有双重好处：（i）由于ADMM正则化的特殊属性，实现了进一步的权重修剪/量化，以及（ii）减少了每个步骤中的搜索空间。大量的实验结果表明，与以前的工作相比，优越的性能。一些亮点：（i）我们分别在LeNet-5、AlexNet和ResNet-50模型上实现了246倍、36倍和8倍的权重修剪，（几乎）零精度损失;（ii）在AlexNet中甚至实现了显著的61倍权重修剪（ImageNet）与先前的工作相比，实际准确性仅略有下降;（iii）我们是第一批为ResNet和MobileNet模型得出显着权重修剪结果的人之一;（iv）我们为MNIST和CIFAR-10分别导出了第一个无损的、完全二进制化的（所有层）LeNet-5和VGG-16;以及（v）我们为ImageNet导出了第一个完全二进制化的（所有层）ResNet，具有合理的准确性损失…
2019-03-30 cs.CV cs.LG cs.NE
Deep Selector-JPEG: Adaptive JPEG Image Compression for Computer Vision in Image classification with Human Vision Criteria
University of Waterloo（滑铁卢大学）
由于存储/带宽资源有限，使用深度神经网络（DNN）的计算机视觉（CV）应用的输入图像通常使用针对人类视觉（HV）定制的JPEG进行编码。本文介绍了Deep Selector-JPEG，一种自适应JPEG压缩方法，其目标是图像分类，同时满足HV标准。对于每个图像，深度选择器-JPEG自适应地选择质量因子（QF）来压缩图像，使得可以在各种DNN分类器的一组图像上实现压缩比（CR）和DNN分类器准确度（速率-准确度性能）之间的良好折衷，同时这种压缩图像的MS-SSIM以高概率大于由HV预定的阈值。深度选择器-JPEG是通过轻量级或重量级选择器架构设计的。实验结果表明，与相同CR下的JPEG相比，Deep Selector-JPEG在所有测试的DNN分类器的ImageNet验证集上实现了更好的速率精度性能，在相同CR下的分类精度提高了0.2%到1%，同时满足HV约束。Deep Selector-JPEG也可以在更高的CR下粗略地提供原始分类精度。
2023-02-19 cs.CV cs.LG cs.MM
Learning to Improve Image Compression without Changing the Standard Decoder
ETH Zurich（苏黎世联邦理工学院）
近年来，我们已经目睹了应用深度神经网络（DNN）来改善图像压缩中的率失真性能的兴趣越来越大。然而，现有的方法要么在解码器侧训练后处理DNN，要么提出以端到端的方式学习图像压缩。这样，在解码器中需要训练的DNN，导致与标准图像解码器（例如，JPEG）在个人电脑和手机中。因此，我们提出学习，以提高编码性能的标准解码器。本文以JPEG为例进行了研究。提出了一种频域预编辑方法，优化DCT系数的分布，以利于JPEG压缩。此外，我们建议与预编辑网络一起学习JPEG量化表。最重要的是，我们不修改JPEG解码器，因此我们的方法适用于使用广泛使用的标准JPEG解码器查看图像。实验结果表明，该方法在PSNR、MS-SSIM和LPIPS等质量指标上都能有效地提高JPEG的率失真性能。在视觉上，这转化为更好的整体颜色保持，特别是在应用强压缩时。这些代码可在https://github.com/YannickStruempler/LearnedJPEG上获得。
2020-10-23 cs.CV eess.IV
Towards Image Understanding from Deep Compression without Decoding
ETH Zurich（苏黎世联邦理工学院）；Merantix；KU Leuven（鲁汶大学）
受最近基于深度神经网络（DNN）的图像压缩方法的工作的启发，这些方法显示了图像质量的潜在改进，节省了存储空间，并减少了带宽，我们建议直接在这些压缩方法产生的压缩表示上执行图像理解任务，如分类和分割。由于基于DNN的压缩方法中的编码器和解码器是神经网络，其特征映射作为图像的内部表示，因此我们直接将这些与图像理解的架构集成在一起。这绕过了将压缩表示解码到RGB空间中，并降低了计算成本。我们的研究表明，可以实现与在压缩RGB图像上操作的网络相当的精度，同时将计算复杂性度降低到$2\times$。此外，我们还证明了通过在压缩表示上联合训练压缩网络与分类网络，提高图像质量，分类精度和分割性能，可以获得协同效应。我们发现，从压缩表示的推理是特别有利的推理相比，从压缩RGB图像积极的压缩率。
2018-03-16 cs.CV
MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization
Zhejiang University（浙江大学）
提出MVQ方法，结合N:M剪枝与掩码k-means量化重要权重，在EWS加速器上实现稀疏脉动阵列，提升能效2.3倍并减少55%阵列尺寸。
2024-12-16 cs.AR cs.CV
JPEG Inspired Deep Learning
University of Waterloo（滑铁卢大学）
该研究提出JPEG-DL框架，在DNN前加可训练JPEG压缩层，用可微分软量化器实现联合训练，提升了多数据集多模型的分类精度与对抗鲁棒性。
2025-03-20 cs.CV
Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
Hybrid Tensor Decomposition in Neural Network Compression
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Tsinghua University（清华大学）
深度神经网络（DNN）最近在各种人工智能（AI）应用中取得了令人印象深刻的突破，因为它能够从大数据中学习高级特征。然而，由于越来越复杂的应用程序需要越来越大的模型，DNN对计算资源特别是存储消耗的需求正在增长。为了解决这个问题，包括张量序列（TT）和张量环（TR）的几种张量分解方法已被应用于压缩DNN，并显示出相当大的压缩效果。在这项工作中，我们介绍了分层塔克（HT），一个经典的，但很少使用的张量分解方法，研究其在神经网络压缩的能力。我们将权重矩阵和卷积核转换为HT和TT格式进行比较研究，因为后者是最广泛使用的分解方法和HT的变体。我们进一步从理论和实验上发现，HT格式在压缩权重矩阵时具有更好的性能，而TT格式更适合压缩卷积核。基于这种现象，我们提出了一种混合张量分解的策略，通过将TT和HT结合在一起来分别压缩卷积和全连接部分，并且比在卷积神经网络（CNN）上仅使用TT或HT格式获得更好的精度。本文的工作为混合张量分解在神经网络压缩中的应用提供了一种新的思路。
2020-09-21 cs.CV
Channel-wise Feature Decorrelation for Enhanced Learned Image Compression
Tampere University（坦佩雷大学）
本文提出通道级特征去相关损失以充分挖掘现有DNN容量，通过三种优化策略在不增加计算复杂度的情况下提升学习图像压缩性能，BD-Rate最高改善8.06%。
2024-03-16 cs.CV cs.MM eess.IV
ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning
Northeastern University（东北大学）
最新的DNN结构涉及高计算量和对内存存储的巨大需求，这对DNN框架资源提出了强烈的挑战。为了减轻这些挑战，已经研究了权重修剪技术。然而，由于DNN网络中的权重大大降低，结合了不同类型的结构稀疏性的极端结构化修剪的高精度解决方案仍在等待解开。在本文中，我们提出了一个DNN框架，它结合了两种不同类型的结构化权重修剪（过滤器和列修剪），通过结合交替方向乘法器（ADMM）算法，以获得更好的修剪性能。我们是第一个发现ADMM过程的非最优性和未使用的权重在结构化修剪模型，并进一步设计了一个优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，专门用于后处理ADMM步骤后的结构化修剪模型。一些亮点显示，我们在LeNet-5上实现了232倍压缩，在ResNet-18 CIFAR-10上实现了60倍压缩，在AlexNet上实现了超过5倍压缩。我们在匿名链接http://bit.ly/2VJ5ktv上分享我们的模型。
2019-04-30 cs.AI cs.CV cs.LG
Paraphrasing Complex Network: Network Compression via Factor Transfer
Seoul National University（首尔大学）
许多研究人员一直在寻找模型压缩的方法来减小深度神经网络（DNN）的大小，同时使性能下降最小，以便在嵌入式系统中使用DNN。在模型压缩方法中，一种称为知识转移的方法是用更强的教师网络来训练学生网络。在本文中，我们提出了一种新的知识转移方法，它使用卷积运算来解释教师的知识，并将其翻译给学生。这是由两个卷积模块完成的，它们被称为释义器和翻译器。释义器以无监督的方式进行训练，以提取教师因素，这些教师因素被定义为教师网络的释义信息。位于学生网络的翻译器提取学生因素，并通过模仿他们来帮助翻译教师因素。我们观察到，我们的学生网络训练提出的因素转移方法优于传统的知识转移方法训练。
2020-07-22 cs.CV
Transferable Learned Image Compression-Resistant Adversarial Perturbations
Rutgers University（罗格斯大学）；Vanderbilt University（范德堡大学）；Tencent America（腾讯美国）；Wuhan University（武汉大学）
针对基于学习的图像压缩后处理分类系统，提出基于显著性评分采样的对抗扰动生成方法，增强跨压缩模型的可迁移性。
2024-11-06 cs.CV cs.MM eess.IV
Image Compression Using Singular Value Decomposition
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了利用奇异值分解进行图像压缩，发现其压缩效率低于现有标准格式，且在低误差下可能反而增大图像大小。
2025-12-18 cs.CV
CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning
Imperial College London（帝国理工学院）
新兴的边缘云协作深度学习（DL）范式旨在提高实际DL实现在云带宽消耗、响应延迟和数据隐私保护方面的性能。专注于基于DNN的分类器的带宽高效的边缘云协作训练，我们提出了CDC，一个分类驱动压缩框架，可以减少带宽消耗，同时保持边缘云协作DL的分类准确性。具体来说，为了减少带宽消耗，对于资源有限的边缘服务器，我们开发了一个轻量级的自动编码器，具有分类指导，用于压缩和分类驱动的特征保留，这允许边缘只上传原始数据的潜在代码，以便在云上进行准确的全局训练。此外，我们设计了一个可调量化方案自适应追求带宽消耗和分类精度之间的权衡在不同的网络条件下，只有微调是需要快速的压缩比调整。大量的实验结果表明，与使用原始数据的DNN训练相比，CDC消耗的带宽减少了14.9倍，准确率损失不超过1.06%，与使用无指导的AE压缩数据的DNN训练相比，CDC引入了至少100%的准确率损失。
2020-05-04 cs.CV cs.DC cs.LG
CSTAR: Towards Compact and STructured Deep Neural Networks with Adversarial Robustness
Rutgers University（罗格斯大学）；Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）的模型压缩和模型防御已经得到了广泛和单独的研究。考虑到模型紧致性和鲁棒性在实际应用中的共同重要性，已有的一些研究工作致力于提高稀疏神经网络的对抗鲁棒性。然而，结构化稀疏模型获得的现有作品遭受严重的性能退化的良性和鲁棒的准确性，从而导致一个具有挑战性的困境之间的鲁棒性和结构化的紧凑DNN。为了解决这个问题，在本文中，我们提出了CSTAR，这是一种有效的解决方案，可以同时对目标DNN模型施加基于低秩的紧凑性，高结构性和高对抗性鲁棒性。通过在同一框架内制定低秩和鲁棒性要求并全局确定秩，压缩DNN可以同时实现高压缩性能和强对抗鲁棒性。在不同数据集上对各种DNN模型的评估证明了CSTAR的有效性。与现有的结构化剪枝方法相比，CSTAR具有更好的性能。例如，当在CIFAR-10上压缩ResNet-18时，CSTAR可以分别实现高达20.07%和11.91%的良性准确性和鲁棒准确性改进。对于在Imagenet上以16倍压缩比压缩ResNet-18，与现有的鲁棒结构化剪枝方法相比，CSTAR可以获得8.58%的良性准确率增益和4.27%的鲁棒准确率增益。
2023-02-17 cs.CV
PERMDNN: Efficient Compressed DNN Architecture with Permuted Diagonal Matrices
City University of New York（纽约市立大学）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Southern California（南加州大学）；Rutgers University（罗格斯大学）
深度神经网络（DNN）已经成为最重要和最流行的人工智能（AI）技术。模型大小的增长对底层计算平台提出了关键的能源效率挑战。因此，模型压缩成为一个至关重要的问题。然而，目前的方法受到各种缺点的限制。具体而言，网络稀疏化方法遭受不规则性，启发式性质和大的索引开销。另一方面，最近的基于结构化矩阵的方法（即，CirCNN）受限于相对复杂的算术计算（即，FFT）、较不灵活的压缩比以及不能充分利用输入稀疏性。为了解决这些缺点，本文提出了PermDNN，这是一种使用置换对角矩阵生成和执行硬件友好的结构化稀疏DNN模型的新方法。与非结构化稀疏化方法相比，PermDNN消除了索引开销，非启发式压缩效果和耗时的重新训练的缺点。与循环结构强加方法相比，PermDNN具有计算复杂性降低幅度大、压缩比灵活、算术运算简单和充分利用输入稀疏性等优点。我们提出了PermDNN架构，一个多处理单元（PE）全连接（FC）层目标计算引擎。整个体系结构具有高度的可扩展性和灵活性，因此可以支持具有不同模型配置的不同应用的需求。我们使用CMOS 28 nm工艺实现了32-PE设计。与EIE相比，PermDNN在不同工作负载下的吞吐量提高了3.3倍~ 4.8倍，面积效率提高了5.9倍~ 8.5倍，能源效率提高了2.8倍~ 4.0倍。与CirCNN相比，PermDNN的吞吐量提高了11.51倍，能效提高了3.89倍。
2020-04-23 cs.AR cs.CV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Linear Algebraic Approaches to Neuroimaging Data Compression: A Comparative Analysis of Matrix and Tensor Decomposition Methods for High-Dimensional Medical Images
本文比较了Tucker分解和SVD在神经影像数据压缩中的性能，发现Tucker分解在保持多维关系和重建保真度方面更优，而SVD在极端压缩中表现突出但保真度较低。
2025-11-22 cs.CV eess.IV
Update Compression for Deep Neural Networks on the Edge
The University of Adelaide（阿德莱德大学）；University of New South Wales（新南威尔士大学）
越来越多的人工智能（AI）应用涉及在边缘设备上执行深度神经网络（DNN）。许多实际原因促使需要在部署后更新边缘设备上的DNN模型，例如改进模型，概念漂移或学习任务的彻底更改。在本文中，我们考虑了这样一种场景，即可以基于DNN模型的副本在服务器端进行再训练，只需要将必要的数据传输到边缘来更新部署的模型。然而，由于带宽限制，我们希望最大限度地减少实现更新所需的传输。我们开发了一种基于矩阵分解的简单方法来压缩模型更新-这与压缩模型本身不同。其关键思想是保留当前模型中的现有知识，并仅优化用于更新的小的附加参数，这些参数可用于在边缘上重建模型。我们将我们的方法与联邦学习中使用的类似技术进行了比较;我们的方法通常需要不到现有方法一半的更新大小才能达到相同的精度。
2022-04-21 cs.CV
The Effect of Lossy Compression on 3D Medical Images Segmentation with Deep Learning
National Research Nuclear University MEPhI（国家研究型核大学MEPhI）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））
本研究探讨了有损压缩对3D医学图像深度学习分割的影响，利用多个CT和MRI数据集证明高达20倍的压缩不影响DNN分割质量，且压缩与未压缩数据间的模型预测无质量下降。
2024-09-25 cs.CV eess.IV
MBRS : Enhancing Robustness of DNN-based Watermarking by Mini-Batch of Real and Simulated JPEG Compression
University of Science and Technology of China（中国科学技术大学）
基于深度学习架构强大的特征提取能力，近年来，基于深度学习的水印算法得到了广泛的研究。这种算法的基本框架是类似于端到端架构的自动编码器，具有编码器、噪声层和解码器。保证鲁棒性的关键是差分噪声层的对抗训练。然而，我们发现，没有一个现有的框架可以很好地确保对JPEG压缩的鲁棒性，这是非差分的，但是一个必不可少的和重要的图像处理操作。为了解决这些限制，我们提出了一种新的端到端的训练架构，它利用小批量的真实和模拟JPEG压缩（MBRS），以提高JPEG的鲁棒性。准确地说，对于不同的小批量，我们随机选择真实JPEG，模拟JPEG和无噪声层之一作为噪声层。此外，我们建议在嵌入和提取阶段利用挤压和激励块，可以更好地学习特征，并提出了一个“消息处理器”，以更好的方式扩展消息。同时，为了提高对裁剪攻击的鲁棒性，我们提出了一个附加的扩散块到网络。大量的实验结果表明，该方案的优越性能相比，国家的最先进的算法。在质量因子Q=50的JPEG压缩下，提取的信息的比特出错率小于0.01%，编码图像的PSNR大于36，表现出较好的抗JPEG攻击的鲁棒性。此外，在高斯滤波、裁剪、截断、丢失等多种失真情况下，该框架也具有较强的鲁棒性。PyTorch \cite{2011torch7}实现的代码可在https://github.com/jzyustc/MBRS中获得。
2021-08-18 cs.CR cs.CV
A Programmable Approach to Neural Network Compression
University of Utah（犹他大学）；NVIDIA（英伟达）；University of Toronto（多伦多大学）
深度神经网络（DNN）通常包含比它们被训练来执行的特定任务所需的更多的权重，以更高的精度表示。因此，它们通常可以使用诸如权重修剪和量化之类的技术来压缩，这些技术可以减少模型大小和推理时间，而不会明显损失准确性。然而，为给定的DNN、硬件平台和优化目标找到最佳压缩策略和相应的目标稀疏性目前需要昂贵的、经常手动的试错实验。本文介绍了一个可编程的模型压缩系统Condensa。用户在Python中以编程方式组成简单的运算符，以构建更复杂和实际有趣的压缩策略。给定策略和用户提供的目标（例如最小化运行时间），Condensa使用一种新型的基于贝叶斯优化的算法来自动推断所需的稀疏性。我们在四个真实世界的DNN上的实验表明，每次搜索最多使用10个样本，内存占用和硬件运行时吞吐量分别提高了188倍和2.59倍。我们在https://github.com/NVlabs/condensa上发布了Condensa的参考实现。
2020-12-01 cs.CV cs.LG stat.ML
Medical Image Compression using Wavelet Decomposition for Prediction Method
Bannari Amman Institute of Technology（班纳里阿曼理工学院）
本文提出了一种简单的医学图像无损压缩方法。该方法是基于医学图像的小波分解，其次是系数的相关性分析。相关性分析是建立各子带预测方程的基础。预测变量的选择采用系数图解法，避免了多重共线性问题，提高了预测精度和压缩比。该方法适用于MRI和CT图像。实验结果表明，该方法对MRI和CT图像具有较高的压缩率。
2010-02-11 cs.CV
Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation
这项工作旨在帮助解决深度神经网络（DNN）应用中的两个主要障碍，即大量的可训练参数及其物理可解释性。这是通过基于所提出的Tucker张量层（TTL）的张量值方法来实现的，作为DNN的密集权重矩阵的替代方案。这允许我们将一般DNN的权重矩阵视为高阶权重张量的矩阵展开。凭借张量分解的压缩特性，这使我们能够引入一种新颖而有效的框架，用于利用权重张量的多路性质，以显着减少DNN参数的数量。我们还推导出张量值的TTL框架内的反向传播算法，通过扩展的概念矩阵导数张量。通过这种方式，利用Tucker分解的物理可解释性，通过计算每个因子矩阵的梯度过程，获得对NN训练的物理见解。所提出的框架验证的合成数据，和基准数据集MNIST，时尚MNIST，和CIFAR-10。总的来说，通过提供训练中每个数据特征的相对重要性的能力，TTL反向传播被证明有助于减轻NN固有的“黑匣子”性质。实验结果表明，TTL算法在MNIST和Fashion-MNIST上实现了66.63倍的压缩，而通过简化VGG-16网络，在训练时间上实现了10%的加速，性能相当.
2020-01-06 cs.CV cs.LG eess.SP
Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们分析了两个流行的网络压缩技术，即过滤器修剪和低秩分解，在一个统一的意义上。通过简单地改变稀疏正则化的实施方式，可以相应地导出滤波器修剪和低秩分解。这为网络压缩提供了另一种灵活的选择，因为这两种技术可以相互补充。例如，在具有快捷连接的流行网络架构（例如ResNet）中，过滤器修剪无法处理ResBlock中的最后一个卷积层，而低秩分解方法可以。此外，我们建议联合压缩整个网络，而不是以逐层的方式。我们的方法证明了它的潜力，因为它在几个基准上与最先进的方法相比是有利的。
2020-03-19 cs.CV
Cluster Regularized Quantization for Deep Networks Compression
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
深度神经网络（DNN）在计算机视觉领域取得了巨大的成功，但由于其高存储和计算成本，在移动设备上的应用受到限制。已经投入了很多努力来压缩DNN。在本文中，我们提出了一种简单而有效的深度网络压缩方法，称为聚类正则化量化（CRQ），它可以将全精度模型的表示精度降低到三进制值，而不会显着降低精度。特别是，所提出的方法旨在通过引入聚类正则化项来减少量化误差，该聚类正则化项施加在全精度权重上，使它们自然地集中在目标值周围。通过在重训练阶段显式正则化权值，全精度模型可以实现向低比特模型的平滑过渡。在基准数据集上的综合实验证明了该方法的有效性。
2019-02-27 cs.CV
Neural Compression and Filtering for Edge-assisted Real-time Object Detection in Challenged Networks
University of California, Irvine（加州大学欧文分校）
边缘计算范例将具有计算能力的设备（边缘服务器）放置在网络边缘，以帮助移动设备执行数据分析任务。直观地将计算密集型任务卸载到边缘服务器可以减少其执行时间。然而，将移动设备连接到边缘服务器的无线信道的不良条件可能会降低通过边缘卸载实现的总体捕获到输出延迟。在这里，我们专注于通过深度神经网络（DNN）支持远程目标检测的边缘计算，并开发一个框架来减少通过无线链路传输的数据量。我们提出的核心思想建立在最近将DNN分成部分的方法上-即头部和尾部模型-分别由移动终端和边缘服务器执行。然后，无线链路用于将头部模型的最后一层的输出传输到边缘服务器，而不是DNN输入。大多数先前的工作都集中在分类任务上，并保持DNN结构不变。在本文中，我们的重点是用于三种不同的目标检测任务的DNN，它们呈现出更加复杂的结构，并修改网络的架构：（i）通过在头部模型的早期层中引入瓶颈层来实现网络内压缩，以及（ii）使用卷积神经网络对不包含感兴趣对象的图片进行预过滤。结果表明，所提出的技术代表了一个有效的中间选项之间的局部和边缘计算的参数区域，这些极端点的解决方案无法提供令人满意的性能。代码和训练模型可在https://github.com/yoshitomo-matsubara/hnd-ghnd-object-detectors上获得。
2020-10-18 cs.CV cs.LG eess.IV
Convolutional Neural Network Compression Based on Low-Rank Decomposition
Southwest University（西南大学）
本文提出一种结合VBMF与正交正则化的卷积神经网络低秩分解压缩方法，通过估计各层秩有效缓解精度损失，在高低压缩率下均表现优异。
2024-08-29 cs.CV
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Haifa（海法大学）
我们提出了一种新的全局压缩框架，用于深度神经网络，自动分析每一层，以确定最佳的每层压缩比，同时实现所需的整体压缩。我们的算法依赖于压缩每个卷积（或全连接）层的想法，将其信道切片为多个组，并通过低秩分解来分解每个组。在我们的算法的核心是从EckartYoungMirsky定理推导逐层误差界。然后，我们利用这些界限来框架的压缩问题作为一个优化问题，我们希望最大限度地减少跨层的最大压缩误差，并提出了一个有效的算法解决方案。我们的实验表明，我们的方法优于现有的低秩压缩方法在广泛的网络和数据集。我们相信，我们的研究结果为未来研究现代神经网络的全局性能-大小权衡开辟了新的途径。我们的代码可在https://github.com/lucaslie/torchprune上获得。
2021-11-18 cs.AI cs.CV cs.LG
A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems
University of Cologne（科隆大学）；Center for Data and Simulation Science, University of Cologne（科隆大学数据与模拟科学中心）
深度神经网络（DNN），特别是卷积神经网络（CNN），在广泛的现代计算机应用问题中带来了重大进展。然而，大量数据集的可用性增加以及现代计算机的可用计算能力增加分别导致DNN和CNN模型的复杂性和大小的稳定增长，从而导致更长的训练时间。因此，已经开发了各种方法和尝试来加速和并行化复杂网络架构的训练。在这项工作中，提出了一种新的CNN-DNN架构，它自然支持模型并行训练策略，并且受到两级域分解方法（DDM）的启发。首先，定义局部CNN模型，即子网络，其对输入数据的重叠或非重叠部分（例如，子图像）进行操作。子网络可以完全并行地训练，并且彼此独立。然后，每个子网络输出针对给定机器学习问题的局部决策，该局部决策专门基于相应的局部输入数据。随后，在第二步中，训练额外的DNN模型，其评估局部子网络的局部决策并生成最终的全局决策。在本文中，我们提出的架构，图像分类问题，使用CNN。不同的2D图像分类问题的实验结果，以及人脸识别问题，和3D计算机断层扫描（CT）扫描的分类问题。因此，考虑了经典的ResNet和VGG架构。结果表明，与全局模型相比，所提出的方法可以显着加快所需的训练时间，此外，还可以帮助提高底层分类问题的准确性。
2024-07-01 cs.CV cs.LG
CDFI: Compression-Driven Network Design for Frame Interpolation
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软公司）；University of Denver（丹佛大学）
基于DNN的帧内插--在给定两个连续帧的情况下生成中间帧--通常依赖于具有大量特征的重型模型架构，这阻止了它们被部署在资源有限的系统上，例如，移动设备.我们提出了一种压缩驱动的帧内插网络设计（CDFI），它通过稀疏诱导优化来利用模型修剪，以显着减少模型大小，同时实现卓越的性能。具体地说，我们首先压缩最近提出的AdaCoF模型，并表明10倍压缩的AdaCoF与其原始对应物的性能相似;然后我们通过引入多分辨率扭曲模块进一步改进此压缩模型，该模块通过多层次细节增强视觉效果。因此，我们实现了显着的性能增益，只有四分之一的大小相比，原来的AdaCoF。此外，我们的模型在广泛的数据集中与其他最先进的模型相比表现良好。最后，提出的压缩驱动框架是通用的，可以很容易地转移到其他基于DNN的帧内插算法。我们的源代码可以在https://github.com/tding1/CDFI上找到。
2021-03-28 cs.CV
CompressNAS : A Fast and Efficient Technique for Model Compression using Decomposition
STMicroelectronics（意法半导体）；Toronto, Canada（加拿大多伦多）
针对现有低秩张量压缩方法局部选秩忽略全局权衡的问题，提出CompressNAS框架，通过全局秩搜索实现高效模型压缩，在多个基准数据集上取得优异压缩效果，还推出了性能有竞争力的STResNet压缩模型族。
2025-11-12 cs.CV
DNN-Compressed Domain Visual Recognition with Feature Adaptation
Arizona State University（亚利桑那州立大学）
本文提出一种基于学习的压缩域分类框架，通过特征自适应模块和训练策略，在压缩域潜在表示上实现高效视觉识别，性能优于现有压缩域模型，且计算效率高于像素域模型。
2023-07-26 cs.CV eess.IV
CirCNN: Accelerating and Compressing Deep Neural Networks Using Block-CirculantWeight Matrices
Syracuse University（雪城大学）；City University of New York, City College（纽约市立大学城市学院）；University of Southern California（南加州大学）；California State University Fullerton（加州州立大学富勒顿分校）；Northeastern University（东北大学）
大规模深度神经网络（DNN）是计算和存储密集型的。随着DNN的规模不断增长，在保持准确性的同时提高能效和性能至关重要。对于DNN，模型大小是影响性能、可扩展性和能效的重要因素。权值修剪虽然取得了很好的压缩比，但存在三个缺点：1）修剪后网络结构不规则; 2）训练复杂度增加; 3）压缩比和推理精度缺乏严格保证。为了克服这些限制，本文提出了CirCNN，这是一种使用块循环矩阵表示权重和处理神经网络的原则性方法。CirCNN利用基于快速傅立叶变换（FFT）的快速乘法，同时将计算复杂性（在推理和训练中）从O（n2）降低到O（nlogn），并将存储复杂度从O（n2）降低到O（n），精度损失可以忽略不计。与其他方法相比，CirCNN由于其数学严谨性而与众不同：它可以在不压缩的情况下收敛到与DNN相同的有效性。CirCNN架构，一种通用DNN推理引擎，可以在具有可配置网络架构的各种硬件/软件平台上实现。为了证明性能和能效，我们在FPGA，ASIC和嵌入式处理器中测试了CirCNN。我们的研究结果表明，CirCNN架构实现了非常高的能源效率和性能，硬件占用空间小。基于FPGA实现和ASIC合成结果，CirCNN实现了6- 102倍的能效提升，与最佳的最先进的结果相比。
2017-08-29 cs.AI cs.CV cs.LG
