Deep neural networks have been applied in many applications exhibiting extraordinary abilities in the field of computer vision. However, complex network architectures challenge efficient real-time deployment and require significant computation resources and energy costs. These challenges can be overcome through optimizations such as network compression. Network compression can often be realized with little loss of accuracy. In some cases accuracy may even improve. This paper provides a survey on two types of network compression: pruning and quantization. Pruning can be categorized as static if it is performed offline or dynamic if it is performed at run-time. We compare pruning techniques and describe criteria used to remove redundant computations. We discuss trade-offs in element-wise, channel-wise, shape-wise, filter-wise, layer-wise and even network-wise pruning. Quantization reduces computations by reducing the precision of the datatype. Weights, biases, and activations may be quantized typically to 8-bit integers although lower bit width implementations are also discussed including binary neural networks. Both pruning and quantization can be used independently or combined. We compare current techniques, analyze their strengths and weaknesses, present compressed network accuracy results on a number of frameworks, and provide practical guidance for compressing networks.
Soft Label Pruning and Quantization for Large-Scale Dataset Distillation
CFAR, Agency for Science, Technology and Research, Singapore（新加坡科技研究局应用科学与技术研究院）；IHPC, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息与通信技术研究院）；National University of Singapore（新加坡国立大学）
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM
Sensetime Research（商汤科技研究院）；Tsinghua University（清华大学）；Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
权值修剪和权值量化是DNN模型压缩的两个重要方面。这些技术的先前工作主要基于化学。最近的一项工作使用先进的优化技术ADMM（Alternating Direction Methods of Multipliers）开发了DNN权重修剪的系统框架，实现了最先进的权重修剪结果之一。在这项工作中，我们首先扩展这样的一杆ADMM为基础的框架，以保证解决方案的可行性，并提供快速收敛速度，以及推广到权重量化。我们进一步开发了一个多步骤的渐进式DNN权重修剪和量化框架，具有双重好处：（i）由于ADMM正则化的特殊属性，实现了进一步的权重修剪/量化，以及（ii）减少了每个步骤中的搜索空间。大量的实验结果表明，与以前的工作相比，优越的性能。一些亮点：（i）我们分别在LeNet-5、AlexNet和ResNet-50模型上实现了246倍、36倍和8倍的权重修剪，（几乎）零精度损失;（ii）在AlexNet中甚至实现了显著的61倍权重修剪（ImageNet）与先前的工作相比，实际准确性仅略有下降;（iii）我们是第一批为ResNet和MobileNet模型得出显着权重修剪结果的人之一;（iv）我们为MNIST和CIFAR-10分别导出了第一个无损的、完全二进制化的（所有层）LeNet-5和VGG-16;以及（v）我们为ImageNet导出了第一个完全二进制化的（所有层）ResNet，具有合理的准确性损失…
PFGDF: Pruning Filter via Gaussian Distribution Feature for Deep Neural Networks Acceleration
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）
深度学习在很多领域都取得了骄人的成绩，但边缘智能设备的部署仍然非常缓慢。针对这一问题，提出了一种基于数据分布特征的深度神经网络压缩加速方法，即基于高斯分布特征的剪枝滤波器（Pruning Filter via Gaussian Distribution Feature，PFGDF）。与以往的改进剪枝方法相比，PFGDF利用分布不显著的滤波器对模型进行压缩，而不考虑卷积滤波器的贡献和灵敏度信息。PFGDF与权值稀疏化剪枝有很大的不同，因为它不需要专门的加速库来处理稀疏权值矩阵，也没有引入更多的额外参数。PFGDF的修剪过程是自动化的。此外，PFGDF压缩后的模型可以恢复与未压缩模型相同的性能。我们通过大量的实验对PFGDF进行了评估，在CIFAR-10上，PFGDF将VGG-16上的卷积滤波器压缩了66.62%，参数减少了90%以上，而在华为MATE 10上的推理时间加快了83.73%。
A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework
Northeastern University（东北大学）；The College of William and Mary（威廉与玛丽学院）；University of Connecticut（康涅狄格大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization
School of Computing, Newcastle University（新castle大学计算机学院）；VSB-Technical University of Ostrava（奥斯特拉瓦技术大学）；Queen Mary University of London（伦敦女王玛丽大学）；University of Florida（佛罗里达大学）；University of Catania（卡塔尼亚大学）
SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beihang University（北京航空航天大学）
Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration
Platform Lab, College of Information Technology, Soongsil University, Seoul, South Korea（平台实验室，信息科技学院，顺斯大学，首尔，韩国）；Computing Systems Lab, College of Information Technology, Soongsil University, Seoul, South Korea（计算系统实验室，信息科技学院，顺斯大学，首尔，韩国）
Resource Efficient Neural Networks Using Hessian Based Pruning
School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)（南洋理工大学电子与电气工程学院）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）；Centre for Information Sciences and Systems (CISS), School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)（南洋理工大学信息科学与系统中心、电子与电气工程学院）
Automated Tomato Maturity Estimation Using an Optimized Residual Model with Pruning and Quantization Techniques
Auburn University（奥本大学）；National Yang-Ming Chiao Tung University（国立阳明交通大学）；University of Agriculture, Faisalabad（费萨拉巴德农业大学）；University of Georgia（佐治亚大学）；University of Wyoming（怀俄明大学）；National Institute of Food Science and Technology（国家食品科学与技术研究所）
Partial Forward Blocking: A Novel Data Pruning Paradigm for Lossless Training Acceleration
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artifcial Intelligence and Automation, Huazhong University of Science and Technology（multispectral information intelligent processing technology 国家重点实验室，人工智能与自动化学院，华中科技大学）
Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization
Northeastern University（东北大学）；Simon Fraser University（西蒙弗雷泽大学）；University of California, Irvine（加州大学欧文分校）；ETH Zurich（苏黎世联邦理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉Transformer（ViT）正在出现，在计算机视觉任务中具有显著提高的准确性。然而，其复杂的体系结构和巨大的计算/存储需求迫切需要新的硬件加速器的设计方法。这项工作提出了一个FPGA感知的自动ViT加速框架的基础上提出的混合方案量化。据我们所知，这是第一个基于FPGA的ViT加速框架，探索模型量化。与最先进的ViT量化工作（算法方法，只有没有硬件加速）相比，我们的量化实现了0.47%至1.36%的高的Top-1精度在相同的位宽。与32位浮点基线FPGA加速器相比，我们的加速器的帧速率提高了约5.6倍（即，56.8 FPS vs. 10.0 FPS），DeiT-base在ImageNet数据集上的准确率下降了0.71%。
