ARQ: A Mixed-Precision Quantization Framework for Accurate and Certifiably Robust DNNs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
ARQ通过强化学习和随机平滑技术，在保持干净准确性和可证明鲁棒性的同时，高效优化深度神经网络的量化。
2026-04-27 cs.CR cs.CV cs.LG
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization
Aristotle University of Thessaloniki（亚里士多德大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）；University of Patras（帕特雷大学）
提出硬件感知的DNN压缩框架，联合多样化剪枝与混合精度量化，利用强化学习优化配置，在CIFAR和ImageNet上实现39%能耗降低且精度损失仅1.7%。
2023-12-23 cs.LG
Mix and Match: A Novel FPGA-Centric Deep Neural Network Quantization Framework
Northeastern University（东北大学）；The University of Hong Kong（香港大学）；University of Southern California（南加州大学）
深度神经网络（DNN）在各种应用领域都取得了非凡的性能。为了支持不同的DNN模型，DNN推理在边缘计算平台上的有效实现，例如，ASIC、FPGA和嵌入式系统得到了广泛的研究。由于模型大小和计算量巨大，模型压缩是在边缘设备上部署DNN模型的关键步骤。本文重点介绍了权重量化，一个硬件友好的模型压缩的方法，是补充重量修剪。与现有的方法，使用相同的量化方案的所有权重，我们提出了第一个解决方案，适用于不同的权重矩阵的不同行的量化方案。其动机是（1）不同行中权重的分布不相同;以及（2）实现更好地利用异构FPGA硬件资源的潜力。为了实现这一目标，我们首先提出了一种硬件友好的量化方案，名为2的幂和（SP2），适合于高斯型权重分布，其中乘法运算可以用逻辑移位器和加法器代替，从而实现了FPGA LUT资源的高效实现。相比之下，现有的定点量化适合于均匀类权重分布，并且可以由DSP高效地实现。然后，为了充分利用资源，我们提出了一个以FPGA为中心的混合方案量化（MSQ）与所提出的SP2和定点方案的集成。组合这两种方案可以保持，甚至由于与权重分布的更好匹配而增加准确性。
2020-12-12 cs.AR cs.LG
An Ultra-Efficient Memristor-Based DNN Framework with Structured Weight Pruning and Quantization Using ADMM
Northeastern University（东北大学）；Syracuse University（雪城大学）；Shanghai JiaoTong University（上海交通大学）
大型深度神经网络（DNN）模型的高计算和存储器存储对传统的Von-Neumann架构提出了强烈的挑战，导致存储层次结构中的大量数据移动。忆阻器交叉开关阵列已经成为一种有前途的解决方案，可以减轻挑战并实现DNN的低功耗加速。基于忆阻器的权重修剪和权重量化已经分别进行了研究，并证明了与原始DNN模型相比在减少面积和功耗方面的有效性。然而，还没有系统的研究忆阻器为基础的类脑计算（NC）系统，同时考虑权重修剪和权重量化。在本文中，我们提出了一个统一的和系统的忆阻器为基础的框架，同时考虑结构化的权重修剪和权重量化，将交替方向乘法器（ADMM）到DNN的训练。我们考虑硬件约束，如交叉开关块修剪，电导范围，和权重值和实际设备之间的不匹配，以实现高精度，低功耗和小面积的足迹。我们的框架主要由三个步骤组成，即，基于忆阻器的ADMM正则化优化、掩码映射和再训练。实验结果表明，与原始DNN模型相比，我们提出的框架实现了29.81 X（20.88 X）的权重压缩比，在VGG-16（ResNet-18）网络上的功耗和面积分别减少了98.38%（96.96%）和98.29%（97.47%），准确率仅损失了0.5%（0.76%）。我们在链接http://bit.ly/2Jp5LHJ上分享我们的模型。
2019-08-29 cs.AR cs.ET cs.LG
Technical Report: NEMO DNN Quantization for Deployment Model
IIS.EE.ETHZ（苏黎世联邦理工学院电子工程研究所）
本技术报告旨在为深度神经网络（DNN）分层量化定义一个正式框架，特别关注与最终部署相关的问题。它也是NEMO（NEural Minimization for pytOrch）框架的文档。它描述了NEMO中使用的四种DNN表示（FullPrecision，FakeQuantized，QuantizedDeployable和IntegerDeployable），特别关注后两者的正式定义。该模型的一个重要特征，特别是IntegerDeployable表示，是它能够使用纯整数进行DNN推理，而无需在计算的任何部分诉诸实数，也无需依赖显式的定点数值表示。
2020-04-13 cs.AI cs.LG cs.NE
FAQ: Mitigating the Impact of Faults in the Weight Memory of DNN Accelerators through Fault-Aware Quantization
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对DNN加速器片上权重存储器中的永久性故障，提出基于查找表的故障感知量化（FAQ）技术，以极低的开销替代昂贵的故障感知再训练，在低至中等故障率下有效保持模型精度并加速精度恢复。
2023-05-21 cs.AR cs.LG
A Unified Framework of DNN Weight Pruning and Weight Clustering/Quantization Using ADMM
Syracuse University（雪城大学）；Peking University（北京大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工学院-IBM沃森人工智能实验室）；Northeastern University（东北大学）
人们已经研究了深度神经网络（DNN）的许多模型压缩技术，包括权重修剪、权重聚类和量化等。权重修剪利用了DNN中权重数量的冗余性，而权重聚类/量化则利用了权重比特表示数量的冗余性。它们可以有效地结合起来，以利用最大程度的冗余。然而，在这方面的文献缺乏系统的研究。在本文中，我们填补了这一空白，并开发了一个统一的，系统的DNN权重修剪和聚类/量化框架，使用交替方向乘法（ADMM），这是一种强大的优化理论技术来处理非凸优化问题。DNN权重修剪和聚类/量化以及它们的组合都可以以统一的方式解决。为了进一步提高性能，在这个框架中，我们采用多种技术，包括迭代权重量化和再训练，联合权重聚类训练和质心更新，权重聚类再训练，所提出的框架实现了显着的改善，无论是在个人的重量修剪和聚类/量化问题，以及它们的组合。仅对于权重修剪，我们在LeNet-5中实现了167倍的权重减少，在AlexNet中实现了24.7倍，在VGGNet中实现了23.4倍，而没有任何准确性损失。对于DNN权重修剪和聚类/量化的组合，我们分别在LeNet-5和AlexNet上实现了1，910倍和210倍的权重数据存储减少，而没有准确性损失。我们的代码和模型发布在链接http://bit.ly/2D3F0np
2018-11-05 cs.CV cs.LG cs.NE
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.（三星半导体公司系统芯片研发部）
在本文中，我们研究了通过权重量化和无损信源编码对深度神经网络（DNN）进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码，我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是，我们研究了DNN的通用随机格量化，它在格量化之前通过均匀随机抖动来随机化DNN权重，并且可以在任何源上执行接近最佳的操作，而无需依赖于其概率分布的知识。此外，我们提出了一种微调矢量量化DNN的方法，以恢复量化后的性能损失。我们的实验结果表明，所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet（在CIFAR-10上训练）和AlexNet（在ImageNet上训练）。
2019-02-21 cs.CV cs.LG cs.NE
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University（亚琛工业大学）
深度神经网络（DNN）部署在边缘设备上生成的数据附近的最大挑战是它们的大小，即，存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长，DNN的能量效率成比例地增加。然而，较低的字长通常会导致精度下降。为了抵消这种影响，量化的DNN被重新训练。不幸的是，训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题，我们提出了一个后训练量化流程，而不需要再培训。为此，我们研究了不同的量化选项。此外，我们的分析系统地评估了减少词长度的权重和激活的影响，揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关，并适用于均匀量化，允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下，我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Generative Design of Hardware-aware DNNs
Georgia Institute of Technology（佐治亚理工学院）；SIEMENS Corporate Technology（西门子企业技术）
为了在边缘/云上有效地运行DNN，许多新的DNN推理加速器正在被频繁地设计和部署。为了提高DNN的资源效率，模型量化是一种广泛使用的方法。然而，不同的加速器/HW具有不同的资源，导致需要每个HW的专用量化策略。此外，对每一层使用相同的量化可能是次优的，从而增加了可能的量化选择的设计空间。这使得手动调整不可行。最近在自动确定每层的量化方面的工作是由诸如强化学习之类的优化方法驱动的。然而，这些方法需要为每个新的硬件平台重新训练RL。我们提出了一种自主量化和硬件感知调谐的新方法。我们提出了一个生成模型，AQGAN，它以目标精度为条件，生成一套量化配置。使用条件生成模型，用户可以在推理时间内自主地生成具有不同目标的不同配置。此外，我们提出了一个简化的硬件调整流程，它使用生成模型来生成建议，并根据硬件资源预算执行简单的选择，其过程是快速和交互式的。我们在ImageNet数据集上广泛使用的五个有效模型上评估了我们的模型。我们比较现有的均匀量化和国家的最先进的自主量化方法。然而，我们的生成模型显示出具有竞争力的准确性，每个设计点的搜索成本降低了大约2度。我们的生成模型表明，生成的量化配置在所有实验中的误差小于3.5%。
2020-07-12 cs.LG stat.ML
A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification
University of Zanjan（赞詹大学）；Universitätsklinikum Freiburg（弗莱堡大学医院）
该综述聚焦图像分类任务，系统梳理DNN量化的概念、各类方法、训练策略、硬件适配特性与评估基准，并给出前沿方法在主流数据集上的准确率，为量化技术的研究与应用提供全面参考。
2023-10-23 cs.LG
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
对于许多应用，利用DNN（深度神经网络）需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来，人们对人工智能（人工智能）方法的理解和解释产生了一个新的研究领域，称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作，例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法，例如量化和修剪，这些方法到目前为止还没有得到充分的探索。在本文中，我们使用可解释的AI方法：主要是DeepLIFT方法。我们将这些方法用于（1）DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重，（2）使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享，以及（3）基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下，我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
FAQS: Communication-efficient Federate DNN Architecture and Quantization Co-Search for personalized Hardware-aware Preferences
Tsinghua University（清华大学）
由于用户隐私和监管限制，联邦学习（FL）被提出作为一种分布式学习框架，用于在分散的数据客户端上训练深度神经网络（DNN）。FL的最新进展已经应用了神经架构搜索（NAS）来取代预定义的通用DNN模型，该模型对于各种数据分布的所有任务都不是最佳的，而是可搜索的DNN架构。然而，以前的方法遭受昂贵的通信成本增加频繁的大型模型参数之间的服务器和客户端传输。当结合NAS算法时，这种困难被进一步放大，NAS算法通常需要禁止计算和巨大的模型存储。为此，我们提出了FAQS，一个有效的个性化FL-NAS量化框架，以减少通信成本与三个功能：权重共享超级内核，比特共享量化和掩码传输。FAQS有一个负担得起的搜索时间，并要求在每一轮传输的消息非常有限的大小。通过在本地客户端设置不同的个性化帕累托函数损失，FAQS可以产生异构的硬件感知模型，以满足不同的用户偏好。实验结果表明，FAQS每轮通信带宽比普通FL框架平均减少1.58倍，比FL+NAS框架平均减少4.51倍。
2022-10-16 cs.AI cs.LG
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design（新加坡科技设计大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
Northeastern University（东北大学）；University of Notre Dame（圣母大学）；University of Hong Kong（香港大学）；University of Southern California（南加州大学）
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
2020-10-17 cs.CV cs.LG
Exploration of Activation Fault Reliability in Quantized Systolic Array-Based DNN Accelerators
Tallinn University of Technology（塔林理工大学）；University of Alberta（阿尔伯塔大学）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；York University（约克大学）；Mälardalen University（梅拉达伦大学）
本文提出一种全自动框架，系统评估量化对DNN加速器模型精度、激活故障可靠性和硬件效率的三方面影响，并集成轻量级保护技术以保障脉动阵列FPGA实现的可靠部署。
2024-01-17 cs.AR cs.LG
REQAP: Resilient Weight Packing and Quantization for Edge DNN Acceleration
Humboldt University of Berlin（柏林洪堡大学）；Tallinn University of Technology（塔林理工大学）；University of Zanjan（赞詹大学）；Brandenburg University of Technology Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格分校）
本文提出REQAP方法，通过敏感度驱动的混合精度量化与寄存器级打包，结合MSB复制实现TMR保护，在边缘DNN加速器上显著降低内存和计算开销，并提升故障下的精度弹性。
2026-09-17 cs.AI cs.AR cs.LG
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙菲莎大学）
本文提出训练后层内多精度量化方法 PTILMPQ，通过估计层和通道重要性进行精确比特分配，在无需大量训练数据的情况下有效减少 DNN 内存占用，并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
2024-04-03 cs.AI cs.LG
TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）
最近的研究表明，深度神经网络（DNN）的训练和推理可以用训练/测试数据、权重和梯度的低精度数值表示来计算，而不会损失一般的准确性。这种紧凑表示的好处是双重的：它们可以显着减少分布式DNN训练中的通信瓶颈，并在FPGA等硬件加速器上更快地实现神经网络。已经提出了几种量化方法来将原始的32位浮点问题映射到低位表示。虽然大多数相关出版物在单个DNN拓扑上验证了所提出的方法，但显然，量化方法和编码比特数的最佳选择是拓扑相关的。为此，没有通用的理论，这将允许用户在DNN拓扑的设计期间导出最佳量化。在本文中，我们为TensorFlow框架提供了一个量化工具箱。TensorQuant允许在训练和推理期间对现有DNN拓扑进行透明量化模拟。TensorQuant支持通用量化方法，并允许对量化对单层以及完整拓扑的影响进行实验评估。在使用TensorQuant的第一系列实验中，我们展示了对流行的CNN拓扑的定点量化的分析。
2017-10-13 cs.CV cs.LG stat.ML
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM
Northeastern University（东北大学）；Tsinghua University（清华大学）
权值量化是深度神经网络（DNN）模型压缩方法中最重要的技术之一。最近的一项工作使用DNN权重量化的系统框架和先进的优化算法ADMM（交替方向乘法）实现了权重量化的最新成果之一。在这项工作中，我们首先扩展了这种基于ADMM的框架，以保证解决方案的可行性，我们进一步开发了一个多步骤，渐进式DNN权重量化框架，具有双重好处：（i）由于ADMM正则化的特殊属性，实现进一步的权重量化，以及（ii）减少每一步中的搜索空间。大量的实验结果表明，与以前的工作相比，优越的性能。一些亮点：我们为MNIST导出了第一个无损和完全二进制化的（所有层）LeNet-5;我们为CIFAR-10导出了第一个完全二进制化的（所有层）VGG-16，为ImageNet导出了ResNet，具有合理的准确性损失。
2019-05-02 cs.CV cs.LG stat.ML
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨技术大学）
本文介绍了神经架构搜索（NAS）的自动发现小模型的关键字定位（KWS）在有限的资源环境。我们采用可微分NAS方法来优化卷积神经网络（CNN）的结构，以最大限度地提高分类准确性，同时最大限度地减少每个推理的操作次数。仅使用NAS，我们就能够在Google语音命令数据集上获得95.4%准确率的高效模型，内存使用量为494.8 kB，操作量为1960万次。此外，权重量化用于进一步减少存储器消耗。我们表明，可以使用低位宽（例如1位）的权重量化，而不会有很大的准确性损失。通过将输入特征的数量从10 MFCC增加到20 MFCC，我们能够在340.1 kB的内存使用和2710万次操作的情况下将准确率提高到96.3%。
2020-12-18 cs.LG eess.AS
ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University（东北大学）；Syracuse University（雪城大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）；University of Southern California（南加利福尼亚大学）
为了促进深度神经网络（DNN）的高效嵌入式和硬件实现，研究了DNN模型压缩技术的两个重要类别：权重修剪和权重量化。前者利用权重数量的冗余，而后者利用权重的比特表示的冗余。然而，缺乏DNN的联合权重修剪和量化的系统框架，从而限制了可用的模型压缩比。此外，除了简单的模型大小减小之外，还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制，我们提出了ADMM-NN，这是DNN的第一个算法-硬件协同优化框架，使用交替方向乘法（ADMM），这是一种强大的技术，可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术，在每次ADMM迭代中动态更新正则化目标，从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化，以促进硬件级实现。在没有精度损失的情况下，我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪，显著高于先前的工作。当专注于计算减少时，改进变得更加显著。结合权重修剪和量化，我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小，当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV
Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM
Sensetime Research（商汤科技研究院）；Tsinghua University（清华大学）；Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
权值修剪和权值量化是DNN模型压缩的两个重要方面。这些技术的先前工作主要基于化学。最近的一项工作使用先进的优化技术ADMM（Alternating Direction Methods of Multipliers）开发了DNN权重修剪的系统框架，实现了最先进的权重修剪结果之一。在这项工作中，我们首先扩展这样的一杆ADMM为基础的框架，以保证解决方案的可行性，并提供快速收敛速度，以及推广到权重量化。我们进一步开发了一个多步骤的渐进式DNN权重修剪和量化框架，具有双重好处：（i）由于ADMM正则化的特殊属性，实现了进一步的权重修剪/量化，以及（ii）减少了每个步骤中的搜索空间。大量的实验结果表明，与以前的工作相比，优越的性能。一些亮点：（i）我们分别在LeNet-5、AlexNet和ResNet-50模型上实现了246倍、36倍和8倍的权重修剪，（几乎）零精度损失;（ii）在AlexNet中甚至实现了显著的61倍权重修剪（ImageNet）与先前的工作相比，实际准确性仅略有下降;（iii）我们是第一批为ResNet和MobileNet模型得出显着权重修剪结果的人之一;（iv）我们为MNIST和CIFAR-10分别导出了第一个无损的、完全二进制化的（所有层）LeNet-5和VGG-16;以及（v）我们为ImageNet导出了第一个完全二进制化的（所有层）ResNet，具有合理的准确性损失…
2019-03-30 cs.CV cs.LG cs.NE
Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference
Georgia Institute of Technology（佐治亚理工学院）；Arizona State University（亚利桑那州立大学）
本文提出算法-硬件协同设计方法，引入对数Posit（LP）数据类型动态适应DNN参数分布，开发基于遗传算法的LPQ框架优化逐层参数，并设计统一混合精度LPA加速器，在保持<1%准确率下降的同时实现约2倍性能和2.2倍能效提升。
2024-03-26 cs.AI cs.AR cs.LG
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tübingen（图宾根大学）
深度神经网络（DNN）加速器近年来受到了相当大的关注，因为与主流硬件相比，它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗，然而，在存储量化权重的存储器中引起比特级故障。此外，DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中，我们证明了鲁棒定点量化，权重裁剪以及随机比特错误训练（RandBET）或对抗性比特错误训练（AdvBET）的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能，而且还提高了DNN加速器的安全性。与相关工作相比，我们的方法概括了整个工作电压和加速器，不需要硬件的变化。此外，我们提出了一种新的对抗性比特错误攻击，并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下，我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误，我们将测试错误从90%以上（机会水平）降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
QEBVerif: Quantization Error Bound Verification of Neural Networks
ShanghaiTech University（上海科技大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Automotive Software Innovation Center（汽车软件创新中心）；Singapore Management University（新加坡管理大学）
本文提出名为QEBVerif的量化误差界限验证方法，结合差分可达性分析与混合整数线性规划，对权重和激活张量均量化的神经网络进行可靠且完备的验证。
2023-05-23 cs.AI cs.LG
DiverGet: A Search-Based Software Testing Approach for Deep Neural Network Quantization Assessment
当在嵌入式系统或手机上部署经过训练的深度神经网络（DNN）模型时，量化是应用最广泛的DNN压缩策略之一。这是由于其简单性和对广泛应用和环境的适应性，而不是通常仅为某些特定硬件（例如，Google Coral Edge TPU）。随着对量化的需求不断增长，确保该策略的可靠性正成为一个关键挑战。传统的测试方法收集越来越多的真实数据以进行更好的评估，但由于输入空间很大以及原始DNN与量化DNN之间的高度相似性，因此通常不实用。因此，先进的评估战略变得至关重要。在本文中，我们提出了DiverGet，基于搜索的量化评估的测试框架。DiverGet定义了一个变形关系的空间，模拟输入上自然发生的扭曲。然后，它最佳地探索这些关系，以揭示不同算法精度的DNN之间的分歧。我们评估了DiverGet在应用于高光谱遥感图像的最先进DNN上的性能。我们选择了遥感DNN，因为它们越来越多地部署在边缘（例如，高升力无人机）在气候变化研究和天文学等关键领域。我们的研究结果表明，DiverGet成功地挑战了现有量化技术对自然发生的移位数据的鲁棒性，并优于其最新的并发DiffChaser，成功率（平均）高出四倍。
2022-07-13 cs.AI cs.LG cs.SE
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题，提出基于移位运算与Huffman编码的DQA方法，在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
Adaptive Precision Training (AdaPT): A dynamic fixed point quantized training approach for DNNs
University of Vienna（维也纳大学）
本文提出AdaPT，一种基于信息论条件逐层动态切换精度的定点量化稀疏化训练策略，在不损失信息且避免梯度消失的前提下，实现了训练加速、推理加速和模型大小减少。
2021-08-27 cs.AI cs.LG
QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks
Yale University（耶鲁大学）
深度神经网络（DNN）已被证明容易受到对抗攻击的攻击，其中，模型通过对输入施加轻微的扰动而被愚弄。随着物联网的出现以及在嵌入式设备中实现智能的必要性，DNN的低功耗和安全硬件实现至关重要。在本文中，我们研究了使用量化来潜在地抵抗对抗攻击。最近的几项研究报告了通过量化减少DNN能量需求的显着结果。然而，没有先前的工作考虑DNN的对抗敏感性与其对量化的影响之间的关系。我们提出了QUANOS-一个框架，该框架基于对抗性噪声敏感性（ANS）执行特定于层的混合量化。我们为DNN确定了一种新的噪声稳定性度量（ANS），即，每层计算对对抗性噪声的敏感性。ANS允许确定每层的最佳比特宽度的原则性方法，其引起对抗性鲁棒性以及能量效率，并且准确性损失最小。从本质上讲，QUANOS根据其对对抗扰动的贡献来分配层的重要性，并相应地调整层的精度。QUANOS的一个关键优势是它不依赖于预先训练的模型，可以在训练的初始阶段应用。我们评估的好处QUANOS精度可扩展的乘法和累加（MAC）的硬件架构与数据门控和子字并行功能。我们在CIFAR10，CIFAR100数据集上的实验表明，QUANOS在对抗鲁棒性方面优于均匀量化的8位精度基线（高出3%-4%），同时在等精度下提高了压缩（> 5倍）和节能（> 2倍）。
2020-06-27 cs.CV cs.LG
How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct
National Yang-Ming Chiao-Tung University（国立阳明交通大学）
本文提出面向联邦 DNN 训练的 CO3 通信压缩算法，通过浮点转换量化、无损压缩和带记忆衰减的误差反馈校正降低通信负载，并证明其收敛性与性能优势。
2023-06-01 cs.LG
PoTAcc: A Pipeline for End-to-End Acceleration of Power-of-Two Quantized DNNs
UK Engineering and Physical Sciences Research Council（英国工程与物理科学研究委员会）
本文提出PoTAcc流水线，用于在资源受限边缘设备上加速和评估功率为二量化DNN，通过TensorFlow Lite实现无缝准备和部署，展示了在CPU和混合CPU-FPGA系统上的加速效果。
2026-05-07 cs.AR cs.LG cs.PF
SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
The Hong Kong University of Science and Technology（香港科技大学）；Nota Inc.（Nota公司）
本文提出 SplitQuant 方法，通过将可量化层拆分为三个数学等价层并对权重和偏置进行三簇聚类，在保留离群值的同时提高低比特量化分辨率，在 BERT-Tiny 上显著提升 INT2 量化精度。
2025-02-06 cs.AI cs.LG
Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)
WeBank（微众银行）；Harbin Engineering University（哈尔滨工程大学）；University of Hyogo（兵库县立大学）；Gakushuin University（学习院大学）
深度神经网络（DNN）的权重量化已被证明是在边缘设备（如移动设备、ASIC和FPGA）上实现DNN的有效解决方案，因为它们没有足够的资源来支持涉及数百万个高精度权重和乘法累加运算的计算。本文提出了一种新的方法来压缩DNN的高精度权重向量到三进制向量，即基于余弦相似性的目标非训练三进制（TNT）压缩方法。我们的方法利用余弦相似性而不是文献中常用的欧氏距离，并成功地减少了搜索空间的大小，以找到从3N到N的最佳三元向量，其中N是目标向量的维数。因此，TNT寻找理论上最优的三元向量的计算复杂性仅为O（N log（N））。此外，我们的实验表明，当我们用高精度参数对DNN模型进行三值化时，所获得的量化模型可以表现出足够高的精度，因此不需要重新训练模型。
2019-12-18 cs.CC cs.LG
Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators
Paderborn University（帕德博恩大学）
该研究针对定制DNN加速器，提出基于ONNX编译器的多阈值算子编译方法，支持非单调函数与细粒度参数，经实验验证其在FPGA加速器综合中的有效性，性能优于部分现有方案。
2026-10-16 cs.AR cs.LG
3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization, and Ultra-Low Latency Acceleration
Advanced Digital Sciences Centre（高级数字科学中心）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）
基于深度神经网络（DNN）的边缘AI应用需要低成本的计算平台和高质量的服务。然而，边缘设备的有限内存、计算资源和功率预算限制了DNN算法的有效性。开发面向边缘的AI算法和实现（例如，加速器是一个挑战。在本文中，我们从三个方面总结了我们最近为有效的设备上AI开发所做的努力，包括训练和推理。首先，我们提出了具有超低内存使用的设备上培训。我们提出了一种新的基于秩自适应张量的张量化神经网络模型，它在训练过程中提供了数量级的记忆减少。其次，我们引入了一种用于DNN模型压缩的超低位宽量化方法，在相同的压缩比下达到了最先进的精度。第三，我们介绍了超低延迟DNN加速器设计，实践软件/硬件协同设计方法。本文强调了训练、量化和加速器设计的重要性和有效性，并呼吁在边缘人工智能领域取得更多的研究突破。
2021-05-11 cs.AR cs.LG
Subtensor Quantization for Mobilenets
Latent AI
深度神经网络（DNN）的量化使开发人员能够部署具有更少内存和更高效低功耗推理的模型。然而，并非所有DNN设计都对量化友好。例如，流行的Mobilenet架构已被调整为通过可分离的深度卷积来减少参数大小和计算延迟，但并非所有量化算法都能很好地工作，并且精度可能会受到浮点版本的影响。在本文中，我们分析了量化损失的几个根本原因，并提出了不依赖于每通道或训练感知方法的替代方案。我们在ImageNet数据集上评估了图像分类任务，并且我们的训练后量化8位推理的top-1精度在浮点版本的0.7%以内。
2020-11-04 cs.CV cs.LG
ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Microsoft Research（微软研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；University of Rochester（罗切斯特大学）
量化是一种减少DNN模型计算和内存成本的技术，DNN模型变得越来越大。现有的量化解决方案使用定点整数或浮点类型，其优点有限，因为两者都需要更多的位来保持原始模型的准确性。另一方面，可变长度量化对正常值使用低比特量化，对一小部分异常值使用高精度量化。尽管这类工作带来了算法上的好处，但由于可变长度的编码和解码，它也引入了显著的硬件开销。在这项工作中，我们提出了一个固定长度的自适应数值数据类型称为ANT，以实现低比特量化与微小的硬件开销。我们的数据类型ANT利用两个关键创新来利用DNN模型中的张量内和张量间自适应机会。首先，我们提出了一种特殊的数据类型flint，它结合了float和int的优点，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，根据其分布特性为每个张量选择最佳类型。我们为ANT设计了一个统一的处理元素架构，并展示了其与现有DNN加速器集成的便利性。我们的设计结果在2.8 $\times$的加速比和2.5 $\times$能源效率的改善，在国家的最先进的量化加速器。
2022-08-30 cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Development of Quantized DNN Library for Exact Hardware Emulation
Kumamoto University（熊本大学）
量化用于在AI芯片等边缘设备上运行深度神经网络（DNN）时加快执行时间并节省功耗。为了研究量化的效果，我们需要在以32位浮点精度量化DNN的权重后执行推理，然后将它们量化回32位浮点精度。这是因为DNN库只能处理浮点数。然而，仿真的准确性并不提供准确的精度。我们需要精确的精度来检测MAC操作中的溢出或验证边缘设备上的操作。我们已经开发了PyParch，这是一个DNN库，它可以执行与硬件完全相同的量化DNN（QNN）。在本文中，我们描述了一个新的PyParch的建议和实现。作为评估的结果，可以针对诸如YOLOv5的大型和复杂DNN估计具有任意位宽的QNN的准确性，并且可以检测溢出。我们评估了仿真时间的开销，发现与正常DNN执行时间相比，QNN慢5.6倍，QNN慢42倍。
2021-06-15 cs.AI cs.LG
Bit Error Robustness for Energy-Efficient DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）；University of Tübingen（蒂宾根大学）
深度神经网络（DNN）加速器在过去几年中受到了相当大的关注，因为与主流硬件相比节省了能源。DNN加速器的低电压操作允许进一步显著降低能量消耗，然而，在存储量化的DNN权重的存储器中引起比特级故障。在本文中，我们证明了鲁棒定点量化，权重裁剪和随机比特错误训练（RandBET）的组合显着提高了（量化）DNN权重中对随机比特错误的鲁棒性。这导致了低电压操作以及低精度量化的高能量节省。我们的方法概括了整个工作电压和加速器，从剖析SRAM阵列的位错误证明。我们还讨论了为什么单独的权重裁剪已经是一种非常有效的方法来实现对比特错误的鲁棒性。此外，我们还特别讨论了准确性、鲁棒性和精度方面的权衡：与正常训练的8位DNN相比，在准确性不损失1%的情况下，我们可以将CIFAR-10的能耗降低20%。更高的节能，例如，30%，即使对于4位DNN，也可能以2.5%的精度为代价。
2021-04-09 cs.AR cs.CR cs.CV
QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
本文提出 QSync 系统，通过双向混合精度敏感性预测、邻域感知成本估计和量化最小化分配，在异构训练与推理 GPU 上实现高效同步数据并行 DNN 训练。
2024-07-02 cs.DC cs.LG
REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs
Peking University（北京大学）；Northeastern University（东北大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络（DNN）作为目标检测的基础，将在未来完全自主的自主系统开发中发挥关键作用。自治系统具有在功率受限系统上实时、节能地实现DNN的特殊要求。两个研究重点致力于DNN推理阶段的性能和能效增强。第一个是模型压缩技术，而第二个是高效的硬件实现。最近的工作，如二进制神经网络（BNN）和XNOR-Net的极低位CNN取代了传统的浮点运算与二进制位操作，显着降低了内存带宽和存储要求。然而，它遭受不可忽略的精度损失和未充分利用的FPGA的数字信号处理（DSP）块。为了克服这些局限性，本文提出了REQ-YOLO，一个资源感知的，系统的权重量化框架的目标检测，同时考虑算法和硬件资源方面的目标检测。我们采用块循环矩阵的方法，并提出了一个异构的权重量化使用交替方向乘法（ADMM），一种有效的优化技术一般，非凸优化问题。为了在FPGA上实现实时、高效的实现，我们给出了CONV层块循环矩阵的详细硬件实现，并开发了一种高效的处理单元（PE）结构，该结构支持异构权重量化、CONV流水线和流水线技术、设计优化以及基于模板的自动综合框架，以最佳地利用硬件资源。实验结果表明，我们提出的REQ-YOLO框架可以显着压缩YOLO模型，同时引入非常小的精度下降。
2019-09-29 cs.AR cs.CV cs.LG
Exploring Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators
Brno University of Technology（布拉格技术大学）
本文通过扩展Timeloop支持混合量化并提出多目标优化算法，联合优化CNN各层的位宽与映射，在MobileNetV1/V2和Eyeriss/Simba上实现最高37%能耗节省且精度不降。
2025-02-25 cs.AR cs.LG
An End-to-End DNN Inference Framework for the SpiNNaker2 Neuromorphic MPSoC
Centre for Tactile Internet with Human-in-the-Loop (CeTI), TU Dresden, Germany（人机协同触觉互联网中心（CeTI），德累斯顿技术大学，德国）；SpiNNcloud Systems GmbH, Dresden, Germany（SpiNNcloud系统公司，德累斯顿，德国）
本文扩展OctopuScheduler，提出面向SpiNNaker2的端到端多层DNN调度框架，结合量化与降级前端，支持在单芯片上以边缘方式执行规模达transformer级别的大型复杂DNN推理。
2025-07-18 cs.AR cs.DC cs.LG
Automatic Neural Network Compression by Sparsity-Quantization Joint Learning: A Constrained Optimization-based Approach
University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
深度神经网络（DNN）应用于广泛的用例中。对于在不具有丰富资源（例如存储器和计算单元）的设备上部署DNN的需求增加。最近，已经提出了通过诸如修剪和量化的各种技术来压缩网络以减少资源需求。所有现有压缩技术都敏感的关键参数是压缩比（例如，修剪稀疏性、量化位宽）。传统的解决方案将每层的压缩比视为超参数，并使用人类启发式来调整它们。最近的研究者开始使用黑盒超参数优化，但他们会引入新的超参数，并有效率问题。在本文中，我们提出了一个框架，可以根据目标模型大小自动联合修剪和优化DNN，而无需使用任何超参数来手动设置每层的压缩比。在实验中，我们证明了我们的框架可以将ResNet-50的权重数据压缩到836 $\times$，而不会损失CIFAR-10的准确性，并将AlexNet压缩到205 $\times$，而不会损失ImageNet分类的准确性。
2020-05-18 cs.LG stat.ML
Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
Towards Efficient Full 8-bit Integer DNN Online Training on Resource-limited Devices without Batch Normalization
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Institute of Technology（北京理工大学）；Capital Medical University（首都医科大学）；Tsinghua University（清华大学）
卷积和批量归一化（BN）带来的巨大计算成本给深度神经网络（DNN）的在线训练和相应应用带来了巨大挑战，特别是在资源有限的设备中。现有的工作只集中在卷积或BN加速，没有解决方案可以缓解这两个问题，令人满意的性能。在线训练在手机等资源有限的设备上逐渐成为一种趋势，但仍然没有一个完整的技术方案具有可接受的模型性能，处理速度和计算成本。在这项研究中，提出了一个有效的在线训练量化框架，称为EOQ相结合的Fixup初始化和DNN模型压缩和加速的一种新的量化方案。基于所提出的框架，我们已经成功地实现了全8位整数网络训练，并在大规模DNN中去除了BN。特别地，权重更新首次被量化为8位整数。利用一种新的块动态等距理论，在较弱的假设条件下，对利用固定初始化去除BN的EOQ进行了进一步的理论分析。基于EOQ的全8位网络由于采用了合理的量化策略，且不需要BN，因此可以达到最高的精度，同时在计算量和处理速度上也有很大的优势。更重要的是，深度学习芯片的设计可以大大简化，因为BN中没有不友好的平方根运算。除此之外，已经证明EOQ在具有较少批次样本的小批次在线训练中更有优势。综上所述，EOQ框架是专门为降低网络训练中卷积和BN的高成本而设计的，展示了在线训练在资源有限设备中的广阔应用前景。
2021-05-27 cs.LG
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks
University of Notre Dame（圣母大学）
脉冲神经网络（SNN）的能量高效实现和部署已经引起了极大的兴趣，这是由于开发能够实现生物大脑的计算能力和能量效率的人工系统的可能性。SNN在现代数字硬件上的高效实现也受到机器学习和深度神经网络（DNN）的进步的启发。在DNN的有效部署中广泛采用的两种技术-参数的量化和修剪，可以压缩模型大小，减少内存占用，并促进低延迟执行。量化和修剪之间的相互作用以及它们如何影响SNN加速器上的模型性能目前尚不清楚。我们研究了各种组合的修剪和量化的隔离，累积，并同时（联合）到一个国家的最先进的SNN目标的动态视觉传感器相机（DVS）的手势识别。我们表明，这种国家的最先进的模型是服从积极的参数量化，没有遭受任何损失的准确性下降到三元权重。然而，修剪仅保持高达80%稀疏度的等精度，这导致比我们的建筑模型上的最佳量化多45%的能量。应用修剪和量化两者可能导致准确度损失，以针对给定硬件配置在能量准确度帕累托边界上提供有利的折衷。
2023-02-08 cs.LG
SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian Approximation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海齐智研究所）；Microsoft Research（微软研究院）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；University of Rochester（罗切斯特大学）
深度神经网络（DNN）的量化已被证明可有效压缩和加速DNN模型。无数据量化（DFQ）是一种在隐私敏感和机密场景下不需要原始数据集的有前途的方法。然而，当前的DFQ解决方案降低了精度，需要合成数据来校准网络，并且耗时且成本高。本文提出了一种具有亚秒级量化时间的动态DFQ框架，称为SQuant，它可以在仅推理的设备上以较低的计算和内存要求来对网络进行建模。通过对DNN任务损失的二阶信息的理论分析，我们将基于Hessian的优化目标分解和近似为三个对角子项，这些子项具有对应于权重张量的三个维度的不同区域：元素方向，内核方向和输出通道方向。然后，我们逐步组成子项，并在离散域中提出一种新的无数据优化目标，最小化误差的约束绝对和（或简称CASE），令人惊讶的是，它不需要任何数据集，甚至不知道网络架构。我们还设计了一个有效的算法，没有反向传播，以进一步降低目标求解器的计算复杂度。最后，在没有微调和合成数据集的情况下，SQuant将无数据量化过程加速到亚秒级，与现有的无数据后训练量化工作相比，精度提高了>30%，评估模型采用4位量化。我们在https://github.com/clevercool/SQuant上开源了SQuant框架。
2022-02-14 cs.AI cs.LG
