One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment
Xidian University(西安电子科技大学)
作为实现深度神经网络在边缘设备中实现的有效技术,模型量化已经成功应用于许多实际应用中。无论是量化感知训练(QAT)还是训练后量化(PTQ)方法,都依赖于目标比特宽度。在调整量化精度时,需要对量化模型进行微调或使量化噪声最小化,这给实际应用带来了不便。在这项工作中,我们提出了一种方法来训练一个模型的所有量化,支持不同的位宽(例如,从8比特到1比特)以满足在线量化比特宽度调整。它是热插拔的,可以通过多尺度量化为不同的候选提供特定的量化策略。我们使用小波分解和重构来增加权重的多样性,从而显著提高每个量化候选的性能,特别是在超低比特宽度(例如,3位、2位和1位)。在ImageNet和COCO上的实验结果表明,我们的方法可以达到与以相同精度训练的专用模型相当的精度。
2021-05-04 cs.CV
Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and Adaptive Inference Approach
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
传统的模型量化方法对不同的数据样本采用固定的量化方案,忽略了不同样本之间固有的“识别难度”差异。我们建议饲料不同的数据样本与不同的量化方案,以实现数据相关的动态推理,在细粒度的层次。然而,利用可变的逐层量化方案实现这种自适应推理是具有挑战性的,因为位宽和层的组合呈指数增长,使得在如此广阔的搜索空间中训练单个模型并将其用于实践是极其困难的。为了解决这个问题,我们提出了任意位宽网络(ABN),其中单个深度网络的位宽可以在运行时针对不同的数据样本以逐层粒度改变。具体来说,首先我们建立一个权重共享的逐层量化的“超级网络”,其中每一层都可以分配多个位宽,从而根据需要进行不同的量化。超级网络提供了相当大数量的位宽和层的组合,每个组合都可以在推理过程中使用,而无需重新训练或存储无数的模型。其次,基于训练良好的超网络,每一层的运行时位宽选择决策建模为马尔可夫决策过程(MDP),并相应地解决了自适应推理策略。实验表明,该超网络可以在不降低精度的情况下构建,并且可以动态调整各层的位宽分配以处理各种输入。在ImageNet分类上,我们实现了1.1%的top1精度提升,同时节省了36.2%的BitOps。
2022-04-21 cs.CV
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);University of Dayton(戴顿大学)
本文提出了两种新的技术来训练具有低位宽权重和激活的深度卷积神经网络。首先,为了获得低位宽权重,大多数现有方法通过对全精度网络权重执行量化来获得量化权重。然而,这种方法会导致一些不匹配:梯度下降更新全精度权重,但它不更新量化权重。为了解决这个问题,我们提出了一种新的方法,使{直接}更新的量化权重{可学习的量化水平},以最小化成本函数使用梯度下降。第二,为了获得低位宽激活,现有的工程考虑所有渠道平等。然而,激活量化器可能偏向于具有高方差的少数通道。为了解决这个问题,我们提出了一种方法,考虑到各个通道的量化误差。通过这种方法,我们可以学习在大多数通道中最小化量化误差的激活量化器。实验结果表明,我们提出的方法在CIFAR-100和ImageNet数据集上使用AlexNet,ResNet和MobileNetV 2架构在图像分类任务上实现了最先进的性能。
2020-12-26 cs.CV
And the Bit Goes Down: Revisiting the Quantization of Neural Networks
Facebook AI Research(Facebook人工智能研究院);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(IRISA研究所)
在本文中,我们解决了减少卷积网络架构的内存占用的问题。我们引入了一种矢量量化方法,其目的是保持网络输出的重建质量,而不是其权重。我们的方法的原则是,它最大限度地减少损失重建误差的域内输入。我们的方法只需要一组未标记的数据在量化时间,并允许有效的推理CPU使用字节对齐的码本存储压缩的权重。我们通过将高性能的ResNet-50模型量化到5 MB的内存大小(20倍压缩因子),同时在ImageNet对象分类上保持76.1%的top-1准确度,并通过使用26倍因子压缩Mask R-CNN来验证我们的方法。
2020-11-09 cs.CV
Training Multi-bit Quantized and Binarized Networks with A Learnable Symmetric Quantizer
University of Texas at Austin(德克萨斯大学奥斯汀分校)
量化深度神经网络的权重和激活对于将它们部署在资源受限的设备或云平台上进行大规模服务至关重要。虽然二值化是量化的一种特殊情况,但这种极端情况通常会导致一些训练困难,并且需要专门的模型和训练方法。因此,最近的量化方法不提供二值化,从而失去了最资源有效的选择,并且量化和二值化网络已经成为不同的研究领域。我们研究了量化框架中的二进制化困难,并发现我们需要启用二进制训练的所有内容都是对称量化器,良好的初始化和仔细的超参数选择。这些技术还导致多比特量化的实质性改进。我们在ImageNet数据集上展示了我们的统一量化框架,表示为UniQ,具有各种架构,如ResNet-18,-34和MobileNetV 2。对于多位量化,UniQ优于现有方法,以实现最先进的精度。在二值化中,即使不修改原始架构,所实现的精度也可与现有的最先进的方法相媲美。
2021-04-01 cs.CV
Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)
IBM Research AI(IBM研究院人工智能部门);Google(谷歌)
深度学习算法以显著的计算成本为代价来实现高分类精度。为了减少这种成本,最近几种量化方案已经引起了人们的注意,其中一些关注权重量化,而另一些关注量化激活。本文提出了新的技术,目标权重和激活量化分别导致在一个整体量化的神经网络(QNN)。激活量化技术,参数化限幅激活(PACT),使用在训练期间优化的激活限幅参数$α$来找到正确的量化尺度。权重量化方案,几何感知权重分箱(SAWB),基于权重分布的统计特性找到最小化量化误差的最佳缩放因子,而不需要穷举搜索。PACT和SAWB的结合产生了一个2位QNN,在一系列流行的模型和数据集上实现了最先进的分类精度(与全精度网络相当)。
2018-07-17 cs.CV
Q-Diffusion: Quantizing Diffusion Models
UC Berkeley(加州大学伯克利分校);Nanjing University(南京大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学)
针对扩散模型噪声估计网络推理慢、传统PTQ量化效果差的问题,提出含时间步感知校准与分裂捷径量化的新型PTQ方法,首次实现4位权重的Stable Diffusion高质量生成。
2023-06-08 cs.CV cs.LG
Mix-QViT: Mixed-Precision Vision Transformer Quantization Driven by Layer Importance and Quantization Sensitivity
Rochester Institute of Technology(罗切斯特理工学院)
本研究提出可解释性驱动的混合精度视觉Transformer量化框架Mix-QViT,结合层重要性与量化敏感度分配位宽,还提出通道级裁剪量化方法降低离群值影响,在多种模型和精度下均取得优于现有技术的量化效果。
2025-01-10 cs.CV
Equal Bits: Enforcing Equally Distributed Binary Network Weights
Delft University of Technology(代尔夫特理工大学)
二进制网络非常有效,因为它们只使用两个符号来定义网络:$\{+1,-1\}$。可以使这些符号的先验分布成为设计选择。秦等人最近的IR网络认为,在二进制权重上施加具有相等先验(相等比特比)的伯努利分布会导致最大熵,从而最大限度地减少信息损失。然而,现有的工作不能精确地控制训练过程中的二进制权重分布,因此不能保证最大熵。在这里,我们表明,使用最佳传输的量化可以保证任何比特率,包括相等的比率。我们的实验研究,相等的比特率确实是可取的,并表明我们的方法导致优化的好处。我们表明,我们的量化方法是有效的相比,国家的最先进的二进制化方法,即使使用二进制权重修剪。
2022-03-06 cs.CV cs.LG
Retraining-free Model Quantization via One-Shot Weight-Coupling Learning
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
针对混合精度量化搜索后需重训练的问题,提出一次性权重耦合学习范式,通过位宽调度与信息失真缓解消除位宽干扰,并以仅推理贪心搜索获得高性能压缩配置。
2024-06-14 cs.CV
Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT));Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
减少深度网络的激活和权重的位宽可以有效地计算和存储它们,这对于它们部署到资源有限的设备(如移动电话)至关重要。然而,随着量化而减小的比特宽度通常会产生急剧降低的精度。为了解决这个问题,我们建议通过一个可训练的量化器来学习对激活和权重进行转换和离散化。具体来说,我们参数化的量化区间,并获得其最佳值,直接最小化网络的任务损失。这种量化间隔学习(QIL)允许量化网络保持位宽低至4位的全精度(32位)网络的精度,并通过进一步的位宽减小(即,3和2位)。此外,我们的量化器可以在异构数据集上进行训练,因此可以用于在不访问其训练数据的情况下对预训练网络进行量化。我们在具有各种网络架构(如ResNet-18,-34和AlexNet)的ImageNet数据集上证明了我们的可训练量化器的有效性,它在实现最先进精度方面优于现有方法。
2018-11-23 cs.CV
$S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks
University of Montreal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
移位神经网络通过去除昂贵的乘法运算并将连续权重量化为低位离散值来降低计算复杂度,与传统神经网络相比,其速度快且能量高效。然而,现有的移位网络是敏感的权重初始化,并产生一个下降的性能所造成的消失梯度和权重符号冻结问题。为了解决这些问题,我们提出了S低位重新参数化,一种用于训练低位移位网络的新技术。我们的方法分解一个离散参数的符号稀疏移位3倍的方式。通过这种方式,它有效地学习了一个低比特网络,其权重动态类似于全精度网络,并且对权重初始化不敏感。我们提出的训练方法推动了移位神经网络的边界,并显示3位移位网络在ImageNet上的top-1精度方面优于其全精度对应网络。
2021-12-06 cs.CV cs.LG
FracBits: Mixed Precision Quantization via Fractional Bit-Widths
US AI Lab, ByteDance Inc.(美国人工智能实验室,字节跳动公司);Northeastern University(东北大学)
模型量化有助于减少深度神经网络的模型大小和延迟。混合精度量化是有利的定制硬件支持算术运算在多个位宽,以实现最大的效率。我们提出了一种新的基于学习的算法,在目标计算约束和模型大小下,端到端地推导混合精度模型。在优化过程中,模型中每层/核的位宽处于连续两个位宽的分数状态,可以逐渐调整。利用可微正则化项,可以在量化感知训练期间满足资源约束,从而得到优化的混合精度模型。此外,我们的方法可以自然地与通道修剪相结合,以更好地分配计算成本。我们的最终模型在ImageNet数据集上的不同资源约束下,在MobilenetV 1/V2,ResNet 18上实现了与以前的量化方法相当或更好的性能。
2020-12-03 cs.CV eess.IV
Bit-Mixer: Mixed-precision networks with runtime bit-width selection
Samsung AI Cambridge(三星AI剑桥);Queen Mary University of London(伦敦玛丽女王大学)
混合精度网络允许对网络中的每一层进行可变位宽量化。现有工作的一个主要限制是每个层的位宽必须在训练时间内预定义。如果在其上部署网络的设备的特性在运行时期间改变,则这几乎不允许灵活性。在这项工作中,我们提出了比特混合器,第一个方法来训练一个元量化的网络,在测试期间,任何层都可以改变其投标宽度,而不会影响整个网络的能力,高度准确的推理。为此,我们做出了两个关键贡献:(a)过渡批规范,以及(b)一个3阶段优化过程,该过程被证明能够训练这样的网络。我们表明,我们的方法可以产生混合精度网络,表现出理想的灵活性,在设备上部署,而不影响准确性。代码将提供。
2021-03-31 cs.AI cs.CV cs.LG
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University(莫纳什大学);Bytedance(字节跳动)
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型,是学习紧凑的深度神经网络(DNN)的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而,大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而,大多数现有的网络量化方法的开发和评估没有考虑多教师支持,以提高量化的学生模型的性能。在本文中,我们提出了一种新的框架,利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中,教师的知识在相应的层次上形成一个重要性感知的共享知识,作为后续层次教师的输入,也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明,与其他最先进的方法相比,用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果,在某些情况下,确实超过了全精度模型。
2022-10-27 cs.CV
Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks
Tencent Youtu Lab(腾讯优图实验室);Xiamen University(厦门大学)
轻量级超分辨率(SR)模型由于其在移动设备中的可服务性而受到相当大的关注。许多努力采用网络量化来压缩SR模型。然而,这些方法在将SR模型量化到超低精度(例如,2-位和3位)与低成本逐层量化器。在本文中,我们确定的性能下降来自层之间的矛盾对称量化器和高度不对称的激活分布SR模型。这种差异导致量化水平上的浪费或重建图像中的细节损失。因此,我们提出了一种新的激活量化器,称为动态双可训练边界(DDTB),以适应激活的不对称性。具体而言,DDTB创新于:1)具有可训练上限和下限的逐层量化器,以解决高度不对称的激活。2)动态门控制器用于在运行时自适应地调整上下限,以克服在不同样本上急剧变化的激活范围。为了减少额外的开销,动态门控制器被量化为2位,并根据引入的动态强度仅应用于部分SR网络。大量的实验表明,我们的DDTB表现出显着的性能改善超低精度。例如,当将EDSR量化为2位并将输出图像放大到x4时,我们的DDTB在Urban100基准上实现了0.70dB的PSNR增加。代码位于\url{https://github.com/zysxmu/DDTB}。
2022-07-04 cs.CV eess.IV
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research(高通人工智能研究院)
我们介绍贝叶斯比特,一个实用的方法,联合混合精度量化和修剪,通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解,它顺序地考虑了比特宽度的加倍。在每个新位宽处,量化全精度值与先前舍入值之间的残差。然后,我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始,这种分解将始终产生硬件友好的配置,并通过额外的0位选项,作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门,它们共同控制给定张量的位宽。因此,我们可以通过对门进行近似推断来获得低位解,其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法,并表明我们可以学习修剪的混合精度网络,这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
DNN Quantization with Attention
MILA(MILA(蒙特利尔学习算法研究所));IMT Atlantique(IMT大西洋大学);Sony Europe B.V.(索尼欧洲有限公司)
网络权重和激活的低比特量化可以大幅降低深度神经网络(DNN)的内存占用、复杂性、能耗和延迟。然而,低比特量化也会导致准确性大幅下降,特别是当我们将其应用于复杂的学习任务或轻量级DNN架构时。在本文中,我们提出了一个训练过程,放松低比特量化。我们将此过程称为\textit{DNN Quantization with Attention}(DQA)。通过使用高、中和低比特量化的可学习线性组合来实现松弛。我们的学习过程逐步收敛到一个低比特的量化使用的注意力机制与温度调度。在实验中,我们的方法在CIFAR10,CIFAR100和ImageNet ILSVRC 2012等各种对象识别基准上优于其他低位量化技术,实现了与全精度DNN几乎相同的精度,并大大降低了量化轻量级DNN架构时的精度下降。
2021-03-24 cs.CC cs.CV
AdaBits: Neural Network Quantization with Adaptive Bit-Widths
ByteDance Inc.(字节跳动公司)
具有自适应配置的深度神经网络由于在具有不同资源预算的平台上即时和灵活地部署这些模型而受到越来越多的关注。在本文中,我们研究了一种新的选择,以实现这一目标,使自适应位宽的权重和激活模型。我们首先检查了使用自适应比特宽度训练量化模型的好处和挑战,然后实验了几种方法,包括直接自适应、渐进训练和联合训练。我们发现,联合训练能够在自适应模型上产生与单个模型相当的性能。我们进一步提出了一种新的技术,称为可切换限幅电平(S-CL),以进一步提高量化模型在最低位宽。通过将我们提出的技术应用于包括MobileNet-V1/V2和ResNet-50在内的一系列模型,我们证明了权重和激活的位宽是自适应可执行深度神经网络的一个新选择,为改进准确性-效率权衡以及根据实际应用中的平台约束进行即时适应提供了一个独特的机会。
2020-03-15 cs.CV cs.LG cs.NE
DSConv: Efficient Convolution Operator
University of Oxford(牛津大学);Intel Corporation(英特尔公司)
量化是提高卷积神经网络(CNN)速度和降低内存使用率的一种流行方法。当标记的训练数据可用时,网络权重和激活已成功量化到1位。当标记的训练数据不可用时,例如,当量化预训练模型时,不能说同样的情况,其中当前方法最多显示在8位量化时没有准确性损失。我们引入了DSConv,这是一种灵活的量化卷积运算符,它用成本低得多的整数运算替代了单精度运算,同时保持了内核权重和输出的概率分布。我们在最流行的神经网络架构ResNet、DenseNet、GoogLeNet、AlexNet和VGG-Net上测试我们的模型作为标准卷积的即插即用替代品,并展示了最先进的结果,准确度损失不到1%,无需重新训练,仅使用4位量化。我们还展示了如何使用未标记数据的基于蒸馏的自适应阶段可以进一步改善结果。
2019-11-07 cs.CV
LG-LSQ: Learned Gradient Linear Symmetric Quantization
National Tsing Hua University(国立清华大学);Industrial Technology Research Institute(工业技术研究院)
在推理时具有较低精度权重和操作的深度神经网络在存储空间和加速器功率的成本方面具有优势。与量化算法相关联的主要挑战是在低比特宽度下保持精度。我们提出了学习梯度线性对称量化(LG-LSQ)作为一种方法,量化权重和激活函数,以低位宽的高精度整数神经网络处理器。首先,我们介绍了缩放模拟梯度(SSG)的方法来确定适当的梯度的线性量化器的缩放因子在训练过程中。其次,我们介绍了反正切软舍入(ASR)方法,它不同于直通估计(STE)方法的能力,以防止梯度变为零,从而解决了舍入过程中所造成的离散问题。最后,为了弥合全精度和低比特量化网络之间的差距,我们提出了最小化离散化误差(MDE)方法来确定反向传播中的准确梯度。ASR+MDE方法是STE方法的简单替代方案,并且对于在不同的均匀量化方法中使用是实用的。在我们的评估中,所提出的量化器在各种3位网络(包括ResNet 18,ResNet 34和ResNet 50)中实现了全精度基线精度,并且在MobileNetV 2和ShuffleNetV 2等轻量级模型中,4位权重和4位激活的量化精度下降不到1%。
2022-02-18 cs.CV
Mixed Precision Quantization of ConvNets via Differentiable Neural Architecture Search
UC Berkeley(加州大学伯克利分校);Facebook(脸书)
最近在网络量化方面的工作大大降低了神经网络推理的时间和空间复杂度,使其能够在计算和存储资源有限的嵌入式和移动设备上部署。然而,现有的量化方法通常以相同的精度(位宽)表示所有权重和激活。在本文中,我们探索了一个新的维度的设计空间:量化不同的层与不同的位宽。我们将此问题表示为神经结构搜索问题,并提出了一种新的可微分神经结构搜索(DNAS)框架,以有效地探索其指数搜索空间与基于梯度的优化。实验表明,我们在CIFAR-10和ImageNet上超过了ResNet的最先进压缩。我们的量化模型具有21.1倍更小的模型大小或103.9倍更低的计算成本,仍然可以优于基线量化甚至全精度模型。
2018-11-30 cs.CV
PROFIT: A Novel Training Method for sub-4-bit MobileNet Models
Inter-university Semiconductor Research Center (ISRC)(校际半导体研究中心);Seoul National University(首尔大学)
4-由于对移动设备中更好的能量效率的不断增长的需求,需要10 bit和更低精度的移动模型。在这项工作中,我们报告的激活不稳定性引起的权重量化(AIWQ)是移动网络的子4位量化的关键障碍。为了缓解AIWQ问题,我们提出了一种新的训练方法,称为渐进冻结迭代训练(PROFIT),它试图冻结权重受不稳定性问题影响比其他层更大的层。我们还提出了一个可微的和统一的量化方法(DuQ)和负填充的想法,以支持非对称激活函数,如h-swish。我们通过在ImageNet上量化MobileNet-v1,v2和v3来评估所提出的方法,并报告说4位量化提供了与全精度基线相当的准确度(在1.48%的top-1精度内)。在MobileNet-v3的3位量化的消融研究中,我们提出的方法比最先进的方法有很大的优势,12.86%的top-1准确度。
2020-08-11 cs.CV cs.PF
MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);ETH Zurich(苏黎世联邦理工学院);Beijing Jiaotong University(北京交通大学)
针对扩散模型极低位量化性能严重下降问题,提出混合精度量化方法MPQ-DM,结合异常驱动混合量化与时间平滑关系蒸馏,在W2A4下FID降低58%。
2024-12-16 cs.CV
Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model
Rochester Institute of Technology(罗切斯特理工大学)
本文提出 Mix-QSAM 混合精度量化框架,通过 KL 散度重要性分数和跨层协同度量构建整数二次规划问题,为 SAM 各层分配最优位宽,在 6 位和 4 位设置下实现最高 20% 的平均精度提升。
2025-05-08 cs.CV
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University(上海交通大学);Qualcomm AI Research(高通人工智能研究院)
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中,我们提出了一个动态网络量化(DNQ)框架,它是由两个模块:一个位宽控制器和量化器。与大多数现有的量化方法,使用一个通用的量化位宽为整个网络,我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下,量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法,并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
REx: Data-Free Residual Quantization Error Expansion
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab
本文提出无数据量化方法 REx,通过残差误差扩展、组稀疏性和集成近似实现灵活适应不同位宽与设备,并在多种视觉与 NLP 任务、架构及位宽上取得优越性能。
2023-05-29 cs.CV
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.(冲电气工业株式会社)
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法,并且因此对于在资源受限的设备中实现是有用的。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,我们提出了可学习的压扩量化(LCQ)作为一种新的非均匀量化方法的2位,3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数,可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术,允许更稳定的量化训练。实验结果表明,LCQ优于传统的国家的最先进的方法,缩小了量化和全精度模型之间的差距,图像分类和目标检测任务。值得注意的是,ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度,并将差距缩小到1.7%,使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
PACT: Parameterized Clipping Activation for Quantized Neural Networks
IBM Research AI(IBM人工智能研究院);Google(谷歌)
深度学习算法以显著的计算成本为代价来实现高分类精度。为了解决这一成本,已经提出了许多量化方案,但这些技术中的大多数都集中在量化权重上,与激活相比,权重的大小相对较小。本文提出了一种新的量化方案,用于训练过程中的激活-使神经网络能够在超低精度的权重和激活下工作良好,而不会导致任何显著的精度下降。这种技术,参数化限幅激活(PACT),使用激活限幅参数$α$,其在训练期间被优化以找到正确的量化尺度。PACT允许将激活量化到任意位精度,同时相对于已发布的最新量化方案实现更好的精度。我们首次证明,权重和激活都可以量化到4位精度,同时在一系列流行的模型和数据集上仍能达到与全精度网络相当的精度。我们还表明,利用硬件中这些精度降低的计算单元可以实现推理性能的超线性改善,这是由于加速器计算引擎的面积显著减少,以及在片上存储器中保留量化模型和激活数据的能力。
2018-07-17 cs.AI cs.CV
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换,结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
High Throughput Matrix-Matrix Multiplication between Asymmetric Bit-Width Operands
Arm ML Research Lab(Arm机器学习研究实验室)
非对称位宽操作数之间的矩阵乘法,特别是8位和4位操作数之间的矩阵乘法可能成为许多重要工作负载的基本内核,包括神经网络和机器学习。虽然用于对称位宽操作数的现有SIMD矩阵乘法指令可以通过零或符号扩展窄操作数以匹配其他操作数的大小来支持混合精度的操作数,但是它们不能利用操作数之一的窄位宽的益处。我们提出了一种新的SIMD矩阵乘法指令,在其输入上使用混合精度(8位和4位操作数),并将乘积值累加为较窄的16位输出乘积,进而允许128位向量宽度处的SIMD操作每指令处理更多数量的数据元素,以提高处理吞吐量和内存带宽利用率,而不增加寄存器读和写,CPU中的端口带宽。与使用现有的非对称操作数大小指令获得的吞吐量相比,所提出的非对称操作数大小SIMD指令在矩阵乘法的吞吐量方面提供了2倍的改进,同时对于代表性的机器学习工作负载引起来自16位乘法的可忽略不计(0.05%)的溢出。非对称操作数大小指令不仅可以提高CPU中的矩阵乘法吞吐量,而且可以有效地支持现有技术的DNN硬件加速器(例如,Google TPU中脉动阵列微架构等)并且在不违反各种实现约束的情况下无缝地提供矩阵乘法性能的类似改进。我们演示了如何脉动阵列架构设计的非对称操作数大小的指令可以修改,以支持一个非对称操作数大小的指令。
2020-08-03 cs.AR cs.CV cs.DC
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University(爱荷华州立大学)
本文提出 MixQuant 位宽搜索算法,依据各层权重的舍入误差自动选择最优量化位宽,并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
Low-Precision Batch-Normalized Activations
Facebook AI Research(Facebook人工智能研究院)
人工神经网络可以用相对低精度的浮点和定点运算来训练,使用1到16位。以前的工作集中在相对较宽但较浅的前馈网络上。我们引入了一种与训练非常深的神经网络兼容的量化方案。在每个批量归一化模块的中间量化网络激活可以大大减少所需的内存量和计算能力,而精度损失很小。
2017-02-27 cs.CV cs.NE
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark(计算机科学系,哥本哈根大学,丹麦)
FairQuant通过公平性感知的混合精度量化方法,在医学图像分类中提升模型精度和公平性,实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
QBitOpt: Fast and Accurate Bitwidth Reallocation during Training
Qualcomm AI Research(高通人工智能研究院)
QBitOpt 将位宽分配建模为约束优化问题,在量化感知训练中结合快速敏感度计算与高效求解器,生成保证满足资源约束的高性能混合精度网络,并在 ImageNet 上优于现有方法。
2023-07-10 cs.AI cs.CV cs.LG
1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
本文首次探索1-bit全量化训练极限,基于Adam和SGD理论分析提出激活梯度剪枝与样本通道联合量化策略,在保持硬件友好性的同时显著提升准确率并实现最高5.13倍训练加速。
2024-08-26 cs.CV cs.LG
Training Bit Fully Convolutional Network for Fast Semantic Segmentation
Megvii Inc.(旷视科技有限公司)
全卷积神经网络为输入图像提供精确的逐像素预测,并具有语义分割等应用。然而,一个典型的FCN通常需要大量的浮点计算和大的运行时内存,这有效地限制了它的可用性。我们提出了一种训练比特全卷积网络(BFCN)的方法,BFCN是一种具有低位宽权重和激活的全卷积神经网络。由于BFCN的大部分计算密集型卷积都是在低位宽的数字之间完成的,因此可以通过有效的位卷积实现来加速BFCN。在CPU上,两个位向量之间的点积运算可以简化为按位运算和popcount,这可以提供比32位乘法和加法高得多的吞吐量。为了验证BFCN的有效性,我们在PASCAL VOC 2012语义分割任务和Cityscapes上进行了实验。我们的BFCN具有1位权重和2位激活,在CPU上运行速度快7.8倍,或在FPGA上需要不到1%的资源,可以实现与32位对应物相当的性能。
2016-12-01 cs.CV cs.LG
Convolutional Neural Networks Quantization with Attention
Technische Universität Dresden(德累斯顿工业大学);Infineon Technologies AG(英飞凌科技公司)
已经证明,与在训练阶段使用32位浮点数相比,深度卷积神经网络(DCNN)在推理期间可以以低精度运行,从而节省存储空间和功耗。然而,量化网络总是伴随着精度下降。在这里,我们提出了一种方法,双级压缩和阈值(双级ST)。它使用注意力机制来优化网络,并取得了最新的结果。使用我们的方法,3位模型可以实现超过全精度基线模型的精度。所提出的双阶段ST激活量化很容易应用:在卷积之前插入它。
2022-09-30 cs.AI cs.CV
Synergistic Self-supervised and Quantization Learning
Nanjing University(南京大学);MEGVII Technology(旷视科技)
随着自监督学习(SSL)的成功,对自监督预训练模型进行微调以提高下游任务的性能已成为主流范式。然而,我们发现,目前的SSL模型遭受严重的精度下降时,执行低比特量化,禁止其部署在资源受限的应用程序。在本文中,我们提出了一种称为协同自监督和量化学习(SSQL)的方法来预训练量化友好的自监督模型,以促进下游部署。SSQL以自我监督的方式对比量化模型和全精度模型的特征,其中量化模型的位宽在每个步骤中随机选择。SSQL不仅在量化为较低位宽时显著提高了精度,而且在大多数情况下还提高了全精度模型的精度。通过只训练一次,SSQL可以同时在不同的位宽上受益于各种下游任务。此外,在没有额外存储开销的情况下实现了位宽灵活性,在训练和推理期间仅需要一个权重副本。我们从理论上分析了SSQL的优化过程,并在各种基准测试上进行了详尽的实验,以进一步证明我们的方法的有效性。我们的代码可在https://github.com/megvii-research/SSQL-ECCV2022上获得。
2022-07-12 cs.CV cs.LG
Design Flow of Accelerating Hybrid Extremely Low Bit-width Neural Network in Embedded FPGA
IBM Research-China(IBM中国研究院);University of Notre Dame(圣母大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
具有低延迟和低能耗的神经网络加速器是边缘计算所期望的。为了创建这样的加速器,我们提出了一个设计流程,用于在嵌入式FPGA中使用混合量化方案加速极低位宽的神经网络(ELB-NN)。该流程涵盖了网络训练和基于FPGA的网络部署,这有助于设计空间探索,并简化了网络精度和计算效率之间的权衡。使用此流程可帮助硬件设计人员在严格的资源和功率限制下在边缘设备中提供网络加速器。我们提出了建议的流程,支持混合ELB设置在一个神经网络。结果表明,我们的设计可以提供非常高的性能峰值在10.3 TOPS和分类高达325.3图像/s/W,而运行大规模神经网络小于5 W使用嵌入式FPGA。据我们所知,与文献中迄今为止报道的GPU或其他FPGA实现相比,它是最节能的解决方案。
2018-10-25 cs.CV cs.DC cs.LG
Elastic Significant Bit Quantization and Acceleration for Deep Neural Networks
Nankai University(南开大学);Northeastern University(东北大学)
量化已被证明是提高深度神经网络(DNN)推理效率的重要方法。然而,在将DNN权重或激活值从高精度格式量化为量化对应值时,在准确性和效率之间取得良好平衡仍然具有挑战性。我们提出了一种称为弹性有效位量化(ESB)的新方法,该方法控制量化值的有效位数,从而以较少的资源获得更好的推理精度。我们设计了一个统一的数学公式来约束量化值的ESB与灵活的有效位数。我们还引入了一个分布差异对齐器(DDA)来定量对齐全精度权重或激活值与量化值之间的分布。因此,ESB适用于各种钟形权重分布和DNN的激活,从而保持较高的推理精度。由于量化值的有效位数较少,ESB可以降低乘法复杂度。我们实现ESB作为一个加速器,并定量评估其在FPGA上的效率。大量的实验结果表明,ESB量化始终优于最先进的方法,并实现了平均精度分别比AlexNet,ResNet18和MobileNetV2提高4.78%,1.92%和3.56%。此外,ESB作为加速器可以在Xilinx ZCU 102 FPGA平台上实现10.95 GOPS的峰值性能,无需DSP。与CPU、GPU和FPGA上最先进的加速器相比,ESB加速器可以分别将能效提高高达65倍、11倍和26倍。
2021-11-17 cs.CV eess.SP
CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution
Hanyang University(汉阳大学);NVIDIA(英伟达);Seoul National University(首尔大学)
尽管利用卷积神经网络(CNN)在图像超分辨率(SR)方面取得了突破性进展,但由于SR网络的高计算复杂性,SR尚未享有普遍的应用。量化是解决这一问题的有效方法之一。然而,现有的方法不能将比特宽度低于8比特的SR模型进行量化,由于到处应用固定的比特宽度量化,因此遭受严重的精度损失。在这项工作中,为了实现高平均比特减少与准确性损失少,我们提出了一种新的内容感知动态量化(CADyQ)SR网络的方法,分配最佳的比特到局部区域和层自适应的基础上输入图像的局部内容。为此,引入了一个可训练的位选择器模块,以确定每个层和给定的局部图像补丁的适当的位宽和量化级别。该模块由量化灵敏度控制,该量化灵敏度通过使用补丁的图像梯度的平均幅度和层的输入特征的标准偏差来估计。所提出的量化管道已经在各种SR网络上进行了测试,并在几个标准基准上进行了广泛的评估。计算复杂性的显著降低和提高的恢复精度清楚地证明了所提出的用于SR的CADyQ框架的有效性。代码可在https://github.com/Cheeun/CADyQ获得。
2022-10-30 cs.CV eess.IV
IM-Unpack: Training and Inference with Arbitrarily Low Precision Integers
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对深度学习中低位宽整数GEMM因大数值元素难以提升效率的问题,提出IM-Unpack算法将大整数矩阵解包为低位宽可表示的矩阵,实现等价精确计算且开销小,适配训练与推理阶段。
2024-03-12 cs.CL cs.CV cs.LG
Rethinking Differentiable Search for Mixed-Precision Neural Networks
UC San Diego(加州大学圣地亚哥分校)
低精度网络,权重和激活量化到低位宽,被广泛用于加速边缘设备上的推理。然而,目前的解决方案是统一的,使用相同的位宽的所有过滤器。这不能考虑不同滤波器的不同灵敏度,并且是次优的。混合精度网络通过根据各个滤波器的要求调整位宽来解决这个问题。在这项工作中,最优的混合精度网络搜索(MPS)的问题被认为是。为了克服其离散搜索空间和组合优化的困难,提出了一种新的可微搜索结构,通过利用MPS问题的独特性质来提高效率。由此产生的高效可微混合精度网络搜索(EdMIPS)方法可以有效地为多个流行网络找到最佳比特分配,并且可以在合理的时间内直接在ImageNet上搜索大型模型,例如Inception-V3,而无需代理任务。学习的混合精度网络明显优于其统一的同行。
2020-04-13 cs.CV cs.LG cs.NE
Quantization Networks
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);University of Southern California(南加州大学)
虽然深度神经网络非常有效,但其高计算和存储成本严重挑战了其在便携式设备上的应用。因此,将全精度神经网络转换为低位宽整数形式的低比特量化一直是一个活跃且有前途的研究课题。现有的方法将网络的低比特量化表示为近似或优化问题。基于近似的方法面临梯度失配问题,而基于优化的方法仅适用于量化权重,并且在训练阶段会引入较高的计算成本。在本文中,我们提出了一个新的角度来解释和实现神经网络量化制定低比特量化作为一个可微的非线性函数(称为量化函数)。所提出的量化函数可以以无损和端到端的方式学习,并且以简单和统一的方式适用于神经网络的任何权重和激活。对图像分类和目标检测任务的大量实验表明,我们的量化网络优于最先进的方法。我们相信,所提出的方法将揭示新的见解神经网络量化的解释。我们的代码可在https://github.com/aliyun/alibabacloud-quantization-networks上获得。
2019-11-28 cs.CV cs.LG stat.ML