Streamlined Deployment for Quantized Neural Networks
Norwegian University of Science and Technology(挪威科技大学)
在计算能力有限的设备上运行深度神经网络(DNN)模型是一项挑战,因为需要大量的计算和内存。量化神经网络(QNN)已成为解决这一问题的潜在方案,有望以更低的计算成本提供大部分DNN精度优势。然而,在现有的移动CPU上收获这些好处是一个挑战,因为在大多数指令集架构(ISA)中不原生地支持对高度量化的数据库的操作。在这项工作中,我们首先描述了一个精简流程,将所有的QNN推理操作转换为整数。之后,我们提供了基于一次处理一个位位置(位串行)的技术,以展示如何使用常见的按位操作有效地部署QNN。我们通过微基准测试和量化的AlexNet在移动CPU上展示了QNN的潜力,它比优化的8位基线快3.5倍。我们的位串行矩阵乘法库可在GitHub上获得,网址为https://git.io/vhshn
2018-05-30 cs.CV
Training Multi-bit Quantized and Binarized Networks with A Learnable Symmetric Quantizer
University of Texas at Austin(德克萨斯大学奥斯汀分校)
量化深度神经网络的权重和激活对于将它们部署在资源受限的设备或云平台上进行大规模服务至关重要。虽然二值化是量化的一种特殊情况,但这种极端情况通常会导致一些训练困难,并且需要专门的模型和训练方法。因此,最近的量化方法不提供二值化,从而失去了最资源有效的选择,并且量化和二值化网络已经成为不同的研究领域。我们研究了量化框架中的二进制化困难,并发现我们需要启用二进制训练的所有内容都是对称量化器,良好的初始化和仔细的超参数选择。这些技术还导致多比特量化的实质性改进。我们在ImageNet数据集上展示了我们的统一量化框架,表示为UniQ,具有各种架构,如ResNet-18,-34和MobileNetV 2。对于多位量化,UniQ优于现有方法,以实现最先进的精度。在二值化中,即使不修改原始架构,所实现的精度也可与现有的最先进的方法相媲美。
2021-04-01 cs.CV
Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)
IBM Research AI(IBM研究院人工智能部门);Google(谷歌)
深度学习算法以显著的计算成本为代价来实现高分类精度。为了减少这种成本,最近几种量化方案已经引起了人们的注意,其中一些关注权重量化,而另一些关注量化激活。本文提出了新的技术,目标权重和激活量化分别导致在一个整体量化的神经网络(QNN)。激活量化技术,参数化限幅激活(PACT),使用在训练期间优化的激活限幅参数$α$来找到正确的量化尺度。权重量化方案,几何感知权重分箱(SAWB),基于权重分布的统计特性找到最小化量化误差的最佳缩放因子,而不需要穷举搜索。PACT和SAWB的结合产生了一个2位QNN,在一系列流行的模型和数据集上实现了最先进的分类精度(与全精度网络相当)。
2018-07-17 cs.CV
Quantized Neural Network Inference with Precision Batching
我们提出了PrecisionBatching,一种量化的推理算法,用于在传统的硬件平台上以低位宽加速神经网络的执行,而不需要重新训练或重新校准。PrecisionBatching将一个神经网络分解为单个的位层,并使用快速的1位操作来累积它们,同时保持激活的完全精度。PrecisionBatching不仅有助于在低位宽(< 8位)下进行量化推理而无需重新训练/重新校准,而且1)使传统硬件平台能够以更精细的量化粒度(例如:1-16位执行)实现推理加速,以及2)通过暴露位层的数量以累积为可调参数,允许在运行时进行准确性和加速权衡。在各种应用程序(MNIST、语言建模、自然语言推理)和神经网络架构(全连接、RNN、LSTM)中,PrecisionBatching在GPU上实现了超过8倍的端到端加速,误差小于全精度基线的1%,在相同的误差容限下,比传统的8位量化推理性能高出1.5 - 2倍。
2020-02-26 cs.CV cs.LG cs.PF
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration
Xidian University(西安电子科技大学);Peking University(北京大学)
深度神经网络(DNN)的训练总是需要密集的计算和数据存储资源。因此,DNN不能有效地应用于移动电话和嵌入式设备,这严重限制了它们在工业应用中的适用性。为了解决这个问题,我们提出了一种新的编码方案,使用{-1,+1}将量化的神经网络(QNN)分解为多分支二进制网络,这可以通过逐位操作(即,XNOR和比特计数)以实现模型压缩、计算加速和资源节省。使用该方法,用户可以根据自己的要求和硬件资源,任意实现不同的编码精度。该机制在数据存储和计算方面非常适合FPGA和ASIC使用,为智能芯片提供了一种可行的思路。我们验证了我们的方法在大规模图像分类(例如,ImageNet)、目标检测和语义分割任务。特别是,我们的方法与低比特编码仍然可以实现几乎相同的性能,其高比特的同行。
2021-06-18 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University(莫纳什大学);Bytedance(字节跳动)
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型,是学习紧凑的深度神经网络(DNN)的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而,大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而,大多数现有的网络量化方法的开发和评估没有考虑多教师支持,以提高量化的学生模型的性能。在本文中,我们提出了一种新的框架,利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中,教师的知识在相应的层次上形成一个重要性感知的共享知识,作为后续层次教师的输入,也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明,与其他最先进的方法相比,用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果,在某些情况下,确实超过了全精度模型。
2022-10-27 cs.CV
Q-DETR: An Efficient Low-Bit Quantized Detection Transformer
Beihang University(北京航空航天大学);Tencent(腾讯);Shanghai AI Laboratory(上海人工智能实验室);UNIUBI Research, Universal Ubiquitous Co.(泛在科技UNIUBI研究院);Zhongguancun Laboratory(中关村实验室)
本文提出分布校正蒸馏(DRD)方法,通过双层优化解决低比特量化DETR的查询信息失真问题,4比特Q-DETR在COCO上加速6.6倍且性能仅降2.6%。
2023-04-01 cs.CV
BCNN: A Binary CNN with All Matrix Ops Quantized to 1 Bit Precision
Texas Instruments Inc(德州仪器公司);Georgia Institute of Technology(佐治亚理工学院)
本文描述了一种CNN,其中所有低于矩阵乘法的CNN风格的2D卷积运算都是完全二进制的。该网络是从一个共同的积木结构,是一致的建设性证明大纲表明,二进制神经网络是通用函数逼近。2012年ImageNet验证集上的前1名准确率为71.24%,采用2步训练过程,并提供了针对二进制操作数优化的实现策略。
2021-03-05 cs.CV cs.LG
Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks
Zhejiang University(浙江大学);China Research and Development Academy of Machinery Equipment(中国机械科学研究总院集团有限公司)
量化神经网络(QNN)可以用于神经网络的加速和压缩,但在训练过程中,它们提出了一个挑战:如何通过图流传播损失函数的梯度,几乎处处导数为0。针对这种不可微的情况,我们提出了一种新的渐近量化估计(AQE)来估计梯度。特别地,在反向传播期间,将输入与输出相关联的图保持平滑性和可微性。在训练结束时,由于AQE的渐近行为,权重和激活已被量化为低精度。同时,我们提出了一个M-bit输入和N-bit权重网络(MINW-Net),该网络由AQE训练,AQE是一个具有1-3位权重和激活的量化神经网络。在推理阶段,我们可以使用XNOR或XNOR操作来代替卷积操作来加速MINW-Net。我们在CIFAR数据集上的实验表明,我们的AQE是定义良好的,与AQE的QNN性能优于直通估计(STE)。例如,在具有1位权重和激活的相同ConvNet的情况下,我们具有AQE的MINW-Net可以实现比具有STE的二进制神经网络(BNN)高1.5%的预测精度。MINW-Net是由AQE从头开始训练的,可以在CIFAR测试集上实现与32位对等体相当的分类精度。在ImageNet数据集上的大量实验结果表明,所提出的AQE具有很大的优越性,我们的MINW-Net与其他最先进的QNN取得了相当的结果。
2020-03-04 cs.CV cs.LG
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);University of Dayton(戴顿大学)
本文提出了两种新的技术来训练具有低位宽权重和激活的深度卷积神经网络。首先,为了获得低位宽权重,大多数现有方法通过对全精度网络权重执行量化来获得量化权重。然而,这种方法会导致一些不匹配:梯度下降更新全精度权重,但它不更新量化权重。为了解决这个问题,我们提出了一种新的方法,使{直接}更新的量化权重{可学习的量化水平},以最小化成本函数使用梯度下降。第二,为了获得低位宽激活,现有的工程考虑所有渠道平等。然而,激活量化器可能偏向于具有高方差的少数通道。为了解决这个问题,我们提出了一种方法,考虑到各个通道的量化误差。通过这种方法,我们可以学习在大多数通道中最小化量化误差的激活量化器。实验结果表明,我们提出的方法在CIFAR-100和ImageNet数据集上使用AlexNet,ResNet和MobileNetV 2架构在图像分类任务上实现了最先进的性能。
2020-12-26 cs.CV
QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks
ETH Zurich(苏黎世联邦理工学院);Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
本文提出QuantSR+框架,通过改进量化操作、网络设计和训练优化,实现了在精度和效率之间的更好平衡,针对超低精度下的性能下降问题,提出了三种关键技术贡献:重分布驱动位数确定、量化瘦身架构和瘦身引导的功能局部蒸馏。
2026-05-21 cs.CV
Multi-Precision Quantized Neural Networks via Encoding Decomposition of -1 and +1
Xidian University(西安电子科技大学)
深度神经网络(DNN)的训练需要密集的计算和存储性能资源。因此,DNN不能有效地应用于移动电话和嵌入式设备,这严重限制了其在工业应用中的适用性。为了解决这个问题,提出了一种新的编码方案,利用{-1,+1}将量化神经网络(QNN)分解为多分支二进制网络,通过位操作(xnor和bitcount)有效地实现模型压缩、计算加速和资源节约.基于该方法,用户可以根据自己的需求和硬件资源,方便地任意实现不同的编码精度。该机制在数据存储和计算方面非常适合FPGA和ASIC的使用,为智能芯片提供了一种可行的思路。我们验证了我们的方法在大规模图像分类任务(例如,ImageNet)和目标检测任务。特别是,我们的方法与低位编码仍然可以实现几乎相同的性能,其全精度同行。
2019-05-31 cs.CV
1-Bit FQT: Pushing the Limit of Fully Quantized Training to 1-bit
Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
本文首次探索1-bit全量化训练极限,基于Adam和SGD理论分析提出激活梯度剪枝与样本通道联合量化策略,在保持硬件友好性的同时显著提升准确率并实现最高5.13倍训练加速。
2024-08-26 cs.CV cs.LG
RAWDet-7: A Multi-Scenario Benchmark for Object Detection and Description on Quantized RAW Images
University of Mannheim(曼海姆大学);University of Siegen(锡根大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
RAWDet-7是一个用于研究量化RAW图像上目标检测与描述的多场景基准,包含大量标注数据和低比特量化模拟,支持评估检测性能、描述质量及泛化能力。
2026-02-10 cs.CV
QArtSR: Quantization via Reverse-Module and Timestep-Retraining in One-Step Diffusion based Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院);Singapore Institute of Technology(新加坡理工学院);Chinese University of Hong Kong(香港中文大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对一步扩散图像超分辨率模型低位量化问题,提出QArtSR方法,通过时间步重训练量化和反向逐模块量化策略实现4位与2位高效量化,性能接近全精度模型。
2025-03-07 cs.CV
A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
本文针对视频快照压缩成像深度学习重建方法计算量大、直接低位量化性能下降严重的问题,提出Q-SCI低位量化框架,通过高质量特征提取、精确视频重建和查询键分布移位操作,在4位量化下实现7.8倍加速且性能损失仅2.3%。
2025-07-21 cs.CV
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换,结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
Balanced Quantization: An Effective and Efficient Approach to Quantized Neural Networks
University of Chinese Academy of Sciences(中国科学院大学);Megvii Inc.(旷视科技有限公司)
量化神经网络(QNN),它使用低位宽的数字来表示参数和执行计算,已经被提出来减少计算复杂度,存储大小和内存使用。在QNN中,参数和激活被均匀量化,使得乘法和加法可以通过逐位操作来加速。然而,神经网络中的参数分布往往是不平衡的,使得根据极值确定的均匀量化可能会不充分利用可用的位宽。在本文中,我们提出了一种新的量化方法,可以确保量化值的分布的平衡。我们的方法首先递归地分区的参数的平衡箱,然后应用均匀量化。我们还介绍了计算上更便宜的近似的计算开销,以减少引入。总的来说,我们的方法提高了QNN的预测精度,而不会在推理过程中引入额外的计算,对训练速度的影响可以忽略不计,并且适用于卷积神经网络和递归神经网络。在ImageNet和Penn Treebank等标准数据集上的实验验证了该方法的有效性。在ImageNet上,我们的4位量化GoogLeNet模型的前5名出错率为12.7\%,优于最先进的QNN。
2017-06-22 cs.CV cs.LG
CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple Quantization Steps
Dankook University(檀国大学);Complutense University of Madrid(马德里康普顿斯大学)
本文提出了一种具有多个循环训练的训练方法,以实现低比特量化卷积神经网络(CNN)的增强性能。量化是一种用于获得轻量级CNN的流行方法,其中使用预训练模型的初始化被广泛用于克服低分辨率量化中的性能下降。然而,实际值和它们的低比特量化值之间的大量化误差导致难以实现复杂网络和大数据集的可接受的性能。所提出的训练方法在多个量化步骤中将预训练模型的知识柔和地传递到低比特量化模型。在每个量化步骤中,模型的训练权重用于初始化下一个模型的权重,其中量化比特深度减少1。通过量化位深的微小变化,可以弥合性能差距,从而提供更好的权重初始化。在循环训练中,在训练低比特量化模型之后,其训练的权重用于其待训练的精确模型的初始化。通过以迭代方式使用精确模型的更好的训练能力,所提出的方法可以在每个周期中为低比特量化模型产生增强的训练权重。值得注意的是,该训练方法可以将ImageNet数据集上二值化ResNet-18的Top-1和Top-5精度分别提高5.80%和6.85%。
2022-06-26 cs.AI cs.CV
Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks
University of Waterloo(滑铁卢大学)
随着用于移动处理的深度卷积神经网络(CNN)算法的激增,有限精度量化已成为提高CNN效率的重要工具。因此,各种工作已经寻求设计固定精度的量化算法和以量化为中心的优化技术,其最小化量化引起的性能劣化。然而,对于各种CNN设计决策/最佳实践如何影响量化推理行为,几乎没有具体的理解。权重初始化策略通常与解决梯度消失/爆炸等问题有关,但一个经常被忽视的方面是它们对每层最终训练分布的影响。我们对不同权重初始化对不同CNN架构的权重和激活的最终分布的影响进行了深入的细粒度消融研究。细粒度的分层分析使我们能够深入了解初始权重分布如何影响最终的准确性和量化行为。据我们所知,我们是第一个对权重初始化及其对量化行为的影响进行如此低层次、深入的定量分析的人。
2020-11-30 cs.CV cs.LG
Elastic Significant Bit Quantization and Acceleration for Deep Neural Networks
Nankai University(南开大学);Northeastern University(东北大学)
量化已被证明是提高深度神经网络(DNN)推理效率的重要方法。然而,在将DNN权重或激活值从高精度格式量化为量化对应值时,在准确性和效率之间取得良好平衡仍然具有挑战性。我们提出了一种称为弹性有效位量化(ESB)的新方法,该方法控制量化值的有效位数,从而以较少的资源获得更好的推理精度。我们设计了一个统一的数学公式来约束量化值的ESB与灵活的有效位数。我们还引入了一个分布差异对齐器(DDA)来定量对齐全精度权重或激活值与量化值之间的分布。因此,ESB适用于各种钟形权重分布和DNN的激活,从而保持较高的推理精度。由于量化值的有效位数较少,ESB可以降低乘法复杂度。我们实现ESB作为一个加速器,并定量评估其在FPGA上的效率。大量的实验结果表明,ESB量化始终优于最先进的方法,并实现了平均精度分别比AlexNet,ResNet18和MobileNetV2提高4.78%,1.92%和3.56%。此外,ESB作为加速器可以在Xilinx ZCU 102 FPGA平台上实现10.95 GOPS的峰值性能,无需DSP。与CPU、GPU和FPGA上最先进的加速器相比,ESB加速器可以分别将能效提高高达65倍、11倍和26倍。
2021-11-17 cs.CV eess.SP
GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
本文研究GHN预测低精度CNN参数时的量化鲁棒性,提出在GHN训练中引入量化感知训练等策略,显著提升4位表现并使2位准确率高于随机水平。
2023-09-24 cs.AI cs.CV cs.LG
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
University of California Riverside(加州大学河滨分校);Google Research(谷歌研究院)
本文以ResNet为案例研究量化对推理计算成本与质量权衡的影响,发现4-bit量化模型能产生最佳Pareto曲线,并在ImageNet上通过量化感知训练达到77.09%的top-1准确率,同时开源了JAX量化库。
2021-05-07 cs.CV cs.LG
Fully Quantized Image Super-Resolution Networks
The University of Adelaide(阿德莱德大学)
随着智能移动设备的日益普及,研究准确、实时、节能的图像超分辨率(SR)推理方法具有重要的现实意义。提高推理效率的一种流行方法是模型量化,它允许用有效的定点或逐位运算代替昂贵的浮点运算。到目前为止,量化SR框架仍然具有挑战性,以提供可行的准确性-效率权衡。在这里,我们提出了一个完全量化的图像超分辨率框架(FUTURE SR),以联合优化效率和准确性。特别是,我们的目标是获得所有层的端到端量化模型,特别是包括跳过连接,这在文献中很少提到。我们进一步确定了低比特SR网络所面临的训练障碍,并提出了两种新的方法。这两个困难是由以下原因引起的:1)激活和权重分布在不同层中非常不同; 2)量化的不准确近似。我们将我们的量化方案应用于多种主流超分辨率架构,包括SRResNet,SRGAN和EDSR。实验结果表明,我们使用低比特量化的CRT-SR可以实现与五个基准数据集上的全精度同行相比,性能相当,并超过了最先进的量化SR方法,显着降低了计算成本和内存消耗。
2021-04-19 cs.CV eess.IV
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance
AMD(超威半导体)
我们引入了一个量化感知的训练算法,保证避免数值溢出时,减少推理过程中的精度的迭代。我们利用权重归一化作为在训练过程中使用我们推导出的累加器位宽界限来约束参数的一种手段。我们评估我们的算法在多个量化的模型,我们训练不同的任务,表明我们的方法可以降低精度的预测,同时保持模型的精度相对于浮点基线。然后,我们表明,这种减少转化为定制的基于FPGA的加速器的设计效率提高。最后,我们表明,我们的算法不仅限制权重,以适应用户定义的位宽的累加器,但也增加了稀疏性和压缩性的权重。在我们所有使用8位权重和激活训练的基准模型中,我们观察到,将量化神经网络的隐藏层限制为适合16位卷积,平均稀疏度为98.2%,估计压缩率为46.5倍,同时保持99.2%的浮点性能。
2023-01-31 cs.AI cs.AR cs.CV
Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms
Eindhoven University of Technology(埃因霍温理工大学);Philips Innovation Services(飞利浦创新服务)
卷积神经网络(CNN)已被证明是用于图像分类任务的强大的最先进的方法。然而,一个缺点是CNN的高计算复杂性和高存储器消耗,这使得它们在嵌入式平台上执行是不可行的,嵌入式平台被限制在支持CNN所需的物理资源上。量化经常被用来有效地优化CNN的内存和计算复杂性,代价是损失预测精度。因此,我们提出了一种方法来优化预训练的CNN的每一层的权重、偏差和激活,同时控制推理准确性的损失以实现量化推理。我们将32位浮点精度参数转换为低位宽定点表示,从而为给定CNN的每一层的参数找到最佳位宽和分数偏移。我们对CNN后训练的参数进行训练而不重新训练它。我们的方法被设计为考虑其他参数如何量化来对CNN的参数进行训练,因为忽略由于其他量化参数引起的量化误差会导致低精度CNN,其精度损失高达50%,这远远超出了可接受的范围。因此,我们的最终方法给出了一个低精度的CNN,准确性损失小于1%。与商业工具使用的将所有参数转换为8位的方法相比,我们的方法提供了量化的CNN,对于在我们测试的四个数据集上训练的两个CNN,平均降低了53%的内存消耗和77.5%的乘法执行成本。我们发现,参数的逐层量化在这个过程中有很大的帮助。
2021-02-03 cs.CV cs.LG
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Signal Reconstruction from Quantized Noisy Samples of the Discrete Fourier Transform
Indian Institute of Technology Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学)
在本文中,我们提出了两种变化的算法,用于从离散傅里叶变换(DFT)的一位或两位噪声观测信号重构。DFT的一位观测值对应于其实部的符号,而DFT的两位观测值对应于DFT的实部和虚部的符号。我们专注于图像的分析和模拟,从而使用的2D-DFT的符号。这类信号的选择是受以前的作品在这个问题上。对于我们的算法,我们表明,在信号重建的预期均方误差(MSE)是渐近成正比的采样率的倒数。样本受已知分布的加性零均值噪声的影响。我们解决这个信号估计问题,设计一个算法,使用压缩映射,基于Banach不动点定理。四个基准图像的数值测试表明,我们的算法的有效性。采用用于图像重建质量评估的各种度量,诸如PSNR、SSIM、ESSIM和MS-SSIM。在所有四个基准图像上,我们的算法在所有这些指标上的表现都大幅优于最先进的算法。
2022-01-09 cs.CV eess.IV eess.SP
Exploration into Translation-Equivariant Image Quantization
KAIST(韩国科学技术院);NAVER(NAVER公司)
这是一个探索性的研究,发现目前的图像量化(矢量量化)不满足平移等方差的量化空间,由于混叠。而不是专注于抗锯齿,我们提出了一个简单而有效的方法来实现反求等变图像量化的码本嵌入之间的正交性。为了探索自适应等变图像量化的优点,我们使用精心控制的数据集进行了三个概念验证实验:(1)文本到图像生成,其中量化的图像索引是要预测的目标,(2)图像到文本生成,其中量化的图像索引作为条件,(3)使用较小的训练集来分析样本效率。从严格控制的实验中,我们经验性地验证了,在文本到图像生成和图像到文本生成中,双等变图像量化器不仅提高了样本效率,而且提高了VQGAN的准确度,达到+11.9%和+3.9%。
2023-02-26 cs.CL cs.CV cs.LG
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search
Iowa State University(爱荷华州立大学)
本文提出 MixQuant 位宽搜索算法,依据各层权重的舍入误差自动选择最优量化位宽,并可作为预处理与 BRECQ 等量化方法结合以提升模型精度。
2023-09-29 cs.AI cs.CV cs.LG
Adaptive Quantized Planetary Crater Detection System for Autonomous Space Exploration
Manipal University Jaipur(曼那尔大学斋普尔)
本文提出自适应量化行星陨石坑检测系统,通过量化感知网络和自适应多传感器融合模块,在有限资源下实现高精度陨石坑检测。
2026-04-20 cs.AI cs.CV cs.ET
AdaBits: Neural Network Quantization with Adaptive Bit-Widths
ByteDance Inc.(字节跳动公司)
具有自适应配置的深度神经网络由于在具有不同资源预算的平台上即时和灵活地部署这些模型而受到越来越多的关注。在本文中,我们研究了一种新的选择,以实现这一目标,使自适应位宽的权重和激活模型。我们首先检查了使用自适应比特宽度训练量化模型的好处和挑战,然后实验了几种方法,包括直接自适应、渐进训练和联合训练。我们发现,联合训练能够在自适应模型上产生与单个模型相当的性能。我们进一步提出了一种新的技术,称为可切换限幅电平(S-CL),以进一步提高量化模型在最低位宽。通过将我们提出的技术应用于包括MobileNet-V1/V2和ResNet-50在内的一系列模型,我们证明了权重和激活的位宽是自适应可执行深度神经网络的一个新选择,为改进准确性-效率权衡以及根据实际应用中的平台约束进行即时适应提供了一个独特的机会。
2020-03-15 cs.CV cs.LG cs.NE
LLM-FP4: 4-Bit Floating-Point Quantized Transformers
Hong Kong University of Science and Technology(香港科技大学);Meta Reality Labs(元宇宙现实实验室)
提出LLM-FP4方法,通过搜索最优量化参数构建强基线,并利用逐通道激活量化及指数偏置重参数化,首次将LLaMA-13B权重和激活量化至4位浮点数,显著优于现有方法。
2023-10-25 cs.AI cs.AR cs.CL