Quantized Feature Distillation for Network Quantization
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件工程国家重点实验室）
针对现有量化感知训练方法概念复杂的问题，本文提出量化特征蒸馏方法，先训练量化表征作为教师再用知识蒸馏量化网络，在多任务上性能更优，首次实现视觉Transformer在检测分割任务的量化。
2023-07-20 cs.CV
Automatic Pruning for Quantized Neural Networks
Monash University（莫纳什大学）；The University of Adelaide（阿德莱德大学）
神经网络量化和修剪是通常用于降低这些模型的计算复杂性和内存占用以进行部署的两种技术。然而，大多数现有的修剪策略在全精度上操作，并且不能直接应用于量化后的离散参数分布。相比之下，我们研究了这两种技术的组合，以实现进一步的网络压缩。特别是，我们提出了一个有效的修剪策略选择冗余的低精度滤波器。此外，我们利用贝叶斯优化来有效地确定每一层的修剪率。我们在CIFAR-10和ImageNet上进行了广泛的实验，采用了各种架构和精度。特别是，对于ImageNet上的ResNet-18，我们使用二进制神经网络量化修剪了26.12%的模型大小，在2.47 MB的模型中实现了47.32%的前1分类准确率，在4.36 MB的2位DoReFa-Net中实现了59.30%的分类准确率。
2020-02-03 cs.CV
Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection
Shanghai Jiao Tong University（上海交通大学）
在资源受限平台上部署深度神经网络时，有效的模型推理是一个重要且实际的问题。网络量化通过利用可以在专用嵌入式系统上进行的低位表示和算术有效地解决了这个问题。在以前的作品中，参数bitwidth是均匀设置的，并且在优越的性能和积极的压缩之间存在权衡。实际上，堆叠的网络层通常被认为是分层特征提取器，对整体性能有影响。对于一个训练良好的神经网络，随着网络的向前传播，不同类别的特征分布逐渐不同。因此，降低了对后续特征提取器的能力要求。这表明，对于量化的神经网络，可以为后层神经元分配较低的位宽。基于这一观察，一个简单而有效的混合精度量化神经网络提出了逐步增加位宽，以改善精度和压缩之间的权衡。在典型网络结构和基准数据集上的大量实验表明，与同类方法相比，该方法在减少量化参数存储空间30%以上的同时，可以获得更好或相当的结果.此外，结果还表明，由于更好地保留了原始图像信息，较高精度的底层可以显著提高1位网络的性能，而较低精度的后验层有助于$k-$位网络的正则化。
2019-12-29 cs.CV
Test-Time Model Adaptation for Quantized Neural Networks
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光学精密仪器研究所）；South China Agricultural University（华南农业大学）
针对量化模型在动态环境中的性能下降问题，提出连续零阶自适应（ZOA）框架，仅用两次前向传播实现高效测试时自适应，并引入域知识管理，显著提升鲁棒性，在ImageNet-C上比FOA提升5.0%。
2025-08-04 cs.CV
Post-training 4-bit quantization of convolution networks for rapid-deployment
Intel – Artificial Intelligence Products Group (AIPG)（英特尔——人工智能产品集团（AIPG））；Technion – Israel Institute of Technology（以色列理工学院）
除了大量的计算资源之外，卷积神经网络还需要大量的内存带宽和存储用于中间计算。神经网络量化在减少中间结果的数量方面具有显著的好处，但它通常需要完整的数据集和耗时的微调来恢复量化后损失的精度。本文介绍了第一种实用的4位后训练量化方法：它不涉及训练量化模型（微调），也不需要完整数据集的可用性。我们的目标是量化的激活和权重，并建议三个互补的方法，最大限度地减少量化误差在张量水平，其中两个人获得了封闭形式的解析解。结合这些方法，我们的方法实现了精度，在广泛的卷积模型中，精度仅比最先进的基线低几个百分点。复制所有实验的源代码可在GitHub上获得：\url{https://github.com/submission2019/cnn-quantization}。
2019-05-29 cs.CV
QForce-RL: Quantized FPGA-Optimized Reinforcement Learning Compute Engine
Department of Electrical Engineering, IIT Indore（电子工程系，印度理工学院Indore）
针对高质量图像RL智能体在FPGA上部署资源开销大的问题，提出融合E2HRL与QuaRL量化SIMD加速的轻量级QForce-RL引擎，实现最高2.3倍性能提升和2.6倍FPS改善。
2025-06-08 cs.AR cs.CV cs.RO
Q-MambaIR: Accurate Quantized Mamba for Efficient Image Restoration
ETH Zürich（苏黎世联邦理工学院）；Shenzhen Automotive Research Institute（深圳汽车研究院）；Nanyang Technological University（南洋理工大学）
本文提出Q-MambaIR，通过动态平衡可学习标量和范围浮动灵活分配器，有效缓解极值截断损失，提升图像修复任务的压缩效率与精度。
2026-04-15 cs.CV
MWQ: Multiscale Wavelet Quantized Neural Networks
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
模型量化可以减少模型大小和计算延迟，它已经成为在资源受限的硬件上部署深度神经网络的必要技术（例如，移动电话和嵌入式设备）。现有的量化方法主要考虑元素的权重和激活值的数值化，忽略了元素之间的关系。表征能力的下降和信息的丢失往往会导致性能的下降。根据图像的频域特性，提出了一种新的多尺度小波量化方法。该方法利用小波变换将原始数据分解为多尺度的频率分量，然后分别对不同尺度的分量进行量化。它利用多尺度的频率和空间信息，以减轻在空间域的量化造成的信息损失。由于MWQ的灵活性，我们展示了三个应用程序（例如，模型压缩、量化网络优化和信息增强）。实验结果表明，该方法具有较强的表示能力，在量化神经网络中能发挥有效的作用。
2021-03-09 cs.AR cs.CV
Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task
University of Tehran（德黑兰大学）；University of Cincinnati（辛辛那提大学）；University of St. Thomas（圣托马斯大学）；Tehran University（德黑兰大学）
本文提出融合显著性引导训练与PACT量化感知训练的方案，在MNIST和CIFAR-10上保持CNN分类性能，同时降低资源消耗并提升显著性图可解释性。
2024-12-05 cs.CV cs.LG
Quantized Proximal Averaging Network for Analysis Sparse Coding
Indian Institute of Science（印度科学学院）
我们解决了分析稀疏编码问题，考虑到凸和非凸稀疏促进处罚的组合。多罚制定的结果在一个迭代算法，涉及近似平均。然后，我们将迭代算法展开为一个可训练的网络，便于学习稀疏性先验。我们还考虑了网络权重的量化。量化使神经网络在推理期间的内存和计算方面都变得高效，并且还使它们与低精度硬件部署兼容。我们的学习算法基于ADAM优化器的变体，其中量化器是前向传递的一部分，并且在对高精度权重进行簿记的同时，对损失函数的梯度进行对应于量化权重的评估。我们展示了压缩图像恢复和磁共振图像重建的应用程序。所提出的方法提供了优越的重建精度和质量比国家的最先进的展开技术和性能退化是最小的，即使当权重受到极端量化。
2021-05-13 cs.CV cs.LG
Mixed Precision Quantization of ConvNets via Differentiable Neural Architecture Search
UC Berkeley（加州大学伯克利分校）；Facebook（脸书）
最近在网络量化方面的工作大大降低了神经网络推理的时间和空间复杂度，使其能够在计算和存储资源有限的嵌入式和移动设备上部署。然而，现有的量化方法通常以相同的精度（位宽）表示所有权重和激活。在本文中，我们探索了一个新的维度的设计空间：量化不同的层与不同的位宽。我们将此问题表示为神经结构搜索问题，并提出了一种新的可微分神经结构搜索（DNAS）框架，以有效地探索其指数搜索空间与基于梯度的优化。实验表明，我们在CIFAR-10和ImageNet上超过了ResNet的最先进压缩。我们的量化模型具有21.1倍更小的模型大小或103.9倍更低的计算成本，仍然可以优于基线量化甚至全精度模型。
2018-11-30 cs.CV
Hierarchical Vector-Quantized Latents for Perceptual Low-Resolution Video Compression
本文提出了一种多尺度向量量化变分自编码器，用于生成低分辨率视频的高效潜在表示，以提升视频压缩的感知质量。
2025-12-31 cs.CV
QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks
ETH Zurich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
本文提出QuantSR+框架，通过改进量化操作、网络设计和训练优化，实现了在精度和效率之间的更好平衡，针对超低精度下的性能下降问题，提出了三种关键技术贡献：重分布驱动位数确定、量化瘦身架构和瘦身引导的功能局部蒸馏。
2026-05-21 cs.CV
Hardware-Friendly Static Quantization Method for Video Diffusion Transformers
Division of the Humanities and Social Sciences（人文与社会科学系）；California Institute of Technology（加州理工学院）；Device Solutions Research America（设备解决方案研究美国）；Samsung Semiconductor Inc.（三星半导体公司）
针对资源受限设备无法支持视频扩散Transformer动态量化的问题，提出一种基于每步校准、通道/张量级量化及平滑量化的静态训练后量化方法，性能媲美FP16与动态量化方案，可高效部署于AI处理器。
2025-06-17 cs.AI cs.CV
Memory-Free and Parallel Computation for Quantized Spiking Neural Networks
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
针对量化脉冲网络因膜电位量化丢失历史信息导致性能下降的问题，提出无内存量化与并行计算框架MFP-QSNN，在降低内存需求与加速训练的同时实现了最先进的性能。
2025-02-25 cs.CV cs.NE
Reducing the Side-Effects of Oscillations in Training of Quantized YOLO Networks
Seeing Machines
针对量化YOLO网络低精度训练中STE近似引发的振荡导致精度不佳的问题，提出EMA更新策略与QC单轮校正法，在COCO数据集的YOLO5/7变体检测、分割任务中有效提升4位及3位量化精度。
2023-11-09 cs.CV cs.LG
PAMS: Quantized Super-Resolution via Parameterized Max Scale
Xiamen University（厦门大学）；National University of Singapore（新加坡国立大学）；Beihang University（北京航空航天大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）
深度卷积神经网络（DCNN）在超分辨率（SR）任务中表现出了主导性能。然而，其沉重的内存成本和计算开销显着限制了其在资源有限的设备上的实际部署，这主要是由于浮点存储和权重与激活之间的操作。虽然先前的努力主要采取定点操作，量化权重和激活与固定的编码长度可能会导致显着的性能下降，特别是在低比特。具体而言，大多数没有批量归一化的最先进的SR模型具有大的动态量化范围，这也是性能下降的另一个原因。为了解决这两个问题，我们提出了一个新的量化方案，称为PAMS（PAMS），它适用于可训练截断参数探索自适应的量化范围的上限。最后，引入结构化知识转移（SKT）损失对量化网络进行微调。大量的实验表明，所提出的PAMS方案可以很好地压缩和加速现有的SR模型，如EDSR和RDN。值得注意的是，8位PAMS-EDSR在Set 5基准测试中将PSNR从32.095dB提高到32.124dB，具有2.42 $\times$压缩比，达到了新的最先进水平。
2020-11-09 cs.CV eess.IV
Searching for Winograd-aware Quantized Networks
University of Oxford（牛津大学）；Arm ML Research Lab（安谋机器学习研究实验室）
卷积神经网络（CNN）的轻量级架构设计以及量化为在移动设备上部署要求苛刻的计算机视觉应用铺平了道路。与此并行，卷积运算的替代公式，如FFT，Strassen和Winograd，已被适配用于CNN，提供进一步的加速。Winograd卷积是空间小卷积的最快已知算法，但充分利用其潜力会带来数值误差的负担，使其在量化环境中无法使用。在这项工作中，我们提出了一个Winograd感知的卷积层公式，它将Winograd变换引入的数值不准确性暴露在模型参数的学习中，从而能够在不影响模型大小的情况下设计有竞争力的量化模型。我们还解决了数值误差的来源，并提出了一个放松的形式的转换矩阵，导致高达10%的分类精度提高CIFAR-10。最后，我们提出了wiNAS，一个神经架构搜索（NAS）框架，利用Winograd感知层，联合优化给定的宏架构的准确性和延迟。与im 2 row（最广泛使用的优化卷积实现之一）相比，Winograd感知的ResNet-18（使用wiNAS针对CIFAR-10进行优化）可实现2.66倍的加速，并且不会损失准确性。
2020-02-25 cs.CV cs.LG stat.ML
ODG-Q: Robust Quantization via Online Domain Generalization
The University of Hong Kong（香港大学）
将神经网络量化到低位宽对于在资源有限的边缘硬件上部署模型很重要。虽然量化网络具有较小的模型大小和内存占用，但它对对抗攻击很脆弱。然而，很少有方法研究量化网络的鲁棒性和训练效率。为此，我们提出了一种新的方法，通过将鲁棒量化作为在线领域泛化问题，称为ODG-Q，它在训练过程中以低成本生成各种对抗数据。ODG-Q在对抗各种对抗攻击方面始终优于现有的作品。例如，在CIFAR-10数据集上，ODG-Q在五种常见的白盒攻击下平均提高了49.2%，在五种常见的黑盒攻击下平均提高了21.7%，训练成本与自然训练（即没有对手）相似。据我们所知，这项工作是第一项在ImageNet上训练量化和二进制神经网络的工作，这些网络在不同的攻击下始终提高鲁棒性。我们还提供了一个理论上的见解ODG-Q的帐户上的模型风险受攻击的数据。
2022-10-17 cs.CV cs.LG
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换，结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
DeepliteRT: Computer Vision at the Edge
Deeplite Inc.（迪利普特公司）
本文提出DeepliteRT端到端方案，通过超低位量化与优化ARM卷积算子，在分类和检测模型上实现最高4.34倍算子加速及2.33倍端到端加速。
2023-09-19 cs.CV cs.LG
Efficient Error-Tolerant Quantized Neural Network Accelerators
Coburg University（科堡大学）；Fulda University of Applied Sciences（富尔达应用科学大学）；University of Kassel（卡塞尔大学）
神经网络是目前部署最广泛的机器学习算法之一。特别是卷积神经网络（CNN）越来越受欢迎，并被评估用于部署在安全关键应用中，如自动驾驶汽车。现代CNN具有巨大的内存带宽和高计算需求，挑战现有的硬件平台，以满足吞吐量，延迟和功耗要求。在安全关键系统中，需要考虑功能安全和容错性作为附加要求。一般来说，容错操作可以通过向系统添加冗余来实现，这进一步加剧了计算需求。此外，出现的问题是否修剪和量化方法的性能缩放，结果是适得其反的失败的安全要求。在这项工作中，我们提出了一种方法来评估影响量化神经网络（QNN）的永久性故障的影响，以及如何有效地减少它们在硬件加速器中的影响。我们使用基于FPGA的硬件加速错误注入，以使快速评估。详细的分析表明，包含卷积层的QNN对故障的鲁棒性远不如人们普遍认为的那样，并且可能导致精度下降高达10%。为了规避这一点，我们提出了两种不同的方法来提高其鲁棒性：1）选择性通道复制，其增加的冗余比常见的三重模块冗余少得多; 2）折叠实现的处理元件的故障感知调度
2019-12-16 cs.CV cs.LG eess.SP
