Reclaiming Residual Knowledge: A Novel Paradigm to Low-Bit Quantization
Tobii Corporation（托比公司）
该研究提出低比特量化新范式CoRa，将量化建模为卷积神经网络架构搜索问题，通过搜索低秩适配器回收量化残差知识，在ImageNet上以极少迭代和参数成本实现了与最优基线相当的性能，大幅提升了优化效率。
2026-04-27 cs.AI cs.CV
Task-Oriented Visual Feature Compression via Residual Vector Quantization for Device-Edge Multimodal Inference
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；China Telecom（中国电信）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
针对设备-边缘多模态推理中视觉特征传输延迟高的问题，提出查询引导的任务导向特征压缩方法Q-TOFC，利用残差向量量化和查询相关聚合降低负载53.6%，同时保持任务性能。
2026-09-30 cs.CV
PRQuant: Permutation Residual Quantization for Low-Overhead Inference
Huawei Technologies Co., Ltd.（华为技术有限公司）；Tsinghua University（清华大学）
PRQuant通过通道排列与静态残差补偿，实现无训练低开销的低比特量化推理，在多个基准上优于MXFP4。
2026-09-29 cs.CV cs.LG
MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization
Peng Cheng Laboratory（鹏城实验室）
本文提出MARR，一种模块自适应残差重建方法，通过为每个模块分配特定的缩放系数，平衡残差相关的HA偏差和累积误差校正，从而在低比特量化中提升性能。
2026-11-10 cs.AI cs.CV cs.LG
ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation
Seoul National University（首尔国立大学）
提出ReSpinQuant框架，通过离线激活旋转融合和高效子空间残差旋转匹配基，解决逐层量化方法在线计算开销大的问题，在W4A4和W3A3量化上达到最优性能。
2026-05-28 cs.AI cs.CV
Robust Residual Finite Scalar Quantization for Neural Compression
XPENG Motors（小鹏汽车）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出鲁棒残差有限标量量化（RFSQ），通过可学习缩放因子和可逆层归一化策略解决多阶段设置中残差幅度衰减问题，实验表明其在音频和图像领域均有效。
2026-07-31 cs.CV eess.AS eess.IV
Making Pose Representations More Expressive and Disentangled via Residual Vector Quantization
Kwangwoon University（光云大学）
针对可控动作生成中离散姿态编码难以捕捉细粒度动作细节的问题，提出结合残差向量量化（RVQ）的连续动作特征增强方法，在HumanML3D数据集上降低FID并提升R-Precision，增强了表达能力与可控性。
2025-08-20 cs.CV cs.RO
Automated Tomato Maturity Estimation Using an Optimized Residual Model with Pruning and Quantization Techniques
Auburn University（奥本大学）；National Yang-Ming Chiao Tung University（国立阳明交通大学）；University of Agriculture, Faisalabad（费萨拉巴德农业大学）；University of Georgia（佐治亚大学）；University of Wyoming（怀俄明大学）；National Institute of Food Science and Technology（国家食品科学与技术研究所）
本文基于 ResNet-18，结合迁移学习、剪枝与量化构建轻量番茄成熟度分类模型，并在边缘设备上验证其高精度与实时部署能力。
2025-03-13 cs.CV
Residual Vector Quantization For Communication-Efficient Multi-Agent Perception
Carnegie Mellon University（卡内基梅隆大学）
ReVQom通过残差向量量化实现高效多智能体感知，显著降低通信带宽需求，提升实际应用可行性。
2026-02-08 cs.CV cs.RO
SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation
University of Oklahoma（俄克拉荷马大学）；University of Georgia（佐治亚大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对ASL生成中语义一致性不足的问题，提出语义对齐残差向量量化分词器SeRV，结合层次化GPT从文本生成3D动作，在375小时视频上取得最先进姿态精度。
2026-10-14 cs.AI cs.CV
SandwichQuant: Which Parameters Matter Before and After Quantization?
School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院）
本研究提出SandwichQuant框架，发现归一化仿射参数子空间是量化校正的关键，该两阶段框架在视觉与大语言模型的低比特量化中均实现了性能提升。
2026-08-26 cs.CV
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
Kyung Hee University（庆熙大学）
由于资源受限的环境，网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法，\textit{Inter-Layer Weight Prediction}（ILWP）和量化方法，该方法基于传统视频编码方案中的帧间预测方法，在所有卷积层的权重之间进行预测残差。此外，我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}（SVWH），即相邻卷积层中的权重在形状和值上具有很强的相似性，即，重量倾向于随着层平滑地变化。基于SVWH，我们提出了第二种ILWP和量化方法，该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布，因此可以更有效地应用权重量化，从而产生更多的零权重并提高权重压缩比。此外，我们提出了一个新的\textit{inter-layer loss}消除非纹理位，这使我们能够更有效地存储只有纹理位。也就是说，所提出的损失正则化权重，使得相邻两层之间的并置权重具有相同的值。最后，我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明，该方法在相同的精度水平下，与以往基于量化的深度神经网络压缩方法相比，具有更高的权重压缩率。
2020-08-20 cs.CV cs.LG stat.ML
Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers
The University of Hong Kong（香港大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
该研究针对多模态扩散Transformer的W4A4量化局限，提出统一框架\textit{方法}，通过降低海森矩阵与激活噪声代理优化，以秩-4实现优于SVDQuant的量化性能，且成本更低、速度更快。
2026-10-12 cs.CV cs.LG math.OC
Bayesian Bits: Unifying Quantization and Pruning
Qualcomm AI Research（高通人工智能研究院）
我们介绍贝叶斯比特，一个实用的方法，联合混合精度量化和修剪，通过基于梯度的优化。贝叶斯比特采用了一种新的量化操作分解，它顺序地考虑了比特宽度的加倍。在每个新位宽处，量化全精度值与先前舍入值之间的残差。然后，我们决定是否添加该量化残余误差以获得更高的有效位宽和更低的量化噪声。通过从2的幂位宽开始，这种分解将始终产生硬件友好的配置，并通过额外的0位选项，作为修剪和量化的统一视图。Bayesian Bits然后引入了可学习的随机门，它们共同控制给定张量的位宽。因此，我们可以通过对门进行近似推断来获得低位解，其中先验分布鼓励大多数门被关闭。我们在几个基准数据集上通过实验验证了我们提出的方法，并表明我们可以学习修剪的混合精度网络，这些网络在准确性和效率之间提供了比静态位宽等效值更好的权衡。
2020-10-27 cs.CV cs.LG stat.ML
BRIDLE: Generalized Self-supervised Learning with Quantization
Florida State University（佛罗里达州立大学）；Meta Platforms Inc.（元平台公司）
本研究提出BRIDLE框架，将残差量化融入双向训练，可泛化用于多模态预训练，在音频分类等任务上取得最优结果，优于传统向量量化方法。
2026-08-27 cs.CV cs.LG
Proximal Mean-field for Neural Network Quantization
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）
通过量化参数来压缩大型神经网络（NN），同时保持性能是非常可取的，因为减少了存储器和时间复杂度。在这项工作中，我们铸造NN量化作为一个离散的标签问题，并通过检查松弛，我们设计了一个有效的迭代优化过程，涉及随机梯度下降，然后投影。我们证明了我们简单的投影梯度下降方法，事实上，相当于一个近端版本的著名的平均场方法。这些发现将使几十年来对MRF优化的理论研究能够用于设计更好的网络量化方案。我们在卷积和残差架构的标准分类数据集（MNIST，CIFAR 10/100，TinyImageNet）上的实验表明，我们的算法获得了完全量化的网络，其精度非常接近浮点参考网络。
2019-08-19 cs.CV cs.LG
ResQ: Residual Quantization for Video Perception
Qualcomm AI Research（高通人工智能研究院）
提出ResQ残差量化方法，利用相邻帧激活残差的高可量化性并结合时间依赖与动态位宽，加速视频语义分割和人体姿态估计。
2023-08-18 cs.CV
Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models
Department of Artificial Intelligence（人工智能系）；Kyung Hee University（庆尚大学）；Department of Electrical Engineering（电气工程系）；Department of Computer Science（计算机科学系）
针对扩散模型4位PTQ导致纹理丢失的问题，提出QuaRTZ，结合8位异常值量化与前导零抑制保留LSB，在FLUX.1-schnell上以6.98 FID优于SVDQuant。
2025-09-30 cs.CV
Data-Free Network Quantization With Adversarial Knowledge Distillation
Samsung Semiconductor Inc.（三星半导体公司）；DGIST（大邱庆北科学技术院）
网络量化是深度学习中在移动或边缘平台上开发高效定点推理模型的重要过程。然而，随着数据集变得越来越大，隐私法规变得越来越严格，用于模型压缩的数据共享变得越来越困难和受限。在本文中，我们考虑无数据网络量化与合成数据。合成数据由生成器生成，而在训练生成器和量化中不使用数据。为此，我们提出了无数据的对抗性知识蒸馏，它最大限度地减少了教师和（量化）学生的输出之间的最大距离的任何对抗性样本从发电机。为了生成与原始数据相似的对抗样本，我们还提出了来自教师中生成数据和原始数据的批量归一化层的匹配统计。此外，我们还展示了使用多个生成器和多个学生生成不同对抗样本的好处。我们的实验展示了SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上（宽）残差网络和MobileNet的最新无数据模型压缩和量化结果。与使用原始数据集相比，精度损失非常小。
2020-05-08 cs.CV cs.LG cs.NE
MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ETH Zurich（苏黎世联邦理工学院）；Institute of Artificial Intelligence, Beihang University（北航人工智能研究院）；Zhongguancun Laboratory（中关村实验室）；Department of Electrical Engineering, The City College（城市学院电子工程系）；Department of Computer Science, the Graduate Center, the City University of New York（纽约城市大学计算机科学系）；School of Computer Science and Control Engineering, Shenzhen University of Advanced Technology（深圳先进技术大学计算机科学与控制工程学院）
本文提出MPQ-DMv2框架，通过灵活残差混合量化、面向对象的低秩初始化和基于记忆的时序关系蒸馏，解决扩散模型在极低位量化下的性能下降问题，显著超越现有方法。
2025-07-06 cs.CV
Semantic Residual for Multimodal Unified Discrete Representation
School of Software Technology Zhejiang University Ningbo, China；College of Computer Science；Technology Zhejiang University Hangzhou, China
本文提出语义残差跨模态信息解耦框架SRCID，用更精确的量化方式改进多模态统一离散表示，在跨模态泛化与零样本检索上显著超越现有模型。
2024-12-26 cs.CV cs.LG
ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization
Tsinghua University（清华大学）；State Key Laboratory of Space Network and Communications（空间网络与通信国家重点实验室）
提出一种基于残差向量量化的轻量级渐进式生成图像压缩方法ProGIC，通过逐级量化残差实现粗到细重建和渐进比特流，在保持感知质量的同时显著提升编码解码速度。
2026-05-22 cs.CV
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Learning Better Encoding for Approximate Nearest Neighbor Search with Dictionary Annealing
我们介绍了一种新的字典优化方法，用于近似最近邻（ANN）搜索的高维矢量量化。矢量量化方法首先寻找一系列字典，然后通过从这些字典中选择的元素的和来近似每个矢量。一个最佳的字典系列应该是相互独立的，每个字典应该为目标数据集生成一个平衡的编码。现有的方法没有明确考虑到这一点。为了实现这些目标以及最小化的量化误差（残留），我们提出了一种新的字典优化方法称为\emph{Dictionary Annealing}，交替“加热”一个单一的字典通过生成一个中间数据集与残留向量，“冷却”的字典通过拟合中间数据集，然后提取新的残留向量的下一次迭代。更好的代码可以通过DA学习用于ANN搜索任务。DA很容易在GPU上实现，以利用最新的计算技术，并可以很容易地扩展到在线字典学习计划。我们通过实验表明，我们的优化字典大大降低了整体量化误差。结合残差矢量量化，我们优化的字典导致一个更好的近似最近邻搜索性能相比，国家的最先进的方法。
2015-07-06 cs.CV
Autoregressive Image Generation using Residual Quantization
POSTECH（浦项科技大学）；Kakao Brain
对于高分辨率图像的自回归（AR）建模，矢量量化（VQ）将图像表示为离散代码序列。短序列长度对于AR模型降低其计算成本以考虑代码的长程相互作用是重要的。然而，我们假设，以前的矢量量化不能缩短代码序列，并产生高保真度的图像在率失真权衡。在这项研究中，我们提出了两个阶段的框架，其中包括残余量化VAE（RQ VAE）和RQ变压器，有效地产生高分辨率的图像。给定一个固定的码书大小，RQ-VAE可以精确地近似图像的特征图，并表示为离散码的堆叠图的图像。然后，RQ-Transformer通过预测下一个代码堆栈来学习预测下一个位置的量化特征向量。由于RQ-VAE的精确近似，我们可以将256 $\times$ 256图像表示为8 $\times$ 8分辨率的特征图，并且RQ-Transformer可以有效地降低计算成本。因此，我们的框架优于现有的AR模型在各种基准的无条件和有条件的图像生成。我们的方法还具有比以前的AR模型更快的采样速度，以生成高质量的图像。
2022-03-09 cs.CV cs.LG
Residual Expansion Algorithm: Fast and Effective Optimization for Nonconvex Least Squares Problems
The University of Tokyo（东京大学）
本文提出了一种求解非凸最小二乘问题的全局（或近全局）优化方法--残差展开（RE）算法。与大多数现有的非凸优化技术，RE算法不是基于随机或多点搜索，因此，它可以实现快速的全局优化。此外，RE算法易于实现，并成功地在高维优化。RE算法在k均值聚类、点集配准、优化乘积量化和盲图像去模糊方面表现出优异的经验性能。
2017-05-26 cs.CV
SCAR-GS: Spatial Context Attention for Residuals in Progressive Gaussian Splatting
National University of Singapore（新加坡国立大学）；University of Deusto（德乌斯大学）
SCAR-GS通过残差向量量化和自回归熵模型提升3D高斯点扩散的压缩效率与率-失真性能。
2026-08-13 cs.CV cs.GR
Efficiera Residual Networks: Hardware-Friendly Fully Binary Weight with 2-bit Activation Model Achieves Practical ImageNet Accuracy
LeapMind Inc.（LeapMind公司）；M3, Inc.（M3公司）
提出Efficiera Residual Networks（ERNs），通过全二进制权重和2-bit激活实现全超低位量化，引入共享常数缩放因子技术支持整数残差计算，在边缘设备上以极小模型尺寸实现高ImageNet准确率与快速推理。
2024-10-15 cs.CV cs.LG
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）
目前大多数显示设备具有八位或更高的位深。然而，大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理，通过端到端的学习模式实现真实感去量化。到目前为止，这是第一次尝试将生成对抗网络（GAN）框架应用于图像去量化。具体来说，我们提出了密集的残余自我注意（DenseResAtt）模块，这是由密集的残余块武装的自我注意机制，更加关注高频信息。此外，顺序的DenseResAtt模块的串联连接形成了深度关注网络，在图像去量化中具有卓越的判别学习能力，对代表性特征图进行建模，以恢复尽可能多的有用信息。此外，由于对抗性学习框架可以可靠地生成高质量的自然图像，因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是，DAGAN能够生成照片级真实感的高比特深度图像，而没有条带伪影。在多个公共基准测试上的实验结果表明，DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
6Bit-Diffusion: Inference-Time Mixed-Precision Quantization for Video Diffusion Models
Fudan University（复旦大学）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出了一种推理时的混合精度量化框架，通过动态分配NVFP4和INT8精度，提升视频扩散模型的效率与质量，实验显示在推理速度和内存占用上有显著提升。
2026-03-19 cs.CV
