Compression of Generative Pre-trained Language Models via Quantization
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
生成式预训练语言模型（PLM）的规模不断增大，极大地增加了对模型压缩的需求。尽管有各种方法来压缩BERT或其变体，但很少有人尝试压缩生成PLM，并且潜在的困难仍然不清楚。在本文中，我们压缩生成PLM量化。我们发现，以前的量化方法失败的生成任务，由于\textit{homogeneous word embeddings}所造成的能力降低，和\textit{varied distribution of weights}。相应地，我们提出了一个令牌级的对比蒸馏学习可区分的词嵌入，和一个模块的动态缩放，使量化器适应不同的模块。各种任务的实证结果表明，我们提出的方法优于国家的最先进的压缩方法生成PLM的一个明确的保证金。与全精度模型相比，我们在GPT-2和BART上分别实现了14.4倍和13.4倍的压缩率。
2022-07-16 cs.CL cs.CV
Modeling Image Quantization Tradeoffs for Optimal Compression
University of California, Berkeley（加州大学伯克利分校）
所有的有损压缩算法都采用类似的压缩方案--频域变换后进行量化和无损编码方案。他们的目标是通过量化高频数据来提高压缩率，这是以更高的图像失真为代价的。我们提出了一种使用深度学习和极大极小损失函数来优化量化表的新方法，该方法比以前的方法更准确地测量速率和失真参数（RD）之间的权衡。我们设计了一个卷积神经网络（CNN），它以无监督的方式学习图像块和量化表之间的映射。通过同时处理所有通道的图像，我们可以通过测量不同通道之间的信息损失来实现更强的性能。我们最初针对JPEG图像进行优化，但觉得这可以扩展到任何有损压缩器。
2021-12-14 cs.CV cs.IT cs.LG
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）
在本文中，我们压缩卷积神经网络（CNN）的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计，从而在给定的量化比特率下产生次优的CNN性能，或者仅在训练期间考虑它们的联合统计，并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换（解相关）和重构，以在任何给定的量化比特率下提高压缩。变换量化将量化和降维（去相关）技术统一在一个框架中，以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论，并将最佳量化作为率失真优化问题。然后，我们表明，这个问题可以解决使用最佳的位深度分配后，解相关的最佳端到端学习变换（ELT），我们在本文中推导出。实验表明，变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地，我们发现具有再训练的变换量化能够将CNN模型（例如AlexNet、ResNet和DenseNet）压缩到非常低的比特率（1-2比特）。
2021-11-07 cs.CV cs.IT cs.LG
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
由于深度神经网络（DNN）通常被过度参数化并且具有数百万个权重参数，因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的，例如，智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小，其中关键是找到合适的压缩分配（例如，修剪稀疏性和量化码本）。现有的解决方案以迭代/手动的方式获得压缩分配，同时微调压缩模型，因此存在效率问题。与现有技术不同的是，本文提出了一种新的单次剪枝量化（OPQ）算法，该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间，压缩模块是固定的，并且仅更新权重参数。据我们所知，OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作，而无需在微调阶段进行任何复杂的迭代/手动优化。此外，我们提出了一个统一的信道级量化方法，强制每一层的所有通道共享一个共同的码本，这导致低比特率分配，而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明，与现有技术相比，我们的方法提高了准确性和训练效率，同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
R2 Loss: Range Restriction Loss for Model Compression and Quantization
Apple（苹果公司）
本文提出范围限制损失（R2-Loss），通过在预训练阶段移除权重异常值并限制其范围，构建低比特量化与压缩友好模型，显著提升了PTQ、QAT及模型压缩在极低比特下的准确率。
2024-02-11 cs.CV cs.LG cs.PF
COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning
Zhejiang University（浙江大学）；Fabu Inc.（法布公司）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；GAC R&D Center（广汽研究院）
神经网络压缩使有效但笨重的深度卷积神经网络（CNN）能够部署在资源受限的场景中。大多数最先进的方法修剪过滤器的过滤器级别根据过滤器的“重要性”的模型。尽管他们的成功，我们注意到他们遭受至少两个以下问题：1）过滤器之间的冗余没有考虑，因为重要性是独立评估。2)跨层过滤器比较是无法实现的，因为重要性是在每个层内局部定义的。因此，我们必须手动指定逐层修剪比率。3)它们容易产生次优解，因为它们忽略了减少参数和减少计算成本之间的不平等。减少网络中不同位置的相同数量的参数可以减少不同的计算成本。为了解决上述问题，我们提出了一种新的算法COP（correlation-based pruning），它可以有效地检测冗余滤波器。我们通过全局标准化启用跨层滤波器比较。我们增加了参数数量和计算成本正则化条款的重要性，这使得用户能够定制的压缩，根据自己的喜好（更小或更快）。大量的实验表明，COP明显优于其他算法。该代码在https://github.com/ZJULearning/COP上发布。
2019-06-25 cs.CV cs.LG
Binary Quadratic Quantization: Beyond First-Order Quantization for Real-Valued Matrix Compression
Institute of Science Tokyo（东京科学研究所）；Waseda University（早稻田大学）
该研究提出二元二次量化（BQQ）方法，利用二元二次表达式提升矩阵压缩效果，在矩阵压缩基准和Vision Transformer的2比特训练后量化实验中，性能均优于传统方法，验证了该表达式在高效矩阵近似与神经网络压缩中的有效性。
2025-10-21 cs.AI cs.CV cs.LG
Online Learned Continual Compression with Adaptive Quantization Modules
McGill（麦吉尔大学）；Mila（米拉研究所）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）；ElementAI（ElementAI公司）
我们介绍和研究的问题，在线连续压缩，其中一个试图同时学习压缩和存储一个代表性的数据集从一个非i.i.d数据流，而每个样本只观察一次。在这种情况下，自动编码器的天真应用遇到了一个主要挑战：从早期编码器状态导出的表示必须可用于后期解码器状态。我们展示了如何使用离散自动编码器来有效地解决这一挑战，并引入自适应量化模块（AQM）来控制模块在任何给定学习阶段的压缩能力变化。这使得能够为传入样本选择适当的压缩，同时考虑整体存储器约束和学习压缩的当前进度。与以前的方法不同，我们的方法不需要任何预训练，即使是在具有挑战性的数据集上。我们发现，使用主动质量管理，以取代标准的情景记忆在持续学习设置导致显着收益的持续学习基准。此外，我们用更大的图像，LiDAR和强化学习环境演示了这种方法。
2020-08-20 cs.CV cs.LG stat.ML
Towards the Limit of Network Quantization
Samsung US R&D Center（三星美国研发中心）
网络量化是减少深度神经网络冗余的网络压缩技术之一。它通过量化减少了不同网络参数值的数量，以节省存储空间。在本文中，我们设计的网络量化方案，最大限度地减少由于量化的压缩比约束的性能损失。我们分析了量化误差与神经网络损失函数的定量关系，并确定了Hessian加权失真测度是优化网络量化的局部目标函数。因此，Hessian-weighted k-means聚类被提出用于聚类网络参数以进行分类。当最佳变长二进制码（例如，Huffman码进行进一步压缩，推导出网络量化问题可以与信息论中的熵约束标量量化（ECSQ）问题相联系，从而提出了两种ECSQ网络量化方案，即，均匀量化和类似于Lloyd算法的迭代解。最后，使用简单的均匀量化和霍夫曼编码，我们的实验表明，LeNet、32层ResNet和AlexNet分别可以实现51.25、22.17和40.65的压缩比。
2017-11-13 cs.CV cs.LG cs.NE
Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning
Zhejiang University（浙江大学）
针对无训练数据且不能微调的神经网络压缩问题，提出 UDFC 框架，通过通道线性组合重建与闭式解同时完成剪枝和量化，并在 ImageNet 上显著优于现有方法。
2023-08-14 cs.CV cs.LG eess.IV
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；NVIDIA（英伟达）
神经网络是计算密集型和存储密集型的，这使得它们难以在硬件资源有限的嵌入式系统上部署。为了解决这一限制，我们引入了“深度压缩”，这是一个三级管道：修剪，训练量化和霍夫曼编码，它们共同工作，将神经网络的存储需求减少了35倍至49倍，而不影响其准确性。我们的方法首先通过只学习重要的连接来修剪网络。接下来，我们对权重进行加权以加强权重共享，最后，我们应用霍夫曼编码。在前两步之后，我们重新训练网络，以微调剩余的连接和量化的质心。修剪将连接的数量减少了9倍到13倍;量化则将表示每个连接的位数从32减少到5。在ImageNet数据集上，我们的方法将AlexNet所需的存储空间减少了35倍，从240 MB减少到6.9MB，而不损失准确性。我们的方法将VGG-16的大小从552 MB减少到11.3MB，并且没有损失准确性。这允许将模型适配到片上SRAM缓存中，而不是片外DRAM存储器中。我们的压缩方法也有利于复杂的神经网络在移动应用程序中的应用程序的大小和下载带宽的限制。以CPU、GPU和移动GPU为基准，压缩网络具有3倍至4倍的分层加速和3倍至7倍的能效。
2016-02-15 cs.CV cs.NE
Robust Residual Finite Scalar Quantization for Neural Compression
XPENG Motors（小鹏汽车）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出鲁棒残差有限标量量化（RFSQ），通过可学习缩放因子和可逆层归一化策略解决多阶段设置中残差幅度衰减问题，实验表明其在音频和图像领域均有效。
2026-07-31 cs.CV eess.AS eess.IV
VLCQ: Post-training quantization for deep neural networks using variable length coding
Faculty of Engineering, Cairo University（开罗大学工程学院）
本文提出VLCQ训练后量化方法，放宽定点编码约束，在无需训练数据或微调的情况下，提升了图像分类等任务的模型压缩率与准确率，性能优于多数现有同类方法。
2026-10-14 cs.AI cs.CV cs.PF
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
Kyung Hee University（庆熙大学）
由于资源受限的环境，网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法，\textit{Inter-Layer Weight Prediction}（ILWP）和量化方法，该方法基于传统视频编码方案中的帧间预测方法，在所有卷积层的权重之间进行预测残差。此外，我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}（SVWH），即相邻卷积层中的权重在形状和值上具有很强的相似性，即，重量倾向于随着层平滑地变化。基于SVWH，我们提出了第二种ILWP和量化方法，该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布，因此可以更有效地应用权重量化，从而产生更多的零权重并提高权重压缩比。此外，我们提出了一个新的\textit{inter-layer loss}消除非纹理位，这使我们能够更有效地存储只有纹理位。也就是说，所提出的损失正则化权重，使得相邻两层之间的并置权重具有相同的值。最后，我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明，该方法在相同的精度水平下，与以往基于量化的深度神经网络压缩方法相比，具有更高的权重压缩率。
2020-08-20 cs.CV cs.LG stat.ML
Automatic low-bit hybrid quantization of neural networks through meta learning
IBM Research – China（IBM中国研究院）
模型量化是一种广泛用于压缩和加速深度神经网络（DNN）推理的技术，特别是在部署到计算能力和功耗预算有限的边缘或物联网设备时。跨所有层的均匀比特宽度量化通常是次优的，并且针对不同层的混合量化的探索对于有效的深度压缩至关重要。本文采用元学习方法自动实现神经网络的低比特混合量化。MetaQuantNet与量化函数一起被训练以生成目标DNN的量化权重。然后，我们应用遗传算法搜索最佳的混合量化政策，满足压缩约束。使用搜索到的最佳量化策略，我们随后进行重新训练或微调，以进一步提高量化目标网络的性能。大量的实验表明，搜索的混合量化方案的性能优于均匀位宽对应。与现有的基于强化学习（RL）的混合量化搜索方法相比，这种方法依赖于繁琐的探索，我们的元学习方法对于任何压缩要求都更有效，因为MetaQuantNet只需要训练一次。
2020-04-24 cs.CV cs.LG stat.ML
Optimizing JPEG Quantization for Classification Networks
Cornell University（康奈尔大学）
计算机视觉的深度学习依赖于有损图像压缩：它减少了训练和测试数据所需的存储，并降低了部署中的传输成本。主流数据集和成像管道都依赖于标准JPEG压缩。在JPEG中，频率系数的量化程度控制损失：8 × 8量化表（Q表）决定编码图像的质量和压缩比。虽然长期以来的工作一直在寻求更好的Q表，但现有的工作要么寻求最小化图像失真，要么针对人类视觉系统的模型进行优化。这项工作询问是否存在JPEG Q表，这些表对于特定的视觉网络来说“更好”，并且可以提供比为人类感知或最小失真设计的更好的质量-大小权衡。我们重建了一个具有更高分辨率的ImageNet测试集，以探索JPEG压缩在新Q表下的效果。我们尝试了几种方法来调整一个视觉任务的Q表。我们发现，一个简单的排序随机抽样方法可以超过标准的JPEG Q表的性能。我们还使用超参数调整技术，包括有界随机搜索，贝叶斯优化和复合启发式优化方法。我们得到的新的Q表可以提高10%到200%的压缩率时，精度是固定的，或提高精度高达$2\%$在相同的压缩率。
2020-03-05 cs.CV cs.GR cs.PF
Regularized Vector Quantization for Tokenized Image Synthesis
Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出正则化向量量化框架，通过先验分布正则化和随机掩码正则化解决码本崩溃、利用率低及推理不对齐问题，并引入概率对比损失，在自回归和扩散模型中持续优于现有方法。
2023-10-14 cs.CV
3D Gaussian Splatting Data Compression with Mixture of Priors
The University of Hong Kong（香港大学）；The University of Newcastle（新castle大学）
针对3DGS数据压缩中熵模型不足与量化策略次优的问题，提出混合先验策略，通过门控机制融合轻量级MLP生成的特征以改进条件熵建模，并利用先验引导的由粗到细量化策略增强有损压缩，在多个基准上达到SOTA。
2025-08-11 cs.CV
Accurate Compression of Text-to-Image Diffusion Models via Vector Quantization
本文针对十亿级文本到图像扩散模型提出基于向量量化的训练后压缩方法，在SDXL和SDXL-Turbo上将2B+参数模型压缩至约3比特，达到与先前4比特方法相当的图像质量和文本对齐效果。
2024-08-31 cs.CV
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
CASP: Compression of Large Multimodal Models Based on Attention Sparsity
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
本文提出CASP压缩技术，利用多模态模型注意力矩阵的稀疏性对Query和Key权重进行低秩分解与最优比特量化，在图像和视频语言基准上平均提升2比特量化方法21%。
2025-03-07 cs.CV
Improving 3D Gaussian Splatting Compression by Scene-Adaptive Lattice Vector Quantization
Department of Electrical & Computer Engineering, McMaster University（麦卡特尼大学电气与计算机工程系）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本文提出了一种场景自适应晶格向量量化（SALVQ）方法，用于改进3D高斯散射（3DGS）的压缩性能，通过优化晶格基矢来提高适应性和R-D效率，同时减少计算开销和训练时间。
2026-05-20 cs.CV
Regularized Compression of MRI Data: Modular Optimization of Joint Reconstruction and Coding
University of Cambridge（剑桥大学）；Rice University（莱斯大学）
磁共振成像（MRI）处理链从关键的采集阶段开始，为医学诊断图像重建提供原始数据。这个流程通常包括一个近乎无损的数据压缩阶段，它能够以二进制格式进行数字存储和/或传输。在这项工作中，我们提出了一个框架，用于联合优化的MRI重建和有损压缩，产生压缩表示的医学图像，实现质量和比特率之间的改进的权衡。此外，我们证明，有损压缩甚至可以提高重建质量相比，无损压缩的基础上设置。我们的方法有一个模块化的优化结构，实现使用交替方向乘法器（ADMM）技术和最先进的图像压缩技术（BPG）作为一个黑盒模块迭代应用。这建立了与所选择的有损压缩标准兼容的医疗数据压缩方法。所提出的算法的一个主要的新颖性是在总变差正则化添加到模块化压缩过程中，导致更高质量的解压缩图像，而无需任何额外的处理在/后的解压缩阶段。我们的实验表明，我们的正则化为基础的联合MRI重建和压缩的方法往往实现显着的PSNR增益4至9 dB之间的高比特率相比，非正则化的解决方案的联合任务。与基于正则化的解决方案相比，我们的优化方法在高比特率下提供了0.5至1 dB的PSNR增益，这是医学图像压缩的兴趣范围。
2020-11-09 cs.CV eess.IV
Simultaneous Compression and Quantization: A Joint Approach for Efficient Unsupervised Hashing
Singapore University of Technology and Design（新加坡科技设计大学）；University of Liverpool（利物浦大学）；Chalmers University of Technology（查尔姆斯理工大学）
对于无监督的数据相关散列，两个最重要的要求是保持低维特征空间中的相似性和最小化二进制量化损失。一种成熟的哈希方法是迭代量化（ITQ），它在单独的步骤中解决了这两个要求。在本文中，我们重新ITQ的方法，并提出新的配方和算法的问题。具体来说，我们提出了一种新的方法，名为同步压缩和量化（SCQ），联合学习压缩（降低维数）和二进制输入数据在严格的正交约束下的一个单一的配方。通过这种方法，我们引入了一个损失函数及其放松的版本，分别称为正交编码器（OnE）和正交编码器（OgE），其中涉及具有挑战性的二进制和正交约束。我们建议使用新的算法攻击循环坐标下降方法的最新进展的基础上的优化。无监督图像检索的综合实验表明，我们提出的方法始终优于其他国家的最先进的哈希方法。值得注意的是，我们提出的方法在准确性上优于最近的深度神经网络和基于GAN的散列，同时计算效率非常高。
2019-11-13 cs.CV
Automated Model Compression by Jointly Applied Pruning and Quantization
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
在传统的深度压缩框架中，迭代地执行网络修剪和量化可以减少模型大小和计算成本以满足部署要求。然而，修剪和量化的这种逐步应用可能导致次优解决方案和不必要的时间消耗。本文将网络修剪和量化作为一个统一的联合压缩问题来解决，并使用AutoML自动求解，发现网络修剪过程可以看作是0比特的通道量化。因此，分离的两步修剪和量化可以简化为具有混合精度的一步量化。这种统一不仅简化了压缩流水线，而且避免了压缩发散。为了实现这一思想，我们提出了自动模型压缩联合应用修剪和量化（AJPQ）。AJPQ采用分层结构设计：层控制器控制层稀疏度，通道控制器决定每个内核的位宽。遵循相同的重要性准则，层控制器和通道控制器协作地决定压缩策略。在强化学习的帮助下，自动实现了一步压缩。与现有的自动压缩方法相比，该方法在获得更高精度的同时大大减少了存储量。对于固定精度的量化，AJPQ可以减少超过5倍的模型大小和2倍的计算量，而Skynet在遥感目标检测中的性能略有提高。当允许混合精度时，AJPQ可以将模型大小减少五倍，而MobileNet在分类任务中的前5名准确率仅下降1.06%。
2020-11-12 cs.AI cs.CV
On Uniform Scalar Quantization for Learned Image Compression
University of Science and Technology of China（中国科学技术大学）
本文从理论上分析学习型图像压缩中均匀标量量化替代函数的训练-测试不匹配与梯度估计风险，提出随机均匀退火及两项稳定训练技巧，并在多种网络上取得更优性能。
2023-09-29 cs.CV
Image Compression Based on Compressive Sensing: End-to-End Comparison with JPEG
Bell Labs（贝尔实验室）；Verizon Labs（威瑞森实验室）
提出了一种基于压缩感知的端到端图像压缩系统。该系统将传统的压缩采样和重构方案与量化和熵编码相结合。的压缩性能，在解码图像质量与数据率方面，被证明是与JPEG相媲美，并显着更好地在低速率范围。我们研究了影响系统性能的参数，包括（i）传感矩阵的选择，（ii）量化和压缩比之间的权衡，以及（iii）重建算法。我们提出了一种有效的方法来联合控制量化步骤和压缩比，以实现在任何给定的比特率接近最佳的质量。此外，我们提出的图像压缩系统可以直接用于压缩传感相机，例如单像素相机，以构建硬件压缩采样系统。
2020-01-19 cs.CV
Variable-Rate Learned Image Compression with Multi-Objective Optimization and Quantization-Reconstruction Offsets
InterDigital（英特尔数字公司）
本文面向单模型可变比特率学习型图像压缩，通过多目标优化、量化-重建偏移及超潜变量可变速率量化三项后训练改进，在三个模型上达到接近多模型训练的性能。
2024-02-29 cs.CV eess.IV
VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization
Nankai University（南开大学）；Advanced Digital Sciences Center（先进数字科学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
量化已被证明是降低DNN的计算和/或存储成本的有效方法。然而，量化位宽和最终精度之间的权衡是复杂的和非凸的，这使得难以直接优化。最小化系数数据的直接量化损失（DQL）是一种有效的局部优化方法，但以往的工作往往忽略了对DQL的精确控制，导致最终DNN模型精度损失较高。在本文中，我们提出了一个新的度量称为向量损失。基于这个新的度量，我们开发了一个新的量化解决方案称为VecQ，它可以保证最小的直接量化损失和更好的模型精度。此外，为了加快模型训练过程中提出的量化过程，我们通过参数化概率估计方法和基于模板的推导计算来加速量化过程。我们评估我们提出的算法MNIST，CIFAR，ImageNet，IMDB电影评论和THUCNews文本数据集与数值DNN模型。结果表明，我们提出的量化解决方案是更准确和有效的比国家的最先进的方法，但更灵活的位宽支持。此外，我们的量化模型的显着性目标检测（SOD）任务的评估保持可比的特征提取质量高达16 $\times$重量大小减少。
2020-06-10 cs.CV
Progressive Neural Image Compression with Nested Quantization and Latent Ordering
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通技术公司高通人工智能研究院）；University of California Irvine（加州大学欧文分校）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
我们提出了PLONQ，一种渐进式神经图像压缩方案，它通过允许使用单个比特流进行质量可伸缩编码来推动可变比特率压缩的边界。与现有的学习可变比特率解决方案（为每种质量产生单独的比特流）相比，它能够更容易地进行速率控制，并且需要更少的存储。利用基于潜在缩放的可变比特率解决方案，我们引入嵌套量化，一种用嵌套量化网格定义多个量化级别的方法，并从粗量化到最细量化级别逐步细化所有潜在值。为了在任何两个量化级别之间实现更精细的渐进性，潜在元素以速率失真意义上定义的重要性排序递增地细化。据我们所知，PLONQ是第一个基于学习的渐进图像编码方案，它优于SPIHT，一个著名的基于小波的渐进图像编解码器。
2021-02-04 cs.CV cs.LG
Octree-based Learned Point Cloud Geometry Compression: A Lossy Perspective
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
本文提出针对不同点云的有损压缩方法，针对物体点云改进叶节点压缩，针对LiDAR点云提出变率控制方法，实验显示方法在物体点云上表现更优，在LiDAR点云上实现约1%的比特误差。
2026-03-30 cs.CV
ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization
Tsinghua University（清华大学）；State Key Laboratory of Space Network and Communications（空间网络与通信国家重点实验室）
提出一种基于残差向量量化的轻量级渐进式生成图像压缩方法ProGIC，通过逐级量化残差实现粗到细重建和渐进比特流，在保持感知质量的同时显著提升编码解码速度。
2026-05-22 cs.CV
Device Interoperability for Learned Image Compression with Weights and Activations Quantization
Huawei Technologies（华为技术有限公司）
基于学习的图像压缩已改进到在译码性能方面可优于例如HEVC及VVC等传统图像编解码器的水平。除了良好的压缩性能之外，设备互操作性对于要部署的压缩编解码器是必不可少的，即，在不同CPU或GPU上的编码和解码应该是无错误的，并且性能降低可以忽略不计。在本文中，我们提出了一种方法来解决一个国家的最先进的图像压缩网络的设备互操作性问题。我们对输出熵参数的熵网络进行量化。我们提出了一种简单的方法，可以确保跨平台的编码和解码，并可以实现快速与微小的性能偏差，0.3%BD率，从浮点模型的结果。
2022-12-02 cs.CV eess.IV
Clustered Codebook Quantization for 2D Gaussian-based Image Compression
University College London（伦敦大学学院）；NVIDIA（英伟达）
研究基于高斯的图像压缩中率失真问题，提出聚类引导向量量化（CGVQ）方法，通过在量化前划分高斯参数为同质组，提高压缩效率和参数重建准确性，实验显示该方法使bpp降低20%且视觉质量相当。
2026-07-08 cs.CV cs.GR
Post-Training Quantization for Cross-Platform Learned Image Compression
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
已经证明，学习的图像压缩已经优于传统的图像编码技术，并且在工业应用中趋于实用。需要考虑的最关键问题之一是非确定性计算，这使得概率预测跨平台不一致，并阻碍成功解码。我们建议通过引入成熟的训练后量化并使模型推理仅为整数算术来解决这个问题，这比目前现有的基于训练和微调的方法简单得多，但仍然保持了学习图像压缩的优越率失真性能。在此基础上，我们进一步改进了熵参数的离散化，并将确定性推理推广到高斯混合模型。利用我们提出的方法，当前最先进的图像压缩模型可以以跨平台一致的方式进行推断，这使得学习图像压缩的进一步发展和实践更具前景。
2022-11-30 cs.CV eess.IV
Learning Optimal Lattice Vector Quantizers for End-to-end Neural Image Compression
Shanghai Jiao Tong University（上海交通大学）；Southwest Jiaotong University（西南交通大学）
本文针对神经图像压缩中传统格型矢量量化对真实潜分布非自适应的问题，提出基于样本统计学习率失真最优格型矢量量化码本的方法，在保持标量量化计算效率的同时显著提升率失真性能。
2026-11-05 cs.CV eess.IV
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.（三星半导体公司系统芯片研发部）
在本文中，我们研究了通过权重量化和无损信源编码对深度神经网络（DNN）进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码，我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是，我们研究了DNN的通用随机格量化，它在格量化之前通过均匀随机抖动来随机化DNN权重，并且可以在任何源上执行接近最佳的操作，而无需依赖于其概率分布的知识。此外，我们提出了一种微调矢量量化DNN的方法，以恢复量化后的性能损失。我们的实验结果表明，所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet（在CIFAR-10上训练）和AlexNet（在ImageNet上训练）。
2019-02-21 cs.CV cs.LG cs.NE
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
Sony Semiconductor Israel（索尼半导体以色列）
本文提出MLoRQ方法，通过两阶段优化为Transformer各层分配低秩和量化参数，在内存限制下实现最优压缩，性能提升达15%。
2025-07-13 cs.CV cs.LG
Channel-Level Variable Quantization Network for Deep Image Compression
The University of Tokyo（东京大学）；Hitachi Ltd（日立有限公司）
深度图像压缩系统主要包括四个部分：编码器、量化器、熵模型和解码器。为了优化这四个分量，提出了一个联合率失真框架，许多基于深度神经网络的方法在图像压缩中取得了巨大的成功。然而，几乎所有基于卷积神经网络的方法都平等地对待通道特征映射，降低了处理不同类型信息的灵活性。在本文中，我们提出了一个通道级可变量化网络，动态分配更多的比特率的重要通道和撤回比特率的可忽略的通道。具体来说，我们提出了一个可变量化控制器。它由两个关键组件组成：通道重要性模块，可以在训练过程中动态学习通道的重要性，以及分裂合并模块，可以为不同的通道分配不同的比特率。我们也将量化器公式化为高斯混合模型的方式。定量和定性实验验证了该模型的有效性，并表明我们的方法取得了优越的性能，可以产生更好的视觉重建。
2020-07-15 cs.CV eess.IV
Deep Learning-based Image Compression with Trellis Coded Quantization
Simon Fraser University（西蒙弗雷泽大学）；University of Manitoba（曼尼托巴大学）
最近，许多工作尝试开发基于深度学习架构的图像压缩模型，其中均匀标量量化器（SQ）通常被应用于编码器和解码器之间的特征映射。在本文中，我们提出将网格编码量化器（TCQ）纳入基于深度学习的图像压缩框架。应用软到硬策略以允许在训练期间进行反向传播。我们开发了一个简单的图像压缩模型，该模型由三个子网络（编码器，解码器和熵估计）组成，并以端到端的方式优化所有组件。我们在两个高分辨率的图像数据集上进行了实验，结果都表明我们的模型在低比特率下可以达到优异的性能。我们还展示了TCQ和SQ之间的比较，基于我们提出的基线模型，并证明了TCQ的优势。
2020-01-26 cs.CV eess.IV
GANCompress: GAN-Enhanced Neural Image Compression with Binary Spherical Quantization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对高压缩比下感知质量保持等神经图像压缩难题，提出融合二值球面量化与GAN的GANCompress框架，在多项基准上实现性能与速度的新突破，可应用于实时视觉通信。
2025-05-19 cs.CV eess.IV
LVQAC: Lattice Vector Quantization Coupled with Spatially Adaptive Companding for Efficient Learned Image Compression
Shanghai Jiao Tong University（上海交通大学）；McMaster University（麦 master 大学）
提出一种格矢量量化与空间自适应压扩（LVQAC）方案，替代均匀量化器，在几乎不增加复杂度的情况下提升端到端图像压缩的率失真性能。
2026-06-23 cs.CV eess.IV
Vector Quantization using the Improved Differential Evolution Algorithm for Image Compression
Jadavpur University（贾达普大学）
矢量量化（VQ）是一种流行的图像压缩技术，具有解码结构简单、压缩比高等优点。码书设计是矢量量化中最关键的部分。传统的矢量量化码本生成方法LBG的PSNR值较低。码书的好坏直接影响到图像压缩的质量，因此选择合适的码书是一个必不可少的环节。为了提高图像压缩的质量，已经提出了几种全局码书生成的优化技术。本文提出了一种新的算法IDE-LBG，它将改进的差分进化算法与LBG相结合来产生最优的矢量量化码本。建议的IDE的工作优于传统的DE的比例因子和边界控制机制的修改。IDE通过有效探索和利用搜索空间生成更好的解决方案。然后将IDE获得的最佳最优解作为LBG的初始码本。这种方法产生了一个高效的码本，计算时间更少，结果包括优秀的PSNR值和高质量的重建图像。据观察，与IPSO-LBG、BA-LBG和FA-LBG相比，所提出的IDE-LBG找到更好的VQ码本。
2017-10-15 cs.CV cs.MM cs.NE
Image Compression and Watermarking scheme using Scalar Quantization
QISCET（奎塞特学院）；BEC（贝帕特拉工程学院）；JNTU, Kakinada（卡基纳达贾瓦哈拉尔·尼赫鲁技术大学）
提出了一种新的基于Contourlet变换（CT）的压缩技术和图像水印算法.对于图像压缩，使用基于能量的量化。研究了标量量化的图像水印算法。CT采用双滤波器组结构。拉普拉斯金字塔（LP）用于捕获点不连续性，然后由方向滤波器组（DFB）连接点不连续性。LP分解图像的下采样低通版本的系数以预定方式重新排序，并且预测算法用于减少熵（比特/像素）。另外，基于特定频带中的能量来量化CT的系数。该算法的优越性JPEG观察减少块效应。并与小波变换（WT）的结果进行了比较。当图像包含更多轮廓时，观察到CT对WT的优先性。水印图像嵌入到轮廓波分解的低通图像中。水印的提取误差最小。在峰值信噪比方面，水印图像的视觉质量是例外的。该算法对多种图像攻击具有较好的鲁棒性，适合于版权保护应用。
2010-03-29 cs.CV cs.MM
Quantization-aware Matrix Factorization for Low Bit Rate Image Compression
KU Leuven（鲁汶大学）；Stanford University（斯坦福大学）
提出量化感知矩阵分解（QMF）用于低比特率图像压缩，将量化集成到低秩近似中，在低于0.25 bpp时优于JPEG，并提升分类准确率超5%。
2025-03-27 cs.CV eess.IV math.OC
Compression for Better: A General and Stable Lossless Compression Framework
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
本文提出LLC框架，通过总微分界定压缩邻域和边界，实现无损模型压缩，提升效率并保持性能。
2025-12-23 cs.AI cs.CV
Incremental Color Quantization for Color-Vision-Deficient Observers Using Mobile Gaming Data
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
压缩图像的大小取决于其空间分辨率（像素数）和颜色分辨率（颜色量化级别数）。我们介绍DaltonQuant，这是一种用于图像压缩的新颜色量化技术，云服务可以将其应用于针对具有已知色觉缺陷的特定用户的图像。DaltonQuant以用户特定但可逆的方式改进压缩，从而提高用户的网络带宽和数据存储效率。DaltonQuant量化图像数据，以解决用户特定的颜色感知异常，使用一种新的增量颜色量化方法，该方法基于从流行的手机游戏中获得的大量色觉敏锐度数据。当这些图像必须传输给不同的用户时，托管图像的服务器可以恢复DaltonQuant的图像重新量化和压缩，使该技术能够大规模部署。我们评估了DaltonQuant在柯达PC参考图像集上的压缩性能，并表明它比最先进的压缩器TinyPNG和pngquant提高了额外的22%-29%的压缩。
2018-03-22 cs.CV cs.CY cs.HC
STanH : Parametric Quantization for Variable Rate Learned Image Compression
提出基于双曲正切参数和的可微量化器STanH，通过将其作为可微激活层插入预训练固定码率模型并微调，实现可变码率图像压缩，在保持效率的同时显著降低部署、训练和存储成本。
2024-10-12 cs.CV cs.MM
MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization
Zhejiang University（浙江大学）
提出MVQ方法，结合N:M剪枝与掩码k-means量化重要权重，在EWS加速器上实现稀疏脉动阵列，提升能效2.3倍并减少55%阵列尺寸。
2024-12-16 cs.AR cs.CV
DynaQuant: Dynamic Mixed-Precision Quantization for Learned Image Compression
针对学习型图像压缩（LIC）静态统一位宽量化无法适应数据分布的问题，提出DynaQuant动态混合精度量化框架，通过内容感知量化和动态位宽选择器实现R-D性能与效率的平衡，推动先进LIC的实际部署。
2025-11-11 cs.CV eess.IV
Wavelet Feature Maps Compression for Image-to-Image CNNs
Ben-Gurion University（本-古里安大学）
众所周知，卷积神经网络（CNN）需要大量的计算资源，量化是压缩它们的最好和最常用的方法之一。虽然积极的量化（即，小于4比特）对于分类表现良好，但它可能在诸如语义分割和深度估计的图像到图像任务中导致严重的性能降级。在本文中，我们提出了小波压缩卷积（WCC）-一种新的方法，用于高分辨率激活映射压缩集成逐点卷积，这是现代架构的主要计算成本。为此，我们使用一个高效的和硬件友好的Haar小波变换，其有效性在图像压缩，并定义压缩激活映射的卷积。我们尝试了从高分辨率输入中受益的各种任务。通过将WCC与轻量化相结合，我们实现了相当于1- 4位激活量化的压缩率，同时性能下降相对较小且更加优雅。我们的代码可在https://github.com/BGUCompSci/WaveletCompressedConvolution上获得。
2022-10-16 cs.CV cs.LG eess.IV
Interleaved Block-based Learned Image Compression with Feature Enhancement and Quantization Error Compensation
School of software, Shandong University（山东大学软件学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；School of Engineering and Sustainable Development, De Montfort University（德蒙福特大学工程与可持续发展学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Telecommunications Engineering, Xidian University（西安电子科技大学通信工程学院）
针对学习型图像压缩中潜在表示紧凑性不足、量化误差影响大的问题，提出特征提取、细化、增强及量化误差补偿四个模块，集成到Tiny-LIC后在多个数据集的PSNR和MS-SSIM指标上优于现有方法与标准。
2025-02-21 cs.CV eess.IV
Quantization Guided JPEG Artifact Correction
JPEG图像压缩算法是最流行的图像压缩方法，因为其具有大压缩比的能力。然而，为了实现这种高压缩，信息丢失。对于激进的量化设置，这会导致图像质量明显降低。在深度神经网络的背景下，已经研究了一段时间的模糊校正，但是目前最先进的方法需要为每个质量设置训练不同的模型，这极大地限制了它们的实际应用。我们解决这个问题，通过创建一个新的架构，这是参数化的JPEG文件的量化矩阵。这使得我们的单个模型能够在针对特定质量设置训练的模型上实现最先进的性能。
2020-07-16 cs.CV cs.LG eess.IV
