Local Orthogonal Decomposition for Maximum Inner Product Search
Google Research（谷歌研究院）
倒排文件和非对称距离计算（IVFADC）已成功地应用于近似最近邻搜索和随后的最大内积搜索。在这样的框架中，矢量量化用于粗分割，而乘积量化用于量化残差。在原始IVFADC及其所有变体中，在计算残差之后，第二产生量化步骤完全独立于第一矢量量化步骤。在这项工作中，我们试图利用这两个步骤之间的连接，当我们执行非穷举搜索。更具体地说，我们将残差矢量局部分解为两个正交分量，并分别对每个分量进行均匀量化和多尺度量化。所提出的方法，称为局部正交分解，结合多尺度量化一致地实现更高的召回率比以前的方法在相同的比特率。我们在大规模数据集上进行了全面的实验以及详细的消融测试，证明了我们的方法的有效性。
2019-03-25 cs.LG stat.ML
JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates
Meta AI
提出JacQuant框架，通过学习模型对参数变化的局部敏感性的轻量级替代，在不使用直通估计器的情况下稳定和加速量化感知训练，在低比特大语言模型上达到更高精度。
2026-05-25 cs.LG
Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
混合精度量化（MPQ）中离散搜索空间呈指数级增大，使得每层的最优位宽难以确定。以前的工作通常在训练集上采用迭代搜索方法，这会消耗数百甚至数千个GPU小时。在这项研究中，我们揭示了一些独特的学习量化参数，即量化器中的比例因子，可以作为一个层的重要性指标，反映了该层的贡献，在某些位宽的最终精度。这些重要性指标在量化感知训练期间自然感知数值变换，其可以精确地提供层的量化敏感性度量。然而，深度网络总是包含数百个这样的指标，逐个训练它们会导致过多的时间成本。为了克服这个问题，我们提出了一个联合训练计划，可以一次获得所有指标。它通过并行化原始的顺序训练过程，大大加快了指标训练过程。有了这些学习的重要性指标，我们制定的MPQ搜索问题作为一个一次性的整数线性规划（ILP）问题。这避免了迭代搜索并且显著地减少了搜索时间而不限制位宽搜索空间。例如，使用我们的指标在ResNet18上进行MPQ搜索仅需0.06 s，与迭代搜索方法相比，这将成倍提高时间效率。此外，大量的实验表明，我们的方法可以在ImageNet上实现SOTA精度，用于具有各种约束的大范围模型（例如，BitOps，压缩率）。代码可在https://github.com/1hunters/LIMPQ上获得。
2023-03-05 cs.CV cs.LG
Learned transform compression with optimized entropy encoding
Geneva School of Business Administration（日内瓦商学院）；HES-SO University of Applied Sciences of Western Switzerland（瑞士西部应用科学与艺术大学）
我们考虑学习变换压缩的问题，在这里我们学习离散码的变换和概率分布。我们利用软松弛的量化操作，以允许反向传播的梯度和采用矢量（而不是标量）量化的潜在代码。此外，我们在代码概率分配中应用类似的松弛，从而能够直接优化代码熵。据我们所知，这种方法是完全新颖的。我们进行了一组概念验证实验，证实了我们的方法的效力。
2021-05-04 cs.LG
Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization
Doctoral School of Applied Informatics and Applied Mathematics, Obuda University（应用信息学与应用数学博士学校，奥布达大学）；John von Neumann Faculty of Informatics, Obuda University（约翰·冯·诺伊曼信息学系，奥布达大学）
针对大语言模型量化中激活值量化困难的问题，提出基于分位数鲁棒的缩放策略和梯度优化的通道尺度学习，在W4A4量化下显著降低误差。
2026-06-07 cs.AI cs.CL cs.LG
QFT: Post-training quantization via fast joint finetuning of all degrees of freedom
Hailo（海洛科技）
训练后量化（PTQ）的挑战是使量化的神经网络精度接近原始精度，这一挑战受到了行业需求的广泛关注。许多方法强调对特定自由度（DoF）的优化，例如量化步长，预处理因子，偏置固定，通常在多步解决方案中与其他解决方案链接。在这里，我们重新考虑量化网络参数化的硬件感知方式，对所有量化自由度的统一分析，允许第一次联合端到端微调。我们的单步简单和可扩展的方法，被称为量化感知微调（QFT），实现4位权重量化结果与SoTA在PTQ的速度和资源的限制。
2022-12-05 cs.CV cs.LG stat.ML
SpinQuant: LLM quantization with learned rotations
Meta
本文提出 SpinQuant，通过学习可在全精度 Transformer 中保持等价输出的旋转矩阵消除异常值，显著提升 LLM 的权重、激活与 KV 缓存 4 位量化精度。
2025-02-20 cs.AI cs.CL cs.CV
DeepHQ: Learned Hierarchical Quantizer for Progressive Deep Image Coding
Electronics and Telecommunications Research Institute（电信与信息通信研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Telecommunications Research Institute（电信研究 institute）
针对渐进式图像编码中手工量化层级导致压缩效率次优的问题，提出基于神经网络的学习型分层量化方法DeepHQ，通过为各层学习量化步长并引入选择性压缩，显著提升了编码效率，同时降低了解码时间与模型大小。
2025-11-03 cs.AI cs.LG eess.IV
Optimizing Learned Image Compression on Scalar and Entropy-Constraint Quantization
Fraunhofer Institute for Telecommunications – Heinrich Hertz Institute（弗劳恩霍夫电信研究所——海因里希·赫兹研究所）；Institute of Computer Science（计算机科学研究所）；Free University of Berlin（柏林自由大学）；Department of Telecommunication Systems（电信系统系）
针对学习型图像压缩中量化近似失配问题，提出端到端训练后基于真实量化隐变量的微调步骤，在不增加推理复杂度的情况下提升标量与熵约束压缩性能。
2025-06-10 cs.AI cs.IT cs.LG
Autoencoder based image compression: can the learning be quantization independent?
INRIA Rennes Bretagne-Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
本文探讨了通过自编码器学习图像压缩变换的问题。通常，图像压缩的率失真性能通过改变量化步长来调节。在自动编码器的情况下，这原则上需要在给定的量化步长下学习每个率失真点的一个变换。在这里，我们表明，可比的性能可以获得一个独特的学习变换。然后通过在测试时间改变量化步长来达到不同的率失真点。这种方法节省了大量的训练时间。
2018-02-23 cs.LG eess.IV eess.SP
One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training
Northeastern University（东北大学）；NanJing Tech University（南京工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对传统损失感知量化训练中梯度误差引发的锯齿状振荡拖慢收敛的问题，提出前进一步再回溯的方法，通过前向搜索试验梯度调整当前梯度方向再回溯更新权重，有效提升了模型收敛性能与方法竞争力。
2024-01-30 cs.LG
Improving Approximate Optimal Transport Distances using Quantization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；INRIA（法国国家信息与自动化研究所）；IBM Watson AI Lab（IBM沃森人工智能实验室）
最优传输（OT）是机器学习中一种常用的几何比较概率度量的工具，但它带来了大量的计算负担。用于计算OT距离的线性规划算法在输入的大小上按立方缩放，使得OT在大样本范围内不切实际。我们引入了一个实用的算法，它依赖于一个量化的步骤，以估计成本低廉的样本访问措施之间的OT距离。我们还提供了我们的算法的一个变种，以提高近似求解器的性能，专注于那些熵正则化运输。我们给出了理论上的保证，这个量化步骤的好处，并显示实验表明，它在实践中表现良好，提供了一个实用的近似算法，可用于作为一个下拉式替代现有的OT估计。
2022-03-23 cs.LG stat.ML
Learning under Quantization for High-Dimensional Linear Regression
The University of Hong Kong（香港大学）
本文研究了在高维线性回归中量化对学习性能的影响，通过分析不同量化方式的噪声放大和谱扭曲，提出了精确的风险界并比较了加法与乘法量化的效果。
2026-02-16 cs.AI cs.LG stat.ML
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
当权重和激活被量化为低精度整数时，基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术，但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响，并提出了一种减小熵编码损失的方法。它示出，通过使用某种类型的编码参数学习，均匀量化成为实际上最佳的，也简化了代码存储器的要求最小化。文中给出了新表示的数学性质，并通过编码实验证明了其有效性，结果表明，在每个网络输出的精度低至4~bits时，可以获得良好的结果，而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Theoretical Interpretation of Learned Step Size in Deep-Unfolded Gradient Descent
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
深度展开是一种很有前途的深度学习技术，其中迭代算法被展开为具有可训练参数的深度网络架构。在梯度下降算法的情况下，作为训练过程的结果，人们经常观察到收敛速度随着学习到的非恒定步长参数的加速，其行为不是直观的，也不是从传统理论可解释的。在本文中，我们提供了一个理论解释的学习步长深度展开梯度下降（DUGD）。我们首先证明了DUGD的训练过程不仅降低了均方误差损失，而且降低了与收敛速度相关的谱半径。接下来，我们表明，最小化的谱半径的上界自然会导致切比雪夫步骤，这是一个序列的步长基于切比雪夫多项式。数值实验证实，Chebyshev步骤定性地再现学习步长参数DUGD，这提供了一个合理的解释学习参数。此外，我们表明，切比雪夫步骤实现的一阶方法在一个特定的限制，没有学习参数或动量项的收敛速度的下限。
2020-01-30 cs.LG math.OC stat.ML
Residual Quantization with Implicit Neural Codebooks
FAIR at Meta（Meta FAIR实验室）；Eindhoven University of Technology（埃因霍温理工大学）
针对传统残差量化未考虑误差与已选码字依赖的问题，提出基于前序近似构建步骤专用码本的神经残差量化方法QINCo，在多个数据集上以更小码长实现更优的最近邻搜索精度。
2024-05-21 cs.LG
Asymmetric Learned Image Compression with Multi-Scale Residual Block, Importance Map, and Post-Quantization Filtering
Simon Fraser University（西蒙弗雷泽大学）；Google Inc.（谷歌公司）
近年来，基于深度学习的图像压缩取得了显著的进展，在主观指标和更具挑战性的客观指标上都取得了比最新的传统方法H. 266/VVC更好的率失真（R-D）性能。然而，一个主要的问题是，许多领先的学习计划不能保持良好的性能和复杂性之间的权衡。在本文中，我们提出了一个高效和有效的图像编码框架，它实现了类似的R-D性能，比现有技术的复杂度低。首先，我们开发了一种改进的多尺度残差块（MSRB），可以扩大接收域，更容易获得全局信息。它可以进一步捕获和减少潜在表征的空间相关性。其次，引入了一种更先进的重要性映射网络，以自适应地将比特分配到图像的不同区域。第三，在视频编码的采样自适应偏移（SAO）滤波器的启发下，我们应用了一个二维后量化滤波器（PQF）来减少量化误差。另外，我们还发现编码器和解码器的复杂度对图像压缩性能的影响是不同的。基于这一观察，我们设计了一个非对称的范例，其中编码器采用三个阶段的MSRB，以提高学习能力，而解码器只需要一个阶段的MSRB，以产生令人满意的重建，从而降低解码的复杂度，而不重复性能。实验结果表明，与现有方法相比，该方法的编解码时间提高了约17倍，而在Kodak和Tecnick数据集上的R-D性能仅降低了不到1%，仍优于H.266/VVC（4：4：4）等基于学习的方法.我们的源代码可在https://github.com/fengyurenpingsheng上公开获取。
2022-06-21 cs.IT cs.LG eess.IV
Quadapter: Adapter for GPT-2 Quantization
Qualcomm AI Research（高通人工智能研究院）
Transformer语言模型（如GPT-2）很难建模，因为激活中的异常值会导致较大的量化误差。为了适应错误，必须使用量化感知训练，这需要基于与原始模型相同的数据集和训练管道进行微调。然而，预训练的语言模型通常不允许访问其数据集和训练管道，迫使我们依赖任意的模型进行微调。在这种情况下，可以观察到量化感知训练使模型过度拟合微调数据。对于没有过拟合的量化，我们引入了一个量化适配器（Quadapter），这是一个小的参数集，可以通过按通道缩放来使激活量化友好。保持模型参数不变。通过将我们的方法应用于量化GPT-2的挑战性任务，我们证明了它有效地防止了过拟合，提高了量化性能。
2022-11-30 cs.LG
Deep Unfolding with Kernel-based Quantization in MIMO Detection
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对MIMO检测中深度展开模型量化部署的性能下降问题，提出基于核的自适应量化框架，通过KDE与MMD对齐激活分布、动态调整量化步长，提升了量化精度并降低推理延迟。
2025-05-19 cs.LG
OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning
School of ECE, Ben-Gurion University of the Negev（巴伊·谢瓦巴伊·甘犹大学电子工程学院）
针对异构联邦学习中固定格量化次优的问题，提出在线学习自适应格框架OLALa，允许客户端通过轻量计算在线调整量化器并仅交换紧凑参数，在理论上收紧收敛界，实验证明其在各量化率下均优于传统方案。
2025-06-25 cs.LG eess.SP
Quantization Networks
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；University of Southern California（南加州大学）
虽然深度神经网络非常有效，但其高计算和存储成本严重挑战了其在便携式设备上的应用。因此，将全精度神经网络转换为低位宽整数形式的低比特量化一直是一个活跃且有前途的研究课题。现有的方法将网络的低比特量化表示为近似或优化问题。基于近似的方法面临梯度失配问题，而基于优化的方法仅适用于量化权重，并且在训练阶段会引入较高的计算成本。在本文中，我们提出了一个新的角度来解释和实现神经网络量化制定低比特量化作为一个可微的非线性函数（称为量化函数）。所提出的量化函数可以以无损和端到端的方式学习，并且以简单和统一的方式适用于神经网络的任何权重和激活。对图像分类和目标检测任务的大量实验表明，我们的量化网络优于最先进的方法。我们相信，所提出的方法将揭示新的见解神经网络量化的解释。我们的代码可在https://github.com/aliyun/alibabacloud-quantization-networks上获得。
2019-11-28 cs.CV cs.LG stat.ML
MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；PengCheng Laboratory（鹏城实验室）
MergeQuant提出逐通道静态量化框架，通过量化步骤迁移消除动态量化开销，并结合维度重建与自适应裁剪，在4位量化下显著缩小精度差距并实现最高2.06倍端到端加速。
2025-03-07 cs.LG
Efficient Generative Modeling with Residual Vector Quantization-Based Tokens
NVIDIA（英伟达）；KRAFTON
提出ResGen，一种基于RVQ的高效生成模型，通过直接预测集体标记嵌入使推理步数与量化深度无关，结合离散扩散与变分推断实现多标记预测，在图像生成和语音合成任务中优于自回归模型且不牺牲采样速度。
2025-06-02 cs.LG
QuSecNets: Quantization-based Defense Mechanism for Securing Deep Neural Network against Adversarial Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；National University of Sciences and Technology (NUST)（国立科技大学）
对抗性样本已经成为机器学习算法的一个重大威胁，特别是对卷积神经网络（CNN）。在本文中，我们提出了两种基于量化的防御机制，常数量化（CQ）和可训练量化（TQ），以提高CNN对对抗性示例的鲁棒性。CQ基于“固定”数量的量化级别量化输入像素强度，而在TQ中，量化级别“在训练阶段迭代学习”，从而提供更强的防御机制。我们将所提出的技术应用于不设防的CNN，以对抗来自开源\textit{Cleverhans}库的不同最先进的对抗攻击。实验结果表明，在\textit{Cleverhans}库中可用的常用CNN（Conv 2D（64，8x8）-Conv 2D（128，6x6）-Conv 2D（128，5x 5）- Dense（10）- Softmax（））上，分别从MNIST和CIFAR-10数据集生成的扰动图像的分类准确度提高了50%-96%和10%-50%。
2020-05-14 cs.CR cs.LG stat.ML
any4: Learned 4-bit Numeric Representation for LLMs
FAIR at Meta（Meta 的 FAIR）
any4 是一种无需预处理的4位学习型权重量化方法，在多种 LLM 上优于 int4、fp4、nf4 且与 AWQ、GPTQ 相当，并支持单样本校准及更低比特扩展。
2025-07-07 cs.AI cs.LG
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
EPFL（洛桑联邦理工学院）；Advanced Micro Devices, Inc.（超威半导体公司）
研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。
2026-07-24 cs.CV cs.LG
Bit-Accurate FPGA Evaluation of Learned Feature Gating in a Fixed-Point Fourier-Feature Automatic Modulation Classifier
研究在定点傅里叶特征自动调制分类器中学习特征门控的效果，通过特定架构和训练方法，在FPGA上评估其对分类准确率及硬件资源的影响，发现学习门控增加成本且未提升准确率。
2026-07-28 cs.LG
Quantization of Spiking Neural Networks Beyond Accuracy
Worcester Polytechnic Institute（沃斯特理工大学）
研究探讨了脉冲神经网络量化中行为保持与精度的关系，提出EMD作为评估指标，发现统一量化会导致分布偏移，而学习量化能保持行为。
2026-04-15 cs.LG
Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
高维模型通常具有较大的内存占用量，并且必须在训练后进行量化，然后才能部署在资源受限的边缘设备上进行推理任务。在这项工作中，我们开发了一个信息理论框架的问题量化的线性回归从训练数据$(\mathbf{X}, \mathbf{y})$，一些基本的统计关系$\mathbf{y} = \mathbf{X}\boldsymbolθ + \mathbf{v}$。作为潜在参数$\boldsymbolθ \in \mathbb{R}^d$的估计的学习模型被约束为仅使用$Bd$位可表示，其中$B \in (0, \infty)$是预先指定的预算，并且$d$是维度。我们推导出一个信息理论下界的极大极小风险在此设置下，并提出了一个匹配的上限使用随机嵌入为基础的算法，这是紧到常数因子。下限和上限一起表征实现与未量化设置相当的性能风险所需的最小阈值比特预算。我们还提出了随机Hadamard嵌入，计算效率高，是最佳的一个温和的对数因子的下限。我们的模型量化策略可以推广，我们通过将方法和上限扩展到非线性回归的双层ReLU神经网络来展示其有效性。数值模拟表明，我们提出的计划，以及它的接近下界的改善性能。
2022-08-30 cs.IT cs.LG eess.SP
DMQ: Dissecting Outliers of Diffusion Models for Post-Training Quantization
KAIST（韩国科学技术院）
本文提出DMQ方法，通过结合学习等效缩放与逐通道二的幂次缩放，并引入自适应时间步加权和投票算法，有效解决扩散模型训练后量化中的离群值问题，在低位宽下显著提升图像生成质量与稳定性。
2025-07-17 cs.AI cs.CV cs.LG
DyQ-VLA: Temporal-Dynamic-Aware Quantization for Embodied Vision-Language-Action Models
本文提出DyQ-VLA，通过动态量化框架解决视觉-语言-动作模型在时序动态敏感性和实时分配上的问题，实现内存占用降低30.9%且性能保持99.5%，在仿真和现实场景中分别获得1.49倍和1.43倍的速度提升。
2026-10-06 cs.LG cs.RO
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
PoTPTQ: A Two-step Power-of-Two Post-training for LLMs
McGill University, Canada（麦吉尔大学）；Huawei Noah's Ark Lab, Canada（华为诺亚实验室）；Mila – Quebec AI Institute, Canada（魁北克AI研究院）
提出一种用于LLM权重的二次幂量化框架及两步训练后算法，在2-3位低精度下超越现有准确率，并通过高效反量化在GPU上实现显著推理加速。
2025-07-16 cs.AI cs.CL cs.LG
MPQ-Diff: Mixed Precision Quantization for Diffusion Models
University of Neuchâtel（纳沙泰尔大学）
针对扩散模型采样时间长的问题，提出混合精度量化方案MPQ-Diff，基于层间相关性为各层权重和激活分配不同位宽，在LSUN和ImageNet上显著提升FID指标，有效加速采样并保持图像质量。
2024-11-28 cs.CV cs.LG
Two-Step Sound Source Separation: Training on Learned Latent Targets
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila--Quebec Artificial Intelligence Institute（Mila-魁北克人工智能研究所）；Adobe Research（Adobe研究院）
在本文中，我们提出了一个两步的训练过程，通过深度神经网络的声源分离。在第一步中，我们学习到潜在空间的变换（并且它是逆变换），其中使用oracle的基于掩蔽的分离性能是最佳的。对于第二步，我们训练一个分离模块，该模块在先前学习的空间上操作。为了做到这一点，我们还利用了一个尺度不变的信号失真比（SI-SDR）的损失函数，在潜在的空间，我们证明了它下界SI-SDR在时域。我们运行各种声音分离实验，展示了这种方法如何获得更好的性能相比，学习变换和分离模块联合系统。所提出的方法是通用的，足以适用于一个大类的神经网络端到端的分离系统。
2019-10-23 cs.CL cs.LG cs.SD
Frame Quantization of Neural Networks
University of Maryland（马里兰大学）
本研究提出一种基于框架理论的带误差估计的神经网络训练后量化算法，采用一阶Sigma-Delta量化处理权重与偏置，推导误差界并利用框架冗余提升量化网络精度。
2024-04-11 cs.IT cs.LG math.IT
Preserving Updates in Low-Bit Recurrent State Quantization
The Chinese University of Hong Kong（香港中文大学）
针对循环状态量化的误差累积问题，提出LRB与BDR方法，在门控DeltaNet等模型上，无训练方法性能优于INT4，内存减5.3倍、解码速提1.9倍。
2026-10-14 cs.CL cs.LG
SQ-DM: Accelerating Diffusion Models with Aggressive Quantization and Temporal Sparsity
University of Michigan（密歇根大学）；NVIDIA（英伟达）
针对扩散模型推理慢的问题，提出对权重和激活值进行激进量化并利用时间稀疏性，设计了异构混合精度密集-稀疏架构的加速器，在保持4比特生成质量的同时实现6.91倍加速与51.5%节能。
2025-01-26 cs.AI cs.AR cs.CV
Individualized non-uniform quantization for vector search
IBM（IBM公司）
本文提出NVQ非均匀向量量化方法，通过为每个向量单独学习简约高效的非线性量化器，在高保真条件下以极低计算成本提升向量搜索准确率。
2025-09-22 cs.IR cs.LG
SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization
Sony Group Corporation（索尼集团公司）；Sony Corporation of America（美国索尼公司）
矢量量化变分自编码器（VQ-VAE）的一个值得注意的问题是，学习的离散表示仅使用码本的全部容量的一部分，也称为码本塌陷。我们假设VQ-VAE的训练方案，其中涉及一些精心设计的技巧，是这个问题的基础。在本文中，我们提出了一种新的训练方案，扩展了标准的VAE通过新的随机去量化和量化，称为随机量化的变分自编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段量化是随机的，但逐渐向确定性量化收敛，我们称之为自退火。我们的实验表明，SQ-VAE提高码本利用率，而不使用常见的算法。此外，我们的经验表明，SQ-VAE是优于VAE和VQ-VAE在视觉和言语相关的任务。
2022-06-09 cs.CV cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）
在本文中，我们压缩卷积神经网络（CNN）的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计，从而在给定的量化比特率下产生次优的CNN性能，或者仅在训练期间考虑它们的联合统计，并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换（解相关）和重构，以在任何给定的量化比特率下提高压缩。变换量化将量化和降维（去相关）技术统一在一个框架中，以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论，并将最佳量化作为率失真优化问题。然后，我们表明，这个问题可以解决使用最佳的位深度分配后，解相关的最佳端到端学习变换（ELT），我们在本文中推导出。实验表明，变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地，我们发现具有再训练的变换量化能够将CNN模型（例如AlexNet、ResNet和DenseNet）压缩到非常低的比特率（1-2比特）。
2021-11-07 cs.CV cs.IT cs.LG
HQNAS: Auto CNN deployment framework for joint quantization and architecture search
Tsinghua University（清华大学）；Institute of Microelectronics, Tsinghua University（清华大学微电子学研究所）
随着嵌入式计算系统的快速发展，深度学习应用正从云端向边缘转移。为了在有限的资源预算下实现更高的能量效率，神经网络（NN）必须从结构设计和量化策略选择两个步骤进行精心设计。在将NN部署到嵌入式设备上时，已经分别提出了神经架构搜索（NAS）和量化。然而，单独采取这两个步骤是耗时的，并导致次优的最终部署。为此，我们提出了一种新的神经网络设计框架，称为硬件感知量化神经架构搜索（HQNAS）框架，它结合了NAS和量化在一起，在一个非常有效的方式，使用权重共享和比特共享。在CIFAR10上发现一个出色的NN策略只需要4个GPU小时。与传统NAS方法相比，在Imagenet上生成可比较的模型仅需%10 GPU时间，延迟减少1.8倍，准确性损失仅为0.7%。此外，我们的方法可以适用于终身的情况下，神经网络需要偶尔演变，由于本地数据，环境和用户偏好的变化。
2022-10-16 cs.AI cs.LG
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo（滑铁卢大学）
提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。
2026-06-05 cs.CL cs.LG
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
Google（谷歌公司）
针对高效网络混合精度激活量化中的比特选择不稳定问题，提出两阶段 MetaMix，通过混合精度感知权重更新与固定权重比特搜索实现快速高质量选位，并在 ImageNet 上超越 SOTA。
2024-04-09 cs.CV cs.LG
Genie: Show Me the Data for Quantization
Samsung Research（三星研究院）
本文提出零样本量化框架Genie，通过合成适合量化的数据并结合训练后量化算法，在数小时内获得无需真实数据且性能媲美少样本量化的鲁棒量化模型。
2023-08-08 cs.CV cs.LG
Grouped Sequency-arranged Rotation: Optimizing Rotation Transformation for Quantization for Free
Seoul National University（首尔国立大学）
针对LLMs在极低位宽量化下表现不佳的问题，提出免训练的分组序率排列旋转（GSR）方法，利用序率排序的Walsh-Hadamard变换减少量化误差并隔离异常值，在无需训练下达到优化方法相当性能。
2025-08-14 cs.AI cs.CL cs.LG
