On the Universal Approximability and Complexity Bounds of Quantized ReLU Neural Networks
University of Notre Dame（圣母大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
压缩是在资源受限的平台上部署大型神经网络的关键步骤。作为一种流行的压缩技术，量化限制了不同权重值的数量，从而减少了表示和存储每个权重所需的比特数。本文研究了量化神经网络的表示能力。首先，我们证明了量化ReLU网络在广泛的函数类上的通用逼近性。然后，我们提供了一个给定的近似误差界的权重和内存大小的数量上界和权重的位宽的功能独立和功能依赖的结构。我们的研究结果表明，要达到$ε$的近似误差界，量化网络所需的权重数不超过非量化网络的$\mathcal{O}\left(\log^5(1/ε)\right)$倍。该开销比误差界所需的权重数量的下限低得多，支持各种量化技术的经验成功。据我们所知，这是第一次深入研究量化神经网络的复杂性界限。
2019-01-12 cs.CV cs.LG
LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning
Southwestern University of Finance and Economics（西南财经大学）；Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province（四川省人工智能与数字金融重点实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与艺术大学（广州））；Sun Yat-sen University（中山大学）；Nanjing University（南京大学）
针对量化LLM微调中精度不匹配与自适应权重合并损失问题，本文提出LoTA-QAF，通过三值自适应、无损合并机制和t-SignSGD实现全量化权重调整，并在多个模型与任务上验证有效。
2025-09-28 cs.AI cs.LG
Training Quantized Deep Neural Networks via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）
这项工作考虑了一个具有挑战性的深度神经网络（DNN）量化任务，该任务旨在训练量化的DNN，而不涉及任何全精度操作。大多数以前的量化方法不适用于此任务，因为它们依赖于全精度梯度来更新网络权重。为了填补这一空白，在这项工作中，我们提倡使用进化算法（EA）来搜索DNN的最佳低位权重。为了有效地解决诱导的大规模离散问题，我们提出了一种新的EA合作协同进化的基础上，重复分组的网络权重的基础上，在其值的信心，并专注于优化的信心最小的。据我们所知，这是第一个工作，应用EA训练量化DNN。实验表明，我们的方法超越了以前的量化方法，可以训练一个4位的ResNet-20的Cifar-10数据集上具有相同的测试精度作为其全精度对应。
2022-05-23 cs.AI cs.LG cs.NE
Vertical Layering of Quantized Neural Networks for Heterogeneous Inference
The University of Hong Kong（香港大学）
尽管在用于有效推理的神经网络量化方面已经取得了相当大的进展，但是现有方法不能扩展到异构设备，因为需要针对一个特定硬件设置来训练、传输和存储一个专用模型，从而在模型训练和维护方面产生相当大的成本。在本文中，我们研究了一种新的垂直分层表示的神经网络的权重封装成一个单一的量化模型。有了这种表示，我们可以在理论上实现任何精确的网络按需服务，而只需要训练和维护一个模型。为此，我们提出了一个简单的一次量化感知训练（QAT）计划，以获得高性能的垂直分层模型。我们的设计采用了级联下采样机制，该机制允许我们通过逐步将较高精度的权重映射到相邻的较低精度权重，从一个全精度源模型中获得多个量化网络。然后，针对同一源模型的不同位宽的网络，采用多目标优化方法对共享源模型权值进行训练，使其能够同时更新，同时考虑所有网络的性能。通过这样做，共享权重将被优化以平衡不同量化模型的性能，从而使得权重在不同位宽之间可转移。实验结果表明，本文提出的垂直分层表示方法和一次QAT方法能够有效地将多个量化网络合并为一个网络，并允许一次训练，其性能与任何特定位宽的量化模型相当。代码将可用。
2022-12-10 cs.LG
QNNRepair: Quantized Neural Network Repair
The University of Manchester（曼彻斯特大学）；KU Leuven（鲁汶大学）；Federal University of Amazonas（亚马逊联邦大学）
QNNRepair是首个量化神经网络修复方法，通过软件故障定位识别问题神经元并将其转化为线性规划问题求解权重，在不影响通过测试的前提下修复失败测试性能，修复模型在独立验证集上比SQuant准确率高24%。
2023-09-10 cs.LG cs.NE
Properties that allow or prohibit transferability of adversarial attacks among quantized networks
Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS（弗劳恩霍夫开放通信系统研究所FOKUS）
本文研究量化网络间对抗样本的可迁移性，分析不同位宽、算法特性及架构容量差异的影响，发现量化降低可迁移性但部分攻击可增强其效果，且同网络量化版本间平均可迁移性可估计异构量化目标网络的迁移性能。
2024-05-15 cs.AI cs.LG
ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization
ReRound是一种后训练量化方法，通过条件扩散模型解决无校准LLM量化的中点歧义，在小型LLM的3、4比特量化上优于标准RTN，性能接近依赖校准方法且无额外推理开销。
2026-08-12 cs.CL cs.LG
AVQ-Attention: Adaptive Vector-Quantized Attention
QUVA Lab, University of Amsterdam（QUVA实验室，阿姆斯特丹大学）；AMLab, Informatics Institute, University of Amsterdam（AMLab，阿姆斯特丹大学信息学院）；AI4Science Lab, University of Amsterdam（AI4Science实验室，阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics, University of Amsterdam（科特韦格 - 德弗里斯数学研究所，阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究公司）；FunAI Lab, University of Technology Nuremberg（FunAI实验室，纽伦堡工业大学）
研究针对Transformer模型注意力机制计算瓶颈，提出自适应向量量化（AVQ）注意力，基于注意力重要性分配码本容量，前向传播识别重要代码并用子码字细化，开发相关实现，保持\(\mathcal{O}(MN)\)复杂度，提升精度-效率权衡。
2026-07-15 cs.CV cs.LG
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization
Rakuten Mobile, Inc.（乐天移动公司）
在低延迟或移动应用中，需要更低的计算复杂度、更低的存储器占用和更好的能量效率。许多先前的工作通过去除冗余参数来解决这一需求。参数量化用较低精度的定点运算取代浮点运算，进一步降低了复杂度。量化权重神经网络的典型训练从完全量化的权重开始。量化产生随机噪声。作为补偿这种噪声的一种方法，在训练过程中，我们建议在保持其他权重浮点精度的同时，增加一些权重。深度神经网络有很多层。为了得到一个完全量化的权重网络，我们从一个量化层开始，然后覆盖越来越多的层。我们表明，层量化的顺序影响精度。对于深度神经网络来说，订单数量很大。提出了一种灵敏度预训练来指导层量化顺序。最近在权重二值化方面的工作用加法代替了权重输入矩阵乘法。我们将所提出的迭代训练应用于权重二值化。我们的实验涵盖了MNIST、CIFAR-10和ImageNet数据集上的全连接和卷积网络。我们的经验表明，从部分二进制权重而不是从完全二进制权重开始，训练达到完全二进制权重网络，对于更大更深的网络具有更好的准确性。按前向顺序进行的层二值化导致更好的精度。引导层二值化可以进一步改善这一点。这些改进是以延长培训时间为代价的。
2021-11-13 cs.LG
A Survey on Methods and Theories of Quantized Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）
深度神经网络是许多现实世界任务的最先进方法，例如计算机视觉，自然语言处理和语音识别。尽管很受欢迎，但深度神经网络也因在训练和推理过程中消耗大量内存和耗尽设备电池寿命而受到批评。这使得很难在具有严格资源约束的移动或嵌入式设备上部署这些模型。量化被认为是满足深度神经网络模型所需的极端内存要求的最有效方法之一。量化表示不是采用32位浮点格式来表示权重，而是使用更紧凑的格式（如整数甚至二进制数）来存储权重。尽管预测性能可能下降，量化提供了一个潜在的解决方案，大大减少了模型的大小和能量消耗。在这篇综述中，我们对量化神经网络的不同方面进行了全面的回顾。最后讨论了量化神经网络目前面临的挑战和发展趋势。
2018-12-16 cs.LG cs.NE stat.ML
Improving Adversarial Robustness in Weight-quantized Neural Networks
Duke University（杜克大学）；Cadence Design Systems, Inc.（楷登电子设计系统公司）
如今，神经网络变得越来越深入，计算密集度越来越高。量化是在硬件平台上部署神经网络并以可忽略的性能损失节省计算成本的有用技术。然而，最近的研究表明，神经网络模型，无论是全精度还是量化的，都容易受到对抗攻击的攻击。在这项工作中，我们分析了对抗和量化损失，然后引入标准来评估它们。我们提出了一种基于边界的再训练方法，以减轻对抗和量化损失，并采用非线性映射方法来抵御白盒梯度的对抗攻击。评估表明，我们的方法可以更好地恢复量化后的准确性比其他基线方法的黑盒和白盒对抗攻击。研究结果还表明，对抗性训练存在量化损失，与其他训练方法不能很好地配合。
2021-01-23 cs.CR cs.LG
Low-Rank Correction for Quantized LLMs
Microsoft Research（微软研究院）
针对大语言模型训练后量化压缩的激活误差问题，提出添加全精度低秩权重矩阵的联合优化校正方法，在W4A4量化下可缩小甚至消除与原模型的准确率差距，已在多款主流LLM上验证。
2024-12-10 cs.LG stat.ML
Magic for the Age of Quantized DNNs
Tokyo Research Center, AISIN（爱信东京研究中心）；AISIN SOFTWARE（爱信软件公司）
针对DNN参数激增导致小规模计算机推理困难的问题，提出量化感知训练方法MaQD，通过引入Layer-Batch Normalization和缩放舍入-截断函数量化权重与激活函数，在最小精度损失下实现模型压缩。
2024-03-22 cs.AI cs.CV cs.LG
Quantized Neural Networks: Characterization and Holistic Optimization
Seoul National University（首尔国立大学）
量化深度神经网络（QDNN）对于低功耗、高吞吐量和嵌入式应用是必要的。以往的研究主要集中在开发优化方法的量化给定的模型。然而，量化灵敏度取决于模型架构。因此，模型选择需要成为QDNN设计过程的一部分。此外，权重和激活量化的特性也有很大的不同。该研究提出了一种优化QDNN的整体方法，其中包含QDNN训练方法以及量化友好的架构设计。合成数据用于可视化权重和激活量化的效果。结果表明，更深的模型更容易激活量化，而更广泛的模型提高弹性的重量和激活量化。这项研究可以为更好地优化QDNN提供见解。
2020-05-31 cs.LG stat.ML
Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection
Virginia Commonwealth University（弗吉尼亚联邦大学）
针对边缘设备实现自编码器异常检测的硬件资源限制问题，提出基于铁磁赛道磁畴壁突触的5态量化自编码器，通过硬件感知训练提升性能并减少权重更新，推动节能边缘实时检测处理器发展。
2023-09-12 cond-mat.mes-hall cs.LG cs.NE
QuRL: Efficient Reinforcement Learning with Quantized Rollout
NVIDIA Research（NVIDIA研究）
QuRL通过量化动作器和自适应截断范围技术，显著提升强化学习回滚效率，实现20%-80%的加速
2026-02-15 cs.LG
Direct Quantized Training of Language Models with Stochastic Rounding
The University of Tokyo（东京大学）；Fujitsu Limited（富士通有限公司）
本文提出直接更新量化低精度权重并采用随机舍入，无需直通估计，在LLaMA模型上实现高效训练，8位性能媲美BitNet b1.58，且支持三值推理。
2025-10-10 cs.CL cs.LG
BiQGEMM: Matrix Multiplication with Lookup Table For Binary-Coding-based Quantized DNNs
Samsung Research（三星研究院）
深度神经网络（DNN）中的参数数量正在迅速增加，以支持复杂的任务并提高模型精度。相应地，计算量和所需的内存占用也会增加。量化是通过压缩DNN来解决这些问题的有效方法，从而可以简化计算，同时显著减少所需的存储占用空间。不幸的是，商业CPU和GPU并不完全支持量化，因为只允许固定的数据传输（如32位）。因此，即使权重被量化为几位，CPU和GPU也无法在不浪费内存带宽的情况下访问多个量化的权重。因此，在实践中，量化的成功依赖于有效的计算引擎设计，特别是对于矩阵乘法，这是大多数DNN中的基本计算引擎。在本文中，我们提出了一种新的矩阵乘法方法，称为BiQGEMM，专用于量化DNN。BiQGEMM可以在一条指令中同时访问多个量化权重。此外，当量化导致有限的可用计算空间时，BiQGEMM预先计算高度冗余的中间结果。由于预先计算的值存储在查找表中并重复使用，BiQGEMM实现了较低的总计算量。我们广泛的实验结果表明，BiQGEMM提出了更高的性能比传统的方案时，DNN的量化。
2020-08-31 cs.LG stat.ML
Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
提出统一几何框架解释后训练量化失败与量化感知训练恢复机制，揭示量化感知训练通过梯度感知谷壁使量化点返回低损失盆地。
2026-06-08 cs.AI cs.LG math.OC
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance
AMD（超威半导体）
我们引入了一个量化感知的训练算法，保证避免数值溢出时，减少推理过程中的精度的迭代。我们利用权重归一化作为在训练过程中使用我们推导出的累加器位宽界限来约束参数的一种手段。我们评估我们的算法在多个量化的模型，我们训练不同的任务，表明我们的方法可以降低精度的预测，同时保持模型的精度相对于浮点基线。然后，我们表明，这种减少转化为定制的基于FPGA的加速器的设计效率提高。最后，我们表明，我们的算法不仅限制权重，以适应用户定义的位宽的累加器，但也增加了稀疏性和压缩性的权重。在我们所有使用8位权重和激活训练的基准模型中，我们观察到，将量化神经网络的隐藏层限制为适合16位卷积，平均稀疏度为98.2%，估计压缩率为46.5倍，同时保持99.2%的浮点性能。
2023-01-31 cs.AI cs.AR cs.CV
Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
该研究提出将神经网络压缩为种子与量化潜变量的千字节模型，基于映射网络实现权重再生，在保持准确率的同时大幅减少存储字节，适用于带宽受限的部署场景。
2026-08-04 cs.LG
ECO: Quantized Training without Full-Precision Master Weights
Google Research（谷歌研究）；ISTA
ECO通过直接在量化参数上应用更新，消除了主权重带来的内存开销，实现了在保持精度的同时提升内存效率。
2026-01-29 cs.AI cs.CL cs.LG
Quantized Proximal Averaging Network for Analysis Sparse Coding
Indian Institute of Science（印度科学学院）
我们解决了分析稀疏编码问题，考虑到凸和非凸稀疏促进处罚的组合。多罚制定的结果在一个迭代算法，涉及近似平均。然后，我们将迭代算法展开为一个可训练的网络，便于学习稀疏性先验。我们还考虑了网络权重的量化。量化使神经网络在推理期间的内存和计算方面都变得高效，并且还使它们与低精度硬件部署兼容。我们的学习算法基于ADAM优化器的变体，其中量化器是前向传递的一部分，并且在对高精度权重进行簿记的同时，对损失函数的梯度进行对应于量化权重的评估。我们展示了压缩图像恢复和磁共振图像重建的应用程序。所提出的方法提供了优越的重建精度和质量比国家的最先进的展开技术和性能退化是最小的，即使当权重受到极端量化。
2021-05-13 cs.CV cs.LG
MOGNET: A Mux-residual quantized Network leveraging Online-Generated weights
CEA-LETI
该研究提出面向资源受限硬件的 MOGNET，通过卷积分解、元胞自动机在线生成权重、多路复用残差与三值化训练，在低于 2Mb 内存预算下实现最高 1% 的准确率提升。
2025-01-16 cs.AR cs.LG
Quantized Distributed Training of Large Models with Convergence Guarantees
Institute of Science and Technology Austria（奥地利科学技术研究所）；CNRS（法国国家科学研究中心）；IRIF（法国信息与自动化研究所）；Université Paris Cité（巴黎西岱大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
通信缩减技术是提高深度神经网络（DNN）数据并行训练可扩展性的一种流行方法。最近出现的大语言模型，如GPT，需要新的方法来利用数据并行。其中，全分片数据并行（FSDP）训练非常受欢迎，但它仍然遇到可扩展性瓶颈。一个原因是将压缩技术应用于FSDP具有挑战性：由于绝大多数通信涉及模型的权重，直接压缩会改变收敛并导致精度损失。我们提出了QSDP，FSDP的一个变种，它支持梯度和权重量化与理论保证，是简单的实现，基本上没有开销。为了得到QSDP，我们证明了SGD的自然修改实现收敛，即使我们只保持量化的权重，因此，我们训练的域由量化点组成，因此，高度非凸。我们通过在多节点集群上训练具有多达13亿个参数的GPT系列模型来验证这种方法。实验表明，QSDP保留了模型的准确性，同时完全消除了FSDP的通信瓶颈，提供了高达2.2倍的端到端加速比。
2023-02-05 cs.LG
MKQ-BERT: Quantized BERT with 4-bits Weights and Activations
Tencent AIPD（腾讯人工智能平台部）
近年来，基于预训练的Transformer语言模型（如BERT）在许多自然语言处理（NLP）任务中表现出了比传统方法更大的优越性。然而，部署这些模型的计算成本在资源受限的设备上是过高的。减轻这种计算开销的一种方法是将原始模型转换为更少的位表示，并且先前的工作已经证明，我们最多可以将BERT的权重和激活都转换为8位，而不会降低其性能。在这项工作中，我们提出了MKQ-BERT，它进一步提高了压缩水平，并使用4位量化。在MKQ-BERT中，我们提出了一种新的方法来计算量化尺度的梯度，并结合了先进的蒸馏策略。一方面，我们证明了MKQ-BERT优于现有的BERT量化方法，在相同的压缩水平下，实现了更高的精度。另一方面，我们是第一个成功部署4位BERT并实现端到端加速推理的工作。我们的研究结果表明，我们可以实现5.3倍的位减少而不会降低模型的准确性，并且在基于Transformer的模型中，一个int 4层的推理速度比float 32层快15倍。
2022-03-25 cs.LG
Model compression as constrained optimization, with application to neural nets. Part II: quantization
University of California, Merced（加州大学默塞德分校）
我们考虑通过量化进行深度神经网络压缩的问题：给定一个大的参考网络，我们希望使用具有$K$条目的码本来计算其实值权重，以便量化网络的训练损失最小。对于二值化或三值化方法，码本可以最佳地与网络联合学习，或者固定。以前的工作已经量化了参考网络的权重，或者在反向传播算法中引入了舍入操作，但这并不能保证收敛到损失最优的量化网络。我们描述了一种新的方法的基础上，最近提出的框架模型压缩约束优化\citep{Carreir17a}。这导致了一个简单的迭代“学习-压缩”算法，该算法交替学习连续权重的网络的步骤和量化（或二进制化/三进制化）权重的步骤，并且保证收敛到量化网络的损失的局部最优值。我们开发的自适应码本或（部分）固定码本的算法。后者包括二值化、三值化、二的幂和其他重要的特殊情况。我们的实验表明，我们可以实现更高的压缩率比以前的量化工作（即使只使用1位每重量），可以忽略不计的损失退化。
2017-07-13 cs.LG cs.NE math.OC
Minimum Energy Quantized Neural Networks
KU Leuven（鲁汶大学）
这项工作的目标是使用低精度权重和激活的量化神经网络（QNN）网络的自动最小能量优化。这些网络以任意固定点精度从头开始训练。在等精度下，使用更少比特的QNN需要比使用更高精度算子的网络更深更宽的网络架构，同时它们需要更少复杂的算术和更少的比特/权重。这种基本的权衡被分析和量化，以找到任何基准的最小能量QNN，从而优化能源效率。为此，推理的能量消耗建模的通用硬件平台。这允许在不同的基准上得出几个结论。首先，能量消耗在等精度下根据QNN中使用的比特数而变化数量级。其次，在一个典型的系统中，BinaryNets或int 4实现导致最小的能量解决方案，在等精度下优于int 8网络2- 10倍。用于QNN训练的所有代码可从https://github.com/BertMoons获得。
2017-11-23 cs.AR cs.LG cs.NE
A Mean Field Theory of Quantized Deep Networks: The Quantization-Depth Trade-Off
Technion（以色列理工学院）；Columbia University（哥伦比亚大学）
降低神经网络训练中权重和激活函数的精度，同时对性能的影响最小，对于在资源受限的环境中部署这些模型至关重要。我们应用平均场技术与量化的激活网络，以评估在初始化时的量化降低信号传播的程度。我们推导出初始化方案，最大限度地提高在这样的网络中的信号传播，并建议为什么这是有帮助的推广。在这些结果的基础上，我们得到了$L_{\max}$的封闭形式隐式方程，最大可训练深度（因此模型容量），给定$N$，激活函数中的量化水平的数量。数值求解该方程，我们渐近地得到：$L_{\max}\propto N^{1.82}$。
2019-10-31 cs.LG stat.ML
Scaling Laws for Post Training Quantized Large Language Models
d-Matrix（d-Matrix公司）；Yale University（耶鲁大学）
针对LLMs后训练压缩质量不可预测的问题，本研究通过多LLM家族、多低精度类型及流行量化技术的实证研究，识别局部损失景观相关缩放因子，提出可预测量化LLMs性能的统计模型。
2024-12-05 cs.CL cs.LG
Training Quantized Nets: A Deeper Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Cornell University（康奈尔大学）
目前，深度神经网络部署在低功耗便携式设备上，首先使用强大的硬件训练全精度模型，然后导出相应的低精度模型，用于在这种系统上进行有效推理。然而，直接使用粗略量化的权重训练模型是在计算资源、内存容量和功耗有限的嵌入式平台上学习的关键一步。最近有许多出版物研究了训练量化网络的方法，但这些研究大多是经验性的。在这项工作中，我们调查的量化神经网络的训练方法从理论的观点。我们首先探讨了凸性假设下训练方法的精度保证。然后，我们研究了这些算法在非凸问题上的行为，并表明利用高精度表示的训练算法具有纯粹量化训练方法所缺乏的重要贪婪搜索阶段，这解释了使用低精度算法进行训练的困难。
2017-11-13 cs.CV cs.LG stat.ML
Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks
Zhejiang University（浙江大学）；China Research and Development Academy of Machinery Equipment（中国机械科学研究总院集团有限公司）
量化神经网络（QNN）可以用于神经网络的加速和压缩，但在训练过程中，它们提出了一个挑战：如何通过图流传播损失函数的梯度，几乎处处导数为0。针对这种不可微的情况，我们提出了一种新的渐近量化估计（AQE）来估计梯度。特别地，在反向传播期间，将输入与输出相关联的图保持平滑性和可微性。在训练结束时，由于AQE的渐近行为，权重和激活已被量化为低精度。同时，我们提出了一个M-bit输入和N-bit权重网络（MINW-Net），该网络由AQE训练，AQE是一个具有1-3位权重和激活的量化神经网络。在推理阶段，我们可以使用XNOR或XNOR操作来代替卷积操作来加速MINW-Net。我们在CIFAR数据集上的实验表明，我们的AQE是定义良好的，与AQE的QNN性能优于直通估计（STE）。例如，在具有1位权重和激活的相同ConvNet的情况下，我们具有AQE的MINW-Net可以实现比具有STE的二进制神经网络（BNN）高1.5%的预测精度。MINW-Net是由AQE从头开始训练的，可以在CIFAR测试集上实现与32位对等体相当的分类精度。在ImageNet数据集上的大量实验结果表明，所提出的AQE具有很大的优越性，我们的MINW-Net与其他最先进的QNN取得了相当的结果。
2020-03-04 cs.CV cs.LG
QUEST: Quantized embedding space for transferring knowledge
University of Crete（克里特大学）；Sorbonne University（索邦大学）
知识蒸馏是指通过从高容量的教师网络学习来训练紧凑的学生网络以实现更好的准确性的过程。现有的大多数知识蒸馏方法通过匹配教师的输出、特征图或它们的分布来引导学生跟随教师。在这项工作中，我们提出了一种新的方法来实现这一目标：通过量化空间提取知识。根据我们的方法，教师的特征图被量化，以表示包含在特征图中的主要视觉概念。然后，学生被要求预测量化的表示，从而形成了学生用来向老师学习的任务。尽管它的简单性，我们表明，我们的方法是能够产生的结果，提高最先进的知识蒸馏。为此，我们在几种网络架构和最常用的基准数据集上进行了广泛的评估。
2020-07-17 cs.CV cs.LG
Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
Hong Kong Baptist University（香港 Baptist 大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出量化零阶优化方法，通过消除梯度和优化器状态来减少内存使用，实现4位LLM在24GB GPU上高效微调。
2026-02-12 cs.CL cs.CV cs.LG
BatchQuant: Quantized-for-all Architecture Search with Robust Quantizer
Apple（苹果公司）
随着深度学习模型在边缘设备上的应用加速增长，快速适应具有不同资源约束的各种场景已成为模型部署的关键方面。因此，具有自适应配置的模型优化策略变得越来越流行。虽然单次量化神经架构搜索在模型架构和量化策略方面都具有灵活性，但组合搜索空间带来了许多挑战，包括训练权重共享超网时的不稳定性以及难以导航指数增长的搜索空间。现有的方法倾向于将架构搜索空间限制为一小组选项，或者将量化策略搜索空间限制为固定精度策略。为此，我们提出了BatchQuant，这是一种强大的量化器配方，可以快速稳定地训练紧凑，单次，混合精度，权重共享的超网。我们采用BatchQuant来训练一个紧凑的超网（提供超过$10^{76}$量化的超网），比以前的方法在更少的GPU时间。我们的方法，量化的所有（QFA），是第一个无缝扩展一杆权重共享NAS超网，以支持任意超低位宽混合精度量化策略的重复训练。QFA为联合硬件感知神经架构搜索和量化开辟了新的可能性。我们证明了我们的方法在ImageNet上的有效性，并在低复杂度约束（$<20$ MFLOPs）下实现了SOTA Top-1的准确性。代码和模型将在https://github.com/bhpfelix/QFA上公开提供。
2021-05-19 cs.CV cs.LG
A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
机器学习社区对神经网络的能量效率越来越感兴趣。脉冲神经网络（SNN）是一种有前途的节能计算方法，因为其激活水平被量化为时间稀疏的一位值（即，“尖峰”事件），其另外将重量-活动乘积的总和转换成重量的简单相加（每个尖峰一个重量）。然而，在将非尖峰网络转换为SNN时保持最先进（SotA）精度的目标仍然是一个难以捉摸的挑战，主要是由于尖峰只有一位精度。采用信号处理的工具，我们铸造的神经激活函数的量化器与时间扩散的误差，然后训练网络，同时顺利地插入之间的非尖峰和尖峰制度。我们将这种技术应用于Legendre Memory Unit（LMU），以获得混合SNN在准确性方面优于SotA递归架构（包括LSTM，GRU和NRU）的第一个已知示例，同时将活动平均减少到最多3.74位，每个权重乘以1.26个有效位。我们将讨论这些方法如何显著提高神经网络的能量效率。
2021-03-01 cs.LG q-bio.NC stat.ML
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research（三星研究院）
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用，因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法，研究人员对最小化表示参数的比特数感兴趣。在这项工作中，我们引入了一种迭代技术来应用量化，呈现高压缩比，而无需对训练算法进行任何修改。在所提出的技术中，权重量化之后是用全精度权重重新训练模型。我们表明，迭代再训练产生新的权重集，可以量化，在每次迭代减少量化损失。我们还表明，量化能够有效地利用修剪，另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明，使用1位量化权重的LSTM模型对于PTB数据集是足够的，而没有任何准确性下降，而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
Fast Matrix Multiplications for Lookup Table-Quantized LLMs
Massachusetts Institute of Technology（麻省理工学院）；High School of Mathematics Plovdiv（普罗夫迪夫数学中学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（派图公司）
针对查找表量化大语言模型推理的内存带宽瓶颈与高性能内核开发难题，本文提出FLUTE引擎，通过权重离线重构、查找表向量化复制等优化，实现比现有GEMM内核2-4倍的速度提升，并应用于LLaMA3量化获得1.5-2倍端到端吞吐量提升。
2025-01-17 cs.CL cs.DC cs.LG
FQ-Conv: Fully Quantized Convolution for Efficient and Accurate Inference
IMEC（比利时微电子研究中心）；KU Leuven（鲁汶大学）
深度神经网络（DNN）可以通过降低网络权重和激活的数值精度以及提高网络对噪声的弹性来实现硬件高效。然而，这种效率的提高往往是以显著降低精度为代价的。本文提出了一种新的量化卷积神经网络的方法。由此产生的网络以低精度执行所有计算，而不需要更高精度的BN和非线性，同时仍然具有高度准确性。为了实现这一结果，我们采用了一种新的量化技术，该技术可以在训练过程中学习优化网络的权重和激活。此外，为了增强训练收敛性，我们使用了一种新的训练技术，称为渐进量化。我们利用量化函数的非线性和归一化行为来有效地从网络中去除更高精度的非线性和BN。由此产生的卷积层从输入到输出都被完全量化到低精度，非常适合边缘上的神经网络加速器。我们在不同的数据集和网络上展示了这种方法的潜力，表明具有低精度输入和输出的三重CNN的性能几乎与其全精度等价物相当。最后，我们分析了噪声对权值、激活和卷积输出（乘-累加，MAC）的影响，并提出了一种策略来提高网络在噪声条件下的性能。
2019-12-19 cs.LG stat.ML
Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse
Technion - Israel Institute of Technology（以色列理工学院）
量化神经网络（QNN）作为深度神经网络的计算复杂性和存储强度的解决方案正在被积极研究。这引发了开发算法的努力，这些算法支持使用量化的权重和激活值进行推理和训练，而不会牺牲准确性。最近的一个例子是用于三进制（TNN）和二进制（BNN）神经网络随机训练的GXNOR框架。在本文中，我们将展示如何使用磁性隧道结（MTJ）器件来支持QNN训练。我们介绍了一种新的硬件突触电路，使用MTJ的随机行为，以支持的更新。所提出的电路能够处理QNN训练的近记忆（PNM），从而减少数据移动。我们在MNIST、SVHN和CIFAR 10数据集上模拟了基于MTJ的TNN随机训练，分别达到了98.61%、93.99%和82.71%的准确率（与GXNOR算法相比，下降不到1%）。我们评估了突触阵列的性能潜力，并表明所提出的突触电路可以原位训练三元网络，前馈18.3TOPs/W和3 TOPs/W的权重更新。
2022-05-29 cs.AR cs.ET cs.LG
VC dimension of partially quantized neural networks in the overparametrized regime
University of Michigan（密歇根大学）
Vapnik-Chervonenkis（VC）理论至今无法解释过参数化神经网络的小泛化误差。事实上，VC理论在大型网络中的现有应用获得了与权重数量成比例的VC维度上界，并且对于一大类网络，这些上界已知是紧的。在这项工作中，我们专注于一类部分量化的网络，我们称之为超平面排列神经网络（HANNs）。使用一个样本压缩分析，我们表明，HANNs可以有VC维显着小于权重的数量，同时具有高度的表达能力。特别是，经验风险最小化超过HANNs在overparametrized制度实现了极大极小率与Lipschitz后验概率分类。我们进一步证明了经验的表达HANNs。在121个UCI数据集的面板上，过度参数化的HANN与最先进的全精度模型的性能相匹配。
2021-10-06 cs.LG stat.ML
Assigning Distinct Roles to Quantized and Low-Rank Matrices Toward Optimal Weight Decomposition
Department of Computer Science, Yonsei University（yonsei大学计算机科学系）；Department of Artificial Intelligence, Yonsei University（yonsei大学人工智能系）；Department of Electronic & Electrical Convergence Engineering, Hongik University（hongik大学电子与电气融合工程系）
本文提出 ODLRI 方法，让低秩分量专门捕捉激活敏感权重以减轻离群值对量化的影响，从而在多个 Llama 和 Mistral 模型上实现更优的量化与低秩联合分解，提升低位压缩下的困惑度和零样本准确率。
2025-06-02 cs.AI cs.CL cs.LG
Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；George Mason University（乔治梅森大学）；Florida International University（佛罗里达国际大学）
最先进的DNN结构涉及密集的计算和高内存存储。为了缓解这些挑战，忆阻器交叉阵列已经成为DNN应用的内在合适的矩阵计算和低功耗加速框架。然而，忆阻器交叉阵列架构上的极端模型压缩的高精度解决方案仍在等待解开。在本文中，我们提出了一种基于忆阻器的DNN框架，该框架通过结合交替方向乘法器（ADMM）算法将结构化权重修剪和量化相结合，以获得更好的修剪和量化性能。我们还发现了ADMM解决方案的非最优权修剪和未使用的数据路径结构化修剪模型。受这些发现的启发，我们设计了一个软硬件协同优化框架，其中包含第一个提出的网络净化和未使用的路径删除算法，目标是在ADMM步骤之后对结构化修剪模型进行后处理。通过将忆阻器硬件约束纳入我们的整个框架，我们在最先进的神经网络结构上实现了极高的压缩比，同时精度损失最小。对于量化结构化修剪模型，我们的框架在将权重量化为8位忆阻器权重表示后几乎没有精度损失。我们在匿名链接https://bit.ly/2VnMUy0上分享我们的模型。
2019-08-27 cs.AR cs.ET cs.LG
Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling
Department of EECS, University of California, Irvine, USA（加州大学尔湾分校电子工程与计算机科学系）；Google（谷歌）
针对RoPE位置插值与训练后量化结合导致精度下降的问题，本文提出轻量的Q-ROAR权重重缩放方法，可在无微调、无额外开销的情况下显著降低长上下文困惑度并保留短上下文性能。
2025-09-26 cs.AI cs.LG
Gradient-Free Training of Quantized Neural Networks
Technion – Israel Institute of Technology（技术离子-以色列理工学院）；Technical University of Munich（慕尼黑技术大学）；Bosch Centre for Artificial Intelligence（博世人工智能中心）
针对量化网络训练依赖高成本梯度优化的问题，提出无梯度启发式框架，证明无梯度权重优化为NP-hard，并以更低能耗和参数更新达到接近全精度梯度训练的性能。
2025-09-29 cs.AI cs.LG
Oscillation-free Quantization for Low-bit Vision Transformers
Hong Kong University of Science and Technology（香港科技大学）；Reality Labs, Meta Inc（Meta公司现实实验室）
本文针对低位视觉Transformer量化训练中的权重振荡问题，提出StatsQ、CGA和QKR三种技术，在ImageNet上显著提升2位DeiT模型的精度。
2023-06-02 cs.AI cs.AR cs.CV
Training Quantized Neural Networks to Global Optimality via Semidefinite Programming
Stanford University（斯坦福大学）
神经网络（NN）在机器学习的许多任务中都非常成功。神经网络权重的量化由于其对能量效率、推理时间和硬件部署的影响而成为一个重要的课题。虽然后训练量化是很好的研究，训练最佳量化神经网络涉及组合非凸优化问题，似乎难以解决。在这项工作中，我们引入了一个凸优化策略，训练量化的神经网络与多项式激活。我们的方法利用了最近文献中的两层神经网络中的隐藏凸性，半定提升和Grothendieck恒等式。令人惊讶的是，我们表明，某些量化的神经网络问题可以解决的全局最优多项式时间的所有相关参数，通过半定松弛。我们提出的数值例子来说明我们的方法的有效性。
2021-05-05 cs.LG stat.ML
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
University of Washington（华盛顿大学）；HSE University（高等经济大学）；Yandex（扬德克斯）；Skoltech（斯科尔科沃科学技术研究院）；IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；NeuralMagic（神经魔法公司）
本文提出 SpQR 稀疏量化格式，通过隔离高精度异常权重并将其余权重量化至 3–4 比特，实现跨规模 LLM 近无损压缩与超过 4 倍内存节省。
2023-06-05 cs.CL cs.LG
On Orthogonal Recurrent Neural Networks Quantization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；UPS IMT；Institut de Recherche Technologique Saint Exupéry（圣埃克苏佩里技术研究院）
本文针对正交循环神经网络难以部署在紧凑设备的问题，提出量化近似正交循环神经网络，通过结合量化感知训练与正交投影学习权重，并对激活值进行训练后量化，在4比特量化下仍能取得与全精度模型相近的性能。
2026-10-26 cs.AI cs.LG cs.NE
Fitting ReLUs via SGD and Quantized SGD
University of Southern California（南加利福尼亚大学）
在本文中，我们专注于寻找最浅的神经网络的最佳权重的问题，由一个单一的整流线性单元（ReLU）。这些函数具有$\mathbf{x}\rightarrow \max(0,\langle\mathbf{w},\mathbf{x}\rangle)$的形式，其中$\mathbf{w}\in\mathbb{R}^d$表示权重向量。我们专注于种植模型，其中输入是独立同分布选择的。从高斯分布，并根据种植的权重向量生成标签。我们首先表明，小批量随机梯度下降，适当初始化时，以几何速度收敛到种植模型的样本数是最佳的数值常数。接下来，我们将重点放在并行实现中，在每次迭代中，小批量梯度以分布式方式跨多个处理器计算，然后广播到主处理器或所有其他处理器。为了降低这种设置中的通信成本，我们利用量化随机梯度方案（QSGD），其中部分梯度被量化。也许出乎意料的是，我们表明，QSGD保持SGD的快速收敛到全局最优模型，同时显着降低通信成本。我们通过各种实验进一步证实了我们的数值发现，包括Amazon EC2上的分布式实现。
2019-04-01 cs.DC cs.IT cs.LG
CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs
深度神经网络（DNN）在认知应用方面取得了巨大的成功。DNN中的核心操作是量化输入和权重之间的点积。先前的工作利用由于量化而产生的权重/输入重复来避免卷积神经网络（CNN）中的冗余计算。然而，在本文中，我们表明，当应用于最先进的DNN中常用的全连接（FC）层时，它们的有效性受到严重限制，就像现代递归神经网络（RNN）和Transformer模型一样。为了提高FC计算的能量效率，我们提出了CREW，一个硬件加速器，实现计算重用和有效的权重存储机制，以利用FC层中大量的重复权重。CREW首先将唯一权重乘以其各自的输入，并将结果存储在片内缓冲器中。存储要求是适度的，因为与卷积层相比，唯一权重的数量很少，输入的大小相对较小。接下来，CREW通过获取和添加所需的产品来计算每个输出。为此，每个权重都由唯一产品缓冲区中的索引离线替换。索引通常小于量化权重，因为每个输入的唯一权重的数量往往远低于量化权重的范围，这降低了存储和内存带宽要求。总的来说，CREW大大减少了乘法的数量，并在模型内存占用和内存带宽使用方面提供了显著的节省。我们在一组不同的现代DNN上评估CREW。平均而言，CREW提供了2.61倍的加速比和2.42倍的节能比。与最先进的计算重用技术UCNN相比，CREW平均实现了2.10倍的加速和2.08倍的节能。
2022-03-11 cs.AR cs.LG
Efficient VQ-QAT and Mixed Vector/Linear quantized Neural Networks
Tianrun Gou, Puneet Gupta, Fellow, IEEE（田-run 郭, Puneet Gupta, IEEE会士）
本文提出三种向量量化模型权重压缩技术，通过余弦相似度分配和Top-1采样优化，减少代码书坍塌并支持端到端训练，同时利用可微神经架构搜索自适应选择量化配置，提升压缩效果。
2026-04-25 cs.AR cs.LG
TinySubNets: An efficient and low capacity continual learning strategy
本文提出TinySubNets（TSN）持续学习策略，通过结合不同稀疏度剪枝、自适应量化与权重共享，有效解决模型容量饱和问题，在准确率和容量利用率上均优于现有最先进方法。
2025-09-13 cs.AI cs.LG
Quantized Delta Weight Is Safety Keeper
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Jinan University（暨南大学）
针对专有语言模型微调的高资源需求与安全风险，本文评估部分压缩方法对安全的影响，发现量化增量权重的部分压缩可在效用损失不足10%时大幅降低对齐破坏、后门攻击等安全风险。
2024-11-29 cs.AI cs.CR cs.LG
