Quantization in Layer's Input is Matter
Daning Cheng, WenGuang Chen
在本文中，我们将证明在层的输入量化比参数的量化更重要的损失函数。基于层输入量化误差的算法优于基于海森的混合精度布局算法。
In this paper, we will show that the quantization in layer's input is more important than parameters' quantization for loss function. And the algorithm which is based on the layer's input quantization error is better than hessian-based mixed precision layout algorithm.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
LoaQ: Layer-wise Output Approximation Quantization
LoaQ通过引入输出匹配因素，改进了基于层级的后训练量化方法，提升了模型量化质量并具有简洁的闭式解。
Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization
本文提出激活去噪的并行量化方法，通过鲁棒性正则化模拟串行量化优势，在保持并行高效的同时减少误差累积，显著提升LLM量化精度与速度。
CoopQ: Cooperative Game Inspired Layerwise Mixed Precision Quantization for LLMs
CoopQ通过合作博弈理论优化层间交互，实现低比特精度下的大语言模型高效混合量化，显著降低困惑度。
QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs
提出QTALE框架，通过多样化训练路径和后训练调整机制，实现令牌自适应层执行与量化的无缝集成，在保持精度的同时降低计算和内存开销。
Exploring Neural Networks Quantization via Layer-Wise Quantization Analysis
量化是高效部署深度学习模型的重要步骤，因此是一个越来越受欢迎的研究主题。在当前文献中没有解决的一个重要的实际方面是如何分析和修复使用量化导致过度降级的失败情况。在本文中，我们提出了一个简单的分析框架，将整体退化分解为每层贡献。我们分析了许多常见的网络，并观察到一个层的贡献是由内在（本地）因素-层的权重和激活的分布-和外在（全局）因素与其他层的相互作用。现有量化方案的逐层分析揭示了现有技术的局部故障情况，这些故障情况在检查其整体性能时没有反映出来。作为一个例子，我们考虑ResNext 26，SoTA后训练量化方法在其上表现不佳。我们发现，几乎所有的退化源于一个单一的层。相同的分析还允许局部修复-仅对该层应用公共权重裁剪启发式算法将降级降至最低，而全局应用相同的启发式算法会导致高度降级。更一般地说，逐层分析允许对量化如何影响网络进行更细致的检查，从而能够设计出性能更好的方案。
LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss
本文提出LAQuant，通过分层前瞻损失和推理领域校准，解决量化中的精度与速度问题，提升推理性能并加快解码速度。
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
针对量化感知训练中激进量化损害性能的问题，提出Q-PACE方法，通过二阶敏感性模型动态分配层精度，在低内存预算下保持损失性能，并在40亿参数LLM上验证其有效性。
FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration
FireQ提出INT4-FP8混合量化框架与专用矩阵乘法内核，结合离群值平滑和RoPE感知缩放策略，在Llama模型上实现显著推理加速且精度损失极小。
Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization
提出一种融合 Hessian 二阶信息与层间依赖的混合精度 PTQ 方法，通过二分搜索在可接受精度损失内优化精度-延迟权衡。
Adaptive Layer-Wise Transformations for Post-Training Quantization of Large Language Models
本文提出自适应层级变换方法，通过优化每层变换类型，提升大语言模型在低比特量化下的性能。
Neural Networks with Quantization Constraints
在资源和延迟受限的设置中，有必要在不显著降低性能的情况下实现深度学习模型的低精度实现。此外，利用对跨层量化的敏感性的差异可以允许混合精度实现来实现相当好的计算性能权衡。然而，通过量化操作的反向传播需要引入梯度近似，并且由于大的搜索空间，对于现代架构来说，选择哪些层进行迭代是具有挑战性的。在这项工作中，我们提出了一种约束学习方法，量化意识的培训。我们制定低精度监督学习作为一个约束优化问题，并表明，尽管它的非凸性，所产生的问题是强对偶，并取消梯度估计。此外，我们表明，对偶变量表示的敏感性的约束扰动的目标。我们证明了所提出的方法在图像分类任务中表现出有竞争力的性能，并利用灵敏度结果来应用基于对偶变量值的层选择性量化，从而导致相当大的性能改进。
CALM: A CKA-Guided Adaptive Layer-Wise Modularization Framework for LLM Quantization
CALM提出一种基于CKA的自适应层级模块化框架，通过独立评估各层最佳量化策略，提升LLM量化效果。
Layerwise Error Attribution for Fast and Robust Mixed-Precision Post-Training Quantization
本文提出一种基于分层概率误差分析的可分离评分方法，用于快速鲁棒的混合精度训练后量化，在去噪和扩散模型上匹配或超越现有基线，并显著提升对损坏校准的鲁棒性。
Trainable Bitwise Soft Quantization for Input Feature Compression
本文提出了一种可训练的位级软量化层，用于压缩神经网络输入特征，通过Sigmoid函数近似阶跃函数，实现高效且准确的量化，从而在保持精度的同时显著减少数据传输量。
InfoQ: Mixed-Precision Quantization via Global Information Flow
本文提出InfoQ框架，通过全局信息流评估层敏感性，以训练无关的方式优化混合精度量化，提升模型压缩效率和精度。
A Layer Importance Metric for Quantization Accounting for the Speed-Quality Trade-off in Autoregressive Models
针对内存有限设备上的自回归小型语言模型，提出结合信息保留与吞吐量增益的复合层重要性度量，可调整速度-质量权衡，预测加速比误差约4%，性能优于部分同类方法。
Layer-Wise High-Impact Parameter Ratio Optimization in Post-Training Quantization for Large Language Models
本文提出了一种分层高影响参数比率优化方法，通过二次优化框架确定各层的高影响参数比例，以提升大语言模型后训练量化的效率与精度。
RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions
本文提出了一种新的深度神经网络（DNN）量化框架，即RMSMP，采用了行混合方案和多精度方法。具体来说，这是第一次在层内分配混合量化方案和多个精度-在DNN权重矩阵的行之间，以简化硬件推理中的操作，同时保持准确性。此外，本文提出了一个不同的观察，从以前的工作，量化误差不一定表现出逐层的敏感性，实际上可以减轻，只要在每一层的权重的某一部分是在较高的精度。这种观察使硬件实现中的逐层均匀性能够保证推理加速，同时仍然享受混合方案的逐行灵活性和多个精度以提高准确性。该方法采用高度硬件信息化的策略，有效地减少了问题的搜索空间，从而得到了实用有效的方案和精度候选。通过离线确定所有层的不同量化方案和精度的比率，RMSMP量化算法使用Hessian和基于方差的方法来有效地为每行分配方案和精度。建议RMSMP测试的图像分类和自然语言处理（BERT）的应用程序，并达到最佳的准确性性能之间的国家的最先进的同等精度下。RMSMP在FPGA设备上实现，与4位固定点基线相比，在ImageNet上实现了ResNet-18端到端推理时间的3.65倍加速。
MultiAlloc: Budget-Aware Precision Allocation for KV Cache Quantization
MultiAlloc是一种KV缓存量化的预算感知精度分配框架，通过离线分析实现层级与令牌级精度资源的自适应分配，在固定内存预算下优于多种现有KV缓存量化方法。
RDQ: Residual Distribution Quantization for Large Language Models
研究大语言模型PTQ在低精度下降问题，提出RDQ框架，通过级联误差补偿，在多种测试架构上取得最优结果，输出标准量化且零运行时开销。
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
Verifying Low-dimensional Input Neural Networks via Input Quantization
深度神经网络是一个有吸引力的工具，用于压缩系统中的控制策略查找表，如机载防撞系统（ACAS）。通过验证技术确保这种神经控制器的安全性至关重要。分析ACAS Xu网络的问题已经激发了许多成功的神经网络验证器。这些验证器通常分析神经网络的内部计算，以决定关于输入/输出的属性是否成立。神经网络计算的内在复杂性使得这种验证器运行缓慢并且容易受到浮点错误的影响。本文重新讨论了ACAS Xu网的原问题。该网络采用低维传感器输入和由预先计算的查找表提供的训练数据。我们建议将输入量化层前置到网络。量化允许通过输入状态枚举进行有效的验证，其复杂性受量化空间的大小限制。量化相当于在运行时间的最近邻插值，这已被证明在模拟中为ACAS提供可接受的精度。此外，我们的技术可以提供精确的验证结果免疫浮点错误，如果我们直接枚举的目标推理实现或对目标实现的准确模拟的网络输出。
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
本文提出独立于底层技术的 LLM 逐层混合比特量化方法，通过两种层重要性指标分配精度，在显著压缩模型的同时保持性能，并验证其与动态量化互补及在大模型上的优势。
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization
在低延迟或移动应用中，需要更低的计算复杂度、更低的存储器占用和更好的能量效率。许多先前的工作通过去除冗余参数来解决这一需求。参数量化用较低精度的定点运算取代浮点运算，进一步降低了复杂度。量化权重神经网络的典型训练从完全量化的权重开始。量化产生随机噪声。作为补偿这种噪声的一种方法，在训练过程中，我们建议在保持其他权重浮点精度的同时，增加一些权重。深度神经网络有很多层。为了得到一个完全量化的权重网络，我们从一个量化层开始，然后覆盖越来越多的层。我们表明，层量化的顺序影响精度。对于深度神经网络来说，订单数量很大。提出了一种灵敏度预训练来指导层量化顺序。最近在权重二值化方面的工作用加法代替了权重输入矩阵乘法。我们将所提出的迭代训练应用于权重二值化。我们的实验涵盖了MNIST、CIFAR-10和ImageNet数据集上的全连接和卷积网络。我们的经验表明，从部分二进制权重而不是从完全二进制权重开始，训练达到完全二进制权重网络，对于更大更深的网络具有更好的准确性。按前向顺序进行的层二值化导致更好的精度。引导层二值化可以进一步改善这一点。这些改进是以延长培训时间为代价的。
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。
Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization
本文提出QEP框架，通过显式传播量化误差以提升分层后训练量化在低比特下的性能。
Mixture of Many Zero-Compute Experts: A High-Rate Quantization Theory Perspective
本文从高码率量化理论出发分析零计算常数专家构成的 MoE，刻画一维与多维输入下的测试误差、最优分割及参数学习性质，并理论与实证揭示专家数量对近似—估计误差权衡的影响。
PhaseQuant: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
提出DynamicPTQ，通过分析残差流中激活的相位式动态变化，识别量化敏感层并分配8位精度，在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能，吞吐量提升1.05-1.07倍。
DILEMMA: Joint LLM Quantization and Distributed LLM Inference Over Edge Computing Systems
本文提出DILEMMA框架，通过联合优化层放置与层量化，在边缘计算系统中部署LLM以最小化推理延迟，在保持模型性能的同时实现高达12.75%的量化率。
FlexQ: Efficient Post-training INT6 Quantization for LLM Serving via Algorithm-System Co-Design
本文提出FlexQ，一种结合算法与系统协同设计的训练后INT6量化框架，通过统一的6位权重量化、自适应8位激活保留及专用BTC等效GPU内核，在保持接近FP16精度的同时显著提升了LLM推理速度与内存效率。
SchurQuant: Groupwise Discrete Optimization for Layer-Wise LLM Quantization
SchurQuant结合SCHUROPT与多种技术，在8个Llama和Qwen模型的2位量化任务中，使无反向传播PTQ的平均零样本精度比最强基线高9.65pp，提升了2位大语言模型量化的精度。
Pushing the Limits of Large Language Model Quantization via the Linearity Theorem
本文提出线性定理建立分层$\boldsymbol{\rho_2}$重构误差与量化困惑度增加的关系，提出HIGGS无数据量化方法及动态规划最优解，在多模型上提升精度-压缩权衡并实现GPU高效支持。
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
提出TR-PTQ，通过泰勒区域重构和整数算术实现Transformer训练后量化，消除浮点硬件需求，在视觉和语言基准上精度损失小于1.5%。
An Inter-Layer Weight Prediction and Quantization for Deep Neural Networks based on a Smoothly Varying Weight Hypothesis
由于资源受限的环境，网络压缩已成为深入神经网络研究的重要组成部分。本文提出了一种新的压缩方法，\textit{Inter-Layer Weight Prediction}（ILWP）和量化方法，该方法基于传统视频编码方案中的帧间预测方法，在所有卷积层的权重之间进行预测残差。此外，我们发现了一种现象\textit{Smoothly Varying Weight Hypothesis}（SVWH），即相邻卷积层中的权重在形状和值上具有很强的相似性，即，重量倾向于随着层平滑地变化。基于SVWH，我们提出了第二种ILWP和量化方法，该方法将相邻卷积层中权重之间的预测残差进行量化。由于预测的权重残差倾向于遵循具有非常低方差的拉普拉斯分布，因此可以更有效地应用权重量化，从而产生更多的零权重并提高权重压缩比。此外，我们提出了一个新的\textit{inter-layer loss}消除非纹理位，这使我们能够更有效地存储只有纹理位。也就是说，所提出的损失正则化权重，使得相邻两层之间的并置权重具有相同的值。最后，我们提出了一个ILWP与层间损失和量化方法。综合实验结果表明，该方法在相同的精度水平下，与以往基于量化的深度神经网络压缩方法相比，具有更高的权重压缩率。
Towards Superior Quantization Accuracy: A Layer-sensitive Approach
本文提出SensiBoost和KurtBoost两种层敏感量化方法，利用激活敏感性和权重峰度识别难量化层并分配额外内存预算，在LLama模型上以仅2%的内存开销实现高达9%的困惑度降低。
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
本文提出 AsymKV 方法，利用键矩阵与值矩阵在量化敏感性上的非对称性，通过逐层差异化配置实现 KV 缓存 1 比特量化，可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
本文提出RQ-MoE框架，结合双层专家混合与双流量化，实现输入依赖的代码本自适应，提升向量量化效率，并在解码速度上优于现有方法。
LPCD: Unified Framework from Layer-Wise to Submodule Quantization
LPCD提出了一种统一的后训练量化框架，通过优化子模块和投影层量化器，提升复杂子模块的量化效率和兼容性。
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
神经网络正以更高的能量和计算成本获得更好的精度。量化后，可以大大节省成本，量化后的模型更硬件友好，精度损失可以接受。另一方面，最近的研究发现神经网络容易受到对抗攻击，只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中，我们发现，对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒，我们提出了一种逐层对抗感知量化方法，使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失，并证明我们的度量选择的一致性。实验结果表明，该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
Layer-wise Quantization for Quantized Optimistic Dual Averaging
针对深度神经网络层间异质性问题，提出带严格界的通用逐层量化框架，结合分布式变分不等式提出自适应学习率的QODA算法，实现有竞争力的收敛率，训练Wasserstein GAN时端到端速度最高比基线快150%。
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models
研究针对大语言模型量化中预算变化及层敏感度评估问题，提出MixQuant自适应框架，通过边缘化失真获与预算无关分数、校准参数并惩罚不合理分配，在多种模型上优于基线，提升准确率并降低困惑度。
Arithmetic-Intensity-Aware Quantization
AIQ通过动态调整每层位宽提升算力并保持精度，适用于内存受限的神经网络模型。
Adaptive Quantization for Deep Neural Network
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
本文提出了一种适应性混合精度量化方法，通过分析层间贡献和硬件平台行为，优化边缘部署中的内存、延迟和精度平衡。
Improving Post Training Neural Quantization: Layer-wise Calibration and Integer Programming
最近，后训练量化方法得到了相当大的关注，因为它们使用简单，只需要一个小的未标记的校准集。这个小数据集不能用于微调模型，而不会出现显著的过度拟合。相反，这些方法仅使用校准集来设置激活的动态范围。然而，当使用低于8位时，这些方法总是导致显著的准确性降低（除了在小数据集上）。在这里，我们的目标是打破8位的障碍。为此，我们通过在校准集上优化其参数来分别最小化每层的量化误差。我们凭经验证明，这种方法是：（1）比标准的微调方法更不容易过度拟合，甚至可以在非常小的校准集上使用;（2）比以前的方法更强大，它只设置激活的动态范围。此外，我们演示了如何最佳地分配每一层的位宽，同时约束精度下降或模型压缩，提出了一种新的整数规划制定。最后，我们建议模型全局统计调整，以纠正量化过程中引入的偏差。总之，这些方法为视觉和文本模型产生了最先进的结果。例如，在ResNet 50上，我们获得了不到1%的准确性下降-在所有层中使用4位权重和激活，但最小的两个。我们开源了我们的代码。
LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models
提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。
KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
KVTuner通过多目标优化实现高效且接近无损的LLM推理，适用于不同模型和约束条件。
Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance
混合精度量化（MPQ）中离散搜索空间呈指数级增大，使得每层的最优位宽难以确定。以前的工作通常在训练集上采用迭代搜索方法，这会消耗数百甚至数千个GPU小时。在这项研究中，我们揭示了一些独特的学习量化参数，即量化器中的比例因子，可以作为一个层的重要性指标，反映了该层的贡献，在某些位宽的最终精度。这些重要性指标在量化感知训练期间自然感知数值变换，其可以精确地提供层的量化敏感性度量。然而，深度网络总是包含数百个这样的指标，逐个训练它们会导致过多的时间成本。为了克服这个问题，我们提出了一个联合训练计划，可以一次获得所有指标。它通过并行化原始的顺序训练过程，大大加快了指标训练过程。有了这些学习的重要性指标，我们制定的MPQ搜索问题作为一个一次性的整数线性规划（ILP）问题。这避免了迭代搜索并且显著地减少了搜索时间而不限制位宽搜索空间。例如，使用我们的指标在ResNet18上进行MPQ搜索仅需0.06 s，与迭代搜索方法相比，这将成倍提高时间效率。此外，大量的实验表明，我们的方法可以在ImageNet上实现SOTA精度，用于具有各种约束的大范围模型（例如，BitOps，压缩率）。代码可在https://github.com/1hunters/LIMPQ上获得。
KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache
KVmix通过基于梯度的重要性分析实现KV缓存的混合精度量化，有效平衡精度与效率，实现低内存高吞吐的LLM推理
MPQ-Diff: Mixed Precision Quantization for Diffusion Models
针对扩散模型采样时间长的问题，提出混合精度量化方案MPQ-Diff，基于层间相关性为各层权重和激活分配不同位宽，在LSUN和ImageNet上显著提升FID指标，有效加速采样并保持图像质量。
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
本文提出训练后层内多精度量化方法 PTILMPQ，通过估计层和通道重要性进行精确比特分配，在无需大量训练数据的情况下有效减少 DNN 内存占用，并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
本文提出NSDS方法，通过数值和结构双敏感性驱动分层混合精度量化，无需校准数据，在不同模型和任务中均优于基线方法。
TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
本文提出通过在快速沃尔什- Hadamard域中量化角度来压缩KV缓存条目，采用随机对角旋转使连续元素对在单位圆上近似均匀分布。通过每层早期提升技术，独立配置每层K和V代码本大小，为模型特定的关键层分配更高精度，实现四模型无损压缩和六模型近无损质量压缩。
Efficient and Effective Methods for Mixed Precision Neural Network Quantization for Faster, Energy-efficient Inference
本文提出EAGL和ALPS两种混合精度量化层选择方法，在ResNet和BERT上以4位与2位混合精度恢复全精度性能，并显著减少计算时间。
Why Do Some Inputs Break Low-Bit LLM Quantization?
本研究揭示低比特量化对特定输入产生较大误差的原因，发现残差流幅度可预示误差，且后期层残差激活与MLP门控输出对性能保持至关重要。
Quantamination: Dynamic Quantization Leaks Your Data Across the Batch
本文揭示动态量化中存在关键漏洞，攻击者可通过量化策略窃取同一批数据中的敏感信息，主要贡献是发现4种主流框架存在数据泄露风险。
SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
本文提出 SplitQuant 方法，通过将可量化层拆分为三个数学等价层并对权重和偏置进行三簇聚类，在保留离群值的同时提高低比特量化分辨率，在 BERT-Tiny 上显著提升 INT2 量化精度。
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
本文提出MLoRQ方法，通过两阶段优化为Transformer各层分配低秩和量化参数，在内存限制下实现最优压缩，性能提升达15%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。