CoopQ: Cooperative Game Inspired Layerwise Mixed Precision Quantization for LLMs
CoopQ通过合作博弈理论优化层间交互，实现低比特精度下的大语言模型高效混合量化，显著降低困惑度。
2025-12-12 cs.LG
Differentiable Dynamic Quantization with Mixed Precision and Adaptive Resolution
The Chinese University of Hong Kong（香港中文大学）；SenseBrain, Ltd（SenseBrain有限公司）；Shanghai AI Lab（上海人工智能实验室）；The University of Hong Kong（香港大学）
由于许多繁琐的超参数，如精度（位宽），动态范围（最小和最大离散值）和步长（离散值之间的间隔），模型量化具有挑战性。与仔细调整这些值的现有技术不同，我们提出了一种完全可微的方法来学习所有这些值，称为可微动态量化（DDQ），它有几个好处。(1)DDQ能够解决像MobileNets这样具有挑战性的轻量级架构，其中不同的层喜欢不同的量化参数。(2)DDQ是硬件友好的，可以很容易地实现使用低精度矩阵向量乘法，使它能够在许多硬件，如ARM。（3）广泛的实验表明，DDQ优于现有技术在许多网络和基准测试，特别是当模型已经是高效和紧凑的。例如，在一个实施例中，DDQ是第一种在ImageNet上为MobileNetV2实现无损4位量化的方法。
2021-07-07 cs.LG
RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions
George Mason University（乔治梅森大学）；Michigan State University（密歇根州立大学）；Northeastern University（东北大学）
本文提出了一种新的深度神经网络（DNN）量化框架，即RMSMP，采用了行混合方案和多精度方法。具体来说，这是第一次在层内分配混合量化方案和多个精度-在DNN权重矩阵的行之间，以简化硬件推理中的操作，同时保持准确性。此外，本文提出了一个不同的观察，从以前的工作，量化误差不一定表现出逐层的敏感性，实际上可以减轻，只要在每一层的权重的某一部分是在较高的精度。这种观察使硬件实现中的逐层均匀性能够保证推理加速，同时仍然享受混合方案的逐行灵活性和多个精度以提高准确性。该方法采用高度硬件信息化的策略，有效地减少了问题的搜索空间，从而得到了实用有效的方案和精度候选。通过离线确定所有层的不同量化方案和精度的比率，RMSMP量化算法使用Hessian和基于方差的方法来有效地为每行分配方案和精度。建议RMSMP测试的图像分类和自然语言处理（BERT）的应用程序，并达到最佳的准确性性能之间的国家的最先进的同等精度下。RMSMP在FPGA设备上实现，与4位固定点基线相比，在ImageNet上实现了ResNet-18端到端推理时间的3.65倍加速。
2021-10-30 cs.LG
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
d-Matrix
本研究揭示大语言模型低精度训练后量化效果逊于量化感知微调的原因是局部与全局目标函数优化错位，强调极低精度场景下直接量化感知微调的重要性。
2025-04-17 cs.LG
OMPQ: Orthogonal Mixed Precision Quantization
提出OMPQ方法，通过优化网络正交性代理指标替代整数规划，以线性规划高效求解混合精度量化，显著降低搜索时间和数据需求，并在ResNet-18和MobileNetV2上取得高精度。
2025-10-25 cs.LG
Training Dynamics Impact Post-Training Quantization Robustness
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Tübingen AI Center（图宾根人工智能中心）
研究发现训练动态中的学习率衰减会影响量化鲁棒性，通过调整训练超参数可提升大规模量化效果。
2026-01-30 cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs
Sony Semiconductor Israel（索尼半导体以色列公司）
最近的网络量化工作使用混合精度量化产生了最先进的结果。许多高效边缘设备硬件实现的迫切要求是，它们的量化器是统一的，并且具有2的幂阈值。在这项工作中，我们介绍了硬件友好的混合精度量化块（HMQ），以满足这一要求。HMQ是一个混合精度量化块，它将Gumbel-Softmax估计器重新用于一对量化参数（即位宽和阈值）的平滑估计器。HMQ使用它来搜索量化方案的有限空间。从经验上讲，我们将HMQ应用于在CIFAR 10和ImageNet上训练的神经网络分类模型。对于ImageNet，我们测试了四种不同的架构，并表明，尽管我们的量化方案增加了限制，但我们仍然获得了有竞争力的结果，在某些情况下，还获得了最先进的结果。
2020-07-20 cs.CV cs.LG stat.ML
FlexiQ: Adaptive Mixed-Precision Quantization for Latency/Accuracy Trade-Offs in Deep Neural Networks
Seoul National University（首尔国立大学）；Hanyang University（翰阳大学）；Yonsei University（延世大学）
针对神经网络硬件加速器成本高、难应对实时负载波动的问题，提出自适应混合精度量化方案FlexiQ，通过选择性低位计算与实时通道比例调整，实现高效精度-延迟权衡，性能优于现有技术且硬件开销小。
2025-10-03 cs.LG
Squeeze10-LLM: Squeezing LLMs' Weights by 10 Times via a Staged Mixed-Precision Quantization Method
Beihang University（北航大学）；Communication University of China（通信大学）；Skywork AI；Beijing Jiaotong University（北京交通大学）
提出Squeeze10-LLM分阶段混合精度量化框架，将80%权重置1位、20%置4位，实现平均1.6位/权重，通过PBAR和FIAS创新在LLaMA上提升零样本准确率至56%。
2026-09-30 cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
AMED: Automatic Mixed-Precision Quantization for Edge Devices
Technion IIT（以色列理工学院）
AMED 将混合精度量化建模为马尔可夫决策过程，在训练中动态搜索最优位宽分配，从而在边缘设备上同时优化模型准确性与硬件效率。
2024-06-10 cs.LG
Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic（神经魔法公司）
我们考虑在具有挑战性的一次性/后训练设置中深度神经网络（DNN）的模型压缩问题，在这种情况下，我们得到了一个精确的训练模型，并且必须仅基于少量校准输入数据在没有任何重新训练的情况下对其进行压缩。这个问题已经变得流行，鉴于新兴的软件和硬件支持执行模型压缩通过修剪和/或量化与加速，以及性能良好的解决方案已经提出了独立的两种压缩方法。在本文中，我们介绍了一个新的压缩框架，它涵盖了重量修剪和量化在一个统一的设置，是时间和空间效率，并大大提高了现有的后训练方法的实际性能。在技术层面上，我们的方法是基于[LeCun，Denker和Solla，1990]的经典最佳脑外科医生（OBS）框架的精确和有效实现，该框架扩展到现代DNN规模的权重量化。从实际的角度来看，我们的实验结果表明，它可以显着改善现有的后训练方法的压缩精度的权衡，它可以使精确的修剪和量化的复合应用在后训练设置。
2023-01-08 cs.LG
MixLLM: LLM Quantization with Global Mixed-precision between Output-features and Highly-efficient System Design
Microsoft（微软）
MixLLM通过全局混合精度量化优化输出特征，提升LLM压缩精度与系统效率，实验显示在增加10%比特数下， perplexity和MMLU-Pro损失显著降低。
2026-04-22 cs.LG
LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（计算科学系及阿尔伯塔人工智能研究所（Amii），阿尔伯塔大学）；RBC Borealis；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）
针对多LoRA适配器规模化部署的高存储成本问题，提出专为LoRA定制的混合精度后训练量化方法LoRAQuant，在LLaMA 2、Mistral模型的多任务上，以更低比特实现了相当或更优性能。
2026-08-13 cs.LG
AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning
Fudan University（复旦大学）；Yale University（耶鲁大学）；Zhejiang University（浙江大学）；OpenWPLab
AutoQRA通过联合优化混合精度量化与低秩适配器，实现高效大语言模型微调，提升性能并降低内存消耗。
2026-02-25 cs.LG
Layerwise Error Attribution for Fast and Robust Mixed-Precision Post-Training Quantization
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；Thales AVS（泰雷兹AVS）；CNRS（法国国家科学研究中心）
本文提出一种基于分层概率误差分析的可分离评分方法，用于快速鲁棒的混合精度训练后量化，在去噪和扩散模型上匹配或超越现有基线，并显著提升对损坏校准的鲁棒性。
2026-10-08 cs.LG
Post-training Quantization with Multiple Points: Mixed Precision without Mixed Precision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
我们考虑了后训练量化问题，该问题将预先训练的深度神经网络的权重离散化，而无需重新训练模型。我们提出了多点量化，一种量化方法，使用低比特数的多个向量的线性组合来近似全精度权重向量;这与使用单个低精度数字来近似每个权重的典型量化方法相反。在计算上，我们构造了一个有效的贪婪选择过程的多点量化，并根据其输出的误差自适应地决定每个量化的权重向量上的低精度点的数量。这使我们能够为重要的权重实现更高的精度水平，这些权重对输出有很大的影响，从而产生“混合精度效应”，但无需物理混合精度实现（这需要专门的硬件加速器）。经验上，我们的方法可以实现共同的操作数，带来几乎没有内存和计算开销。我们表明，我们的方法在ImageNet分类上优于一系列最先进的方法，并且可以推广到更具挑战性的任务，如PASCAL VOC目标检测。
2021-01-14 cs.CV cs.LG stat.ML
Quantization in Layer's Input is Matter
在本文中，我们将证明在层的输入量化比参数的量化更重要的损失函数。基于层输入量化误差的算法优于基于海森的混合精度布局算法。
2022-02-10 cs.LG
STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization
Qualcomm AI Research（高通人工智能研究）
量化是减少生成式人工智能模型的推理延迟、功耗和内存占用的关键方法。然而，当激活被量化为低于8位时，准确度通常急剧下降。最近的工作表明，可逆线性变换（例如旋转）可以通过重新参数化特征通道和权重来帮助量化。在本文中，我们提出了\textit{Sequence Transformation and Mixed Precision}（STaMP）的量化，一种新的策略，适用于线性变换沿\textit{sequence}维利用语言和视觉数据的强局部相关性。通过以更高的精度在每个中间激活中保持少量的令牌，我们可以在较低的（平均）激活位宽下保持模型的准确性。我们评估STaMP最近的LVM和LLM架构，证明它显着提高了低位宽激活量化和补充建立激活和权重量化方法，包括最近的功能转换。
2025-10-30 cs.AI cs.LG
Efficient Mixed Precision Quantization in Graph Neural Networks
Faculty of Computer Science, University of Vienna（计算机科学系，维也纳大学）；UniVie Doctoral School Computer Science, University of Vienna（UniVie计算机科学博士学院，维也纳大学）；Research Network Data Science, University of Vienna（数据科学研究网络，维也纳大学）
本文提出保证整数聚合与FP32数值等价的定理，并构建MixQ-GNN框架为层内各组件自动选择位宽，显著降低节点与图分类的位运算量。
2025-05-14 cs.LG
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
Google（谷歌公司）
针对高效网络混合精度激活量化中的比特选择不稳定问题，提出两阶段 MetaMix，通过混合精度感知权重更新与固定权重比特搜索实现快速高质量选位，并在 ImageNet 上超越 SOTA。
2024-04-09 cs.CV cs.LG
InfoQ: Mixed-Precision Quantization via Global Information Flow
本文提出InfoQ框架，通过全局信息流评估层敏感性，以训练无关的方式优化混合精度量化，提升模型压缩效率和精度。
2025-08-06 cs.LG
Boost Post-Training Quantization via Null Space Optimization for Large Language Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出零空间优化方法Q2N，通过将量化权重扰动限制在输入激活的零空间内，有效缓解大语言模型后训练量化误差，并在多种模型上验证了其有效性。
2025-10-26 cs.LG
FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search
Cornell University（康奈尔大学）；Google（谷歌公司）
本文提出FLIQS，首个无需重新训练的混合精度量化搜索方法，可同时搜索整数与低精度浮点量化方案，并在多个模型上以相似成本显著提升ImageNet精度。
2024-05-01 cs.CV cs.LG
Mixed-Precision Quantization for Language Models: Techniques and Prospects
University of California Irvine（加州大学 Irvine 分校）；Wayve AI；King Abdullah University of Science and Technology（国王 Abdullah 科学与技术大学）；RAIN AI
本文综述面向语言模型的混合精度量化框架，按比特分配与权重、激活、KV缓存精度配置分类比较，并讨论性能、部署权衡及未来方向。
2025-10-19 cs.AI cs.LG
GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs
University of Pittsburgh（匹兹堡大学）；University of Central Florida（佛罗里达州立大学）；University of Arizona（亚利桑那大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出全局专家级混合精度量化方法GEMQ，通过全局线性规划建模专家重要性并微调路由器，实现MoE-LLMs的极致低比特量化，减少内存并加速推理。
2026-05-21 cs.CL cs.LG
Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers
Università di Bologna（博洛尼亚大学）；Greenwaves Technologies；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）；IIS ETH Zurich（苏黎世联邦理工学院集成系统研究所）
严重的片上存储器限制目前阻碍了在微型微控制器单元（MCU）上部署最精确的深度神经网络（DNN）模型，即使利用有效的8位量化方案也是如此。为了解决这个问题，在本文中，我们提出了一个自动化的混合精度量化流程的基础上的HAQ框架，但量身定制的MCU设备的内存和计算特性。具体而言，强化学习代理在RAM和FLASH嵌入式存储器大小的严格约束下，在2、4、8位中搜索个体权重和激活张量的最佳均匀量化水平。我们对用于Imagenet分类的MobileNetV 1、MobileNetV 2和MNasNet模型进行了实验分析。关于量化策略搜索，RL代理选择使存储器利用率最大化的量化策略。对于仅加权量化，给定2MB的MCU级内存限制，混合精度引擎产生的压缩模型与使用非均匀函数量化的最新解决方案一样准确，这不是针对仅具有整数运算的CPU量身定制的。这表示MCU部署所需的均匀量化对于深度权重压缩的可行性。当将激活内存预算限制为512kB时，由于找到的量化策略，最佳MobileNetV1模型在Imagenet上的得分高达68.4%，比其他8位网络更准确4%。
2020-08-12 cs.LG stat.ML
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Seoul National University（首尔大学）
PN-Mix是一种针对基于RoPE的仅解码器大语言模型的混合精度键缓存量化方法，通过对范数引导分配精度，在更低平均比特下实现更优精度，且性能下降更平缓。
2026-10-15 cs.CL cs.LG
Data-free mixed-precision quantization using novel sensitivity metric
Samsung Advanced Institute of Technology, Samsung Electronics（三星电子三星先进技术研究院）
后训练量化是压缩神经网络的代表性技术，使它们更小，更有效地部署在边缘设备上。然而，在实际应用中，用户数据集的不可访问性往往使得量化后的神经网络的质量难以保证。此外，现有的方法可以使用跨网络的单个均匀的位宽，导致在极低的位宽处的显著的准确性降级。为了利用多个位宽，敏感性度量在平衡精度和压缩方面起着关键作用。在本文中，我们提出了一种新的灵敏度度量，考虑了量化误差对任务丢失和与其他层的交互的影响。此外，我们开发标记的数据生成方法，不依赖于特定的操作的神经网络。实验结果表明，该度量能更好地反映量化敏感性，生成的数据更适合应用于混合精度量化。
2021-03-18 cs.CV cs.LG
NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory
针对模拟内存计算的噪声问题，提出NANQ量化框架，实现混合精度非均匀量化，在2比特量化下提升视觉模型准确率、降低语言模型PPL，仅用少量等效比特即可获显著增益。
2026-08-05 cs.AI cs.LG
Loss Aware Post-training Quantization
Intel – Artificial Intelligence Products Group (AIPG)（英特尔——人工智能产品集团（AIPG））；Technion – Israel Institute of Technology（以色列理工学院）
神经网络量化使得能够在资源受限的设备上部署大型模型。当前的后训练量化方法在针对INT 4（或更低）的准确度方面不足，但是为INT 8（或更高）提供合理的准确度。在这项工作中，我们研究了量化的损失景观的结构上的效果。此外，我们表明，该结构是平坦的，可分离的温和的量化，使简单的后训练量化方法，以达到良好的效果。我们发现，随着更积极的量化，损失景观变得高度不可分离的陡峭曲率，使量化参数的选择更具挑战性。有了这样的理解，我们设计了一种方法，量化层参数联合，使显着的准确性提高，目前的后训练量化方法。参考实现可从https://github.com/ynahshan/nn-quantization-pytorch/tree/master/lapq获得
2020-03-16 cs.CV cs.LG
DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression
Tencent（腾讯）
DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩，优化方向保真度以恢复特定风格能力。
2026-03-20 cs.AI cs.LG
Flexible Mixed Precision Quantization for Learned Image Compression
Elmore Family School of Electrical and Computer Engineering（埃尔摩夫家庭电气与计算机工程学院）；Purdue University（普渡大学）
本文提出灵活混合精度量化方法FMPQ，以率失真损失变化为准则为LIC网络各层分配不同比特宽度，并设计自适应搜索算法降低搜索复杂度，在相似模型大小约束下取得更优BD-Rate性能。
2025-06-02 cs.LG eess.IV
ARQ: A Mixed-Precision Quantization Framework for Accurate and Certifiably Robust DNNs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
ARQ通过强化学习和随机平滑技术，在保持干净准确性和可证明鲁棒性的同时，高效优化深度神经网络的量化。
2026-04-27 cs.CR cs.CV cs.LG
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark（计算机科学系，哥本哈根大学，丹麦）
FairQuant通过公平性感知的混合精度量化方法，在医学图像分类中提升模型精度和公平性，实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学）
针对现有PTQ方法精度分配低效问题，提出MixFrag框架，通过KL散度估计量化脆弱性并将位分配建模为MCKP，在ImageNet、COCO任务上实现最优混合精度PTQ性能。
2026-07-31 cs.CV cs.LG
MxMoE: Mixed-precision Quantization for MoE with Accuracy and Performance Co-Design
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Peking University（北京大学）；ByteDance Seed（字节跳动Seed）
MxMoE针对MoE模型部署难题，提出混合精度量化框架，结合参数敏感度、专家激活动态与硬件资源搜索最优配置，并自动生成混合精度GroupGEMM内核，在显著降低困惑度的同时实现最高3.4倍加速。
2025-05-09 cs.AI cs.LG
Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression
UiT The Arctic University of Norway（挪威北极大学）；University of Oslo, Norway（挪威奥斯陆大学）
提出端到端框架，通过全局误差最小化的混合精度量化策略和联合优化结构剪枝与量化策略，在超低比特下显著降低困惑度。
2026-06-05 cs.AI cs.LG
MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning
South China University of Technology（南方科技大学）；Beihang University（北航）；Pazhou Laboratory（琶洲实验室）
MixKVQ通过查询感知的混合精度量化策略，提升长上下文推理性能并降低内存开销。
2025-12-22 cs.AI cs.LG
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research（三星研究院）
各种后训练均匀量化方法通常是基于凸优化的研究。因此，大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时，这样的方法在计算上是有效的和合理的。然而，当量化比特数相对较低时，非凸优化是不可避免的，以提高模型精度。在本文中，我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明，超参数裁剪和舍入的权重和激活，可以探索通过监控任务损失。然后，冻结超参数的最佳搜索集以继续到下一层，使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果，我们提出的技术提出了更高的模型精度，特别是对于低比特量化。
2021-05-05 cs.LG math.OC
Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 FedMPQ 算法，首次将混合精度量化引入资源异构联邦学习，通过正则化优化和服务器端自适应位宽分配，在多种模型与数据集上超越固定精度量化基线，且仅带来较小计算开销。
2023-11-29 cs.DC cs.LG
FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Jiangsu Shuguang Optoelectric Co., Ltd（江苏曙光光电有限公司）
提出软硬件协同设计FineQ，通过细粒度权重聚类、簇内3比特异常值保护机制及时间编码加速器，在相近平均位宽下提升LLM低位混合精度量化精度，并实现1.79倍能效提升与61.2%面积缩减。
2025-04-28 cs.AR cs.LG
Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization
SenseTime Research（商汤科技研究院）；Peking University（北京大学）；University of Science and Technology Beijing（北京科技大学）
紧急硬件可以支持为不同层分配不同位宽的混合精度CNN模型推断。由于训练混合精度模型的困难以及所有可能的位量化的巨大空间，学习寻找能够保持准确性并满足模型大小和计算的特定约束的最佳混合精度模型是极具挑战性的。本文提出了一种新的基于软障碍惩罚的混合精度量化模型搜索算法（BP-NAS），该算法保证所有搜索到的模型都在复杂度约束定义的有效域内，从而只需进行一次搜索就能在给定的约束条件下返回最优模型。所提出的软障碍惩罚是可微的，可以对有效域之外的模型施加非常大的损失，而对有效域内的模型几乎没有惩罚，从而将搜索限制在可行域中。此外，提出了一个可微的Prob-1正则化，以确保学习NAS是合理的。为了提高训练的稳定性，还采用了分布整形训练策略。BP-NAS在分类（Cifar-10，ImageNet）和检测（COCO）方面都达到了新的技术水平，超越了所有手动和自动设计的高效混合精度方法。特别地，BP-NAS实现了更高的mAP（高达2.7\%mAP改善），以及更低的比特计算成本相比，现有的最佳混合精度模型的COCO检测。
2020-07-20 cs.CV cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.（三星半导体有限公司）；Microsoft（微软）
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的，因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数，建立了一种统一的后训练量化方案，取得了令人满意的结果。然而，当量化到较低的比特宽度时，它遭受显著的性能下降。在本文中，我们提出了一个分段线性量化（PWLQ）计划，使张量值，具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域，每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明，与现有的训练后量化方法相比，该方法在图像分类、语义分割和目标检测等方面具有更好的性能，且开销较小.
2020-03-18 cs.CV cs.LG
BOMP-NAS: Bayesian Optimization Mixed Precision NAS
Eindhoven University of Technology（埃因霍温理工大学）；NXP Semiconductors（恩智浦半导体）
贝叶斯优化混合精度神经架构搜索（BOMP-NAS）是一种量化感知神经架构搜索（QA-NAS）方法，它利用贝叶斯优化（BO）和混合精度量化（MP）来有效搜索紧凑、高性能的深度神经网络。结果表明，将量化感知微调（QAFT）集成到NAS循环中是找到在低精度量化下表现良好的网络的必要步骤：集成它可以使CIFAR-10数据集的模型大小减少近50%。BOMP-NAS能够找到神经网络，以更低的设计成本实现最先进的性能。这项研究表明，BOMP-NAS可以找到这些神经网络在一个6倍的搜索时间相比，最近的相关工作。
2023-01-27 cs.CV cs.LG
MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference
EPFL（洛桑联邦理工学院）；Tsinghua University（清华大学）；MangoBoost Inc.（芒果助推公司）；Korea University（韩国大学）；Google DeepMind（谷歌DeepMind）
研究针对大语言模型推理中4位量化因异常值致精度降的问题，提出MXSens方法，基于列和层灵敏度分配混合尾数比特宽度，无需训练，利用MXINT块结构，在多模型任务中优于现有方法，平衡了量化的准确性与资源效率。
2026-07-21 cs.AI cs.LG
MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
MixDiT通过算法-硬件协同设计，利用混合MX格式对DiT激活值进行选择性量化，并设计专用加速器实现精度灵活的乘法，在保持FID无损的情况下相比RTX 3090获得2.10至5.32倍加速。
2025-04-11 cs.AR cs.LG
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks
The University of Hong Kong（香港大学）；ETH Zürich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）
本文提出片上硬件感知量化框架OHQ，在边缘设备上直接进行混合精度量化，通过片上感知流水线和掩码引导估计技术，实现精度与效率的优化，在ResNet-18和MobileNetV3上分别达到70%和73%精度，延迟降低15%-30%。
2024-05-23 cs.AI cs.AR cs.LG
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
Northeastern University（东北大学）；University of Notre Dame（圣母大学）；University of Hong Kong（香港大学）；University of Southern California（南加州大学）
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
2020-10-17 cs.CV cs.LG
APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
Lab-STICC, CNRS UMR 6285 , ENSTA, Institut Polytechnique de Paris（法国巴黎理工学院STICC实验室、CNRS UMR 6285、ENSTA）；National Taiwan University（台湾国立台湾大学）
本文提出了一种适应性混合精度量化方法，通过分析层间贡献和硬件平台行为，优化边缘部署中的内存、延迟和精度平衡。
2026-03-24 cs.AI cs.LG
TopGQ: Fast GNN Post-Training Quantization Leveraging Topology Information
Seoul National University（首尔大学）
针对现有GNN量化方法开销大的问题，提出TopGQ框架，通过双轴尺度吸收和TopPIN拓扑分组实现快速后训练量化，量化时间降一个数量级且精度保留。
2026-09-01 cs.AI cs.LG
FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
NVIDIA（NVIDIA公司）；University of California, Berkeley（加州大学伯克利分校）
提出FGMP，一种软硬件协同的细粒度混合精度量化方法，通过Fisher信息加权扰动选择高精度块并配合敏感性裁剪，在Llama-2-7B上实现<1%困惑度退化、14%能耗和30%权重内存节省。
2025-04-19 cs.AR cs.LG
Attention Round for Post-Training Quantization
Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；University of Chinese Academy of Sciences（中国科学院大学）
目前，神经网络模型的量化方法主要分为后训练量化（PTQ）和量化感知训练（QAT）。后训练量化只需要一小部分数据就可以完成量化过程，但其量化模型的性能不如量化感知训练。本文提出了一种新的量化方法称为注意轮。该方法使参数w有机会被映射到所有可能的量化值，而不仅仅是量化过程中w附近的两个量化值。被映射到不同量化值的概率与量化值与w之间的距离负相关，并以高斯函数衰减。此外，本文以有损编码长度为度量，为模型的不同层分配位宽，解决了混合精度量化问题，有效避免了求解组合优化问题。本文还对不同的模型进行了定量实验，实验结果证实了该方法的有效性。对于ResNet 18和MobileNetV 2，本文提出的后训练量化方法只需要1,024个训练数据和10分钟就可以完成量化过程，可以达到与量化感知训练相当的量化性能。
2022-07-07 cs.AI cs.LG
