ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs
University of California, Los Angeles（加州大学洛杉矶分校）；Meta Superintelligence Labs, Meta Platforms, Inc.（Meta超智能实验室）；Meta Platforms, Inc.（Meta公司）
ScaleBITS通过硬件对齐的块级权重分区和约束优化方法，实现高效混合精度量化，提升低比特下的模型性能。
2026-02-06 cs.AI cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
NANQ: Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization for Analog Compute-in-Memory
针对模拟内存计算的噪声问题，提出NANQ量化框架，实现混合精度非均匀量化，在2比特量化下提升视觉模型准确率、降低语言模型PPL，仅用少量等效比特即可获显著增益。
2026-08-05 cs.AI cs.LG
MPX: Mixed Precision Training for JAX
Institute for Data Science in Mechanical Engineering (DSME)（数据科学与机械工程研究所（DSME））；RWTH Aachen University（亚琛工业大学）
针对JAX缺乏混合精度训练支持的问题，提出MPX工具箱，通过半精度转换和动态损失缩放，无缝集成Equinox和Flax，简化并加速大规模神经网络训练，同时保持模型精度。
2025-10-27 cs.LG
SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models
College of Electronic Information and Optical Engineering, Nankai University（南开大学电子信息与光工程学院）
提出SFMP框架，通过分数位宽、块级混合精度、行列重排序和统一GEMM内核，实现免搜索、硬件友好的混合精度量化，在相同内存约束下优于现有方法。
2026-06-03 cs.LG
Design of High-Throughput Mixed-Precision CNN Accelerators on FPGA
RWTH Aachen University（亚琛工业大学）
卷积神经网络（CNN）在各个应用领域都达到了高精度，但需要大量的计算并导致昂贵的数据移动。在交易准确性的同时降低这些成本的一种方法是减少权重和/或激活字长。因此，逐层混合精度量化允许更有效的结果，同时膨胀设计空间。在这项工作中，我们提出了一个深入的定量方法，有效地探索设计空间，考虑到有限的硬件资源，一个给定的FPGA。我们的整体探索方法垂直遍历从架构到逻辑级别的各种设计入口级别，并横向涵盖从处理元件到低功耗的优化，以实现高效的混合精度CNN加速器。我们得到的硬件加速器实现了真正的混合精度运算，能够有效执行逐层和逐通道量化CNN。映射前馈和身份快捷连接混合精度CNN导致竞争性的准确性-吞吐量权衡：ResNet-18的245帧/秒和87.48%的Top-5准确性，ResNet-152的92.9%的Top-5准确性和1.13 TOps/s。因此，与相应的浮点基线相比，参数所需的内存占用减少了4.9倍和9.4倍。
2022-08-09 cs.AI cs.AR cs.LG
Training Time Prediction for Mixed Precision-based Distributed Training
Korea University（韩国大学）；KT Corporation（KT公司）
本文提出一种考虑精度的分布式训练时间预测方法，有效降低预测误差，适用于不同精度设置，包括混合精度。
2026-04-17 cs.AI cs.DC cs.LG
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
Google（谷歌公司）
针对高效网络混合精度激活量化中的比特选择不稳定问题，提出两阶段 MetaMix，通过混合精度感知权重更新与固定权重比特搜索实现快速高质量选位，并在 ImageNet 上超越 SOTA。
2024-04-09 cs.CV cs.LG
Post-training Quantization with Multiple Points: Mixed Precision without Mixed Precision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
我们考虑了后训练量化问题，该问题将预先训练的深度神经网络的权重离散化，而无需重新训练模型。我们提出了多点量化，一种量化方法，使用低比特数的多个向量的线性组合来近似全精度权重向量;这与使用单个低精度数字来近似每个权重的典型量化方法相反。在计算上，我们构造了一个有效的贪婪选择过程的多点量化，并根据其输出的误差自适应地决定每个量化的权重向量上的低精度点的数量。这使我们能够为重要的权重实现更高的精度水平，这些权重对输出有很大的影响，从而产生“混合精度效应”，但无需物理混合精度实现（这需要专门的硬件加速器）。经验上，我们的方法可以实现共同的操作数，带来几乎没有内存和计算开销。我们表明，我们的方法在ImageNet分类上优于一系列最先进的方法，并且可以推广到更具挑战性的任务，如PASCAL VOC目标检测。
2021-01-14 cs.CV cs.LG stat.ML
Bit-Mixer: Mixed-precision networks with runtime bit-width selection
Samsung AI Cambridge（三星AI剑桥）；Queen Mary University of London（伦敦玛丽女王大学）
混合精度网络允许对网络中的每一层进行可变位宽量化。现有工作的一个主要限制是每个层的位宽必须在训练时间内预定义。如果在其上部署网络的设备的特性在运行时期间改变，则这几乎不允许灵活性。在这项工作中，我们提出了比特混合器，第一个方法来训练一个元量化的网络，在测试期间，任何层都可以改变其投标宽度，而不会影响整个网络的能力，高度准确的推理。为此，我们做出了两个关键贡献：（a）过渡批规范，以及（b）一个3阶段优化过程，该过程被证明能够训练这样的网络。我们表明，我们的方法可以产生混合精度网络，表现出理想的灵活性，在设备上部署，而不影响准确性。代码将提供。
2021-03-31 cs.AI cs.CV cs.LG
Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search
University of Notre Dame（圣母大学）；Google LLC（谷歌有限责任公司）
由于模型大小和复杂性的增加，高效且低延迟地服务大规模机器学习（ML）模型变得具有挑战性。量化模型可以同时减少内存和计算需求，促进其广泛访问。然而，对于大型模型，并非所有层都同样适用于相同的数值精度，并且激进的量化可能导致模型精度的不可接受的损失。防止这种精度下降的一种方法是混合精度量化，它允许不同的张量被量化到不同的数值精度水平，利用现代硬件的能力。这种混合精度量化可以更有效地将数值精度分配给不同的张量，以保持模型的准确性，同时减少占用空间和计算延迟。在本文中，我们提出了一种方法来有效地确定不同的张量在ML模型中使用后训练混合精度量化的量化配置。我们分析了三个敏感性指标，并评估他们指导配置搜索的两个算法。我们评估了我们的计算机视觉和自然语言处理方法，并证明与基线16位浮点模型相比，延迟降低了27.59%和34.31%，同时保证不超过1%的准确性下降。
2023-02-07 cs.LG
Mixed-Precision Conjugate Gradient Solvers with RL-Driven Precision Tuning
Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室）
本文首次将强化学习（Q学习）应用于混合精度共轭梯度求解器，通过将精度选择建模为MDP实现动态精度调优，在保证数值稳定性的同时提升计算效率，并展示了该方法对新问题实例的适应性和可扩展性。
2025-06-05 cs.LG
Memory Efficient Mixed-Precision Optimizers
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Sorbonne University（索邦大学）
本文提出一种内存高效混合精度优化器，通过去除参数浮点副本并在反向传播中执行优化步骤，实现降低25%峰值内存和加快15%训练速度，同时保持模型精度不变。
2023-09-21 cs.LG
Rethinking Differentiable Search for Mixed-Precision Neural Networks
UC San Diego（加州大学圣地亚哥分校）
低精度网络，权重和激活量化到低位宽，被广泛用于加速边缘设备上的推理。然而，目前的解决方案是统一的，使用相同的位宽的所有过滤器。这不能考虑不同滤波器的不同灵敏度，并且是次优的。混合精度网络通过根据各个滤波器的要求调整位宽来解决这个问题。在这项工作中，最优的混合精度网络搜索（MPS）的问题被认为是。为了克服其离散搜索空间和组合优化的困难，提出了一种新的可微搜索结构，通过利用MPS问题的独特性质来提高效率。由此产生的高效可微混合精度网络搜索（EdMIPS）方法可以有效地为多个流行网络找到最佳比特分配，并且可以在合理的时间内直接在ImageNet上搜索大型模型，例如Inception-V3，而无需代理任务。学习的混合精度网络明显优于其统一的同行。
2020-04-13 cs.CV cs.LG cs.NE
Efficient Bitwidth Search for Practical Mixed Precision Neural Network
SenseTime Research（商汤科技研究院）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Harvard University（哈佛大学）
网络量化已迅速成为压缩和加速深度神经网络的最广泛使用的方法之一。最近的努力建议以不同的精度从不同的层中提取权重和激活，以提高整体性能。然而，找到最优位宽（即，精确度）有效地为每个层的权重和激活。同时，目前还不清楚如何在通用硬件平台上有效地执行不同精度的权重和激活的卷积。为了解决这两个问题，在本文中，我们首先提出了一个有效的位宽搜索（EBS）算法，它重用不同的量化位宽的Meta权重，因此每个候选精度的强度可以直接优化w.r.t的目标，没有多余的副本，减少了内存和计算成本显着。其次，我们提出了一个二进制分解算法，将不同精度的权重和激活转换为二进制矩阵，使混合精度卷积有效和实用。在CIFAR10和ImageNet数据集上的实验结果表明，我们的混合精度QNN优于手工制作的均匀位宽和其他混合精度技术。
2020-03-17 cs.LG stat.ML
AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
University of North Texas（北德克萨斯大学）；Saint Louis University（圣路易斯大学）
AlignQuant通过GPU兼容的二维权重瓦片统一精度分配、存储与执行，解决混合精度量化与GPU计算单元的边界冲突，实现高达2.50倍生成加速并保持模型质量。
2026-10-07 cs.AI cs.CL cs.LG
SplaXBERT: Leveraging Mixed Precision Training and Context Splitting for Question Answering
National University of Singapore, School of Computing（新加坡国立大学计算机学院）
本研究提出基于ALBERT-xlarge的SplaXBERT模型，结合上下文切分与混合精度训练，在SQuAD v1.1长文本问答任务中准确率与资源效率均优于传统BERT类模型。
2024-12-07 cs.CL cs.LG
CoopQ: Cooperative Game Inspired Layerwise Mixed Precision Quantization for LLMs
CoopQ通过合作博弈理论优化层间交互，实现低比特精度下的大语言模型高效混合量化，显著降低困惑度。
2025-12-12 cs.LG
Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization
SenseTime Research（商汤科技研究院）；Peking University（北京大学）；University of Science and Technology Beijing（北京科技大学）
紧急硬件可以支持为不同层分配不同位宽的混合精度CNN模型推断。由于训练混合精度模型的困难以及所有可能的位量化的巨大空间，学习寻找能够保持准确性并满足模型大小和计算的特定约束的最佳混合精度模型是极具挑战性的。本文提出了一种新的基于软障碍惩罚的混合精度量化模型搜索算法（BP-NAS），该算法保证所有搜索到的模型都在复杂度约束定义的有效域内，从而只需进行一次搜索就能在给定的约束条件下返回最优模型。所提出的软障碍惩罚是可微的，可以对有效域之外的模型施加非常大的损失，而对有效域内的模型几乎没有惩罚，从而将搜索限制在可行域中。此外，提出了一个可微的Prob-1正则化，以确保学习NAS是合理的。为了提高训练的稳定性，还采用了分布整形训练策略。BP-NAS在分类（Cifar-10，ImageNet）和检测（COCO）方面都达到了新的技术水平，超越了所有手动和自动设计的高效混合精度方法。特别地，BP-NAS实现了更高的mAP（高达2.7\%mAP改善），以及更低的比特计算成本相比，现有的最佳混合精度模型的COCO检测。
2020-07-20 cs.CV cs.LG
BOMP-NAS: Bayesian Optimization Mixed Precision NAS
Eindhoven University of Technology（埃因霍温理工大学）；NXP Semiconductors（恩智浦半导体）
贝叶斯优化混合精度神经架构搜索（BOMP-NAS）是一种量化感知神经架构搜索（QA-NAS）方法，它利用贝叶斯优化（BO）和混合精度量化（MP）来有效搜索紧凑、高性能的深度神经网络。结果表明，将量化感知微调（QAFT）集成到NAS循环中是找到在低精度量化下表现良好的网络的必要步骤：集成它可以使CIFAR-10数据集的模型大小减少近50%。BOMP-NAS能够找到神经网络，以更低的设计成本实现最先进的性能。这项研究表明，BOMP-NAS可以找到这些神经网络在一个6倍的搜索时间相比，最近的相关工作。
2023-01-27 cs.CV cs.LG
Mixed-Precision Inference Quantization: Radically Towards Faster inference speed, Lower Storage requirement, and Lower Loss
Tsinghua University（清华大学）
基于模型对计算噪声的抵抗能力，模型量化对于压缩模型和提高计算速度是重要的。现有的量化技术严重依赖于经验和“微调”技能。在大多数情况下，量化模型具有比全精度模型更大的损失。该研究提供了一种获得混合精度量化模型的方法，该模型具有比全精度模型更低的损失。此外，分析表明，在整个推理过程中，损失函数主要受层输入噪声的影响。特别地，我们将证明具有大量恒等映射的神经网络对量化方法具有抵抗力。使用量化来提高这些网络的性能也是困难的。
2022-07-20 cs.LG
RAG-based User Profiling for Precision Planning in Mixed-precision Over-the-Air Federated Learning
Cranfield University（克兰菲尔德大学）；Faculty of Engineering and Applied Sciences（工程与应用科学学院）
针对混合精度空中联邦学习中客户端精度水平优化难的问题，提出融合检索增强LLM与动态客户端画像的基于RAG的用户画像框架，有效提升了系统满意度、节能效果与全局模型精度。
2025-03-19 cs.HC cs.LG
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Mixed precision accumulation for neural network inference guided by componentwise forward error analysis
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；ENS de Lyon（里昂高等师范学院）
本文提出基于组件级前向误差分析的混合精度累积策略，通过动态调整精度提升神经网络推理的成本-精度权衡。
2025-12-02 cs.AI cs.LG cs.NA
Learnable Mixed-precision and Dimension Reduction Co-design for Low-storage Activation
Graduate Institute of Electrical Engineering, National Taiwan University（台湾大学电机工程学研究所）
最近，深度卷积神经网络（CNN）取得了许多引人注目的成果。然而，在资源受限的边缘设备上部署CNN受到有限的存储器带宽的限制，用于在推理期间传输大的中间数据，即，activation.现有的研究利用混合精度和降维来降低计算复杂度，但很少关注其在激活压缩中的应用。为了进一步利用激活中的冗余，我们提出了一个可学习的混合精度和降维协同设计系统，该系统将通道分成组，并根据其重要性分配特定的压缩策略。此外，所提出的动态搜索技术扩大了搜索空间，并自动找出最佳的位宽分配。我们的实验结果表明，所提出的方法提高了3.54%/1.27%的准确性和节省0.18/2.02位每值比现有的混合精度方法ResNet 18和MobileNetv 2，分别。
2022-07-19 cs.LG eess.IV
RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions
George Mason University（乔治梅森大学）；Michigan State University（密歇根州立大学）；Northeastern University（东北大学）
本文提出了一种新的深度神经网络（DNN）量化框架，即RMSMP，采用了行混合方案和多精度方法。具体来说，这是第一次在层内分配混合量化方案和多个精度-在DNN权重矩阵的行之间，以简化硬件推理中的操作，同时保持准确性。此外，本文提出了一个不同的观察，从以前的工作，量化误差不一定表现出逐层的敏感性，实际上可以减轻，只要在每一层的权重的某一部分是在较高的精度。这种观察使硬件实现中的逐层均匀性能够保证推理加速，同时仍然享受混合方案的逐行灵活性和多个精度以提高准确性。该方法采用高度硬件信息化的策略，有效地减少了问题的搜索空间，从而得到了实用有效的方案和精度候选。通过离线确定所有层的不同量化方案和精度的比率，RMSMP量化算法使用Hessian和基于方差的方法来有效地为每行分配方案和精度。建议RMSMP测试的图像分类和自然语言处理（BERT）的应用程序，并达到最佳的准确性性能之间的国家的最先进的同等精度下。RMSMP在FPGA设备上实现，与4位固定点基线相比，在ImageNet上实现了ResNet-18端到端推理时间的3.65倍加速。
2021-10-30 cs.LG
MoPEQ: Mixture of Mixed Precision Quantized Experts
Argonne National Laboratory（阿贡国家实验室）；Illinois Institute of Technology（伊利诺伊理工学院）
针对MoE架构大语言视觉模型部署的高内存与计算需求，提出逐专家分配最优位宽的训练后量化算法MoPEQ，通过Hessian迹近似分析专家敏感度并聚类相似专家，在基准测试中实现了具竞争力的精度与内存占用优化。
2025-09-02 cs.LG
A Practical Mixed Precision Algorithm for Post-Training Quantization
Qualcomm AI Research（高通人工智能研究院）
神经网络量化经常用于优化神经网络的设备上部署的模型大小、延迟和功耗。在许多情况下，目标位宽是为整个网络设置的，这意味着每一层都被量化为相同的比特数。然而，对于许多网络来说，某些层对量化噪声的鲁棒性要比其他层强得多，这使得一个重要的改进轴没有得到利用。由于许多硬件解决方案提供多个不同的位宽设置，因此混合精度量化已经成为一种有前途的解决方案，以找到比均匀量化更好的性能-效率权衡。然而，大多数现有的混合精度算法对于从业者来说是相当困难的，因为它们需要访问训练数据，具有许多超参数来调整，甚至依赖于整个模型的端到端再训练。在这项工作中，我们提出了一个简单的后训练混合精度算法，只需要一个小的未标记的校准数据集自动选择合适的位宽为每一层所需的设备上的性能。我们的算法不需要超参数调整，对数据变化具有鲁棒性，并考虑到实际的硬件部署限制，使其成为实际使用的一个很好的候选人。我们在几个计算机视觉任务，自然语言处理任务和许多不同的网络实验验证了我们提出的方法，并表明，我们可以找到混合精度网络，提供更好的平衡精度和效率比均匀的位宽等价物。
2023-02-10 cs.LG
HMQ: Hardware Friendly Mixed Precision Quantization Block for CNNs
Sony Semiconductor Israel（索尼半导体以色列公司）
最近的网络量化工作使用混合精度量化产生了最先进的结果。许多高效边缘设备硬件实现的迫切要求是，它们的量化器是统一的，并且具有2的幂阈值。在这项工作中，我们介绍了硬件友好的混合精度量化块（HMQ），以满足这一要求。HMQ是一个混合精度量化块，它将Gumbel-Softmax估计器重新用于一对量化参数（即位宽和阈值）的平滑估计器。HMQ使用它来搜索量化方案的有限空间。从经验上讲，我们将HMQ应用于在CIFAR 10和ImageNet上训练的神经网络分类模型。对于ImageNet，我们测试了四种不同的架构，并表明，尽管我们的量化方案增加了限制，但我们仍然获得了有竞争力的结果，在某些情况下，还获得了最先进的结果。
2020-07-20 cs.CV cs.LG stat.ML
MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
MixDiT通过算法-硬件协同设计，利用混合MX格式对DiT激活值进行选择性量化，并设计专用加速器实现精度灵活的乘法，在保持FID无损的情况下相比RTX 3090获得2.10至5.32倍加速。
2025-04-11 cs.AR cs.LG
MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学）
针对现有PTQ方法精度分配低效问题，提出MixFrag框架，通过KL散度估计量化脆弱性并将位分配建模为MCKP，在ImageNet、COCO任务上实现最优混合精度PTQ性能。
2026-07-31 cs.CV cs.LG
Training Distributed Deep Recurrent Neural Networks with Mixed Precision on GPU Clusters
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
在本文中，我们评估了具有半精度浮点数的深度循环神经网络的训练。我们通过集成TensorFlow和CUDA感知MPI来实现分布式、数据并行、同步训练算法，以实现跨多个GPU节点的执行，并利用高速互连。我们引入了一个学习率调度促进神经网络收敛到$O(100)$工人。在NVIDIA Pascal P100 GPU集群上进行的强缩放测试显示，单精度和混合精度训练模式下的运行时间和通信时间都呈线性缩放。性能进行评估的科学数据集从联合欧洲环（JET）托卡马克，包含多模态的时间序列的感官测量导致有害的事件，称为等离子体中断，和基准大电影评论数据集~ \cite{imdb}。半精度显著降低了内存和网络带宽，允许训练具有超过7000万个可训练参数的最先进模型，同时实现与单精度的相当的测试集性能。
2019-11-30 cs.LG
TMPDiff: Temporal Mixed-Precision for Diffusion Models
TMPDiff通过为不同去噪时间步分配不同精度，优化扩散模型的推理效率，提升感知质量。
2026-03-14 cs.CV cs.LG
Mixed Precision Scaling Laws for Quantized Pretraining
Seoul National University（首尔大学）；Amazon Annapurna Labs（亚马逊安纳普尔纳实验室）
本文针对量化预训练提出混合精度缩放定律，分离量化对模型容量与优化效率的影响，经Qwen3、Llama实验验证，其预测损失的MSE比现有定律低达11倍，还确定了硬件感知下的最优量化预训练方案。
2026-10-14 cs.LG
Free Bits: Latency Optimization of Mixed-Precision Quantized Neural Networks on the Edge
ETH Zürich（苏黎世联邦理工学院）；Università di Bologna（博洛尼亚大学）
本文提出混合搜索方法，结合硬件无关的可微搜索与硬件感知启发式优化，为边缘端多核 RISC-V 平台寻找延迟最优的混合精度量化配置，在 MobileNet 上实现最高 28.6% 延迟降低且精度损失可忽略。
2023-07-06 cs.LG
FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search
Cornell University（康奈尔大学）；Google（谷歌公司）
本文提出FLIQS，首个无需重新训练的混合精度量化搜索方法，可同时搜索整数与低精度浮点量化方案，并在多个模型上以相似成本显著提升ImageNet精度。
2024-05-01 cs.CV cs.LG
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Seoul National University（首尔大学）
PN-Mix是一种针对基于RoPE的仅解码器大语言模型的混合精度键缓存量化方法，通过对范数引导分配精度，在更低平均比特下实现更优精度，且性能下降更平缓。
2026-10-15 cs.CL cs.LG
Mixed Precision Training of Neural ODEs
NTNU – Norwegian University of Science and Technology（挪威科学技术大学）；Emory University（埃默里大学）；University of Tennessee（田纳西大学）
本文提出了一种适用于连续时间架构的混合精度训练框架，通过高精度存储权重和低精度计算关键操作，解决神经微分方程训练中的计算成本和内存增长问题。
2026-04-30 cs.AI cs.LG cs.NA
Resource-aware Mixed-precision Quantization for Enhancing Deployability of Transformers for Time-series Forecasting on Embedded FPGAs
Intelligent Embedded Systems Lab, University of Duisburg-Essen（Duisburg-埃森大学智能嵌入式系统实验室）
本文提出面向资源的混合精度量化方法，通过灵活的资源类型选择和BRAM高效利用，解决嵌入式FPGA上整数量化Transformer部署难题，提升模型部署效率和适用性。
2026-04-21 cs.LG
BMPQ: Bit-Gradient Sensitivity Driven Mixed-Precision Quantization of DNNs from Scratch
University of Southern California（南加州大学）
具有混合精度量化的大型DNN可以实现超高压缩，同时保持高分类性能。然而，由于在寻找可以指导优化过程的准确度量方面存在挑战，与32位浮点（FP-32）基线相比，这些方法要么牺牲了显着的性能，要么依赖于计算昂贵的迭代训练策略，需要预先训练的基线。为了解决这个问题，本文提出了BMPQ，一种使用比特梯度来分析层敏感性并产生混合精度量化模型的训练方法。BMPQ需要一次训练迭代，但不需要预先训练的基线。它使用整数线性规划（ILP）在训练过程中动态调整层的精度，但硬件预算固定。为了评估BMPQ的有效性，我们使用VGG 16和ResNet 18在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上进行了广泛的实验。与基准FP-32模型相比，BMPQ可以生成具有15.4倍更少的参数位的模型，而精度下降可以忽略不计。与SOTA“在训练期间”，混合精度训练方案相比，我们的模型分别在CIFAR-10，CIFAR-100和Tiny-ImageNet上小了2.1倍，2.2倍和2.9倍，准确率提高了14.54%。
2021-12-24 cs.CV cs.LG
Neural Quantum States in Mixed Precision
Center for Computational Quantum Physics, Flatiron Institute（计算量子物理中心，Flatiron研究所）；Department of Mathematical Sciences, Rutgers University（数学科学系，罗格斯大学）；Center for Computational Mathematics, Flatiron Institute（计算数学中心，Flatiron研究所）
本研究探讨了混合精度算术在神经网络变分蒙特卡洛方法中的应用，证明在保持准确性的同时可提升计算效率和能效。
2026-01-28 cond-mat.str-el cs.LG quant-ph
FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification
Department of Computer Science, University of Copenhagen, Denmark（计算机科学系，哥本哈根大学，丹麦）
FairQuant通过公平性感知的混合精度量化方法，在医学图像分类中提升模型精度和公平性，实现性能与效率的平衡。
2026-02-26 cs.CV cs.LG
Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators
Samsung Semiconductor, Inc.（三星半导体公司）
在本文中，我们提出了一种混合精度卷积单元架构，支持不同的整数和浮点（FP）精度。该结构基于低比特内积单元，并通过时间分解实现了更高的精度。我们说明了如何整合FP计算整数为基础的架构和评估FP算法支持所产生的开销。我们认为，FP内积的对齐和加法开销可能很大，因为最大指数差可能高达58位，这会导致大型对齐逻辑。为了解决这个问题，我们说明经验，不超过26位的产品位是必需的，最多8位的对齐是足够的，在大多数推理情况下。我们提出了新的优化基于上述意见，以减少FP算法的硬件开销。我们的实证结果，基于仿真和硬件实现，FP 16开销显着减少。在典型的混合精度实现中，所提出的架构实现了高达25%的面积改善在TFLOPS/mm 2和高达46%的TOPS/mm 2与功率效率的提高高达40%在TFLOPS/W和高达63%在TOPS/W。
2021-01-27 cs.AR cs.LG
LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators
University of Vienna（维也纳大学）；Huawei Heisenberg Research Center（华为海森堡研究中心）；Huawei Technologies Co. Ltd（华为技术有限公司）
提出LampAttention，一种混合精度FlashAttention的硬件-算法协同设计，通过8位计算与自适应16位重算敏感子块，在专用加速器上高效恢复模型性能。
2026-10-01 cs.LG cs.NA math.NA
SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training
University of Michigan（密歇根大学）；NTT Research, Inc.（NTT研究公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
SNIP通过自适应混合精度框架，有效提升大语言模型训练效率，减少FLOPs达80%并保持模型质量。
2026-02-01 cs.AR cs.LG
FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
NVIDIA（NVIDIA公司）；University of California, Berkeley（加州大学伯克利分校）
提出FGMP，一种软硬件协同的细粒度混合精度量化方法，通过Fisher信息加权扰动选择高精度块并配合敏感性裁剪，在Llama-2-7B上实现<1%困惑度退化、14%能耗和30%权重内存节省。
2025-04-19 cs.AR cs.LG
Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 FedMPQ 算法，首次将混合精度量化引入资源异构联邦学习，通过正则化优化和服务器端自适应位宽分配，在多种模型与数据集上超越固定精度量化基线，且仅带来较小计算开销。
2023-11-29 cs.DC cs.LG
MaRVIn: A Cross-Layer Mixed-Precision RISC-V Framework for DNN Inference, from ISA Extension to Hardware Acceleration
School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典）
MaRVIn提出跨层软硬件协同的RISC-V混合精度推理框架，通过新型ISA扩展、可配置混合精度ALU、软SIMD、剪枝感知微调和贪心DSE，在精度损失低于1%时实现平均17.6倍加速和最高1.8 TOPS/W能效。
2025-09-18 cs.AR cs.LG
Compute, Time and Energy Characterization of Encoder-Decoder Networks with Automatic Mixed Precision Training
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络在许多不同的领域都取得了巨大的成功。这些网络的训练可能需要大量的时间、计算和能量。随着数据集变得越来越大，模型变得越来越复杂，对模型架构的探索变得令人望而却步。在本文中，我们研究的计算，能量和时间成本的训练基于UNet的深度神经网络的问题，预测短期天气预报（称为降水临近预报）。通过利用数据分布式和混合精度训练的组合，我们探索了这个问题的设计空间。我们还表明，更大的模型具有更好的性能来在一个潜在的增量成本，如果使用适当的优化。我们表明，在不牺牲模型性能的情况下，通过利用混合精度训练，可以显著提高训练时间。此外，我们发现，对于具有4个编码层的UNet，网络的可训练参数数量增加了1549%，而能量使用增加了相对较小的63.22%。
2020-08-18 cs.DC cs.LG
Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge
Rochester Institute of Technology（罗切斯特理工学院）
低精度DNN已被广泛研究，以减少边缘设备的DNN模型的大小。最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺[5]。8]位。然而，以前的研究仅限于DNN推理的研究。在本文中，我们提出了Cheetah框架，它支持DNN训练和使用posits的推理，以及其他常用格式。此外，该框架适用于不同的量化方法，并支持混合精度浮点和定点数值格式。Cheetah在三个数据集上进行评估：MNIST，Fashion MNIST和CIFAR-10。结果表明，在DNN训练中，16位定位优于16位浮点。此外，使用[5. 8]-位假设改善了性能和能量延迟积之间的权衡[5.. 8]-位浮点和定点。
2019-08-06 cs.LG cs.NE stat.ML
FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Jiangsu Shuguang Optoelectric Co., Ltd（江苏曙光光电有限公司）
提出软硬件协同设计FineQ，通过细粒度权重聚类、簇内3比特异常值保护机制及时间编码加速器，在相近平均位宽下提升LLM低位混合精度量化精度，并实现1.79倍能效提升与61.2%面积缩减。
2025-04-28 cs.AR cs.LG
MPQ-Diff: Mixed Precision Quantization for Diffusion Models
University of Neuchâtel（纳沙泰尔大学）
针对扩散模型采样时间长的问题，提出混合精度量化方案MPQ-Diff，基于层间相关性为各层权重和激活分配不同位宽，在LSUN和ImageNet上显著提升FID指标，有效加速采样并保持图像质量。
2024-11-28 cs.CV cs.LG
Efficient and Effective Methods for Mixed Precision Neural Network Quantization for Faster, Energy-efficient Inference
IBM Research（IBM研究院）
本文提出EAGL和ALPS两种混合精度量化层选择方法，在ResNet和BERT上以4位与2位混合精度恢复全精度性能，并显著减少计算时间。
2024-01-10 cs.CV cs.LG
PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit
INESC-ID；Universidade de Lisboa（里斯本大学）
低精度格式已被证明是一种有效的方法，不仅可以减少内存占用，还可以减少深度学习计算的硬件资源和功耗。在此前提下，IEEE的浮点数格式似乎是一个非常可行的替代品，但其应用到神经网络训练仍需要进一步的研究。一些初步结果表明，8位（甚至更小）的假设可以用于推理，16位用于训练，同时保持模型的准确性。本研究的目的是评估的可行性，训练深度卷积神经网络使用假设。为此，开发了一个软件框架，在端到端的训练和推理中使用模拟的假设和询问。这种实现方式允许使用任何位大小、配置甚至混合精度，适用于各个阶段的不同精度要求。所获得的结果表明，8位的位置可以在训练过程中替代32位的浮点数，而不会对所产生的损失和准确性产生负面影响。
2021-05-14 cs.LG cs.NE
