Optimizing Large Language Models: Metrics, Energy Efficiency, and Case Study Insights
Vector Institute(向量研究所);University of Ottawa(渥太华大学)
本文探讨了在大语言模型部署中整合能效优化技术,通过量化和本地推断技术降低碳足迹,实验表明可减少45%的能耗和碳排放,适用于资源受限环境。
2026-04-11 cs.AI cs.LG
Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression
Ajou University(亚洲大学)
提出可微分位宽方法,在统一框架中协同优化剪枝与量化,通过SVD学习组件级位宽,实现超高效LLM压缩,优于两阶段基线。
2026-10-06 cs.AI cs.CL
Attention Quantization for Tabular Foundation Models
Prior Labs
针对表格基础模型,提出FP8注意力量化策略,强调训练与测试行量化误差对齐,Triton内核实现1.7倍加速且精度无显著损失。
2026-09-14 cs.AI cs.LG
DAQ: Density-Aware Post-Training Weight-Only Quantization For LLMs
Zhejiang University(浙江大学)
本文提出密度感知训练后仅权重量化方法DAQ,通过密度中心对齐和可学习动态范围调整,在LLaMA系列模型上显著降低量化带来的困惑度损失。
2024-10-17 cs.AI cs.LG
Advancing Model Refinement: Muon-Optimized Distillation and Quantization for LLM Deployment
Intelligent Systems and Robotics (ISR) University of West Florida(智能系统与机器人(ISR)大学西部佛罗里达大学);DEVCOM Army Research Laboratory (ARL)(陆军研究实验室(ARL))
本文提出结合量化、LoRA和数据蒸馏的框架,通过μ子优化器实现模型压缩与性能提升,适用于LLM部署。
2026-11-10 cs.AI cs.LG
OstQuant: Refining Large Language Model Quantization with Orthogonal and Scaling Transformations for Better Distribution Fitting
Houmo AI;Nanjing University(南京大学);Southeast University(东南大学)
本文提出OSTQuant方法,通过正交和缩放变换优化量化空间分布,并引入QSUR指标和KL-Top损失,在多种LLM基准上提升量化性能,显著缩小精度差距。
2025-01-23 cs.AI cs.LG
Athena: Efficient Block-Wise Post-Training Quantization for Large Language Models Using Second-Order Matrix Derivative Information
Peking University(北京大学)
Athena提出利用二阶矩阵导数信息指导分块训练后量化,通过按列或行分组并迭代优化,实现大型语言模型高效压缩且保持高精度。
2024-05-24 cs.AI cs.CL cs.LG
BiSup: Bidirectional Quantization Error Suppression for Large Language Models
College of Intelligence and Computing(智能与计算学院);Tianjin University(天津大学)
BiSup提出双向量化误差抑制方法,通过参数高效微调抑制垂直累积误差,并采用提示混合精度量化缓解水平扩散,在Llama和Qwen上显著降低困惑度。
2024-05-24 cs.AI cs.CL cs.LG
Interactions Across Blocks in Post-Training Quantization of Large Language Models
Recogni(睿识科技);Technical University of Munich(慕尼黑工业大学)
本文针对大语言模型训练后量化中局部目标的两个简化假设,提出两种多块微调策略,发现其效果因模型而异,对部分模型有显著提升。
2024-11-06 cs.AI cs.CL cs.LG
LPCD: Unified Framework from Layer-Wise to Submodule Quantization
Fujitsu Limited(富士通株式会社);RIKEN Center for AIP(理化学研究所AIP研究中心);Institute of Science Tokyo(东京科学研究所);Tokai University(东海大学)
LPCD提出了一种统一的后训练量化框架,通过优化子模块和投影层量化器,提升复杂子模块的量化效率和兼容性。
2025-12-01 cs.AI cs.CL cs.LG
Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs
University College London(伦敦大学学院);Cohere(Cohere公司)
本文通过分析校准集对不同开源LLMs隐藏激活和离群值的影响,发现现代模型对量化中的离群值具有较强鲁棒性,建议PTQ策略应从保留离群值转向优化推理速度。
2024-06-05 cs.AI cs.CL cs.LG
MixPE: Quantization and Hardware Co-design for Efficient LLM Inference
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出MixPE混合精度处理单元,通过逐组mpGEMM后反量化和移位加法替代乘法器两项创新,实现大语言模型推理中2.6倍加速和1.4倍能耗降低。
2024-11-25 cs.AI cs.AR cs.LG
AQPIM: Breaking the PIM Capacity Wall for LLMs with In-Memory Activation Quantization
Institute of Science Tokyo(东京科学研究院)
本文提出AQPIM,一种基于内存激活量化的PIM框架,通过聚类向量量化提升带宽和计算效率,显著减少内存占用和计算开销。
2026-04-20 cs.AI cs.AR cs.LG
Q-Palette: Fractional-Bit Quantizers Toward Optimal Bit Allocation for Efficient LLM Deployment
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心)
本研究针对LLM仅权重PTQ的量化误差问题,推导高斯化权重的最优比特分配,提出含多种分数比特量化器的Q-Palette及混合方案量化框架,实现高效低损的LLM部署。
2025-10-22 cs.AI cs.LG
Optimizing LLMs for Resource-Constrained Environments: A Survey of Model Compression Techniques
Google(谷歌)
该综述针对大语言模型资源需求高、难以在边缘与移动设备部署的问题,系统梳理了知识蒸馏、量化、剪枝三类主流压缩技术及补充方案,并指出未来研究方向,为边缘部署优化的研究者和从业者提供参考。
2025-05-08 cs.AI cs.CL cs.LG
EXAQ: Exponent Aware Quantization For LLMs Acceleration
Habana Labs – An Intel company(Habana Labs(英特尔旗下公司));Technion(以色列理工学院)
针对大语言模型推理中softmax层的性能瓶颈,提出指数感知量化方法EXAQ,通过确定softmax输入最优截断值实现亚4位量化,在极小精度损失下显著提升softmax运算速度。
2024-10-04 cs.AI cs.LG cs.PF
ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs
Massachusetts Institute of Technology(麻省理工学院)
ThinQuant通过数据选择和精确优化约简,实现了高效的无梯度旋转学习,在低比特量化中匹配甚至超越现有方法,并首次将旋转校准扩展到405B模型。
2026-09-30 cs.AI cs.LG
Train Flat, Then Compress: Sharpness-Aware Minimization Learns More Compressible Models
Carnegie Mellon University(卡内基梅隆大学)
本研究结合锐度感知最小化(SAM)与多种模型压缩方法,证实平坦最小值优化能提升BERT模型的参数可压缩性,且在GLUE和SQuAD基准上准确率损失极小,还能找到更优的跨任务迁移中奖彩票。
2022-10-24 cs.AI cs.CL cs.LG
BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团);University of Arizona(亚利桑那大学)
针对旋转量化中通道均值不对齐及激活高斯化导致的误差和全模型反向传播开销,提出结合偏置校正、非对称缩放与分块优化的 BASE-Q,显著缩小量化模型与全精度模型的精度差距。
2025-08-29 cs.AI cs.CL cs.LG
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization
Meta AI
ParetoQ提出统一量化框架,严格比较1至4位量化,发现2-3位间学习转变,其三元600M模型超越先前3B最先进模型,表明2位量化在权衡中具潜力。
2025-10-13 cs.AI cs.CL cs.CV
Binary Neural Networks for Large Language Model: A Survey
OPPO AI Center(OPPO人工智能中心);School of Electrical and Automation Engineering, Nanjing Normal University(南京师范大学电气与自动化工程学院)
本文综述了大型语言模型的二值量化技术,涵盖从训练起始即采用二值权重的BitNet方法及其衍生技术,并探讨了这些技术在深度神经网络中的应用与贡献。
2025-02-26 cs.AI cs.CL
On Accelerating Edge AI: Optimizing Resource-Constrained Environments
University of West Florida(西佛罗里达大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);Institute for Human & Machine Cognition(人机认知研究所)
本综述全面探讨了在资源受限的边缘环境下加速深度学习模型的三大核心策略:模型压缩、Neural Architecture Search (NAS)及编译器部署框架,并指出了新兴前沿与未来研究方向。
2025-01-28 cs.AI cs.LG cs.NE
The Devil Is in the Reconstruction Loss Scale: Rethinking Optimization in LLM Quantization
Intel Labs China(英特尔中国研究院)
本研究揭示LLM量化中MSE重建损失导致跨阶段优化失衡,提出优化强度应与损失尺度解耦,并证明RMSE变体通过隐式梯度归一化显著提升PTQ性能。
2026-10-02 cs.AI cs.CL
Task-Stratified Knowledge Scaling Laws for Post-Training Quantized Large Language Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所认知与决策智能复杂系统重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院)
本文提出任务分层的知识扩展规律,通过统一模型大小、位宽和细粒度因素,验证了293种不同的训练后量化配置,揭示了不同知识能力对精度、规模和校准的敏感性。
2026-04-21 cs.AI cs.CL cs.LG
Performance Trade-offs of Optimizing Small Language Models for E-Commerce
Faculty of Informatics(信息学院);Juraj Dobrila University of Pula(朱拉·多布里拉大学)
本文研究优化十亿参数Llama 3.2模型用于电子商务意图识别,通过QLoRA微调和量化,实现99%准确率并匹配GPT-4.1,同时揭示了硬件依赖的性能权衡。
2025-10-24 cs.AI cs.CL
ELUTQ: Optimizing Quantization Accuracy under LUT-Based Computation for Edge LLMs
College of Electronic Information and Optical Engineering, Nankai University(电子信息与光工程学院,南开大学)
ELUTQ通过分层线性量化提升边缘大语言模型低比特量化精度与性能
2026-02-01 cs.LG
Optimizing Deep Neural Networks using Safety-Guided Self Compression
Department of Electrical and Computer Engineering, American University of Beirut (AUB)(电气与计算机工程系,贝鲁特美国大学)
本文提出一种安全驱动量化框架,利用保留集系统剪枝和量化神经网络权重,在保持60%模型大小的同时测试准确率最高提升2.5%,有效优化了深度学习模型。
2025-05-01 cs.AI cs.LG
Optimizing Large Language Model Training Using FP4 Quantization
University of Science and Technology of China(科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft SIGMA Team(微软SIGMA团队)
本文提出首个FP4训练框架,通过可微量化估计器和异常值钳制补偿策略,解决量化误差和表示能力限制问题,实现与BF16和FP8相近的精度,适用于大规模语言模型训练。
2025-05-23 cs.CL cs.LG
Optimizing Learned Image Compression on Scalar and Entropy-Constraint Quantization
Fraunhofer Institute for Telecommunications – Heinrich Hertz Institute(弗劳恩霍夫电信研究所——海因里希·赫兹研究所);Institute of Computer Science(计算机科学研究所);Free University of Berlin(柏林自由大学);Department of Telecommunication Systems(电信系统系)
针对学习型图像压缩中量化近似失配问题,提出端到端训练后基于真实量化隐变量的微调步骤,在不增加推理复杂度的情况下提升标量与熵约束压缩性能。
2025-06-10 cs.AI cs.IT cs.LG
Optimizing LLMs Using Quantization for Mobile Execution
School of Computer Science(计算机科学学院);Engineering(工程学院);Vellore Institute of Technology(韦洛雷理工学院);Chennai, India(印度钦奈)
本文通过4位后训练量化和GGUF格式优化,实现Llama 3.2 3B模型在移动设备上的高效部署。
2025-12-06 cs.LG
Optimizing the Phi-2 Small Language Model for Real-time Chatbot Applications Using Parameter-Efficient Fine-Tuning (PEFT) with QLoRA Quantization
Beacom College of Computer and Cyber Sciences, Dakota State University(达科他州立大学比科姆计算机与网络科学学院);Mathematics and Computer Science, Augustana College(奥古斯塔纳学院数学与计算机科学系)
本研究通过PEFT与QLoRA优化Phi-2模型,降低内存占用并提升实时聊天响应准确性,验证了SLMs在资源受限环境中的可行性。
2026-09-29 cs.LG
On-device AI: Quantization-aware Training of Transformers in Time-Series
University of Duisburg-Essen(杜伊斯堡-埃森大学)
针对资源受限传感器设备部署庞大Transformer模型性能不佳的问题,研究通过量化感知训练优化时间序列预测模型,并将其作为硬件加速器部署于嵌入式FPGA上,以减小模型规模与内存占用。
2024-08-29 cs.AI cs.LG
Scaling Laws for Precision in High-Dimensional Linear Regression
The University of Hong Kong(香港大学)
本文研究了高维线性回归中低精度训练的缩放规律,揭示了乘法和加法量化对模型和数据容量的不同影响,为优化训练协议提供了理论依据。
2026-02-26 cs.AI cs.LG stat.ML
TORQUE: Optimizing What (not) to Quantize Before and After Rotation
University College London(伦敦大学学院);Harvard University(哈佛大学);VMware Research by Broadcom(博通旗下威睿研究院)
TORQUE通过联合优化旋转前后高精度保留的坐标数量与选择,在固定比特预算下改进随机旋转量化,实现更优的重建精度与存储成本权衡。
2026-09-30 cs.AI cs.IT cs.LG
OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models
The Chinese University of Hong Kong(香港中文大学);OpenGVLab(开放视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
OmniQuant通过可学习权重裁剪和可学习等价变换,高效优化量化参数,在极低比特量化下保持性能,适用于多种量化配置,并在指令调优模型中有效。
2024-03-18 cs.CL cs.LG
Automatic mixed precision for optimizing gained time with constrained loss mean-squared-error based on model partition to sequential sub-graphs
Intel Corporation/Habana(英特尔公司/ Habana)
本研究针对推理阶段训练后量化的最优混合精度自动选择问题,提出基于损失MSE的逐层灵敏度指标与顺序子图硬件感知时间增益预测方法,通过整数规划在精度约束下最大化时间增益,在多个LLM上得到验证。
2025-05-19 cs.LG
Rounding-Guided Backdoor Injection in Deep Learning Model Quantization
Zhejiang University(浙江大学);Singapore Management University(新加坡管理学院)
提出新型后门攻击QuRA,仅通过量化操作优化关键权重舍入方向来注入后门,实现近100%攻击成功率且性能无损,并能绕过现有防御。
2025-10-05 cs.AI cs.CR cs.LG
DILEMMA: Joint LLM Quantization and Distributed LLM Inference Over Edge Computing Systems
University of Kentucky(肯塔基大学)
本文提出DILEMMA框架,通过联合优化层放置与层量化,在边缘计算系统中部署LLM以最小化推理延迟,在保持模型性能的同时实现高达12.75%的量化率。
2025-03-03 cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research(Meta现实实验室研究部门);AGH UST(AGH科技大学)
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性,通常通过量化权重。大多数现有的作品采用线性量化,这会导致相当大的下降,在精度的权重位宽低于8。由于权重的分布通常是不均匀的(大多数权重集中在零附近),因此其他方法(如对数量化)更适合,因为它们能够更精确地保持权重分布的形状。此外,使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中,我们探讨利用较低的位精度的非线性量化技术,并确定有利的硬件实现选项。我们开发了量化感知训练(QAT)算法,该算法允许训练低位宽的二次幂(PoT)网络,并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术,并研究了三种不同量化方案(均匀,PoT和附加PoT(APoT))的MAC单元的硬件设计,以显示使用所提出的方法时提高的效率。实验结果表明,对于低位宽精度,非均匀量化的性能优于均匀量化,同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
A Systematic Evaluation of On-Device LLMs: Quantization, Performance, and Resources
研究通过分析不同规模模型和量化方法,揭示了量化程度与性能的关系,以及资源利用与计算延迟的关联,为边缘环境下的大语言模型优化提供指导。
2026-03-16 cs.LG
Dissimilarity Clustering by Hierarchical Multi-Level Refinement
Université Paul Verlaine-Metz(保罗·魏尔伦-梅斯大学);Université Paris 1 Panthéon-Sorbonne(巴黎第一大学 先贤祠-索邦)
本文介绍了一种新的方法,优化的自然扩展的量化误差用于k-均值聚类相异的数据。该方法是基于层次聚类分析结合多层次启发式求精。该方法计算效率高,并且比传统方法实现了更好的量化误差
2012-04-29 cs.LG stat.ML
EfQAT: An Efficient Framework for Quantization-Aware Training
ETH Zurich(苏黎世联邦理工学院);Axelera AI(阿克塞拉人工智能公司)
提出EfQAT框架,通过仅优化量化模型的关键参数子集,在加速反向传播的同时显著提升PTQ准确率并保留QAT的大部分精度。
2024-11-17 cs.LG
CCQ: Convolutional Code for Extreme Low-bit Quantization in LLMs
Baidu Inc.(百度公司)
提出卷积码量化(CCQ)方法,结合硬件感知移位编解码与卷积码等技术,将LLM压缩至2.0-2.75位,在保持精度的同时实现单GPU部署并消除跨卡通信。
2025-07-09 cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
KV-COBRA通过按注意力头协同优化秩和位宽分配,在低比特率下实现更优的KV缓存压缩,显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
MSQ: Memory-Efficient Bit Sparsification Quantization
Department of Electrical and Computer Engineering, Sungkyunkwan University(全州大学电子与计算机工程系);Department of Electrical and Computer Engineering, University of Arizona(亚利桑那大学电子与计算机工程系)
针对混合精度量化中层级最优精度难寻、位级稀疏方法训练复杂度与内存需求高的问题,提出MSQ方法,通过可微LSB计算、正则化稀疏化及Hessian信息剪枝,在保持准确率与压缩率的同时大幅降低训练参数与时间。
2025-07-30 cs.LG
Training Quantized Deep Neural Networks via Cooperative Coevolution
Southern University of Science and Technology(南方科技大学)
这项工作考虑了一个具有挑战性的深度神经网络(DNN)量化任务,该任务旨在训练量化的DNN,而不涉及任何全精度操作。大多数以前的量化方法不适用于此任务,因为它们依赖于全精度梯度来更新网络权重。为了填补这一空白,在这项工作中,我们提倡使用进化算法(EA)来搜索DNN的最佳低位权重。为了有效地解决诱导的大规模离散问题,我们提出了一种新的EA合作协同进化的基础上,重复分组的网络权重的基础上,在其值的信心,并专注于优化的信心最小的。据我们所知,这是第一个工作,应用EA训练量化DNN。实验表明,我们的方法超越了以前的量化方法,可以训练一个4位的ResNet-20的Cifar-10数据集上具有相同的测试精度作为其全精度对应。
2022-05-23 cs.AI cs.LG cs.NE
QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);Purdue University(普渡大学);Arizona State University(亚利桑那州立大学);The Chinese University of Hong Kong(香港中文大学)
本文研究混合专家模型的后训练量化,提出结构感知的细粒度混合精度方法,通过数据驱动技术优化比特分配,在基准测试中平均性能达65.35%,优于基线GPTQ的64.30%。
2025-02-25 cs.AI cs.CL cs.LG
Compute Where it Counts: Self Optimizing Language Models
Cornell University(康奈尔大学)
本文提出自优化语言模型(SOL),通过轻量策略网络动态分配计算预算,提升解码效率与生成质量,在不同模型和计算条件下优于静态分配和随机搜索。
2026-05-11 cs.CL cs.LG
HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization
POSTECH(浦项科技大学)
针对反向传播优化易影响收敛的难题,提出HLQ策略,对激活梯度做4位哈达玛量化、权重梯度做哈达玛低秩近似,在训练与微调中实现显著内存节省和加速,且精度损失极小。
2024-06-21 cs.CV cs.LG
Efficient Adaptive Activation Rounding for Post-Training Quantization
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
针对训练后激活量化的舍入次优及运行时开销问题,提出AQuant框架,通过自适应激活舍入边界函数降低输出误差,采用粗粒度版本控开销,在2位量化下显著提升ResNet-18等模型准确率。
2023-08-24 cs.CV cs.LG
Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 FedMPQ 算法,首次将混合精度量化引入资源异构联邦学习,通过正则化优化和服务器端自适应位宽分配,在多种模型与数据集上超越固定精度量化基线,且仅带来较小计算开销。
2023-11-29 cs.DC cs.LG
QEFT: Quantization for Efficient Fine-Tuning of LLMs
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Graduate School of Artificial Intelligence(人工智能研究生院)
本文提出QEFT,一种用于大型语言模型高效微调的轻量级量化技术,旨在同时提升推理与微调速度、降低内存消耗并保持模型质量,实验证明其性能可媲美全精度参数高效微调且资源消耗更少。
2024-10-11 cs.CL cs.LG
FedHQ: Hybrid Runtime Quantization for Federated Learning
Peking University(北京大学);University of Maryland(马里兰大学)
针对联邦学习中 PTQ 与 QAT 难以兼顾速度和准确率的问题,本文提出 FedHQ 混合运行时量化框架,依据硬件与数据分布自动分配量化策略,实现最高 2.47 倍加速和 11.15% 准确率提升。
2026-10-28 cs.LG
Adaptive Mesh-Quantization for Neural PDE Solvers
QUVA Lab University of Amsterdam(阿姆斯特丹大学QUVA实验室);AMLAB University of Amsterdam(阿姆斯特丹大学AMLAB实验室);FunAI Lab University of Technology Nuremberg(纽伦堡技术大学FunAI实验室)
本研究提出自适应网格量化方法,通过动态调整位宽优化神经PDE求解器的资源分配,提升复杂物理问题的求解效率。
2025-11-23 cs.LG