Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
深度神经网络(DNN)有许多参数和激活数据,而这两者的实现成本都很高。减少DNN大小的一种方法是通过使用权重和激活的低位表达式来优化预训练模型,使用微调来恢复准确性的下降。然而,通常难以训练使用低位表达式的神经网络。一个原因是DNN的中间层中的权重具有宽的动态范围,并且因此当将宽的动态范围量化为几个比特时,步长变大,这导致大的量化误差并且最终导致精度的大的劣化。为了解决这个问题,本文在不使用任何额外的学习参数和超参数的情况下做出了以下三个贡献。首先,我们分析导致上述问题的批量归一化如何干扰量化DNN的微调。其次,基于这些结果,我们提出了一种新的修剪方法,称为量化修剪(PfQ),它去除了干扰DNN微调的滤波器,同时尽可能不影响推断结果。第三,我们提出了一个使用所提出的修剪方法(PfQ)对量化DNN进行微调的工作流程。使用知名的模型和数据集的实验证实,所提出的方法实现了更高的性能与类似的模型大小比传统的量化方法,包括微调。
2020-11-25 cs.CV
A Low Memory Footprint Quantized Neural Network for Depth Completion of Very Sparse Time-of-Flight Depth Maps
EPFL(洛桑联邦理工学院);Sony Depthsensing Solutions NV(索尼深度传感解决方案公司);Sony Europe B.V.(索尼欧洲公司);University of Padova(帕多瓦大学)
稀疏主动照明能够实现精确的飞行时间深度感测,因为它在低功率预算下最大化信噪比。然而,需要深度完成来产生用于3D感知的密集深度图。我们通过模拟ToF数据集,以具有挑战性的稀疏度水平进行室内3D感知,从而在现实的照明和传感器分辨率约束下解决这一任务。我们提出了一个量化的卷积编码器-解码器网络来完成这项任务。我们的模型通过输入预处理和精心调整的训练与几何保持损失函数实现了最佳的深度图质量。我们还通过混合精度量化训练技术实现了权重和激活的低内存占用。所得到的量化模型在质量方面与最先进的模型相当,但它们需要非常低的GPU时间,并且对于权重w.r.t.它们的浮点对应物对质量指标的影响最小。
2022-05-25 cs.CV
Memory-Free and Parallel Computation for Quantized Spiking Neural Networks
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对量化脉冲网络因膜电位量化丢失历史信息导致性能下降的问题,提出无内存量化与并行计算框架MFP-QSNN,在降低内存需求与加速训练的同时实现了最先进的性能。
2025-02-25 cs.CV cs.NE
Parameter-Efficient Quantized Mixture-of-Experts Meets Vision-Language Instruction Tuning for Semiconductor Electron Micrograph Analysis
TCS Research(塔塔咨询服务研究中心);IIT Dharwad(达瓦德印度理工学院);IIIT Pune(浦那印度信息技术学院)
本文提出专为半导体电子显微图像分析定制的小规模视觉-语言助手sLAVA,采用师生范式利用GPT-4生成多模态指令数据,在有限硬件上实现高效训练并保护知识产权,实验证明其超越传统方法且支持高通量筛选。
2024-08-27 cs.AI cs.CV cs.LG
PQk-means: Billion-scale Clustering for Product-quantized Codes
National Institute of Informatics(国立信息学研究所);DWANGO Co., Ltd.(DWANGO株式会社);The University of Tokyo(东京大学)
数据聚类是数据分析中的一个基本操作。对于处理大规模数据,标准的k-means聚类方法不仅速度慢,而且内存效率低。我们提出了一种有效的聚类方法,十亿规模的特征向量,称为PQk-均值。通过首先将输入向量压缩成短的乘积量化(PQ)代码,PQk-均值实现了快速和内存高效的聚类,即使是高维向量。与k均值类似,PQk均值重复分配和更新步骤,这两个步骤都可以在PQ码域中执行。实验结果表明,即使是短长度(32位)的PQ码可以产生竞争力的结果相比,k-means。这一结果对于内存受限环境下的聚类具有实际意义。使用所提出的PQk-means方案,在14小时内实现了10亿个K = 10^5的128 D SIFT特征的聚类,在单台计算机上仅使用32 GB的内存消耗。
2017-09-12 cs.CV cs.MM
Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
Hong Kong Baptist University(香港 Baptist 大学);Nanjing University of Science and Technology(南京理工大学)
本文提出量化零阶优化方法,通过消除梯度和优化器状态来减少内存使用,实现4位LLM在24GB GPU上高效微调。
2026-02-12 cs.CL cs.CV cs.LG
Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院 cyber-system 研究所);Ningbo Innovation Center, Zhejiang University(浙江大学宁波创新中心)
针对无数据超低精度量化的精度损失问题,本文提出 DF-MPC,通过逐层混合精度补偿和特征图重构损失的闭式解,在无需原始/合成数据及微调的情况下提升量化模型精度。
2025-02-15 cs.CV cs.LG
TinyissimoYOLO: A Quantized, Low-Memory Footprint, TinyML Object Detection Network for Low Power Microcontrollers
ETH Zürich(苏黎世联邦理工学院)
提出量化超轻量 TinyissimoYOLO,在不足 0.5MB 权重内存的毫瓦级微控制器上实现最多三类实时检测,并在 MAX78000 等平台验证高能效。
2023-07-12 cs.AR cs.CV eess.IV
Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration
KAIST(韩国科学技术院);Samsung AI Center-Cambridge(三星人工智能中心-剑桥);University of Cambridge(剑桥大学)
针对量化ViT在分布偏移下的脆弱性,提出单次前向、无反向传播的量化器对齐重校准(QuAR)方法,通过重校准激活统计量恢复码本分布,在ImageNet-C上显著提升精度并降低延迟与内存开销。
2026-10-07 cs.AI cs.CV
DFQ-ViT: Data-Free Quantization for Vision Transformers without Fine-tuning
School of Computer Science and Artificial Intelligence, Wuhan University of Technology, Hubei Key Laboratory of Transportation Internet of Things(计算机科学与人工智能学院,武汉理工大学,交通物联网重点实验室);NEC Corporation(日本日电株式会社);State Key Laboratory of Internet of Things for Smart City, University of Macau(智慧城市物联网国家重点实验室,澳门大学)
本文提出DFQ-ViT,通过难度递增的样本合成和激活校正矩阵,在无需数据和微调的情况下实现视觉Transformer的高质量量化,性能媲美真实数据量化并优于现有DFQ方法。
2025-07-19 cs.AI cs.CV
Quantized Densely Connected U-Nets for Efficient Landmark Localization
Rutgers University(罗格斯大学);Binghamton University(宾厄姆顿大学);IBM T. J. Watson(IBM T. J. 沃森研究中心);SenseTime(商汤科技)
在本文中,我们提出了量化密集连接的U-网有效的视觉地标定位。这个想法是相同语义的特征在堆叠的U网中全局重用。这种密集的连接性大大改善了信息流,从而提高了定位精度。然而,一个普通的密集设计在训练和测试中都会遇到关键的效率问题。为了解决这个问题,我们首先提出了K阶密集连接来修剪长距离捷径;然后,我们使用内存高效的实现来显着提高训练效率,并研究了一种迭代改进,可以将模型大小减半。最后,为了减少训练和测试中的内存消耗和高精度操作,我们进一步将我们的定位网络的权重,输入和梯度转换为低位宽数字。我们验证我们的方法在两个任务:人体姿态估计和人脸对齐。结果表明,我们的方法实现了最先进的定位精度,但使用的参数少了约70%,模型大小减少了约98%,与其他基准定位器相比,节省了约75%的训练内存。该代码可在https://github.com/zhiqiangdon/CU-Net上获得。
2018-08-10 cs.CV
Poor Man's Training on MCUs: A Memory-Efficient Quantized Back-Propagation-Free Approach
Intel Corporation(英特尔公司)
提出一种MCU上的无反向传播量化训练方案,利用零阶方法与降维技术克服低精度误差,在资源受限边缘设备上实现与BP训练相当的性能。
2024-11-07 cs.CV cs.DC cs.LG
GHOST-Q: Towards Studying Grounding Hallucinations Overlooked Under Same-score TradeOffs in Quantized VLMS
New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
GHOST-Q通过跨精度配对评估,揭示量化VLM在保持总体准确率的同时,接地幻觉显著增加,且内存减少不等于延迟降低,需综合评估效用、接地、生成与部署效率。
2026-09-25 cs.AI cs.CV cs.LG
EMLoC: Emulator-based Memory-efficient Fine-tuning with LoRA Correction
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);NVIDIA
EMLoC通过基于模拟器的内存高效微调与LoRA校正,实现大模型在有限内存下高效适应不同任务的需求。
2026-01-04 cs.AI cs.CV cs.LG
EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model
Johns Hopkins University(约翰霍普金斯大学)
EdgeVLN通过量化StreamVLN与LATTE停止预测器,在边缘设备上实现部署就绪的VLN,4位模型SR达58.02%,内存、延迟和能耗显著优化。
2026-09-29 cs.CV cs.RO
Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms
Eindhoven University of Technology(埃因霍温理工大学);Philips Innovation Services(飞利浦创新服务)
卷积神经网络(CNN)已被证明是用于图像分类任务的强大的最先进的方法。然而,一个缺点是CNN的高计算复杂性和高存储器消耗,这使得它们在嵌入式平台上执行是不可行的,嵌入式平台被限制在支持CNN所需的物理资源上。量化经常被用来有效地优化CNN的内存和计算复杂性,代价是损失预测精度。因此,我们提出了一种方法来优化预训练的CNN的每一层的权重、偏差和激活,同时控制推理准确性的损失以实现量化推理。我们将32位浮点精度参数转换为低位宽定点表示,从而为给定CNN的每一层的参数找到最佳位宽和分数偏移。我们对CNN后训练的参数进行训练而不重新训练它。我们的方法被设计为考虑其他参数如何量化来对CNN的参数进行训练,因为忽略由于其他量化参数引起的量化误差会导致低精度CNN,其精度损失高达50%,这远远超出了可接受的范围。因此,我们的最终方法给出了一个低精度的CNN,准确性损失小于1%。与商业工具使用的将所有参数转换为8位的方法相比,我们的方法提供了量化的CNN,对于在我们测试的四个数据集上训练的两个CNN,平均降低了53%的内存消耗和77.5%的乘法执行成本。我们发现,参数的逐层量化在这个过程中有很大的帮助。
2021-02-03 cs.CV cs.LG
Fine-tuning Image Transformers using Learnable Memory
Google Inc.(谷歌公司)
在本文中,我们提出了增强视觉Transformer模型与可学习的记忆令牌。我们的方法允许模型使用很少的参数来适应新的任务,同时可选地保留其在以前学习的任务上的能力。在每一层,我们引入了一组可学习的嵌入向量,这些向量提供了对特定数据集有用的上下文信息。我们称之为“记忆令牌”。我们发现,与传统的仅头部微调相比,每层仅用少数这样的令牌来增强模型可以显着提高准确性,并且仅略低于显着更昂贵的完全微调。然后,我们提出了一种注意力掩蔽方法,可以扩展到新的下游任务,并具有计算重用。在这种设置中,除了参数高效之外,模型还可以以较小的增量成本执行旧任务和新任务作为单个推理的一部分。
2022-03-30 cs.CV
Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation
Xiamen University(厦门大学);SkyWork AI
本文首次研究多模态大语言模型的参数量化,提出QSLAW方法,通过分组尺度因子学习和多模态预热,在保持模型性能的同时将视觉-语言微调时间和GPU消耗降低最多1.4倍。
2024-08-07 cs.AI cs.CV cs.LG
LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
对下游任务的大型预训练模型进行微调最近已被广泛应用于各个领域。然而,更新大型预训练模型的整个参数集是昂贵的。尽管最近提出的参数高效迁移学习(PETL)技术允许针对新任务更新预先训练的骨干网络内的一小部分参数(例如,仅使用2%的参数),但它们仅将训练存储器需求减少高达30%。这是因为可训练参数的梯度计算仍然需要通过大型预训练骨干模型进行反向传播。为了解决这个问题,我们提出了阶梯边调整(LST),一个新的PETL技术,可以减少训练内存的要求更大的金额。与现有的在骨干网络内部插入额外参数的参数有效方法不同,我们训练一个梯形侧网络,一个小而独立的网络,通过来自骨干网络的快捷连接(称为梯形)将中间激活作为输入,并进行预测。LST的内存需求比以前的方法要低得多,因为它不需要通过主干网络进行反向传播,而是只需要通过侧网络和梯形连接。我们在NLP(GLUE)和视觉和语言(VQA,GQA,NLVR 2,MSCOCO)任务上使用各种模型(T5和CLIP-T5)评估我们的方法。LST节省了69%的内存成本来微调整个网络,而其他方法在类似的参数使用中仅节省了26%(因此,节省了2.7倍的内存)。此外,LST在低内存状态下实现了比Adapter和LoRA更高的准确性。为了进一步展示这种更好的内存效率的优势,我们还将LST应用于更大的T5模型,获得了比完全微调和其他PETL方法更好的GLUE性能。准确性-效率…
2022-10-31 cs.AI cs.CL cs.CV
Bag of Tricks with Quantized Convolutional Neural Networks for image classification
State Key Laboratory of Computer Science, ISCAS(中国科学院软件研究所计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动公司);University of Macau(澳门大学)
深度神经网络已被证明在广泛的任务中是有效的。然而,它们的高计算和存储器成本使得它们在资源受限的设备上部署不切实际。为了解决这个问题,已经提出了量化方案来减少存储器占用并提高推理速度。虽然已经提出了许多量化方法,但它们缺乏对其有效性的系统分析。为了弥合这一差距,我们收集和改进现有的量化方法,并提出了一个黄金准则后训练量化。我们在ImageNet数据集上使用两种流行的模型ResNet50和MobileNetV2评估了我们提出的方法的有效性。通过遵循我们的指导方针,即使在没有额外训练的情况下将模型直接量化为8位之后,也不会发生精度下降。基于该准则的量化感知训练可以进一步提高较低比特量化的准确性。此外,我们还集成了一个多阶段微调策略,与现有的修剪技术和谐地工作,以进一步降低成本。值得注意的是,我们的研究结果表明,具有30%稀疏性的量化MobileNetV2实际上超过了等效全精度模型的性能,强调了我们提出的方案的有效性和弹性。
2023-03-13 cs.CV
Quantized Convolutional Neural Networks for Mobile Devices
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
最近,卷积神经网络(CNN)在各种计算机视觉任务中表现出令人印象深刻的性能。然而,由于高计算复杂度,高性能硬件对于CNN模型的应用通常是不可或缺的,这阻止了它们的进一步扩展。在本文中,我们提出了一个有效的框架,即量化的CNN,同时加快计算,并减少存储和内存开销的CNN模型。卷积层中的滤波器核和全连接层中的加权矩阵都被量化,旨在最小化每层响应的估计误差。在ILSVRC-12标准上的实验表明,在分类精度损失仅为1%的情况下,该算法可以实现4~ 6倍的加速和15~ 20倍的压缩。使用我们的量化CNN模型,即使是移动设备也可以在一秒钟内准确地对图像进行分类。
2016-05-16 cs.CV
Design Space Exploration of Low-Bit Quantized Neural Networks for Visual Place Recognition
University of Southampton(南安普顿大学);University of Essex(埃塞克斯大学);Queensland University of Technology(昆士兰科技大学)
针对当前视觉位置识别深度学习模型规模过大难以部署在低功耗边缘设备的问题,研究紧凑型卷积网络结合全精度与混合精度训练后量化的影响,兼顾性能与资源开销并给出设计建议。
2023-12-14 cs.CV
Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
提出一种针对边缘计算的全可微混合精度量化方法,通过硬件感知异构量化、定向梯度修改和多阶段学习,在ImageNet上以低于4.3MB的权重和激活实现最佳准确率。
2023-08-29 cs.CV cs.LG
Expanding Sparse Tuning for Low Memory Usage
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本文提出SNELL方法,通过分解低秩矩阵和竞争稀疏化机制,实现低内存的稀疏调优,并利用核函数提升性能,达到最先进水平。
2024-11-04 cs.CV cs.LG
Quantized Guided Pruning for Efficient Hardware Implementations of Convolutional Neural Networks
Université de Montréal(蒙特利尔大学);MILA;IMT Atlantique(IMT大西洋高等矿业学院);Lab-STICC(STICC实验室);ISCAS 2019(ISCAS 2019(会议名称,不提取))
卷积神经网络(CNN)在许多计算机视觉任务(例如对象分类和检测)中是最先进的。然而,它们包含的大量参数导致高的计算复杂性,并且强烈限制了它们在诸如嵌入式设备之类的受限设备中的可用性。在本文中,我们提出了一种新的修剪技术和量化方案的组合,有效地降低了CNN卷积层的复杂性和内存使用,并通过低成本的多路复用器取代复杂的卷积操作。我们在CIFAR10,CIFAR100和SVHN上进行了实验,结果表明,所提出的方法几乎达到了最先进的精度,同时大大减少了计算和内存占用。我们还提出了一个有效的硬件架构,以加速CNN的操作。所提出的硬件架构是一个流水线,并容纳在同一时间工作,以加快推理过程的多个层。
2018-12-29 cs.CV cs.LG cs.NE