HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
Rutgers University（罗格斯大学）；Indiana University（印第安纳大学）；Washington State University（华盛顿州立大学）
本文提出HALOC框架，通过可微分的硬件感知架构搜索自动确定逐层低秩压缩秩值，在显著减少FLOPs的同时提升模型精度，并在多种硬件平台上实现实际加速。
2023-02-02 cs.AI cs.CV cs.LG
Coding for Computation: Efficient Compression of Neural Networks for Reconfigurable Hardware
Institute for Digital Communications, Friedrich-Alexander-Universität (FAU), Erlangen, Germany（弗里德里希-亚历山大-埃朗根-纽伦堡大学数字通信研究所）；Communications Engineering Lab, Karlsruhe Institute of Technology (KIT), Karlsruhe, Germany（卡尔斯鲁厄理工学院通信工程实验室）；Electrical and Computer Engineering Department, University of Toronto, Canada（多伦多大学电气与计算机工程系）
针对神经网络规模增长带来的资源消耗问题，提出结合剪枝、权重共享与线性计算编码的压缩方案，以减少FPGA等可重构硬件上推理所需加法次数，并在MLP和ResNet-34上取得有竞争力性能。
2025-04-24 cs.IT cs.LG eess.SP
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA（英伟达）；Caltech（加州理工学院）
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的，限制了推理速度和能量效率。张量分解是一种很有前途的技术，通过利用张量代数性质来表示因子分解形式的参数，以减少参数冗余。先前的努力使用手动或启发式因子分解设置，而没有硬件感知的定制，导致硬件效率低下和性能大幅下降。在这项工作中，我们提出了一个硬件感知的张量分解框架，称为HEAT，它可以有效地探索可能的分解的指数空间，并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略，以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈，从而显著提高了因子化Transformers的最终准确性。总的来说，我们的实验表明，我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍，准确性损失小于1.1%，并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University（康奈尔大学）
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题，本文提出开源可定制的Torch2Chip工具包，支持用户自定义压缩并自动完成模型融合与参数提取，直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
Hardware-Aware DNN Compression for Homogeneous Edge Devices
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Pengcheng Laboratory（鹏城实验室）
HDAP通过硬件感知方法优化同质边缘设备的DNN压缩，实现更高效的模型部署和更低的推理延迟。
2025-12-21 cs.AI cs.LG
OneComp: One-Line Revolution for Generative AI Model Compression
OneComp通过自动化流程实现生成AI模型压缩，结合混合精度分配和逐步量化阶段，提升模型部署效率与性能。
2026-03-30 cs.AI cs.CE cs.CL
H3DNAS: Hardware-Aware ONNX-Native 3D Point Cloud Model Compression
Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
H3DNAS是一种无需源代码的ONNX原生3D点云模型压缩框架，通过三方面贡献在ModelNet40上实现多款3D点云模型参数减少与推理加速，精度损失极小。
2026-09-03 cs.AR cs.LG cs.NE
From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））；Nanyang Technological University（南洋理工大学）
本文综述 DNN 从压缩算法、适配硬件加速器到同态加密安全部署的研究进展，并讨论评估、泛化与多方法集成等开放问题。
2024-05-09 cs.AI cs.LG
Hardware-Efficient Photonic Tensor Core: Accelerating Deep Neural Networks with Structured Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）
本文提出块循环光子张量核与硬件感知训练框架，通过结构化压缩构建StrC-ONN，在保持精度的同时减少参数与硬件开销并提升能效。
2025-07-23 cs.AR cs.ET cs.LG
On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出在Xilinx Kria KV260上部署Qwen2.5-0.5B的框架，结合AWQ压缩和FPGA加速，实现55.08%压缩率及5.1 tokens/s吞吐，优于基线。
2025-04-24 cs.AR cs.LG
Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs
University of Virginia（弗吉尼亚大学）；Sony AI（索尼人工智能）
本研究提出MoEXBench基准，系统评估混合专家LLM的可组合压缩技术，发现压缩方法间存在非平凡相互作用，为MoE模型部署提供实用的准确率-内存-延迟比较方案。
2026-08-25 cs.LG
CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way
Perceptin Inc.（Perceptin公司）；William & Mary（威廉与玛丽学院）；North Carolina State University（北卡罗来纳州立大学）；Northeastern University（东北大学）
假设硬件是实现实时移动智能的主要限制，业界主要致力于开发用于机器学习和推理的专用硬件加速器。本文对这一假设提出了质疑。通过借鉴最近的实时AI优化框架CoCoPIE，它认为通过有效的压缩编译器协同设计，可以在主流终端设备上实现实时人工智能，而无需特殊硬件。CoCoPIE是一个软件框架，在移动AI方面拥有众多记录：第一个支持所有主要DNN类型的框架，从CNN到RNN，Transformer，语言模型等;最快的DNN修剪和加速框架，与TensorFlow-Lite等其他框架上的DNN修剪相比，速度高达180倍;使许多代表性的人工智能应用程序能够在现成的移动设备上实时运行，而这些移动设备以前被认为只有在特殊的硬件支持下才有可能实现;使得现成的移动设备在能量效率和/或性能方面优于许多代表性的ASIC和FPGA解决方案。
2020-05-14 cs.LG cs.PF stat.ML
Hardware-Aware Deployment of Joint SAR Compression and Despeckling on FPGA
Technical University of Munich（慕尼黑工业大学）；Remote Sensing Technology Institute, German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
本研究在ZCU102 FPGA平台部署联合SAR去噪与数据压缩框架，发现ReLU比GDN更适配SAR图像、残差块增益低且FPGA能效最高，为星载SAR压缩提供部署方案。
2026-08-13 cs.LG eess.IV
Tiny, Hardware-Independent, Compression-based Classification
Institute for Experiential AI, Northeastern University, Boston, United States（体验人工智能研究所，东北大学，波士顿，美国）；Department of Computer Science, Umeå University, Umeå, Sweden（计算机科学系，乌梅拉大学，乌梅拉，瑞典）
本文提出基于压缩的距离度量方法，用于在客户端设备上高效进行分类，实现高准确率的同时降低计算成本。
2026-03-06 cs.CR cs.LG
Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition
Huawei Technologies（华为技术有限公司）
本文提出一种面向硬件的低秩分解压缩方法，通过选择性地压缩ResNet50网络层，在Ascend硬件上实现训练加速5.36%、推理加速15.79%，而准确率仅下降1%。
2023-09-21 cs.CV cs.LG
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science（香港科学与技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
ZipServ通过硬件感知的无损压缩技术，提升LLM推理效率，减少内存占用，实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG
MPDCompress - Matrix Permutation Decomposition Algorithm for Deep Neural Network Compression
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Brain（谷歌大脑）
深度神经网络（DNN）已经成为各种应用中用于机器学习任务的最先进技术。然而，由于其大小和计算复杂性，大型DNN不容易实时部署在边缘设备上。为了管理复杂性和加速计算，已经提出了基于修剪和量化的网络压缩技术，并且被证明在减小网络大小方面是有效的。然而，这种网络压缩可能导致不规则的矩阵结构，这些矩阵结构与现代硬件加速平台不匹配，例如设计用于以结构化（基于块）方式执行DNN矩阵乘法的图形处理单元（GPU）。我们提出了MPDCompress，一种基于矩阵置换分解的DNN压缩算法，通过随机掩码生成。掩码的训练中应用将突触权重连接矩阵塑造成子图分离格式。借助于随机排列，生成硬件期望的块矩阵，从而允许更有效地实现和压缩网络。为了展示多功能性，我们在几个网络模型，压缩率和图像数据集上实证验证了MPDCompress。在LeNet 300-100模型（MNIST数据集）、Deep MNIST和CIFAR 10上，我们实现了10倍的网络压缩，与非压缩精度性能相比，精度损失不到1%。在完整ImageNet ILSVRC-2012数据集的AlexNet上，我们实现了8倍的网络压缩，准确率损失小于1%，前5名和前1名的准确率分别为79.6%和56.4%。最后，我们观察到该算法可以在各种硬件平台上提供推理加速，在几个移动GPU上实现4倍的运算速度。
2018-05-30 cs.AI cs.LG stat.ML
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后，现在，对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制，并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的，硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明，ResNet-34的平均压缩比相对于未压缩数据为4.4倍，比现有方法的增益为60%，压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization
Aristotle University of Thessaloniki（亚里士多德大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）；University of Patras（帕特雷大学）
提出硬件感知的DNN压缩框架，联合多样化剪枝与混合精度量化，利用强化学习优化配置，在CIFAR和ImageNet上实现39%能耗降低且精度损失仅1.7%。
2023-12-23 cs.LG
EDCompress: Energy-Aware Model Compression for Dataflows
Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究院）
边缘设备要求低能耗、低成本和小形状因子。为了在边缘设备上有效地部署卷积神经网络（CNN）模型，能量感知模型压缩变得极其重要。然而，现有的工作并没有很好地研究这个问题，因为缺乏考虑的多样性，在硬件架构的低功耗类型。在本文中，我们提出了EDCompress，能量感知的模型压缩方法的各种数据流。它可以有效地降低各种边缘设备的能耗，具有不同的功耗类型。考虑到模型压缩过程的本质，我们将优化过程转化为一个多步问题，并采用强化学习算法进行求解。实验表明，EDCompress可以在VGG-16、MobileNet、LeNet-5网络中分别提高20倍、17倍、37倍的能量效率，而精度损失可以忽略不计。EDCompress还可以在能耗方面为特定神经网络找到最佳的卷积类型，这可以指导CNN模型在硬件系统上的部署。
2020-07-11 cs.LG stat.ML
Accelerating Framework of Transformer by Hardware Design and Model Compression Co-Optimization
East China Normal University（华东师范大学）；University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）
现有的基于Transformer的模型参数庞大，难以在资源受限的嵌入式设备上实现。而且，随着技术的发展，越来越多的嵌入式设备可以运行Transformer模型。对于具有不同约束（紧或松）的Transformer模型，可以将其部署到具有不同计算能力的设备上。然而，在以前的工作中，设计人员没有在多个设备中选择最佳设备。相反，他们只是使用现有的设备来部署模型，这不一定是最适合的，并且可能导致资源利用不足。为了解决Transformer的部署挑战和选择最佳设备的问题，我们提出了一种算法和硬件闭环加速框架。给定一个数据集，一个模型，延迟约束LC和精度约束AC，我们的框架可以提供一个最好的设备满足这两个约束。为了生成具有高稀疏率的压缩模型，我们提出了一种新的剪枝技术，层次剪枝（HP）。我们优化了HP矩阵的稀疏矩阵存储格式，以进一步减少FPGA实现的内存使用。我们设计了一个加速器，利用惠普解决并发随机访问的问题。在Transformer和TinyBert模型上的实验表明，该框架可以为各种LC和AC找到不同的设备，覆盖从低端设备到高端设备。我们的HP可以实现更高的稀疏率，比其他稀疏模式更灵活。与CPU、GPU和FPGA相比，我们的框架可以分别实现37倍、1.9倍和1.7倍的加速比。
2021-10-19 cs.LG
Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England（工程数学与技术学院，布里斯托大学，英格兰）
本文提出Spiking Brain Compression（SBC）框架，通过一次性后训练压缩提升脉冲神经网络的效率，实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
IsoQuant: Hardware-Aligned SO(4) Isoclinic Rotations for LLM KV Cache Compression
IsoQuant 基于四元数代数和 SO(4) 的等倾分解，通过块级旋转框架实现低比特在线向量量化，减少存储和计算成本，提升 KV 缓存压缩效率。
2026-03-30 cs.CL cs.LG
EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；McGill University（麦吉尔大学）；Polytechnique Montreal（蒙特利尔理工学院）
随着边缘设备上深度学习应用的出现，研究人员积极尝试优化其在低功耗和内存受限设备上的部署。有建立的压缩方法，如量化，修剪和架构搜索，利用商品硬件。除了传统的压缩算法之外，可以重新设计深度学习模型的操作，以实现更高效的实现。为此，我们提出了EuclidNet，一种压缩方法，旨在实现硬件，取代乘法，$xw$，与欧几里得距离$(x-w)^2$。我们证明了EuclidNet与矩阵乘法对齐，并且在卷积层的情况下，它可以用作相似性的度量。此外，我们表明，在各种变换和噪声场景下，EuclidNet与使用乘法运算设计的深度学习模型相比表现出相同的性能。
2022-12-22 cs.LG
Differentiable Joint Pruning and Quantization for Hardware Efficiency
Qualcomm AI Research（高通人工智能研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）
我们提出了一个可微的联合修剪和量化（DJPQ）计划。我们将神经网络压缩作为一个联合的基于梯度的优化问题，在模型修剪和量化之间自动权衡硬件效率。DJPQ将基于变分信息瓶颈的结构化剪枝和混合位精度量化结合到一个可微的损失函数中。与以前分别考虑修剪和量化的工作相比，我们的方法使用户能够在单个训练过程中找到两者之间的最佳权衡。为了利用更有效的硬件推理的方法，我们扩展DJPQ集成结构化修剪与权力的2位限制量化。我们表明，DJPQ显着减少了几个网络的位操作（BOP）的数量，同时保持了原始浮点模型（例如，ImageNet上ResNet18的BOP减少了53倍，MobileNetV2中减少了43倍）。与传统的两阶段方法相比，该方法独立地优化了修剪和量化，我们的方案在准确性和BOP方面都优于传统方法。即使在考虑比特限制量化时，DJPQ也比两阶段方法实现了更大的压缩比和更好的精度。
2021-04-04 cs.LG stat.ML
ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University（东北大学）；Syracuse University（雪城大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）；University of Southern California（南加利福尼亚大学）
为了促进深度神经网络（DNN）的高效嵌入式和硬件实现，研究了DNN模型压缩技术的两个重要类别：权重修剪和权重量化。前者利用权重数量的冗余，而后者利用权重的比特表示的冗余。然而，缺乏DNN的联合权重修剪和量化的系统框架，从而限制了可用的模型压缩比。此外，除了简单的模型大小减小之外，还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制，我们提出了ADMM-NN，这是DNN的第一个算法-硬件协同优化框架，使用交替方向乘法（ADMM），这是一种强大的技术，可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术，在每次ADMM迭代中动态更新正则化目标，从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化，以促进硬件级实现。在没有精度损失的情况下，我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪，显著高于先前的工作。当专注于计算减少时，改进变得更加显著。结合权重修剪和量化，我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小，当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV
Advancing The Rate-Distortion-Computation Frontier For Neural Image Compression
Google Research（谷歌研究院）
本文通过率失真计算（RDC）研究提出一种新颖的神经图像压缩架构，在计算需求与RD性能间实现最佳权衡，相比BPG节省23.1%比特率，达到最新水平。
2023-09-26 cs.CV cs.LG eess.IV
Scalable Quantum-Inspired Optimization through Dynamic Qubit Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
提出一种量子启发框架，利用物理启发的GNN预测并合并对齐自旋，动态压缩大型Ising模型以适配有限量子比特硬件，在保持解质量的同时实现多层级规模缩减。
2024-12-24 cs.DM cs.LG quant-ph
Tight Compression: Compressing CNN Through Fine-Grained Pruning and Weight Permutation for Efficient Implementation
ACCESS - AI Chip Center for Emerging Smart Systems（ACCESS——新兴智能系统人工智能芯片中心）；Hong Kong University of Science and Technology (HKUST)（香港科技大学）；NVIDIA Corporation（英伟达公司）
本文提出基于权重置换的CNN压缩方法，结合非结构化剪枝与更细粒度的子词级剪枝，将稀疏权重压缩为密集格式，显著提升矩阵压缩率、吞吐量和能效。
2021-04-03 cs.LG
Hardware-aware Pruning of DNNs using LFSR-Generated Pseudo-Random Indices
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）已经成为广泛应用中的最先进算法。为了减少DNN的存储器占用，特别是对于嵌入式应用，已经提出了稀疏化技术。不幸的是，这些技术带来了很大的硬件开销。在本文中，我们提出了一种硬件感知修剪方法，非零权重的位置是从线性反馈移位寄存器（LFSRs）实时推导出来的。使用所提出的方法，我们证明了在下采样的ImageNet上，VGG-16网络的总能量和面积分别节省了63.96%和64.23%，分别用于等压缩率和等精度。
2019-11-09 cs.LG
Adaptive Model Compression (AMC): Saliency-Driven Resource Allocation for Ultra-Low-Power Transformer Inference
Apple USA（苹果公司（美国））
研究在资源受限边缘设备部署大规模变压器模型的挑战，提出基于令牌重要性动态分配资源的自适应模型压缩框架AMC，实验证明该方法能降低能耗、提高吞吐量，有效延长移动设备电池寿命，精度略有下降。
2026-07-14 cs.AI cs.AR cs.IR
DeepTwist: Learning Model Compression via Occasional Weight Distortion
Samsung Research（三星研究院）
引入模型压缩以减少所需的硬件资源，同时保持模型精度。大量的模型压缩技术，如修剪，量化，和低秩近似，已经提出了不同的推理实现特性。然而，采用模型压缩仍然具有挑战性，因为为了实现高压缩比，模型压缩的设计复杂度由于附加的超参数和计算开销而迅速增加。在本文中，我们提出了一个简单而有效的模型压缩框架，称为DeepTwist，它以偶尔的方式扭曲权重，而无需修改底层的训练算法。设计权值失真函数的思想是直观和直接的，给出了压缩权值的格式。我们表明，我们提出的框架，提高压缩率显着修剪，量化，和低秩近似技术，而额外的再训练和/或超参数搜索的努力大大减少。还报告了DeepTwist的正则化效果。
2018-10-30 cs.LG stat.ML
MOHAQ: Multi-Objective Hardware-Aware Quantization of Recurrent Neural Networks
Halmstad University（哈尔姆斯塔德大学）；Umeå University（于默奥大学）；KTH University（瑞典皇家理工学院）
深度学习模型的压缩对于将此类模型部署到边缘设备至关重要。压缩参数的选择可以使用优化算法自动化以满足硬件平台和应用的变化。本文介绍了一种多目标硬件量化方法（MOHAQ），它将硬件效率和推理误差作为混合精度量化的目标。所提出的方法可行地评估候选解决方案，在一个大的搜索空间，依靠两个步骤。首先，后训练量化应用于快速解决方案评估（仅推理搜索）。其次，我们提出了“基于信标的搜索”，重新训练选定的解决方案，并使用它们作为信标，知道再培训对其他解决方案的影响。我们使用一个基于简单递归单元（SRU）的语音识别模型，使用TIMIT数据集，并应用我们的方法在SiLago和Bitfusion平台上运行。我们提供的实验评估表明，SRU可以通过训练后量化压缩到8倍，而不会增加任何显着的误差。在SiLago上，我们发现解决方案实现了97%和86%的最大可能加速和节能，误差略有增加。在Bitfusion上，基于信标的搜索将仅推理搜索的错误增益降低了4.9个百分点。
2022-01-20 cs.AR cs.LG
A 1Mb mixed-precision quantized encoder for image classification and patch-based compression
CEA-LETI；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出一种1Mb可重构混合精度ASIC编码器，通过权重/激活量化、结构化剪枝、量化均衡与位移归一化，在CIFAR-10上达到87.5%准确率并支持低块效应的逐块图像压缩。
2025-01-09 cs.CV cs.LG eess.IV
Smart Scissor: Coupling Spatial Redundancy Reduction and CNN Compression for Embedded Hardware
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；HP-NTU Digital Manufacturing Corporate Lab, Nanyang Technological University（惠普-南洋理工大学数字制造联合实验室）；HP Inc.（惠普公司）
研究针对CNN计算开销大问题，提出动态图像裁剪框架减少空间冗余，引入轻量级前景预测器实现精细裁剪，还提出复合收缩策略压缩CNN三维，将两者结合成Smart Scissor框架，有效降低计算开销并保持高精度。
2026-07-09 cs.AR cs.CV cs.LG
Efficient Transformer-based Large Scale Language Representations using Hardware-friendly Block Structured Pruning
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Syracuse University（雪城大学）；Microsoft Corporation（微软公司）；Stevens Institute of Technology（史蒂文斯理工学院）
预训练的大规模语言模型在许多自然语言处理（NLP）任务中越来越显示出高准确性。然而，硬件平台上有限的权重存储和计算速度阻碍了预训练模型的普及，特别是在边缘计算时代。在这项工作中，我们提出了一个有效的基于transformer的大规模语言表示使用硬件友好的块结构修剪。我们将重新加权组Lasso块结构修剪优化。除了显着减少的重量存储和计算，所提出的方法实现了高压缩率。在通用语言理解评估（GLUE）基准任务上对不同模型（BERT、RoBERTa和DistilBERT）的实验结果表明，我们在某些任务上实现了高达5.0倍的准确率，并且准确率为零或轻微下降。我们提出的方法也与现有的紧凑的预训练语言模型正交，例如使用知识蒸馏的DistilBERT，因为在DistilBERT的基础上可以实现进一步的1.79倍平均压缩率，并且精度下降为零或轻微。适合在资源受限的边缘设备上部署最终压缩模型。
2020-11-16 cs.AI cs.CL cs.LG
Efficient Network Inference via Hardware-Aware Architecture Search, Model Pruning & Quantization
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
针对嵌入式GNSS干扰监测中资源受限与模型性能的矛盾，研究结合迭代结构化剪枝、训练后静态量化和硬件感知零样本神经架构搜索，在MCUNet基础上压缩模型并优化架构，实现实时干扰分类与表征。
2026-06-23 cs.DC cs.LG eess.SP
Quantisation and Pruning for Neural Network Compression and Regularisation
University of the Witwatersrand（威特沃特斯兰德大学）
深度神经网络通常在计算上过于昂贵，无法在消费级硬件和低功耗设备上实时运行。在本文中，我们研究通过网络修剪和量化减少神经网络的计算和内存需求。我们研究了它们在AlexNet等大型网络上的功效，并与最近的紧凑架构：ShuffleNet和MobileNet进行了比较。我们的研究结果表明，修剪和量化将这些网络压缩到原始大小的一半以下，并提高了它们的效率，特别是在MobileNet上，速度提高了7倍。我们还证明了修剪，除了减少网络中的参数数量，可以帮助纠正过拟合。
2020-01-14 cs.LG stat.ML
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而，所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现，导致额外的存储器使用和复杂的控制逻辑，这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案，修剪整个过滤器甚至层，以降低灵活性为代价实现高效实现。在这里，我们提出了一种灵活的新的修剪机制，便于在不同的粒度（权重，内核，过滤器/特征映射）修剪，同时保持有效的内存组织（例如，修剪每个输出神经元的k-out-of-n权重，或修剪每个特征映射的k-out-of-n内核）。我们将该算法称为动态概率剪枝（DPP）。DPP利用Gumbel-softmax松弛进行可微的n取k采样，促进端到端优化。我们表明，DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时，可以实现具有竞争力的压缩率和分类准确性。相关地，DPP的非基于幅度的性质允许修剪和权重量化的联合优化，以便进一步压缩网络，我们也展示了这一点。最后，我们提出了新的信息理论指标，显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
Tencent Media Lab（腾讯媒体实验室）；Northeastern University（东北大学）
压缩深度神经网络（DNN）模型以减轻存储和计算需求对于实际应用至关重要，尤其是对于资源有限的设备。虽然能够减少合理数量的模型参数，以前的非结构化或结构化的权重修剪方法很难真正加速推理，无论是由于非结构化稀疏性的硬件兼容性差，还是由于结构修剪网络的稀疏率低。为了减少存储和计算，以及保持原有的任务性能，我们提出了一个广义的重量统一框架，在硬件兼容的微结构化水平，以实现高量的压缩和加速。所选微结构块的权重系数被统一以减少块的存储和计算而不改变神经元连接，当所有统一系数被设置为零时，这变成微结构修剪特殊情况，其中神经元连接（因此存储和计算）被完全去除。此外，我们开发了一个有效的训练框架的基础上交替方向的乘法器（ADMM），它将我们的复杂约束优化到单独可解的子问题。通过迭代优化子问题，可以确保所需的微结构，高压缩比和低性能退化。我们使用各种基准模型和不同应用程序的数据集广泛评估了我们的方法。实验结果表明，国家的最先进的性能。
2021-06-16 cs.AI cs.CV cs.LG
Towards Optimal Compression: Joint Pruning and Quantization
University of Cambridge（剑桥大学）；University of Zürich（苏黎世大学）；Princeton University（普林斯顿大学）；CERN（欧洲核子研究中心）；CEVA. Inc（CEVA公司）
针对深度神经网络压缩中量化与剪枝策略确定难、现有方法压缩-性能权衡不佳的问题，提出整合混合精度量化与非结构化剪枝的FITCompress方法，利用Fisher信息度量和路径规划实现最优压缩配置，在多任务基准上表现优于现有方法。
2023-06-11 cs.LG
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
CAT: Compression-Aware Training for bandwidth reduction
Intel – Artificial Intelligence Products Group (AIPG)（英特尔人工智能产品事业部）；Technion – Israel Institute of Technology（以色列理工学院）
卷积神经网络（CNN）已经成为解决视觉处理任务的主要神经网络架构。阻碍CNN普遍用于推理的主要障碍之一是其相对较高的内存带宽要求，这可能是硬件加速器中的主要能量消耗和吞吐量瓶颈。因此，有效的特征图压缩方法可以导致显著的性能增益。受量化感知训练方法的启发，我们提出了一种压缩感知训练（CAT）方法，该方法涉及以一种允许在推理过程中更好地压缩特征图的方式训练模型。我们的方法训练模型以实现低熵特征映射，从而使用经典的变换编码方法在推理时实现高效压缩。CAT显着提高了国家的最先进的结果报告的量化。例如，在ResNet-34上，我们实现了73.1%的准确率（从基线下降0.2%），每个值的平均表示仅为1.79位。参考实现在https://github.com/CAT-teams/CAT上提供
2019-09-25 cs.CV cs.LG
Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
University of South Florida（佛罗里达州立大学）
针对高稀疏度下现有剪枝方法导致模型性能骤降、难以满足硬件尺寸约束的问题，提出双向剪枝-再生策略，从极致压缩网络出发选择性再生关键连接，缓解高稀疏度下的精度骤降，实现更优的精度-稀疏度权衡。
2025-11-11 cs.AI cs.LG
Hardware-Aware Learned Representation Compression for Distributed In-Sensor Vision
Case Western Reserve University（凯斯西储大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；University of Southern California（南加州大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Apple（苹果公司）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
OASIS提出硬件感知的分布式感内视觉压缩框架，通过轻量编码器生成紧凑表示，结合量化/HDC实现18,816倍通信减少和2-4.5倍能耗降低。
2026-09-15 cs.AI cs.AR cs.LG
Wavelet Feature Maps Compression for Image-to-Image CNNs
Ben-Gurion University（本-古里安大学）
众所周知，卷积神经网络（CNN）需要大量的计算资源，量化是压缩它们的最好和最常用的方法之一。虽然积极的量化（即，小于4比特）对于分类表现良好，但它可能在诸如语义分割和深度估计的图像到图像任务中导致严重的性能降级。在本文中，我们提出了小波压缩卷积（WCC）-一种新的方法，用于高分辨率激活映射压缩集成逐点卷积，这是现代架构的主要计算成本。为此，我们使用一个高效的和硬件友好的Haar小波变换，其有效性在图像压缩，并定义压缩激活映射的卷积。我们尝试了从高分辨率输入中受益的各种任务。通过将WCC与轻量化相结合，我们实现了相当于1- 4位激活量化的压缩率，同时性能下降相对较小且更加优雅。我们的代码可在https://github.com/BGUCompSci/WaveletCompressedConvolution上获得。
2022-10-16 cs.CV cs.LG eess.IV
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks
The University of Hong Kong（香港大学）；ETH Zürich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）
本文提出片上硬件感知量化框架OHQ，在边缘设备上直接进行混合精度量化，通过片上感知流水线和掩码引导估计技术，实现精度与效率的优化，在ResNet-18和MobileNetV3上分别达到70%和73%精度，延迟降低15%-30%。
2024-05-23 cs.AI cs.AR cs.LG
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Iterative Activation-based Structured Pruning
Amazon.com Inc.（亚马逊公司）；AWS Arizona State University（亚马逊云服务亚利桑那州立大学）；Arizona State University（亚利桑那州立大学）
在边缘设备上部署复杂的深度学习模型具有挑战性，因为它们具有大量的计算和内存资源需求，而边缘设备的资源预算是有限的。为了解决这个问题，人们提出了广泛的修剪技术来压缩网络。基于彩票假说（LTH）的最新进展表明，迭代模型修剪往往会产生更小，更准确的模型。然而，LTH研究集中在非结构化修剪，这是硬件效率低下，难以在硬件平台上加速。在本文中，我们研究迭代修剪结构化修剪的背景下，因为结构修剪模型映射商品硬件。我们发现，直接应用一个结构化的基于权重的修剪技术迭代，称为迭代L1范数为基础的修剪（ILP），不产生准确的修剪模型。为了解决这个问题，我们提出了两种基于激活的剪枝方法，迭代激活剪枝（IAP）和自适应迭代激活剪枝（AIAP）。我们观察到，只有1%的准确率损失，IAP和AIAP在LeNet-5上实现了7.75倍和15.88倍的压缩，在ResNet-50上实现了1.25倍和1.71倍的压缩，而ILP分别实现了4.77倍和1.13倍。
2022-01-22 cs.AI cs.LG
MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with Co-designed Compressed Neural Networks
National Tsing Hua University（台湾清华大学）；Information and Communication Labs, Industrial Technology Research Institute（工业技术研究院资讯与通讯研究所）
卷积神经网络（CNN）在深度学习应用中起着关键作用。然而，CNN的大量存储开销和大量计算成本在硬件加速器中是有问题的。内存计算（CIM）体系结构在有效计算大规模矩阵向量乘法方面表现出巨大的潜力。然而，密集的乘法和累加（MAC）操作执行的交叉阵列和有限的能力的CIM宏仍然是瓶颈，进一步提高能源效率和吞吐量。为了减少计算量，网络修剪和量化是两种广泛研究的压缩方法，以缩小模型的大小。然而，大多数模型压缩算法只能在基于数字的CNN加速器中实现。为了在基于静态随机存取存储器（SRAM）CIM的加速器中实现，模型压缩算法必须考虑CIM宏的硬件限制，例如可以同时导通的字线和位线的数量，以及如何将权重映射到SRAM CIM宏。在这项研究中，提出了一种软件和硬件协同设计的方法来设计一个SRAM的基于CIM的CNN加速器和SRAM的CIM感知模型压缩算法。为了减少批量归一化（BN）对MAC的高精度要求，提出了一种将BN融合到权值中的量化算法。此外，为了减少网络参数的数量，稀疏算法，考虑了CIM架构的建议。最后，MARS，基于CIM的CNN加速器，可以利用多个SRAM CIM宏作为处理单元，并支持稀疏神经网络，提出。
2021-05-25 cs.AR cs.ET cs.LG
TODM: Train Once Deploy Many Efficient Supernet-Based RNN-T Compression For On-device ASR Models
Meta；University of Cambridge（剑桥大学）
提出TODM方法，利用Supernet共享权重并组合自适应dropout、原位Alpha散度知识蒸馏和ScaledAdam优化器，高效训练多种尺寸的设备端ASR模型，在LibriSpeech上验证其性能匹配或超越手动调优模型且训练成本恒定。
2023-11-27 cs.CL cs.LG cs.SD
Thanos: A Block-wise Pruning Algorithm for Efficient Large Language Model Compression
GenAI Center of Excellence, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学GenAI卓越中心）
Thanos提出一种基于自适应掩码的分块权重剪枝算法，通过灵活的结构化与$n:m$稀疏模式压缩大语言模型，在保持精度的同时降低内存占用并提升计算效率，在结构化和非结构化剪枝中均取得领先性能。
2025-04-06 cs.AI cs.CL cs.LG
