Compression of Deep Learning Models for Text: A Survey
Microsoft（微软）
近年来，自然语言处理（NLP）和信息检索（IR）领域取得了巨大的进步，这要归功于深度学习模型，如递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）网络，以及基于Transformer [120]的模型，如来自Transformers的双向编码器表示（BERT）[24]，生成预训练Transformer（GPT-2）[94]，多任务深度神经网络（MT-DNN）[73]，超长网络（XLNet）[134]，文本到文本传输Transformer（T5）[95]，T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面，现实世界的应用程序需要小的模型大小，低响应时间和低计算功率瓦数。在这项调查中，我们讨论了六种不同类型的方法，（修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法）来压缩这些模型，使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求，以及最近在该领域发表的大量工作，我们相信，这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作，并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Model Compression Techniques in Biometrics Applications: A Survey
INESC TEC（葡萄牙系统与计算机工程与技术研究所）；FEUP, University of Porto（波尔图大学工程学院）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
本文综述量化、知识蒸馏和剪枝等模型压缩技术在生物特征识别中的应用，比较其优劣并指出未来应兼顾性能与模型公平性。
2024-01-18 cs.AI cs.CV
RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RL-Pruner，一种利用强化学习自动学习CNN层级间最优不均匀剪枝分布的结构化剪枝方法，无需特定模型实现即可有效压缩并加速模型。
2024-11-10 cs.AI cs.CV
A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions
Indian Institute of Technology (BHU) Varanasi（瓦拉纳西印度理工学院（贝拿勒斯印度教大学））
深度神经网络（DNN）由于其自动特征提取能力而获得了前所未有的性能。在过去的十年中，这种高阶性能导致DNN模型在不同的物联网（IoT）应用中的重要结合。然而，DNN模型对计算、能量和存储的巨大需求使得它们在资源受限的物联网设备上的部署受到限制。因此，近年来提出了几种压缩技术来降低DNN模型的存储和计算要求。DNN压缩的这些技术利用了不同的视角来压缩DNN，并以最小的精度妥协。它鼓励我们对DNN压缩技术进行全面的概述。在本文中，我们提出了一个全面的审查现有的文献压缩DNN模型，减少了存储和计算的要求。我们将现有的方法分为五大类，即，网络修剪、稀疏表示、比特精度、知识蒸馏以及其他，基于所结合的用于压缩DNN模型的机制。本文还讨论了与每类DNN压缩技术相关的挑战。最后，我们提供了每个类别下现有工作的快速总结以及DNN压缩的未来方向。
2020-10-05 cs.LG cs.NI eess.SP
Pruning and Quantization for Deep Neural Network Acceleration: A Survey
University of Science and Technology Beijing（北京科技大学）；Hua Xia General Processor Technologies（华夏通用处理器技术公司）；General Processor Technologies（通用处理器技术公司）
深度神经网络已经应用于在计算机视觉领域中表现出非凡能力的许多应用中。然而，复杂的网络架构对高效的实时部署提出了挑战，并需要大量的计算资源和能源成本。这些挑战可以通过网络压缩等优化来克服。网络压缩通常可以在精度损失很小的情况下实现。在某些情况下，准确性甚至可以提高。本文综述了两种网络压缩方法：剪枝和量化。修剪可以被分类为静态的（如果它是离线执行的）或动态的（如果它是在运行时执行的）。我们比较修剪技术，并描述用于删除冗余计算的标准。我们讨论了在元素方面，通道方面，形状方面，过滤器方面，层方面，甚至网络方面的修剪的权衡。量化通过降低数据类型的精度来减少计算。权重、偏置和激活通常可以被量化为8位整数，尽管还讨论了包括二进制神经网络的较低位宽实现。修剪和量化可以独立使用或组合使用。我们比较了当前的技术，分析了它们的优缺点，在一些框架上展示了压缩网络的准确性结果，并为压缩网络提供了实用的指导。
2021-06-15 cs.AI cs.CV
An Entropy-based Pruning Method for CNN Compression
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文旨在通过过滤器修剪策略同时加速和压缩现成的CNN模型。每个过滤器的重要性评估所提出的基于熵的方法。然后丢弃几个不重要的滤波器以得到较小的CNN模型。最后，通过微调来恢复其泛化能力，在过滤器修剪过程中受损。我们的方法可以减少中间激活的大小，这将在模型训练阶段占据大部分内存占用，但在以前的压缩方法中较少关注。在ILSVRC-12基准测试上的实验证明了该方法的有效性。与以往的过滤器重要性评价标准相比，我们的基于熵的方法获得了更好的性能。我们在VGG-16上实现了3.3倍的加速和16.64倍的压缩，在ResNet-50上实现了1.54倍的加速和1.47倍的压缩，两者的前5名精度都降低了约1%。
2017-06-19 cs.CV
Positive-Unlabeled Compression on the Cloud
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
已经进行了许多尝试，以将在高端GPU服务器上实现的卷积神经网络（CNN）的巨大成功扩展到诸如智能电话的便携式设备。因此，在云上提供深度学习模型的压缩和加速服务具有重要意义，并且对最终用户具有吸引力。然而，现有的网络压缩和加速方法通常通过请求整个原始训练数据（\eg ImageNet）来微调svelte模型，这可能比网络本身更麻烦，并且无法轻松上传到云端。在本文中，我们提出了一种新的积极的未标记（PU）设置来解决这个问题。在实际应用中，只需要一小部分原始训练集作为正例，通过一个基于注意力的多尺度特征提取器的PU分类器，可以从云上的大量未标记数据中获得更有用的训练样本。我们进一步介绍了一个强大的知识蒸馏（RKD）计划，以处理这些新增加的训练样本的类不平衡问题。在基准模型和数据集上的实验验证了该方法的优越性。我们可以只使用从ImageNet中均匀选择的数据的$8\%$来获得一个高效的模型，其性能与基线ResNet-34相当。
2019-10-08 cs.LG stat.ML
Toward Efficient Deep Spiking Neuron Networks:A Survey On Compression
Beihang University（北京航空航天大学）
本综述聚焦深度脉冲神经网络的效率优化问题，系统梳理了剪枝、量化、知识蒸馏、减少脉冲发放等各类压缩方法，填补了该领域专项研究的空白并给出未来方向建议。
2024-06-03 cs.AI cs.LG cs.NE
Transformer-Based Autonomous Driving Models and Deployment-Oriented Compression: A Survey
Renmin University of China（中国人民大学）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Department of houmo.ai（houmo.ai部门）
本文综述了基于Transformer的自动驾驶模型，并从部署角度分析了压缩与加速策略（如量化、剪枝、知识蒸馏等）如何影响模型设计、部署性、鲁棒性和安全性。
2026-08-31 cs.AI cs.CV cs.LG
Model Quantization and Hardware Acceleration for Vision Transformers: A Comprehensive Survey
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文系统综述了视觉Transformer的模型量化与硬件加速方法，分析其架构特性、量化原理与最新技术，并探讨硬件友好设计和未来研究方向。
2024-05-01 cs.AI cs.AR cs.CV
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
Optimizing LLMs for Resource-Constrained Environments: A Survey of Model Compression Techniques
Google（谷歌）
该综述针对大语言模型资源需求高、难以在边缘与移动设备部署的问题，系统梳理了知识蒸馏、量化、剪枝三类主流压缩技术及补充方案，并指出未来研究方向，为边缘部署优化的研究者和从业者提供参考。
2025-05-08 cs.AI cs.CL cs.LG
A survey on FPGA-based accelerator for ML models
University of Auckland（奥克兰大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文综述了过去六年顶级FPGA会议的287篇论文，指出ML与FPGA技术日益融合，研究侧重于推理加速（81%）且以CNN为主，同时GNN等新兴模型呈增长趋势，为未来研究方向提供了见解。
2024-12-20 cs.AR cs.LG
NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Rice University（莱斯大学）；Michigan State University（密歇根州立大学）
随着在移动边缘设备上高效部署DNN的需求不断增长，减少不必要的计算并提高执行速度变得更加重要。包括模型压缩和网络架构搜索（NAS）在内的实现该目标的现有方法在很大程度上是独立执行的，并且没有充分考虑编译器级优化，而编译器级优化是移动加速必须做的。在这项工作中，我们首先提出了（i）适用于各种DNN层的细粒度结构化修剪的一般类别，以及（ii）支持不同DNN和不同修剪方案的综合编译器自动代码生成框架，弥补了模型压缩和NAS的差距。我们进一步提出了NPAS，编译器感知的统一网络修剪和架构搜索。为了处理大的搜索空间，我们提出了一个基于强化学习的元建模过程，具有快速评估和贝叶斯优化，确保与代表性NAS框架的总训练次数相当。我们的框架在现成的手机上分别实现了6.7ms，5.9ms，3.9ms的ImageNet推理时间，78.2%，75%（MobileNet-V3级别）和71%（MobileNet-V2级别）的Top-1准确率，始终优于先前的工作。
2021-06-17 cs.AI cs.CV cs.LG
Model Compression and Efficient Inference for Large Language Models: A Survey
School of Software Technology, Zhejiang University（浙江大学软件学院）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本综述从算法角度梳理了大语言模型的压缩与高效推理方法，指出大模型在免调优压缩和保持通用泛化能力上的两大特征，并介绍了支持部署的成熟推理框架。
2024-02-15 cs.AI cs.CL cs.LG
From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））；Nanyang Technological University（南洋理工大学）
本文综述 DNN 从压缩算法、适配硬件加速器到同态加密安全部署的研究进展，并讨论评估、泛化与多方法集成等开放问题。
2024-05-09 cs.AI cs.LG
Cascaded Projection: End-to-End Network Compression and Acceleration
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了一种用于深度卷积神经网络压缩的数据驱动方法，该方法实现了高精度、高吞吐量和低内存要求。当前的网络压缩方法要么找到需要更多内存的特征的低秩因子分解，要么通过修剪整个过滤器通道仅选择特征的子集。我们提出了级联投影（CaP）压缩方法，该方法基于低秩投影将连续层的输出和输入滤波器通道投影到统一的低维空间。我们优化了投影，以最大限度地减少分类损失和压缩和未压缩网络中下一层特征之间的差异。为了解决这个非凸优化问题，我们提出了一种新的优化方法的代理矩阵使用反向传播和随机梯度下降（SGD）的几何约束。我们的级联投影方法导致网络压缩的所有关键领域的改进：高精度，低内存消耗，低参数计数和高处理速度。所提出的CaP方法展示了压缩VGG16和ResNet网络的最新结果，计算量减少了4倍以上，并且在微调之前和之后的ImageNet数据集上的前5名准确度方面表现出色。
2019-03-12 cs.CV cs.LG
A Survey on GAN Acceleration Using Memory Compression Technique
Cairo University（开罗大学）
自其发明以来，生成对抗网络（GANs）在许多应用中表现出出色的效果。生成对抗网络是一种强大但资源匮乏的深度学习模型。它们与普通深度学习模型的主要区别在于其输出的性质。例如，GAN输出可以是整个图像，而其他模型检测对象或对图像进行分类。因此，网络的结构和数值精度影响解决方案的质量和速度。因此，加速GANs至关重要。加速GANs可以分为三个主要方面：（1）内存压缩，（2）计算优化和（3）数据流优化。由于数据传输是能源使用的主要来源，因此内存压缩可以节省最多的能源。因此，在本文中，我们调查了基于CNN的GANs的内存压缩技术。最后总结了GANs加速的机遇和挑战，并提出了有待进一步研究的问题。
2021-08-14 cs.CV cs.LG cs.NE
Balancing Specialization, Generalization, and Compression for Detection and Tracking
Lab126, Amazon（亚马逊Lab126）；Open University of Israel（以色列开放大学）
我们提出了一种专门的深度检测器和跟踪器的限制设置的方法。我们的方法设计考虑到以下目标：（a）提高精度的限制域;（b）防止过度拟合到新的域和忘记的广义功能;（c）积极的模型压缩和加速。为此，我们提出了一种新的损失，它平衡了深度学习模型的压缩和加速与泛化能力的损失。我们将我们的方法应用到现有的跟踪器和检测器模型。我们报告的VIRAT和CAVIAR数据集的检测结果。这些结果表明，我们的方法提供了前所未有的压缩率以及改进的检测。我们在测试时将损失应用于跟踪器压缩，因为它处理每个视频。我们在OTB 2015基准上的测试表明，在测试期间应用压缩实际上提高了跟踪性能。
2019-09-25 cs.CV cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego（加州大学圣地亚哥分校）
尽管在许多NLP任务上实现了最先进的性能，但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型（PLM）被更广泛地采用，包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算，时间和碳排放，包括数据准备，模型训练和推理。在本次调查中，我们重点关注推理阶段，并回顾了预训练语言模型的模型压缩和加速的现状，包括基准测试，指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
Exploring Structural Sparsity in Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）
神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.
2022-03-11 cs.CV cs.LG eess.IV
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）；Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文提出CompressedScaffnew算法，结合减少通信频率和压缩信息传输两种策略，实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出在Xilinx Kria KV260上部署Qwen2.5-0.5B的框架，结合AWQ压缩和FPGA加速，实现55.08%压缩率及5.1 tokens/s吞吐，优于基线。
2025-04-24 cs.AR cs.LG
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
HACK: Homomorphic Acceleration via Compression of the Key-Value Cache for Disaggregated LLM Inference
University of Virginia（弗吉尼亚大学）；VMware Research（威睿研究院）；University College London（伦敦大学学院）；Harvard University（哈佛大学）
本文提出HACK方法，通过压缩KV缓存并直接在量化数据上进行同态计算，消除了分离式LLM推理中的解量化开销，显著降低作业完成时间。
2025-02-05 cs.DC cs.LG
RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression
RFX通过GPU加速和QLORA压缩技术，实现了大规模随机森林分析，解决了邻近矩阵内存瓶颈问题，提升了计算效率和数据处理能力。
2025-11-23 cs.LG stat.ME stat.ML
Constraint-Driven Model Optimization: An Industry Framework for Selecting Compression and Acceleration Techniques in Modern Machine Learning Systems
Indian Institute of Science（印度科学研究所）；EXL（EXL公司）
针对机器学习系统模型优化，提出约束驱动的多目标工程决策框架，沿五个约束维度描述生产部署，综合文献经验收益并映射到操作约束，给出规范性决策框架及四个场景优化管道，将模型优化形式化为约束感知过程。
2026-07-20 cs.LG
SEOFP-NET: Compression and Acceleration of Deep Neural Networks for Speech Enhancement Using Sign-Exponent-Only Floating-Points
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；City University of Hong Kong（香港城市大学）
众多的压缩和加速策略在各个领域的分类任务上取得了出色的效果，例如计算机视觉和语音信号处理。然而，同样的策略在回归任务上产生了令人不满意的表现，因为这些任务和分类任务之间的性质不同。本文提出了一种新的符号指数浮点网络（SEOFP-NET）技术，以压缩模型的大小，加快推理时间的语音增强，语音信号处理的回归任务。该方法通过量化训练过程中单精度浮点参数的小数位来压缩基于深度神经网络（DNN）的语音增强模型的规模。在推理实现之前，训练的SEOFP-NET模型中的所有参数都被稍微调整，通过用整数加法器代替浮点乘法器来加速推理时间。为了推广，SEOFP-NET技术被引入到不同的语音增强任务中的语音信号处理与不同的模型结构下的各种语料库。实验结果表明，SEOFP-NET模型的大小可以显着压缩高达81.249%，而不会显着降低其语音增强性能，推理时间可以加快到1.212倍，与基线模型相比。实验结果也验证了所提出的SEOFP-NET可以与其他效率策略协同工作，达到模型压缩的协同效果。此外，最小可察觉差异（JND）被应用到用户学习实验中，以统计分析语音增强对听力的影响。结果表明，听者不能轻易区分增强的语音信号处理的基线模型和建议的SEOFP-NET。
2021-11-08 cs.LG cs.SD eess.AS
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Survey on Graph Neural Network Acceleration: An Algorithmic Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Monash University（莫纳什大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
图神经网络（GNNs）是近年来的研究热点，并在各种应用中得到广泛应用。然而，随着更庞大的数据和更深入的模型的使用，毫不奇怪，迫切需要加速GNN以提高执行效率。在本文中，我们从算法的角度对GNNs的加速方法进行了全面的调查。我们首先提出了一个新的分类法，现有的加速方法分为五类。在分类的基础上，系统地讨论了这些方法，并强调了它们之间的相互关系。接下来，我们从这些方法的效率和特点方面进行了比较。最后，我们对未来的研究提出了一些有希望的前景。
2022-04-24 cs.AI cs.LG
Recent Advances in Convolutional Neural Network Acceleration
National ASIC System Engineering Technology Research Center, Southeast University（东南大学国家专用集成电路系统工程技术研究中心）；The Chinese University of Hong Kong（香港中文大学）
近年来，卷积神经网络（CNN）在诸如图像分类、模式识别和多媒体压缩的各种领域中已经显示出优异的性能。两个特征属性，局部连通性和权重共享，可以减少参数的数量，提高训练和推理过程中的处理速度。然而，随着数据的维度变得更高并且CNN架构变得更复杂，CNN的端到端方法或组合方式在计算上是密集的，这成为CNN的进一步实现的限制。因此，以更快的方式实现CNN是必要和紧迫的。在本文中，我们首先通过回顾各种研究论文，总结了有助于但不限于CNN的加速方法。我们提出了一个三个层次的分类法，即~加速方法的结构级、算法级和实现级。我们还分析了加速方法方面的CNN架构压缩，算法优化，和基于硬件的改进。最后，我们给出了这些加速和优化方法在每个层次上的不同角度进行了讨论。讨论表明，各层次的方法仍有较大的探索空间。通过整合如此广泛的学科，我们期望为对CNN加速感兴趣的研究人员提供全面的参考。
2018-07-23 cs.LG stat.ML
A Survey on Graph Neural Network Acceleration: Algorithms, Systems, and Customized Hardware
University of California, Los Angeles（加州大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了图神经网络加速的算法、系统及硬件方法，分析了现有技术并提出未来研究方向，旨在统一视角解决相关复杂性问题。
2026-03-31 cs.AR cs.DC cs.LG
Acceleration Algorithms in GNNs: A Survey
School of CS, Beijing Institute of Technology（北京理工大学计算机学院）；The University of Queensland（昆士兰大学）；Northwestern Polytechnical University（西北工业大学）；School of CS, Peking University（北京大学计算机学院）
本文系统综述GNN训练、推理与执行加速算法，分类梳理现有方法，介绍相关库及SGL，并指出未来方向。
2024-05-07 cs.AI cs.LG
Practical Network Acceleration with Tiny Sets: Hypothesis, Theory, and Algorithm
Nanjing University（南京大学）
由于数据隐私问题，使用小型训练集加速网络已成为实践中的关键需求。以前的方法取得了可喜的成果经验过滤器级修剪。在本文中，我们都研究了这个问题的理论，并提出了一个有效的算法与我们的理论结果一致。首先，我们提出微调凸性假设来解释为什么最近的Few-Shot压缩算法不遭受过拟合问题。在此基础上，首次建立了解释这些方法的理论。与单纯地微调修剪后的网络相比，特征模仿被证明可以实现更低的参数方差，因此更容易优化。根据我们的理论结论，我们声称丢弃块在更凸的优化和更高的加速比方面是一种从根本上优越的Few-Shot压缩方案。为了选择丢弃哪些块，我们提出了一个新的度量标准，可恢复性，以有效地衡量恢复压缩网络的难度。最后，我们提出了一个名为PRACTISE的算法，仅使用微小的训练集来加速网络。PRACTISE的性能明显优于以前的方法。对于22%的延迟减少，它在ImageNet-1 k上平均超过了以前的方法7个百分点。它在无数据或域外数据设置下也能很好地工作。我们的代码在https://github.com/DoctorKey/Practise
2023-03-02 cs.AI cs.CV cs.LG
Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights
School of Computing Informatics and Decision Systems Engineering at Arizona State University（亚利桑那州立大学计算、信息科学与工程学院）；Computer Science and Artificial Intelligence Laboratory at Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；School of Computer Science at University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学学院）；Parallel Computing Lab at Intel Labs（英特尔实验室并行计算实验室）
机器学习（ML）模型在许多重要领域中得到了广泛的应用。为了有效地处理这些计算和内存密集型应用程序，这些过参数化模型的张量通过利用张量的稀疏性、尺寸减小和量化来压缩。非结构化的稀疏性和不同维度的张量会产生不规则的计算、通信和内存访问模式;以传统方式在硬件加速器上处理它们本身并不能利用加速机会。本文对ML模型在硬件加速器上的稀疏和不规则张量计算的有效执行进行了全面的调查。特别是，它讨论了架构设计和软件支持中的增强模块;对不同的硬件设计和加速技术进行了分类，并根据硬件和执行成本对其进行了分析;分析了最近DNN可实现的加速;强调了硬件/软件/模型协同设计优化（模块间/模块内）方面的进一步机会。本文的要点包括：理解加速稀疏，不规则形状和量化张量的关键挑战;理解加速器系统中支持其有效计算的增强功能;分析选择编码，存储，提取，通信，计算和负载平衡非零的特定设计选择的权衡;理解结构化稀疏性如何提高存储效率和平衡计算;理解如何在加速器上编译和映射具有稀疏张量的模型;理解最近的设计趋势，以实现有效的加速和进一步的机会。
2021-07-22 cs.AR cs.CV cs.DC
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，神经网络在边缘系统上的应用激增，但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池，一个端到端的框架，包括网络压缩和任意子字节精度的加速。与8位网络相比，该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现，允许运行时位宽权衡，并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比，8位权重池网络，精度下降不到1%。
2022-01-25 cs.LG cs.PF
3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization, and Ultra-Low Latency Acceleration
Advanced Digital Sciences Centre（高级数字科学中心）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）
基于深度神经网络（DNN）的边缘AI应用需要低成本的计算平台和高质量的服务。然而，边缘设备的有限内存、计算资源和功率预算限制了DNN算法的有效性。开发面向边缘的AI算法和实现（例如，加速器是一个挑战。在本文中，我们从三个方面总结了我们最近为有效的设备上AI开发所做的努力，包括训练和推理。首先，我们提出了具有超低内存使用的设备上培训。我们提出了一种新的基于秩自适应张量的张量化神经网络模型，它在训练过程中提供了数量级的记忆减少。其次，我们引入了一种用于DNN模型压缩的超低位宽量化方法，在相同的压缩比下达到了最先进的精度。第三，我们介绍了超低延迟DNN加速器设计，实践软件/硬件协同设计方法。本文强调了训练、量化和加速器设计的重要性和有效性，并呼吁在边缘人工智能领域取得更多的研究突破。
2021-05-11 cs.AR cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
