Shapley Pruning for Neural Network Compression
ETH Zürich（苏黎世联邦理工学院）
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架，提出Shapley值近似方法并在新基准Oracle rank上评估，实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
Quantum Neural Network Compression
George Mason University（乔治梅森大学）；Northeastern University（东北大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
模型压缩，如修剪和量化，已被广泛应用于优化资源有限的经典设备上的神经网络。最近，人们对变分量子线路（VQC），即量子计算机上的一种神经网络（a.k.a.，量子神经网络）。众所周知，近期量子器件具有高噪声和有限的资源（即，量子比特，量子比特）;然而，如何压缩量子神经网络还没有得到彻底的研究。人们可能认为将经典压缩技术应用于量子场景是直截了当的。然而，本文揭示了量子和经典神经网络的压缩之间存在差异。根据我们的观察，我们认为编译/翻译必须参与压缩过程。在此基础上，我们提出了第一个压缩量子神经网络的系统框架CompVQC，其关键部分是一种基于交替方向乘子法（ADMM）的压缩算法。实验证明了CompVQC的优势，减少了电路深度（几乎超过2.5%），精度下降可以忽略不计（<1%），优于其他竞争对手。另一个有希望的事实是，我们的CompVQC确实可以提高QNN对近期噪声量子器件的鲁棒性。
2022-07-05 cs.AI quant-ph
Compression of Recurrent Neural Networks using Matrix Factorization
Thales SIX（泰雷兹SIX）；Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）
本文提出了一种名为Rank-Tuning的训练后秩选择方法，通过为每个矩阵选择不同的秩来压缩循环神经网络，结合训练适应实现了高达14倍的压缩率且性能下降不超过1.4%。
2023-10-19 cs.AI cs.LG stat.ML
Compression Repair for Feedforward Neural Networks Based on Model Equivalence Evaluation
School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）
本文提出一种基于神经网络等价性评估的压缩前馈神经网络修复方法，通过计算输出差异初始化新训练集并重新训练，有效提升了压缩网络性能并在MNIST数据集上验证了优势。
2024-02-18 cs.AI cs.LG
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
3D Point Cloud Compression with Recurrent Neural Network and Image Compression Methods
Institute for Automotive Engineering (ika), RWTH Aachen University（亚琛工业大学汽车工程研究所（ika））
提出一种无损且校准的3D到2D转换方法，结合图像压缩和循环神经网络自监督深度压缩，有效压缩LiDAR点云数据，在定量和视觉性能上优于八叉树和原始数据压缩方法。
2024-02-18 cs.AI cs.CV eess.IV
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University（卡内基梅隆大学）
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而，它们因其贪婪的内存和计算需求而臭名昭著，这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署，研究人员开发了修剪和量化算法来压缩此类网络，而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验，而在这项工作中，我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后，我们研究了不同的压缩架构对模型的影响，并设计了一个压缩架构，与未压缩的模型相比，模型大小减少了73.1%，推理时间减少了71.3%，BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
Learning Graph Neural Networks using Exact Compression
UHasselt（哈塞尔特大学）；Data Science Institute（数据科学研究所）
针对图神经网络（GNN）在大图上学习内存占用高的问题，提出一种形式化精确压缩方法，可将GNN学习问题转化为等价压缩问题，初步实验验证了真实图上的压缩效果并应用于现有GNN基准。
2023-04-28 cs.AI cs.DB cs.LG
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Differentiable Fine-grained Quantization for Deep Neural Network Compression
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）；Nanjing University（南京大学）
神经网络在认知任务中表现出了很好的性能。当在资源有限的移动设备上部署网络模型时，权重量化已被广泛采用。二进制量化获得最高的压缩，但通常会导致大的精度下降。实际上，通常使用8位或16位量化，目的是保持与原始32位精度相同的精度。我们观察到不同的层具有不同的量化精度敏感性。因此，明智地为不同的层/结构选择不同的精度可以通过在精度和压缩率之间取得更好的平衡，潜在地产生比传统量化方法更有效的模型。在这项工作中，我们提出了一种细粒度的量化方法，深度神经网络压缩放松量化位宽的搜索空间从离散到连续域。所提出的方法应用基于梯度下降的优化来生成混合精度的量化方案，该方案在相同的压缩率下优于传统量化方法的精度。
2018-11-13 cs.AI cs.CV
Deep neural network goes lighter: A case study of deep compression techniques on automatic RF modulation recognition for Beyond 5G networks
Marconi-Rosenblatt AI/ML Innovation Lab, ANDRO（ANDRO马可尼-罗森布拉特人工智能/机器学习创新实验室）；Northeastern University（东北大学）
自动射频调制识别是一种主要的信号情报（SIGINT）技术，可作为超5G和军事网络的物理层身份验证使能器和自动信号处理方案。大多数现有的工作依赖于采用深度神经网络架构来实现RF调制识别。深度压缩在无线领域的应用，特别是自动RF调制分类，仍处于起步阶段。轻量级神经网络是在资源受限的平台上维持边缘计算能力的关键。在这封信中，我们深入介绍了最先进的深度压缩和加速技术，重点是5G网络之外的边缘部署。最后，我们提出了一个广泛的分析代表性的加速方法作为自动雷达调制分类的案例研究，并评估它们的计算指标。
2022-04-09 cs.LG
A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions
Indian Institute of Technology (BHU) Varanasi（瓦拉纳西印度理工学院（贝拿勒斯印度教大学））
深度神经网络（DNN）由于其自动特征提取能力而获得了前所未有的性能。在过去的十年中，这种高阶性能导致DNN模型在不同的物联网（IoT）应用中的重要结合。然而，DNN模型对计算、能量和存储的巨大需求使得它们在资源受限的物联网设备上的部署受到限制。因此，近年来提出了几种压缩技术来降低DNN模型的存储和计算要求。DNN压缩的这些技术利用了不同的视角来压缩DNN，并以最小的精度妥协。它鼓励我们对DNN压缩技术进行全面的概述。在本文中，我们提出了一个全面的审查现有的文献压缩DNN模型，减少了存储和计算的要求。我们将现有的方法分为五大类，即，网络修剪、稀疏表示、比特精度、知识蒸馏以及其他，基于所结合的用于压缩DNN模型的机制。本文还讨论了与每类DNN压缩技术相关的挑战。最后，我们提供了每个类别下现有工作的快速总结以及DNN压缩的未来方向。
2020-10-05 cs.LG cs.NI eess.SP
Quantisation and Pruning for Neural Network Compression and Regularisation
University of the Witwatersrand（威特沃特斯兰德大学）
深度神经网络通常在计算上过于昂贵，无法在消费级硬件和低功耗设备上实时运行。在本文中，我们研究通过网络修剪和量化减少神经网络的计算和内存需求。我们研究了它们在AlexNet等大型网络上的功效，并与最近的紧凑架构：ShuffleNet和MobileNet进行了比较。我们的研究结果表明，修剪和量化将这些网络压缩到原始大小的一半以下，并提高了它们的效率，特别是在MobileNet上，速度提高了7倍。我们还证明了修剪，除了减少网络中的参数数量，可以帮助纠正过拟合。
2020-01-14 cs.LG stat.ML
AlphaZip: Neural Network-Enhanced Lossless Text Compression
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
本文提出一种基于LLM的无损文本压缩方法AlphaZip，通过transformer块预测并结合标准压缩算法处理预测排名，实验证明其性能优于传统信息论基线。
2024-09-23 cs.AI cs.IT cs.LG
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
通过将熵编解码器应用于学习的数据分布，神经压缩器在压缩比方面明显优于传统编解码器。然而，神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中，我们提出了整数只离散流（IODF），一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流，其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门，以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF，与现有最快的神经压缩器相比，实现了10倍的推理加速，同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
An Introduction to Neural Data Compression
University of California, Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
本文介绍神经数据压缩领域，梳理统计学习进展带来的端到端压缩新路径，补充信息论与计算机视觉基础，为机器学习受众提供该领域核心方法的精选导读。
2023-08-16 cs.IT cs.LG eess.IV
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
在这篇报告正在进行的工作的草稿中，我们1）通过用类条件压缩替换压缩项来适应信息瓶颈泛函，2）使用与类条件解纠缠相关的变分界限来放松该泛函，3）将该泛函视为随机神经网络的训练目标，以及4）示出了潜在表示被学习，使得它们可以用于朴素贝叶斯分类器。我们继续建议沿着非线性信息瓶颈线进行一系列实验[Kolchinsky等人，2018年]，深度变分信息瓶颈[Alemi等人，2017年]，和信息辍学[Alberle和Soatto，2018年]。此外，我们提出了一个神经网络的解码器架构是一个参数化的朴素贝叶斯解码器。
2019-06-06 cs.IT cs.LG math.IT
Computationally Efficient Neural Image Compression
Google Research（谷歌研究院）
利用神经网络的图像压缩已经达到或超过了非神经方法（如JPEG、WebP、BPG）。虽然这些网络在率失真性能方面是最先进的，但这些模型的计算可行性仍然是一个挑战。我们应用自动网络优化技术来降低神经图像压缩中常用架构的计算复杂度，分析解码器在执行时的复杂度，并探索率失真性能和运行时性能之间的权衡，以设计和研究计算效率更高的神经图像压缩。我们发现，我们的方法减少了超过50%的解码器运行时的要求，一个国家的最先进的神经架构。
2019-12-18 cs.LG eess.IV stat.ML
HiHa: Introducing Hierarchical Harmonic Decomposition to Implicit Neural Compression for Atmospheric Data
Jilin University（吉林大学）；Institute of Atmospheric Physics（大气物理研究所）
针对大气数据压缩难题，提出HiHa方法，通过分层谐波分解和多尺度隐式神经表示实现高保真高压缩率，实验证明其优于现有方法且压缩数据不影响下游模型精度。
2024-11-09 cs.IT cs.LG math.IT
Substitutional Neural Image Compression
Boston University（波士顿大学）；Tencent America（腾讯美国）
我们描述了替代神经图像压缩（SNIC），这是一种用于增强任何神经图像压缩模型的通用方法，不需要数据或对训练模型进行额外的调整。它将压缩性能提升到灵活的失真度量，并使用单个模型实例实现比特率控制。其核心思想是用一个性能优于原始图像的替代图像替换待压缩图像。对于传统的编解码器来说，找到这样的替代品本来就很困难，但由于神经压缩模型的完全可微结构，它对神经压缩模型却出奇地有利。通过将特定损失的梯度反向传播到输入，可以迭代地有效地制作所需的替代品。我们证明了SNIC的有效性，结合各种神经压缩模型和目标指标，在提高压缩质量和执行率失真曲线测量的比特率控制。文中还对控制精度和发电速度的实验结果进行了讨论。
2021-05-16 cs.CV cs.LG eess.IV
Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）；Qualcomm Technologies, Inc.（高通技术公司）
深度神经网络在许多现实世界应用中的成功正在为构建更高效的架构带来新的挑战。使网络更有效的一种有效方法是神经网络压缩。我们提供了现有的神经网络压缩方法的概述，可以用来使神经网络更有效地改变网络的架构。首先，我们介绍了一种新的方法来分类所有已发布的压缩方法，根据数据量和计算量，使这些方法在实践中工作。这是三个“压缩解决方案”级别。其次，我们提供了基于张量分解和概率压缩方法的分类。最后，我们对在ImageNet上训练的模型的文献中的不同压缩技术进行了广泛评估。我们发现，SVD和概率压缩或修剪方法是互补的，并给出所有考虑的方法的最佳结果。我们还提供了将它们结合起来的实用方法。
2019-12-20 cs.CV cs.LG stat.ML
Model compression as constrained optimization, with application to neural nets. Part I: general framework
University of California, Merced（加州大学默塞德分校）
压缩神经网络是一个活跃的研究问题，考虑到用于对象识别等任务的最先进网络的大尺寸，以及移动设备施加的计算限制。我们给出了模型压缩作为约束优化的一般公式。这包括许多类型的压缩：量化、低秩分解、修剪、无损压缩等。然后，我们给出了一种基于增广拉格朗日和交替优化的通用算法来优化这个非凸问题。这导致了“学习-压缩”算法，该算法将未压缩模型的学习步骤（独立于压缩类型）与模型参数的压缩步骤（独立于学习任务）交替。这种简单、高效的算法保证在标准假设下在局部意义上为任务找到最佳压缩模型。我们分别在几个配套文件的发展，这个一般的框架到具体的算法模型压缩的基础上量化，修剪和其他变化，包括实验结果压缩神经网络和其他模型。
2017-07-05 cs.LG cs.NE math.OC
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University（ITMO大学）
本文提出基于链式神经预测器的概率估计架构，利用信息继承机制提升压缩效率，实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks
Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系）；Department of Mathematics（数学系）；Hal c o g lu Data Science Institute, University of California San Diego（Hal c o g lu数据科学研究所，加州大学圣地亚哥分校）
本文提出了一种数据驱动的后训练低秩压缩分析框架，通过理论证明在不同假设下恢复定理，以解释低秩压缩方法优于数据无关方法的原因，并推动理论支持的压缩算法发展。
2025-02-04 cs.IT cs.LG math.IT
Quantum Implicit Neural Compression
Osaka University（大阪大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出量子隐式神经表示（quINR），利用量子神经网络的高表达力提升INR压缩效率，在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
Ultra-Efficient Decoding for End-to-End Neural Compression and Reconstruction
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对神经压缩中卷积解码器计算成本高的瓶颈问题，提出融合低秩表示与矢量量化自编码器的压缩重建框架，通过低秩操作高效解码，在保证图像高保真的同时大幅降低计算开销。
2025-10-03 cs.CV cs.LG
Model compression as constrained optimization, with application to neural nets. Part V: combining compressions
University of California, Merced（加州大学默塞德分校）
模型压缩通常通过使用量化、低秩近似或修剪来执行，近年来已经研究了各种算法。一个基本的问题是：对于给定的模型，什么类型的压缩工作得更好？或者更好：我们可以通过以适当的方式组合压缩来改进吗？我们制定这一般作为一个优化损失的问题，但在那里的权重被限制为等于一个加法组合的单独压缩的部分，我们给出了一个算法来学习相应的部分的参数。通过对深度神经网络的实验，我们观察到：1）我们可以在错误压缩空间中找到更好的模型，这表明不同的压缩类型具有互补的优势; 2）最佳组合类型取决于神经网络的类型。例如，我们可以压缩ResNet和AlexNet，每个权重仅使用1位，而不会出现错误降级，代价是增加一些浮点权重。然而，VGG网可以通过将低秩与少量浮点权重相结合来更好地压缩。
2021-07-09 cs.LG
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型，通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题，提升动态个性化交互能力。
2026-04-05 cs.LG
MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法，它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比，非迭代的效率。我们的方法提高了压缩率，同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了张量神经网络（TNNs），现有的神经网络的推广，通过扩展张量操作的低阶操作的高阶的。参数学习的问题是具有挑战性的，因为它对应于分层非线性张量分解。我们建议使用随机梯度下降来解决学习问题，通过导出我们引入的广义张量代数中的非平凡反向传播规则。与现有的神经网络相比，我们提出的TNN有三个优点：（1）TNN自然地适用于高阶输入对象，从而保留了输入中的多维结构，因为不需要扁平化数据。(2)TNN解释现有神经网络架构的设计。(3)将神经网络映射到具有相同表达能力的TNN会导致TNN的参数更少。神经网络的基于TNN的压缩改进了现有的基于低秩近似的压缩方法，因为除了低秩之外，TNN还利用两种其他类型的不变结构，周期性和调制。在LeNet-5（MNIST），ResNet-32（CIFAR 10）和ResNet-50（ImageNet）上的实验表明，我们基于TNN的压缩在相同的压缩率下优于（CIFAR 10上普遍提高了5%的测试精度）最先进的基于低秩近似的压缩方法，此外由于TNN的效率，还实现了数量级更快的收敛速度。
2018-12-08 cs.LG stat.ML
A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation
University of Minnesota（明尼苏达大学）
模型压缩的目标是减小大型神经网络的大小，同时保持相当的性能。因此，通过丢弃冗余权重、神经元或层，可以显著降低资源有限应用中的计算和存储器成本。已经提出了许多模型压缩算法，提供了令人印象深刻的经验成功。然而，对模型压缩的理论理解仍然有限。一个问题是理解一个网络是否比另一个具有相同结构的网络更可压缩。另一个问题是量化在理论上保证准确性下降的情况下可以修剪多少网络。在这项工作中，我们建议使用稀疏敏感的$\ell_q$ -范数（$0<q<1$）来表征可压缩性，并提供一个软稀疏的网络中的权重和压缩程度与控制精度退化界之间的关系。我们还开发了自适应算法，用于修剪网络中的每个神经元。数值研究表明，所提出的方法相比，标准的剪枝算法有前途的性能。
2022-11-09 cs.LG math.ST stat.ML
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
最近提出的神经局部无损压缩（NeLLoC），这是基于局部自回归模型，已达到国家的最先进的（SOTA）的分布外（OOD）的泛化性能在图像压缩任务。除了鼓励面向对象的推广，本地模型还允许在解码阶段进行并行推理。在本文中，我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性，并提供实验证据的压缩运行时的显着收益相比，以前的，非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Neural Normalized Compression Distance and the Disconnect Between Compression and Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文通过将大语言模型用作无损压缩器构建神经归一化压缩距离，发现分类准确率不能仅由压缩率预测，揭示了压缩与分类之间的理解脱节。
2024-10-20 cs.LG stat.ML
Block-optimized Variable Bit Rate Neural Image Compression
Nokia Technologies（诺基亚技术）
在这项工作中，我们提出了一个端到端的基于块的自动编码系统的图像压缩。我们介绍了基于神经网络的图像压缩的新贡献，主要是在实现二值化模拟，可变比特率与多个网络，熵友好的表示，推理阶段的代码优化和性能提高归一化层的自动编码器。我们评估并显示我们每一项贡献的增量性能提升。
2018-05-28 cs.LG stat.ML
Neural Network Compression Via Sparse Optimization
Microsoft（微软）；National University of Singapore（新加坡国立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
压缩深度神经网络（DNN）以降低推理成本对于满足各种应用的实际部署要求变得越来越重要。关于网络压缩已经有了大量的工作，而其中大多数都是基于启发式规则的，或者通常不适合纳入不同的场景。另一方面，稀疏优化产生稀疏解自然符合压缩要求，但由于稀疏优化在随机学习中的研究有限，其扩展和应用到模型压缩很少被很好地探索。在这项工作中，我们提出了一个模型压缩框架的基础上稀疏随机优化的最新进展。与现有的模型压缩技术相比，我们的方法是有效的，需要更少的额外的工程努力，将不同的应用程序，并已在基准压缩任务的数值模拟。特别是，与基线重型模型相比，我们分别在CIFAR10的VGG16和ImageNet的ResNet50上实现了高达7.2倍和2.9倍的FLOP减少，并且具有相同的评估精度。
2020-11-11 cs.LG math.OC stat.ML
Neural Network Distiller: A Python Package For DNN Compression Research
Intel AI Lab（英特尔人工智能实验室）
本文介绍了神经网络Distiller的原理、设计和功能集，这是一个用于DNN压缩研究的开源Python包。Distiller是一个DNN压缩算法实现库，包含用于各种学习任务的工具，教程和示例应用程序。它的目标用户是工程师和研究人员，丰富的内容通过可扩展性设计来补充，以促进新的研究。Distiller是开源的，可以在Github上找到，网址是https://github.com/NervanaSystems/distiller。
2019-10-27 cs.LG stat.ML
Neural Weight Compression for Language Models
POSTECH（POSTECH大学）；Samsung Electronics Co., Ltd（三星电子公司）
提出神经权重压缩（NWC）框架，通过训练神经编解码器在预训练权重数据集上实现高效压缩，解决张量异质性和重建损失与下游性能不匹配问题，在4-6比特区间取得优异精度-压缩权衡。
2026-05-27 cs.LG
Neural network compression via learnable wavelet transforms
University of Bonn（波恩大学）；Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习与SCAI中心）；National University of Singapore（新加坡国立大学）
小波变换在数据压缩方面是众所周知的，但很少应用于神经网络的压缩。本文展示了如何快速小波变换可以用来压缩线性层的神经网络。在递归神经网络（RNN）中，线性层仍然占据了很大一部分参数。通过我们的方法，我们可以学习小波基和相应的系数，以有效地表示RNN的线性层。我们的小波压缩RNN具有更少的参数，但在合成和真实世界的RNN基准测试中仍然具有最先进的竞争力。小波优化增加了基础的灵活性，没有大量的额外的权重。源代码可在https://github.com/v0lta/Wavelet-network-compression上获得。
2020-08-20 cs.LG stat.ML
COIN++: Neural Compression Across Modalities
University of Oxford（牛津大学）
神经压缩算法通常基于自动编码器，其需要针对不同数据模态的专用编码器和解码器架构。在本文中，我们提出了COIN++，这是一个神经压缩框架，可以无缝处理各种数据模式。我们的方法基于将数据转换为隐式神经表示，即将坐标（如像素位置）映射到特征（如RGB值）的神经函数。然后，我们不是直接存储隐式神经表示的权重，而是将应用于元学习基础网络的调制存储为数据的压缩代码。我们进一步对这些调制进行编码和熵编码，从而获得较大的压缩增益，同时与基线相比将编码时间减少了两个数量级。我们通过压缩各种数据模式，从图像和音频到医疗和气候数据，实证证明了我们方法的可行性。
2022-12-08 cs.CV cs.LG eess.IV
Neural 3D Scene Compression via Model Compression
Stanford University（斯坦福大学）
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成：（1）存储从3D场景拍摄的2D图像，其可以通过插值重建场景，或者（2）存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止，传统的3D压缩方法都集中在第一类存储上，并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法，用户首先解码存储的2D图像，然后渲染3D场景。然而，这种分离的过程是低效的，因为必须存储大量的2D图像。在这项工作中，我们采取了不同的方法和压缩的功能表示的3D场景。特别是，我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储，因为它不存储2D图像-当我们从神经功能表示渲染场景时，这是冗余的。
2021-05-07 cs.CV cs.LG
Siamese SIREN: Audio Compression with Implicit Neural Representations
ETH Zurich（苏黎世联邦理工学院）
本文提出Siamese SIREN，一种基于SIREN架构的隐式神经表示方法，用于音频压缩，以更少的网络参数实现更高的音频重建保真度。
2023-06-22 cs.AI cs.LG cs.SD
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies（诺基亚科技）
在本文中，我们提出了神经图像压缩的两个客观术语：压缩目标和周期损失。这些项应用于自动编码器的编码器输出，并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真（码域失真）。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器：a）MSE，b）MSE和MSSSIM，c）MSE、MS-SSIM和循环损耗。我们观察到，由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点（同时具有相似的比特率）。特别地，仅MSE训练有利于低图像域失真，而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
Improving The Reconstruction Quality by Overfitted Decoder Bias in Neural Image Compression
InterDigital, Inc.（交互数字公司）
端到端的可训练模型已经达到了视频和图像上传统手工压缩技术的性能。由于这些模型的参数是在大型训练集上学习的，因此它们对于任何给定的待压缩图像都不是最佳的。在本文中，我们提出了一个基于实例的微调解码器的偏置的一个子集，以提高重建质量，以换取额外的编码时间和较小的额外信令成本。所提出的方法适用于任何端到端压缩方法，通过$3-5\%$提高了最先进的神经图像压缩的BD率。
2022-10-10 cs.CV cs.LG eess.IV
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Facebook Inc.（Facebook公司）
低秩张量压缩已被提出作为一种有前途的方法，以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络，如VGG和ResNet。然而，用于计算机视觉任务的现代最先进的神经网络（即MobileNet，EfficientNet）已经通过深度可分离卷积假设了粗糙的因子分解结构，使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合，以便利用粗结构和细结构进行压缩。我们在SOTA架构（MobileNetv3，EfficientNet，视觉Transformer）中压缩权重，并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.（拉斐尔先进防御系统有限公司）；Technion - Israel Institute of Technology（以色列理工学院）
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而，它们并没有考虑到手头的具体最终任务。受基于递归神经网络（RNN）的图像压缩和三维（3D）重建工作的启发，我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像，产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明，这可以高效地完成，几乎没有额外的成本，以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
Soft Weight-Sharing for Neural Network Compression
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
深度学习在众多应用领域的成功创造了在移动设备上运行和训练它们的需求。然而，这与它们的计算、存储和能量密集的性质相冲突，导致对压缩的兴趣越来越大。Han等人（2015 a）的最新工作提出了一种管道，涉及神经网络权重的再训练，修剪和量化，获得最先进的压缩率。在本文中，我们表明，有竞争力的压缩率可以通过使用一个版本的软权重共享（Nowlan和Hinton，1992年）。我们的方法在一个简单的（重新）训练过程中实现了量化和修剪。这一观点还揭示了压缩与最小描述长度（MDL）原则之间的关系。
2017-05-09 cs.LG stat.ML
Towards Hardware-Specific Automatic Compression of Neural Networks
Heidelberg University（海德堡大学）
压缩神经网络架构对于允许将模型部署到嵌入式或移动设备是重要的，并且修剪和量化是当今压缩神经网络的主要方法。当为每个层专门选择压缩参数时，这两种方法都有好处。找到压缩参数的良好组合（所谓的压缩策略）是困难的，因为问题跨越指数级大的搜索空间。有效的压缩策略会考虑特定硬件架构对所用压缩方法的影响。我们提出了一个算法框架，称为Galen使用强化学习利用修剪和量化搜索这样的政策，从而为神经网络提供自动压缩。与其他方法相反，我们使用在目标硬件设备上测量的推理延迟作为优化目标。这样，框架就支持特定于给定硬件目标的模型的压缩。我们使用三种不同的强化学习代理进行修剪、量化和联合修剪和量化来验证我们的方法。除了证明我们方法的功能外，我们还能够在嵌入式ARM处理器上将CIFAR-10的ResNet 18压缩到原始推理延迟的20%，而不会显著损失准确性。此外，我们可以证明，使用修剪和量化的联合搜索和压缩优于使用单一压缩方法的单独搜索策略。
2022-12-15 cs.LG cs.PF stat.ML
Deep Compression of Neural Networks for Fault Detection on Tennessee Eastman Chemical Processes
Nuro Inc.（Nuro公司）
人工神经网络在Tennessee Eastman过程的故障检测中取得了很好的效果，但它往往需要大量的内存来支持其大量的参数。为了实现在线实时故障检测，三个深度压缩技术（修剪，聚类和量化），以减少计算负担。我们广泛研究了7种不同的压缩技术组合，所有方法都达到了64%以上的高模型压缩率，同时保持了较高的故障检测精度。最好的结果是应用所有三种技术，将模型大小减少了91.5%，并保持了94%以上的高精度。这一结果导致生产环境中的存储需求更小，并使现实世界中的部署更加顺利。
2021-01-18 cs.LG
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
本研究建立分层自回归生成模型与有损视频压缩的关联，将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向，在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，神经网络在边缘系统上的应用激增，但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池，一个端到端的框架，包括网络压缩和任意子字节精度的加速。与8位网络相比，该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现，允许运行时位宽权衡，并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比，8位权重池网络，精度下降不到1%。
2022-01-25 cs.LG cs.PF
Coreset-Based Neural Network Compression
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出了一种基于滤波器核集表示的卷积神经网络（CNN）压缩算法。我们利用CNN权重和神经元激活（跨样本）空间中存在的冗余来获得压缩。我们的方法不需要再训练，易于实现，并在各种各样的CNN架构中获得最先进的压缩性能。再加上量化和霍夫曼编码，我们创建的网络提供了类似AlexNet的准确性，其内存占用比原始AlexNet小$832\times$，同时还显著减少了推理时间。此外，这些压缩网络在微调时，也成功地推广到其他领域。
2018-07-25 cs.CV cs.LG
