MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法，它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比，非迭代的效率。我们的方法提高了压缩率，同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
RAOA: Alternating-Operator Neural Computation with Programmable Radio Propagation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
提出RAOA循环架构，利用可编程无线电传播实现交替算子计算，在离散优化和语言模型适配中验证了其有效性，连接了计算、传播与神经适配。
2026-10-05 cs.ET cs.LG cs.LO
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
COIN++: Neural Compression Across Modalities
University of Oxford（牛津大学）
神经压缩算法通常基于自动编码器，其需要针对不同数据模态的专用编码器和解码器架构。在本文中，我们提出了COIN++，这是一个神经压缩框架，可以无缝处理各种数据模式。我们的方法基于将数据转换为隐式神经表示，即将坐标（如像素位置）映射到特征（如RGB值）的神经函数。然后，我们不是直接存储隐式神经表示的权重，而是将应用于元学习基础网络的调制存储为数据的压缩代码。我们进一步对这些调制进行编码和熵编码，从而获得较大的压缩增益，同时与基线相比将编码时间减少了两个数量级。我们通过压缩各种数据模式，从图像和音频到医疗和气候数据，实证证明了我们方法的可行性。
2022-12-08 cs.CV cs.LG eess.IV
Certified Robustness to Programmable Transformations in LSTMs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
用于自然语言处理的深度神经网络在面对对抗性示例时是脆弱的--小的输入扰动，如同义词替换或单词重复，会导致神经网络改变其预测。我们提出了一种验证LSTM（以及LSTM的扩展）的鲁棒性和可以有效验证的训练模型的方法。我们的方法可以证明的鲁棒性，以编程方式定义的字符串变换的语言难以处理的大扰动空间。我们的评估表明，（1）我们的方法可以训练模型，更强大的字符串转换的组合比使用现有技术产生的模型;（2）我们的方法可以显示出高认证精度的结果模型。
2021-09-07 cs.LG
Ultra-Efficient Decoding for End-to-End Neural Compression and Reconstruction
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对神经压缩中卷积解码器计算成本高的瓶颈问题，提出融合低秩表示与矢量量化自编码器的压缩重建框架，通过低秩操作高效解码，在保证图像高保真的同时大幅降低计算开销。
2025-10-03 cs.CV cs.LG
Neural Normalized Compression Distance and the Disconnect Between Compression and Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文通过将大语言模型用作无损压缩器构建神经归一化压缩距离，发现分类准确率不能仅由压缩率预测，揭示了压缩与分类之间的理解脱节。
2024-10-20 cs.LG stat.ML
Block-optimized Variable Bit Rate Neural Image Compression
Nokia Technologies（诺基亚技术）
在这项工作中，我们提出了一个端到端的基于块的自动编码系统的图像压缩。我们介绍了基于神经网络的图像压缩的新贡献，主要是在实现二值化模拟，可变比特率与多个网络，熵友好的表示，推理阶段的代码优化和性能提高归一化层的自动编码器。我们评估并显示我们每一项贡献的增量性能提升。
2018-05-28 cs.LG stat.ML
Neural Network Distiller: A Python Package For DNN Compression Research
Intel AI Lab（英特尔人工智能实验室）
本文介绍了神经网络Distiller的原理、设计和功能集，这是一个用于DNN压缩研究的开源Python包。Distiller是一个DNN压缩算法实现库，包含用于各种学习任务的工具，教程和示例应用程序。它的目标用户是工程师和研究人员，丰富的内容通过可扩展性设计来补充，以促进新的研究。Distiller是开源的，可以在Github上找到，网址是https://github.com/NervanaSystems/distiller。
2019-10-27 cs.LG stat.ML
Neural network compression via learnable wavelet transforms
University of Bonn（波恩大学）；Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习与SCAI中心）；National University of Singapore（新加坡国立大学）
小波变换在数据压缩方面是众所周知的，但很少应用于神经网络的压缩。本文展示了如何快速小波变换可以用来压缩线性层的神经网络。在递归神经网络（RNN）中，线性层仍然占据了很大一部分参数。通过我们的方法，我们可以学习小波基和相应的系数，以有效地表示RNN的线性层。我们的小波压缩RNN具有更少的参数，但在合成和真实世界的RNN基准测试中仍然具有最先进的竞争力。小波优化增加了基础的灵活性，没有大量的额外的权重。源代码可在https://github.com/v0lta/Wavelet-network-compression上获得。
2020-08-20 cs.LG stat.ML
Neural 3D Scene Compression via Model Compression
Stanford University（斯坦福大学）
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成：（1）存储从3D场景拍摄的2D图像，其可以通过插值重建场景，或者（2）存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止，传统的3D压缩方法都集中在第一类存储上，并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法，用户首先解码存储的2D图像，然后渲染3D场景。然而，这种分离的过程是低效的，因为必须存储大量的2D图像。在这项工作中，我们采取了不同的方法和压缩的功能表示的3D场景。特别是，我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储，因为它不存储2D图像-当我们从神经功能表示渲染场景时，这是冗余的。
2021-05-07 cs.CV cs.LG
Shapley Pruning for Neural Network Compression
ETH Zürich（苏黎世联邦理工学院）
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架，提出Shapley值近似方法并在新基准Oracle rank上评估，实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
An Interpretable Neural Network for Configuring Programmable Wireless Environments
Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会）；University of Cyprus（塞浦路斯大学）；Georgia Institute of Technology（佐治亚理工学院）
软件定义的元表面（SDM）包括称为元原子的基本元素的密集拓扑结构，在智能面板技术中对表面电流施加最高程度的控制。因此，它们可以以复杂的方式转换撞击的电磁波，修改它们的方向，功率，频谱，极性和相位。一个定义良好的软件接口允许将这些功能应用于波和互联网SDM，同时抽象底层物理。部署在区域内的对象（例如平面图墙壁）上的SDM网络创建可编程无线环境（PWE），其中波的传播完全可定制。这项工作研究了使用机器学习配置这样的环境，以用户的利益。该方法包括建模无线传播作为一个自定义的，可解释的，反向传播的神经网络，与SDM元素作为节点和他们的交叉互动的链接。经过一段时间的训练后，网络学习SDM的传播基础知识，并将其配置为便于附近用户的通信。
2019-05-07 cs.ET cs.LG cs.NI
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Soft Weight-Sharing for Neural Network Compression
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
深度学习在众多应用领域的成功创造了在移动设备上运行和训练它们的需求。然而，这与它们的计算、存储和能量密集的性质相冲突，导致对压缩的兴趣越来越大。Han等人（2015 a）的最新工作提出了一种管道，涉及神经网络权重的再训练，修剪和量化，获得最先进的压缩率。在本文中，我们表明，有竞争力的压缩率可以通过使用一个版本的软权重共享（Nowlan和Hinton，1992年）。我们的方法在一个简单的（重新）训练过程中实现了量化和修剪。这一观点还揭示了压缩与最小描述长度（MDL）原则之间的关系。
2017-05-09 cs.LG stat.ML
Computationally Efficient Neural Image Compression
Google Research（谷歌研究院）
利用神经网络的图像压缩已经达到或超过了非神经方法（如JPEG、WebP、BPG）。虽然这些网络在率失真性能方面是最先进的，但这些模型的计算可行性仍然是一个挑战。我们应用自动网络优化技术来降低神经图像压缩中常用架构的计算复杂度，分析解码器在执行时的复杂度，并探索率失真性能和运行时性能之间的权衡，以设计和研究计算效率更高的神经图像压缩。我们发现，我们的方法减少了超过50%的解码器运行时的要求，一个国家的最先进的神经架构。
2019-12-18 cs.LG eess.IV stat.ML
Substitutional Neural Image Compression
Boston University（波士顿大学）；Tencent America（腾讯美国）
我们描述了替代神经图像压缩（SNIC），这是一种用于增强任何神经图像压缩模型的通用方法，不需要数据或对训练模型进行额外的调整。它将压缩性能提升到灵活的失真度量，并使用单个模型实例实现比特率控制。其核心思想是用一个性能优于原始图像的替代图像替换待压缩图像。对于传统的编解码器来说，找到这样的替代品本来就很困难，但由于神经压缩模型的完全可微结构，它对神经压缩模型却出奇地有利。通过将特定损失的梯度反向传播到输入，可以迭代地有效地制作所需的替代品。我们证明了SNIC的有效性，结合各种神经压缩模型和目标指标，在提高压缩质量和执行率失真曲线测量的比特率控制。文中还对控制精度和发电速度的实验结果进行了讨论。
2021-05-16 cs.CV cs.LG eess.IV
Coreset-Based Neural Network Compression
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出了一种基于滤波器核集表示的卷积神经网络（CNN）压缩算法。我们利用CNN权重和神经元激活（跨样本）空间中存在的冗余来获得压缩。我们的方法不需要再训练，易于实现，并在各种各样的CNN架构中获得最先进的压缩性能。再加上量化和霍夫曼编码，我们创建的网络提供了类似AlexNet的准确性，其内存占用比原始AlexNet小$832\times$，同时还显著减少了推理时间。此外，这些压缩网络在微调时，也成功地推广到其他领域。
2018-07-25 cs.CV cs.LG
Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach
IT4Innovations, VSB – Technical University of Ostrava（IT4Innovations，奥斯特拉瓦技术大学）
提出一种结合傅里叶特征编码与选择性体素采样的无结构神经压缩方法，通过形态学膨胀动态选择体素，在保持高压缩率与质量的同时大幅减少训练时间。
2025-08-12 cs.CV cs.LG
Linearity-based neural network compression
University of Passau（巴伐利亚大学）
本文提出基于线性的神经网络压缩方法，利用类ReLU激活函数下常激活神经元的线性特性合并层，在多数模型中实现无损压缩至1/4，且与重要性剪枝兼容，为高效模型奠定基础。
2025-06-26 cs.AI cs.LG stat.ML
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA（计算机与信息科学系，特拉华大学，费城，美国）
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能，发现压缩技术能有效降低模型规模和计算成本，同时保持分类性能。
2026-03-05 cs.CV cs.LG
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
最近提出的神经局部无损压缩（NeLLoC），这是基于局部自回归模型，已达到国家的最先进的（SOTA）的分布外（OOD）的泛化性能在图像压缩任务。除了鼓励面向对象的推广，本地模型还允许在解码阶段进行并行推理。在本文中，我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性，并提供实验证据的压缩运行时的显着收益相比，以前的，非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Weightless: Lossy Weight Encoding For Deep Neural Network Compression
Harvard University（哈佛大学）
深度神经网络的大存储器需求限制了它们在许多设备上的部署和采用。模型压缩方法通常通过应用诸如权重修剪或量化之类的变换来有效地减少这些模型的存储器需求。在本文中，我们提出了一种新的方案，有损重量编码，补充传统的压缩技术。编码基于Bloomier滤波器，这是一种概率数据结构，可以以引入随机错误为代价来节省空间。利用神经网络容忍这些缺陷的能力，并通过围绕错误进行重新训练，所提出的技术Weightless可以在相同的模型精度下将DNN权重压缩高达496倍。这导致与最先进技术相比提高了1.51倍。
2017-11-13 cs.LG stat.ML
Implicit Neural Video Compression
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入，这使得帧之间的有效运动补偿。与一个小的残差网络一起，这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法，我们称之为隐式像素流（IPF），在已建立的神经视频编解码器上提供了几个简化：它不需要接收器访问预训练的神经网络，不使用昂贵的基于插值的扭曲操作，并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas（德克萨斯大学达拉斯分校）
我们提出了一个简单，易于实现的神经网络压缩算法，实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验（对应于k-means目标）来修改原始优化问题，以实现参数量化，以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同，我们的方法使用网络参数的硬聚类分配，这对标准网络训练增加了最小的变化或开销。我们还通过实验证明，捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
Red grape detection with accelerated artificial neural networks in the FPGA's programmable logic
Khalifa University（卡里玛大学）
本文利用FINN架构在FPGA可编程逻辑中部署三种量化人工神经网络进行红葡萄检测，其中MobileNet v1达到98%成功率和6611 FPS，证明FPGA可加速ANN并支持注意力机制。
2025-07-03 cs.AI cs.CV cs.DC
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies（诺基亚科技）
在本文中，我们提出了神经图像压缩的两个客观术语：压缩目标和周期损失。这些项应用于自动编码器的编码器输出，并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真（码域失真）。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器：a）MSE，b）MSE和MSSSIM，c）MSE、MS-SSIM和循环损耗。我们观察到，由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点（同时具有相似的比特率）。特别地，仅MSE训练有利于低图像域失真，而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
Improving The Reconstruction Quality by Overfitted Decoder Bias in Neural Image Compression
InterDigital, Inc.（交互数字公司）
端到端的可训练模型已经达到了视频和图像上传统手工压缩技术的性能。由于这些模型的参数是在大型训练集上学习的，因此它们对于任何给定的待压缩图像都不是最佳的。在本文中，我们提出了一个基于实例的微调解码器的偏置的一个子集，以提高重建质量，以换取额外的编码时间和较小的额外信令成本。所提出的方法适用于任何端到端压缩方法，通过$3-5\%$提高了最先进的神经图像压缩的BD率。
2022-10-10 cs.CV cs.LG eess.IV
Quantum Implicit Neural Compression
Osaka University（大阪大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出量子隐式神经表示（quINR），利用量子神经网络的高表达力提升INR压缩效率，在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.（拉斐尔先进防御系统有限公司）；Technion - Israel Institute of Technology（以色列理工学院）
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而，它们并没有考虑到手头的具体最终任务。受基于递归神经网络（RNN）的图像压缩和三维（3D）重建工作的启发，我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像，产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明，这可以高效地完成，几乎没有额外的成本，以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
Towards Hardware-Specific Automatic Compression of Neural Networks
Heidelberg University（海德堡大学）
压缩神经网络架构对于允许将模型部署到嵌入式或移动设备是重要的，并且修剪和量化是当今压缩神经网络的主要方法。当为每个层专门选择压缩参数时，这两种方法都有好处。找到压缩参数的良好组合（所谓的压缩策略）是困难的，因为问题跨越指数级大的搜索空间。有效的压缩策略会考虑特定硬件架构对所用压缩方法的影响。我们提出了一个算法框架，称为Galen使用强化学习利用修剪和量化搜索这样的政策，从而为神经网络提供自动压缩。与其他方法相反，我们使用在目标硬件设备上测量的推理延迟作为优化目标。这样，框架就支持特定于给定硬件目标的模型的压缩。我们使用三种不同的强化学习代理进行修剪、量化和联合修剪和量化来验证我们的方法。除了证明我们方法的功能外，我们还能够在嵌入式ARM处理器上将CIFAR-10的ResNet 18压缩到原始推理延迟的20%，而不会显著损失准确性。此外，我们可以证明，使用修剪和量化的联合搜索和压缩优于使用单一压缩方法的单独搜索策略。
2022-12-15 cs.LG cs.PF stat.ML
Integration of Programmable Diffraction with Digital Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；California NanoSystems Institute (CNSI)（加州纳米系统研究所（CNSI））
本文调研了可编程衍射与数字神经网络联合优化的混合（光学+数字）处理器的相关创新，介绍了其协同效用与应用价值，该类处理器兼具模拟波处理与数字神经网络的优势。
2024-06-15 cs.LG cs.NE eess.IV
Field-Programmable Deep Neural Network (DNN) Learning and Inference accelerator: a concept
Western Digital（西部数据）
加速器是一种专门的集成电路，旨在执行特定的计算速度比CPU或GPU更快。提出了一种采用混合脉动和非脉动技术、分布式信息控制和深度流水线结构的现场可编程DNN学习和推理加速器（FProg-DNN），并给出了其微结构和操作。可重配置性涉及不同的DNN设计，并允许将不同数量的工作者分配给不同的层，作为层之间计算负载的相对差异的函数。沿着流水线加速器结构，每层的计算延迟大致相同。VGG-16和最近提出的Inception模块用于显示FProg-DNN可重构性的灵活性。还添加了特殊的结构，用于卷积层，映射重合和反馈的组合，用于最先进的学习，具有少量示例，这是作者的配套论文的重点（Franca-Neto，2018）。所描述的加速器能够从（1）在次优性能的一个极端中将所有DNN计算分配给单个工作器重新配置为（2）根据要实现的每个DNN层中的计算负载来最优地分配每层工作器。由于采用了流水线架构，相对于GPU或TPU，实现了超过50倍的加速。这种加速是将DNN中从一层到下一层传输激活输出的延迟隐藏在接收层中的计算之后的结果。这个FProg-DNN概念已经在行为功能层面进行了模拟和验证。
2018-03-22 cs.LG cs.NE
Exploring Structural Sparsity in Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）
神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.
2022-03-11 cs.CV cs.LG eess.IV
Neural Network Compression Via Sparse Optimization
Microsoft（微软）；National University of Singapore（新加坡国立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
压缩深度神经网络（DNN）以降低推理成本对于满足各种应用的实际部署要求变得越来越重要。关于网络压缩已经有了大量的工作，而其中大多数都是基于启发式规则的，或者通常不适合纳入不同的场景。另一方面，稀疏优化产生稀疏解自然符合压缩要求，但由于稀疏优化在随机学习中的研究有限，其扩展和应用到模型压缩很少被很好地探索。在这项工作中，我们提出了一个模型压缩框架的基础上稀疏随机优化的最新进展。与现有的模型压缩技术相比，我们的方法是有效的，需要更少的额外的工程努力，将不同的应用程序，并已在基准压缩任务的数值模拟。特别是，与基线重型模型相比，我们分别在CIFAR10的VGG16和ImageNet的ResNet50上实现了高达7.2倍和2.9倍的FLOP减少，并且具有相同的评估精度。
2020-11-11 cs.LG math.OC stat.ML
Compression strategies and space-conscious representations for deep neural networks
Università degli Studi di Milano（米兰大学）
深度学习的最新进展使得大型、强大的卷积神经网络（CNN）在几个现实世界的应用中具有最先进的性能。不幸的是，这些大型模型具有数百万个参数，因此它们无法部署在资源有限的平台上（例如RAM有限的平台）。因此，CNN的压缩成为实现内存效率和可能的计算速度更快的模型表示的关键问题。在本文中，我们研究了通过权重修剪和量化对CNN进行有损压缩的影响，以及基于信源编码的无损权重矩阵表示。我们在四个基准数据集上测试了这些技术的几种组合，以解决分类和回归问题，实现了高达$165$倍的压缩率，同时保持或提高了模型性能。
2020-07-15 cs.LG cs.NE stat.ML
A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank
Seoul National University（首尔大学）
压缩已经成为深度学习的重要研究课题之一，特别是对于计算能力和存储容量有限的边缘设备。在主要的压缩技术中，已知经由矩阵分解的低秩压缩具有两个问题。首先，需要广泛的调谐。其次，所得到的压缩性能通常不令人印象深刻。在这项工作中，我们提出了一种低秩压缩方法，利用修改后的束搜索的自动排名选择和修改后的稳定排名的压缩友好的训练。得到的BSR（束搜索和稳定秩）算法只需要一个单一的超参数被调整为所需的压缩比。在精度和压缩比权衡曲线方面，BSR的性能优于先前已知的低秩压缩方法。此外，BSR可以与最先进的结构化修剪方法相比甚至更好。与修剪一样，BSR可以很容易地与量化相结合，以进行额外的压缩。
2021-12-01 cs.AI cs.CV cs.LG
COIN: COmpression with Implicit Neural representations
University of Oxford（牛津大学）
我们提出了一种新的简单的方法来进行图像压缩：我们存储过拟合到图像的神经网络的权重，而不是存储图像的每个像素的RGB值。具体来说，为了对图像进行编码，我们将其与将像素位置映射到RGB值的MLP相匹配。然后，我们将该MLP的权重存储为图像的代码。为了解码图像，我们简单地评估每个像素位置的MLP。我们发现，这种简单的方法在低比特率下优于JPEG，即使没有熵编码或学习权重分布。虽然我们的框架还没有竞争力的最先进的压缩方法，我们表明，它具有各种有吸引力的属性，这可能使它成为一个可行的替代其他神经数据压缩方法。
2021-04-10 cs.CV cs.LG eess.IV
Compression of Deep Neural Networks on the Fly
Télécom Bretagne（布列塔尼电信学院）
由于其最先进的性能，深度神经网络越来越多地用于对象识别。为了实现这些结果，他们使用数百万个参数进行训练。然而，当针对嵌入式应用程序时，这些模型的大小就成了问题。因此，禁止在智能手机或其他资源有限的设备上使用它们。在本文中，我们介绍了一种在学习阶段执行的深度神经网络的新压缩方法。它包括在全连接层的成本函数中添加额外的正则化项。我们将这种方法与训练权重的产品量化（PQ）相结合，以节省更高的存储消耗。我们在两个数据集（MNIST和CIFAR10）上评估了我们的方法，在这两个数据集上，我们实现了比最先进的方法更大的压缩率。
2016-03-18 cs.CV cs.LG cs.NE
DKM: Differentiable K-Means Clustering Layer for Neural Network Compression
Apple（苹果公司）
深度神经网络（DNN）模型压缩用于有效的设备上推理对于降低存储器需求并将用户数据保持在设备上变得越来越重要。为此，我们提出了一种新的可微分k均值聚类层（DKM）及其在基于训练时权重聚类的DNN模型压缩中的应用。DKM将k-means聚类作为注意力问题，并实现DNN参数和聚类中心的联合优化。与依赖于额外的正则化器和参数的先前工作不同，基于DKM的压缩保持原始损失函数和模型架构固定。我们在各种DNN模型上评估了基于DKM的压缩，用于计算机视觉和自然语言处理（NLP）任务。我们的研究结果表明，DKM在ImageNet 1 k和GLUE基准测试中提供了卓越的压缩和准确性权衡。例如，基于DKM的压缩可以在ResNet 50 DNN模型上提供74.5%的top-1 ImageNet 1 k准确度，模型大小为3.3MB（29.4x模型压缩因子）。对于MobileNet-v1，这是一个具有挑战性的DNN压缩，DKM提供了63.9%的top-1 ImageNet 1 k精度与0.72 MB的模型大小（22.4倍模型压缩因子）。这一结果比当前最先进的DNN压缩算法高出6.8%的top-1精度和33%的相对较小的模型大小。此外，DKM可以将DistilBERT模型压缩11.8倍，在GLUE NLP基准测试中损失最小（1.1%）的准确性。
2022-02-20 cs.AI cs.CV cs.LG
FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs
HKUST（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）；HKUST (GZ)（香港科技大学（广州））
研究旨在实现DNN纳秒级推理延迟，针对传统FPGA加速器局限，提出FPGN框架。通过硬件对齐可微公式、结构化拓扑和延迟驱动编译器，弥合差距。实验表明其相比其他加速器延迟降低205倍，LUT效率高30倍，且推理精度有竞争力。
2026-09-17 cs.AR cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Image Compression and Actionable Intelligence With Deep Neural Networks
PeopleTec Inc.（PeopleTec公司）
如果一个单位由于外部因素而无法从一个来源获得情报，我们认为他们是弱势用户。我们将其归类为在边缘上的低连接设备上工作的专注单元。这种情况要求我们使用不同于通常使用的方法来提供情报，特别是卫星图像信息。为了解决这个问题，我们提出了一个调查的信息减少技术提供的信息从一个较小的包的卫星图像。我们研究了四种技术来帮助减少传递的信息：传统的图像压缩，神经网络图像压缩，目标检测图像剪切，和图像字幕。这些机制中的每一种在考虑弱势用户时都有其优点和缺点。
2022-03-30 cs.CV cs.LG eess.IV
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型，通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题，提升动态个性化交互能力。
2026-04-05 cs.LG
Approximate Bisimulation Relations for Neural Networks and Application to Assured Neural Network Compression
Augusta University（奥古斯塔大学）；Southwest Jiaotong University（西南交通大学）
本文提出了前馈神经网络的近似互模拟关系的概念。在近似互模拟关系的框架下，基于神经网络的可达性分析，提出了一种新的神经网络合并方法，用于计算两个神经网络之间的近似互模拟误差。所开发的方法能够定量测量两个神经网络的输出之间的距离具有相同的输入。然后，我们应用近似互模拟关系结果来执行神经网络模型降阶并计算压缩精度，即，确保神经网络压缩。最后，利用保证的神经网络压缩，加速了ACAS Xu神经网络的验证过程，验证了本文提出的近似互模拟方法的有效性和优越性。
2022-02-02 cs.AI cs.LG cs.SY
Adaptive Estimators Show Information Compression in Deep Neural Networks
Yobota ltd（Yobota有限公司）；University of Bristol（布里斯托大学）
本文提出自适应互信息估计技术，发现激活函数饱和非压缩必需，L2正则化增加压缩防过拟合，且仅最后一层压缩与泛化正相关。
2023-03-30 cs.LG cs.NE stat.ML
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.（三星半导体公司系统芯片研发部）
在本文中，我们研究了通过权重量化和无损信源编码对深度神经网络（DNN）进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码，我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是，我们研究了DNN的通用随机格量化，它在格量化之前通过均匀随机抖动来随机化DNN权重，并且可以在任何源上执行接近最佳的操作，而无需依赖于其概率分布的知识。此外，我们提出了一种微调矢量量化DNN的方法，以恢复量化后的性能损失。我们的实验结果表明，所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet（在CIFAR-10上训练）和AlexNet（在ImageNet上训练）。
2019-02-21 cs.CV cs.LG cs.NE
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.（高通技术公司）
在大规模或资源受限的环境中（例如数据中心和移动设备）部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣，其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数，但很少有人了解参数压缩对循环神经网络（RNN）的影响。特别是，在何种程度上可以压缩的经常性参数和短期记忆性能的影响，是不是很好地理解。在本文中，我们研究了复杂性降低的效果，通过奇异值分解秩降低，对RNN和最小门控递归单元（MGRU）网络的几个任务。我们表明，相当大的秩减少是可能的压缩经常性的权重，即使没有微调。此外，我们提出了一个扰动模型的一般扰动，如压缩，对递归参数的影响。该模型进行了测试，对一个无声的记忆实验，阐明了短期记忆的表现。通过这种方式，我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩，并为在低功耗设备（如助听器）中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Neural Weight Compression for Language Models
POSTECH（POSTECH大学）；Samsung Electronics Co., Ltd（三星电子公司）
提出神经权重压缩（NWC）框架，通过训练神经编解码器在预训练权重数据集上实现高效压缩，解决张量异质性和重建损失与下游性能不匹配问题，在4-6比特区间取得优异精度-压缩权衡。
2026-05-27 cs.LG
Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
通过将熵编解码器应用于学习的数据分布，神经压缩器在压缩比方面明显优于传统编解码器。然而，神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中，我们提出了整数只离散流（IODF），一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流，其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门，以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF，与现有最快的神经压缩器相比，实现了10倍的推理加速，同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后，现在，对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制，并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的，硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明，ResNet-34的平均压缩比相对于未压缩数据为4.4倍，比现有方法的增益为60%，压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University（奥古斯塔大学）
本文针对量化神经网络压缩，通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差，且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
