Adaptive Dataset Quantization
Institute of Intelligent Computing, University of Electronic Science and Technology of China（电子科技大学智能计算研究院）
本文提出自适应数据集量化（ADQ）框架，通过评估区组的代表性、多样性和重要性得分进行自适应采样，解决了数据集蒸馏和核心集选择的局限，在多数据集上平均比DQ提升3%。
2024-12-22 cs.CV
Ultra-Efficient Decoding for End-to-End Neural Compression and Reconstruction
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对神经压缩中卷积解码器计算成本高的瓶颈问题，提出融合低秩表示与矢量量化自编码器的压缩重建框架，通过低秩操作高效解码，在保证图像高保真的同时大幅降低计算开销。
2025-10-03 cs.CV cs.LG
Neural 3D Scene Compression via Model Compression
Stanford University（斯坦福大学）
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成：（1）存储从3D场景拍摄的2D图像，其可以通过插值重建场景，或者（2）存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止，传统的3D压缩方法都集中在第一类存储上，并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法，用户首先解码存储的2D图像，然后渲染3D场景。然而，这种分离的过程是低效的，因为必须存储大量的2D图像。在这项工作中，我们采取了不同的方法和压缩的功能表示的3D场景。特别是，我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储，因为它不存储2D图像-当我们从神经功能表示渲染场景时，这是冗余的。
2021-05-07 cs.CV cs.LG
Shapley Pruning for Neural Network Compression
ETH Zürich（苏黎世联邦理工学院）
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架，提出Shapley值近似方法并在新基准Oracle rank上评估，实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach
IT4Innovations, VSB – Technical University of Ostrava（IT4Innovations，奥斯特拉瓦技术大学）
提出一种结合傅里叶特征编码与选择性体素采样的无结构神经压缩方法，通过形态学膨胀动态选择体素，在保持高压缩率与质量的同时大幅减少训练时间。
2025-08-12 cs.CV cs.LG
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA（计算机与信息科学系，特拉华大学，费城，美国）
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能，发现压缩技术能有效降低模型规模和计算成本，同时保持分类性能。
2026-03-05 cs.CV cs.LG
Implicit Neural Video Compression
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入，这使得帧之间的有效运动补偿。与一个小的残差网络一起，这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法，我们称之为隐式像素流（IPF），在已建立的神经视频编解码器上提供了几个简化：它不需要接收器访问预训练的神经网络，不使用昂贵的基于插值的扭曲操作，并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Cramnet: Layer-wise Deep Neural Network Compression with Knowledge Transfer from a Teacher Network
The University of Tulsa（塔尔萨大学）
神经网络完成了惊人的事情，但它们受到限制其使用的计算和内存瓶颈的影响。这一点在移动领域表现得最好，专门的硬件正在被创造出来，只是为了满足对神经网络的需求。先前的研究表明，神经网络的连接数量远远超过了它们实际工作所需的数量。本论文开发了一种方法，可以将网络压缩到不到10%的内存和不到25%的计算能力，而不会损失准确性，并且不需要创建需要特殊代码运行的稀疏网络。
2019-04-11 cs.CV cs.LG
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Substitutional Neural Image Compression
Boston University（波士顿大学）；Tencent America（腾讯美国）
我们描述了替代神经图像压缩（SNIC），这是一种用于增强任何神经图像压缩模型的通用方法，不需要数据或对训练模型进行额外的调整。它将压缩性能提升到灵活的失真度量，并使用单个模型实例实现比特率控制。其核心思想是用一个性能优于原始图像的替代图像替换待压缩图像。对于传统的编解码器来说，找到这样的替代品本来就很困难，但由于神经压缩模型的完全可微结构，它对神经压缩模型却出奇地有利。通过将特定损失的梯度反向传播到输入，可以迭代地有效地制作所需的替代品。我们证明了SNIC的有效性，结合各种神经压缩模型和目标指标，在提高压缩质量和执行率失真曲线测量的比特率控制。文中还对控制精度和发电速度的实验结果进行了讨论。
2021-05-16 cs.CV cs.LG eess.IV
Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）；Qualcomm Technologies, Inc.（高通技术公司）
深度神经网络在许多现实世界应用中的成功正在为构建更高效的架构带来新的挑战。使网络更有效的一种有效方法是神经网络压缩。我们提供了现有的神经网络压缩方法的概述，可以用来使神经网络更有效地改变网络的架构。首先，我们介绍了一种新的方法来分类所有已发布的压缩方法，根据数据量和计算量，使这些方法在实践中工作。这是三个“压缩解决方案”级别。其次，我们提供了基于张量分解和概率压缩方法的分类。最后，我们对在ImageNet上训练的模型的文献中的不同压缩技术进行了广泛评估。我们发现，SVD和概率压缩或修剪方法是互补的，并给出所有考虑的方法的最佳结果。我们还提供了将它们结合起来的实用方法。
2019-12-20 cs.CV cs.LG stat.ML
MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法，它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比，非迭代的效率。我们的方法提高了压缩率，同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
Improving The Reconstruction Quality by Overfitted Decoder Bias in Neural Image Compression
InterDigital, Inc.（交互数字公司）
端到端的可训练模型已经达到了视频和图像上传统手工压缩技术的性能。由于这些模型的参数是在大型训练集上学习的，因此它们对于任何给定的待压缩图像都不是最佳的。在本文中，我们提出了一个基于实例的微调解码器的偏置的一个子集，以提高重建质量，以换取额外的编码时间和较小的额外信令成本。所提出的方法适用于任何端到端压缩方法，通过$3-5\%$提高了最先进的神经图像压缩的BD率。
2022-10-10 cs.CV cs.LG eess.IV
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.（拉斐尔先进防御系统有限公司）；Technion - Israel Institute of Technology（以色列理工学院）
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而，它们并没有考虑到手头的具体最终任务。受基于递归神经网络（RNN）的图像压缩和三维（3D）重建工作的启发，我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像，产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明，这可以高效地完成，几乎没有额外的成本，以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
Exploring Structural Sparsity in Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）
神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.
2022-03-11 cs.CV cs.LG eess.IV
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank
Seoul National University（首尔大学）
压缩已经成为深度学习的重要研究课题之一，特别是对于计算能力和存储容量有限的边缘设备。在主要的压缩技术中，已知经由矩阵分解的低秩压缩具有两个问题。首先，需要广泛的调谐。其次，所得到的压缩性能通常不令人印象深刻。在这项工作中，我们提出了一种低秩压缩方法，利用修改后的束搜索的自动排名选择和修改后的稳定排名的压缩友好的训练。得到的BSR（束搜索和稳定秩）算法只需要一个单一的超参数被调整为所需的压缩比。在精度和压缩比权衡曲线方面，BSR的性能优于先前已知的低秩压缩方法。此外，BSR可以与最先进的结构化修剪方法相比甚至更好。与修剪一样，BSR可以很容易地与量化相结合，以进行额外的压缩。
2021-12-01 cs.AI cs.CV cs.LG
COIN: COmpression with Implicit Neural representations
University of Oxford（牛津大学）
我们提出了一种新的简单的方法来进行图像压缩：我们存储过拟合到图像的神经网络的权重，而不是存储图像的每个像素的RGB值。具体来说，为了对图像进行编码，我们将其与将像素位置映射到RGB值的MLP相匹配。然后，我们将该MLP的权重存储为图像的代码。为了解码图像，我们简单地评估每个像素位置的MLP。我们发现，这种简单的方法在低比特率下优于JPEG，即使没有熵编码或学习权重分布。虽然我们的框架还没有竞争力的最先进的压缩方法，我们表明，它具有各种有吸引力的属性，这可能使它成为一个可行的替代其他神经数据压缩方法。
2021-04-10 cs.CV cs.LG eess.IV
Compression of Deep Neural Networks on the Fly
Télécom Bretagne（布列塔尼电信学院）
由于其最先进的性能，深度神经网络越来越多地用于对象识别。为了实现这些结果，他们使用数百万个参数进行训练。然而，当针对嵌入式应用程序时，这些模型的大小就成了问题。因此，禁止在智能手机或其他资源有限的设备上使用它们。在本文中，我们介绍了一种在学习阶段执行的深度神经网络的新压缩方法。它包括在全连接层的成本函数中添加额外的正则化项。我们将这种方法与训练权重的产品量化（PQ）相结合，以节省更高的存储消耗。我们在两个数据集（MNIST和CIFAR10）上评估了我们的方法，在这两个数据集上，我们实现了比最先进的方法更大的压缩率。
2016-03-18 cs.CV cs.LG cs.NE
DKM: Differentiable K-Means Clustering Layer for Neural Network Compression
Apple（苹果公司）
深度神经网络（DNN）模型压缩用于有效的设备上推理对于降低存储器需求并将用户数据保持在设备上变得越来越重要。为此，我们提出了一种新的可微分k均值聚类层（DKM）及其在基于训练时权重聚类的DNN模型压缩中的应用。DKM将k-means聚类作为注意力问题，并实现DNN参数和聚类中心的联合优化。与依赖于额外的正则化器和参数的先前工作不同，基于DKM的压缩保持原始损失函数和模型架构固定。我们在各种DNN模型上评估了基于DKM的压缩，用于计算机视觉和自然语言处理（NLP）任务。我们的研究结果表明，DKM在ImageNet 1 k和GLUE基准测试中提供了卓越的压缩和准确性权衡。例如，基于DKM的压缩可以在ResNet 50 DNN模型上提供74.5%的top-1 ImageNet 1 k准确度，模型大小为3.3MB（29.4x模型压缩因子）。对于MobileNet-v1，这是一个具有挑战性的DNN压缩，DKM提供了63.9%的top-1 ImageNet 1 k精度与0.72 MB的模型大小（22.4倍模型压缩因子）。这一结果比当前最先进的DNN压缩算法高出6.8%的top-1精度和33%的相对较小的模型大小。此外，DKM可以将DistilBERT模型压缩11.8倍，在GLUE NLP基准测试中损失最小（1.1%）的准确性。
2022-02-20 cs.AI cs.CV cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Image Compression and Actionable Intelligence With Deep Neural Networks
PeopleTec Inc.（PeopleTec公司）
如果一个单位由于外部因素而无法从一个来源获得情报，我们认为他们是弱势用户。我们将其归类为在边缘上的低连接设备上工作的专注单元。这种情况要求我们使用不同于通常使用的方法来提供情报，特别是卫星图像信息。为了解决这个问题，我们提出了一个调查的信息减少技术提供的信息从一个较小的包的卫星图像。我们研究了四种技术来帮助减少传递的信息：传统的图像压缩，神经网络图像压缩，目标检测图像剪切，和图像字幕。这些机制中的每一种在考虑弱势用户时都有其优点和缺点。
2022-03-30 cs.CV cs.LG eess.IV
Universal Deep Neural Network Compression
SoC R&D, Samsung Semiconductor Inc.（三星半导体公司系统芯片研发部）
在本文中，我们研究了通过权重量化和无损信源编码对深度神经网络（DNN）进行有损压缩以实现内存高效部署。鉴于先前的工作解决了DNN权重的非通用标量量化和熵编码，我们首次通过通用矢量量化和通用信源编码引入通用DNN压缩。特别是，我们研究了DNN的通用随机格量化，它在格量化之前通过均匀随机抖动来随机化DNN权重，并且可以在任何源上执行接近最佳的操作，而无需依赖于其概率分布的知识。此外，我们提出了一种微调矢量量化DNN的方法，以恢复量化后的性能损失。我们的实验结果表明，所提出的通用DNN压缩方案分别以$47.1$和$42.5$的压缩比压缩32层ResNet（在CIFAR-10上训练）和AlexNet（在ImageNet上训练）。
2019-02-21 cs.CV cs.LG cs.NE
Quantum Implicit Neural Compression
Osaka University（大阪大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出量子隐式神经表示（quINR），利用量子神经网络的高表达力提升INR压缩效率，在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.（高通技术公司）
在大规模或资源受限的环境中（例如数据中心和移动设备）部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣，其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数，但很少有人了解参数压缩对循环神经网络（RNN）的影响。特别是，在何种程度上可以压缩的经常性参数和短期记忆性能的影响，是不是很好地理解。在本文中，我们研究了复杂性降低的效果，通过奇异值分解秩降低，对RNN和最小门控递归单元（MGRU）网络的几个任务。我们表明，相当大的秩减少是可能的压缩经常性的权重，即使没有微调。此外，我们提出了一个扰动模型的一般扰动，如压缩，对递归参数的影响。该模型进行了测试，对一个无声的记忆实验，阐明了短期记忆的表现。通过这种方式，我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩，并为在低功耗设备（如助听器）中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Neural Network Compression using Transform Coding and Clustering
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
随着神经网络在移动设备上的部署以及在有限或昂贵的信道上传输神经网络的必要性，训练模型的文件大小被确定为瓶颈。在本文中，我们提出了一种基于卷积层和密集层的变换编码和基于偏置和归一化的聚类的神经网络压缩编解码器。通过使用该编解码器，我们实现了平均压缩因子在7.9-9.3之间，而压缩后的网络用于图像分类的准确率仅下降了1%-2%。
2018-05-18 cs.CV
Efficient Implicit Neural Compression of Point Clouds via Learnable Activation in Latent Space
Zhejiang University（浙江大学）
提出PICO框架，利用潜空间可学习激活的LeAFNet网络进行点云隐式神经压缩，在几何和属性压缩上优于传统方法，D1 PSNR平均提升4.92 dB。
2025-04-20 cs.CV
Implicit Neural Representations for Image Compression
ETH Zurich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
近年来，隐式神经表征（INRs）作为一种新颖有效的数据表征方法受到了广泛关注。到目前为止，以前的工作主要集中在优化其重建性能。这项工作从一个新的角度研究INR，即，作为图像压缩的工具。为此，我们提出了第一个全面的压缩管道的基础上，包括量化，量化意识的再训练和熵编码的INR。用INR编码，即过拟合到数据样本，通常慢几个数量级。为了缓解这一缺点，我们利用基于MAML的元学习初始化，以更少的梯度更新实现编码，这通常也会提高INR的率失真性能。我们发现，我们使用INR进行源压缩的方法大大优于类似的先前工作，与专门为图像设计的常见压缩算法相比具有竞争力，并缩小了与基于率失真自动编码器的最先进学习方法的差距。此外，我们提供了一个广泛的消融研究的重要性，我们的方法，我们希望有利于这种新的方法，图像压缩未来的研究。
2022-08-03 cs.CV cs.LG eess.IV
Compressing complex convolutional neural network based on an improved deep compression algorithm
Southeast University（东南大学）；INSERM（法国国家健康与医学研究院）；Université de Rennes 1（雷恩第一大学）
卷积神经网络（CNN）虽然取得了很大的进步，但大的冗余参数限制了其在嵌入式设备，尤其是移动设备上的部署。最近的压缩工作主要集中在实值卷积神经网络（Real CNN）上，然而，据我们所知，还没有尝试对复值卷积神经网络（Complex CNN）进行压缩。与实值网络相比，复值神经网络更易于优化、推广，具有更好的学习潜力。将常用的深度压缩算法从实域扩展到复域，提出了一种改进的复域CNN深度压缩算法。该算法在CIFAR-10数据集上将网络压缩约8倍，准确率损失小于3%。在ImageNet数据集上，我们的方法将模型压缩了约16倍，在没有重新训练的情况下，准确率损失约为2%。
2019-03-06 cs.CV
COIN++: Neural Compression Across Modalities
University of Oxford（牛津大学）
神经压缩算法通常基于自动编码器，其需要针对不同数据模态的专用编码器和解码器架构。在本文中，我们提出了COIN++，这是一个神经压缩框架，可以无缝处理各种数据模式。我们的方法基于将数据转换为隐式神经表示，即将坐标（如像素位置）映射到特征（如RGB值）的神经函数。然后，我们不是直接存储隐式神经表示的权重，而是将应用于元学习基础网络的调制存储为数据的压缩代码。我们进一步对这些调制进行编码和熵编码，从而获得较大的压缩增益，同时与基线相比将编码时间减少了两个数量级。我们通过压缩各种数据模式，从图像和音频到医疗和气候数据，实证证明了我们方法的可行性。
2022-12-08 cs.CV cs.LG eess.IV
Gone With the Bits: Revealing Racial Bias in Low-Rate Neural Compression for Facial Images
University of California, Santa Barbara（加州大学圣芭芭拉分校）
本文提出一个通用可扩展的评估框架，系统分析九种神经图像压缩模型中的种族偏见，揭示传统失真指标无法捕捉偏见、偏见普遍存在且与真实感存在权衡，并指出种族平衡训练集仅能部分缓解偏见。
2025-05-05 cs.CV
Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
通过将熵编解码器应用于学习的数据分布，神经压缩器在压缩比方面明显优于传统编解码器。然而，神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中，我们提出了整数只离散流（IODF），一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流，其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门，以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF，与现有最快的神经压缩器相比，实现了10倍的推理加速，同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后，现在，对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制，并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的，硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明，ResNet-34的平均压缩比相对于未压缩数据为4.4倍，比现有方法的增益为60%，压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
An End-to-End Compression Framework Based on Convolutional Neural Networks
Harbin Institute of Technology（哈尔滨工业大学）
深度学习，例如，卷积神经网络（CNN）在图像处理和计算机视觉中取得了巨大的成功，特别是在高级视觉应用中，如识别和理解。然而，它很少被用于解决低层次的视觉问题，如图像压缩，本文研究。在这里，我们向前迈进了一步，提出了一种基于CNN的新型压缩框架。为了在低比特率下实现高质量的图像压缩，两个CNN无缝集成到端到端压缩框架中。第一个CNN，称为紧凑卷积神经网络（ComCNN），从输入图像学习最佳紧凑表示，其保留结构信息，然后使用图像编解码器（例如，JPEG、JPEG 2000或BPG）。第二种CNN称为重建卷积神经网络（RecCNN），用于在解码端重建高质量的解码图像。为了使两个CNN有效协作，我们开发了一个统一的端到端学习算法来同时学习ComCNN和RecCNN，这有助于使用RecCNN准确重建解码图像。这样的设计还使得所提出的压缩框架与现有的图像编码标准兼容。实验结果验证了所提出的压缩框架大大优于几个压缩框架，使用现有的图像编码标准与国家的最先进的去块或去噪后处理方法。
2017-08-02 cs.CV
Deep Neural Network Compression for Image Classification and Object Detection
Volvo Technology AB（沃尔沃技术公司）；Halmstad University（哈尔姆斯塔德大学）
神经网络因计算成本高而臭名昭著。这主要是因为神经网络经常被过度参数化，并且随着它们变得越来越深和越来越宽，很可能具有冗余的节点或层。它们对硬件资源的需求限制了它们在嵌入式设备中的广泛使用，并限制了实时图像分类或目标检测等任务。在这项工作中，我们提出了一个网络无关的模型压缩方法注入了一种新的动态聚类方法，以减少计算成本和内存占用的深度神经网络。我们在五个不同的最先进的图像分类和目标检测网络上评估了我们的新压缩方法。在分类网络中，我们修剪了大约95%的网络参数。在高级检测网络（如YOLOv3）中，我们提出的压缩方法设法将模型参数减少了59.70%，从而在不牺牲准确性的情况下减少了110倍的内存。
2019-10-07 cs.CV
Efficient Neural Network Compression
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
网络压缩通过减少参数数量来降低深度神经网络的计算复杂性和内存消耗。在基于SVD的网络压缩中，需要为网络的每一层确定正确的秩。在本文中，我们提出了一个有效的方法来获得整个网络的秩配置。与以前单独考虑每一层的方法不同，我们的方法考虑整个网络来选择正确的秩配置。我们提出了新的准确性指标来表示一个给定的神经网络的准确性和复杂性的关系。我们使用这些指标在一个非迭代的方式，以获得正确的秩配置，满足限制的FLOPs和内存，同时保持足够的准确性。实验表明，我们的方法提供了更好的准确性和计算复杂性/内存消耗之间的折衷，同时执行压缩在更高的速度。对于VGG-16，与基线相比，我们的网络可以将FLOP减少25%，并将准确性提高0.7%，同时仅需要CPU上的3分钟来搜索正确的排名配置。此前，类似的结果是在4小时内用8个GPU实现的。该方法也可用于神经网络的无损压缩。更好的准确性和复杂性的妥协，以及极快的速度，我们的方法使它适合于神经网络压缩。
2019-04-12 cs.CV
Full Resolution Image Compression with Recurrent Neural Networks
Google Research（谷歌研究院）
提出了一套基于神经网络的全分辨率有损图像压缩方法。我们描述的每种架构都可以在部署过程中提供可变的压缩率，而不需要重新训练网络：每个网络只需要训练一次。我们所有的架构都包括一个基于递归神经网络（RNN）的编码器和解码器，一个二进制化器和一个用于熵编码的神经网络。我们比较了RNN类型（LSTM，关联LSTM），并引入了GRU和ResNet的新混合。我们还研究了“一次”与添加剂重建架构，并介绍了一个新的缩放添加剂框架。我们与以前的工作相比，显示出4.3%-8.8%的AUC（率失真曲线下的面积）的改善，这取决于所使用的感知度量。据我们所知，这是第一个神经网络架构，能够在柯达数据集图像的率失真曲线上的大多数比特率上在图像压缩方面优于JPEG，无论是否有熵编码的帮助。
2017-07-07 cs.CV
3D Compression Using Neural Fields
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
提出基于神经场的3D数据压缩算法，利用SDF和UDF分别处理水密与非水密形状，在点云和网格几何压缩上表现优异，并易于扩展至颜色等属性压缩。
2023-11-21 cs.CV
Compression Artifacts Removal Using Convolutional Neural Networks
本文表明，训练大型深度卷积神经网络（CNN）来减少JPEG压缩伪影是可能的，并且与以前使用的较小网络以及任何其他最先进的方法相比，这种网络可以提供更好的重建质量。我们能够通过结合残差学习、跳过架构和对称权重初始化，在相对较短的时间内单步的训练8层网络。我们通过评估三个不同的目标，相对于训练数据集大小的泛化，以及相对于JPEG质量水平的泛化，进一步深入了解卷积网络的JPEG伪影减少。
2016-05-02 cs.CV
Target-Quality Image Compression with Recurrent, Convolutional Neural Networks
Google Research（谷歌研究院）
我们介绍了一个停止码容忍（SCT）的方法来训练经常性的卷积神经网络的有损图像压缩。我们的方法引入了多遍训练方法，以结合停止码掩蔽周围区域以及高度详细区域中高质量重建的训练目标。这些方法对于给定的递归计数导致较低的真实比特率，无论是前熵编码还是后熵编码，甚至使用非结构化LZ 77代码压缩。前LZ 77增益是通过修剪停止代码实现的。LZ 77后的增益是由于SCT架构中0/1码的高度不均匀分布。通过这些代码压缩，SCT架构在所有压缩率下都能保持或超过Kodak数据集上的JPEG和RNN自动编码器的图像质量。此外，SCT编码导致图像质量在整个图像范围内的较低变化，这是一个已经被证明在图像质量的人类评级中很重要的特性
2017-05-18 cs.CV
Convolutional Neural Network Compression Based on Low-Rank Decomposition
Southwest University（西南大学）
本文提出一种结合VBMF与正交正则化的卷积神经网络低秩分解压缩方法，通过估计各层秩有效缓解精度损失，在高低压缩率下均表现优异。
2024-08-29 cs.CV
Neural Weight Step Video Compression
University of Strathclyde（思克莱德大学）
本研究探索基于神经网络权重的视频压缩可行性，设计实验测试CbMLP和卷积网络两种架构的压缩效果，提出神经权重步进技术将后续帧编码为低熵参数更新，将在高分辨率数据集上与现有方法对比验证性能。
2021-12-02 cs.CV cs.GR
A Taxonomy of Miscompressions: Preparing Image Forensics for Neural Compression
University of Innsbruck（因斯布鲁克大学）
本文针对神经压缩损害语义保真度导致压缩错误难以检测的问题，提出了一种暂定的错误压缩分类法，包含三种类型及二元高影响标志，以促进风险沟通与缓解措施研究。
2024-10-15 cs.CR cs.CV
Bandwidth-efficient Inference for Neural Image Compression
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR)（人工智能产业研究院（AIR））
本文提出一种端到端可微的带宽高效神经推理方法，通过变换-量化-熵编码流水线压缩激活值，在图像压缩任务中实现高达19倍带宽缩减和6.21倍能耗节省。
2023-09-07 cs.CV eess.IV
Slimmable Compressive Autoencoders for Practical Neural Image Compression
Northwestern Polytechnical University（西北工业大学）；Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
神经图像压缩利用深度神经网络在率失真性能方面优于传统图像编解码器。然而，由此产生的模型也很重，计算要求高，通常针对单一速率进行优化，限制了它们的实际使用。针对实际的图像压缩，我们提出了可精简的压缩自编码器（SlimCAE），其中速率（R）和失真（D）针对不同的容量进行了联合优化。一旦经过训练，编码器和解码器就可以以不同的能力执行，从而导致不同的速率和复杂度。我们表明，成功实施SlimCAE需要适当的容量特定的RD权衡。我们的实验表明，SlimCAE是高度灵活的模型，提供了出色的率失真性能，可变速率，动态调整内存，计算成本和延迟，从而解决了实际图像压缩的主要要求。
2022-05-02 cs.CV eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
NeuralLVC: Neural Lossless Video Compression via Masked Diffusion with Temporal Conditioning
Università di Pisa（比萨大学）；Università degli Studi di Firenze（佛罗伦萨大学）
NeuralLVC通过结合掩码扩散与I/P帧架构，实现损失视频压缩，利用时间冗余性，实验表明其在Xiph CIF序列中优于H.264和H.265无损压缩。
2026-09-09 cs.CV eess.IV
Customized OCT images compression scheme with deep neural network
我们基于深度卷积神经网络（CNN）为视网膜OCT图像定制了一个端到端的图像压缩框架。定制的压缩方案包括三个部分：数据预处理，压缩CNN和重建CNN。数据预处理模块对OCT图像进行相干斑噪声抑制，并分割出感兴趣区域。我们在压缩CNN和重建CNN之间添加了自定义的跳过连接以保留细节信息，并将两个网络与数据预处理模块中的语义分割图像块一起训练。为了训练对低频信息和高频信息都敏感的两个网络，我们采用了一个由两部分组成的目标函数：一个PatchGAN惩罚函数来判断高频信息，一个可微的MS-SSIM惩罚函数来评估低频信息。在公开的OCT数据集上对所提出的框架进行了训练和评估。当压缩比高达40时，多尺度结构相似性（MS-SSIM）评估显示出99%以上的相似性。此外，通过视觉比较，从所提出的框架的压缩比80的重建图像甚至具有比从JPEG的压缩比20的重建图像更好的质量。测试结果表明，该算法在MS-SSIM和可视化方面均优于JPEG，且随着压缩比的增加，效果更加明显。我们的初步结果表明，深度神经网络在定制医疗图像压缩方面具有巨大潜力。
2019-08-27 cs.CV eess.IV
Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder
The Pennsylvania State University（宾夕法尼亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
深度学习的最新进展已经在各种应用程序中实现了超人的性能。最近，这些方法已成功地用于改善图像压缩任务中的率失真性能。然而，当前的方法要么在解码器端使用附加的后处理块来改善压缩，要么提出基于并行计算的端到端压缩方案。对于其中的大多数，经过训练的深度神经网络（DNN）与标准编码器不兼容，并且很难在个人电脑和手机上使用。有鉴于此，我们提出了一个系统，通过增强编码器和解码器端的内部神经表示来学习提高编码性能，我们称之为神经JPEG。我们提出了频域预编辑和后编辑的方法来优化DCT系数在编码器和解码器端的分布，以改善标准压缩（JPEG）的方法。此外，我们设计并整合了一个计划，共同学习量化表在这个混合神经压缩framework.Experiments表明，我们的方法成功地提高了率失真性能超过JPEG在各种质量指标，如PSNR和MS-SSIM，并产生视觉上有吸引力的图像具有更好的色彩保持质量。
2022-01-31 cs.CV eess.IV
Neural Network Compression Framework for fast model inference
Intel（英特尔）
在这项工作中，我们提出了一个新的框架，神经网络压缩微调，我们称之为神经网络压缩框架（NNCF）。它利用了各种网络压缩方法的最新进展，并实现了其中的一些方法，如稀疏性，量化和二值化。这些方法允许获得更硬件友好的模型，这些模型可以在通用硬件计算单元（CPU，GPU）或特殊的深度学习加速器上有效运行。我们表明，所开发的方法可以成功地应用于广泛的模型，以加快推理时间，同时保持原来的精度。该框架可以在随附的训练样本中使用，也可以作为一个独立的包使用，可以无缝集成到现有的训练代码中，只需进行最小的调整。目前，NNCF的PyTorch版本可作为OpenVINO培训扩展的一部分在https://github.com/openvinotoolkit/nncf上提供。
2020-12-30 cs.CV eess.IV
Viewport-based Neural 360° Image Compression
George Mason University（乔治·马歇尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出基于视口的神经压缩管道，通过提取视口并高效压缩多个视口，减少采样和失真问题，同时设计神经视口编码器捕捉全局信息，提升360°图像压缩效率。
2026-03-24 cs.CV eess.IV
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University（卡内基梅隆大学）
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而，它们因其贪婪的内存和计算需求而臭名昭著，这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署，研究人员开发了修剪和量化算法来压缩此类网络，而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验，而在这项工作中，我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后，我们研究了不同的压缩架构对模型的影响，并设计了一个压缩架构，与未压缩的模型相比，模型大小减少了73.1%，推理时间减少了71.3%，BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
