Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);McMaster University(麦克马斯特大学);Peking University(北京大学)
本文提出统一的深度有损加残差(DLPR)编码框架,通过VAE联合优化、残差自回归建模和可扩展量化方案,同时实现最先进的无损与近无损图像压缩性能。
2024-01-11 cs.CV eess.IV
Effect of Lossy Compression Algorithms on Face Image Quality and Recognition
Hochschule Darmstadt(达姆施塔特应用科学大学)
有损人脸图像压缩会降低图像质量和人脸识别的实用性。这项工作研究了有损图像压缩对最先进的人脸识别模型和多个人脸图像质量评估模型的影响。在特定图像目标尺寸的范围内进行分析。考虑了四种压缩类型,即JPEG,JPEG 2000,缩小的PNG,特别是新的JPEG XL格式。ColorFERET数据库中的正面彩色图像用于感兴趣区域(ROI)变体和肖像变体。我们主要得出结论,JPEG XL允许优越的平均和最坏情况下的人脸识别性能,特别是在较低的目标大小,低于约5kB的ROI变体,而似乎没有关键的优势,在较高的目标大小的压缩类型。现代模型的质量评估与人脸识别性能的压缩效果总体上相关。
2023-02-24 cs.CV
Towards improved lossy image compression: Human image reconstruction with public-domain images
Palo Alto High School(帕洛阿尔托高中);Monta Vista High School(蒙塔维斯塔高中);Saint Francis High School(圣弗朗西斯高中);Stanford University(斯坦福大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
有损图像压缩已经在诸如RMSE、MS-SSIM等典型损失函数的上下文中被广泛研究。然而,在低比特率下的压缩通常产生不令人满意的结果。此外,大量公共图像数据集的可用性似乎在图像压缩中几乎没有被利用。在这里,我们提出了一个范例,用于引发人类图像重建,以执行有损图像压缩。在这个范例中,一个人向第二个人描述图像,第二个人的任务是使用公共可用的图像和文本指令重建目标图像。然后,人工评分员在Amazon Mechanical Turk平台上对重建结果进行评估,并将其与使用最先进的压缩机WebP获得的重建结果进行比较。我们的研究结果表明,优先考虑语义视觉元素可能是实现图像压缩显着改善的关键,我们的范例可以用来开发一个更以人为中心的损失函数。图像、结果和其他数据可在https://compression.stanford.edu/human-compression上获得
2019-06-25 cs.CV cs.IT cs.MM
Modeling Lost Information in Lossy Image Compression
Microsoft Research Asia(微软亚洲研究院);University of Toronto(多伦多大学);Peking University(北京大学)
有损图像压缩是数字图像最常用的算子之一。最近提出的基于深度学习的图像压缩方法利用了自动编码器结构,并在该领域取得了一系列有前途的成果。首先将图像编码成低维的潜在特征,然后利用统计冗余进行熵编码。然而,在编码过程中丢失的信息是不可避免的,这对解码器重建原始图像提出了重大挑战。在这项工作中,我们提出了一种新的可逆框架称为可逆有损压缩(ILC),在很大程度上减轻信息丢失的问题。具体地说,ILC引入可逆编码模块来代替编码器-解码器结构,以产生低维的信息潜在表示,同时将丢失的信息转换为辅助潜在变量,不再进一步编码或存储。隐变量被量化并编码成比特流,并且被强制遵循指定的分布,即各向同性高斯分布。以这种方式,通过容易地绘制替代潜在变量并应用具有采样变量和解码的潜在特征的模块的逆过程,使恢复原始图像变得易于处理。实验结果表明,在图像压缩方法中,用一个新的组件代替自动编码器,结合现有的压缩算法,ILC在广泛的基准数据集上的性能明显优于基线方法。
2020-07-08 cs.CV cs.LG
Union is strength in lossy image compression
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
在这项工作中,我们提出了不同的图像压缩技术之间的比较。首先,将图像划分为根据特定扫描组织的块。之后,几种压缩技术被应用,组合或单独。这些技术是:小波(Haar基)、Karhunen-Loeve变换等。仿真结果表明,组合的版本是最好的,具有较小的均方误差(MSE),以及更高的峰值信噪比(PSNR)和更好的图像质量,即使在存在噪声的情况下。
2016-07-31 cs.CV
Learned Lossless Image Compression With Combined Autoregressive Models And Attention Modules
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
无损图像压缩是图像压缩的一个重要研究领域。近年来,基于学习的图像压缩方法与传统的无损压缩方法如WebP、JPEG2000和FLIF相比,取得了令人瞩目的性能。然而,仍然有许多令人印象深刻的有损压缩方法可以应用于无损压缩。因此,在本文中,我们探讨了广泛用于有损压缩的方法,并将其应用到无损压缩。受到高斯混合模型(GMM)在有损压缩中表现出的令人印象深刻的性能的启发,我们使用GMM生成了一个无损网络架构。除了注意力模块和自回归模型的成功成就外,我们还建议利用注意力模块,并在我们的网络架构中为原始图像添加额外的自回归模型,以提高性能。实验结果表明,我们的方法优于大多数经典的无损压缩方法和现有的基于学习的方法。
2022-08-30 cs.CV eess.IV
Evaluating Lossy Compression Rates of Deep Generative Models
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究院);Borealis AI(博瑞利斯人工智能研究所)
深度生成建模领域已经成功地产生了非常逼真的图像和音频,但定量评估仍然是一个挑战。对数似然是一个有吸引力的度量,由于其在统计学和信息论的基础,但它可能是具有挑战性的估计隐式生成模型,标量值度量给出了一个不完整的图片模型的质量。在这项工作中,我们建议使用率失真(RD)曲线来评估和比较深度生成模型。虽然估计RD曲线似乎比对数似然估计的计算要求更高,但我们表明,我们可以使用与以前用于实现单个对数似然估计的几乎相同的计算来近似整个RD曲线。我们在MNIST和CIFAR10数据集上评估了VAE、GANs和对抗自动编码器(AAE)的有损压缩率。测量整个RD曲线给出了比标量值度量更完整的图像,并且我们得出了一些仅从对数似然性无法获得的见解。
2020-08-15 cs.LG stat.ML
Convolutional variational autoencoders for secure lossy image compression in remote sensing
McMaster(麦克马斯特大学);Adastra Corporation(阿达斯特拉公司)
针对遥感数据量大、传输受限且有安全需求的问题,本研究提出结合熵瓶颈的卷积变分自编码器图像压缩方法,通过优化复合损失函数平衡压缩率与重建质量,性能优于JPEG2000等传统方法。
2024-04-16 cs.LG eess.IV
Deep Convolutional AutoEncoder-based Lossy Image Compression
Waseda University(早稻田大学)
图像压缩作为一个基础研究课题已经研究了几十年。最近,深度学习在许多计算机视觉任务中取得了巨大成功,并逐渐被用于图像压缩。在本文中,我们提出了一种有损图像压缩架构,它利用卷积自动编码器(CAE)的优点,以实现高的编码效率。首先,我们设计了一个新的CAE架构,以取代传统的转换和训练这个CAE使用率失真损失函数。其次,为了生成一个更节能的表示,我们利用主成分分析(PCA)旋转CAE产生的特征图,然后应用量化和熵编码器生成代码。实验结果表明,我们的方法优于传统的图像编码算法,通过实现13.7%的BD率减少柯达数据库图像相比,JPEG 2000。此外,我们的方法保持了适度的复杂度类似于JPEG 2000。
2018-04-25 cs.CV
Learning-Driven Lossy Image Compression; A Comprehensive Survey
Sejong University(世宗大学);Polytechnique Montreal(蒙特利尔理工学院)
在图像处理和计算机视觉(CV)领域中,机器学习(ML)架构被广泛应用。卷积神经网络(CNN)解决了广泛的图像处理问题,可以解决图像压缩问题。由于带宽和内存的限制,图像的压缩是必要的。有用信息、冗余信息和无关信息是图像中存在的三种不同形式的信息。本文旨在调查使用ML架构的主要有损图像压缩的最新技术,包括不同的自动编码器(AE),如卷积自动编码器(CAE),变分自动编码器(VAE),以及具有超先验模型的AE,递归神经网络(RNN),CNN,生成对抗网络(GANs),主成分分析(PCA)和模糊均值聚类。我们把所有的算法分为几组的基础上架构。我们涵盖了静态图像压缩在这个调查。强调了研究人员的各种发现以及研究人员未来可能的方向。解释了开放研究问题,如内存不足(OOM),条纹区域失真(SRD),混叠,以及框架与中央处理器(CPU)和图形处理器(GPU)同时兼容。所调查的压缩领域的大多数出版物都来自过去五年,并使用了各种方法。
2022-01-23 cs.AI cs.CV cs.MM
Learned Lossless JPEG Transcoding via Joint Lossy and Residual Compression
Unviersity of Science and Technology of China(中国科学技术大学)
JPEG作为一种常用的图像压缩格式,在图像的传输和存储中得到了广泛的应用。为了在保持JPEG图像质量的同时进一步降低压缩成本,已经提出了无损转码技术来在DCT域中重新压缩压缩的JPEG图像。另一方面,以前的工作,通常减少冗余的DCT系数和优化的熵编码的概率预测在手工制作的方式,缺乏泛化能力和灵活性。为了解决上述挑战,我们提出了学习无损JPEG转码框架通过联合有损和残差压缩。而不是直接优化的熵估计,我们专注于存在于DCT系数的冗余。据我们所知,我们是第一个利用学习的端到端有损变换编码,以减少冗余的DCT系数在一个紧凑的代表域。我们还介绍了无损转码的残差压缩,它自适应地学习残差DCT系数的分布之前,使用基于上下文的熵编码压缩它们。我们提出的转码架构显示出显着的优越性,在JPEG图像的压缩由于协作学习有损变换编码和残差熵编码。在多个数据集上进行的大量实验表明,我们提出的框架可以实现约21.49%的比特节省平均基于JPEG压缩,这比典型的无损转码框架JPEG-XL的3.51%。
2022-08-24 cs.CV cs.MM
Backdoor Attacks under Lossy Compression: From Failure to Reactivation and Adaptation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(技术东院)
本文研究了在大数据时代,损失压缩对隐形后门攻击的影响,提出两种针对损失压缩的攻击策略,以确保恶意触发信息在压缩后仍能被恢复。
2026-11-05 cs.CR cs.CV
Foundation Model for Lossy Compression of Spatiotemporal Scientific Data
University of Florida(佛罗里达大学)
提出结合VAE、超先验和超分辨率模块的科学数据有损压缩基础模型,通过2D/3D交替卷积高效捕捉时空相关性,泛化性强且压缩比最高提升4倍。
2024-12-22 cs.LG
Lossy Image Compression with Normalizing Flows
ETH Zurich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究院|工作室)
基于深度学习的图像压缩最近取得了令人兴奋的进展,在某些情况下甚至超过了几十年来建立和完善的基于变换编码的方法。然而,用于深度图像压缩的现有技术解决方案通常采用将输入映射到较低维度潜在空间的自动编码器,从而不可逆地丢弃量化之前已经存在的信息。因此,它们固有地限制了可以覆盖的质量水平的范围。相比之下,图像压缩中的传统方法允许更大范围的质量水平。有趣的是,他们在执行量化步骤之前采用了可逆变换,这明确地丢弃了信息。受此启发,我们提出了一种深度图像压缩方法,该方法能够通过利用归一化流来学习从图像空间到潜在表示的双射映射,从而从低比特率到接近无损的质量。除此之外,我们还展示了我们的解决方案所独有的其他优势,例如通过重新编码保持恒定质量结果的能力,即使多次执行也是如此。据我们所知,这是第一个工作,探索利用规范化流的有损图像压缩的机会。
2020-08-24 cs.CV
A Rate-Distortion-Classification Approach for Lossy Image Compression
Beijing Institute of Computer Technology and Application(北京计算机技术及应用研究所)
针对有损图像压缩需兼顾视觉分析语义失真的需求,提出率-失真-分类(RDC)统一优化框架,经统计分析和MNIST实验验证其具备理想特性,为人机友好压缩及VCM发展提供新思路。
2024-05-06 cs.AI cs.CV cs.IT
Revisiting SVD and Wavelet Difference Reduction for Lossy Image Compression: A Reproducibility Study
Oregon State University(俄勒冈州立大学)
本文重新审视SVD和WDR结合的图像压缩技术,发现其在PSNR上不优于JPEG2000,仅在SSIM上有所改进,揭示了原始描述中的模糊性对可重复性的影响。
2025-12-06 cs.CV
Learned Neural Iterative Decoding for Lossy Image Compression Systems
Rochester Institute of Technology(罗切斯特理工学院);Pennsylvania State University(宾夕法尼亚州立大学);Old Dominion University(奥尔德多米宁大学)
对于有损图像压缩系统,我们开发了一种算法,迭代细化,以提高解码器的重建相比,标准的解码技术。具体来说,我们提出了一个递归神经网络的非线性,迭代解码方法。我们的解码器,它与任何编码器,采用自连接的内存单元,利用因果和非因果的空间上下文信息,逐步减少重建误差在一个固定的步骤数。我们的实验与我们的估计变量,并发现迭代细化一贯创建更高的感知质量相比,其他方法更低的失真图像。具体来说,在柯达无损真彩色图像套件上,我们观察到比JPEG高出0.871分贝(dB)的增益,比JPEG 2000高出1.095 dB的增益,比竞争性神经模型高出0.971 dB的增益。
2018-11-10 cs.CV
An Information-Theoretic Regularizer for Lossy Neural Image Compression
City University of Hong Kong(香港城市大学);Lingnan University(岭南大学);Douyin Group (HK) Limited(抖音集团(香港)有限公司);Bytedance Inc.(字节跳动公司)
针对有损神经图像压缩中量化潜表示优化困难的问题,提出将负条件源熵纳入训练目标的信息论正则化器,以提升优化与泛化性能且无推理开销。
2025-03-13 cs.CV
Improved Lossy Image Compression with Priming and Spatially Adaptive Bit Rates for Recurrent Networks
Google Inc.(谷歌公司)
我们提出了一种基于递归卷积神经网络的有损图像压缩方法,该方法优于BPG(4:2:0),WebP,JPEG 2000和JPEG,由MS-SSIM测量。我们介绍了三个改进以前的研究,导致这个国家的最先进的结果。首先,我们证明了使用SSIM加权的像素级损失进行训练可以根据几个指标提高重建质量。其次,我们修改了递归架构以改善空间扩散,这使得网络能够通过网络的隐藏状态更有效地捕获和传播图像信息。最后,除了无损熵编码,我们使用一个空间自适应位分配算法,更有效地使用有限的比特数编码视觉上复杂的图像区域。我们在Kodak和Tecnick图像集上评估了我们的方法,并与标准编解码器以及最近发表的基于深度神经网络的方法进行了比较。
2017-03-29 cs.CV
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University(俄勒冈州立大学)
本文探索通用表示,开发单个编码器以在各种失真和分类(或感知)约束下实现多个解码目标,避免为每个操作点重训练编码器,在MNIST数据集验证其在感知压缩任务中性能下降小,但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Lossy Compression with Pretrained Diffusion Models
Portland State University(波特兰州立大学)
该研究提出简单替代方案首次完整实现DiffC算法,将其应用于多款预训练扩散模型,无需额外训练即可在超低比特率下达到与前沿生成式压缩方法相当的性能,且压缩解压耗时不足10秒。
2025-01-16 cs.CV eess.IV
The Effect of Lossy Compression on 3D Medical Images Segmentation with Deep Learning
National Research Nuclear University MEPhI(国家研究型核大学MEPhI);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本研究探讨了有损压缩对3D医学图像深度学习分割的影响,利用多个CT和MRI数据集证明高达20倍的压缩不影响DNN分割质量,且压缩与未压缩数据间的模型预测无质量下降。
2024-09-25 cs.CV eess.IV
Att2CPC: Attention-Guided Lossy Attribute Compression of Point Clouds
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Computing and Mathematics, Charles Sturt University(查尔斯斯特大学计算与数学学院)
本文提出Att2CPC,首次将注意力机制引入基于点的有损点云属性压缩,通过外部交叉注意力与多尺度重建,在BD-PSNR上显著优于Deep-PCAC。
2024-10-23 cs.CV cs.LG eess.IV
Machine Perceptual Quality: Evaluating the Impact of Severe Lossy Compression on Audio and Image Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);Intel Labs, Intel Corporation(英特尔实验室,英特尔公司)
本文系统评估严重有损压缩对图像分类、分割、语音识别和音乐源分离等机器感知任务的影响,发现生成式压缩可在高度压缩下保持机器感知质量,并揭示深度相似性指标与预训练中有损压缩的反直觉增益。
2024-01-15 cs.CV cs.LG cs.SD
End-to-end learned Lossy Dynamic Point Cloud Attribute Compression
提出端到端动态点云属性有损压缩方法,利用高维卷积和上下文模型,相比MPEG RAHT平均节省38.1%码率。
2024-08-20 cs.LG eess.IV
TinyLIC-High efficiency lossy image compression method
本文提出TinyLIC方法,利用深度学习技术提升图像压缩的编码效率,实验表明其性能显著优于JPEG等传统编解码方案。
2024-02-17 eess.IV
Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tencent America(腾讯美国);Advanced Institute of Information Technology, Peking University(北京大学先进信息研究院)
点云是一种基本的3D表示,广泛应用于自动驾驶等现实世界的应用。点云作为一种新兴的媒体格式,其特点是复杂性和不规则性,需要比现有编解码器更灵活的压缩算法。最近,自动编码器(AE)在许多视觉分析任务以及图像压缩中显示出其有效性,这激励我们将其应用于点云压缩。在本文中,我们提出了一种通用的基于自动编码器的有损几何点云压缩架构。据我们所知,它是第一个基于自动编码器的几何压缩编解码器,直接将点云作为输入,而不是体素网格或图像集合。与手工编解码器相比,这种方法可以更快地适应以前看不到的媒体内容和媒体格式,同时实现具有竞争力的性能。我们的架构包括一个基于点网络的编码器,一个均匀量化器,一个熵估计块和一个非线性合成变换模块。在点云有损几何压缩中,实验结果表明,该方法优于MPEG-3DG组在第125次会议上公布的第1类和第3类测试模型(TMC 13),平均获得了73.15%的BD率增益。
2019-04-18 cs.CV cs.MM eess.IV
Poster: Making Edge-assisted LiDAR Perceptions Robust to Lossy Point Cloud Compression
Georgia Institute of Technology(佐治亚理工学院);Ericsson Research(爱立信研究院)
本文提出一种基于深度梯度的LiDAR点云距离图像插值算法,有效减轻了边缘辅助感知中有损压缩导致的点云质量下降与感知性能损失。
2023-09-08 cs.CV cs.DC cs.MM
QARV: Quantization-Aware ResNet VAE for Lossy Image Compression
本文提出量化感知 ResNet VAE(QARV)用于有损图像压缩,通过分层 VAE 架构、测试时量化与量化感知训练,实现可变码率压缩、高速解码和优于基线的率失真性能。
2023-12-01 eess.IV
Lossy compression of multidimensional medical images using sinusoidal activation networks: an evaluation study
Cardiff University(卡迪夫大学)
在这项工作中,我们评估了如何利用具有周期性激活函数的神经网络来可靠地压缩大型多维医学图像数据集,并将概念验证应用于4D扩散加权MRI(dMRI)。在医学成像领域,多维MRI是开发对潜在组织微结构既敏感又特异的生物标志物的关键研究领域。然而,这些数据的高维性质在存储和共享能力以及相关成本方面提出了挑战,需要能够在低维空间中表示信息的适当算法。深度学习的最新理论发展表明,周期性激活函数是图像隐式神经表示的强大工具,可用于压缩2D图像。在这里,我们将这种方法扩展到4D图像,并展示如何通过正弦激活网络的参数准确地表示任何给定的4D dMRI数据集,实现比标准DEFLATE算法高约10倍的数据压缩率。我们的研究结果表明,所提出的方法优于基准ReLU和Tanh激活感知器架构的均方误差,峰值信噪比和结构相似性指数。随后的分析,使用张量和球谐函数表示表明,所提出的有损压缩准确地再现原始数据的特性,导致相对误差约5至10倍低于基准JPEG 2000有损压缩和类似的标准预处理步骤,如MP-PCA降噪,这表明在目前接受的临床应用水平内的信息丢失。
2022-08-03 cs.CV cs.LG eess.IV
Universal End-to-End Neural Network for Lossy Image Compression
针对可变比特率有损图像压缩,本文提出仅在推理阶段调整 VAE 输入尺度的通用策略,在 CNN、ViT 及 MSE、SSIM 训练设置下均有效,并降低计算与内存开销。
2024-09-10 eess.IV
Efficient Nonlinear Transforms for Lossy Image Compression
我们评估了两种技术的性能,在非线性变换编码与人工神经网络,萨达姆和GDN的背景下。这两种技术已成功地用于最先进的图像压缩方法,但它们的性能还没有单独评估这一点。总之,这些技术稳定了非线性图像变换的训练过程,并提高了它们逼近(未知)率失真最优变换函数的能力。除了将它们的性能与已建立的替代方案进行比较外,我们还详细介绍了这两种方法的实现,并随本文提供了开源代码。
2018-07-31 eess.IV
Convolutional Autoencoders for Lossy Light Field Compression
神经网络宽度的扩展和缩减在传播信息的熵方面具有众所周知的性质。当一个编码器网络和一个解码器网络小心地堆叠在一起时,就会产生一个自动编码器,通常用于压缩。使用这种架构,我们开发了一种编码和解码4D光场数据的有效方法,以最小的质量损失获得大量的压缩因子。我们的最佳结果设法实现了48.6倍的压缩,PSNR为29.46 dB,SSIM为0.8104。编码器和解码器的计算可以实时运行,平均计算时间分别为1.62s和1.81s,按照今天的存储标准,整个网络占用合理的584MB。
2020-07-31 eess.IV
Lossy Image Compression -- A Frequent Sequence Mining perspective employing efficient Clustering
Department of Computer Science \& Engineering MVGRCE, Andhra Pradesh, India Email
本文提出一种基于频繁序列挖掘和高效聚类的有损图像压缩方法,通过优化算法和并行处理提升压缩效率与质量。
2026-01-24 cs.AI cs.MM eess.IV
IPDAE: Improved Patch-Based Deep Autoencoder for Lossy Point Cloud Geometry Compression
点云数据是三维内容的重要表示形式,在虚拟现实、混合现实、自动驾驶等领域有着广泛的应用。随着点云数据中数据点数量的增加,如何有效地压缩点云数据成为一个具有挑战性的问题。在本文中,我们提出了一套显着的改进,以补丁为基础的点云压缩,即,用于熵编码的可学习上下文模型、用于采样质心点的八叉树编码以及集成的压缩和训练过程。此外,我们还提出了一个对抗网络来提高重建过程中点的均匀性。我们的实验表明,改进的基于补丁的自动编码器优于国家的最先进的率失真性能方面,稀疏和大规模的点云。更重要的是,我们的方法可以保持较短的压缩时间,同时保证重建质量。
2022-08-04 cs.CV cs.IT cs.MM
Hierarchical Autoencoder-based Lossy Compression for Large-scale High-resolution Scientific Data
Texas A&M University(德克萨斯农工大学);School of Performance, Visualization, and Fine Arts(表演、可视化与美术学院)
本文提出一种基于分层自编码器的神经网络,用于大规模高分辨率科学数据有损压缩,在多个科学基准上达到140倍压缩比,并在CESM 500年2D气候数据上达到200倍且误差可忽略。
2024-05-06 cs.AI cs.LG eess.IV