Learned Lossless Image Compression with a HyperPrior and Discretized Gaussian Mixture Likelihoods
无损图像压缩是多媒体通信领域的一个重要课题。传统的图像编解码器通常支持无损模式,例如WebP、JPEG2000、FLIF。最近,基于深度学习的方法已经开始显示出这一点的潜力。HyperPrior是一种有效的有损图像压缩技术。本文将有损模型的超先验推广到无损压缩,并在损失函数中引入L2范数项以加快训练过程。此外,本文还研究了不同的隐码参数化模型,并提出使用高斯混合似然来实现自适应和灵活的上下文模型。实验结果验证了该方法的性能优于现有的基于深度学习的无损压缩,并且优于JPG图像的JPEG2000和WebP。
2020-02-05 eess.IV
Processing Energy Modeling for Neural Network Based Image Compression
本文分析了基于神经网络的图像压缩方法在GPU上的能耗,发现可用图像大小估算能耗且平均误差低于7%,并指出每像素操作数是能耗主因,前两层下采样步骤消耗最多能量。
2023-06-29 eess.IV
JPEG Meets PDE-based Image Compression
基于修补的图像压缩正在成为基于变换的压缩技术的有前途的竞争者。其核心思想是通过图像修复技术从少量已知区域中重建图像信息。特定的偏微分方程(PDE),如边缘增强扩散(EED),给出了高质量的重建图像结构与低或中等纹理。尽管基于PDE和基于变换的压缩的优势是互补的,但它们很少在混合编解码器中组合。我们建议稀疏块的JPEG压缩图像和重建它们与EED修复。我们的编解码器始终优于JPEG,并为进一步成功开发混合编解码器提供了有用的指示。此外,我们的方法是第一个选择区域,而不是像素作为基于偏微分方程的压缩的已知数据。它还提供了新的见解角落区域的重要性,基于EED的编解码器。
2021-05-04 eess.IV
Mosaicked multispectral image compression based on inter- and intra-band correlation
多光谱成像技术已经在许多领域得到了应用,但是获取和存储图像数据的成本仍然很高。具有多光谱滤光片阵列的单传感器相机可以降低捕获图像的成本,但图像质量略低。当使用多光谱滤波器阵列时,可以在内插之后应用传统的多光谱图像压缩方法,但是内插之后的压缩图像数据具有一些冗余,因为内插数据是从捕获的原始数据计算的。在本文中,我们提出了一个有效的图像压缩方法,单传感器多光谱相机。所提出的方法编码捕获的多光谱数据插值之前。我们还提出了一种新的光谱变换方法的压缩镶嵌多光谱图像。该变换是通过考虑滤波器排列和多光谱滤波器阵列的光谱灵敏度来设计的。实验结果表明,与传统的对插值后的多光谱图像进行编码的压缩方法相比,该方法在更高的比特率下实现了更高的峰值信噪比,当编码速率超过0.1 bit/pixel/bands时,比传统压缩有3 dB增益。
2018-01-10 eess.IV
Deep Residual Learning for Image Compression
在本文中,我们详细描述了我们为CVPR 2019研讨会和学习图像压缩挑战赛(CLIC)设计的方法。我们的方法主要包括两个建议,即用于图像压缩的深度残差学习和作为上采样操作的亚像素卷积。实验结果表明,我们的方法,Kattolab,Kattolabv 2和KattolabSSIM,达到0.972在MS-SSIM在速率约束为0.15bpp的验证阶段具有中等的复杂度。
2019-06-24 eess.IV
Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression
图像压缩已经研究了几十年。近年来,深度学习方法在许多计算机视觉任务中取得了巨大的成功,并逐渐应用于图像压缩中。在本文中,我们开发了三种基于卷积自编码器(CAE)、生成对抗网络(GANs)和超分辨率(SR)的整体压缩架构,并进行了全面的性能比较。实验结果表明,CAE算法提取的压缩特征比JPEG算法有更好的编码效率。GANs在大压缩比和高主观质量重建方面显示出潜在的优势。其中,超分辨率实现了与BPG相当的最佳率失真(RD)性能。
2018-07-01 eess.IV
Lossless Compression of Color images using Imperialist competitive algorithm
存在不同类型的媒体(音频或视频)内容文件的最重要原因之一是实现压缩和较小的大小,同时保持质量。为了实现文件在设备和网络之间的快速传输,减少所需的存储空间,压缩技术一直受到人们的关注和重视。考虑到所提到的,一般来说,压缩的概念可以分为两类:有损和无损。在有损方法中,一部分数据被省略,但在无损方法中,没有数据被省略用于压缩。最后提出了一种利用帝国主义竞争算法进行压缩的无损压缩方法。所提出的算法试图实现一个更优化的颜色的图像颜色图,使它提高压缩率。仿真结果表明,该算法可以达到43%的压缩率,显示了其优越性,与其他类似的方法。
2021-01-07 eess.IV
Edge-Aware Autoencoder Design for Real-Time Mixture-of-Experts Image Compression
定向专家混合(Steered-Mixtures-of-Experts,SMoE)模型提供稀疏的、边缘感知的表示,适用于图像处理中的许多用例。这包括去噪、超分辨率和压缩2D和更高维的像素数据。最近的图像压缩工作表明,基于SMoE模型的图像压缩可以提供与现有技术相比具有竞争力的性能。不幸的是,编码器处的迭代模型构建过程带来了过多的计算需求。在本文中,我们介绍了一种新的边缘感知自动编码器(AE)的策略,旨在避免耗时的迭代优化的SMoE模型。这是通过直接将像素块映射到用于压缩的模型参数来完成的,其精神类似于最近关于算法的“展开”的工作,同时保持与所建立的SMoE框架的完全兼容性。通过我们的插件AE编码器,我们实现了性能的飞跃,编码器运行时间节省了500到1000倍,甚至提高了图像重建质量。对于图像压缩的插件AE编码器具有实时性能,并提高了RD性能相比,我们以前的作品。
2022-07-25 eess.IV
Low Bitrate Image Compression with Discretized Gaussian Mixture Likelihoods
在本文中,我们提供了一个详细的描述,我们提交的方法Kattolab研讨会和挑战学习图像压缩(CLIC)2020。我们的方法主要采用离散高斯混合似然到以前的国家的最先进的学习压缩算法。此外,我们还描述了加速策略和低速率约束下的比特优化。实验结果表明,我们的方法Kattolab达到0.9761和0.9802的MS-SSIM在速率约束为0.15bpp在验证阶段和测试阶段,分别。此项目页面位于此https URL https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention
2020-04-09 eess.IV
Fast Compression Method for Medical Images on the Web
在零足迹web应用中快速诊断图像查看的需要以及用于诸如数字病理学的新模态的不断增加的图像尺寸已经痛苦地揭示了当前可用的图像压缩方法的不足。JPEG 2000提供了医疗级查看所需的图像质量,但目前安装的桌面万维网浏览器(caniuse.com)中只有不到10%支持JPEG 2000,即使如此,它也不支持医疗应用所需的高位深度图像。JPEG 2000的高计算复杂性和无法快速压缩和查看图像无疑是其缺乏采用的原因。当今所有已安装的万维网浏览器都支持古老的JPEG标准,并允许快速查看和压缩,但它无法提供医疗级图像质量、无损压缩或高位深度。为了补救这种情况,医学图像Web应用程序需要通过在应用程序本身中实现图像解压缩来完全控制图像路径,而不是依赖于万维网浏览器实现。这将给用户和制造商信心,医疗图像将显示在其完全预期的保真度!本文介绍了一种简单、快速且高效的图像压缩方法,该方法可以在零足迹Web应用程序中实施,以在当今的万维网浏览器安装基础上、在本地和云中提供快速的医疗级图像查看。由于其效率,它非常适合于快速和负担得起的压缩和非常大的图像的查看,并且被Philips用于其当今数字病理学产品中使用的iSync文件格式。
2020-05-18 eess.IV
A Practical Approach for Rate-Distortion-Perception Analysis in Learned Image Compression
编解码器的率失真优化(RDO)(其中失真由均方误差量化)多年来一直是图像/视频压缩中的标准实践。RDO很好地服务于编解码器性能的优化,用于在PSNR方面评估结果。然而,众所周知,PSNR与图像的感知评估并不相关;因此,RDO并不适合于编解码器的感知优化。最近,率失真感知权衡已正式采取原始和重建图像的分布之间的Kullback-Leibner(KL)分歧作为感知措施。提出了同时优化速率、均方损失、VGG损失和对抗损失的学习图像压缩方法。然而,在实际学习的图像压缩解决方案中,不存在将速率、失真或感知固定在期望水平的简单方法,以执行速率、失真和感知测量之间的权衡分析。在本文中,我们提出了一种实用的方法来固定的速率进行感知失真分析,在一个固定的速率,以执行感知评价的图像压缩结果的原则性的方式。实验结果为学习图像压缩中的率失真感知分析提供了参考。
2021-04-30 eess.IV
A New Approach to Image Compression in Industrial Internet of Things
将图像传感器应用于工业物联网(IIoT)技术的自动化正在日益兴起。在此类公司中,随时都会传输大量高容量图像;因此,一个重大挑战是在不降低图像质量的情况下减少传输的信息量和带宽。在传感器中进行图像压缩,可以节省带宽,提高数据传输速度。在传感器网络的图像压缩方面有几项研究,但是,根据IIoT中图像传输的性质,在这个特定领域还没有研究。本文首次提出并应用了一种可重复使用的提高图像压缩生产率的新技术。为此,提出了一种新的自适应有损压缩技术,通过使用K- Means++和智能嵌入式编码(IEC)作为我们的新方法来压缩IIoT中的传感器生成的图像。新方法是基于像素的颜色,使具有相同或几乎相同的颜色的像素聚集在一个质心周围,最后,像素的颜色将被编码。这些实验是基于来自一个真正的智能温室的信誉良好的图像数据集;即KOMATSUNA。评价结果表明,在相同的压缩率,我们的方法压缩图像具有更高的质量相比,其他方法,如K-均值,模糊C-均值和模糊C-均值++聚类。
2021-12-10 eess.IV
Learning Scalable $\ell_\infty$-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression
Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
我们提出了一种新的联合有损图像和残差压缩框架学习$\ell_\infty$约束的近无损图像压缩。具体地说,我们通过有损图像压缩获得原始图像的有损重建,并一致地对相应的残差进行重构以满足给定的紧$\ell_\infty$误差界。假设误差界为零,即,无损图像压缩,我们制定了压缩有损图像和原始残差的变分自动编码器的联合优化问题,并解决它与端到端的训练。为了实现误差界大于零的可伸缩压缩,我们通过量化原始残差的学习概率模型来推导量化残差的概率模型,而不是训练多个网络。我们进一步校正了由训练和推理之间的上下文不匹配引起的导出概率模型的偏差。最后,量化的残差根据偏差校正的概率模型进行编码,并与压缩的有损图像的比特流连接。实验结果表明,我们的近无损编码器实现了无损和近无损图像压缩的最先进的性能,并达到竞争的峰值信噪比,而更小的$\ell_\infty$错误相比,在高比特率的有损图像编码器。
2021-03-31 cs.CV eess.IV
Learned Lossless Image Compression With Combined Autoregressive Models And Attention Modules
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
无损图像压缩是图像压缩的一个重要研究领域。近年来,基于学习的图像压缩方法与传统的无损压缩方法如WebP、JPEG2000和FLIF相比,取得了令人瞩目的性能。然而,仍然有许多令人印象深刻的有损压缩方法可以应用于无损压缩。因此,在本文中,我们探讨了广泛用于有损压缩的方法,并将其应用到无损压缩。受到高斯混合模型(GMM)在有损压缩中表现出的令人印象深刻的性能的启发,我们使用GMM生成了一个无损网络架构。除了注意力模块和自回归模型的成功成就外,我们还建议利用注意力模块,并在我们的网络架构中为原始图像添加额外的自回归模型,以提高性能。实验结果表明,我们的方法优于大多数经典的无损压缩方法和现有的基于学习的方法。
2022-08-30 cs.CV eess.IV
Efficient in-situ image and video compression through probabilistic image representation
对于大量高分辨率图像和视频的有效存储和传输,用于多维图像的快速和有效的图像压缩已经变得越来越重要。压缩方法中的期望属性包括(1)在宽范围的压缩率下的高重构质量,同时保留关键局部细节,(2)计算可缩放性,(3)对各种不同图像/视频类型和不同维度的适用性,(4)渐进传输,以及(5)易于调谐。我们提出了这样一种多维图像压缩的方法,称为自适应递归分区压缩(CARP)。CARP使用从图像的递归分区上的贝叶斯概率模型推断的图像像素的最佳排列来降低其有效维度,从而实现保留信息的简约表示。CARP使用多层贝叶斯分层模型来实现原位压缩以及自调整和正则化,用户只需指定一个参数即可实现所需的压缩率。使用各种数据集(包括2D静态图像,真实YouTube视频和监控视频)进行的大量数值实验表明,CARP在所有这些不同图像类型以及几乎所有单个图像和视频的压缩方法中占主导地位-包括JPEG,JPEG 2000,BPG,MPEG4,HEVC和基于神经网络的方法。
2020-11-12 eess.IV stat.AP
STW and SPIHT Wavelet compression using MATLAB wavelet Tool for Color Image
图像可以用小波的数学函数表示。小波可以通过将一些值应用于其函数来操纵(收缩/扩展)。它有助于定位信号。小波变换在图像处理中的应用具有广泛的应用前景.图像压缩是其中的一个维度。小波图像压缩技术有多种。本文主要针对彩色JPEG图像的两种压缩技术STW和SPIHT进行了比较。
2020-02-19 cs.GR eess.IV
DSIC: Deep Stereo Image Compression
Uber ATG(优步先进技术集团)
在本文中,我们解决的问题,立体图像压缩,并利用这一事实,即两个图像有重叠的视野,以进一步压缩的表示。我们的方法利用了最先进的单图像压缩自动编码器,并增强了压缩与新的参数跳过功能,饲料完全可微,在所有级别的第二个图像的编码器/解码器的原始变形功能。此外,我们使用条件熵模型的图像代码之间的概率依赖性建模。我们的实验表明,与深度单图像压缩相比,在低比特率下第二图像比特率降低了30 - 50%,在较高比特率下降低了10 - 20%。
2019-08-09 cs.CV eess.IV
Universal Deep Image Compression via Content-Adaptive Optimization with Adapters
The University of Tokyo(东京大学);Hitachi, Ltd.(日立有限公司)
深度图像压缩在自然图像上的性能优于传统的编解码器,例如JPEG。然而,深度图像压缩是基于学习的,并且遇到了一个问题:对于域外图像,压缩性能显著恶化。在这项研究中,我们强调这个问题,并解决一个新的任务:通用的深度图像压缩。该任务旨在压缩属于任意域的图像,例如自然图像,线条画和漫画。为了解决这个问题,我们提出了一个内容自适应优化框架;该框架使用预训练的压缩模型,并在压缩过程中使模型适应目标图像。适配器被插入到模型的解码器中。对于每个输入图像,我们的框架优化的编码器和适配器参数的率失真方面提取的潜在表示。适配器参数还按图像传输。对于实验,构建了包含四个域(自然图像,线条画,漫画和矢量艺术)的未压缩图像的基准数据集,并评估了所提出的通用深度压缩。最后,该模型与非自适应和现有的自适应压缩模型进行了比较。比较表明,该模型优于这些。代码和数据集可在https://github.com/kktsubota/universal-dic上公开获得。
2022-11-02 cs.CV eess.IV
Reversible Colour Density Compression of Images using cGANs
使用颜色密度的图像压缩在历史上对计算机来说是不切实际的。我们研究了使用条件生成对抗网络,使这种转换更加可行,通过学习图像和损失函数之间的映射训练on.We表明,这种方法是有效的产生视觉无损代,表明高效的颜色压缩是可行的。
2021-06-19 cs.CV eess.IV
Sparse Point Clouds Assisted Learned Image Compression
University of Science and Technology of China(中国科学技术大学);University of Missouri(密苏里大学)
本文提出一种在自动驾驶场景下利用稀疏点云辅助学习型图像压缩的新框架,通过投影生成深度图并预测图像提取多尺度结构特征作为附加信息,兼容多种主流模型,实验证明能持续提升压缩性能。
2024-12-20 cs.CV eess.IV
A Novel Framework for Image-to-image Translation and Image Compression
Northwestern Polytechnical University(西北工业大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
使用机器学习的数据驱动范例在图像处理和通信中变得无处不在。特别地,图像到图像(I2 I)转换是解决诸如图像合成、风格转移和图像恢复之类的图像处理问题的通用且广泛使用的方法。与此同时,神经图像压缩已经成为视觉通信中传统编码方法的数据驱动替代方案。在本文中,我们研究了这两种范式的组合成一个联合I2 I压缩和翻译框架,专注于多域图像合成。我们首先提出分布式I2 I翻译集成量化和熵编码到I2 I翻译框架(即I2 Icodec)。在实践中,图像压缩功能(即,自动编码)也是期望的,需要与I2 Icodec一起部署常规图像编解码器。因此,我们进一步提出了一个统一的框架,允许在一个单一的编解码器的翻译和自动编码功能。以转换/压缩模式为条件的自适应残差块提供了对期望功能的灵活适应。实验结果表明,在I2 I翻译和图像压缩使用一个单一的模型有希望的结果。
2022-08-09 cs.CV eess.IV
A GAN-based Tunable Image Compression System
Zhejiang University(浙江大学)
重要性图方法在基于DNN的有损图像压缩中被广泛采用,以根据图像内容的重要性来实现比特分配。然而,在非重要区域中的比特分配不足常常导致在低bpp(每像素比特数)下的严重失真,这阻碍了高效的内容加权图像压缩系统的发展。本文通过使用生成对抗网络(GAN)重建非重要区域来重新考虑基于内容的压缩。此外,多尺度金字塔分解应用于编码器和解码器,以实现高分辨率图像的全局压缩。本文还提出了一种可调压缩方案,可以将图像压缩到任何特定的压缩比,而无需重新训练模型。实验结果表明,与最近报道的基于GAN的方法相比,我们提出的方法将MS-SSIM提高了10.3%以上,以在Kodak数据集上实现相同的低bpp(0.05)。
2020-01-18 cs.CV eess.IV
Viewport-based Neural 360° Image Compression
George Mason University(乔治·马歇尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出基于视口的神经压缩管道,通过提取视口并高效压缩多个视口,减少采样和失真问题,同时设计神经视口编码器捕捉全局信息,提升360°图像压缩效率。
2026-03-24 cs.CV eess.IV
A Training-Free Defense Framework for Robust Learned Image Compression
Seoul National University(首尔国立大学)
本文针对学习型图像压缩模型易受对抗攻击的问题,提出一种基于随机输入变换和双向压缩的无训练防御框架,在保持干净图像率失真性能的同时提升鲁棒性,且无需修改现有模型。
2024-01-22 cs.CV eess.IV
Editorial: Introduction to the Issue on Deep Learning for Image/Video Restoration and Compression
最近的工作表明,学习模型可以实现显着的性能增益,特别是在感知质量的措施,比传统的方法。因此,图像恢复和压缩的最新技术正在被重新定义。本特刊涵盖了学习图像/视频恢复和压缩的最新技术,以促进创新架构和培训方法的进一步发展,从而实现有效和高效的图像/视频恢复和压缩网络。
2021-02-09 cs.LG eess.IV
XAI based Performance Preserving Adaptive Image Compression for Efficient Satellite Communication
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在跨国合作的时代,卫星图像的采集和分析变得越来越容易和重要。卫星图像分析的典型过程包括从卫星向地面传输大量图像数据,产生显著的开销。为了在不影响分析结果的前提下减少传输开销,本文提出了一种新的图像压缩方案RDIC。RDIC是基于推理的图像压缩方案,其根据从分析模型本身获取的像素重要性分数来压缩图像。从实验结果中,我们表明,我们的RDIC方案成功地捕捉到重要的区域,在图像中显示高压缩率和低精度损失。
2022-07-22 cs.CV eess.IV
Optimizing Image Compression via Joint Learning with Denoising
The Hong Kong Univeristy of Science and Technology(香港科技大学)
由于智能手机摄像头中配备的传感器相对较小,因此当今捕获的图像中通常存在高水平的噪声,其中噪声给有损图像压缩算法带来额外的挑战。在没有能力区分图像细节和噪声的情况下,一般的图像压缩方法分配附加比特以在压缩期间明确地存储不期望的图像噪声,并且在解压缩期间恢复令人不快的噪声图像。在此基础上,我们对图像压缩算法进行了优化,使其具有噪声感知能力,将去噪和压缩结合起来,以解决比特分配不当的问题。关键是通过在压缩过程中消除不需要的噪声,将原始的噪声图像转换为无噪声比特,然后将这些比特解压缩为干净的图像。具体来说,我们提出了一种新型的两分支、权重共享架构,带有插件特征去噪器,可以以很小的计算成本简单有效地实现该目标。实验结果表明,我们的方法获得了显着的改善现有的基线方法在合成和真实世界的数据集。我们的源代码可以在https://github.com/felixcheng97/DenoiseCompression上找到。
2022-07-22 cs.CV eess.IV
Variable Rate Deep Image Compression With a Conditional Autoencoder
Samsung Semiconductor Inc.(三星半导体公司)
在本文中,我们提出了一种新的可变速率学习图像压缩框架与条件自动编码器。以前的基于学习的图像压缩方法大多需要针对不同的压缩率训练单独的网络,以便它们可以产生不同质量的压缩图像。相比之下,我们训练和部署只有一个可变速率图像压缩网络实现的条件自动编码器。我们提供两个速率控制参数,即,拉格朗日乘子和量化仓大小,它们作为网络的条件变量给出。通过改变拉格朗日乘数来执行对目标的粗速率自适应,而速率可以通过调整在量化编码表示中使用的bin大小来进一步微调。实验结果表明,该方案比传统的可变速率图像压缩编解码器(如JPEG 2000和BPG)提供了更好的率失真折衷。我们的模型还显示出与最先进的学习图像压缩模型相当的性能,有时甚至更好,这些模型部署了针对不同速率训练的多个网络。
2019-09-11 cs.CV eess.IV
Saliency Driven Perceptual Image Compression
Czech Technical University in Prague(布拉格捷克理工大学);Amazon Web Services(亚马逊云科技)
本文提出了一种新的端到端的有损图像压缩可训练模型,其中包括几个新的组件。该方法包括:1)适当的感知相似性度量; 2)图像中的显著性; 3)分层自回归模型。本文证明了常用的评价指标,如MS-SSIM和PSNR是不够的判断图像压缩技术的性能,因为它们不符合人类的感知相似性。或者,提出了一种新的度量,该度量是在特定于图像压缩的感知相似性数据上学习的。建议的压缩模型采用了显着的区域和优化建议的感知相似性度量。该模型不仅生成视觉效果更好的图像,而且与现有的工程或学习压缩技术相比,还为后续的计算机视觉任务(如对象检测和分割)提供了卓越的性能。
2020-11-08 cs.CV eess.IV
Lossless Microarray Image Compression by Hardware Array Compactor
微阵列技术是一种新的、强有力的同时监测大量基因表达的工具。每个微阵列实验产生数百个图像。每个数字图像都需要很大的存储空间。因此,这些图像的实时处理和传输需要高效和定制的无损压缩方案。在本文中,我们提供了一个新的架构的无损压缩的微阵列图像。在这种架构中,我们使用了专用的硬件从背景像素的前景分离。通过分离这些像素并使用流水线结构,与其他现有方法相比,实现了更高的无损压缩比。
2023-03-18 cs.CV eess.IV
A Unified End-to-End Framework for Efficient Deep Image Compression
Beihang University(北京航空航天大学);Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学)
图像压缩是一种广泛使用的减少图像空间冗余的技术。近年来,基于学习的图像压缩利用神经网络强大的表示能力取得了重大进展。然而,目前最先进的基于学习的图像压缩方法遭受巨大的计算成本,这限制了它们的实际应用的能力。在本文中,我们提出了一个统一的框架,称为有效的深度图像压缩(EDIC)的基础上的三个新技术,包括一个通道的注意力模块,高斯混合模型和解码器端增强模块。具体来说,我们设计了一个自动编码器风格的网络学习为基础的图像压缩。为了提高编码效率,我们利用通道之间的潜在表示的通道关系,通过使用通道注意模块。此外,在熵模型中引入了高斯混合模型,提高了码率估计的精度。此外,我们还引入了解码端增强模块,进一步提高了图像压缩的性能。我们的EDIC方法也可以很容易地与深度视频压缩(DVC)框架相结合,以进一步提高视频压缩性能。同时,我们的EDIC方法大大提高了编码性能,而带来的计算成本略有增加。更重要的是,实验结果表明,所提出的方法优于当前国家的最先进的图像压缩方法,是高达150倍以上的解码速度比Minnen的方法。所提出的框架还成功地提高了最近的深度视频压缩系统DVC的性能。我们的代码将在https://github.com/liujiaheng/compression上发布。
2020-05-23 cs.CV eess.IV
Joint Image Compression and Denoising via Latent-Space Scalability
Simon Fraser University(西蒙弗雷泽大学)
当涉及到数码相机中的图像压缩时,传统上在压缩之前执行去噪。然而,在某些应用中,图像噪声可能是证明图像可信度所必需的,例如法庭证据和图像取证。这意味着除了干净的图像本身之外,噪声本身也需要被编码。在本文中,我们提出了一个基于学习的图像压缩框架,其中图像去噪和压缩联合执行。图像编解码器的潜在空间以可缩放的方式组织,使得可以从潜在空间的子集(基本层)解码干净图像,而以更高的速率从整个潜在空间解码有噪声图像。使用去噪图像的潜在空间的子集允许以较低的速率执行去噪。除了提供含噪输入图像的可缩放表示之外,联合执行去噪和压缩具有直观的意义,因为噪声难以压缩;因此,可压缩性是可以帮助区分噪声和信号的标准之一。所提出的编解码器与已建立的压缩和去噪基准进行比较,实验表明,与最先进的编解码器和最先进的去噪器的级联组合相比,可以节省相当多的比特率。
2022-09-05 cs.CV eess.IV
Generative Image Compression by Estimating Gradients of the Rate-variable Feature Distribution
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种基于扩散的生成式图像压缩框架,将压缩过程重新解释为SDE控制的前向扩散路径,通过逆向神经网络直接逆转压缩过程进行重建,无需高斯噪声初始化,在多项指标上优于现有方法。
2025-05-27 cs.CV eess.IV
ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Contextual Adaptive Coding
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
最近,学习的图像压缩技术已经取得了显着的性能,甚至超过了最好的手动设计的有损图像编码器。它们有望被大规模采用。从实用性的角度出发,从压缩性能和运行速度两个方面对学习图像压缩的体系结构设计进行深入的研究是非常必要的。在本文中,我们首先提出了不均匀的信道条件自适应编码,动机是在学习图像压缩的能量压缩的观察。将提出的非均匀分组模型与现有的上下文模型相结合,我们得到了一个空间通道上下文自适应模型,以提高编码性能,而不损害运行速度。然后,我们研究了主变换的结构,并提出了一个有效的模型,ELIC,以实现最先进的速度和压缩能力。该模型不仅性能优越,而且支持极快的预览解码和渐进解码,这使得基于学习的图像压缩应用前景更加广阔。
2022-03-29 cs.CV eess.IV
Learned Image Compression for HE-stained Histopathological Images via Stain Deconvolution
German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心);Heidelberg University(海德堡大学);Technical University of Munich(慕尼黑工业大学)
针对组织病理学全切片图像的海量存储需求,提出基于染色解卷积的SQLC深度学习压缩方法,通过先压缩染色与RGB通道再经CAE生成量化潜表示提升压缩效率,在分类任务性能优于JPEG且图像质量基本保留。
2024-06-18 cs.CV eess.IV
High-Fidelity Variable-Rate Image Compression via Invertible Activation Transformation
Huazhong University of Science and Technology(华中科技大学)
基于学习的方法有效地促进了图像压缩的社会化。同时,基于变分自编码器(VAE)的可变速率方法最近获得了很多关注,以避免使用一组不同的网络用于各种压缩率。尽管已经实现了显著的性能,但是一旦执行多个压缩/解压缩操作,这些方法将容易被破坏,导致图像质量将大大下降并且将出现强烈的伪影。因此,我们试图解决高保真精细变速率图像压缩的问题,并提出了可逆激活变换(IAT)模块。我们在基于单速率可逆神经网络(INN)的模型上以数学可逆的方式实现IAT,并且质量水平(QLevel)将被馈送到IAT中以生成缩放和偏置张量。IAT和QLevel共同赋予图像压缩模型精细可变速率控制的能力,同时更好地保持图像保真度。大量的实验表明,单速率图像压缩模型配备了我们的IAT模块有能力实现可变速率控制没有任何妥协。我们的IAT嵌入模型获得了与最近的基于学习的图像压缩方法相当的率失真性能。此外,我们的方法优于国家的最先进的可变速率图像压缩方法的大幅度,特别是在多次重新编码。
2022-09-12 cs.CV eess.IV
SINCO: A Novel structural regularizer for image compression using implicit neural representations
Washington University in St. Louis(圣路易斯华盛顿大学)
隐式神经表示(INR)最近已经被提出作为用于图像压缩的基于深度学习(DL)的解决方案。可以通过训练具有比图像像素的数量更少的权重的INR模型来压缩图像,以将图像的坐标映射到对应的像素值。虽然传统的INR训练方法是基于执行逐像素图像一致性,但我们建议通过使用新的结构正则化器来进一步提高图像质量。本文提出了一种新的用于图像压缩的INR方法--结构正则化压缩方法(SINCO)。SINCO通过使用分割网络来惩罚从压缩图像预测的分割掩模的差异,从而将压缩图像的结构一致性强加给地面实况。我们验证SINCO脑MRI图像显示,它可以实现更好的性能比最近的一些INR方法。
2022-10-26 cs.CV eess.IV
Comparison between CS and JPEG in terms of image compression
对JPEG和压缩感知两种方法进行了比较。从图像压缩的角度对这两种方法进行了比较。通过测量图像质量与用于图像恢复的样本数量进行比较。对图像进行目视比较。此外,数值质量值,峰值信噪比,计算和比较两种方法。结果表明,图像,恢复使用压缩感知的方法,有更高的PSNR值相比,JPEG压缩下的图像。在细节数量较少的灰度图像中差异较大,例如医学图像(X射线)。实验结果证实了理论的正确性。
2018-02-09 cs.MM eess.IV
Improved Wavelets for Image Compression from Unitary Circuits
我们基准的几个新的正交,对称,膨胀3小波,来自一个单一的电路为基础的建设,对图像压缩的功效。这些小波的性能进行了比较,在几个照片数据库对CDF-9/7小波的非零小波系数的最小数目,需要获得指定的图像质量,测量的多尺度结构相似性指数(MS-SSIM)。新的小波被发现始终提供更好的压缩效率比CDF-9/7小波在广泛的图像分辨率和质量要求,平均7 - 8%的高分辨率照片图像时,需要高质量(MS-SSIM = 0.99)的压缩效率提高。
2022-03-04 eess.IV quant-ph
Attention-guided Image Compression by Deep Reconstruction of Compressive Sensed Saliency Skeleton
Shanghai Jiao Tong University(上海交通大学)
我们提出了一个深度学习系统,用于注意力引导的双层图像压缩(AGDL)。在AGDL压缩系统中,图像被编码成两层,基本层和注意力引导细化层。与现有的ROI图像压缩方法不同,AGDL采用CNN模块来预测ROI内对感知质量至关重要的显著性草图上和附近的那些像素。只有关键像素通过压缩感测(CS)进一步采样以形成非常紧凑的细化层。开发了另一种新颖的CNN方法来联合解码两个压缩层以进行更精细的重建,同时严格满足对感知关键像素的传输CS约束。大量的实验表明,所提出的AGDL系统先进的感知图像压缩的艺术状态。
2021-03-29 cs.CV eess.IV
Customized OCT images compression scheme with deep neural network
我们基于深度卷积神经网络(CNN)为视网膜OCT图像定制了一个端到端的图像压缩框架。定制的压缩方案包括三个部分:数据预处理,压缩CNN和重建CNN。数据预处理模块对OCT图像进行相干斑噪声抑制,并分割出感兴趣区域。我们在压缩CNN和重建CNN之间添加了自定义的跳过连接以保留细节信息,并将两个网络与数据预处理模块中的语义分割图像块一起训练。为了训练对低频信息和高频信息都敏感的两个网络,我们采用了一个由两部分组成的目标函数:一个PatchGAN惩罚函数来判断高频信息,一个可微的MS-SSIM惩罚函数来评估低频信息。在公开的OCT数据集上对所提出的框架进行了训练和评估。当压缩比高达40时,多尺度结构相似性(MS-SSIM)评估显示出99%以上的相似性。此外,通过视觉比较,从所提出的框架的压缩比80的重建图像甚至具有比从JPEG的压缩比20的重建图像更好的质量。测试结果表明,该算法在MS-SSIM和可视化方面均优于JPEG,且随着压缩比的增加,效果更加明显。我们的初步结果表明,深度神经网络在定制医疗图像压缩方面具有巨大潜力。
2019-08-27 cs.CV eess.IV
Human Perceptual Evaluations for Image Compression
Center for Machine Perception, Czech Technical University(捷克技术大学机器感知中心);Amazon(亚马逊)
最近,人们对深度学习技术进行图像压缩产生了很大的兴趣,并且有人声称其中几种技术产生的结果比工程压缩方案(如JPEG,JPEG 2000或BPG)更好。当今比较图像压缩方案的标准方式是使用感知相似性度量,诸如PSNR或MS-SSIM(多尺度结构相似性)。这导致了一些深度学习技术,通过选择MS-SSIM作为损失函数来直接优化MS-SSIM。虽然这会导致更高的MS-SSIM等技术,我们使用用户研究表明,由此产生的改进可能是误导。用于具有较高MS-SSIM的图像压缩的深度学习技术实际上可能在感知上比具有较低MS-SSIM的工程压缩方案更差。
2019-08-09 cs.CV eess.IV
Enhanced Invertible Encoding for Learned Image Compression
HKUST(香港科技大学)
虽然基于深度学习的图像压缩方法近年来取得了可喜的进展,但这些方法的性能仍然无法与最新的压缩标准通用视频编码(VVC)相匹配。最近的发展主要集中在设计一个更准确和灵活的熵模型,可以更好地参数化的潜在特征的分布。然而,很少有人致力于构造一个更好的图像空间和潜在的特征空间之间的转换。在本文中,我们没有使用以前的自动编码器风格网络来构建这种转换,而是提出了一种具有可逆神经网络(INN)的增强型可逆编码网络,以在很大程度上减轻信息丢失问题,从而实现更好的压缩。在Kodak、CLIC和Tecnick数据集上的实验结果表明,该方法优于现有的图像压缩方法和压缩标准,包括VVC(VTM 12.1),特别是对于高分辨率图像。我们的源代码可在https://github.com/xyq7/InvCompress上获得。
2021-08-08 cs.CV eess.IV
Multiple reconstruction compression framework based on PNG image
结果表明,神经网络(NN)在图像压缩和重建方面具有优良的性能。但在实际应用中仍存在诸多不足,最终导致神经网络图像处理能力的丧失。基于此,本文提出了一种基于神经网络和缩放压缩的联合框架。该框架首先对传入的PNG或JPEG图像信息进行编码,然后将图像转换为二进制输入解码器重构中间状态图像,再将中间状态图像导入缩放压缩器中重新压缩,重构最终图像。从实验结果来看,该方法能较好地处理数字图像,抑制逆膨胀问题,压缩效果比单独使用RNN提高4 ~ 10倍,在应用中表现出较好的能力。本文将该方法应用于数字图像的传输,其效果远远优于现有的单独压缩方法,人类视觉系统感觉不到效果的变化。
2019-11-14 cs.MM eess.IV
A Learned Pixel-by-Pixel Lossless Image Compression Method with 59K Parameters and Parallel Decoding
本文考虑无损图像压缩,并提出了一个学习压缩系统,可以实现最先进的无损压缩性能,但只使用59 K的参数,这是超过30倍,比其他学习系统最近在文献中提出的。所探索的系统是基于一个学习的逐像素的无损图像压缩方法,其中每个像素的概率分布参数是通过用包括59 K参数的简单神经网络处理像素的因果邻域(即,先前编码/解码的像素)来获得的。这种因果关系导致解码器按顺序操作,即神经网络必须按顺序为每个像素进行评估,这大大增加了通用GPU软件和硬件的解码时间。为了减少解码时间,提出并实现了并行解码算法。所获得的无损图像压缩系统进行比较,传统的和学习的系统在文献中的压缩性能,编码-解码时间和计算复杂度。
2022-12-02 cs.MM eess.IV
Enhancing Perception Quality in Remote Sensing Image Compression via Invertible Neural Network
Xi’an Jiaotong University(西安交通大学)
针对低比特率下遥感图像解码感知质量差的问题,提出基于可逆神经网络的INN-RSIC方法,通过捕获压缩失真并利用逆映射生成增强图像,显著提升了感知质量。
2024-08-25 cs.CV eess.IV
X-Ray Image Compression Using Convolutional Recurrent Neural Networks
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
随着数字健康革命的到来,每天都在生成、存储和处理大量的临床数据。这使得存储和检索大量的医疗保健数据,特别是高分辨率的医学图像,特别具有挑战性。因此,医学图像的有效图像压缩在当今的医疗保健信息系统中,特别是在远程放射学中起着至关重要的作用。提出了一种基于卷积循环神经网络RNN-Conv的X射线图像压缩方法。所提出的架构可以在部署过程中提供可变的压缩率,同时它要求每个网络仅针对X射线图像的特定维度进行一次训练。该模型使用多级池化方案,学习上下文化特征以进行有效压缩。我们在美国国立卫生研究院(NIH)ChestX-ray 8数据集上进行了图像压缩实验,并将所提出的架构的性能与最先进的基于RNN的技术和JPEG 2000进行了比较。实验结果表明,该方法在结构相似性指数(SSIM)和峰值信噪比(PSNR)指标方面取得了较好的压缩性能。据我们所知,这是第一次报告使用深度卷积RNN进行医学图像压缩的评估。
2019-05-09 cs.CV eess.IV
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton(南安普顿大学);Fuzhou University(福州大学)
传统的图像压缩器,例如,BPG和H.266都实现了出色的图像和视频压缩质量。近年来,卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理,提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中,由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Deep Perceptual Image Quality Assessment for Compression
Google Research(谷歌研究院)
有损图像压缩对于数据的高效存储和传输是必要的。通常,比特率和质量之间的权衡决定了最佳压缩级别。这使得图像质量度量成为任何成像系统的组成部分。虽然现有的全参考指标(如PSNR和SSIM)可能对感知质量不太敏感,但最近引入的学习方法可能无法推广到看不见的数据。在本文中,我们提出了迄今为止最大的具有人类感知偏好的图像压缩质量数据集,允许使用深度学习,并且我们为有损图像压缩开发了一个完整的参考感知质量评估指标,该指标优于现有的最先进的方法。我们表明,该模型可以有效地从新数据集中的数千个示例中学习,因此它可以更好地推广到其他看不见的人类感知偏好数据集。
2021-07-15 cs.CV eess.IV
FLLIC: Functionally Lossless Image Compression
ANGEL Lab, Nanyang Technological University, Singapore(南洋理工大学新加坡分校ANGEL实验室);School of Computing and Artificial Intelligence, Southwest Jiaotong University, Chengdu, China(西南交通大学计算机与人工智能学院)
本文提出功能无损图像压缩(FLLIC)范式,对最优去噪后的图像进行无损压缩,以突破数学无损压缩的性能壁垒,在联合去噪与压缩任务中取得最先进性能且计算成本更低。
2025-07-22 cs.CV eess.IV
Lossless Compression of Mosaic Images with Convolutional Neural Network Prediction
McMaster University(麦克马斯特大学)
我们提出了一个基于CNN的预测无损压缩方案的原始彩色马赛克图像的数码相机。这个专门的应用问题以前没有得到充分研究,但现在变得越来越重要,因为用于图像恢复任务的现代CNN方法(例如,超分辨率、低光照增强、去模糊),必须对原始原始马赛克图像进行操作以获得最佳可能结果。本文的关键创新点是空间-光谱镶嵌模式的高阶非线性CNN预测器。深度学习预测可以更准确地对空间-光谱镶嵌图像中高度复杂的样本依赖性进行建模,从而比现有的图像预测器更彻底地消除统计冗余。实验表明,所提出的CNN预测器实现了前所未有的无损压缩性能的相机原始图像。
2020-01-28 cs.CV eess.IV
Device Interoperability for Learned Image Compression with Weights and Activations Quantization
Huawei Technologies(华为技术有限公司)
基于学习的图像压缩已改进到在译码性能方面可优于例如HEVC及VVC等传统图像编解码器的水平。除了良好的压缩性能之外,设备互操作性对于要部署的压缩编解码器是必不可少的,即,在不同CPU或GPU上的编码和解码应该是无错误的,并且性能降低可以忽略不计。在本文中,我们提出了一种方法来解决一个国家的最先进的图像压缩网络的设备互操作性问题。我们对输出熵参数的熵网络进行量化。我们提出了一种简单的方法,可以确保跨平台的编码和解码,并可以实现快速与微小的性能偏差,0.3%BD率,从浮点模型的结果。
2022-12-02 cs.CV eess.IV
CompaCT: Fractal-Based Heuristic Pixel Segmentation for Lossless Compression of High-Color DICOM Medical Images
Sunset High School(日落高中)
提出CompaCT算法,利用分形像素遍历和分割网格预处理结合增量与熵编码,实现高色彩DICOM图像无损压缩,比行业标准节省37%空间。
2024-11-08 cs.CV eess.IV
ProgDTD: Progressive Learned Image Compression with Double-Tail-Drop Training
Kiel University(基尔大学);Chalmers University of Technology(查尔姆斯理工大学)
ProgDTD通过双尾丢弃训练使基于CNN的学习图像压缩模型按优先级排序瓶颈信息,无需额外参数即可实现渐进式压缩,并在MS-SSIM和准确率上达到与现有方法相当的性能。
2024-04-30 cs.CV eess.IV