基于广义倍频程卷积和互分辨率参数估计的学习图像压缩

一种用于文本图像分割的快速全八度卷积神经网络

A Fast Fully Octave Convolutional Neural Network for Document Image Segmentation

Escola Politécnica de Pernambuco, Universidade de Pernambuco（伯南布哥大学伯南布哥理工学院）；Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；Department of Chemical and Biological Engineering, Northwestern University（西北大学化学与生物工程系）

了解你的客户（KYC）和反洗钱（AML）是基于个人身份证件、相似性和活跃度检查以及地址证明的在线客户身份识别的全球实践。回答一个基本的监管问题：你是你所说的那个人吗？客户需要上传有效的身份证明文件（ID）。这项任务提出了一些计算挑战，因为这些文件是不同的，可能会出现不同的和复杂的背景，一些遮挡，部分旋转，质量差，或损坏。使用先进的文本和文档分割算法来处理ID图像。在此背景下，我们研究了一种基于U-Net的方法来检测ID图像中的文档边缘和文本区域。除了在图像分割上有希望的结果之外，基于U-Net的方法对于实际应用来说在计算上是昂贵的，因为图像分割是客户设备任务。我们提出了一种基于Octave卷积的模型优化，以使该方法适用于存储，处理和时间资源有限的情况，例如移动和机器人应用。我们在两个新的数据集CDPhotoDataset和DTDDataset，这是由巴西文件的真实ID图像进行了评估实验。实验结果表明，本文提出的模型对文本分割任务是有效的，并且具有可移植性.

2020-04-03cs.CVeess.IV

DONet：用于快速MR图像重建的双倍频程网络

DONet: Dual-Octave Network for Fast MR Image Reconstruction

Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Nanjing University of Science and Technology（南京理工大学）

磁共振（MR）图像采集是一个固有的长期过程，其加速一直是研究的主题。这通常通过并行成像同时获得多个欠采样图像来实现。在本文中，我们提出了双倍频程网络（DONet），这是能够学习多尺度的空间频率功能的MR数据的实部和虚部，快速并行MR图像重建。更具体地说，我们的DONet由一系列Dual-Octave卷积（Dual-OctConv）组成，它们以密集的方式连接，以便更好地重用功能。在每个Dual-OctConv中，输入特征映射和卷积核首先被分成两个分量（即实数和虚数），然后根据它们的空间频率分为四组。然后，我们的Dual-OctConv进行组内信息更新和组间信息交换，以聚合不同组之间的上下文信息。我们的框架提供了三个有吸引力的好处：（i）它鼓励信息之间的相互作用和融合的实部和虚部在各种空间频率，以实现更丰富的代表能力。(ii)每个Dual-OctConv中实群和虚群之间的密集连接通过特征重用使特征的传播更有效。(iii)DONet通过学习实部和虚部的多个空间频率特征来扩大感受野。在不同欠采样模式和加速因子下对两个流行数据集（即临床膝关节和fastMRI）进行了大量实验，证明了该模型在加速并行MR图像重建中的优越性。

2021-06-12cs.CVeess.IV

基于注意力的图像压缩后处理卷积神经网络

Attention Based Image Compression Post-Processing Convolutional Neural Network

University of Southampton（南安普顿大学）；Fuzhou University（福州大学）

传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。

2019-05-27cs.CVcs.LGeess.IV

用于遥感安全有损图像压缩的卷积变分自编码器

Convolutional variational autoencoders for secure lossy image compression in remote sensing

McMaster（麦克马斯特大学）；Adastra Corporation（阿达斯特拉公司）

针对遥感数据量大、传输受限且有安全需求的问题，本研究提出结合熵瓶颈的卷积变分自编码器图像压缩方法，通过优化复合损失函数平衡压缩率与重建质量，性能优于JPEG2000等传统方法。

2024-04-16cs.LGeess.IV

基于卷积神经网络（CNN）的JPEG压缩策略

Strategies in JPEG compression using Convolutional Neural Network (CNN)

近几十年来，人们对数字图像处理的兴趣极大地增长。因此，已经提出了不同的数据压缩技术，这些技术主要涉及用于表示图像的信息的最小化。随着深度神经网络的发展，可以实现更高程度的图像压缩。本文概述了JPEG压缩、离散傅里叶变换（DFT）、卷积神经网络（CNN）、衡量图像压缩性能的质量指标，并讨论了深度学习在图像压缩中的进展，主要集中在JPEG上，并建议模型的自适应可以改善压缩。

2021-12-06eess.IV

使用门控循环卷积神经网络的医学图像流式无损体积压缩

Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network

College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）

本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。

2023-11-27cs.ARcs.LGeess.IV

卷积AutoEncoders、生成对抗网络和超分辨率图像压缩的性能比较

Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

图像压缩已经研究了几十年。近年来，深度学习方法在许多计算机视觉任务中取得了巨大的成功，并逐渐应用于图像压缩中。在本文中，我们开发了三种基于卷积自编码器（CAE）、生成对抗网络（GANs）和超分辨率（SR）的整体压缩架构，并进行了全面的性能比较。实验结果表明，CAE算法提取的压缩特征比JPEG算法有更好的编码效率。GANs在大压缩比和高主观质量重建方面显示出潜在的优势。其中，超分辨率实现了与BPG相当的最佳率失真（RD）性能。

2018-07-01eess.IV

卷积神经网络（CNN）减少离散傅里叶变换（DFT）引起的JPEG压缩中的构造损失

Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT)

Faculty of Computer Science（计算机科学学院）；Selinus University of Sciences and Literature（塞利努斯科学与文学大学）

针对JPEG压缩中DFT周期性导致的图像伪影问题，提出一种基于CNN自编码器的有效图像压缩方法，实验表明该方法能实现更好的图像重建与良好的压缩效果。

2023-07-02cs.CVcs.LGeess.IV

图像到图像CNN的小波特征映射压缩

Wavelet Feature Maps Compression for Image-to-Image CNNs

Ben-Gurion University（本-古里安大学）

众所周知，卷积神经网络（CNN）需要大量的计算资源，量化是压缩它们的最好和最常用的方法之一。虽然积极的量化（即，小于4比特）对于分类表现良好，但它可能在诸如语义分割和深度估计的图像到图像任务中导致严重的性能降级。在本文中，我们提出了小波压缩卷积（WCC）-一种新的方法，用于高分辨率激活映射压缩集成逐点卷积，这是现代架构的主要计算成本。为此，我们使用一个高效的和硬件友好的Haar小波变换，其有效性在图像压缩，并定义压缩激活映射的卷积。我们尝试了从高分辨率输入中受益的各种任务。通过将WCC与轻量化相结合，我们实现了相当于1- 4位激活量化的压缩率，同时性能下降相对较小且更加优雅。我们的代码可在https://github.com/BGUCompSci/WaveletCompressedConvolution上获得。

2022-10-16cs.CVcs.LGeess.IV

基于卷积 Transformer 的图像压缩

Convolutional Transformer-Based Image Compression

提出一种融合卷积与多头注意力的端到端 Transformer 图像压缩架构，无需位置编码，在率失真性能上超越先进 CNN 方法，并以更低复杂度达到 Transformer 方法的相当水平。

2024-09-06eess.IV

基于混合递归卷积学习框架的可变速率视频压缩

Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework

Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））

近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。

2020-08-21cs.CVcs.LGeess.IV

基于卷积循环神经网络的X射线图像压缩

X-Ray Image Compression Using Convolutional Recurrent Neural Networks

Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）

随着数字健康革命的到来，每天都在生成、存储和处理大量的临床数据。这使得存储和检索大量的医疗保健数据，特别是高分辨率的医学图像，特别具有挑战性。因此，医学图像的有效图像压缩在当今的医疗保健信息系统中，特别是在远程放射学中起着至关重要的作用。提出了一种基于卷积循环神经网络RNN-Conv的X射线图像压缩方法。所提出的架构可以在部署过程中提供可变的压缩率，同时它要求每个网络仅针对X射线图像的特定维度进行一次训练。该模型使用多级池化方案，学习上下文化特征以进行有效压缩。我们在美国国立卫生研究院（NIH）ChestX-ray 8数据集上进行了图像压缩实验，并将所提出的架构的性能与最先进的基于RNN的技术和JPEG 2000进行了比较。实验结果表明，该方法在结构相似性指数（SSIM）和峰值信噪比（PSNR）指标方面取得了较好的压缩性能。据我们所知，这是第一次报告使用深度卷积RNN进行医学图像压缩的评估。

2019-05-09cs.CVeess.IV

基于学习卷积变换的有损点云几何压缩

Learning Convolutional Transforms for Lossy Point Cloud Geometry Compression

CNRS（法国国家科学研究中心）

高效的点云压缩是实现虚拟和混合现实应用部署的基础，因为要编码的点的数量可以达到数百万。在本文中，我们提出了一种新的数据驱动的几何压缩方法的基础上学习卷积变换和均匀量化的静态点云。我们使用一个权衡参数进行率和失真的联合优化。此外，我们将解码过程转换为点云占用图的二进制分类。我们的方法在Microsoft Voxelized Upper Bodies数据集上的率失真方面优于MPEG参考解决方案，平均节省51.5%的BDBR。此外，虽然基于八叉树的方法在低比特率下面临点数的指数减少，但即使在低比特率下，我们的方法仍然产生高分辨率输出。代码和补充材料可在https://github.com/mauriceqch/pcc_geo_cnn上获得。

2019-05-22cs.CVcs.LGeess.IV

HiLLoC：基于层次隐变量模型的无损图像压缩

HiLLoC: Lossless Image Compression with Hierarchical Latent Variable Models

University College London（伦敦大学学院）

我们做出了以下惊人的观察：在32 x32 ImageNet上训练的完全卷积VAE模型可以很好地泛化，不仅可以泛化到64 x64，还可以泛化到更大的照片，而模型没有变化。我们使用这个属性，将完全卷积模型应用于无损压缩，展示了一种方法，可以将基于VAE的“Bits-Back with ANS”算法扩展到大型彩色照片的无损压缩，并实现最先进的全尺寸ImageNet图像压缩。我们发布了Craystack，这是一个开源库，用于使用概率模型方便地进行无损压缩原型设计，以及我们所有压缩结果的完整实现。

2019-12-20cs.CVcs.LGeess.IV

基于卷积神经网络预测的镶嵌图像无损压缩

Lossless Compression of Mosaic Images with Convolutional Neural Network Prediction

McMaster University（麦克马斯特大学）

我们提出了一个基于CNN的预测无损压缩方案的原始彩色马赛克图像的数码相机。这个专门的应用问题以前没有得到充分研究，但现在变得越来越重要，因为用于图像恢复任务的现代CNN方法（例如，超分辨率、低光照增强、去模糊），必须对原始原始马赛克图像进行操作以获得最佳可能结果。本文的关键创新点是空间-光谱镶嵌模式的高阶非线性CNN预测器。深度学习预测可以更准确地对空间-光谱镶嵌图像中高度复杂的样本依赖性进行建模，从而比现有的图像预测器更彻底地消除统计冗余。实验表明，所提出的CNN预测器实现了前所未有的无损压缩性能的相机原始图像。

2020-01-28cs.CVeess.IV

基于块级掩蔽卷积和渐近闭环训练的端到端学习块基图像压缩

End-to-End Learned Block-Based Image Compression with Block-Level Masked Convolutions and Asymptotic Closed Loop Training

Middle East Technical University（中东技术大学）

学术图像压缩研究已经利用基于自动编码器的神经网络架构实现了最先进的压缩性能，其中图像经由卷积神经网络（CNN）映射到潜在表示，该潜在表示被量化并再次利用CNN处理以获得重构图像。CNN对整个输入图像进行操作。另一方面，由于各种原因，传统的最先进的图像和视频压缩方法利用逐块处理方法来处理图像。最近，还出现了利用基于块的方法的学习图像压缩的工作，其在输入图像的大块上使用自动编码器架构，并引入执行帧内/空间预测和解块/后处理功能的附加神经网络。本文探讨了一种替代的学习基于块的图像压缩方法，其中既不使用显式帧内预测神经网络，也不使用显式去块神经网络。使用具有块级掩蔽卷积的单个自动编码器神经网络，并且块大小要小得多（8x8）。通过使用块级掩蔽卷积，在编码器和解码器处使用重构的相邻左块和上块来处理每个块。因此，在压缩期间利用相邻块之间的互信息，并且使用相邻块来重构每个块，从而解决了对显式帧内预测和解块神经网络的需求。由于探索的系统是一个闭环系统，一个特殊的优化过程，渐近闭环设计，与标准的随机梯度下降为基础的训练。实验结果表明，该算法具有较好的图像压缩性能.

2022-03-22cs.CVcs.MMeess.IV

伪柱面卷积用于学习型全向图像压缩

Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression

University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）

虽然等矩形投影（ERP）是存储全向图像（也称为360度图像）的方便形式，但它既不是等面积的，也不是共形的，因此对随后的视觉传达不友好。在图像压缩的背景下，ERP将过采样和变形的东西和东西附近的极点，使其难以感知最佳的比特分配。在传统的360度图像压缩中，引入了诸如逐区域打包和平铺表示的技术来减轻过采样问题，取得了有限的成功。在本文中，我们首次尝试学习用于全方位图像压缩的深度神经网络。我们首先描述参数伪圆柱表示作为一个推广常见的伪圆柱地图投影。提出了一种计算上易于处理的贪婪方法，以确定（次）最佳配置的伪圆柱表示在一个新的代理目标的率失真性能。然后，我们提出了360度图像压缩的伪圆柱卷积。在对参数表示的合理约束下，伪圆柱卷积可以通过具有所谓的伪圆柱填充的标准卷积来有效地实现。为了证明我们的想法的可行性，我们实现了一个端到端的360度的图像压缩系统，包括学习伪圆柱表示，分析变换，非均匀量化器，合成变换，和熵模型。在$19,790$全向图像上的实验结果表明，该方法比其他方法具有更好的率失真性能。此外，我们的方法的视觉质量显着提高了所有图像在所有比特率。

2021-12-25cs.CVeess.IV

用于卷积神经网络（CNN）压缩的变换Quantization

Transform Quantization for CNN (Convolutional Neural Network) Compression

Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）

在本文中，我们压缩卷积神经网络（CNN）的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计，从而在给定的量化比特率下产生次优的CNN性能，或者仅在训练期间考虑它们的联合统计，并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换（解相关）和重构，以在任何给定的量化比特率下提高压缩。变换量化将量化和降维（去相关）技术统一在一个框架中，以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论，并将最佳量化作为率失真优化问题。然后，我们表明，这个问题可以解决使用最佳的位深度分配后，解相关的最佳端到端学习变换（ELT），我们在本文中推导出。实验表明，变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地，我们发现具有再训练的变换量化能够将CNN模型（例如AlexNet、ResNet和DenseNet）压缩到非常低的比特率（1-2比特）。

2021-11-07cs.CVcs.ITcs.LG

神经图像压缩中的结构稀疏性研究

Exploring Structural Sparsity in Neural Image Compression

Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PengCheng Laboratory（鹏城实验室）

神经图像压缩已经达到或超过了传统的压缩方法（如JPEG、BPG、WebP）。然而，它们复杂的级联卷积层网络结构给实际部署带来了沉重的计算负担。本文探讨神经图像压缩网路中的结构稀疏性，以获得即时的加速，而不需任何专门的硬体设计或演算法。我们提出了一个简单的插件自适应二进制通道掩蔽（ABCM）来判断每个卷积通道的重要性，并在训练过程中引入稀疏性。在推理过程中，不重要的通道被修剪，以获得更苗条的网络和更少的计算。将该方法应用于三个不同熵模型的图像压缩神经网络中，实验结果表明，该方法在性能下降不明显的情况下，计算量减少了7倍，速度提高了3倍.

2022-03-11cs.CVcs.LGeess.IV

基于卷积自编码器和四维DCT感知编码的高动态范围光场综合表示与压缩方案

An Integrated Representation & Compression Scheme Based on Convolutional Autoencoders with 4D DCT Perceptual Encoding for High Dynamic Range Light Fields

Indian Institute of Technology Madras（印度理工学院马德拉斯分校）

新兴的和现有的光场显示器高度能够在自动立体裸眼平台上逼真地呈现3D场景。光场尺寸是利用3D显示器和流传输目的时的主要缺点。当光场具有高动态范围时，大小急剧增加。在本文中，我们提出了一种新的压缩算法的高动态范围的光场，产生一个感知上的无损压缩。该算法通过将HDR光场解释为四维体积来利用HDR光场的视图间和视图内相关性。HDR光场压缩是基于一种新的4DDCT-UCS（4D-DCT均匀颜色空间）算法。通过HEVC对4DDCT-UCS采集的图像的附加编码消除了HDR光场数据中的帧内、帧间和固有冗余。与JPEG-XL和HDR视频编码算法等最先进的编码器相比，该方案对真实世界光场的压缩性能优越。

2022-06-21cs.CVeess.IV

基于上下文的图像压缩卷积熵建模

Efficient and Effective Context-Based Convolutional Entropy Modeling for Image Compression

The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）

自然图像概率结构的精确估计在图像压缩中起着至关重要的作用。尽管最近端到端优化的图像压缩取得了显著的成功，但为了简化熵建模，通常假设潜码被完全统计地因式分解。然而，这种假设通常不成立，并且可能妨碍压缩性能。在这里，我们提出了基于上下文的卷积网络（CCN），用于高效和有效的熵建模。特别地，引入3D锯齿形扫描顺序和3D代码划分技术来定义用于并行熵解码的适当编码上下文，这两者归结为在CCN的卷积滤波器上放置平移不变的二进制掩码。我们展示了CCN在无损和有损图像压缩中用于熵建模的承诺。对于前者，我们直接将CCN应用于图像的二值化表示，以计算每个代码的Bernoulli分布用于熵估计。对于后者，每个代码的分类分布由高斯分布的离散化混合表示，其参数由三个CCN估计。然后，我们联合优化基于CCN的熵模型以及率失真性能的分析和合成变换。在Kodak和Tecnick数据集上的实验表明，我们提出的CCN方法通常可以实现与最先进技术相当的压缩性能，同时速度更快。

2020-03-28cs.CVeess.IV

FD-LSCIC：基于频率分解的学习型屏幕内容图像压缩

FD-LSCIC: Frequency Decomposition-based Learned Screen Content Image Compression

Shandong University（山东大学）；Shandong Inspur Artificial Intelligence Research Institute Co., Ltd.（山东浪潮人工智能研究院有限公司）；Huaqiao University（华侨大学）；Lingnan University（岭南大学）

针对学习型图像压缩方法直接应用于屏幕内容图像效果不佳的问题，提出基于频率分解的新型压缩方法并构建万级规模数据集，在相关指标上优于传统标准与现有学习型方法。

2025-02-21cs.CVeess.IV

LFIC-DRASC：基于解纠缠表征与非对称条带卷积的深光场图像压缩

LFIC-DRASC: Deep Light Field Image Compression Using Disentangled Representation and Asymmetrical Strip Convolution

Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；School of Electronics and Communication Engineering, Sun Yat-Sen University（中山大学电子与通信工程学院）

针对光场图像数据量大导致的处理、传输和存储难题，提出基于解纠缠表征与非对称条带卷积的端到端深度压缩方法LFIC-DRASC，相比现有最优方法平均降低20.5%比特率。

2024-09-18cs.CVeess.IV

去除图像中DCT伪影的全卷积网络

Fully Convolutional Network for Removing DCT Artefacts From Images

Czȩstochowa University of Technology（琴斯托霍瓦科技大学）；University of Social Sciences（社会科学大学）；Information Technology Institute（信息技术研究所）

图像压缩是图像处理的基本方法之一。它最突出的优点是图像尺寸的显着减少，允许更有效的存储和传输。然而，有损压缩与有利于减小其大小的一些图像细节的损失相关联。在压缩图像中，缺陷表现为以伪影形式存在的明显缺陷;最常见的是块伪影、振铃效应或模糊。在本文中，我们提出了三种具有不同配置的全卷积网络模型，并研究了它们在减少压缩伪影方面的能力。在实验中，我们研究了将以与压缩算法类似的方式处理图像的模型的结果改善的程度，以及使用预定义的滤波器的初始化是否允许比仅在学习期间开发的更好的图像重建。

2021-05-24cs.CVeess.IV

频率感知重参数化用于基于过拟合的图像压缩

Frequency-Aware Re-Parameterization for Over-Fitting Based Image Compression

Intel Corporation（英特尔公司）

针对基于过拟合的图像压缩，提出一种频率感知重参数化方法，将卷积核表示为DCT核的加权和，结合L1正则化，在频域直接优化，实现低计算成本下显著改善率失真，仅200次迭代即在HEIF基础上获得高达-46.12%的BD-rate提升。

2023-10-12cs.CVeess.IV

用于学习图像压缩的自组织变分自编码器（Self-VAE）

Self-Organized Variational Autoencoders (Self-VAE) for Learned Image Compression

Koç University（科奇大学）；Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）

在端到端优化的学习图像压缩中，标准做法是使用具有广义分裂归一化（GDN）的卷积变分自动编码器来将图像变换到潜在空间中。最近，已经提出了从一组备选方案中学习最佳非线性的操作神经网络（ONN）及其自组织变体Self-ONN，通过泰勒级数近似任何非线性，以解决卷积层和固定非线性激活的限制。在本文中，我们建议用自组织操作层取代变分自动编码器中的卷积层和GDN层，并提出一种新的自组织变分自动编码器（Self-VAE）架构，该架构受益于更强的非线性。实验结果表明，所提出的Self-VAE产生率失真性能和感知图像质量的改善。

2021-05-28cs.CVeess.IV

OSLO-IC：结合注意力模块与空间上下文的球面端到端学习全向图像压缩

OSLO-IC: On-the-Sphere Learned Omnidirectional Image Compression with Attention Modules and Spatial Context

本文改进OSLO全向图像压缩框架，提出球面注意力模块、残差块、空间自回归上下文模型及球面转置卷积上采样，实现23.1%的WS-PSNR BD率下降并将参数减少四分之三。

2025-03-17eess.IV

具有先验分布竞争的端到端优化图像压缩

End-to-end optimized image compression with competition of prior distributions

intoPIX（intoPIX公司）；Université catholique de Louvain（鲁汶天主教大学）

卷积自动编码器现在处于图像压缩研究的前沿。为了改进它们的熵编码，通常使用第二自动编码器来分析编码器输出，以生成每个变量的参数化先验概率分布。相反，我们提出了一种压缩方案，该方案使用单个卷积自动编码器和多个学习的先验分布作为专家的竞争。训练的先验分布存储在累积分布函数的静态表中。在推断期间，该表由熵编码器用作查找表以确定每个空间位置的最佳先验。我们的方法提供的率失真性能与预测参数化前，只有一小部分的熵编码和解码的复杂性。

2021-11-17cs.CVeess.IV

基于深度残差学习的图像压缩

Deep Residual Learning for Image Compression

在本文中，我们详细描述了我们为CVPR 2019研讨会和学习图像压缩挑战赛（CLIC）设计的方法。我们的方法主要包括两个建议，即用于图像压缩的深度残差学习和作为上采样操作的亚像素卷积。实验结果表明，我们的方法，Kattolab，Kattolabv 2和KattolabSSIM，达到0.972在MS-SSIM在速率约束为0.15bpp的验证阶段具有中等的复杂度。

2019-06-24eess.IV

用于端到端图像压缩的扩展自适应尺度归一化

Expanded Adaptive Scaling Normalization for End to End Image Compression

近来，利用卷积神经层的基于学习的图像压缩方法得到了快速发展。卷积神经网络中经常使用的批量归一化等重缩放模块不会对各种输入进行自适应操作。因此，广义可分归一化（GDN）已被广泛用于图像压缩中，以跨空间和通道轴自适应地重新缩放输入特征。然而，GDN的代表权或自由度受到严重限制。此外，GDN不能考虑图像的空间相关性。为了解决GDN的局限性，我们构建了一个扩展形式的自适应缩放模块，命名为扩展自适应缩放归一化（EASY）。首先，我们利用swish函数来增加表示能力。然后，我们增加了感受野，使自适应重新缩放模块考虑空间相关性。此外，我们引入了一个输入映射函数，使模块的自由度更高。我们演示了我们的Estrom如何在一个图像压缩网络中使用的特征图的可视化结果，我们进行了大量的实验表明，我们的Estrom显着提高率失真性能，甚至优于VVC帧内在高比特率。

2022-08-05eess.IV

OSLO：全方位图像的球上学习及其在360度图像压缩中的应用

OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression

Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）；ETH Zurich（苏黎世联邦理工学院）

最先进的2D图像压缩方案依赖于卷积神经网络（CNN）的能力。尽管CNN为2D图像压缩提供了有希望的前景，但将此类模型扩展到全向图像并不简单。首先，全向图像具有特定的空间和统计特性，不能完全捕获当前的CNN模型。第二，构成CNN架构的基本数学运算，例如，平移和采样，在球体上没有很好的定义。在本文中，我们研究了全向图像表示模型的学习，并提出使用HEALPix球体均匀采样的属性来重新定义全向图像深度学习模型中使用的数学工具。我们尤其：i）提出球面上新卷积运算的定义，其保持经典2D卷积的高表现力和低复杂度; ii）使标准CNN技术（例如步幅、迭代聚合和像素重排）适应球面域;然后iii）将我们的新框架应用于全向图像压缩的任务。我们的实验表明，我们提出的球体上的解决方案导致更好的压缩增益，可以节省13.7%的比特率相比，类似的学习模型应用于等距矩形图像。此外，与基于图卷积网络的学习模型相比，我们的解决方案支持更具表现力的滤波器，可以保留高频并提供更好的压缩图像感知质量。这样的结果表明，所提出的框架，这开辟了新的研究场所，其他全向视觉任务，有效地实现了球面流形上的效率。

2022-08-21cs.CVeess.IV

仅使用基于注意力的神经网络的图像压缩

Image Compression using only Attention based Neural Networks

École des Ponts ParisTech（巴黎路桥学院）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；ESIEE Paris（巴黎高等电子与电工技术工程师学院）；CNRS（法国国家科学研究中心）

本文提出QPressFormer，一种仅使用注意力层的图像压缩模型，通过学习式图像查询和交叉注意力聚合信息，在Kodak、DIV2K和CLIC数据集上达到竞争性能。

2023-10-17cs.CVeess.IV

SADN：空间-角度解相关的学习光场图像压缩

SADN: Learned Light Field Image Compression with Spatial-Angular Decorrelation

Tsinghua University（清华大学）

光场图像成为沉浸式视频应用中最有前途的媒体类型之一。本文提出了一种新的端到端空间-角度去相关网络（SADN），用于高效的光场图像压缩。与现有的利用光场图像的空间一致性或角度一致性的方法不同，SADN通过空间-角度交互中的伸缩卷积和步幅卷积来叠加角度和空间信息，并进行特征融合来联合压缩空间和角度信息。为了训练一个稳定、鲁棒的算法，提出并建立了一个由7549幅光场图像组成的大规模数据集。所提出的方法相对于H.266/VVC和H.265/HEVC帧间编码分别提供了2.137倍和2.849倍的压缩效率。它还优于端到端图像压缩网络，平均节省79.6%的比特率，具有更高的主观质量和光场一致性。

2022-02-22cs.CVeess.IV

基于稀疏张量的多尺度点云几何压缩

Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression

Nanjing University（南京大学）；HangZhou Normal University（杭州师范大学）；University of Missouri（密苏里大学）；Jiangsu Longyuan Zhenhua Marine Engineering Co., LTD.（江苏龙源振华海洋工程有限公司）

本研究发展一种统一的点云几何压缩方法，透过处理多尺度稀疏张量体素化的点云几何。我们称这种压缩方法为SparsePCGC。所提出的SparsePCGC是一种低复杂度的解决方案，因为它只对稀疏分布的最可能正占用体素（MP-POXEL）执行卷积。多尺度表示还允许我们通过广泛灵活地利用跨尺度和同尺度相关性来压缩尺度方面的MP-POV。整体压缩效率高度依赖于每个MP-RTP的估计占用概率的准确性。因此，我们首先设计了基于稀疏卷积的神经网络（SparseCNN），它堆叠稀疏卷积和体素采样，以最好地表征和嵌入空间相关性。然后，我们开发了基于SparseCNN的占用概率近似（SOPA）模型，以仅使用跨尺度相关性的单阶段方式估计占用概率，或者通过利用同尺度邻居之间的阶段相关性以多阶段方式估计占用概率。此外，我们还提出了基于SparseCNN的局部邻域嵌入（SLNE）来聚合局部变化作为特征属性的空间先验，以改进SOPA。与标准化的MPEG G-PCC和其他流行的基于学习的方案相比，我们的统一方法不仅在无损和有损压缩模式下在各种数据集上显示出最先进的性能，包括密集对象PCG（8iVFB，Owlii，MUVB）和稀疏LiDAR PCG（KITTI，Ford），而且具有低复杂度，对实际应用有吸引力。

2022-10-21cs.CVeess.IV

用于千兆像素历史学图像分析的神经图像压缩

Neural Image Compression for Gigapixel Histopathology Image Analysis

Radboud University Medical Center（拉德堡德大学医学中心）

我们提出了神经图像压缩（NIC），这是一种两步方法，仅使用弱图像级标签构建用于千兆像素图像分析的卷积神经网络。首先，使用以无监督方式训练的神经网络压缩千兆像素图像，保留高级信息，同时抑制像素级噪声。其次，在这些压缩图像表示上训练卷积神经网络（CNN）以预测图像级标签，从而避免了对细粒度手动注释的需要。我们比较了几种编码策略，即重建误差最小化，对比训练和对抗性特征学习，并在合成任务和两个公共组织病理学数据集上评估了NIC。我们发现，NIC可以成功地利用与图像级标签相关联的视觉线索，整合全局和局部视觉信息。此外，我们可视化了CNN关注的输入千兆像素图像的区域，并确认它们与人类专家的注释重叠。

2020-04-15cs.CVeess.IV

学习驱动的有损图像压缩：综述

Learning-Driven Lossy Image Compression; A Comprehensive Survey

Sejong University（世宗大学）；Polytechnique Montreal（蒙特利尔理工学院）

在图像处理和计算机视觉（CV）领域中，机器学习（ML）架构被广泛应用。卷积神经网络（CNN）解决了广泛的图像处理问题，可以解决图像压缩问题。由于带宽和内存的限制，图像的压缩是必要的。有用信息、冗余信息和无关信息是图像中存在的三种不同形式的信息。本文旨在调查使用ML架构的主要有损图像压缩的最新技术，包括不同的自动编码器（AE），如卷积自动编码器（CAE），变分自动编码器（VAE），以及具有超先验模型的AE，递归神经网络（RNN），CNN，生成对抗网络（GANs），主成分分析（PCA）和模糊均值聚类。我们把所有的算法分为几组的基础上架构。我们涵盖了静态图像压缩在这个调查。强调了研究人员的各种发现以及研究人员未来可能的方向。解释了开放研究问题，如内存不足（OOM），条纹区域失真（SRD），混叠，以及框架与中央处理器（CPU）和图形处理器（GPU）同时兼容。所调查的压缩领域的大多数出版物都来自过去五年，并使用了各种方法。

2022-01-23cs.AIcs.CVcs.MM