Lossy Image Compression with Compressive Autoencoders
Twitter（推特）
我们提出了一种新的方法来优化有损图像压缩的自动编码器的问题。新的媒体格式、不断变化的硬件技术以及多样化的要求和内容类型，都需要比现有编解码器更灵活的压缩算法。自动编码器有可能满足这一需求，但由于压缩损失的固有不可微性，很难直接优化。我们在这里表明，对损失的最小变化足以训练与JPEG 2000竞争的深度自动编码器，并优于最近提出的基于RNN的方法。由于采用了亚像素架构，我们的网络在计算上更加高效，这使得它适用于高分辨率图像。这与以前的自动编码器压缩工作相比，使用较粗糙的近似，较浅的架构，计算昂贵的方法，或专注于小图像。
2017-03-01 cs.CV stat.ML
End-to-end optimized image compression with competition of prior distributions
intoPIX（intoPIX公司）；Université catholique de Louvain（鲁汶天主教大学）
卷积自动编码器现在处于图像压缩研究的前沿。为了改进它们的熵编码，通常使用第二自动编码器来分析编码器输出，以生成每个变量的参数化先验概率分布。相反，我们提出了一种压缩方案，该方案使用单个卷积自动编码器和多个学习的先验分布作为专家的竞争。训练的先验分布存储在累积分布函数的静态表中。在推断期间，该表由熵编码器用作查找表以确定每个空间位置的最佳先验。我们的方法提供的率失真性能与预测参数化前，只有一小部分的熵编码和解码的复杂性。
2021-11-17 cs.CV eess.IV
Clinically Relevant Latent Space Embedding of Cancer Histopathology Slides through Variational Autoencoder Based Image Compression
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Ronald Reagan University of California Los Angeles Medical Center（罗纳德·里根加州大学洛杉矶分校医学中心）
本文提出基于变分自编码器的图像压缩方法，以1:512压缩比处理癌症病理切片并保持临床验证准确度，优于SOTA，并验证了潜在空间嵌入在临床解释与加速数据搜索中的价值。
2023-03-23 cs.CV eess.IV q-bio.QM
Deep Convolutional AutoEncoder-based Lossy Image Compression
Waseda University（早稻田大学）
图像压缩作为一个基础研究课题已经研究了几十年。最近，深度学习在许多计算机视觉任务中取得了巨大成功，并逐渐被用于图像压缩。在本文中，我们提出了一种有损图像压缩架构，它利用卷积自动编码器（CAE）的优点，以实现高的编码效率。首先，我们设计了一个新的CAE架构，以取代传统的转换和训练这个CAE使用率失真损失函数。其次，为了生成一个更节能的表示，我们利用主成分分析（PCA）旋转CAE产生的特征图，然后应用量化和熵编码器生成代码。实验结果表明，我们的方法优于传统的图像编码算法，通过实现13.7%的BD率减少柯达数据库图像相比，JPEG 2000。此外，我们的方法保持了适度的复杂度类似于JPEG 2000。
2018-04-25 cs.CV
DRASIC: Distributed Recurrent Autoencoder for Scalable Image Compression
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
我们提出了一种新的架构，从一组分布式数据源的分布式图像压缩。这项工作是出于数据驱动的编解码器设计，低功耗，鲁棒性和数据隐私的实际需求。提出的架构，我们称之为分布式递归自动编码器的可伸缩图像压缩（DRASIC），是能够训练分布式编码器和一个联合解码器相关的数据源。它的压缩性能比单独训练编解码器的方法要好得多。同时，我们的分布式系统与10个分布式源的性能只有在2 dB的峰值信噪比（PSNR）的一个单一的编解码器训练的所有数据源的性能。我们实验分布式源不同的相关性，并显示我们的数据驱动的方法以及匹配的Slepian-Wolf定理在分布式信源编码（DSC）。据我们所知，这是第一个用于通用分布式代码设计的数据驱动DSC框架，具有深度学习。
2019-12-28 cs.CV
CAESR: Conditional Autoencoder and Super-Resolution for Learned Spatial Scalability
IRT b；TDF；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR（雷恩电子与电信研究所）
在本文中，我们提出了CAESR，一个混合学习为基础的编码方法的空间可伸缩性的基础上，通用的视频编码（VVC）标准。我们的框架认为，低分辨率的信号编码VVC帧内模式作为一个基本层（BL），和一个深度条件自动编码器与超先验（AE-HP）作为增强层（EL）模型。EL编码器将放大的BL重构和原始图像两者作为输入。我们的方法依赖于条件编码，学习源和放大的BL图像的最佳混合，从而实现比残差编码更好的性能。在解码器侧，使用超分辨率（SR）模块来恢复高分辨率细节并反转条件编码过程。实验结果表明，我们的解决方案是具有竞争力的VVC全分辨率帧内编码，同时是可扩展的。
2022-02-01 cs.CV eess.IV eess.SP
HyVIC: A Metric-Driven Spatio-Spectral Hyperspectral Image Compression Architecture Based on Variational Autoencoders
本文提出HyVIC架构，通过度量驱动策略优化空间和光谱特征学习，提升超分辨率图像压缩的重建保真度和压缩效率，实验表明在多种压缩比下均取得显著改进。
2026-10-09 cs.CV
Conditional Hallucinations for Image Compression
ETH Zürich（苏黎世联邦理工学院）
针对有损图像压缩中因信息瓶颈导致的幻觉问题，提出根据图像内容动态平衡幻觉程度的压缩方法ConHa，通过训练模型预测用户偏好并据此调整重建损失中的感知权重，性能优于现有方法。
2025-03-05 cs.CV cs.LG eess.IV
Hierarchical Quantized Autoencoders
Speechmatics（Speechmatics公司）
尽管在训练用于有损图像压缩的神经网络方面取得了进展，但当前的方法无法在非常低的比特率下保持感知质量和抽象特征。最近在学习离散表示与矢量量化变分自编码器（VQ-VAE）的成功，我们鼓励使用的VQ-VAE的层次结构，以达到高的压缩因子。我们表明，随机量化和分层潜在结构的组合，艾滋病的可能性为基础的图像压缩。这导致我们引入一个新的目标，训练分层VQ-VAE。我们的方案产生了一系列的马尔可夫潜变量，重建图像的高感知质量，保留语义有意义的功能。我们对CelebA和MNIST数据集进行了定性和定量评估。
2020-10-16 cs.CV cs.LG cs.NE
An Autoencoder-based Learned Image Compressor: Description of Challenge Proposal by NCTU
National Chiao Tung University（国立交通大学）
我们提出了一个使用深度学习自动编码器结构的有损图像压缩系统，以参加2018年学习图像压缩挑战赛（CLIC）。我们的自动编码器使用具有跳过连接的残差块来减少图像像素之间的相关性，并将输入图像压缩成一组特征图，这是原始图像的紧凑表示。利用重要性图和量化器实现了比特分配和比特率控制。重要性图由编码器中的单独神经网络生成。基于最小化均方误差的加权和MS-SSIM和速率估计来联合训练自动编码器和重要性网络。我们的目标是产生具有良好的主观质量的重建图像的0.15位每像素的约束。
2019-02-20 cs.CV
Efficient training for compact compression models via sequential distillation
Univ. Rennes, Inria, CNRS, IRISA, Rennes, France（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、IRISA、里昂，法国）
本文提出了一种通过序列知识蒸馏减少自动编码器压缩网络的方法，通过简化早期优化目标和逐步引入复杂性，提高了轻量级模型的重建质量与统计保真度，适用于资源受限环境。
2026-05-19 cs.CV cs.LG
An Integrated Representation & Compression Scheme Based on Convolutional Autoencoders with 4D DCT Perceptual Encoding for High Dynamic Range Light Fields
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
新兴的和现有的光场显示器高度能够在自动立体裸眼平台上逼真地呈现3D场景。光场尺寸是利用3D显示器和流传输目的时的主要缺点。当光场具有高动态范围时，大小急剧增加。在本文中，我们提出了一种新的压缩算法的高动态范围的光场，产生一个感知上的无损压缩。该算法通过将HDR光场解释为四维体积来利用HDR光场的视图间和视图内相关性。HDR光场压缩是基于一种新的4DDCT-UCS（4D-DCT均匀颜色空间）算法。通过HEVC对4DDCT-UCS采集的图像的附加编码消除了HDR光场数据中的帧内、帧间和固有冗余。与JPEG-XL和HDR视频编码算法等最先进的编码器相比，该方案对真实世界光场的压缩性能优越。
2022-06-21 cs.CV eess.IV
D-CNN and VQ-VAE Autoencoders for Compression and Denoising of Industrial X-ray Computed Tomography Images
Department for X-Ray Imaging, Federal Institute for Materials Research（X射线成像部门，材料研究与测试联邦机构）；Institute of Physics and Astronomy, University of Potsdam（物理与天文学研究所，波茨坦大学）
本研究利用 D-CNN 和 VQ-VAE 两种自编码器压缩工业 XCT 图像，引入边缘保留敏感指标评估质量，发现不同架构和压缩率需按需选择，为数据存储与分析提供指导。
2025-07-10 cs.CV eess.IV
Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Tencent America（腾讯美国）；Advanced Institute of Information Technology, Peking University（北京大学先进信息研究院）
点云是一种基本的3D表示，广泛应用于自动驾驶等现实世界的应用。点云作为一种新兴的媒体格式，其特点是复杂性和不规则性，需要比现有编解码器更灵活的压缩算法。最近，自动编码器（AE）在许多视觉分析任务以及图像压缩中显示出其有效性，这激励我们将其应用于点云压缩。在本文中，我们提出了一种通用的基于自动编码器的有损几何点云压缩架构。据我们所知，它是第一个基于自动编码器的几何压缩编解码器，直接将点云作为输入，而不是体素网格或图像集合。与手工编解码器相比，这种方法可以更快地适应以前看不到的媒体内容和媒体格式，同时实现具有竞争力的性能。我们的架构包括一个基于点网络的编码器，一个均匀量化器，一个熵估计块和一个非线性合成变换模块。在点云有损几何压缩中，实验结果表明，该方法优于MPEG-3DG组在第125次会议上公布的第1类和第3类测试模型（TMC 13），平均获得了73.15%的BD率增益。
2019-04-18 cs.CV cs.MM eess.IV
H3AE: High Compression, High Speed, and High Quality AutoEncoder for Video Diffusion Models
Snap Inc.；Northeastern University（东北大学）
针对视频扩散模型中自动编码器潜力未充分挖掘的问题，提出H3AE架构，通过优化计算分布、全量训练目标和潜一致性损失，实现超高压缩比与多端实时解码，重建性能大幅领先，还可支撑快速高质量文生视频任务。
2025-10-01 cs.CV eess.IV
Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression
图像压缩已经研究了几十年。近年来，深度学习方法在许多计算机视觉任务中取得了巨大的成功，并逐渐应用于图像压缩中。在本文中，我们开发了三种基于卷积自编码器（CAE）、生成对抗网络（GANs）和超分辨率（SR）的整体压缩架构，并进行了全面的性能比较。实验结果表明，CAE算法提取的压缩特征比JPEG算法有更好的编码效率。GANs在大压缩比和高主观质量重建方面显示出潜在的优势。其中，超分辨率实现了与BPG相当的最佳率失真（RD）性能。
2018-07-01 eess.IV
Convolutional Autoencoders for Lossy Light Field Compression
神经网络宽度的扩展和缩减在传播信息的熵方面具有众所周知的性质。当一个编码器网络和一个解码器网络小心地堆叠在一起时，就会产生一个自动编码器，通常用于压缩。使用这种架构，我们开发了一种编码和解码4D光场数据的有效方法，以最小的质量损失获得大量的压缩因子。我们的最佳结果设法实现了48.6倍的压缩，PSNR为29.46 dB，SSIM为0.8104。编码器和解码器的计算可以实时运行，平均计算时间分别为1.62s和1.81s，按照今天的存储标准，整个网络占用合理的584MB。
2020-07-31 eess.IV
Patch-Based Deep Autoencoder for Point Cloud Geometry Compression
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着3D应用的日益广泛，点云数据压缩变得前所未有的重要和必要。在本文中，我们提出了一个基于块的压缩过程，使用深度学习，重点是有损点云几何压缩。与现有的点云压缩网络不同，它对整个点云应用特征提取和重建，我们将点云划分为补丁，并独立压缩每个补丁。在解码过程中，我们最终将解压缩的补丁组装成一个完整的点云。此外，我们通过补丁到补丁标准来训练我们的网络，即，利用局部重构损失进行优化，以逼近全局重构最优。我们的方法在率失真性能方面优于最先进的方法，特别是在低比特率下。此外，我们提出的压缩过程可以保证生成与输入相同数量的点。该方法的网络模型可以很容易地应用于其他点云重建问题，如上采样。
2021-10-18 cs.CV cs.MM eess.IV
Edge-Aware Autoencoder Design for Real-Time Mixture-of-Experts Image Compression
定向专家混合（Steered-Mixtures-of-Experts，SMoE）模型提供稀疏的、边缘感知的表示，适用于图像处理中的许多用例。这包括去噪、超分辨率和压缩2D和更高维的像素数据。最近的图像压缩工作表明，基于SMoE模型的图像压缩可以提供与现有技术相比具有竞争力的性能。不幸的是，编码器处的迭代模型构建过程带来了过多的计算需求。在本文中，我们介绍了一种新的边缘感知自动编码器（AE）的策略，旨在避免耗时的迭代优化的SMoE模型。这是通过直接将像素块映射到用于压缩的模型参数来完成的，其精神类似于最近关于算法的“展开”的工作，同时保持与所建立的SMoE框架的完全兼容性。通过我们的插件AE编码器，我们实现了性能的飞跃，编码器运行时间节省了500到1000倍，甚至提高了图像重建质量。对于图像压缩的插件AE编码器具有实时性能，并提高了RD性能相比，我们以前的作品。
2022-07-25 eess.IV
Video Compression With Rate-Distortion Autoencoders
Qualcomm AI Research（高通人工智能研究院）
在本文中，我们提出了一个深度生成模型的有损视频压缩。我们采用的模型，包括一个3D的自编码器与离散的潜在空间和自回归先验用于熵编码。自动编码器和先验都被联合训练以最小化率失真损失，这与变分自动编码器中使用的ELBO密切相关。尽管它很简单，我们发现我们的方法优于最先进的学习视频压缩网络的基础上运动补偿或插值。我们系统地评估各种设计选择，如使用基于帧的或时空自编码器，以及自回归先验的类型。此外，我们提出了三个扩展的基本方法，证明了传统的方法压缩的好处。首先，我们引入语义压缩，其中模型被训练为将更多的比特分配给感兴趣的对象。其次，我们研究自适应压缩，其中模型适应于具有有限可变性的域，例如，从自动驾驶汽车拍摄的视频，以实现该领域的卓越压缩。最后，我们介绍了多模态压缩，在那里我们证明了我们的模型在联合压缩非标准成像传感器（如四摄像头）捕获的多种模态中的有效性。我们相信，这开辟了新的视频压缩应用，这是不可行的经典编解码器。
2019-11-13 cs.LG eess.IV stat.ML
Text to Image Synthesis using Stacked Conditional Variational Autoencoders and Conditional Generative Adversarial Networks
Institute of Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
从文本描述合成真实感图像是计算机视觉的一个主要挑战。当前的文本到图像合成方法不能产生表示文本描述符的高分辨率图像。大多数现有的研究依赖于生成对抗网络（GANs）或变分自动编码器（VAE）。GANs有能力产生更清晰的图像，但缺乏输出的多样性，而VAE擅长产生各种各样的输出，但生成的图像往往是模糊的。考虑到GANs和VAE的相对优势，我们提出了一种新的堆叠条件VAE（CVAE）和条件GAN（CGAN）网络架构，用于合成以文本描述为条件的图像。本研究使用条件VAE作为初始生成器来生成文本描述符的高级草图。第一阶段的高级草图输出和文本描述符用作条件GAN网络的输入。第二级GAN产生256 × 256高分辨率图像。所提出的架构受益于条件增强和条件GAN网络上的残差块来实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出的方法的结果与StackGAN等最先进的技术进行了比较。实验结果表明，该方法在文本描述的条件下生成高分辨率图像，并在使用两个数据集的Inception和Frechet Inception Score的基础上产生有竞争力的结果
2022-08-15 cs.CV eess.IV
Towards Device Efficient Conditional Image Generation
AI Foundation（人工智能基金会）
我们提出了一种新的算法，以减少张量计算所需的条件图像生成自动编码器，而不牺牲质量的照片般逼真的图像生成。我们的方法是设备不可知的，并且可以在通用工作站上训练自动编码器所需的大约正常时间内为给定的仅CPU的GPU计算设备优化自动编码器。我们通过一个两阶段的新策略来实现这一点，首先，我们压缩信道权重，这样，使用尽可能少的信道。然后，我们修剪几乎为零的权重激活，并微调自动编码器。为了保持图像质量，微调是通过学生-教师培训完成的，在那里我们重复使用压缩的自动编码器作为教师。我们展示了各种条件图像生成任务的性能提升：分割掩码到人脸图像，人脸图像到卡通化，最后是多个计算设备上基于CycleGAN的模型。我们进行了各种消融研究，以证明声明和设计选择的合理性，并在仅CPU的设备上实现了各种自动编码器的实时版本，同时保持图像质量，从而实现了此类自动编码器的大规模部署。
2022-10-14 cs.CV cs.GR eess.IV
IPDAE: Improved Patch-Based Deep Autoencoder for Lossy Point Cloud Geometry Compression
点云数据是三维内容的重要表示形式，在虚拟现实、混合现实、自动驾驶等领域有着广泛的应用。随着点云数据中数据点数量的增加，如何有效地压缩点云数据成为一个具有挑战性的问题。在本文中，我们提出了一套显着的改进，以补丁为基础的点云压缩，即，用于熵编码的可学习上下文模型、用于采样质心点的八叉树编码以及集成的压缩和训练过程。此外，我们还提出了一个对抗网络来提高重建过程中点的均匀性。我们的实验表明，改进的基于补丁的自动编码器优于国家的最先进的率失真性能方面，稀疏和大规模的点云。更重要的是，我们的方法可以保持较短的压缩时间，同时保证重建质量。
2022-08-04 cs.CV cs.IT cs.MM
FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings
本文提出 FrameCorr，一种基于自编码器和深度学习的自适应视频压缩方法，可在带宽与时序受限的 IoT 网络中利用已接收数据补全缺失片段并重建视频帧。
2024-09-10 cs.CV cs.ET cs.MM
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
Discovering shared interpretable operations in image compression autoencoders
Univ. Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA）
研究能否通过雅可比分析从无偏自动编码器内部操作中检测通用行为，若存在则提取以设计受深度学习架构启发的低复杂度图像压缩模型。
2026-10-30 cs.MM eess.IV eess.SP
Autoencoder based image compression: can the learning be quantization independent?
INRIA Rennes Bretagne-Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
本文探讨了通过自编码器学习图像压缩变换的问题。通常，图像压缩的率失真性能通过改变量化步长来调节。在自动编码器的情况下，这原则上需要在给定的量化步长下学习每个率失真点的一个变换。在这里，我们表明，可比的性能可以获得一个独特的学习变换。然后通过在测试时间改变量化步长来达到不同的率失真点。这种方法节省了大量的训练时间。
2018-02-23 cs.LG eess.IV eess.SP
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）
类别不平衡发生在许多现实世界的应用中，包括图像分类，其中每个类别中的图像数量显著不同。对于不平衡的数据，生成对抗网络（GANs）倾向于多数类样本。最近提出的两种方法，平衡GAN（BAGAN）和改进的BAGAN（BAGAN-GP），作为一种增强工具来处理这个问题，并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而，当来自不同类别的图像具有相似的特征时，它是不稳定的。后者是在BAGAN的基础上改进的，通过促进监督自动编码器训练，但预训练偏向于大多数类。在这项工作中，我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络（CAPGAN）作为增强工具，以生成逼真的合成图像。特别地，我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST，Fashion-MNIST，CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离，结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
Generalized Difference Coder: A Novel Conditional Autoencoder Structure for Video Compression
运动补偿帧间预测是所有视频编码器的共同组件。该概念在传统的混合编码中建立，并成功地转移到基于学习的视频压缩。为了压缩预测后的残差信号，通常使用标准自动编码器压缩两个信号的差。然而，信息论告诉我们，一般的条件编码器更有效。在本文中，我们提供了一个坚实的基础上的信息论和香农熵显示的潜力，但也有条件编码的限制。在这些结果的基础上，我们提出了广义差分编码器，一个特殊情况下的条件编码器的设计，以避免限制瓶颈。使用此编码器，与标准自动编码器相比，我们能够实现27.8%的平均速率节省，仅增加不到7%的适度复杂性开销。
2021-12-15 cs.IT eess.IV math.IT
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）；KU Leuven（荷语鲁汶大学）；Alan Turing Institute（艾伦·图灵研究所）
提出将条件变分自编码器与归一化流结合的条件流VAE，用于可控合成解剖虚拟人群，在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Compression-Driven Anomaly Detection in Brain MRI Using an Interpretable Quantum Autoencoder
Kingston University（金史密斯大学）；Quantum AI (QAI) Research Group（量子人工智能研究组）；School of Computer Science and Mathematics (CSM)（计算机科学与数学学院）；Faculty of Engineering, Computing and the Environment (ECE)（工程、计算与环境学院）
提出一种量子自编码器（QAE），利用角度编码和变分编码器-解码器架构，通过压缩异常检测脑MRI中的肿瘤区域，在切片级和块级ROC-AUC上分别达到约0.95和0.813，优于经典自编码器和PCA基线。
2026-06-29 cs.AI eess.IV quant-ph
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University（南京大学）
我们提出了一种基于多尺度自动编码器（MSAE）的极端图像压缩框架，以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率，并采用具有多尺度鉴别器的生成对抗网络（GAN）来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法，使用高效视频编码（HEVC）的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集，展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Lossy Medical Image Compression using Residual Learning-based Dual Autoencoder Model
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）
在这项工作中，我们提出了一个两阶段的自动编码器为基础的压缩-解压缩框架压缩疟疾红细胞图像补丁。我们知道，用于疾病诊断的医学图像大约是几千兆字节大小，这是相当巨大的。提出的基于残差的双自编码器网络被训练以提取唯一特征，然后通过解压缩模块将其用于重建原始图像。两个潜在空间表示（第一个用于原始图像，第二个用于残差图像）用于重建最终的原始图像。Color-SSIM专门用于检查解压缩后细胞图像的色度部分的质量。实验结果表明，所提出的工作优于其他神经网络相关的医学图像压缩技术的PSNR，彩色SSIM和MS-SSIM分别约35%，10%和5%。与JPEG-LS、JP 2K-LM、CALIC和最近的神经网络方法相比，该算法的比特节省率分别为76%、78%、75%和74%，是一种很好的压缩-解压缩技术。
2021-08-24 cs.AI cs.LG eess.IV
Convolutional variational autoencoders for secure lossy image compression in remote sensing
McMaster（麦克马斯特大学）；Adastra Corporation（阿达斯特拉公司）
针对遥感数据量大、传输受限且有安全需求的问题，本研究提出结合熵瓶颈的卷积变分自编码器图像压缩方法，通过优化复合损失函数平衡压缩率与重建质量，性能优于JPEG2000等传统方法。
2024-04-16 cs.LG eess.IV
CANF-VC: Conditional Augmented Normalizing Flows for Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）；CNIT（意大利国家电信联盟）；University of Brescia（布雷西亚大学）
提出了一种基于条件增强规范化流（CANF）的端到端学习视频压缩系统CANF VC。大多数已知的视频压缩系统采用与传统编解码器相同的基于混合的编码架构。最近对条件编码的研究表明了基于混合的编码的次优性，并为深度生成模型在创建新的编码框架中发挥关键作用提供了机会。CANF-VC代表了利用条件ANF来学习用于条件帧间编码的视频生成模型的新尝试。我们选择ANF是因为它是一种特殊类型的生成模型，其中包括变分自编码器作为特例，并且能够实现更好的表达。CANF-VC还将条件编码的思想扩展到运动编码，形成了一个纯条件编码框架。在常用数据集上的大量实验结果证实了CANF-VC方法的优越性。CANF-VC的源代码可在https://github.com/NYCU-MAPL/CANF-VC上获得。
2022-08-15 cs.CV cs.LG eess.IV
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies（诺基亚科技）
在本文中，我们提出了神经图像压缩的两个客观术语：压缩目标和周期损失。这些项应用于自动编码器的编码器输出，并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真（码域失真）。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器：a）MSE，b）MSE和MSSSIM，c）MSE、MS-SSIM和循环损耗。我们观察到，由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点（同时具有相似的比特率）。特别地，仅MSE训练有利于低图像域失真，而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
Hierarchical Autoencoder-based Lossy Compression for Large-scale High-resolution Scientific Data
Texas A&M University（德克萨斯农工大学）；School of Performance, Visualization, and Fine Arts（表演、可视化与美术学院）
本文提出一种基于分层自编码器的神经网络，用于大规模高分辨率科学数据有损压缩，在多个科学基准上达到140倍压缩比，并在CESM 500年2D气候数据上达到200倍且误差可忽略。
2024-05-06 cs.AI cs.LG eess.IV
Variational image compression with a scale hyperprior
我们描述了一个端到端的可训练模型的基础上变分自编码器的图像压缩。该模型结合了超先验，以有效地捕捉潜在表示中的空间依赖性。该超先验涉及边信息，边信息是几乎所有现代图像编解码器通用的概念，但在使用人工神经网络（ANN）的图像压缩中基本上未被探索。与现有的自动编码器压缩方法不同，我们的模型与底层自动编码器一起训练复杂的先验。我们证明，该模型导致国家的最先进的图像压缩时，使用流行的MS-SSIM指数测量视觉质量，并产生率失真性能超过公布的基于人工神经网络的方法时，使用更传统的度量平方误差（PSNR）的基础上进行评估。此外，我们还提供了针对不同失真度量训练的模型的定性比较。
2018-05-01 cs.IT eess.IV math.IT
Improved Image Coding Autoencoder With Deep Learning
在本文中，我们基于Ballé的方法构建了基于自动编码器的管道，用于极端的端到端图像压缩，这是使用深度学习的图像压缩中最先进的开源实现。我们通过在每个步幅卷积层之前添加一个隐藏层来深化网络，其中下采样和上采样的数量完全相同。我们的方法优于Ballé的方法，并且实现了每像素比特数（bpp）减少约4.0%，多尺度结构相似性（MS-SSIM）增加0.03%，峰值信噪比（PSNR）仅降低0.47%，它也优于所有传统的图像压缩方法，包括JPEG 2000和HEIC至少20在类似重建图像质量下的压缩效率方面。在编码和解码时间方面，我们的方法与传统方法相比，在GPU的支持下，所需的时间相似，这意味着它几乎可以用于工业应用。
2020-02-28 cs.LG cs.MM eess.IV
Steered Mixture-of-Experts Autoencoder Design for Real-Time Image Modelling and Denoising
针对现有SMoE框架迭代优化计算量大的问题，本文提出改进的导向混合专家自动编码器，通过扩展模型复杂度与块尺寸、提升噪声鲁棒性，实现超快速参数估计与高质量重建，拓展了SMoE在图像处理领域的应用。
2023-05-05 eess.IV eess.SP
LCCM-VC: Learned Conditional Coding Modes for Video Compression
本文提出LCCM-VC视频编码模型，利用CANF条件编码引擎并引入额外编码模式，在学习型视频编码中取得最先进结果，尤其在高画质高码率场景下压缩效率突出。
2023-04-19 eess.IV
Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder
Aarhus University（奥胡斯大学）
针对动态 MEC 中 CNN 部分卸载的通信与计算不确定性，提出结合注意力自编码器和图强化学习的 GRL-AECNN，以长期联合优化推理准确率与吞吐量，并优于多种现有方法。
2024-01-19 cs.AI cs.LG eess.IV
Conditional Coding for Flexible Learned Video Compression
本文介绍了一种新的框架，端到端学习视频编码。图像压缩通过条件编码来推广，以利用来自参考帧的信息，从而允许利用相同的编码器来处理帧内和帧间帧。该系统通过率失真成本的最小化来训练，没有预训练或代理损失。它的灵活性进行了评估下三种编码配置（所有帧内，低延迟P和随机访问），其中它被证明可以实现与最先进的视频编解码器HEVC的性能竞争。
2021-04-28 eess.IV eess.SP
