ProgDTD: Progressive Learned Image Compression with Double-Tail-Drop Training
Kiel University（基尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
ProgDTD通过双尾丢弃训练使基于CNN的学习图像压缩模型按优先级排序瓶颈信息，无需额外参数即可实现渐进式压缩，并在MS-SSIM和准确率上达到与现有方法相当的性能。
2024-04-30 cs.CV eess.IV
Post-Training Quantization for Cross-Platform Learned Image Compression
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
已经证明，学习的图像压缩已经优于传统的图像编码技术，并且在工业应用中趋于实用。需要考虑的最关键问题之一是非确定性计算，这使得概率预测跨平台不一致，并阻碍成功解码。我们建议通过引入成熟的训练后量化并使模型推理仅为整数算术来解决这个问题，这比目前现有的基于训练和微调的方法简单得多，但仍然保持了学习图像压缩的优越率失真性能。在此基础上，我们进一步改进了熵参数的离散化，并将确定性推理推广到高斯混合模型。利用我们提出的方法，当前最先进的图像压缩模型可以以跨平台一致的方式进行推断，这使得学习图像压缩的进一步发展和实践更具前景。
2022-11-30 cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Checkerboard Context Model for Efficient Learned Image Compression
SenseTime Research（商汤科技研究院）
对于学习图像压缩，自回归上下文模型被证明是有效的改善率失真（RD）性能。因为它有助于消除潜在表征之间的空间冗余。然而，解码过程必须按照严格的扫描顺序进行，这破坏了并行化。我们提出了一个可并行化的棋盘上下文模型（CCM）来解决这个问题。我们的两遍棋盘上下文计算通过重新组织解码顺序消除了空间位置的限制。在我们的实验中，它将解码过程加速了40倍以上，在几乎相同的率失真性能的情况下，实现了显着提高的计算效率。据我们所知，这是第一次探索并行友好的空间上下文模型学习图像压缩。
2021-04-01 cs.CV eess.IV
HLIC: Harmonizing Optimization Metrics in Learned Image Compression by Reinforcement Learning
SenseTime Research（商汤科技研究院）
近年来，图像压缩技术取得了很大的进展。峰值信噪比（PSNR）和多尺度结构相似性（MS-SSIM）是两个最常用的评价指标。由于不同的评价指标只反映了人类感知的某些方面，该领域的工作通常分别使用PSNR和MS-SSIM作为损失函数来优化两个模型，这是次优的，并且难以选择具有最佳视觉质量或整体性能的模型。为了解决这个问题，我们提出了协调学习图像压缩（HLIC）的优化指标，使用在线损失函数自适应强化学习。通过这样做，我们能够利用PSNR和MS-SSIM的优势，实现更好的视觉质量和更高的VMAF分数。据我们所知，我们的工作是第一个探索自动损失函数适应协调优化指标，在低层次的视觉任务，如学习图像压缩。
2021-09-30 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
Streaming-capable High-performance Architecture of Learned Image Compression Codecs
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
学习图像压缩允许实现最先进的精度和压缩比，但它们相对较慢的运行时性能限制了它们的使用。虽然以前对优化学习图像编解码器的尝试更多地集中在神经模型和熵编码上，但我们提出了一种替代方法来提高各种学习图像压缩模型的运行时性能。我们引入了多线程流水线和优化的内存模型，使GPU和CPU工作负载异步执行，充分利用计算资源。我们的架构本身已经产生了出色的性能，而无需对神经模型本身进行任何更改。我们还证明，将我们的架构与之前对神经模型的调整相结合，可以进一步提高运行时性能。我们表明，我们的实现优于吞吐量和延迟相比，基线和演示我们的实现的性能，通过创建一个实时视频流编码器-解码器的示例应用程序，与编码器运行在嵌入式设备上。
2022-08-02 cs.CV eess.IV
Learned Lossless Image Compression With Combined Autoregressive Models And Attention Modules
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
无损图像压缩是图像压缩的一个重要研究领域。近年来，基于学习的图像压缩方法与传统的无损压缩方法如WebP、JPEG2000和FLIF相比，取得了令人瞩目的性能。然而，仍然有许多令人印象深刻的有损压缩方法可以应用于无损压缩。因此，在本文中，我们探讨了广泛用于有损压缩的方法，并将其应用到无损压缩。受到高斯混合模型（GMM）在有损压缩中表现出的令人印象深刻的性能的启发，我们使用GMM生成了一个无损网络架构。除了注意力模块和自回归模型的成功成就外，我们还建议利用注意力模块，并在我们的网络架构中为原始图像添加额外的自回归模型，以提高性能。实验结果表明，我们的方法优于大多数经典的无损压缩方法和现有的基于学习的方法。
2022-08-30 cs.CV eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
可伸缩编码能够适应信道带宽的变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：压缩性能下降和可扩展性不足。在本文中，我们提出了第一个学习细粒度可伸缩图像压缩模型（DeepFGS），以克服上述两个缺点。具体而言，我们引入了一个特征分离骨干，将图像信息分为基本的和可扩展的功能，然后重新分配的功能，通过信道的信息重排策略。通过这种方式，我们可以通过一次编码生成连续可伸缩的比特流。此外，我们重用解码器以减少DeepFGS的参数和计算复杂度。实验表明，我们的DeepFGS在PSNR和MS-SSIM指标上优于所有基于学习的可伸缩图像压缩模型和传统的可伸缩图像编解码器。据我们所知，我们的DeepFGS是第一次探索学习的细粒度可扩展编码，与基于学习的方法相比，它实现了最好的可扩展性。
2022-01-04 cs.CV eess.IV
Enhanced Invertible Encoding for Learned Image Compression
HKUST（香港科技大学）
虽然基于深度学习的图像压缩方法近年来取得了可喜的进展，但这些方法的性能仍然无法与最新的压缩标准通用视频编码（VVC）相匹配。最近的发展主要集中在设计一个更准确和灵活的熵模型，可以更好地参数化的潜在特征的分布。然而，很少有人致力于构造一个更好的图像空间和潜在的特征空间之间的转换。在本文中，我们没有使用以前的自动编码器风格网络来构建这种转换，而是提出了一种具有可逆神经网络（INN）的增强型可逆编码网络，以在很大程度上减轻信息丢失问题，从而实现更好的压缩。在Kodak、CLIC和Tecnick数据集上的实验结果表明，该方法优于现有的图像压缩方法和压缩标准，包括VVC（VTM 12.1），特别是对于高分辨率图像。我们的源代码可在https://github.com/xyq7/InvCompress上获得。
2021-08-08 cs.CV eess.IV
SpikeCodec: An End-to-end Learned Compression Framework for Spiking Camera
针对脉冲相机数据因二值化结构难以高效压缩的问题，提出首个端到端学习型压缩框架SpikeCodec，结合场景恢复、变分自编码器与脉冲模拟器，实验证明其性能优于现有编解码器并提供了强基线。
2023-06-25 cs.CV eess.IV
TLIC: Learned Image Compression with ROI-Weighted Distortion and Bit Allocation
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Migu Culture Technology Co., Ltd（咪咕文化科技有限公司）
本文提出TLIC图像压缩方法，通过对抗损失生成逼真纹理并利用ROI掩码指导比特分配，从而实现更优的感知质量。
2024-03-23 cs.CV eess.IV
Joint Global and Local Hierarchical Priors for Learned Image Compression
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）
最近，学习的图像压缩方法已经优于传统的手工制作的，包括BPG。这种成功的关键之一是学习熵模型，它估计量化潜在表示的概率分布。与其他视觉任务一样，最近学习的熵模型基于卷积神经网络（CNN）。然而，CNN由于其局部连通性的性质而在建模远程依赖性方面具有限制，这可能是图像压缩中的一个重要瓶颈，其中减少空间冗余是关键点。为了克服这个问题，我们提出了一种新的熵模型称为信息Transformer（告密者），利用全球和本地信息的内容依赖的方式使用的注意力机制。我们的实验表明，Informer提高率失真性能的国家的最先进的方法在柯达和Tecnick数据集没有二次计算复杂度的问题。我们的源代码可在https://github.com/naver-ai/informer上获得。
2022-07-21 cs.CV eess.IV
Improving Multi-generation Robustness of Learned Image Compression
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
学习图像压缩（LIC）由于其灵活的网络设计和端到端的联合优化方法，近年来表现出了优异的编码性能和实际可行性。然而，现有的压缩模型遭受严重的多代损失，这总是发生在图像编辑和转码。在反复编解码的过程中，图像质量会迅速下降，产生各种失真，极大地限制了LIC的实际应用。本文对连续图像压缩（SIC）中产生损失的原因进行了深入的分析。指出并解决了影响SIC的量化漂移问题，提出了可逆性损失函数和信道松弛方法，进一步降低了产生损失。实验表明，通过使用我们提出的解决方案，LIC可以达到相当的性能，即使在50倍的重新编码后，没有任何改变的网络结构的BPG的第一次压缩。
2022-10-31 cs.CV eess.IV
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
Advancing Learned Video Compression with In-loop Frame Prediction
ETH Zurich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（鲁汶大学）
近年来，人们对端到端学习视频压缩越来越感兴趣。大多数以前的作品探索的时间冗余检测和压缩的运动图向目标帧翘曲的参考帧。然而，它未能充分利用历史先验的顺序参考框架。在本文中，我们提出了一种先进的学习视频压缩（ALVC）的方法与环路帧预测模块，它能够有效地预测目标帧从先前压缩的帧，而不消耗任何比特率。预测帧可以作为比先前压缩的帧更好的参考，因此它有利于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分，并且在整个框架中被联合优化。我们分别提出了用于压缩P帧和B帧的循环和双向环内预测模块。实验表明，我们的ALVC方法在学习视频压缩的最先进的性能。在PSNR方面，我们还优于x265的默认分层B模式，并在MS-SSIM上击败了SSIM调整的x265的最慢模式。项目页面：https://github.com/RenYang-home/ALVC。
2022-11-18 cs.CV eess.IV
SCP: Spherical-Coordinate-based Learned Point Cloud Compression
KDDI Research, Inc.（KDDI研究所）；Waseda University（早稻田大学）；Yokohama National University（横滨国立大学）
提出基于球坐标的模型无关点云压缩方法SCP，利用旋转激光雷达点云的圆形和方位角不变特征，并引入多级八叉树降低远处重建误差，在点对点PSNR BD-Rate上最高超越SOTA 29.14%。
2024-02-08 cs.CV eess.IV
JND-Based Perceptual Optimization For Learned Image Compression
Shandong Normal University（山东师范大学）；Nanyang Technological University（南洋理工大学）
近来，所学习的图像压缩方案已经在图像保真度（例如，PSNR和MS-SSIM）相比，传统的混合图像编码，由于其高效的非线性变换，端到端的优化框架等，但是，很少有人考虑到人类视觉系统（HVS）的JND（JND）特性，并优化学习图像压缩的感知质量。为了解决这个问题，提出了一种基于JND的感知质量损失。考虑到在不同的量化参数（QP）下，压缩图像在不同的训练时期的失真量是不同的，我们开发了一个失真感知调整器。将它们结合在一起，我们可以更好地分配失真的压缩图像与JND的指导下，以保持高的感知质量。所有这些设计使所提出的方法能够灵活地应用于各种学习的图像压缩方案，具有高可扩展性和即插即用的优点。在Kodak数据集上的实验结果表明，在相同的比特率下，该方法比基线模型具有更好的感知质量。
2023-03-08 cs.CV eess.IV
Device Interoperability for Learned Image Compression with Weights and Activations Quantization
Huawei Technologies（华为技术有限公司）
基于学习的图像压缩已改进到在译码性能方面可优于例如HEVC及VVC等传统图像编解码器的水平。除了良好的压缩性能之外，设备互操作性对于要部署的压缩编解码器是必不可少的，即，在不同CPU或GPU上的编码和解码应该是无错误的，并且性能降低可以忽略不计。在本文中，我们提出了一种方法来解决一个国家的最先进的图像压缩网络的设备互操作性问题。我们对输出熵参数的熵网络进行量化。我们提出了一种简单的方法，可以确保跨平台的编码和解码，并可以实现快速与微小的性能偏差，0.3%BD率，从浮点模型的结果。
2022-12-02 cs.CV eess.IV
Learned Image Compression for Machine Perception
Mila, Quebec AI Institute（Mila，魁北克人工智能研究所）；Independent Robotics；Google Brain Inc.（谷歌大脑公司）；Polytechnique Montréal（蒙特利尔理工学院）；ElementAI；Service Now
最近的工作表明，学习图像压缩策略可以优于标准的手工制作的压缩算法，已经开发了几十年的深入研究的率失真权衡。随着计算机视觉应用的不断增长，从可压缩表示重建高质量的图像重建通常是次要目标。因此，确保计算机视觉任务（如图像分割，分类和检测）的高精度压缩可能会对各种设置产生重大影响。在这项工作中，我们开发了一个框架，产生适合人类感知和机器感知的压缩格式。我们表明，表示可以学习，同时优化压缩和性能的核心视觉任务。我们的方法允许直接从压缩表示中训练模型，这种方法在新任务和低拍摄学习设置中提高了性能。我们提出的结果，提高分割和检测性能相比，标准的高质量的JPG，但表示是四到十倍，每像素的位。此外，与朴素的压缩方法不同，在比标准JEPG小十倍的水平上，从我们的格式训练的分割和检测模型在性能上只会有轻微的下降。
2021-11-03 cs.CV eess.IV
Estimating the Resize Parameter in End-to-end Learned Image Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Netflix Inc.（奈飞公司）
我们描述了一个搜索免费的压缩框架，可以进一步提高最近学习的图像压缩模型的率失真权衡。我们的方法很简单：组成一对可微分的下采样/上采样层，将神经压缩模型夹在中间。为了确定不同输入的调整因子，我们利用另一个与压缩模型联合训练的神经网络，最终目标是最小化率失真目标。我们的研究结果表明，“压缩友好”的下采样表示可以快速确定在编码过程中使用辅助网络和可微图像扭曲。通过对现有的深度图像压缩模型进行广泛的实验测试，我们证明了我们新的压缩参数估计框架可以提供比领先的感知质量引擎约10%的Bjøntegaard-Delta率（BD率）提高。我们还进行了主观质量的研究，其结果表明，我们的新方法产生有利的压缩图像。为了促进这一方向的可重复研究，本文中使用的实现在www.example.com上免费提供。
2022-04-26 cs.CV eess.IV
Content-Adaptive Motion Rate Adaption for Learned Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文介绍了一种学习视频压缩的在线运动速率自适应方案，其目的是实现对单个测试序列的内容自适应编码，以减轻训练数据和测试数据之间的域间隙。它的特征在于被称为$α$映射的补丁级比特分配映射，以空间自适应方式在用于运动和帧间编码的比特率之间进行权衡。我们优化的$α$ -地图通过在线反向传播计划在推理时间。此外，我们纳入了前瞻机制，考虑其对未来帧的影响。大量的实验结果证实，所提出的计划，当集成到一个有条件的学习视频编解码器，是能够适应运动比特率有效地，表现出很大的改善率失真性能，特别是在测试序列具有复杂的运动特性。
2023-02-13 cs.CV eess.IV
Accelerating Learned Video Compression via Low-Resolution Representation Learning
本文提出一种基于低分辨率表示学习的效率优化视频压缩框架，通过降低帧间传播特征分辨率、联合训练I/P帧模型、利用多帧先验及优化OEU策略，在保持压缩率的同时大幅提升编解码速度。
2024-07-23 cs.CV eess.IV
Learned Block-based Hybrid Image Compression
University of Science and Technology of China（中国科学技术大学）
关于学习图像压缩的最新工作以全分辨率方式执行编码和解码过程，在部署用于实际应用时导致两个问题。首先，由于串行解码，不能实现自回归熵模型的并行加速。其次，全分辨率推理通常会在GPU资源有限的情况下导致内存不足（OOM）问题，特别是对于高分辨率图像。分块划分是解决上述问题的一种很好的设计选择，但它在减少块间冗余和消除块效应方面带来了新的挑战。为了解决上述问题，本文提出了一种基于学习块的混合图像压缩（LBHIC）框架。具体来说，我们将显式帧内预测引入到学习的图像压缩框架中，以利用相邻块之间的关系。优于传统编解码器中通过线性加权相邻像素的上下文建模，我们提出了一个上下文预测模块（CPM），以更好地捕捉长程相关性，利用条带池提取相邻潜在空间中最相关的信息，从而实现有效的信息预测。此外，为了减轻块效应，我们进一步提出了一个边界感知的后处理模块（BPM）的边缘重要性考虑在内。大量的实验表明，所提出的LBHIC编解码器优于VVC，具有4.1%的比特率保存，并减少了约86.7%的解码时间相比，国家的最先进的学习图像压缩方法。
2021-10-11 cs.CV eess.IV
LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression
本文提出利用大型多模态模型在单一模型中生成并压缩图像描述，并设计面向语义-感知的微调方法，使LPIPS BD-rate较现有方法提升41.58%，实现超低码率学习型图像压缩。
2024-11-20 cs.CV eess.IV
Variable-Rate Learned Image Compression with Multi-Objective Optimization and Quantization-Reconstruction Offsets
InterDigital（英特尔数字公司）
本文面向单模型可变比特率学习型图像压缩，通过多目标优化、量化-重建偏移及超潜变量可变速率量化三项后训练改进，在三个模型上达到接近多模型训练的性能。
2024-02-29 cs.CV eess.IV
Traditional Transformation Theory Guided Model for Learned Image Compression
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
本文针对超低码率图像压缩，提出传统变换理论引导的可逆编码网络，利用块离散余弦变换建模稀疏性并结合 Haar 变换提升重建性能，实验表明其压缩与重建性能优于现有方法。
2024-02-24 cs.CV eess.IV
SurfelSoup: Learned Point Cloud Geometry Compression With a Probablistic SurfelTree Representation
Department of Electrical and Computer Engineering, New York University Tandon School of Engineering, Brooklyn, NY, USA（电气工程系，纽约大学塔能工程学院，布鲁克林，纽约，美国）
SurfelSoup通过概率Surfel树结构实现点云几何压缩，提升压缩效率与表面重建质量。
2026-01-30 cs.CV eess.IV
Learned Image Compression with Separate Hyperprior Decoders
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究所）；Fudan University（复旦大学）
近年来，图像压缩技术取得了长足的发展。在本文中，我们发现，性能瓶颈在于使用一个单一的超先验解码器，在这种情况下，三元高斯模型崩溃到一个二进制。为了解决这个问题，我们提出使用三个超先验解码器来分离离散高斯混合似然中混合参数的解码过程，实现更精确的参数估计。实验结果表明，所提出的方法的MS-SSIM优化实现了平均3.36%的BD率降低相比，国家的最先进的方法。该方法对编码时间和FLOPs的贡献可以忽略不计。
2021-10-31 cs.CV eess.IV
HFLIC: Human Friendly Perceptual Learned Image Compression with Reinforced Transform
Peking University（北京大学）
针对现有学习图像压缩方法牺牲人类友好性且解码时间长的问题，本文通过增强骨干网络和损失函数，提出一种高效且人类友好的感知图像压缩方法，在相同主观质量下节省超过25%的比特率。
2023-05-18 cs.CV cs.MM eess.IV
Generalized Gaussian Model for Learned Image Compression
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知教育部重点实验室，中国科学技术大学）
该研究将高斯模型扩展为广义高斯模型，仅增加一个形状参数β，并配合改进训练方法，在多种学习型图像压缩网络上取得了优于高斯和高斯混合模型的压缩性能。
2025-03-04 cs.CV eess.IV
Reducing The Mismatch Between Marginal and Learned Distributions in Neural Video Compression
InterDigital, Inc.（交互数字公司）
在过去的四年中，我们见证了端到端可训练图像压缩模型的成功。与数十年的增量工作相比，这些机器学习（ML）技术学习了压缩技术的所有组件，这解释了它们的实际优势。然而，端到端ML模型尚未达到传统视频编解码器（如VVC）的性能。可能的解释是：缺乏数据来解释时间冗余，或者神经模型中潜在的密度估计效率低下。后一个问题可以通过潜在的边缘分布和学习的先验分布之间的差异来定义。这种不匹配，称为熵模型的摊销间隙，扩大了压缩数据的文件大小。在本文中，我们提出了三个国家的最先进的ML视频压缩方法评估摊销差距。其次，我们提出了一种有效的和通用的方法来解决摊销差距，并表明它导致$2\%$之间的改进，$5\%$，而不影响重建质量。
2022-10-12 cs.CV eess.IV
How to Exploit the Transferability of Learned Image Compression to Conventional Codecs
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
有损图像压缩通常受到所选损失度量的简单性的限制。最近的研究表明，生成对抗网络有能力克服这一限制，并作为多模态损失，特别是对于纹理。与学习过的图像压缩一起，这两种技术可以在放松通常采用的严格的失真测量时产生很大的效果。然而，基于卷积神经网络的算法具有较大的计算占用空间。理想情况下，现有的传统编解码器应该保持不变，这将确保更快的采用并坚持平衡的计算包络。作为实现这一目标的一种可能途径，在这项工作中，我们提出并研究了如何学习图像编码可以作为一个替代来优化图像编码。图像由学习的过滤器改变，以优化不同的性能指标或特定的任务。通过生成对抗网络扩展这一想法，我们展示了整个纹理如何被编码成本较低但保留细节感的纹理所取代。我们的方法可以改造传统的编解码器，以调整MS-SSIM失真超过20%的速率提高，而没有任何解码开销。在任务感知的图像压缩，我们表现良好，对一个类似的，但编解码器特定的方法。
2021-03-07 cs.CV eess.IV
Spatiotemporal Entropy Model is All You Need for Learned Video Compression
Alibaba Group（阿里巴巴集团）
主流视频压缩方法的框架通常由运动预测模块、运动矢量和残差图像压缩模块组成，存在结构复杂和误差传播问题。已经提出了通过用隐式流网络替换运动预测模块来降低复杂度的方法。误差传播感知训练策略也被提出来减轻来自先前解码帧的增量重建误差。虽然这些方法带来了一些改进，但很少关注框架本身。受通过使用单个深度神经网络简化框架来学习图像压缩的成功的启发，很自然地期望通过简单而适当的框架来实现更好的视频压缩性能。因此，我们提出了一个框架，直接压缩原始像素帧（而不是残差图像），其中不需要额外的运动预测模块。相反，熵模型被用来估计时空冗余的潜在空间，而不是像素级，这显着降低了框架的复杂性。具体地说，整个框架是一个压缩模块，由一个统一的自动编码器，产生相同分布的所有帧的潜伏期，和时空熵估计模型，以最小化这些潜伏期的熵。实验结果表明，该方法在多尺度结构相似性（MS-SSIM）度量下优于最新技术（SOTA），在峰值信噪比（PSNR）度量下具有竞争力。
2021-04-13 cs.CV eess.IV
Entroformer: A Transformer-based Entropy Model for Learned Image Compression
Alibaba Group（阿里巴巴集团）
有损深度图像压缩中的一个关键组件是熵模型，其预测编码和解码模块中的量化潜在表示的概率分布。以前的工作在卷积神经网络上构建熵模型，这在捕获全局依赖性方面效率低下。在这项工作中，我们提出了一种新的基于变换的熵模型，称为Entroformer，有效地捕获长距离的依赖关系的概率分布估计。与图像分类中的Vision Transformers不同，Entroformer针对图像压缩进行了高度优化，包括top-k自注意和菱形相对位置编码。同时，我们进一步扩展了这种架构，并行双向上下文模型，以加快解码过程。实验表明，Entroformer在时间效率高的同时，实现了图像压缩的最先进的性能。
2022-03-14 cs.CV eess.IV
Content-oriented learned image compression
Huawei Technologies（华为技术有限公司）
近年来，随着深度神经网络的发展，端到端优化的图像压缩取得了重大进展，在率失真性能方面超过了经典方法。然而，大多数基于学习的图像压缩方法是无标签的，并且在优化模型时不考虑图像语义或内容。实际上，人眼对不同内容的敏感度不同，因此图像内容也需要考虑。在本文中，我们提出了一种面向内容的图像压缩方法，该方法对不同类型的图像内容采用不同的压缩策略。大量的实验表明，该方法实现了竞争力的主观结果相比，最先进的端到端学习的图像压缩方法或经典的方法。
2022-08-01 cs.CV cs.MM eess.IV
SADN: Learned Light Field Image Compression with Spatial-Angular Decorrelation
Tsinghua University（清华大学）
光场图像成为沉浸式视频应用中最有前途的媒体类型之一。本文提出了一种新的端到端空间-角度去相关网络（SADN），用于高效的光场图像压缩。与现有的利用光场图像的空间一致性或角度一致性的方法不同，SADN通过空间-角度交互中的伸缩卷积和步幅卷积来叠加角度和空间信息，并进行特征融合来联合压缩空间和角度信息。为了训练一个稳定、鲁棒的算法，提出并建立了一个由7549幅光场图像组成的大规模数据集。所提出的方法相对于H.266/VVC和H.265/HEVC帧间编码分别提供了2.137倍和2.849倍的压缩效率。它还优于端到端图像压缩网络，平均节省79.6%的比特率，具有更高的主观质量和光场一致性。
2022-02-22 cs.CV eess.IV
Efficient Learned Image Compression without Entropy Coding
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Automation, Tsinghua University（清华大学自动化系）；State Key Laboratory of Space Network（空间网络与通信国家重点实验室）；Beijing National Research Center for Information Science（北京信息科学国家研究中心）
提出一种无需熵编码的多速率学习图像压缩框架EF-LIC，通过无约束向量量化和上下文条件自回归变换消除统计与相关冗余，在保持压缩性能的同时显著降低编码延迟。
2026-05-22 cs.CV eess.IV
Transferable Learned Image Compression-Resistant Adversarial Perturbations
Rutgers University（罗格斯大学）；Vanderbilt University（范德堡大学）；Tencent America（腾讯美国）；Wuhan University（武汉大学）
针对基于学习的图像压缩后处理分类系统，提出基于显著性评分采样的对抗扰动生成方法，增强跨压缩模型的可迁移性。
2024-11-06 cs.CV cs.MM eess.IV
Multistage Spatial Context Models for Learned Image Compression
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering, Waseda University（早稻田大学早稻田科学与工程研究院）
最近的国家的最先进的学习图像压缩方法的特点空间上下文模型，实现了极大的率失真的改进超先验方法。然而，自回归上下文模型需要串行解码，限制了运行时性能。该模板上下文模型允许以降低RD性能为代价的并行解码。我们提出了一系列的多级空间上下文模型，允许快速解码和更好的RD性能。我们将潜在空间分割成正方形补丁，并在每个补丁内串行解码，而不同的补丁并行解码。该方法的特点是具有相当的解码速度，以纸板，同时达到自回归的RD性能，甚至还优于自回归。在每个补丁内部，解码顺序必须仔细决定，因为坏的顺序会对性能产生负面影响;因此，我们还提出了一种解码顺序优化算法。
2023-02-18 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation
Huawei（华为）
随着深度学习技术的发展，深度学习与图像压缩的结合引起了人们的广泛关注。近年来，图像压缩方法在率失真性能方面已经超过了传统的压缩方法。然而，持续的速率适应仍然是一个悬而未决的问题。一些已知的图像压缩方法使用多个网络以获得多个速率，而另一些方法则以计算复杂度增加和性能下降为代价使用单个模型。在本文中，我们提出了一个连续的速率可调的学习图像压缩框架，非对称增益变分自动编码器（AG-VAE）。AG-VAE利用一对增益单元在一个单独的模型中实现离散速率自适应，而额外的计算可以忽略不计。然后，通过使用指数内插，实现连续速率自适应而不损害性能。此外，我们提出了非对称高斯熵模型，以更准确的熵估计。详尽的实验表明，我们的方法实现了与SOTA学习的图像压缩方法相当的定量性能和比经典的图像编解码器更好的定性性能。在烧蚀研究中，我们证实了增益单元和非对称高斯熵模型的有效性和优越性。
2022-08-02 cs.CV eess.IV
Approximately Invertible Neural Network for Learned Image Compression
Shandong University（山东大学）；University of Electronic Science and Technology of China（电子科技大学）
本文针对学习图像压缩中分析变换与合成变换独立设计导致的高质量压缩不可靠问题，提出近似可逆神经网络框架A-INN，并结合渐进去噪、级联特征恢复和频率增强模块有效降低量化噪声与高频信息损失，实验表明其性能优于现有方法。
2024-08-30 cs.CV eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
针对可伸缩图像压缩性能下降与伸缩粒度不足的问题，本文提出 DeepFGS 框架，通过特征分离、信息重排、互熵模型和解码器复用实现单次编码的连续可伸缩码流，并在 PSNR 与 MS-SSIM 上超越现有方法。
2024-11-30 cs.CV eess.IV
Learned Point Cloud Geometry Compression
Nanjing University（南京大学）
本文提出了一种新的端到端学习点云几何压缩（又名，Learned-PCGC）框架，以使用基于深度神经网络（DNN）的变分自编码器（VAE）来有效地压缩点云几何形状（PCG）。在我们的方法中，PCG首先进行体素化，缩放和划分成非重叠的3D立方体，然后将其送入堆叠的3D卷积，用于紧凑的潜在特征和超先验生成。超先验被用来改善潜在特征的条件概率建模。在训练中应用加权二进制交叉熵（WBCE）损失，而在推理中使用自适应阈值来去除不必要的体素并减少失真。客观上，我们的方法超过了由著名的运动图像专家组（MPEG）标准化的基于几何的点云压缩（G-PCC）算法，具有显著的性能裕度，例如，至少60%的BD率（Bjontegaard Delta Rate）增益，使用常见的测试数据集。主观上，我们的方法提出了更好的视觉质量与平滑的表面重建和吸引人的细节，在所有现有的MPEG标准兼容的PCC方法相比。我们的方法总共需要大约2.5MB的参数，对于实际实现来说，即使在嵌入式平台上，这也是相当小的尺寸。其他消融研究分析了各种方面（例如，立方体大小，内核等），以探索我们学习的PCGC的应用潜力。
2019-09-26 cs.CV eess.IV
Learned Image Compression for HE-stained Histopathological Images via Stain Deconvolution
German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）；National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；Heidelberg University（海德堡大学）；Technical University of Munich（慕尼黑工业大学）
针对组织病理学全切片图像的海量存储需求，提出基于染色解卷积的SQLC深度学习压缩方法，通过先压缩染色与RGB通道再经CAE生成量化潜表示提升压缩效率，在分类任务性能优于JPEG且图像质量基本保留。
2024-06-18 cs.CV eess.IV
Learned Image Compression with Mixed Transformer-CNN Architectures
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）；Shanghai Jiao Tong University（上海交通大学）
与经典的图像压缩标准相比，图像压缩（LIC）方法已经取得了令人鼓舞的进展，并表现出更好的率失真性能。现有的LIC方法大多是基于卷积神经网络（CNN-based）或基于变换器的，它们具有不同的优点。如何充分发挥两者的优势是一个值得探讨的问题，这就面临着两个挑战：1）如何有效地融合两种方法？2)如何以合适的复杂度实现更高的性能？在本文中，我们提出了一个有效的并行transformer-CNN混合（TCM）块，具有可控的复杂性，结合局部建模能力的CNN和非局部建模能力的Transformers器，以改善整体架构的图像压缩模型。此外，受熵估计模型和注意力模块的最新进展的启发，我们提出了一个通道的熵模型与参数有效的swin-transformer-based的注意力（SWAtten）模块，通过使用通道压缩。实验结果表明，我们提出的方法在三个不同分辨率的数据集上实现了最先进的率失真性能（即，Kodak、Tecnick、CLIC专业验证）与现有LIC方法进行比较。代码在https://github.com/jmliu206/LIC_TCM。
2023-03-27 cs.CV eess.IV
Video Coding Using Learned Latent GAN Compression
InterDigital（InterDigital公司）
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频，包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转，从中学习最佳压缩。为此，使用归一化流模型来学习非对称潜在表示，其中熵模型可以针对图像编码进行优化。此外，我们提出了一个新的感知损失，比其他同行更有效。最后，还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法（SGANC）简单，训练速度更快，与VTM，AV1和最近的深度学习技术等最先进的编解码器相比，图像和视频编码取得了更好的效果。特别是，它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional Video Compression
Koç University（科奇大学）
传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习VC允许同时对非线性变换、运动和熵模型进行端到端的率失真（R-D）优化训练。大多数关于学习VC的工作考虑基于在连续帧对上平均的R-D损失的顺序视频编解码器的端到端优化。在常规VC中众所周知，分层双向编码优于顺序压缩，因为其能够使用过去和未来的参考帧。本文提出了一种学习分层双向视频编解码器（LHBDC），结合了分层运动补偿预测和端到端优化的好处。实验结果表明，我们取得了最好的R-D结果，报告学习VC计划的PSNR和MS-SSIM。与传统的视频编解码器相比，我们的端到端优化编解码器的R-D性能在PSNR和MS-SSIM以及MS-SSIM中的HM 16.23参考软件方面优于x265和SVT-HEVC编码器（“非常慢”预设）。我们目前的消融研究表明，由于提出的新工具，如学习掩蔽，流场子采样，和时间流矢量预测的性能增益。复制我们的结果的模型和说明可以在https://github.com/makinyilmaz/LHBDC/中找到
2021-12-17 cs.CV eess.IV
Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules
图像压缩是一个基础性的研究领域，许多著名的压缩标准已经发展了几十年。近年来，学习压缩方法呈现出快速发展的趋势，取得了可喜的成果。然而，学习的压缩算法和统治的压缩标准之间仍然存在性能差距，特别是在广泛使用的PSNR度量方面。在本文中，我们探讨了最近学习的压缩算法的剩余冗余。我们已经发现，准确的熵率估计模型在很大程度上影响网络参数的优化，从而影响率失真性能。因此，在本文中，我们提出了使用离散高斯混合似然参数的潜在代码的分布，这可以实现一个更准确和灵活的熵模型。此外，我们利用最近的注意力模块，并将其纳入网络架构，以提高性能。实验结果表明，我们提出的方法实现了国家的最先进的性能相比，现有的学习压缩方法在柯达和高分辨率数据集。据我们所知，我们的方法是第一个工作，以实现可比的性能与最新的压缩标准通用视频编码（VVC）的PSNR。更重要的是，我们的方法产生更视觉上愉快的结果时，优化MS-SSIM。此项目页面位于此https URL https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention
2020-03-30 eess.IV
Universal Learned Image Compression With Low Computational Cost
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，图像压缩方法发展迅速，与传统的标准JPEG、JPEG 2000和BPG相比，表现出优异的率失真性能。然而，基于学习的方法遭受高计算成本，这不利于在具有有限资源的设备上部署。为此，我们提出了移位加法并行模块（SAPMs），包括编码器的SAPM-E和解码器的SAPM-D，以大大降低能耗。具体来说，它们可以作为即插即用组件来升级现有的基于CNN的架构，其中，与加法分支学习的小粒度特征相比，移位分支用于提取大粒度特征。此外，我们深入分析了潜在表示的概率分布，并建议使用拉普拉斯混合似然更准确的熵估计。实验结果表明，所提出的方法可以实现相当的性能，甚至更好的PSNR和MS-SSIM指标的卷积对应的约2倍的能量减少。
2022-06-23 cs.CV eess.IV
Self-Organized Variational Autoencoders (Self-VAE) for Learned Image Compression
Koç University（科奇大学）；Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）
在端到端优化的学习图像压缩中，标准做法是使用具有广义分裂归一化（GDN）的卷积变分自动编码器来将图像变换到潜在空间中。最近，已经提出了从一组备选方案中学习最佳非线性的操作神经网络（ONN）及其自组织变体Self-ONN，通过泰勒级数近似任何非线性，以解决卷积层和固定非线性激活的限制。在本文中，我们建议用自组织操作层取代变分自动编码器中的卷积层和GDN层，并提出一种新的自组织变分自动编码器（Self-VAE）架构，该架构受益于更强的非线性。实验结果表明，所提出的Self-VAE产生率失真性能和感知图像质量的改善。
2021-05-28 cs.CV eess.IV
Image Compression With Learned Lifting-Based DWT and Learned Tree-Based Entropy Models
本文探讨了学习图像压缩的基础上，传统的和学习离散小波变换（DWT）的架构和学习的熵模型编码DWT子带系数。通过提升方案和学习的非线性预测和更新滤波器获得学习的DWT。提出了几种学习熵模型来利用DWT子带系数间和内的依赖关系，类似于传统的EZW，SPIHT或EBCOT算法。实验结果表明，当提出的学习熵模型与传统的小波滤波器，如CDF 9/7滤波器相结合，压缩性能远远超过JPEG 2000可以实现。当学习的熵模型与学习的DWT相结合时，压缩性能进一步提高。学习的DWT和所有熵模型中的计算（除了一个）可以简单地并行化，并且系统在GPU上提供实际的编码和解码时间。
2022-12-07 cs.MM eess.IV
