Conditional Residual Coding with Explicit-Implicit Temporal Buffering for Learned Video Compression
针对学习型视频压缩中隐式时间缓冲内存占用高的问题，提出显式-隐式混合时间缓冲的条件残差编码方法，在缓冲容量降至两帧等效大小的同时实现优异的2K视频编码性能。
2025-08-03 eess.IV
LPCM: Learning-based Predictive Coding for LiDAR Point Cloud Compression
针对激光雷达点云压缩，提出基于学习的预测编码方法LPCM，利用球坐标和LSTM预测及变分半径压缩，并优化量化参数，在基准上优于现有方法。
2025-05-26 eess.IV
A Systematic Evaluation of Coding Strategies for Sparse Binary Images
基于图像修补的压缩以像素数据的稀疏子集表示图像。存储已知数据的精心优化位置会在稀疏且通常分散的二进制图像上产生无损压缩问题。这个中心问题对于这种编解码器的性能至关重要。由于它只得到很少的关注，在文献中，我们进行了第一次系统的调查，这个问题到目前为止。为此，我们首先回顾和比较了广泛的现有方法，从图像压缩和通用编码的编码效率和运行时间。之后，消融研究使我们能够识别和分离现有方法中最有用的成分。通过上下文混合，我们将这些成分结合到新的编解码器中，这些编解码器可以提供更好的压缩比，或者在速度和性能之间进行更有利的权衡。
2021-07-30 eess.IV
Hierarchical Reinforcement Learning Based Video Semantic Coding for Segmentation
智能任务的快速发展，例如，分割、检测、分类等技术的发展，迫切需要语义压缩技术，其目的是在保持原始语义信息的同时降低压缩代价。然而，直接将语义度量集成到传统编解码器中是不切实际的，因为它们不能以端到端的方式进行优化。为了解决这个问题，一些开创性的工作已经应用强化学习来实现图像语义压缩。然而，视频语义压缩由于其复杂的参考体系结构和压缩模式而没有被探索。在本文中，我们采取了一个步骤，视频语义压缩，并提出了分层强化学习的任务驱动的视频语义编码，命名为HRLVSC。具体来说，为了简化视频语义编码中复杂的模式选择问题，本文将动作空间分层划分为帧级和CTU级两个空间，并在帧级和CTU级智能体的协作下逐步探索最佳模式选择。此外，由于视频语义编码的模式会随着图像组（GOP）中的帧数呈指数增长，因此我们仔细研究了不同模式选择对视频语义编码的影响，并设计了一种简单但有效的模式简化策略。大量的实验结果表明，我们的HRLVSC可以实现超过39%的BD率节省视频语义编码下的低延迟P配置。
2022-08-24 eess.IV
MaskCRT: Masked Conditional Residual Transformer for Learned Video Compression
针对学习型视频压缩中条件残差编码假设不总是成立的问题，提出带软掩码的像素自适应混合编码方案、基于Transformer的条件自编码器及通道变换模块，性能优于现有编码方法并开辟新方向。
2024-07-10 eess.IV
On the influence of clipping in lossless predictive and wavelet coding of noisy images
特别是在无损图像编码中，可获得的压缩比强烈地依赖于数据中包括的噪声量，因为所有噪声也必须被编码。存在用于无损图像编码的不同方法。我们分析了三种方法的压缩性能，即直接熵，预测和基于小波的编码。从我们的理论模型的结果进行比较，从标准算法的基础上的三种方法的模拟结果。只要不随噪声的增加而发生削波，则无损压缩需要更多的比特。我们将证明，对于非常嘈杂的信号，直接使用熵编码器而无需高级预处理步骤是更有利的。
2023-01-11 eess.IV
Analysis of Neural Image Compression Networks for Machine-to-Machine Communication
机器视频和图像编码（VCM）是一个新兴领域，旨在开发压缩方法，在通过神经网络分析解码帧时产生最佳比特流。已经存在几种方法来改进用于此任务的经典混合编解码器。然而，神经压缩网络（NCN）在过去几年中在图像编码方面取得了巨大的进步。因此，当解码器侧的信息接收器也是神经网络时，考虑这样的NCN是合理的。因此，当Mask R-CNN从解码图像中分割对象时，我们建立了一个评估框架，分析了四种最先进的NCN的性能。压缩性能通过Cityscapes数据集的加权平均精度来衡量。基于这一分析，我们发现，使用Leaky ReLU作为非线性的网络，以及使用SSIM作为失真标准的训练，可以为VCM任务带来最高的编码增益。此外，它表明，基于GAN的NCN架构实现了最佳的编码性能，甚至优于最近标准化的通用视频编码（VVC）的给定的情况下。
2022-05-13 eess.IV
Conditional Coding for Flexible Learned Video Compression
本文介绍了一种新的框架，端到端学习视频编码。图像压缩通过条件编码来推广，以利用来自参考帧的信息，从而允许利用相同的编码器来处理帧内和帧间帧。该系统通过率失真成本的最小化来训练，没有预训练或代理损失。它的灵活性进行了评估下三种编码配置（所有帧内，低延迟P和随机访问），其中它被证明可以实现与最先进的视频编解码器HEVC的性能竞争。
2021-04-28 eess.IV eess.SP
Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；McMaster University（麦克马斯特大学）；Peking University（北京大学）
本文提出统一的深度有损加残差（DLPR）编码框架，通过VAE联合优化、残差自回归建模和可扩展量化方案，同时实现最先进的无损与近无损图像压缩性能。
2024-01-11 cs.CV eess.IV
Advanced Geometry Surface Coding for Dynamic Point Cloud Compression
在基于视频的动态点云压缩（V-PCC）中，3D点云被投影到2D图像上，以便使用现有的视频编解码器进行压缩。然而，现有的视频编解码器最初是针对自然视觉信号设计的，并且它未能考虑点云的特性。因此，在从点云生成的几何信息的压缩中仍然存在问题。首先，现有率失真优化（RDO）中的失真模型与几何质量评估指标不一致。其次，视频编解码器中的预测方法未能考虑远层的最高深度值大于或等于近层的对应最低深度值的事实。提出了一种用于动态点云数据压缩的高级几何表面编码（AGSC）方法.该方法由两个模块组成，包括基于误差投影模型（EPM）的RDO和基于占用图（OM）的合并预测。首先，提出了一种新的失真模型来描述现有视频编解码器中的失真模型与几何质量度量之间的关系。其次，提出了基于EPM的RDO方法，将现有的失真模型投影到平面法线上，并将其简化为编码单元（CU）的平均法向量估计。最后，我们提出了基于OM的合并预测方法，在该方法中，合并模式的预测像素基于占用图进行细化。在标准点云上的实验结果表明，该方法平均节省了9.84%的几何压缩码率.
2021-03-11 eess.IV
Analysis of Neural Video Compression Networks for 360-Degree Video Coding
本文分析了多种神经视频压缩网络（NVCs）和360度投影格式的压缩性能，发现投影格式重采样能显著提升NVCs性能，其中ACP和ECP格式表现最佳，码率节省超过55%，优于H.266/VVC。
2024-02-15 eess.IV
ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Contextual Adaptive Coding
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
最近，学习的图像压缩技术已经取得了显着的性能，甚至超过了最好的手动设计的有损图像编码器。它们有望被大规模采用。从实用性的角度出发，从压缩性能和运行速度两个方面对学习图像压缩的体系结构设计进行深入的研究是非常必要的。在本文中，我们首先提出了不均匀的信道条件自适应编码，动机是在学习图像压缩的能量压缩的观察。将提出的非均匀分组模型与现有的上下文模型相结合，我们得到了一个空间通道上下文自适应模型，以提高编码性能，而不损害运行速度。然后，我们研究了主变换的结构，并提出了一个有效的模型，ELIC，以实现最先进的速度和压缩能力。该模型不仅性能优越，而且支持极快的预览解码和渐进解码，这使得基于学习的图像压缩应用前景更加广阔。
2022-03-29 cs.CV eess.IV
Lightweight Super Resolution-enabled Coding Model for the JPEG Pleno Learning-based Point Cloud Coding Standard
Instituto de Telecomunicações（电信研究所）；ESTG, Politécnico de Leiria（莱里亚理工学院 ESTG）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）
本文提出了一种轻量级超分辨率赋能的点云编码模型，以提高基于JPEG Pleno学习的点云编码标准的压缩效率和实用性。
2026-01-31 eess.IV
Efficient Learned Image Compression without Entropy Coding
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Automation, Tsinghua University（清华大学自动化系）；State Key Laboratory of Space Network（空间网络与通信国家重点实验室）；Beijing National Research Center for Information Science（北京信息科学国家研究中心）
提出一种无需熵编码的多速率学习图像压缩框架EF-LIC，通过无约束向量量化和上下文条件自回归变换消除统计与相关冗余，在保持压缩性能的同时显著降低编码延迟。
2026-05-22 cs.CV eess.IV
Versatile Video Coding Standard: A Review from Coding Tools to Consumers Deployment
视频内容的数量和基于多媒体信息的应用的数量每天都在增加。新的视频编码标准的发展是在合理增加计算负荷的情况下增加压缩率和其他重要特征的挑战。ITU-T的视频专家组（JVET）和ISO/IEC内的JCT小组共同努力，对通用视频编码进行标准化，最终于2020年7月批准为ITU-T H.266| MPEG-I -第3部分（ISO/IEC 23090-3）标准。本文概述了一些有趣的消费电子用例、标准中描述的压缩工具、当前可用的实时实现以及使用该标准进行的首次工业试验。
2021-11-06 eess.IV
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University（西蒙菲莎大学）
针对自动驾驶传感器数据量大的问题，研究面向3D目标检测的相机与LiDAR多模态学习式压缩，对比联合编码与条件编码等方案，在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
可伸缩编码能够适应信道带宽的变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：压缩性能下降和可扩展性不足。在本文中，我们提出了第一个学习细粒度可伸缩图像压缩模型（DeepFGS），以克服上述两个缺点。具体而言，我们引入了一个特征分离骨干，将图像信息分为基本的和可扩展的功能，然后重新分配的功能，通过信道的信息重排策略。通过这种方式，我们可以通过一次编码生成连续可伸缩的比特流。此外，我们重用解码器以减少DeepFGS的参数和计算复杂度。实验表明，我们的DeepFGS在PSNR和MS-SSIM指标上优于所有基于学习的可伸缩图像压缩模型和传统的可伸缩图像编解码器。据我们所知，我们的DeepFGS是第一次探索学习的细粒度可扩展编码，与基于学习的方法相比，它实现了最好的可扩展性。
2022-01-04 cs.CV eess.IV
Multispectral Image Compression Based on HEVC Using Pel-Recursive Inter-Band Prediction
光学传感器的最新发展使得多光谱成像的广泛应用成为可能，例如，用于监视、光学分类和生命科学仪器。提高空间和光谱分辨率可以创建更高质量的产品，但是，它在处理如此大量的数据方面带来了挑战。因此，需要专门的多光谱图像压缩技术。已知高效视频编码（HEVC）是视频编码和静止图像编码两者的效率的现有技术。在本文中，我们提出了一个跨频谱压缩方案，有效地编码多光谱数据的基础上HEVC。通过一种新的带间预测器扩展帧内图像预测，可以有效地利用频谱和空间冗余。通过自适应线性回归建模，共同考虑当前波段和进一步光谱参考之间的相关性。所提出的后向预测方案不需要用于解码的附加边信息。我们表明，我们的新方法是能够优于国家的最先进的有损压缩技术的率失真性能。在不同的数据集上，与HEVC和来自文献的参考方法相比，分别实现了82%和55%的平均Bjøntegaard delta速率节省。
2023-03-09 eess.IV
Advances In Video Compression System Using Deep Neural Network: A Review And Case Studies
在过去的几十年里，视频压缩系统已经取得了重大进展，以满足互联网规模的视频流量几乎呈指数级增长。从应用的角度来看，我们已经确定了三个主要的功能块，包括预处理，编码和后处理，已被不断研究，以最大限度地提高最终用户的体验质量（QoE）在有限的比特率预算。最近，人工智能（AI）驱动的技术已经显示出进一步提高上述功能块单独和联合效率的巨大潜力。在这篇文章中，我们广泛回顾了视频压缩系统的最新技术进展，重点是基于深度神经网络（DNN）的方法;然后介绍了三个全面的案例研究。在预处理方面，我们展示了一个基于可切换纹理的视频编码示例，该示例利用基于DNN的场景理解来提取语义区域，以改进后续的视频编码器。在编码方面，我们提出了一个端到端的神经视频编码框架，该框架利用堆叠的DNN通过完全数据驱动的学习来有效地对输入的原始视频进行压缩编码。在后处理方面，我们展示了两个神经自适应滤波器，分别用于增强压缩帧的环路内滤波和后滤波。最后，可在https://purdueviper.github.io/dnn-coding/上公开访问一个配套网站，其中载有这项工作中开发的内容。
2021-01-16 eess.IV
Ultra Lowrate Image Compression with Semantic Residual Coding and Compression-aware Diffusion
Kuaishou Technology（快手科技）
本文提出 ResULIC 超低码率图像压缩框架，通过语义残差编码和压缩感知扩散对齐码率与生成时间步，显著提升主客观重建质量。
2025-05-13 cs.CV eess.IV
Context-Based Trit-Plane Coding for Progressive Image Compression
Korea University（高丽大学）；Samsung Electronics（三星电子）
三面编码使能深度渐进图像压缩，但它不能使用自回归上下文模型。在本文中，我们提出了基于上下文的三平面编码（CTC）算法，以实现渐进压缩更复杂。首先，我们开发了基于上下文的速率降低模块来精确地估计潜在元素的trit概率，从而对trit平面进行压缩编码。其次，我们开发了基于上下文的失真减少模块，以改善部分潜在的张量从三重平面和提高重建图像的质量。第三，我们提出了一个再训练方案的解码器，以达到更好的率失真权衡。大量的实验表明，CTC优于基线三重平面编解码器显着的BD率在柯达无损数据集，而增加的时间复杂度只有轻微的。我们的代码可在https://github.com/seungminjeon-github/CTC上获得。
2023-03-13 cs.CV eess.IV
Motion Free B-frame Coding for Neural Video Compression
FPT Software, AI Center（FPT软件公司AI中心）
针对传统深度神经视频压缩网络的混合架构缺陷，提出基于核的无运动视频编码方法，消除耗时的运动相关模块以提升编码效率并降低复杂度，缓解模糊伪影，在多数据集上表现优异且模型更小。
2024-11-26 cs.CV eess.IV
Video Compression Beyond VVC: Quantitative Analysis of Intra Coding Tools in Enhanced Compression Model (ECM)
该研究对VVC之后增强压缩模型ECM中的亮度和色度帧内编码工具做定量分析，考察工具选择率与ECM版本、分辨率、码率的关联并扩展测试序列，为JVET标准化阶段工具组合优化提供参考。
2024-04-11 cs.MM eess.IV
Video Coding Using Learned Latent GAN Compression
InterDigital（InterDigital公司）
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频，包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转，从中学习最佳压缩。为此，使用归一化流模型来学习非对称潜在表示，其中熵模型可以针对图像编码进行优化。此外，我们提出了一个新的感知损失，比其他同行更有效。最后，还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法（SGANC）简单，训练速度更快，与VTM，AV1和最近的深度学习技术等最先进的编解码器相比，图像和视频编码取得了更好的效果。特别是，它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
Stereo Image Coding for Machines with Joint Visual Feature Compression
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Santa Clara University（圣克拉拉大学）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
本文提出面向机器的立体图像编码框架MVSFC-Net，通过SMFC模块联合消除空间、视图间与跨尺度冗余，实现更优压缩效率和三维视觉任务性能。
2025-02-20 cs.CV eess.IV
Low-complexity Deep Video Compression with A Distributed Coding Architecture
The Hong Kong University of Science and Technology（香港科技大学）
针对预测编码视频压缩编码器复杂度高的问题，提出首个端到端分布式深度视频压缩框架，利用解码端边信息生成模块有效挖掘帧间相关性，在保持可比压缩性能的同时实现6-7倍编码加速。
2023-04-02 cs.AI cs.CV cs.MM
Lossless Image and Intra-frame Compression with Integer-to-Integer DST
视频译码标准主要经设计以用于高效有损压缩，但还需要使用对有损译码架构的小修改来支持视频译码标准内的高效无损压缩。一种简单的方法是跳过变换和量化，并且简单地对预测残差进行熵编码。然而，这种方法在压缩方面是低效的。更有效且流行的方法是跳过变换和量化，但也在熵译码之前沿着水平或垂直方向用DPCM处理残余块。本文探讨了一种替代方法的基础上处理的残差块与整数到整数（i2 i）变换。I2 i变换可将整数像素映射到整数变换系数而不增加动态范围，且可用于无损压缩。我们专注于无损帧内编码和开发新的i2 i近似的奇数类型3 DST（ODST-3）。利用HEVC参考软件的实验结果表明，所开发的ODST-3的i2 i近似相对于使用流行的DPCM方法的HEVC版本2将无损帧内压缩效率提高了平均2.7%，而对计算复杂性没有显著影响。
2017-08-23 cs.MM eess.IV
MMVC: Learned Multi-Mode Video Compression with Block-based Prediction Mode Selection and Density-Adaptive Entropy Coding
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
提出多模式视频压缩框架MMVC，通过块级预测模式选择和密度自适应双模式熵编码，适应不同运动模式并提升压缩率，在多项基准上表现优异。
2023-04-05 cs.CV eess.IV
Learning for Video Compression
基于学习的视频压缩的一个关键挑战是运动预测编码，一个非常有效的视频压缩的工具，很难被训练成一个神经网络。在本文中，我们提出了PixelMotionCNN（PMCNN）的概念，它包括运动扩展和混合预测网络。PMCNN可以对时空相干性进行建模，以有效地在学习网络内部执行预测编码。在PMCNN的基础上，我们进一步探索了一种基于学习的视频压缩框架，并增加了迭代分析/合成、二值化等组件。实验结果证明了该方案的有效性。虽然本文没有采用熵编码和复杂的配置，我们仍然表现出优越的性能与MPEG-2相比，并取得可比的结果与H. 264编解码器。提出的基于学习的方案提供了一个可能的新方向，以进一步提高压缩效率和未来的视频编码的功能。
2019-01-09 cs.MM eess.IV
Adaptive Transform Coding for Semantic Compression
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
本文提出一种自适应变换编码方法，用于语义特征压缩，通过高斯混合模型的条件率-失真函数指导，实现高效编码异质特征分布，实验表明其优于或与现有神经压缩方法相当，同时保持灵活性和可解释性。
2026-04-29 cs.CV cs.IT eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
针对可伸缩图像压缩性能下降与伸缩粒度不足的问题，本文提出 DeepFGS 框架，通过特征分离、信息重排、互熵模型和解码器复用实现单次编码的连续可伸缩码流，并在 PSNR 与 MS-SSIM 上超越现有方法。
2024-11-30 cs.CV eess.IV
Dynamic Point Cloud Geometry Compression Using Multiscale Inter Conditional Coding
Nanjing University（南京大学）；Hangzhou Normal University（杭州师范大学）
这项工作扩展了多尺度稀疏表示（MSR）框架开发的静态点云几何压缩（PCGC），以支持动态PCGC通过使用多尺度间条件编码。为此，前一点云几何（PCG）帧的重构被逐步缩小尺度以生成多尺度时间先验，其然后被按尺度转移并与来自同一帧的较低尺度空间先验整合以形成上下文信息，从而在从一个尺度到另一个尺度处理当前PCG帧时改进占用概率近似。根据标准化委员会定义的通用测试条件（CTC），所提出的方法呈现了最先进的（SOTA）压缩性能，与最新的标准兼容的V-PCC相比，产生78%的有损BD速率增益，与最新的G-PCC相比，产生45%的无损比特率降低。即使是最近出现的基于学习的解决方案，我们的方法仍然显示出显着的性能提升。
2023-01-28 cs.CV eess.IV
BVI-DVC: A Training Database for Deep Video Compression
University of Bristol（布里斯托大学）
与传统方法相比，深度学习方法越来越多地应用于视频压缩算法的优化，并且可以实现显着增强的编码增益。这种方法通常采用卷积神经网络（CNN），它是在内容覆盖范围相对有限的数据库上训练的。在本文中，一个新的广泛的和有代表性的视频数据库，BVI-DVC，提出了用于训练基于CNN的视频压缩系统，特别强调机器学习工具，增强传统的编码架构，包括空间分辨率和位深上采样，后处理和环路滤波。BVI-DVC包含从270 p到2160 p的各种空间分辨率的800个序列，并且已经在四种不同编码工具的十种现有网络架构上进行了评估。实验结果表明，该数据库产生显着的改善，在编码增益方面超过现有的（常用的）图像/视频训练数据库在相同的训练和评估配置。通过使用针对所有测试编码模块和CNN架构的所提出的数据库，基于PSNR的评估和基于VMAF的8.1%的总体额外编码改进高达10.3%。
2020-10-08 cs.CV eess.IV
Split Hierarchical Variational Compression
Huawei Technologies R&D UK（华为英国研发部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分自动编码器（VAE）在图像数据集压缩方面取得了巨大的成功。这一成功，使比特回编码框架成为可能，在许多基准测试中产生了有竞争力的压缩性能。然而，尽管如此，VAE架构目前受到编码实用性和压缩比的组合的限制。也就是说，不仅最先进的方法（例如标准化流）通常表现出超出性能的情况，而且编码中所需的初始位使得单个和并行图像压缩具有挑战性。为了解决这个问题，我们引入了分裂分层变分压缩（SHVC）。SHVC引入了两个新特性。首先，我们提出了一个有效的自回归先验，自回归子像素卷积，它允许每像素自回归和全因子概率模型之间的泛化。其次，我们定义了我们的编码框架，自回归初始位，灵活地支持并行编码，并避免-第一次-许多常见的实用性与位回编码。在我们的实验中，我们证明了SHVC能够在全分辨率无损图像压缩任务中实现最先进的压缩性能，模型参数比竞争VAE方法少100倍。
2022-04-05 cs.CV cs.LG eess.IV
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来，已经提出了几种利用先进的深度学习技术的点云几何压缩方法，但在属性压缩，特别是无损压缩方面的工作有限。在这项工作中，我们建立了一个端到端的多尺度点云属性编码方法（MNeT），逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文，从而使用单个网络预测最小化编码比特率。此外，我们的方法允许可伸缩的编码，较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG，并表明我们的方法优于最近提出的方法，并与最新的G-PCC版本14。此外，我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
Motion estimation and filtered prediction for dynamic point cloud attribute compression
KDDI Research, Inc.（KDDI综合研究所）
在点云压缩中，由于不规则的几何形状，利用时间冗余进行帧间预测编码具有挑战性。提出了一种基于块的帧间编码的彩色属性压缩方法。该方案包括整数精度的运动估计和一个自适应的基于图形的环路滤波方案，以改善属性预测。所提出的基于块的运动估计方案包括利用几何和颜色属性的初始运动搜索，随后是仅最小化颜色预测误差的运动细化。为了进一步提高颜色预测，我们提出了一个顶点域低通图滤波方案，可以自适应地去除噪声的预测计算从运动估计具有不同的精度。我们的实验表明，显着的编码增益超过国家的最先进的编码方法。
2022-10-28 cs.CV eess.IV
Soft Compression for Lossless Image Coding
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
软压缩是一种无损图像压缩方法，它从信息论和统计分布的角度出发，采用码书的位置和形状对图像进行编码，致力于同时消除编码冗余和空间冗余。本文提出了一个新的概念，可压缩指示函数关于图像，它给出了一个阈值的平均比特数所需的代表一个位置，可以用来揭示软压缩的性能。通过具体的算法和压缩指示值，对二值图像、灰度图像和多分量图像的软压缩进行了研究和分析。人们期望通过应用软压缩可以大大减少传输和存储同类图像时所需的带宽和存储空间。
2020-12-11 cs.AI cs.IT eess.IV
Learning Hierarchical Sparse Transform Coding for 3DGS Compression
McMaster University, Canada（麦斯威尔大学）；Nanyang Technological University, Singapore（南洋理工大学）；Southwest Jiaotong University, China（西南交通大学）
本文提出了一种学习分层稀疏变换编码方法，通过引入分析-合成变换和联合优化3DGS表示与熵模型，提升3DGS压缩的R-D性能和解码效率。
2026-02-24 cs.CV eess.IV
Audio-Visual Cross-Modal Compression for Generative Face Video Coding
Bytedance Inc.（字节跳动）；Peking University（北京大学）
本文提出AVCC框架，通过联合压缩音频和视频流，提升生成式面部视频编码的率-失真性能。
2025-12-17 cs.MM eess.IV
CANF-VC: Conditional Augmented Normalizing Flows for Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）；CNIT（意大利国家电信联盟）；University of Brescia（布雷西亚大学）
提出了一种基于条件增强规范化流（CANF）的端到端学习视频压缩系统CANF VC。大多数已知的视频压缩系统采用与传统编解码器相同的基于混合的编码架构。最近对条件编码的研究表明了基于混合的编码的次优性，并为深度生成模型在创建新的编码框架中发挥关键作用提供了机会。CANF-VC代表了利用条件ANF来学习用于条件帧间编码的视频生成模型的新尝试。我们选择ANF是因为它是一种特殊类型的生成模型，其中包括变分自编码器作为特例，并且能够实现更好的表达。CANF-VC还将条件编码的思想扩展到运动编码，形成了一个纯条件编码框架。在常用数据集上的大量实验结果证实了CANF-VC方法的优越性。CANF-VC的源代码可在https://github.com/NYCU-MAPL/CANF-VC上获得。
2022-08-15 cs.CV cs.LG eess.IV
Learned Video Compression for YUV 4:2:0 Content Using Flow-based Conditional Inter-frame Coding
National Yang Ming Chiao Tung University（阳明交通大学）
本文提出了一种基于学习的视频压缩框架，用于YUV 4：2：0内容的可变速率编码。现有的基于学习的视频压缩模型大多采用传统的混合编码结构，即先进行时间预测，然后进行残差编码。然而，最近的研究表明，残差编码是次优的信息理论的角度来看。此外，大多数现有模型都针对RGB内容进行了优化。此外，它们需要用于可变速率编码的单独模型。为了解决这些问题，这项工作提出了一种尝试，将条件帧间编码的YUV 4：2：0内容。为了提高帧间编码的效率，本文提出了一种基于条件流的帧间编码器。为了使我们的编解码器适应YUV 4：2：0内容，我们采用了一种简单的策略，即使用空间到深度和深度到空间转换。最后，我们采用速率自适应网络来实现可变速率编码，而无需训练多个模型。实验结果表明，我们的模型在UVG和MCL-JCV数据集上的PSNR-YUV性能优于x265。然而，在ISCAS'22 GC更具挑战性的数据集上，仍有足够的改进空间。这种不足的性能是由于在大的GOP尺寸下缺乏帧间编码能力，并且可以通过增加模型容量和应用错误传播感知训练策略来减轻。
2022-10-15 cs.CV cs.LG eess.IV
LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression
本文提出利用大型多模态模型在单一模型中生成并压缩图像描述，并设计面向语义-感知的微调方法，使LPIPS BD-rate较现有方法提升41.58%，实现超低码率学习型图像压缩。
2024-11-20 cs.CV eess.IV
Fine-Grained Motion Compression and Selective Temporal Fusion for Neural B-Frame Video Coding
Department of Computer Science, City University of Hong Kong（城市大学计算机科学系）；School of Data Science, Lingnan University（岭南大学数据科学学院）；Bytedance（字节跳动）
本文提出细粒度运动压缩与选择性时间融合方法，提升神经B帧视频编码性能，实现平均BD速率降低10%并优于H.266/VVC。
2026-02-23 cs.CV eess.IV
Neural Video Compression with Temporal Layer-Adaptive Hierarchical B-frame Coding
School of Computing, Kyung Hee University（庆熙大学计算机学院）；Samsung Advanced Institute of Technology（三星先进技术研究院）
提出一种结合时间层自适应优化的分层B帧神经视频压缩模型，通过双向扩展与TAQS/TALS方法，显著提升编码效率，较基线实现-39.86%的BD-rate增益，并适用于复杂运动序列。
2023-09-05 cs.CV eess.IV
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University（南京大学）
我们提出了一种基于多尺度自动编码器（MSAE）的极端图像压缩框架，以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率，并采用具有多尺度鉴别器的生成对抗网络（GAN）来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法，使用高效视频编码（HEVC）的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集，展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Deep Contextual Video Compression
Microsoft Research Asia（微软亚洲研究院）
现有的神经视频压缩方法大多采用预测编码框架，该框架首先生成预测帧，然后将其残差与当前帧一起编码。然而，对于压缩比，预测编码只是一个次优的解决方案，因为它使用简单的减法运算来消除跨帧的冗余。在本文中，我们提出了一个深度上下文视频压缩框架，以实现从预测编码到条件编码的范式转变。特别是，我们试图回答以下问题：如何在深度视频压缩框架下定义，使用和学习条件。为了挖掘条件编码的潜力，我们提出使用特征域上下文作为条件。这使得我们能够利用高维度上下文来将丰富的信息携带到编码器和解码器，这有助于重构高频内容以获得更高的视频质量。我们的框架也是可扩展的，其中的条件可以灵活地设计。实验表明，我们的方法可以显着优于以前的国家的最先进的（SOTA）深度视频压缩方法。与x265相比，使用非常慢的预设，我们可以实现1080P标准测试视频的码率节省26.0%。
2021-12-14 cs.CV cs.MM eess.IV
Regularized Compression of MRI Data: Modular Optimization of Joint Reconstruction and Coding
University of Cambridge（剑桥大学）；Rice University（莱斯大学）
磁共振成像（MRI）处理链从关键的采集阶段开始，为医学诊断图像重建提供原始数据。这个流程通常包括一个近乎无损的数据压缩阶段，它能够以二进制格式进行数字存储和/或传输。在这项工作中，我们提出了一个框架，用于联合优化的MRI重建和有损压缩，产生压缩表示的医学图像，实现质量和比特率之间的改进的权衡。此外，我们证明，有损压缩甚至可以提高重建质量相比，无损压缩的基础上设置。我们的方法有一个模块化的优化结构，实现使用交替方向乘法器（ADMM）技术和最先进的图像压缩技术（BPG）作为一个黑盒模块迭代应用。这建立了与所选择的有损压缩标准兼容的医疗数据压缩方法。所提出的算法的一个主要的新颖性是在总变差正则化添加到模块化压缩过程中，导致更高质量的解压缩图像，而无需任何额外的处理在/后的解压缩阶段。我们的实验表明，我们的正则化为基础的联合MRI重建和压缩的方法往往实现显着的PSNR增益4至9 dB之间的高比特率相比，非正则化的解决方案的联合任务。与基于正则化的解决方案相比，我们的优化方法在高比特率下提供了0.5至1 dB的PSNR增益，这是医学图像压缩的兴趣范围。
2020-11-09 cs.CV eess.IV
NVC-1B: A Large Neural Video Coding Model
University of Science and Technology of China（中国科学技术大学）
本文探索构建首个参数超10亿的大型神经视频编码模型NVC-1B，通过逐步扩大基线模型各编码模块规模并对比CNN、混合CNN-Transformer及Transformer架构的影响，最终实现了显著优于基线的最先进视频压缩性能。
2024-07-28 cs.CV eess.IV
Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
Institute of Image Communication and Network Engineering（图像通信与网络工程研究所）；Shanghai Jiao Tong University（上海交通大学）；College of Electronics and Information Engineering（电子信息工程学院）；Sichuan University（四川大学）
本文提出一种基于动态NeRF的体积视频压缩方法，通过分解表示并联合优化建模与压缩，相比ReRF实现了更高压缩效率。
2024-11-08 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image and Video Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发式智能感知与认知联合实验室，中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对超低比特率下图像视频压缩中像素域与感知错位的问题，提出在VQ-VAE潜在空间进行变换编码的生成式潜在编码（GLC）模型，并引入分类超模块和码预测损失，实现高真实感高保真压缩，显著降低比特率。
2025-05-22 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本研究提出生成性潜在编码方法，通过在潜在空间中进行变换编码，实现超低比特率下的高真实感和高保真度图像压缩，并在多个数据集上验证了其有效性。
2025-12-23 cs.CV eess.IV
Bandwidth-efficient Inference for Neural Image Compression
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR)（人工智能产业研究院（AIR））
本文提出一种端到端可微的带宽高效神经推理方法，通过变换-量化-熵编码流水线压缩激活值，在图像压缩任务中实现高达19倍带宽缩减和6.21倍能耗节省。
2023-09-07 cs.CV eess.IV
Thousand to One: Semantic Prior Modeling for Conceptual Coding
Peking University（北京大学）
概念编码是近年来兴起的一个研究热点，它将自然图像编码成解纠缠的概念表示进行压缩。然而，现有方法的压缩性能仍然是次优的，由于缺乏综合考虑的速率约束和重建质量。为此，我们提出了一种新的端到端的语义先验建模为基础的概念编码方案，对极低比特率的图像压缩，它利用语义的深度表示作为一个统一的熵估计和纹理合成的先验。具体来说，我们采用语义分割地图作为结构指导提取深层语义先验，这提供了更好的细节建设和更高的灵活性，在后续的高级视觉任务的细粒度纹理分布建模。此外，提出了一种跨通道熵模型，以进一步利用空间独立的语义先验的通道间相关性，从而为速率约束训练提供更准确的熵估计。该方案实现了超高的1000倍压缩比，同时仍然享有高的视觉重建质量和对视觉处理和分析任务的通用性。
2021-03-16 cs.CV eess.IV
