Sandwiched Compression: Repurposing Standard Codecs with Neural Network Wrappers
该研究提出将标准编解码器夹在前后处理神经网络间的夹层压缩架构，通过可微代理联合训练优化率失真，在多类不匹配场景下实现显著性能提升，并确立了其最优性与应用潜力。
2025-02-20 cs.MM eess.IV
CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
The Hong Kong Polytechnic University（香港理工大学）
近年来，互联网视频流量急剧增长，其中视频比特流通常被压缩并以低质量传送以适应流媒体的上行链路带宽。为了缓解质量下降，神经增强视频流（NVS）的兴起，它通过在媒体服务器上主要部署神经超分辨率（SR）来恢复低质量视频，显示出巨大的前景。尽管它的好处，我们发现，目前的主流作品与SR增强没有实现所需的率失真之间的比特率节省和质量恢复的权衡，由于：（1）过分强调解码器侧的增强而忽略编码器的协同设计，（2）恢复高保真感知细节的生成能力有限，以及（3）仅从分辨率角度优化压缩和恢复流水线，而不考虑颜色位深度。为了克服这些限制，我们首先进行编码器-解码器（即，编解码器）协同作用。具体来说，我们提出了编解码器感知的扩散建模（CaDM），一种新的NVS范式，以显着降低流传输比特率，同时保持相当高的恢复能力比现有的方法。首先，CaDM通过同时降低视频帧的分辨率和颜色比特深度来提高编码器的压缩效率。其次，CaDM通过使去噪扩散恢复知道编码器的分辨率-颜色条件来赋予解码器高质量的增强。使用OpenMMLab基准测试对公共云服务进行的评估表明，CaDM有效地节省了基于常见视频标准的高达5.12 - 21.44倍的比特率，并实现了更好的恢复质量（例如，FID为0.61）优于最先进的神经增强方法。
2023-03-08 cs.CV cs.LG cs.MM
Improved Hybrid Layered Image Compression using Deep Learning and Traditional Codecs
Xi’an Jiaotong University（西安交通大学）；Simon Fraser University（西蒙弗雷泽大学）；Tencent Technologies（腾讯科技）
最近，基于深度学习的方法已被应用于图像压缩，并取得了许多有前途的结果。在本文中，我们提出了一种改进的混合分层图像压缩框架，通过结合深度学习和传统的图像编解码器。在编码器处，我们首先使用卷积神经网络（CNN）来获得输入图像的紧凑表示，该输入图像由FLIF编解码器作为比特流的基本层进行有损编码。通过另一个CNN从重构的紧凑表示获得输入的粗略重构。然后获得输入和粗重构之间的残差，并由基于H.265/HEVC的BPG编解码器编码为比特流的增强层。使用Kodak和Tecnick数据集的实验结果表明，当图像在RGB 444域中编码时，所提出的方案在宽范围的比特率的PSNR和MS-SSIM指标方面优于最先进的基于深度学习的分层编码方案和包括BPG的传统编解码器。
2019-07-15 cs.LG eess.IV stat.ML
Gen2-VC: Unlocking Generative Priors for Video Compression
Tsinghua University（清华大学）
Gen2-VC通过冻结编解码器和生成骨干，仅用轻量LoRA适配器精化重建，实现低比特率下优于VTM-23.0的失真-感知权衡，且适配器可跨编解码器泛化。
2026-09-29 eess.IV
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University（法政大学）
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题，提出结合过去与未来关键帧的双向学习型编解码器，在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
CATRF: Codec-Adaptive TriPlane Radiance Fields for Volumetric Content Delivery
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出CATRF，一种用于体积分发的编码自适应三平面辐射场方法，通过在训练过程中将二维特征平面量化和打包到编码器友好的画布中，并利用标准编码器进行回程处理，从而在训练循环中插入非可微的编码器管道，使辐射场特征能够直接适应客户端侧的编码器失真，而无需引入任何学习的编码器参数。
2026-05-18 cs.CV cs.MM eess.IV
A New Image Codec Paradigm for Human and Machine Uses
Shandong Normal University（山东师范大学）；Nanyang Technological University（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Alibaba Cloud Business Group（阿里云事业群）
随着物联网（AIoT）的发展，大量的视觉数据，例如，图像和视频，都是我们日常工作和生活中产生的。这些视觉数据不仅用于人类观看或理解，而且用于机器分析或决策，例如，智能监控、自动驾驶汽车和许多其他智慧城市应用。为此，在这项工作中提出了一种新的图像编解码器的范式，为人类和机器使用。首先，利用神经网络提取高层实例分割图和低层信号特征。然后，实例分割图被进一步表示为具有所提出的16位灰度表示的轮廓。之后，16位灰度轮廓和信号特征都用无损编解码器编码。同时，设计并训练了一个图像预测器，实现了具有16位灰度轮廓和信号特征的一般质量的图像重建。最后，对预测图像和原始图像之间的残差映射进行有损压缩，用于高质量的图像重建。通过这样的设计，一方面，我们可以实现可伸缩的图像压缩，以满足不同人类消费的要求;另一方面，我们可以直接在解码器侧用解码的16位灰度轮廓实现几个机器视觉任务，例如，目标分类、检测和分割。实验结果表明，所提出的编解码器实现了与大多数基于学习的编解码器相当的结果，并且优于传统的编解码器（例如，BPG和JPEG 2000）在PSNR和MS-SSIM方面进行图像重建。同时，它在目标检测和分割的mAP方面优于现有的编解码器。
2021-12-19 cs.CV eess.IV
A Bitstream Feature Based Model for Video Decoding Energy Estimation
在本文中，我们表明，少量的比特流功能可以用来准确地估计四种不同的视频编解码器的最先进的软件和硬件加速解码器实现的能耗。通过测试HEVC，H.264，H.263和VP9的估计性能，我们表明，该模型可以用于任何混合视频编解码器。我们测试我们的方法在大量的不同的测试序列，以证明一般的有效性。我们表明，少于20个功能是足够的，以获得平均估计误差小于8%。最后，一个例子将显示所有测试的编解码器在速率、失真和解码能量方面的性能权衡。
2022-04-21 eess.IV
OSCAR: One-Step Diffusion Codec Across Multiple Bit-rates
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Joy Future Academy（京东探索研究院）；South China University of Technology（华南理工大学）
本文提出 OSCAR，一种将码率映射为伪扩散时间步的单步扩散图像编解码器，使单一模型支持多码率重建并显著降低推理开销。
2025-10-20 cs.CV eess.IV
Towards Real-Time Neural Video Codec for Cross-Platform Application Using Calibration Information
Tencent AI Lab（腾讯人工智能实验室）
本文提出一种实时跨平台神经视频编解码器，通过校准传输系统和分段高斯约束解决跨平台浮点误差导致的编解码不一致问题，并设计轻量级模型在RTX 2080上实现720P视频25 FPS实时解码，较H.265最多提升24.2% BD-rate。
2023-09-20 cs.CV eess.IV
SCENE: Semantic-aware Codec Enhancement with Neural Embeddings
United Link Co., Ltd.（联合链接有限公司）；Dept. Computer Science and Information Engineering, National Tsing Hua University（国立清华大学计算机科学与信息工程系）
SCENE通过整合视觉语言模型的语义嵌入，实现对压缩视频中伪影的语义感知增强，提升感知质量和细节纹理保留。
2026-01-29 cs.CV cs.LG cs.MM
Scalable Neural Video Representation Compression
University of Bristol（布里斯托大学）；Tencent Media Lab（腾讯媒体实验室）
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC，通过单次编码实现细粒度码率与解码复杂度可扩展性，在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0，将提供实现代码。
2026-11-05 cs.CV cs.MM eess.IV
Explore Cross-Codec Quality-Rate Convex Hulls Relation for Adaptive Streaming
本研究评估H.264、H.265、VP9在三种分辨率下的质量-码率性能，构建凸包并对数多项式建模，发现单编解码器凸包可预测其他编解码器性能，助力提升自适应流媒体效率。
2024-08-16 eess.IV
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
Data-driven Video Codec with Implicit Neural Representations
Department of Electronics and Computer Engineering, Thapathali Campus Institute of Engineering, Tribhuvan University（电子与计算机工程系，塔帕塔利校区工程学院，廷布孙大学）
研究提出用存储单个正弦表示网络权重的方式编解码视频及音频，介绍网络结构、压缩方法等，在测试视频上有一定效果，与其他编解码器比较有不足，还展示了基于浏览器的原型。
2026-07-20 cs.AI cs.MM cs.SD
Adaptive Video Encoding For Different Video Codecs
到2022年，我们预计视频流量将达到互联网总流量的82%。毫无疑问，视频驱动应用的丰富将可能导致互联网视频流量百分比在不久的将来进一步增加，这是由视频设备功能的相关进步所实现的。为了应对这一不断增长的需求，开放媒体联盟（AOM）和联合视频专家小组（JVET）对开发新的视频编解码器表现出了浓厚的兴趣。因此，在快速变化的视频编解码器领域，真正需要开发可以普遍应用于不同编解码器的自适应方法。在这项研究中，我们将视频编码制定为多目标优化过程，其中视频质量（作为VMAF和PSNR的函数），比特率需求和编码速率（以每秒编码帧为单位）得到联合优化，超越了专注于针对特定带宽的速率控制的标准视频编码方法。更具体地说，我们创建了一个密集的视频编码空间（离线），然后采用回归来生成前向预测模型，用于上述优化目标中的每一个，仅使用帕累托最优点。我们展示了我们的自适应视频编码方法，该方法利用所生成的前向预测模型，这些模型有资格使用不同的编解码器进行实时自适应（例如，SVT-AV 1和x265），用于各种视频数据集和分辨率。为了激励我们的方法并为未来的快速VVC编码器建立承诺，我们还使用主观和客观指标进行了比较性能评估，并报告了VVC，SVT-AV 1，x265和VP 9编解码器之间所有可能对的比特率节省。
2021-05-17 cs.MM eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Extending Neural P-frame Codecs for B-frame Coding
Qualcomm AI Research（高通人工智能研究院）
虽然大多数神经视频编解码器解决P帧编码（从过去的帧预测每一帧），但在本文中，我们解决B帧压缩（使用过去和未来的参考帧预测帧）。我们的B-框架解决方案是基于现有的P-框架方法。因此，B帧编码能力可以很容易地添加到现有的神经编解码器。我们的B帧编码方法的基本思想是内插的两个参考帧，以产生一个单一的参考帧，然后使用它与现有的P帧编解码器编码的输入B帧。我们的研究表明，内插帧是一个更好的参考P帧编解码器相比，使用前一帧通常是这样做。我们的结果表明，使用所提出的方法与现有的P帧编解码器可以导致28.5%的节省比特率的UVG数据集相比，P帧编解码器，同时产生相同的视频质量。
2021-08-05 cs.CV cs.LG eess.IV
ReGenVC: End-to-End Real-Time Generative Video Coding at Ultra-Low Bitrate
Intel Corporation（英特尔公司）
ReGenVC是首个结合超低位率编码与实时解码的端到端生成式视频编解码器，通过技术优化实现24 fps输出，内存占用显著降低。
2026-07-31 cs.CV eess.IV
MLVC: Multi-platform Learned Video Codec for Real-World Deployment
Microsoft Corporation（微软公司）
提出MLVC，一种跨平台鲁棒的神经视频编解码器，通过超先验显式传输缩放参数保证熵编码一致性，结合门控记忆、ReGLU激活等架构改进，在VCD基准上相比硬件HEVC实现>70% BD-rate提升，且与无法跨平台运行的DCVC-RT主观质量相当。
2026-07-30 cs.AI cs.CV cs.LG
Wrapper-Aware Rate-Distortion Optimization in Feature Coding for Machines
University of Southern California（南加州大学）；InterDigital AI Lab（InterDigital人工智能实验室）
本文提出面向封装的率失真优化方法，通过改进内编码器的比特分配策略，有效提升特征编码的压缩性能。
2026-01-29 eess.IV eess.SP
Bit Distribution Study and Implementation of Spatial Quality Map in the JPEG-AI Standardization
Multimedia Communications and Signal Processing, Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学多媒体通信与信号处理研究所）；Chair of Media Technology, Technical University of Munich（慕尼黑工业大学媒体技术讲席教授组）；Huawei Technologies（华为技术有限公司）
本文研究JPEG-AI标准化中的空间比特分布问题，发现VVC intra通过多块尺寸实现更灵活的比特分配，据此提出空间比特分配方法优化JPEG-AI验证模型，并结合VVC策略使PSNR-Y最高提升0.45 dB。
2024-02-27 cs.CV cs.LG eess.IV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research（高通人工智能研究院）
在视频压缩中，通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余：1）一阶：像素空间中的冗余，即，跨相邻帧的像素值的相似性，这是使用运动和残差补偿有效地捕获的，2）二阶：由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余，我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测，学习从以前解码的数据外推。这些预测器是轻量级的，可以与大多数神经视频编解码器一起使用，以提高其率失真性能。此外，虽然RGB是神经视频编码文献中的主要色彩空间，但我们介绍了神经视频编解码器的一般修改，以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明，使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression
Microsoft Research Asia（微软亚洲研究院）
对于神经视频编解码器来说，设计一个有效的熵模型来准确预测量化潜在表征的概率分布是关键的，也是具有挑战性的。然而，现有的视频编解码器大多直接使用现成的熵模型从图像编解码器编码的残差或运动，并没有充分利用视频的时空特性。为此，本文提出了一个强大的熵模型，有效地捕捉空间和时间的依赖性。特别地，我们引入了潜在先验，它利用潜在表征之间的相关性来挤压时间冗余。同时，提出了双空间先验，以减少空间冗余的并行友好的方式。此外，我们的熵模型也是通用的。除了估计的概率分布，我们的熵模型还产生在空间通道的量化步骤。这种内容自适应量化机制不仅可以帮助我们的编码器实现平滑的速率调整在单一的模式，但也提高了最终的率失真性能的动态比特分配。实验结果表明，采用所提出的熵模型，我们的神经编解码器可以实现18.2%的比特率节省UVG数据集相比，H.266（VTM）使用最高的压缩比配置。它是神经视频编解码器发展的一个新的里程碑。代码在https://github.com/microsoft/DCVC上。
2022-07-13 cs.CV cs.MM eess.IV
An adaptive Lagrange multiplier determination method for rate-distortion optimisation in hybrid video codecs
本文提出了一种用于视频压缩码率-质量优化的自适应拉格朗日乘子确定方法。受拉格朗日乘数选择测试的实验结果的启发，所提出的方法自适应地估计最佳拉格朗日乘数为不同的视频内容，基于最近编码的帧的失真统计。所提出的算法已完全集成到H.264和HEVC参考编解码器中，并用于编码B帧的率失真优化。结果显示，基于Bjontegaard delta测量的各种类型的测试内容，在复杂性增加最小的情况下，整体比特率节省有希望（在测试的序列上高达11%）。
2021-06-15 eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
视频压缩是互联网视频传输的关键组成部分。最近的研究表明，深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法，但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法，增强现有的编解码器与一个小的，内容自适应超分辨率模型，显着提高视频质量。我们的方法SRVC将视频编码成两个比特流：（i）内容流，通过使用现有编解码器压缩下采样的低分辨率视频产生，（ii）模型流，其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过（时变）超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明，为了实现相同的PSNR，SRVC在慢速模式下需要H. 265的每像素比特数的16%，以及DVC的每像素比特数的2%，DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
Deep motion estimation for parallel inter-frame prediction in video compression
Stellenbosch University（斯泰伦博斯大学）
标准视频编解码器依赖于光流来指导帧间预测：来自参考帧的像素经由运动矢量移动以预测目标视频帧。我们建议学习基于输入视频序列编码的二进制运动代码。这些代码不仅限于2D平移，还可以捕获复杂的运动（扭曲，旋转和遮挡）。我们的运动代码是作为单个神经网络的一部分学习的，该神经网络还学习压缩和解码它们。该方法支持并行视频帧解码，而不是基于流的方法的顺序运动估计和补偿。我们还引入了3D动态位分配，以适应运动引起的对象位移，产生额外的位节省。通过将现有视频编解码器中基于光流的块运动算法替换为我们学习的帧间预测模型，我们的方法在低比特率下优于标准H.264和H.265视频编解码器。
2019-12-11 cs.CV eess.IV
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）；Beijing Institute of Technology（北京理工大学）
硬件友好的网络量化（例如，二进制/均匀量化）可以有效地加速推理，同时减少深度神经网络的存储器消耗，这对于资源有限的设备（如移动电话）上的模型部署至关重要。然而，由于低比特量化的离散性，现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题，在本文中，我们提出了微分软量化（DSQ），以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化，以逐渐接近标准量化。由于DSQ的可微性，它可以在后向传播过程中精确地追求梯度，并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明，使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外，我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比，开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
Universal Efficient Variable-rate Neural Image Compression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
近年来，基于学习的图像压缩已经达到了与传统图像编解码器（如JPEG、BPG、WebP）相当的性能。然而，计算复杂度和速率灵活性仍然是其实际部署的两个主要挑战。为了解决这些问题，本文提出了两个通用的模块：基于能量的通道门控（Energy-based Channel Gating，ECG）和比特率调制器（Bit-rate Modulator，BM），它们可以直接嵌入到现有的端到端图像压缩模型中。ECG使用动态修剪来减少卷积层中超过50%的FLOP，并且BM对可以调制潜在表示以按通道方式控制比特率。通过实现这两个模块，现有的基于学习的图像编解码器可以获得以单一模型输出任意比特率的能力，并减少计算量。
2022-02-24 cs.LG eess.IV
HybridPrompt: Bridging Generative Priors and Traditional Codecs for Mobile Streaming
Peking University（北京大学）
HybridPrompt结合生成模型与传统编码器，实现移动设备上高速高质量的视频解码。
2026-02-19 cs.MM eess.IV
Enhancing the Rate-Distortion-Perception Flexibility of Learned Image Codecs with Conditional Diffusion Decoders
University of Padova（帕多瓦大学）
针对现有学习型图像压缩编解码器低码率下视觉效果不佳的问题，本文提出用条件扩散模型作解码器，可在解码端基于采样方法灵活调整失真与感知的权衡，提升率-失真-感知灵活性。
2024-03-05 cs.CV eess.IV
Learned Image Coding for Machines: A Content-Adaptive Approach
Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
如今，根据思科年度互联网报告（2018-2023），互联网流量增长最快的类别是机器对机器通信。特别是，图像和视频的机器对机器通信代表了一个新的挑战，并在数据压缩的背景下开辟了新的前景。一种可能的解决方案方法包括使当前以人类为目标的图像和视频编码标准适应机器消耗的用例。另一种方法包括为机器对机器通信开发全新的压缩范例和架构。在本文中，我们专注于图像压缩，并提出了一个推理时间的内容自适应微调方案，优化了一个端到端的学习图像编解码器的潜在表示，旨在提高压缩效率的机器消费。进行的实验表明，我们的在线微调带来了平均比特率节省（BD率）的-3.66%相对于我们的预训练的图像编解码器。特别地，在低比特率点，我们提出的方法导致显著的比特率节省-9.85%。总的来说，我们的预训练和微调系统实现了比最先进的图像/视频编解码器多功能视频编码（VVC）约30.54%的BD速率。
2021-10-13 cs.CV cs.LG eess.IV
Towards image compression with perfect realism at ultra-low bitrates
FAIR at Meta（Meta FAIR研究院）；LTCI, Télécom Paris, IP Paris（巴黎理工学院电信学院LTCI实验室）
本文提出PerCo，一种利用迭代扩散模型进行解码的图像压缩方法，在超低比特率下实现高视觉质量，并在FID和KID指标上达到最先进水平。
2024-03-19 cs.CV eess.IV
Enhanced Standard Compatible Image Compression Framework based on Auxiliary Codec Networks
Yonsei University（延世大学）
为了提高图像压缩性能，最近基于深度神经网络的研究可以分为三类：可学习的编解码器，后处理网络和紧凑表示网络。可学习的编解码器被设计用于超越传统压缩模块的端到端学习。后处理网络使用基于示例的学习来提高解码图像的质量。学习紧凑表示网络以减少输入图像的容量，从而在保持解码图像的质量的同时降低比特率。然而，这些方法与现有的编解码器不兼容，或者对于提高编码效率不是最佳的。具体来说，由于对编解码器的考虑不准确，在以前的研究中使用紧凑表示网络很难实现最佳学习。本文提出了一种基于辅助编解码器网络的标准兼容图像压缩框架。ACN被设计为模仿现有编解码器的图像降级操作，其向紧凑表示网络提供更准确的梯度。因此，紧凑表示和后处理网络可以有效地和最佳地学习。我们证明，我们提出的框架JPEG和高效率视频编码（HEVC）标准的基础上大大优于现有的图像压缩算法在标准兼容的方式。
2021-12-15 cs.CV eess.IV
Frequency-aware Learned Image Compression for Quality Scalability
空间频率分析和变换在大多数工程图像和视频有损编解码器中起着核心作用，但很少用于基于神经网络（NN）的方法。我们提出了一种新的基于神经网络的图像编码框架，利用前向小波变换的空间频率分解的输入信号。我们的编码器为低频和高频的每个潜在表示生成单独的比特流。这使得我们的解码器能够以质量可伸缩的方式选择性地解码比特流。因此，解码器可以通过使用除了基本比特流之外的增强比特流来产生增强图像。此外，我们的方法是能够提高只有一个特定的感兴趣区域（ROI），通过使用相应的部分增强潜在的表示。我们的实验表明，该方法显示出竞争力的率失真性能相比，几个不可伸缩的图像编解码器。我们还展示了我们的两级质量可扩展性的有效性，以及它在ROI质量增强方面的实用性。
2023-01-03 eess.IV
Conditional Coding and Variable Bitrate for Practical Learned Video Coding
介绍了一种实用的学习型视频编解码器。条件编码和量化增益矢量用于为单个编码器/解码器对提供灵活性，其能够以可变比特率压缩视频序列。通过选择速率和GOP结构来优化速率失真成本，在测试时利用灵活性。使用CLIC 21视频测试条件，所提出的方法显示出与HEVC相当的性能。
2021-04-20 cs.NE eess.IV eess.SP
