LCCM-VC: Learned Conditional Coding Modes for Video Compression
本文提出LCCM-VC视频编码模型，利用CANF条件编码引擎并引入额外编码模式，在学习型视频编码中取得最先进结果，尤其在高画质高码率场景下压缩效率突出。
2023-04-19 eess.IV
Emerging Advances in Learned Video Compression: Models, Systems and Beyond
本文全面综述了端到端优化的学习型视频压缩（LVC）在模型设计、优化技术、系统硬件实现及标准化方面的最新进展，并通过仿真结果证明其卓越性能与对未来视觉智能的广泛影响。
2025-04-30 eess.IV
Analysis of Neural Video Compression Networks for 360-Degree Video Coding
本文分析了多种神经视频压缩网络（NVCs）和360度投影格式的压缩性能，发现投影格式重采样能显著提升NVCs性能，其中ACP和ECP格式表现最佳，码率节省超过55%，优于H.266/VVC。
2024-02-15 eess.IV
Inpainting-based Video Compression in FullHD
基于修复的压缩方法是用于静态图像的经典基于变换的编解码器的一种不断发展的替代方案。将这些想法应用于视频压缩的尝试很少，因为达到实时性能非常具有挑战性。因此，当前的方法集中于忽略时间冗余的简化的逐帧重建。作为一种补救措施，我们提出了一种高效，实时的预测和校正方法，完全依赖于偏微分方程（PDE）在所有步骤的编解码器：密集的变化光流场产生准确的运动补偿预测，而均匀扩散修复应用于帧内预测。为了压缩残差，我们引入了一种新的高效的基于块的伪差分修复变体。我们的新架构在质量和速度方面优于其他基于inpainting的视频编解码器。在基于inpainting的视频压缩中，我们第一次可以使用完全基于CPU的实现实时处理FullHD（1080p）视频，比以前的方法性能高出大约一个数量级。
2021-05-04 eess.IV
Rate-Distortion Optimization With Alternative References For UGC Video Compression
用户生成内容（UGC）是指由用户上传并通过互联网共享的视频。由于噪声和先前的压缩，UGC可能具有低质量。当重新编码UGC以用于流传输或下载时，传统的视频编码流水线将执行率失真（RD）优化以选择编码参数。然而，在UGC视频编码的情况下，由于输入不是原始的，因此可以观察到质量"饱和“（或甚至降级），即，增加的比特率仅导致UGC输入中存在的编码伪像和噪声的改进的表示。本文研究了UGC压缩中的饱和问题，目标是在编码过程中识别和避免导致质量饱和的编码参数和码率。我们提出了一个几何标准的饱和度检测，与率失真优化，只需要几帧的UGC视频。此外，我们展示了如何将所提出的饱和度检测方法与现有的视频编码系统相结合，该系统实现了UGC视频的高效压缩的率失真优化。
2023-03-11 eess.IV
Learned Video Compression with Feature-level Residuals
在本文中，我们提出了一个端到端的视频压缩网络的P帧挑战CLIC。本文重点研究了基于深度神经网络（DNN）的视频压缩算法，并从三个方面对现有框架进行了改进。首先，我们注意到像素空间残差对基于光流的运动补偿的预测误差是敏感的。为了抑制相对影响，我们建议压缩图像特征的残差，而不是图像像素的残差。此外，我们结合了像素级和特征级残差压缩方法的优点，通过模型集成。最后，我们提出了一个分步训练策略，以提高整个框架的训练效率。实验结果表明，我们提出的方法在CLIC验证集上达到0.9968 MS-SSIM，在测试集上达到0.9967 MS-SSIM。
2020-04-22 eess.IV
LRC-DHVC: Towards Local Rate Control in Neural Video Compression
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
LRC-DHVC提出了一种分层神经视频压缩网络，实现像素级连续局部率控，以适应不同质量约束，同时保持内存需求恒定。
2026-01-20 eess.IV
Generative Compression for Face Video: A Hybrid Scheme
作为最新的视频编码标准，通用视频编码（VVC）在保持像素质量方面表现出了很强的能力。为挖掘超低码率下电视会议场景的压缩潜力，提出一种码率可调的人脸视频混合压缩方案。这种混合方案结合了传统编码的像素级精确恢复能力和基于删节信息的深度学习生成能力，其中Pixel wise Bi-Prediction，Low-Bitrate-FOM和Lossless Keypoint Encoder合作，在1.47 KB/s的低比特率下实现高达36.23 dB的PSNR。在不引入任何额外比特率的情况下，我们的方法在完全公平的对比实验中具有明显的优势，这证明了我们所提出的方案的有效性。此外，我们的计划可以适应任何现有的编码器/配置，以处理不同的编码要求，和比特率可以根据网络条件动态调整。
2023-03-20 eess.IV
Parameter-Efficient Instance-Adaptive Neural Video Compression
针对神经视频编解码器（NVCs）压缩性能不足、泛化能力差及现有实例自适应方法成本高的问题，提出参数高效的实例自适应框架，通过轻量级适配器模块微调预训练NVCs，在多基准数据集上提升RD性能（最高5dB PSNR）并减少编码时间。
2024-11-28 eess.IV
Neural Video Compression using Spatio-Temporal Priors
对更高压缩效率的追求不断推动着视频编码技术的进步。从根本上说，我们希望找到更好的“预测”或“先验”，这些“预测”或“先验”先前被重构以有效地去除信号依赖性并准确地对用于熵编码的信号分布进行建模。在这项工作中，我们提出了一个神经视频压缩框架，利用空间和时间的先验，独立和联合利用帧内纹理，基于光流的时间运动和残差的相关性。空间先验是使用缩小的低分辨率特征生成的，而时间先验（来自先前的参考帧和残差）是使用基于卷积神经网络的长短期记忆（ConvLSTM）结构以时间递归方式捕获的。所有这些部分都被连接起来，并共同训练，以达到最佳的率失真性能。与高效视频编码（HEVC）主规范（MP）相比，使用标准公共测试序列，我们的方法已经展示了平均38%的Bjontegaard-Delta速率（BD-Rate）改进，其中失真是多尺度结构相似性（MS-SSIM）。
2019-02-21 eess.IV
BVI-CC: A Dataset for Research on Video Compression and Quality Assessment
视频技术的前景在过去的几年里一直非常生动，新的视频编码技术的推出，承诺提高压缩性能超过国家的最先进的技术。尽管有很多视频数据集是可用的，但需要宽参数空间的代表性内容以及对来自完整端的编码内容的变化的主观评估。针对这一需求，本文介绍了一个数据集，BVI-CC。部署了三种视频编解码器来创建编码序列的变体：高效视频编码（HEVC）测试模型（HM）、AOMedia视频1（AV 1）和通用视频编码（VVC）测试模型（VTM）。九个源视频序列被精心挑选，以提供在时空域的多样性和代表性。序列的不同空间分辨率版本由所有三个编解码器以预定义的目标比特率创建和编码。使用常用的客观质量度量来评估编解码器的压缩效率，并且还通过心理物理实验来评估其重构内容的主观质量。此外，使用客观和主观评估评估自适应比特率（跨空间分辨率的凸包率失真优化）测试情况。最后，测试的编解码器的计算复杂性进行了检查。所有数据都已作为数据集的一部分公开提供，可用于编码性能评估和视频质量指标开发。
2022-02-21 eess.IV
TVC: Tokenized Video Compression with Ultra-Low Bit Rate
针对超低码率下视频压缩的时序动态与码率约束挑战，提出基于Token的双流TVC框架，结合离散连续Token流与多尺度融合，实现高感知质量的视频压缩，为语义感知Token原生方法提供新方向。
2025-11-19 eess.IV
OASIS: Online Adaptive Video Compression via Closed-loop Feedback Control
Columbia University（哥伦比亚大学）
针对自动驾驶多摄像头数据传输的带宽与能耗瓶颈，提出OASIS自适应视频压缩框架，结合轻量级传感器内压缩与任务感知的压缩比动态控制，在多种视觉任务上实现6倍数据压缩、5.8倍功耗降低和2.5倍延迟降低，性能损失不超过1.5%。
2026-09-15 eess.IV
Editorial: Introduction to the Issue on Deep Learning for Image/Video Restoration and Compression
最近的工作表明，学习模型可以实现显着的性能增益，特别是在感知质量的措施，比传统的方法。因此，图像恢复和压缩的最新技术正在被重新定义。本特刊涵盖了学习图像/视频恢复和压缩的最新技术，以促进创新架构和培训方法的进一步发展，从而实现有效和高效的图像/视频恢复和压缩网络。
2021-02-09 cs.LG eess.IV
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University（科奇大学）
传统的视频压缩方法采用线性变换和块运动模型，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器，但是在常规视频压缩中众所周知的是，分层双向编码优于顺序压缩。在本文中，我们提出了第一次端到端优化的分层，双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组（GOP）。实验结果表明，我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Generative Video Compression: Towards 0.01% Compression Rate for Video Transmission
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
生成视频压缩（GVC）通过利用生成视频模型实现接近0.01%的极端压缩率，同时在带宽受限环境中提供高效、可扩展的视频通信方案。
2026-02-01 cs.AI cs.MM eess.IV
Efficient in-situ image and video compression through probabilistic image representation
对于大量高分辨率图像和视频的有效存储和传输，用于多维图像的快速和有效的图像压缩已经变得越来越重要。压缩方法中的期望属性包括（1）在宽范围的压缩率下的高重构质量，同时保留关键局部细节，（2）计算可缩放性，（3）对各种不同图像/视频类型和不同维度的适用性，（4）渐进传输，以及（5）易于调谐。我们提出了这样一种多维图像压缩的方法，称为自适应递归分区压缩（CARP）。CARP使用从图像的递归分区上的贝叶斯概率模型推断的图像像素的最佳排列来降低其有效维度，从而实现保留信息的简约表示。CARP使用多层贝叶斯分层模型来实现原位压缩以及自调整和正则化，用户只需指定一个参数即可实现所需的压缩率。使用各种数据集（包括2D静态图像，真实YouTube视频和监控视频）进行的大量数值实验表明，CARP在所有这些不同图像类型以及几乎所有单个图像和视频的压缩方法中占主导地位-包括JPEG，JPEG 2000，BPG，MPEG4，HEVC和基于神经网络的方法。
2020-11-12 eess.IV stat.AP
Learning for Video Compression
基于学习的视频压缩的一个关键挑战是运动预测编码，一个非常有效的视频压缩的工具，很难被训练成一个神经网络。在本文中，我们提出了PixelMotionCNN（PMCNN）的概念，它包括运动扩展和混合预测网络。PMCNN可以对时空相干性进行建模，以有效地在学习网络内部执行预测编码。在PMCNN的基础上，我们进一步探索了一种基于学习的视频压缩框架，并增加了迭代分析/合成、二值化等组件。实验结果证明了该方案的有效性。虽然本文没有采用熵编码和复杂的配置，我们仍然表现出优越的性能与MPEG-2相比，并取得可比的结果与H. 264编解码器。提出的基于学习的方案提供了一个可能的新方向，以进一步提高压缩效率和未来的视频编码的功能。
2019-01-09 cs.MM eess.IV
Deformable 2D Gaussian Splatting for Efficient 4K Video Compression
Purdue University（普渡大学）
本文提出一种基于可变形二维高斯泼溅的实时视频压缩框架，以粗到细多尺度结构表示GOP，在LPIPS上超越H.265等先进方法，实现高效4K视频压缩。
2026-09-15 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia（微软亚洲研究院）
本文提出感知视频压缩框架GLVC，通过连续分词器将帧投影至潜在空间以卸载感知约束，采用统一帧内/帧间编码与循环记忆机制重新设计架构，在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
本研究建立分层自回归生成模型与有损视频压缩的关联，将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向，在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Adversarial Video Compression Guided by Soft Edge Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用条件生成对抗网络（GANs）的视频压缩框架。我们依赖于两个编码器：一种是部署标准视频编解码器，另一种是通过下采样流水线、新设计的软边缘检测器和新颖的无损压缩方案来生成低级映射。对于解码，我们使用标准视频解码器以及基于神经网络的解码器，该解码器使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预训练生成网络以进行插值。与此之前的工作相比，我们的方案在从单个视频和相应的低级地图中获取的数量非常有限的关键帧对上训练生成解码器。经过训练的解码器依靠低级映射的指导产生重构帧，而不需要任何插值。对131个视频的实验表明，我们提出的基于GAN的压缩引擎在非常低的比特率下实现了比H.264或HEVC等主流标准编解码器更高质量的重建。
2018-11-26 cs.CV eess.IV
Blurry Video Compression: A Trade-off between Visual Enhancement and Data Compression
KAIST（韩国科学技术院）；Harvard University（哈佛大学）
针对现有视频压缩方法在模糊视频上表现不佳的问题，该研究将视频压缩建模为极小-极大优化问题，提出有效框架与训练策略平衡视觉增强和数据压缩，在多个基准数据集上优于现有最先进方法。
2023-11-08 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
DVC: An End-to-end Deep Video Compression Framework
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）
传统的视频压缩方法使用预测编码架构，并对相应的运动信息和残差信息进行编码。本文利用传统视频压缩方法中的经典架构和神经网络强大的非线性表示能力，提出了第一个端到端视频压缩深度模型，该模型联合优化了视频压缩的所有组件。具体地说，基于学习的光流估计被用来获得运动信息和重建当前帧。然后，我们采用两个自动编码器风格的神经网络压缩相应的运动和残差信息。所有模块通过单个损失函数联合学习，其中它们通过考虑减少压缩比特数和提高解码视频的质量之间的权衡而彼此协作。实验结果表明，该方法在峰值信噪比（PSNR）方面优于目前广泛使用的视频编码标准H. 264，在MS-SSIM方面与最新标准H. 265相当。代码发布于https://github.com/GuoLusjtu/DVC。
2019-04-07 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Scene Matters: Model-based Deep Video Compression
University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种基于场景的模型驱动视频压缩框架，利用隐式神经表示直接建模视频强度变化，通过空间位置嵌入、频域监督、场景流约束和时间对比损失提升效率，相比H.266实现高达20%码率降低且解码更高效。
2023-08-30 cs.CV eess.IV
State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression
如今，360°视频/图像越来越受欢迎并引起了极大的关注。360°视频/图像的球形可视范围所占的数据量巨大，这对360°视频/图像处理在解决存储、传输等瓶颈方面提出了挑战。因此，近年来360°视频/图像处理的研究工作呈爆炸式增长。本文从感知、评价和压缩三个方面对360°视频/图像处理的研究现状进行了综述。首先，本文回顾了360°视频/图像的数据集和视觉注意力建模方法。其次，我们综述了360°视频/图像的主观和客观视觉质量评价（VQA）的相关工作。第三，我们概述了360°视频/图像的压缩方法，无论是利用球形特性或视觉注意力模型。最后，对全文进行了总结，并对360°视频/图像处理的未来研究方向进行了展望。
2019-10-28 cs.MM eess.IV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
VCD: A Video Conferencing Dataset for Video Compression
提出首个视频会议数据集VCD，涵盖多种摄像头质量和场景，评估H.264等编解码器压缩效率，发现源质量和场景显著影响性能，并开源发布。
2023-11-13 cs.MM eess.IV
Versatile Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
学习的视频压缩方法已经证明了很大的希望，赶上传统的视频编解码器在其率失真（R-D）的性能。然而，现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式，因此不适用于各种场景。在本文中，为了打破这一限制，我们提出了一个通用的学习视频压缩（VLVC）框架，使用一个模型来支持所有可能的预测模式。具体地，为了实现通用压缩，我们首先构建运动补偿模块，其应用多个3D运动矢量场（即，体素流）用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息，这有助于将帧间预测模式与框架设计解耦。其次，在多参考帧预测的情况下，我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明，流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置下的通用压缩，而且是第一个端到端学习视频压缩方法，在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
Conditional Coding for Flexible Learned Video Compression
本文介绍了一种新的框架，端到端学习视频编码。图像压缩通过条件编码来推广，以利用来自参考帧的信息，从而允许利用相同的编码器来处理帧内和帧间帧。该系统通过率失真成本的最小化来训练，没有预训练或代理损失。它的灵活性进行了评估下三种编码配置（所有帧内，低延迟P和随机访问），其中它被证明可以实现与最先进的视频编解码器HEVC的性能竞争。
2021-04-28 eess.IV eess.SP
Comparative Study of Hardware and Software Power Measurements in Video Compression
该研究聚焦视频压缩领域的功率测量问题，对比硬件与软件功率计的应用，提出保障测量可靠性的实验方法，证实两类测量方式在不同分辨率下对两种视频编解码器的能耗测量结果高度相关且计算开销更低，为视频技术能耗评估提供支撑。
2023-12-19 cs.MM eess.IV
Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms
Boston University（波士顿大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；New Jersey Institute of Technology（新泽西理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Bell Labs（贝尔实验室）；Westlake University（西湖大学）
本文提出编码复杂度为O(1)的超低复杂度图像编码器BMVC，并设计基于PnP和端到端卷积神经网络的两种解码器，在资源受限平台上实现低功耗高效压缩且对位量化鲁棒。
2024-11-23 cs.CV eess.IV
A Foreground-background Parallel Compression with Residual Encoding for Surveillance Video
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
数据存储一直是监控系统的瓶颈之一。传统的视频压缩算法如H. 264和H. 265没有充分利用监控视频的低信息密度特性。本文提出了一种视频压缩方法，该方法对视频的前景和背景分别进行提取和压缩。通过自适应背景更新和插值模块，在多个相邻帧之间共享背景信息，大大提高了压缩比。此外，我们提出了两种不同的方案来压缩前景和比较他们的性能在烧蚀研究显示的重要性，时间信息的视频压缩。在解码端，采用由粗到精的两级模块，实现了前景和背景的合成以及帧质量的提高。此外，提出了一种自适应采样方法的监控摄像机，我们已经通过软件仿真显示其效果。实验结果表明，我们提出的方法需要69.5%的bpp（每像素的比特数）比传统的算法H. 265实现相同的PSNR（36 dB）的HECV数据集。
2020-09-28 cs.CV eess.IV
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video Conferencing via Implicit Radiance Fields
Shanghai Jiao Tong University（上海交通大学）
本文提出基于隐式辐射场的分辨率无关神经压缩方法，通过动态神经辐射场编码表情特征并以体渲染重建人像，实现超低带宽且高保真的视频会议。
2024-02-26 cs.CV eess.IV
RCLC: ROI-based joint conventional and learning video compression
Graduate School of Science and Engineering, Hosei University（法政大学理工学研究生院）
COVID-19导致对远程交互系统的高需求前所未有。这些系统的关键元素之一是视频流，由于其特定的实时需求，特别是高分辨率视频，它需要非常高的网络带宽。现有的视频压缩方法在视频质量和速度要求之间的权衡中挣扎。针对大多数远程会议情况下背景信息很少变化的问题，我们引入了一个基于感兴趣区域（ROI）的视频压缩框架（RCLC），该框架利用了基于学习的前沿技术和传统技术。在RCLC中，每个到来的帧被标记为背景更新（BU）或ROI更新（RU）帧。通过应用传统的视频编解码器，BU帧被压缩为低质量和高压缩，而RU帧的ROI被压缩为高质量和低压缩。基于学习的方法被应用于检测感兴趣区域，融合背景感兴趣区域，并提高视频质量。实验结果表明，我们的RCLC可以减少高达32.55%的BD率的ROI区域相比，H.265视频编解码器在类似的压缩时间与1080 p分辨率。
2021-07-14 cs.CV cs.MM eess.IV
Video Compression with CNN-based Post Processing
Bristol Vision Institute（布里斯托尔视觉研究所）；University of Bristol（布里斯托尔大学）
近年来，视频压缩技术已经受到与高质量和沉浸式视频内容相关联的快速增长的需求的显著挑战。在各种压缩工具中，可以对重构的视频内容应用后处理，以减轻可见的压缩伪影并增强整体感知质量。受深度学习进步的启发，我们提出了一种新的基于CNN的后处理方法，该方法已与两种最先进的编码标准VVC和AV1集成。结果表明，在各种空间分辨率下，所有测试序列的编码增益一致，与原始VVC和AV 1相比，平均比特率分别节省4.0%和5.8%（基于PSNR的评估）。该网络还使用感知启发损失函数进行了训练，这些损失函数进一步提高了基于感知质量评估（VMAF）的重建质量，平均编码增益比VVC高13.9%，比AV1高10.5%。
2021-01-14 cs.AI eess.IV
NetFlick: Adversarial Flickering Attacks on Deep Learning Based Video Compression
University of California, San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
本文提出了一种名为NetFlick的现实世界LED对抗性闪烁攻击方法，通过注入时间扰动破坏视频帧间的时空相关性，在数字和物理环境中成功恶化了深度学习视频压缩框架的性能，并可扩展攻击下游视频分类网络。
2023-04-04 cs.CR cs.CV eess.IV
Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression
University of Chinese Academy of Sciences（中国科学院大学）；Bytedance Inc.（字节跳动公司）
本文针对隐式神经表示视频压缩中参数存储潜力未被充分利用的问题，提出通过加深网络实现参数重用的方案，显著提升率失真性能。
2024-10-03 cs.CV cs.MM eess.IV
YouTube UGC Dataset for Video Compression Research
非专业视频，通常称为用户生成内容（UGC），在当今的视频共享应用中已经变得非常流行。然而，用于压缩和质量评估的传统指标，如BD速率和PSNR，是为原始原件设计的。因此，当应用于非原始原件（大多数UGC）时，其准确性显着下降。了解UGC情景下压缩和质量评估的困难很重要，但可供研究的公共UGC数据集很少。本文介绍了一个大规模的UGC数据集（1500个20秒的视频片段），从数百万的YouTube视频采样。该数据集涵盖了游戏、体育等热门类别，以及高动态范围（HDR）等新功能。除了一种新的采样方法的基础上提取的特征编码，UGC压缩和质量评估的挑战进行了讨论。传统的基于参考的UGC指标的缺点进行了讨论。我们展示了一种很有前途的方法来评估UGC质量的无参考客观质量指标，并评估当前数据集与三个无参考指标（噪声，带状，SLEEQ）。
2019-08-01 cs.MM eess.IV
Video Compression Beyond VVC: Quantitative Analysis of Intra Coding Tools in Enhanced Compression Model (ECM)
该研究对VVC之后增强压缩模型ECM中的亮度和色度帧内编码工具做定量分析，考察工具选择率与ECM版本、分辨率、码率的关联并扩展测试序列，为JVET标准化阶段工具组合优化提供参考。
2024-04-11 cs.MM eess.IV
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一种新的对抗有损视频压缩模型。在极低的比特率，标准的视频编码方案遭受不愉快的重建文物，如阻塞，振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功，降低比特率的有效传输，并在一定程度上减少文物的影响。然而，它们在极端压缩下仍然倾向于产生模糊的结果。在本文中，我们提出了一种深度对抗学习的视频压缩模型，该模型可以最大限度地减少辅助对抗失真目标。我们发现，相对于传统的质量指标（如MS-SSIM和PSNR），这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失，特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
OpenDVC: An Open Source Implementation of the DVC Video Compression Method
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们在本技术报告中介绍了深度视频压缩（DVC）方法的开源Tensorflow实现。DVC是第一个端到端优化的学习视频压缩方法，实现了比x265的低延迟P（LDP）非常快设置更好的MS-SSIM性能，以及与x265（LDP非常快）相当的PSNR性能。在撰写本报告时，有几种学习的视频压缩方法优于DVC，但目前没有一种提供开源代码。我们希望我们的OpenDVC代码能够为进一步的开发提供一个有用的模型，并促进未来的学习视频压缩的研究。与仅针对PSNR优化的原始DVC不同，我们不仅发布了PSNR优化的重新实现，表示为OpenDVC（PSNR），而且还发布了MS-SSIM优化模型OpenDVC（MS-SSIM）。我们的OpenDVC（MS-SSIM）模型为MS-SSIM优化方法提供了一个更有说服力的基线，它只能与过去的PSNR优化DVC相比。OpenDVC源代码和预训练模型在https://github.com/RenYang-home/OpenDVC上公开发布。
2020-08-03 cs.CV eess.IV
Residual Learning and Filtering Networks for End-to-End Lossless Video Compression
Bahcesehir University（巴赫切谢希尔大学）；Florida Gulf Coast University（佛罗里达海湾海岸大学）；University of Connecticut（康涅狄格大学）
本文提出一种端到端无损视频压缩方法，通过残差跳跃连接、运动矢量与残差帧滤波网络、PReLU非线性变换和参考帧缓冲区微调，结合精心设计的损失函数，在多个数据集上取得了与现有方法相比具有竞争力的性能。
2025-03-11 cs.CV eess.IV
Video-based compression for plenoptic point clouds
具有来自各个方向的多种颜色的全光点云是比通常仅具有一种颜色的一般点云更完整的表示。它更现实，但也带来了更大的数据量，需要有效压缩。压缩全光点云的现有技术方法是基于区域的自适应分层变换（RAHT）的扩展。据我们所知，除了RAHT之外，基于视频的点云压缩（V-PCC）也是一种有效的点云压缩方法。然而，据我们所知，还没有作品使用基于视频的解决方案来压缩全光点云。在本文中，我们首先扩展的V-PCC支持全光点云压缩生成多属性视频。然后，基于这些视频从多个视图具有非常高的相关性的观察，我们提出了使用多视图高效率视频编码来编码它们。我们进一步提出了一个基于块的填充方法，统一的未占用的属性像素从不同的视图，以减少其位成本。所提出的算法在V-PCC参考软件中实现。实验结果表明，该算法可以带来显着的比特率节省相比，国家的最先进的全光点云压缩方法。
2019-11-04 cs.MM eess.IV
Audio-Visual Cross-Modal Compression for Generative Face Video Coding
Bytedance Inc.（字节跳动）；Peking University（北京大学）
本文提出AVCC框架，通过联合压缩音频和视频流，提升生成式面部视频编码的率-失真性能。
2025-12-17 cs.MM eess.IV
Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis
Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
视频到视频合成（Vid 2 Vid）已经取得了显着的效果，从一系列的语义地图生成照片般逼真的视频。然而，这种流水线具有高计算成本和长推理延迟，这在很大程度上取决于两个基本因素：1）网络结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已经通过更高效的网络架构被显著压缩。然而，现有的方法主要集中在瘦身网络架构，忽略了顺序数据流的大小。此外，由于缺乏时间相干性，基于图像的压缩不足以用于视频任务的压缩。在本文中，我们提出了一个时空压缩框架，\textbf{Fast-Vid2Vid}，它侧重于生成模型的数据方面。它首次尝试在时间维度上减少计算资源并加速推理。具体来说，我们在空间上压缩输入数据流，并减少时间冗余。在提出时空知识蒸馏后，我们的模型可以使用低分辨率的数据流合成关键帧。最后，Fast-Vid 2 Vid通过具有轻微延迟的运动补偿对中间帧进行插值。在标准基准测试中，Fast-Vid 2 Vid实现了约20 FPS的实时性能，并在单个V100 GPU上节省了约8倍的计算成本。
2022-07-11 cs.CV eess.IV
