Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Tokenizing Motion: A Generative Approach for Scene Dynamics Compression
City University of Hong Kong（香港城市大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Hupan Lab（华平实验室）
本文提出了一种基于运动模式先验的生成式视频压缩方法，通过流驱动扩散模型实现高质量重建和超低比特率通信。
2025-12-10 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
DVC: An End-to-end Deep Video Compression Framework
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）
传统的视频压缩方法使用预测编码架构，并对相应的运动信息和残差信息进行编码。本文利用传统视频压缩方法中的经典架构和神经网络强大的非线性表示能力，提出了第一个端到端视频压缩深度模型，该模型联合优化了视频压缩的所有组件。具体地说，基于学习的光流估计被用来获得运动信息和重建当前帧。然后，我们采用两个自动编码器风格的神经网络压缩相应的运动和残差信息。所有模块通过单个损失函数联合学习，其中它们通过考虑减少压缩比特数和提高解码视频的质量之间的权衡而彼此协作。实验结果表明，该方法在峰值信噪比（PSNR）方面优于目前广泛使用的视频编码标准H. 264，在MS-SSIM方面与最新标准H. 265相当。代码发布于https://github.com/GuoLusjtu/DVC。
2019-04-07 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Versatile Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
学习的视频压缩方法已经证明了很大的希望，赶上传统的视频编解码器在其率失真（R-D）的性能。然而，现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式，因此不适用于各种场景。在本文中，为了打破这一限制，我们提出了一个通用的学习视频压缩（VLVC）框架，使用一个模型来支持所有可能的预测模式。具体地，为了实现通用压缩，我们首先构建运动补偿模块，其应用多个3D运动矢量场（即，体素流）用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息，这有助于将帧间预测模式与框架设计解耦。其次，在多参考帧预测的情况下，我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明，流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置下的通用压缩，而且是第一个端到端学习视频压缩方法，在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
3D Scene Compression through Entropy Penalized Neural Representation Functions
University College London（伦敦大学学院）；Google Research（谷歌研究院）
一些形式的新颖视觉媒体使观众能够通过在离散的原始视图集之间进行插值来从任意视点探索3D场景。与2D图像相比，这些类型的应用程序需要更大的存储空间，我们试图减少。现有的压缩3D场景的方法是基于压缩和渲染的分离：使用传统的2D图像格式压缩每个原始视图;接收器解压缩视图，然后执行渲染。我们通过直接压缩场景的隐式表示来统一这些步骤，该函数将空间坐标映射到辐射向量场，然后可以查询以渲染任意视点。该函数被实现为一个神经网络，并联合训练重建以及压缩性，在端到端的方式，与使用的熵惩罚的参数。我们的方法显着优于一个国家的最先进的传统方法的场景压缩，同时实现更高质量的重建和更低的比特率。此外，我们表明，在较低的比特率的性能可以提高联合表示多个场景使用软形式的参数共享。
2021-04-26 cs.CV eess.IV
Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms
Boston University（波士顿大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；New Jersey Institute of Technology（新泽西理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Bell Labs（贝尔实验室）；Westlake University（西湖大学）
本文提出编码复杂度为O(1)的超低复杂度图像编码器BMVC，并设计基于PnP和端到端卷积神经网络的两种解码器，在资源受限平台上实现低功耗高效压缩且对位量化鲁棒。
2024-11-23 cs.CV eess.IV
A Foreground-background Parallel Compression with Residual Encoding for Surveillance Video
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
数据存储一直是监控系统的瓶颈之一。传统的视频压缩算法如H. 264和H. 265没有充分利用监控视频的低信息密度特性。本文提出了一种视频压缩方法，该方法对视频的前景和背景分别进行提取和压缩。通过自适应背景更新和插值模块，在多个相邻帧之间共享背景信息，大大提高了压缩比。此外，我们提出了两种不同的方案来压缩前景和比较他们的性能在烧蚀研究显示的重要性，时间信息的视频压缩。在解码端，采用由粗到精的两级模块，实现了前景和背景的合成以及帧质量的提高。此外，提出了一种自适应采样方法的监控摄像机，我们已经通过软件仿真显示其效果。实验结果表明，我们提出的方法需要69.5%的bpp（每像素的比特数）比传统的算法H. 265实现相同的PSNR（36 dB）的HECV数据集。
2020-09-28 cs.CV eess.IV
Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video Conferencing via Implicit Radiance Fields
Shanghai Jiao Tong University（上海交通大学）
本文提出基于隐式辐射场的分辨率无关神经压缩方法，通过动态神经辐射场编码表情特征并以体渲染重建人像，实现超低带宽且高保真的视频会议。
2024-02-26 cs.CV eess.IV
Enhancing Neural Video Compression of Static Scenes with Positive-Incentive Noise
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出正激励相机框架，通过将短期时序变化视为正激励噪声，提升静态场景视频压缩效率，实现极低压缩率下的无损重建。
2026-03-27 cs.CV eess.IV
OpenDVC: An Open Source Implementation of the DVC Video Compression Method
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们在本技术报告中介绍了深度视频压缩（DVC）方法的开源Tensorflow实现。DVC是第一个端到端优化的学习视频压缩方法，实现了比x265的低延迟P（LDP）非常快设置更好的MS-SSIM性能，以及与x265（LDP非常快）相当的PSNR性能。在撰写本报告时，有几种学习的视频压缩方法优于DVC，但目前没有一种提供开源代码。我们希望我们的OpenDVC代码能够为进一步的开发提供一个有用的模型，并促进未来的学习视频压缩的研究。与仅针对PSNR优化的原始DVC不同，我们不仅发布了PSNR优化的重新实现，表示为OpenDVC（PSNR），而且还发布了MS-SSIM优化模型OpenDVC（MS-SSIM）。我们的OpenDVC（MS-SSIM）模型为MS-SSIM优化方法提供了一个更有说服力的基线，它只能与过去的PSNR优化DVC相比。OpenDVC源代码和预训练模型在https://github.com/RenYang-home/OpenDVC上公开发布。
2020-08-03 cs.CV eess.IV
Residual Learning and Filtering Networks for End-to-End Lossless Video Compression
Bahcesehir University（巴赫切谢希尔大学）；Florida Gulf Coast University（佛罗里达海湾海岸大学）；University of Connecticut（康涅狄格大学）
本文提出一种端到端无损视频压缩方法，通过残差跳跃连接、运动矢量与残差帧滤波网络、PReLU非线性变换和参考帧缓冲区微调，结合精心设计的损失函数，在多个数据集上取得了与现有方法相比具有竞争力的性能。
2025-03-11 cs.CV eess.IV
Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis
Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
视频到视频合成（Vid 2 Vid）已经取得了显着的效果，从一系列的语义地图生成照片般逼真的视频。然而，这种流水线具有高计算成本和长推理延迟，这在很大程度上取决于两个基本因素：1）网络结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已经通过更高效的网络架构被显著压缩。然而，现有的方法主要集中在瘦身网络架构，忽略了顺序数据流的大小。此外，由于缺乏时间相干性，基于图像的压缩不足以用于视频任务的压缩。在本文中，我们提出了一个时空压缩框架，\textbf{Fast-Vid2Vid}，它侧重于生成模型的数据方面。它首次尝试在时间维度上减少计算资源并加速推理。具体来说，我们在空间上压缩输入数据流，并减少时间冗余。在提出时空知识蒸馏后，我们的模型可以使用低分辨率的数据流合成关键帧。最后，Fast-Vid 2 Vid通过具有轻微延迟的运动补偿对中间帧进行插值。在标准基准测试中，Fast-Vid 2 Vid实现了约20 FPS的实时性能，并在单个V100 GPU上节省了约8倍的计算成本。
2022-07-11 cs.CV eess.IV
Advancing Learned Video Compression with In-loop Frame Prediction
ETH Zurich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（鲁汶大学）
近年来，人们对端到端学习视频压缩越来越感兴趣。大多数以前的作品探索的时间冗余检测和压缩的运动图向目标帧翘曲的参考帧。然而，它未能充分利用历史先验的顺序参考框架。在本文中，我们提出了一种先进的学习视频压缩（ALVC）的方法与环路帧预测模块，它能够有效地预测目标帧从先前压缩的帧，而不消耗任何比特率。预测帧可以作为比先前压缩的帧更好的参考，因此它有利于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分，并且在整个框架中被联合优化。我们分别提出了用于压缩P帧和B帧的循环和双向环内预测模块。实验表明，我们的ALVC方法在学习视频压缩的最先进的性能。在PSNR方面，我们还优于x265的默认分层B模式，并在MS-SSIM上击败了SSIM调整的x265的最慢模式。项目页面：https://github.com/RenYang-home/ALVC。
2022-11-18 cs.CV eess.IV
Does Video Compression Impact Tracking Accuracy?
Simon Fraser University（西蒙弗雷泽大学）
每个人都“知道”压缩视频会降低对象跟踪的准确性。然而，关于这一主题的文献检索显示，几乎没有记录在案的证据证明这一假定的事实。部分原因是，直到最近，还没有针对未压缩视频的对象跟踪数据集，这使得研究压缩对跟踪精度的影响变得困难。在本文中，使用最近发表的数据集，包含跟踪未压缩视频注释，我们研究了跟踪精度的退化，由于视频压缩使用严格的统计方法。具体来说，我们研究了量化参数（QP）和运动搜索范围（MSR）对多目标跟踪精度（MOTA）的影响。结果表明，QP在95%的置信水平上影响MOTA，而没有足够的证据表明MSR影响MOTA。此外，回归分析使我们能够推导出MOTA和QP之间的定量关系，用于实验中使用的特定跟踪器。
2022-02-02 cs.CV eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Uncertainty-Aware Deep Video Compression with Ensembles
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Asia（微软亚洲研究院）
本文针对深度视频压缩中运动估计和量化的不确定性问题，提出基于深度集成的不确定性感知模型，并引入集成感知损失和对抗训练，在1080p序列上相比DVC Pro节省超过20%码率。
2024-03-28 cs.CV eess.IV
ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors
University of Science and Technology of China（中国科学技术大学）；Huawei Inc（华为公司）
提出ZeroGVC，一种零样本生成式视频压缩框架，利用预训练自回归扩散先验，通过码本引导的自回归潜压缩和双向参考模式，在超低码率下实现高质量感知重建，无需额外训练。
2026-06-24 cs.CV eess.IV
SANR: Scene-Aware Neural Representation for Light Field Image Compression with Rate-Distortion Optimization
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Advanced Video Group (AVG), Bytedance Inc.（字节跳动高级视频组）
SANR提出场景感知神经表示框架，通过分层场景建模和量化感知训练实现端到端率失真优化，在光场图像压缩中较HEVC节省65.62%的BD率。
2025-10-17 cs.CV cs.MM eess.IV
Foveation-based Deep Video Compression without Motion Search
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（Meta现实实验室）
更大的文件大小、不同的存储格式和VR沉浸式观看条件的要求对获取、传输、压缩和显示高质量VR内容的目标提出了重大挑战。与此同时，深度学习在视频压缩问题上的巨大潜力推动了大量的研究工作。由于VR的高带宽要求，人们对使用空间可变的中心凹压缩协议也有很大的兴趣。我们已经集成了这些技术来创建一个端到端的深度学习视频压缩框架。我们的新压缩模型的一个特点是，它不需要昂贵的基于搜索的运动预测计算。这是通过利用由位移帧差表示的视频运动中固有的统计特性来实现的。视觉聚焦协议是期望的，因为当用户在任何给定方向上凝视时，在VR中观看的视频的仅一小部分可能是可见的。此外，即使在当前视场（FOV）内，视网膜神经元的分辨率也随着距投射注视点的距离（偏心率）而迅速降低。在我们的基于学习的方法中，我们通过引入视觉聚焦生成器单元（FGU）来实现视觉聚焦，该单元生成指导比特分配的视觉聚焦掩模，从而显著提高压缩效率，同时使得在适当的观看几何结构下可以保留很少或没有额外视觉损失的印象。我们的实验结果表明，我们的新压缩模型，我们称之为Foveated MOVI-Codec（Foveated MOVI-Codec），能够在不计算运动的情况下有效地压缩视频，同时在广泛使用的UVG数据集和HEVC标准B类测试序列上优于H.264和H.265的Foveated版本。
2022-03-30 cs.CV eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
Neural 3D Scene Compression via Model Compression
Stanford University（斯坦福大学）
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成：（1）存储从3D场景拍摄的2D图像，其可以通过插值重建场景，或者（2）存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止，传统的3D压缩方法都集中在第一类存储上，并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法，用户首先解码存储的2D图像，然后渲染3D场景。然而，这种分离的过程是低效的，因为必须存储大量的2D图像。在这项工作中，我们采取了不同的方法和压缩的功能表示的3D场景。特别是，我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储，因为它不存储2D图像-当我们从神经功能表示渲染场景时，这是冗余的。
2021-05-07 cs.CV cs.LG
NVRC: Neural Video Representation Compression
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Immersive Content & Comms Research, BT, UK（沉浸式内容与通信研究，BT，英国）
NVRC提出了一种基于隐式神经表示的视频压缩框架，通过端到端优化和分层模型压缩，实现优于VVC VTM的编码性能。
2025-12-03 cs.CV eess.IV
Neural Compression-Based Feature Learning for Video Restoration
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
如何有效地利用时间特征是视频恢复的关键，但具有挑战性。时间特征通常包含各种噪声和不相关的信息，它们可能会干扰当前帧的恢复。本文提出了学习噪声鲁棒的特征表示，以帮助视频恢复。我们的灵感来自于神经编解码器是一种天然的去噪器。在神经网络编解码器中，为了节省比特率，更倾向于丢弃噪声和不相关的内容，这些内容难以预测，但需要花费大量比特。因此，我们设计了一个神经压缩模块来滤除噪声，并保留最有用的信息，用于视频恢复的特征。为了实现对噪声的鲁棒性，我们的压缩模块采用了空间通道量化机制，以自适应地确定潜在的每个位置的量化步长。实验表明，我们的方法可以显着提高视频去噪的性能，其中我们获得了0.13 dB的改善，比BasicVSR++只有0.23倍的FLOP。同时，我们的方法也得到了SOTA结果的视频去噪和去雾。
2022-03-18 cs.CV eess.IV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
RCLC: ROI-based joint conventional and learning video compression
Graduate School of Science and Engineering, Hosei University（法政大学理工学研究生院）
COVID-19导致对远程交互系统的高需求前所未有。这些系统的关键元素之一是视频流，由于其特定的实时需求，特别是高分辨率视频，它需要非常高的网络带宽。现有的视频压缩方法在视频质量和速度要求之间的权衡中挣扎。针对大多数远程会议情况下背景信息很少变化的问题，我们引入了一个基于感兴趣区域（ROI）的视频压缩框架（RCLC），该框架利用了基于学习的前沿技术和传统技术。在RCLC中，每个到来的帧被标记为背景更新（BU）或ROI更新（RU）帧。通过应用传统的视频编解码器，BU帧被压缩为低质量和高压缩，而RU帧的ROI被压缩为高质量和低压缩。基于学习的方法被应用于检测感兴趣区域，融合背景感兴趣区域，并提高视频质量。实验结果表明，我们的RCLC可以减少高达32.55%的BD率的ROI区域相比，H.265视频编解码器在类似的压缩时间与1080 p分辨率。
2021-07-14 cs.CV cs.MM eess.IV
NetFlick: Adversarial Flickering Attacks on Deep Learning Based Video Compression
University of California, San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
本文提出了一种名为NetFlick的现实世界LED对抗性闪烁攻击方法，通过注入时间扰动破坏视频帧间的时空相关性，在数字和物理环境中成功恶化了深度学习视频压缩框架的性能，并可扩展攻击下游视频分类网络。
2023-04-04 cs.CR cs.CV eess.IV
High Dynamic Range Video Compression: A Large-Scale Benchmark Dataset and A Learned Bit-depth Scalable Compression Algorithm
Shangha University（上海大学）
本文构建了首个大规模HDR视频基准数据集HDRVD2K，并基于此提出首个学习型位深可扩展视频压缩网络LBSVC，通过位深增强模块有效利用动态范围先验提升压缩与重建性能。
2025-03-01 cs.CV
Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression
University of Chinese Academy of Sciences（中国科学院大学）；Bytedance Inc.（字节跳动公司）
本文针对隐式神经表示视频压缩中参数存储潜力未被充分利用的问题，提出通过加深网络实现参数重用的方案，显著提升率失真性能。
2024-10-03 cs.CV cs.MM eess.IV
Deep Contextual Video Compression
Microsoft Research Asia（微软亚洲研究院）
现有的神经视频压缩方法大多采用预测编码框架，该框架首先生成预测帧，然后将其残差与当前帧一起编码。然而，对于压缩比，预测编码只是一个次优的解决方案，因为它使用简单的减法运算来消除跨帧的冗余。在本文中，我们提出了一个深度上下文视频压缩框架，以实现从预测编码到条件编码的范式转变。特别是，我们试图回答以下问题：如何在深度视频压缩框架下定义，使用和学习条件。为了挖掘条件编码的潜力，我们提出使用特征域上下文作为条件。这使得我们能够利用高维度上下文来将丰富的信息携带到编码器和解码器，这有助于重构高频内容以获得更高的视频质量。我们的框架也是可扩展的，其中的条件可以灵活地设计。实验表明，我们的方法可以显着优于以前的国家的最先进的（SOTA）深度视频压缩方法。与x265相比，使用非常慢的预设，我们可以实现1080P标准测试视频的码率节省26.0%。
2021-12-14 cs.CV cs.MM eess.IV
VCT: A Video Compression Transformer
Google Research（谷歌研究院）
我们展示了如何Transformers可以用来大大简化神经视频压缩。以前的方法一直依赖于越来越多的建筑偏见和先验知识，包括运动预测和扭曲操作，导致复杂的模型。相反，我们独立地将输入帧映射到表示，并使用Transformer对其依赖关系进行建模，让它预测过去表示的未来分布。由此产生的视频压缩Transformer优于标准视频压缩数据集上以前的方法。在合成数据上的实验表明，我们的模型可以学习处理复杂的运动模式，如平移，模糊和褪色纯粹从数据。我们的方法很容易实现，我们发布代码以方便未来的研究。
2022-10-12 cs.CV cs.LG eess.IV
Deep Image Compression Using Scene Text Quality Assessment
Tohoku University（东北大学）
本文针对高压缩率导致图像中文本不可读的问题，提出一种基于场景文本质量评估模型的深度图像压缩方法，通过迭代搜索最佳压缩图像以保持文本质量，并在主客观评价中优于现有方法。
2023-05-19 cs.CV
DVC-P: Deep Video Compression with Perceptual Optimizations
Xidian University（西安电子科技大学）；BBC Research & Development（英国广播公司研发中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
近年来，基于学习的视频压缩方法取得了显著的发展，其目标是优化客观或感知质量和比特率。在本文中，我们介绍了深度视频压缩与感知优化（DVC-P），其目的是提高解码视频的感知质量。我们提出的DVC-P基于深度视频压缩（DVC）网络，但通过感知优化对其进行了改进。具体来说，一个可伸缩网络和一个混合损失，以帮助我们的网络之间的失真，感知和速率权衡。此外，最近邻插值被用来消除棋盘文物，可能会出现在序列编码与DVC框架。由于这两个改进，解码序列的感知质量得到改善。实验结果表明，与基线DVC相比，我们提出的方法可以生成具有更高的感知质量的视频，平均实现12.27%的感知BD率等效降低。
2021-10-08 cs.CV cs.MM eess.IV
Video Compression through Image Interpolation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们越来越多的数字通信、媒体消费和内容创作都围绕着视频。我们通过它们分享、观看和存档我们生活的许多方面，所有这些都是由强大的视频压缩驱动的。传统的视频压缩是手工设计和手工优化的。本文提出了一种端到端深度学习编解码器中的替代方案。我们的编解码器建立在一个简单的想法：视频压缩是重复的图像插值。因此，它受益于深度图像插值和生成的最新进展。我们的深度视频编解码器优于当今流行的编解码器，如H.261，MPEG-4第2部分，并与H.264相当。
2018-04-18 cs.CV
Video Coding Using Learned Latent GAN Compression
InterDigital（InterDigital公司）
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频，包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转，从中学习最佳压缩。为此，使用归一化流模型来学习非对称潜在表示，其中熵模型可以针对图像编码进行优化。此外，我们提出了一个新的感知损失，比其他同行更有效。最后，还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法（SGANC）简单，训练速度更快，与VTM，AV1和最近的深度学习技术等最先进的编解码器相比，图像和视频编码取得了更好的效果。特别是，它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一种新的对抗有损视频压缩模型。在极低的比特率，标准的视频编码方案遭受不愉快的重建文物，如阻塞，振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功，降低比特率的有效传输，并在一定程度上减少文物的影响。然而，它们在极端压缩下仍然倾向于产生模糊的结果。在本文中，我们提出了一种深度对抗学习的视频压缩模型，该模型可以最大限度地减少辅助对抗失真目标。我们发现，相对于传统的质量指标（如MS-SSIM和PSNR），这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失，特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
Video Compression Commander: Plug-and-Play Inference Acceleration for Video Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Sichuan University（四川大学）；Fudan University（复旦大学）
针对VideoLLM因视觉token二次复杂度导致的效率问题，提出即插即用推理加速框架VidCom²，通过量化帧独特性自适应调整压缩强度，在保留信息的同时提升效率，且兼容其他压缩方法。
2025-11-18 cs.CV
Learned Video Compression via Heterogeneous Deformable Compensation Network
The Hong Kong Polytechnic University（香港理工大学）
提出基于异构可变形补偿策略（HDCVC）的学习型视频压缩框架，通过估计内容自适应的异构可变形核偏移和设计SNCDN与多帧增强重建模块，在压缩性能上优于近期先进方法。
2023-06-29 cs.CV cs.MM eess.IV
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
Improving Video Compression With Deep Visual-Attention Models
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
深度学习的最新进展显着提高了视觉注意力建模的质量。在这项工作中，我们将这些进展应用到视频压缩。我们提出了一种压缩方法，使用显着性模型，自适应压缩帧区域根据其预测的显着性。我们选择了三个国家的最先进的显着性模型，适用于视频压缩，并分析他们的结果。分析包括模型的客观评价以及压缩视频的客观和主观评价。我们的方法，这是基于x264视频编解码器，可以产生视频与普通x264相同的视觉质量，但它减少了25%的比特率根据客观评价和17%根据主观的。此外，主观和客观的评估表明，显着性模型可以与凝视地图的一个单一的观察者。我们的方法可以扩展到大多数视频比特流格式，并可以提高视频压缩质量，而不需要切换到一个新的视频编码标准。
2019-03-19 cs.CV
COMISR: Compression-Informed Video Super-Resolution
Google Inc.（谷歌公司）
大多数视频超分辨率方法集中于从低分辨率视频恢复高分辨率视频帧，而不考虑压缩。然而，网络或移动设备上的大多数视频都是压缩的，当带宽有限时，压缩可能会很严重。在本文中，我们提出了一个新的压缩通知视频超分辨率模型恢复高分辨率的内容，而不会引入压缩造成的文物。该模型由三个模块组成的视频超分辨率：双向递归翘曲，细节保持流估计，拉普拉斯增强。所有这三个模块都用于处理压缩属性，例如输入帧中的帧内位置和输出帧中的平滑度。为了进行彻底的性能评估，我们对具有各种压缩率的标准数据集进行了广泛的实验，涵盖了许多真实的视频用例。我们表明，我们的方法不仅可以从广泛使用的基准数据集中恢复未压缩帧上的高分辨率内容，而且还可以基于许多定量指标在超分辨率压缩视频中实现最先进的性能。我们还通过模拟YouTube流来评估所提出的方法，以证明其有效性和鲁棒性。源代码和训练模型可在https://github.com/google-research/google-research/tree/master/comisr上获得。
2021-10-12 cs.CV
MuZero with Self-competition for Rate Control in VP9 Video Compression
DeepMind（深度思维）；Google（谷歌）
随着娱乐、教育和商业越来越依赖于在线视频，视频流媒体的使用率大幅上升。优化视频压缩有可能增加用户对内容的访问和质量，并减少能源使用和整体成本。在本文中，我们提出了一个应用程序的MuZero算法的视频压缩的挑战。具体来说，我们的目标是学习率控制策略的问题，选择量化参数（QP）的libvpx，一个开源的VP9视频压缩库广泛使用的流行的视频点播（VOD）服务的编码过程中。我们把这看作是一个顺序决策问题，以最大限度地提高视频质量的目标比特率施加的一个情节约束。值得注意的是，我们引入了一种新的基于自竞争的奖励机制来解决约束RL与可变约束满足困难，这是现有的约束RL方法的挑战。我们证明了基于MuZero的速率控制实现了平均6.28%的压缩视频的大小减少相同的交付视频质量水平（测量为PSNR BD率）相比，libvpx的两遍VBR速率控制策略，同时具有更好的约束满足行为。
2022-02-14 cs.CV cs.LG eess.IV
Shortcut-V2V: Compression Framework for Video-to-Video Translation based on Temporal Redundancy Reduction
KAIST AI（韩国科学技术院人工智能学院）；KT Research & Development Center, KT Corporation（KT公司KT研发中心）
针对现有视频到视频翻译模型计算量大、缺乏通用压缩方法的问题，提出Shortcut-V2V通用压缩框架，通过AdaBD模块利用前帧特征近似当前帧特征以减少冗余计算，在性能相当的情况下大幅降低测试时的计算与内存成本。
2023-10-03 cs.CV
SSGVS: Semantic Scene Graph-to-Video Synthesis
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Bonn（波恩大学）；University of Twente（特文特大学）
视频合成作为图像合成任务的自然延伸，近年来引起了人们的广泛兴趣。许多图像合成作品利用类别标签或文本作为指导。然而，标签和文本都不能提供明确的时间指导，例如动作何时开始或结束。为了克服这一限制，我们引入语义视频场景图作为视频合成的输入，因为它们表示场景中对象之间的空间和时间关系。由于视频场景图通常是时间离散的注释，我们提出了一个视频场景图（VSG）编码器，不仅编码现有的视频场景图，但也预测的图形表示为未标记的帧。VSG编码器是用不同的对比多模态损失进行预训练的。提出了一种基于预训练的VSG编码器、VQ-VAE和自回归Transformer的语义场景图到视频合成框架（SSGVS），用于在给定初始场景图像和不固定数目的语义场景图的情况下合成视频。我们评估SSGVS和其他国家的最先进的视频合成模型上的动作基因组数据集，并证明视频场景图在视频合成的积极意义。源代码将被释放。
2022-11-17 cs.CV
Learned Video Compression via Joint Spatial-Temporal Correlation Exploration
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）
传统的视频压缩技术已经发展了几十年，以追求更高的编码效率。有效的时间信息表示在视频编码中起着关键作用。因此，在本文中，我们建议利用时间相关性使用一阶光流和二阶流预测。我们提出了一个一阶段的学习方法来封装流的量化功能，从连续的帧，然后熵编码的联合时空先验条件下的自适应上下文，以利用二阶相关性。使用ConvLSTM递归地将联合先验嵌入到自回归空间邻居、同位超元素和时间邻居中。我们评估我们的方法，低延迟的情况下，高效率视频编码（H.265/HEVC），H.264/AVC和另一个学习的视频压缩方法，以下常见的测试设置。我们的工作提供了最先进的性能，在所有流行的测试序列中具有一致的增益。
2019-12-13 cs.CV cs.MM eess.IV
Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement
NVIDIA（英伟达）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出一种利用视频码流中结构、运动及量化信息的深度学习架构，以单一模型实现多种压缩设置下的快速、准确且通用的压缩视频质量增强。
2023-10-30 cs.CV cs.LG eess.IV
Tracking Based Semi-Automatic Annotation for Scene Text Videos
Shanghai University（上海大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）
近年来，视频场景文本检测因其广泛的应用而受到越来越多的关注。然而，缺乏带注释的场景文本视频数据集已成为阻碍视频场景文本检测发展的重要问题之一。现有的场景文本视频数据集由于人工标注成本昂贵，规模不大。此外，这些数据集中的文本实例太清楚了，不构成挑战。针对上述问题，本文提出了一种基于跟踪的场景文本视频半自动标注策略。通过对第一帧进行人工标注，对后续帧进行自动跟踪，实现了半自动的场景文本标注，避免了人工标注的巨大开销。此外，提出了一个成对的低质量场景文本视频数据集，名为Text-RBL，由原始视频，模糊视频，低分辨率视频，所提出的方便的半自动标记策略标记。通过对原始视频的平均操作和双三次下采样操作，我们可以有效地获得与原始视频配对的模糊视频和低分辨率视频。为了验证Text-RBL的有效性，我们提出了一个基线模型结合文本检测器和跟踪器的视频场景文本检测。此外，故障检测方案的设计，以减轻基线模型的漂移问题所造成的复杂场景。大量的实验表明，Text-RBL与配对的低质量视频标记的半自动方法可以显着提高低质量场景中的文本检测器的性能。
2021-03-29 cs.CV
DMVC: Multi-Camera Video Compression Network aimed at Improving Deep Learning Accuracy
Tsinghua University（清华大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出面向机器学习的多摄像头视频压缩框架 DMVC，通过双重建模式和语义信息保留，在显著压缩数据的同时保持或提升下游任务准确率。
2024-10-24 cs.CV cs.DC eess.IV
