The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
VCT: A Video Compression Transformer
Google Research（谷歌研究院）
我们展示了如何Transformers可以用来大大简化神经视频压缩。以前的方法一直依赖于越来越多的建筑偏见和先验知识，包括运动预测和扭曲操作，导致复杂的模型。相反，我们独立地将输入帧映射到表示，并使用Transformer对其依赖关系进行建模，让它预测过去表示的未来分布。由此产生的视频压缩Transformer优于标准视频压缩数据集上以前的方法。在合成数据上的实验表明，我们的模型可以学习处理复杂的运动模式，如平移，模糊和褪色纯粹从数据。我们的方法很容易实现，我们发布代码以方便未来的研究。
2022-10-12 cs.CV cs.LG eess.IV
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
MuZero with Self-competition for Rate Control in VP9 Video Compression
DeepMind（深度思维）；Google（谷歌）
随着娱乐、教育和商业越来越依赖于在线视频，视频流媒体的使用率大幅上升。优化视频压缩有可能增加用户对内容的访问和质量，并减少能源使用和整体成本。在本文中，我们提出了一个应用程序的MuZero算法的视频压缩的挑战。具体来说，我们的目标是学习率控制策略的问题，选择量化参数（QP）的libvpx，一个开源的VP9视频压缩库广泛使用的流行的视频点播（VOD）服务的编码过程中。我们把这看作是一个顺序决策问题，以最大限度地提高视频质量的目标比特率施加的一个情节约束。值得注意的是，我们引入了一种新的基于自竞争的奖励机制来解决约束RL与可变约束满足困难，这是现有的约束RL方法的挑战。我们证明了基于MuZero的速率控制实现了平均6.28%的压缩视频的大小减少相同的交付视频质量水平（测量为PSNR BD率）相比，libvpx的两遍VBR速率控制策略，同时具有更好的约束满足行为。
2022-02-14 cs.CV cs.LG eess.IV
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一种新的对抗有损视频压缩模型。在极低的比特率，标准的视频编码方案遭受不愉快的重建文物，如阻塞，振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功，降低比特率的有效传输，并在一定程度上减少文物的影响。然而，它们在极端压缩下仍然倾向于产生模糊的结果。在本文中，我们提出了一种深度对抗学习的视频压缩模型，该模型可以最大限度地减少辅助对抗失真目标。我们发现，相对于传统的质量指标（如MS-SSIM和PSNR），这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失，特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement
NVIDIA（英伟达）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出一种利用视频码流中结构、运动及量化信息的深度学习架构，以单一模型实现多种压缩设置下的快速、准确且通用的压缩视频质量增强。
2023-10-30 cs.CV cs.LG eess.IV
Generative Visual Compression: A Review
City University of Hong Kong（香港城市大学）；Alibaba Group（阿里巴巴集团）
本文综述了生成式视觉压缩的最新进展，涵盖深度生成模型在紧凑表示与高保真重建中的应用，并探讨了其在超低比特率通信、智能分析中的潜力与未来挑战。
2024-02-03 cs.CV eess.IV
Editorial: Introduction to the Issue on Deep Learning for Image/Video Restoration and Compression
最近的工作表明，学习模型可以实现显着的性能增益，特别是在感知质量的措施，比传统的方法。因此，图像恢复和压缩的最新技术正在被重新定义。本特刊涵盖了学习图像/视频恢复和压缩的最新技术，以促进创新架构和培训方法的进一步发展，从而实现有效和高效的图像/视频恢复和压缩网络。
2021-02-09 cs.LG eess.IV
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University（科奇大学）
传统的视频压缩方法采用线性变换和块运动模型，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器，但是在常规视频压缩中众所周知的是，分层双向编码优于顺序压缩。在本文中，我们提出了第一次端到端优化的分层，双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组（GOP）。实验结果表明，我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Generative Image Compression by Estimating Gradients of the Rate-variable Feature Distribution
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种基于扩散的生成式图像压缩框架，将压缩过程重新解释为SDE控制的前向扩散路径，通过逆向神经网络直接逆转压缩过程进行重建，无需高斯噪声初始化，在多项指标上优于现有方法。
2025-05-27 cs.CV eess.IV
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
视频压缩是互联网视频传输的关键组成部分。最近的研究表明，深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法，但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法，增强现有的编解码器与一个小的，内容自适应超分辨率模型，显着提高视频质量。我们的方法SRVC将视频编码成两个比特流：（i）内容流，通过使用现有编解码器压缩下采样的低分辨率视频产生，（ii）模型流，其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过（时变）超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明，为了实现相同的PSNR，SRVC在慢速模式下需要H. 265的每像素比特数的16%，以及DVC的每像素比特数的2%，DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
Deformable 2D Gaussian Splatting for Efficient 4K Video Compression
Purdue University（普渡大学）
本文提出一种基于可变形二维高斯泼溅的实时视频压缩框架，以粗到细多尺度结构表示GOP，在LPIPS上超越H.265等先进方法，实现高效4K视频压缩。
2026-09-15 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia（微软亚洲研究院）
本文提出感知视频压缩框架GLVC，通过连续分词器将帧投影至潜在空间以卸载感知约束，采用统一帧内/帧间编码与循环记忆机制重新设计架构，在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
本研究建立分层自回归生成模型与有损视频压缩的关联，将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向，在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Adversarial Video Compression Guided by Soft Edge Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用条件生成对抗网络（GANs）的视频压缩框架。我们依赖于两个编码器：一种是部署标准视频编解码器，另一种是通过下采样流水线、新设计的软边缘检测器和新颖的无损压缩方案来生成低级映射。对于解码，我们使用标准视频解码器以及基于神经网络的解码器，该解码器使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预训练生成网络以进行插值。与此之前的工作相比，我们的方案在从单个视频和相应的低级地图中获取的数量非常有限的关键帧对上训练生成解码器。经过训练的解码器依靠低级映射的指导产生重构帧，而不需要任何插值。对131个视频的实验表明，我们提出的基于GAN的压缩引擎在非常低的比特率下实现了比H.264或HEVC等主流标准编解码器更高质量的重建。
2018-11-26 cs.CV eess.IV
Blurry Video Compression: A Trade-off between Visual Enhancement and Data Compression
KAIST（韩国科学技术院）；Harvard University（哈佛大学）
针对现有视频压缩方法在模糊视频上表现不佳的问题，该研究将视频压缩建模为极小-极大优化问题，提出有效框架与训练策略平衡视觉增强和数据压缩，在多个基准数据集上优于现有最先进方法。
2023-11-08 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
DVC: An End-to-end Deep Video Compression Framework
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）
传统的视频压缩方法使用预测编码架构，并对相应的运动信息和残差信息进行编码。本文利用传统视频压缩方法中的经典架构和神经网络强大的非线性表示能力，提出了第一个端到端视频压缩深度模型，该模型联合优化了视频压缩的所有组件。具体地说，基于学习的光流估计被用来获得运动信息和重建当前帧。然后，我们采用两个自动编码器风格的神经网络压缩相应的运动和残差信息。所有模块通过单个损失函数联合学习，其中它们通过考虑减少压缩比特数和提高解码视频的质量之间的权衡而彼此协作。实验结果表明，该方法在峰值信噪比（PSNR）方面优于目前广泛使用的视频编码标准H. 264，在MS-SSIM方面与最新标准H. 265相当。代码发布于https://github.com/GuoLusjtu/DVC。
2019-04-07 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Scene Matters: Model-based Deep Video Compression
University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种基于场景的模型驱动视频压缩框架，利用隐式神经表示直接建模视频强度变化，通过空间位置嵌入、频域监督、场景流约束和时间对比损失提升效率，相比H.266实现高达20%码率降低且解码更高效。
2023-08-30 cs.CV eess.IV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Versatile Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
学习的视频压缩方法已经证明了很大的希望，赶上传统的视频编解码器在其率失真（R-D）的性能。然而，现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式，因此不适用于各种场景。在本文中，为了打破这一限制，我们提出了一个通用的学习视频压缩（VLVC）框架，使用一个模型来支持所有可能的预测模式。具体地，为了实现通用压缩，我们首先构建运动补偿模块，其应用多个3D运动矢量场（即，体素流）用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息，这有助于将帧间预测模式与框架设计解耦。其次，在多参考帧预测的情况下，我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明，流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置下的通用压缩，而且是第一个端到端学习视频压缩方法，在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms
Boston University（波士顿大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；New Jersey Institute of Technology（新泽西理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Bell Labs（贝尔实验室）；Westlake University（西湖大学）
本文提出编码复杂度为O(1)的超低复杂度图像编码器BMVC，并设计基于PnP和端到端卷积神经网络的两种解码器，在资源受限平台上实现低功耗高效压缩且对位量化鲁棒。
2024-11-23 cs.CV eess.IV
A Foreground-background Parallel Compression with Residual Encoding for Surveillance Video
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
数据存储一直是监控系统的瓶颈之一。传统的视频压缩算法如H. 264和H. 265没有充分利用监控视频的低信息密度特性。本文提出了一种视频压缩方法，该方法对视频的前景和背景分别进行提取和压缩。通过自适应背景更新和插值模块，在多个相邻帧之间共享背景信息，大大提高了压缩比。此外，我们提出了两种不同的方案来压缩前景和比较他们的性能在烧蚀研究显示的重要性，时间信息的视频压缩。在解码端，采用由粗到精的两级模块，实现了前景和背景的合成以及帧质量的提高。此外，提出了一种自适应采样方法的监控摄像机，我们已经通过软件仿真显示其效果。实验结果表明，我们提出的方法需要69.5%的bpp（每像素的比特数）比传统的算法H. 265实现相同的PSNR（36 dB）的HECV数据集。
2020-09-28 cs.CV eess.IV
Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video Conferencing via Implicit Radiance Fields
Shanghai Jiao Tong University（上海交通大学）
本文提出基于隐式辐射场的分辨率无关神经压缩方法，通过动态神经辐射场编码表情特征并以体渲染重建人像，实现超低带宽且高保真的视频会议。
2024-02-26 cs.CV eess.IV
RCLC: ROI-based joint conventional and learning video compression
Graduate School of Science and Engineering, Hosei University（法政大学理工学研究生院）
COVID-19导致对远程交互系统的高需求前所未有。这些系统的关键元素之一是视频流，由于其特定的实时需求，特别是高分辨率视频，它需要非常高的网络带宽。现有的视频压缩方法在视频质量和速度要求之间的权衡中挣扎。针对大多数远程会议情况下背景信息很少变化的问题，我们引入了一个基于感兴趣区域（ROI）的视频压缩框架（RCLC），该框架利用了基于学习的前沿技术和传统技术。在RCLC中，每个到来的帧被标记为背景更新（BU）或ROI更新（RU）帧。通过应用传统的视频编解码器，BU帧被压缩为低质量和高压缩，而RU帧的ROI被压缩为高质量和低压缩。基于学习的方法被应用于检测感兴趣区域，融合背景感兴趣区域，并提高视频质量。实验结果表明，我们的RCLC可以减少高达32.55%的BD率的ROI区域相比，H.265视频编解码器在类似的压缩时间与1080 p分辨率。
2021-07-14 cs.CV cs.MM eess.IV
NetFlick: Adversarial Flickering Attacks on Deep Learning Based Video Compression
University of California, San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
本文提出了一种名为NetFlick的现实世界LED对抗性闪烁攻击方法，通过注入时间扰动破坏视频帧间的时空相关性，在数字和物理环境中成功恶化了深度学习视频压缩框架的性能，并可扩展攻击下游视频分类网络。
2023-04-04 cs.CR cs.CV eess.IV
Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression
University of Chinese Academy of Sciences（中国科学院大学）；Bytedance Inc.（字节跳动公司）
本文针对隐式神经表示视频压缩中参数存储潜力未被充分利用的问题，提出通过加深网络实现参数重用的方案，显著提升率失真性能。
2024-10-03 cs.CV cs.MM eess.IV
OpenDVC: An Open Source Implementation of the DVC Video Compression Method
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们在本技术报告中介绍了深度视频压缩（DVC）方法的开源Tensorflow实现。DVC是第一个端到端优化的学习视频压缩方法，实现了比x265的低延迟P（LDP）非常快设置更好的MS-SSIM性能，以及与x265（LDP非常快）相当的PSNR性能。在撰写本报告时，有几种学习的视频压缩方法优于DVC，但目前没有一种提供开源代码。我们希望我们的OpenDVC代码能够为进一步的开发提供一个有用的模型，并促进未来的学习视频压缩的研究。与仅针对PSNR优化的原始DVC不同，我们不仅发布了PSNR优化的重新实现，表示为OpenDVC（PSNR），而且还发布了MS-SSIM优化模型OpenDVC（MS-SSIM）。我们的OpenDVC（MS-SSIM）模型为MS-SSIM优化方法提供了一个更有说服力的基线，它只能与过去的PSNR优化DVC相比。OpenDVC源代码和预训练模型在https://github.com/RenYang-home/OpenDVC上公开发布。
2020-08-03 cs.CV eess.IV
Residual Learning and Filtering Networks for End-to-End Lossless Video Compression
Bahcesehir University（巴赫切谢希尔大学）；Florida Gulf Coast University（佛罗里达海湾海岸大学）；University of Connecticut（康涅狄格大学）
本文提出一种端到端无损视频压缩方法，通过残差跳跃连接、运动矢量与残差帧滤波网络、PReLU非线性变换和参考帧缓冲区微调，结合精心设计的损失函数，在多个数据集上取得了与现有方法相比具有竞争力的性能。
2025-03-11 cs.CV eess.IV
Learning Image and Video Compression through Spatial-Temporal Energy Compaction
压缩技术是一个重要的研究课题，对数据传输和存储产生了重大影响。最近的进展显示了学习图像和视频压缩的巨大潜力。受相关工作的启发，本文提出了一种基于卷积自编码器的图像压缩结构，并通过在编码端和解码端增加插值环，将图像压缩推广到视频压缩。我们的基本思想是在学习图像和视频压缩中实现时空能量压缩。因此，我们建议在损失函数中加入一个基于空间能量补偿的惩罚函数，以达到更高的图像压缩性能。此外，基于时间能量分布，我们提出了选择帧的数量在一个插值循环，适应视频内容的运动特性。实验结果表明，我们提出的图像压缩优于最新的图像压缩标准与MS-SSIM质量度量，并提供更高的性能相比，国家的最先进的学习压缩方法在高比特率，这得益于我们的空间能量压缩方法。同时，我们提出的时间能量压缩的视频压缩方法可以显着优于MPEG-4，是常用的H. 264的竞争力。我们的图像和视频压缩都可以产生比传统标准更令人愉悦的视觉效果。
2019-06-28 eess.IV
Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis
Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
视频到视频合成（Vid 2 Vid）已经取得了显着的效果，从一系列的语义地图生成照片般逼真的视频。然而，这种流水线具有高计算成本和长推理延迟，这在很大程度上取决于两个基本因素：1）网络结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已经通过更高效的网络架构被显著压缩。然而，现有的方法主要集中在瘦身网络架构，忽略了顺序数据流的大小。此外，由于缺乏时间相干性，基于图像的压缩不足以用于视频任务的压缩。在本文中，我们提出了一个时空压缩框架，\textbf{Fast-Vid2Vid}，它侧重于生成模型的数据方面。它首次尝试在时间维度上减少计算资源并加速推理。具体来说，我们在空间上压缩输入数据流，并减少时间冗余。在提出时空知识蒸馏后，我们的模型可以使用低分辨率的数据流合成关键帧。最后，Fast-Vid 2 Vid通过具有轻微延迟的运动补偿对中间帧进行插值。在标准基准测试中，Fast-Vid 2 Vid实现了约20 FPS的实时性能，并在单个V100 GPU上节省了约8倍的计算成本。
2022-07-11 cs.CV eess.IV
Advancing Learned Video Compression with In-loop Frame Prediction
ETH Zurich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（鲁汶大学）
近年来，人们对端到端学习视频压缩越来越感兴趣。大多数以前的作品探索的时间冗余检测和压缩的运动图向目标帧翘曲的参考帧。然而，它未能充分利用历史先验的顺序参考框架。在本文中，我们提出了一种先进的学习视频压缩（ALVC）的方法与环路帧预测模块，它能够有效地预测目标帧从先前压缩的帧，而不消耗任何比特率。预测帧可以作为比先前压缩的帧更好的参考，因此它有利于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分，并且在整个框架中被联合优化。我们分别提出了用于压缩P帧和B帧的循环和双向环内预测模块。实验表明，我们的ALVC方法在学习视频压缩的最先进的性能。在PSNR方面，我们还优于x265的默认分层B模式，并在MS-SSIM上击败了SSIM调整的x265的最慢模式。项目页面：https://github.com/RenYang-home/ALVC。
2022-11-18 cs.CV eess.IV
Deep Contextual Video Compression
Microsoft Research Asia（微软亚洲研究院）
现有的神经视频压缩方法大多采用预测编码框架，该框架首先生成预测帧，然后将其残差与当前帧一起编码。然而，对于压缩比，预测编码只是一个次优的解决方案，因为它使用简单的减法运算来消除跨帧的冗余。在本文中，我们提出了一个深度上下文视频压缩框架，以实现从预测编码到条件编码的范式转变。特别是，我们试图回答以下问题：如何在深度视频压缩框架下定义，使用和学习条件。为了挖掘条件编码的潜力，我们提出使用特征域上下文作为条件。这使得我们能够利用高维度上下文来将丰富的信息携带到编码器和解码器，这有助于重构高频内容以获得更高的视频质量。我们的框架也是可扩展的，其中的条件可以灵活地设计。实验表明，我们的方法可以显着优于以前的国家的最先进的（SOTA）深度视频压缩方法。与x265相比，使用非常慢的预设，我们可以实现1080P标准测试视频的码率节省26.0%。
2021-12-14 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库，并提出FAVOR质量评估指标，系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
Does Video Compression Impact Tracking Accuracy?
Simon Fraser University（西蒙弗雷泽大学）
每个人都“知道”压缩视频会降低对象跟踪的准确性。然而，关于这一主题的文献检索显示，几乎没有记录在案的证据证明这一假定的事实。部分原因是，直到最近，还没有针对未压缩视频的对象跟踪数据集，这使得研究压缩对跟踪精度的影响变得困难。在本文中，使用最近发表的数据集，包含跟踪未压缩视频注释，我们研究了跟踪精度的退化，由于视频压缩使用严格的统计方法。具体来说，我们研究了量化参数（QP）和运动搜索范围（MSR）对多目标跟踪精度（MOTA）的影响。结果表明，QP在95%的置信水平上影响MOTA，而没有足够的证据表明MSR影响MOTA。此外，回归分析使我们能够推导出MOTA和QP之间的定量关系，用于实验中使用的特定跟踪器。
2022-02-02 cs.CV eess.IV
Video Compression Coding via Colorization: A Generative Adversarial Network (GAN)-Based Approach
在有限的存储、计算和网络带宽资源下，视频压缩编码技术在视觉通信中发挥着重要作用。为了有效地压缩原始视频数据，本文提出了一种基于彩色化的视频压缩编码方法。在所提出的编码器中，只有视频亮度分量被编码和传输。为了恢复视频的色度信息，生成对抗网络（GAN）模型中采用的建议解码器。为了使GAN有效地用于视频彩色化，所提出的GAN模型的生成器采用了优化的MultiResUNet、注意力模块和混合损失函数。实验结果表明，与采用全帧内编码结构的H.265/HEVC视频压缩编码标准相比，该方法平均降低了72.05%BDBR，平均提高了4.758 dB BDPSNR。此外，据我们所知，这是第一个使用基于GAN的彩色化来压缩视频的工作，它为解决视频压缩编码问题提供了一种新的方法。
2019-12-23 eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Uncertainty-Aware Deep Video Compression with Ensembles
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Asia（微软亚洲研究院）
本文针对深度视频压缩中运动估计和量化的不确定性问题，提出基于深度集成的不确定性感知模型，并引入集成感知损失和对抗训练，在1080p序列上相比DVC Pro节省超过20%码率。
2024-03-28 cs.CV eess.IV
ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors
University of Science and Technology of China（中国科学技术大学）；Huawei Inc（华为公司）
提出ZeroGVC，一种零样本生成式视频压缩框架，利用预训练自回归扩散先验，通过码本引导的自回归潜压缩和双向参考模式，在超低码率下实现高质量感知重建，无需额外训练。
2026-06-24 cs.CV eess.IV
Enhancing Neural Video Compression of Static Scenes with Positive-Incentive Noise
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出正激励相机框架，通过将短期时序变化视为正激励噪声，提升静态场景视频压缩效率，实现极低压缩率下的无损重建。
2026-03-27 cs.CV eess.IV
Foveation-based Deep Video Compression without Motion Search
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（Meta现实实验室）
更大的文件大小、不同的存储格式和VR沉浸式观看条件的要求对获取、传输、压缩和显示高质量VR内容的目标提出了重大挑战。与此同时，深度学习在视频压缩问题上的巨大潜力推动了大量的研究工作。由于VR的高带宽要求，人们对使用空间可变的中心凹压缩协议也有很大的兴趣。我们已经集成了这些技术来创建一个端到端的深度学习视频压缩框架。我们的新压缩模型的一个特点是，它不需要昂贵的基于搜索的运动预测计算。这是通过利用由位移帧差表示的视频运动中固有的统计特性来实现的。视觉聚焦协议是期望的，因为当用户在任何给定方向上凝视时，在VR中观看的视频的仅一小部分可能是可见的。此外，即使在当前视场（FOV）内，视网膜神经元的分辨率也随着距投射注视点的距离（偏心率）而迅速降低。在我们的基于学习的方法中，我们通过引入视觉聚焦生成器单元（FGU）来实现视觉聚焦，该单元生成指导比特分配的视觉聚焦掩模，从而显著提高压缩效率，同时使得在适当的观看几何结构下可以保留很少或没有额外视觉损失的印象。我们的实验结果表明，我们的新压缩模型，我们称之为Foveated MOVI-Codec（Foveated MOVI-Codec），能够在不计算运动的情况下有效地压缩视频，同时在广泛使用的UVG数据集和HEVC标准B类测试序列上优于H.264和H.265的Foveated版本。
2022-03-30 cs.CV eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
NVRC: Neural Video Representation Compression
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Immersive Content & Comms Research, BT, UK（沉浸式内容与通信研究，BT，英国）
NVRC提出了一种基于隐式神经表示的视频压缩框架，通过端到端优化和分层模型压缩，实现优于VVC VTM的编码性能。
2025-12-03 cs.CV eess.IV
Neural Compression-Based Feature Learning for Video Restoration
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
如何有效地利用时间特征是视频恢复的关键，但具有挑战性。时间特征通常包含各种噪声和不相关的信息，它们可能会干扰当前帧的恢复。本文提出了学习噪声鲁棒的特征表示，以帮助视频恢复。我们的灵感来自于神经编解码器是一种天然的去噪器。在神经网络编解码器中，为了节省比特率，更倾向于丢弃噪声和不相关的内容，这些内容难以预测，但需要花费大量比特。因此，我们设计了一个神经压缩模块来滤除噪声，并保留最有用的信息，用于视频恢复的特征。为了实现对噪声的鲁棒性，我们的压缩模块采用了空间通道量化机制，以自适应地确定潜在的每个位置的量化步长。实验表明，我们的方法可以显着提高视频去噪的性能，其中我们获得了0.13 dB的改善，比BasicVSR++只有0.23倍的FLOP。同时，我们的方法也得到了SOTA结果的视频去噪和去雾。
2022-03-18 cs.CV eess.IV
DVC-P: Deep Video Compression with Perceptual Optimizations
Xidian University（西安电子科技大学）；BBC Research & Development（英国广播公司研发中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
近年来，基于学习的视频压缩方法取得了显著的发展，其目标是优化客观或感知质量和比特率。在本文中，我们介绍了深度视频压缩与感知优化（DVC-P），其目的是提高解码视频的感知质量。我们提出的DVC-P基于深度视频压缩（DVC）网络，但通过感知优化对其进行了改进。具体来说，一个可伸缩网络和一个混合损失，以帮助我们的网络之间的失真，感知和速率权衡。此外，最近邻插值被用来消除棋盘文物，可能会出现在序列编码与DVC框架。由于这两个改进，解码序列的感知质量得到改善。实验结果表明，与基线DVC相比，我们提出的方法可以生成具有更高的感知质量的视频，平均实现12.27%的感知BD率等效降低。
2021-10-08 cs.CV cs.MM eess.IV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
Institute of Image Communication and Network Engineering（图像通信与网络工程研究所）；Shanghai Jiao Tong University（上海交通大学）；College of Electronics and Information Engineering（电子信息工程学院）；Sichuan University（四川大学）
本文提出一种基于动态NeRF的体积视频压缩方法，通过分解表示并联合优化建模与压缩，相比ReRF实现了更高压缩效率。
2024-11-08 cs.CV eess.IV
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
最近基于深度学习的视频压缩方法带来了比传统编解码器（如AVC和HEVC）更大的编码增益。然而，基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中，我们提出了一种新的轻量级混合视频编解码器，包括传统的视频编解码器（HEVC / VVC），无损图像编解码器，和我们的新的恢复网络。准确地说，我们的编码器包括传统的视频编码器和无损图像编码器，传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成，它在两个步骤中增强了压缩视频。在第一步中，使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后，我们进一步提高视频质量的指导下的参考图像，这是一个有损压缩的视频帧。参考图像提供视频特定信息，其可用于更好地恢复压缩视频的细节。实验结果表明，所提出的方法实现了相当的性能，顶级的方法，即使在HEVC应用。然而，我们的方法具有较低的复杂度，更快的运行时间，并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
