A Deep Image Compression Framework for Face Recognition
Xi’an Jiaotong University（西安交通大学）
人脸识别技术发展迅速，在各种应用中得到了广泛的应用。由于大规模人脸识别任务中人脸图像的数据量极其庞大，相应地需要大量的计算资源，因此需要一种高度适用于人脸识别任务的人脸图像压缩方法。在本文中，我们提出了一种用于人脸识别任务的深度卷积自动编码器压缩网络。在压缩过程中，通过卷积神经网络从原始图像中提取深度特征，以产生原始图像的紧凑表示，然后通过现有的编解码器（如PNG）对其进行编码和保存。重建网络利用这种紧凑表示来生成原始图像的重建图像。为了提高人脸识别系统中使用的压缩框架时，人脸识别的准确性，我们结合这个压缩框架与现有的人脸识别网络进行联合优化。我们测试所提出的方案，并发现，经过联合训练，标记的人脸在野生（LFW）数据集压缩我们的压缩框架具有更高的人脸验证精度比压缩的JPEG 2000，是远远高于压缩的JPEG。
2019-07-03 cs.CV
CANeRV: Content Adaptive Neural Representation for Video Compression
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Bytedance Inc.（字节跳动公司）；School of Computer Science, Peking University（北京大学计算机学院）
针对现有基于隐式神经表示（INR）的视频压缩方法因固定网络架构适应性不足导致效果欠佳的问题，提出CANeRV，通过动态序列级调整、帧级调整及分层结构自适应提升压缩性能，实验表明其优于H.266/VVC等技术。
2025-02-13 cs.CV
Video Codec-Guided Training-Free Token Compression for Video Large Language Models
The Hong Kong Polytechnic University（香港理工大学）；The University of Manchester（曼彻斯特大学）
本文提出一种视频编解码器引导式无训练令牌压缩方法，用于视频大语言模型，可在不修改模型的情况下，在性能接近或优于FlashVID的同时减少特征比较量，改善压缩的精度-复杂度权衡。
2026-10-12 cs.CV
UniComp: Rethinking Video Compression Through Informational Uniqueness
Meituan Inc.（美团公司）；Beihang University（北京航空航天大学）
UniComp通过信息唯一性驱动的框架，在有限计算资源下提升视频压缩的信息保真度，优于现有方法。
2026-03-05 cs.CV
Generative Neural Video Compression via Video Diffusion Prior
School of Information and Communication Engineering, Communication University of China（信息与通信工程学院，通信大学）；School of Computer Science, Peking University（计算机学院，北京大学）
GNVC-VD通过结合视频扩散先验和序列级去噪，实现了高效的生成神经视频压缩，显著减少了闪烁伪影并提升了感知质量。
2026-02-23 cs.CV
Effect of Lossy Compression Algorithms on Face Image Quality and Recognition
Hochschule Darmstadt（达姆施塔特应用科学大学）
有损人脸图像压缩会降低图像质量和人脸识别的实用性。这项工作研究了有损图像压缩对最先进的人脸识别模型和多个人脸图像质量评估模型的影响。在特定图像目标尺寸的范围内进行分析。考虑了四种压缩类型，即JPEG，JPEG 2000，缩小的PNG，特别是新的JPEG XL格式。ColorFERET数据库中的正面彩色图像用于感兴趣区域（ROI）变体和肖像变体。我们主要得出结论，JPEG XL允许优越的平均和最坏情况下的人脸识别性能，特别是在较低的目标大小，低于约5kB的ROI变体，而似乎没有关键的优势，在较高的目标大小的压缩类型。现代模型的质量评估与人脸识别性能的压缩效果总体上相关。
2023-02-24 cs.CV
UCVC: A Unified Contextual Video Compression Framework with Joint P-frame and B-frame Coding
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Peng Cheng Laboratory（鹏城实验室）；Migu Culture Technology Co., Ltd（咪咕文化科技有限公司）
针对CLIC 2024视频压缩赛道，提出支持P帧与B帧联合编码的统一上下文视频压缩框架UCVC，通过联合优化参数实现与专用方法相当的压缩效率，参赛团队为PKUSZ-LVC。
2024-02-02 cs.CV
Impact of Video Compression on the Performance of Object Detection Systems for Surveillance Applications
Kinesense Ltd.（Kinesense有限公司）；Trinity College Dublin（都柏林圣三一学院）
本研究探讨了H.264视频压缩和目标检测网络（YOLOv 5）的性能之间的关系。我们策划了一组50个监控视频，并对感兴趣的目标（人、自行车和车辆）进行了注释。使用集合{22，32，37，42，47}中的恒定速率因子（CRF）值以5个质量水平对视频进行编码。将YOLOv 5应用于压缩视频，并在每个CRF级别上分析检测性能。测试结果表明，检测性能通常对中等压缩水平具有鲁棒性;使用37而不是22的CRF值可以显著降低比特率/文件大小，而不会对检测性能产生不利影响。然而，检测性能下降明显在较高的压缩水平，特别是在复杂的场景，光线不足和快速移动的目标。最后，在压缩图像上重新训练YOLOv 5，当应用于高度压缩的镜头时，F1分数提高了1%。
2022-11-10 cs.CV
PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models
Tsinghua University（清华大学）；OpenGVLab（开放通用实验室）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有大视觉语言模型图像视频token压缩策略不统一的问题，提出渐进式视觉Token压缩（PVC）方法，通过将图像转为静态视频、逐帧渐进编码补全信息，在低token量下同时实现视频理解SOTA与图像任务无性能损失。
2024-12-12 cs.CV
Deep Predictive Video Compression with Bi-directional Prediction
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近，深度图像压缩在编码效率和图像质量改善方面显示出很大的进步。然而，对使用深度学习网络的视频压缩的关注相对较少。在本文中，我们首先提出了一种基于深度学习的双向预测编码网络，称为BP-DVC Net，用于视频压缩。借鉴传统视频编码的经验，在BP-DVC网络中引入了B帧编码结构。传统视频编解码器中的双向预测编码需要将块运动的运动矢量和来自预测的残差传输到解码器侧，而我们的BP-DVC Net在编码器和解码器侧都包含光流估计网络，以便不将运动信息传输到解码器侧以提高编码效率。此外，在BP-DVC网络中提出了一个双向预测网络，用于精确预测当前帧，并产生尽可能小的残差。此外，我们的BP-DVC网络允许使用相邻帧的特征图之间的时间上下文对压缩特征图进行熵编码。BP-DVC网络具有端到端视频压缩架构，具有新设计的流和预测损失。实验结果表明，我们所提出的方法的压缩性能是可比的H.264，HEVC的PSNR和MS-SSIM。
2019-04-05 cs.CV
Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
Central South University（中南大学）；SenseTime Research and Tetras.AI（商汤科技研究与Tetras.AI）
本文提出SimpleCluster，一种无需训练的简单基线，通过位置感知跨帧聚类压缩视频视觉令牌，在多个基准上达到与复杂方法相当或更优的性能，并揭示特征空间保留是关键。
2026-09-29 cs.CV
Effects of Image Compression on Face Image Manipulation Detection: A Case Study on Facial Retouching
Hochschule Darmstadt（达姆施塔特应用科学大学）
在过去的几年中，已经引入了许多方法来可靠地检测数字人脸图像操纵。最近，这些计划的普遍性受到质疑，特别是在图像后处理方面。图像压缩是一种后处理技术，广泛应用于生物识别领域。严重的压缩可能会消除面部图像操纵的数字痕迹，从而妨碍对其的可靠检测。在这项工作中，图像压缩的人脸图像篡改检测的影响进行了分析。特别是，一个案例研究的影响下的图像压缩的面部修饰检测。为此，两个公共人脸数据库的ICAO兼容子集用于自动创建一个包含9，000多个修饰参考图像以及无约束探针图像的数据库。随后，以推荐用于电子旅行文档中的面部图像存储的压缩级别，应用JPEG和JPEG 2000来压缩参考图像。新的检测算法，利用纹理描述符和深层人脸表示提出和评估在一个单一的图像和差分场景。从具有挑战性的跨数据库实验中获得的结果，其中所分析的修饰技术在训练期间是未知的，产生了有趣的发现：（1）对于采用深度人脸表示的差分场景，实现了最有竞争力的检测性能;（二）图像压缩严重影响了基于纹理描述符的人脸图像操作检测方案的性能，非常健壮;（3）在某些情况下，图像压缩的应用也可以提高检测性能。
2021-03-05 cs.CV
One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Prime Video（亚马逊Prime视频）
本文提出XComp模型，通过极端视频标记压缩提升长视频理解性能，结合标记级和帧级压缩，实现更高的压缩比和更密集的帧采样。
2026-04-16 cs.CV
Image and Video Compression with Neural Networks: A Review
Peking University（北京大学）；Peng Cheng Lab（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong（香港城市大学）
近年来，图像和视频编码技术得到了突飞猛进的发展。然而，由于图像和视频采集设备的普及，图像和视频数据的增长速度远远超过了压缩比的提高。特别地，已经广泛认识到，在传统的混合编码框架内追求进一步的编码性能改进存在越来越多的挑战。深度卷积神经网络（CNN）是近年来兴起的一种神经网络，它在人工智能和信号处理领域都取得了巨大的成功，同时也为图像和视频压缩提供了一种新的解决方案。本文对基于神经网络的图像和视频压缩技术进行了系统、全面和最新的综述。介绍了基于神经网络的图像和视频压缩方法的演变和发展。更具体地，通过利用深度学习和HEVC框架的前沿视频编码技术被呈现和讨论，其显著地提升了最先进的视频编码性能。此外，基于神经网络的端到端的图像和视频编码框架也进行了审查，揭示了有趣的探索下一代图像和视频编码框架/标准。重点介绍了利用神经网络进行图像和视频编码的最重要的研究工作，并展望了未来的发展趋势。特别是，语义和视觉信息的联合压缩进行了初步探索，制定高效率的信号表示结构，人类视觉和机器视觉，这两个主要的信号接收器在人工智能的时代。
2019-04-10 cs.CV
CompSplat: Compression-aware 3D Gaussian Splatting for Real-world Video
Kyungpook National University（Kyungpook国立大学）；Adobe Research（Adobe研究院）
CompSplat是一种针对真实世界视频压缩感知的3D高斯点散布框架，通过建模帧级压缩特性来减少帧间不一致性和累积几何误差，实现了在高压缩条件下更高质量的视角合成。
2026-02-10 cs.CV
Projection-Aware End-to-End Learned Video Compression for 360-Degree Video
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
该研究探讨投影格式对360度视频端到端神经压缩的影响，评估7种投影格式，发现投影效率依赖于编解码器，为学习型360度视频压缩的投影选择提供指导。
2026-09-07 cs.CV
Dense-Prior-Guided Generative Video Compression
本文提出可控生成视频压缩方法，通过多视觉条件引导生成细节，兼顾信号保真度与感知质量。
2026-09-22 cs.CV
StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression
本文提出无需训练的StreamKV框架，通过动态语义分段、分段级摘要向量检索和引导提示压缩KV缓存，并以层级自适应方式统一检索与压缩，显著提升流式视频问答的准确率、内存效率和计算延迟。
2025-11-10 cs.CV
ViVo: A Dataset for Volumetric Video Reconstruction and Compression
Visual Information Lab, University of Bristol（布里斯托大学视觉信息实验室）；Condense Reality Ltd（Condense Reality有限公司）
本文提出ViVo数据集，用于体积分解与压缩，包含多样化的内容，涵盖人类特征和动态视觉现象，通过基准测试展示了数据集的挑战性和现有方法的局限性。
2025-06-09 cs.CV
Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics
Peking University（北京大学）
本文提出面向机器的视频编码（VCM）新范式，结合AI技术弥合机器视觉特征编码与人类视觉视频编码的鸿沟，梳理相关技术进展并提出解决方案，初步验证了性能与效率提升。
2020-01-13 cs.CV
Efficient Gaussian Splatting Sequence Compression with Standard Video Codecs
University of Missouri - Kansas City（密苏里大学堪萨斯城分校）；Shanghai Jiaotong University（上海交通大学）；University of Canterbury（坎特伯雷大学）；Qualcomm（高通公司）
提出一种利用标准视频编解码器的高斯溅射序列压缩方法，通过Inter-PLAS增强帧间相关性，实现更高压缩率与质量上限。
2026-10-07 cs.CV
GaussianVideo: Efficient Video Representation and Compression by Gaussian Splatting
Seoul National University（首尔大学）
针对视频隐式神经表示编解码慢、内存高的问题，提出基于可变形2D Gaussian Splatting的视频表示与压缩方法，利用时空编码与时间梯度，实现高达78.4%的显存降低及显著的训练与解码加速。
2025-03-06 cs.CV
DiffVC-ONE: Diffusion-based Generative Video Compression with One-Step Video Diffusion Transformer
school of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
DiffVC-ONE是基于扩散模型的生成式视频压缩框架，采用单步视频扩散Transformer，通过三类组件实现低推理成本下的高感知质量与时间一致性，在多基准上达最优性能。
2026-08-24 cs.CV
Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
本文提出SCORE框架，通过强化学习学习自适应令牌压缩策略，有效解决视频理解中的计算成本和上下文旋转问题，实现16倍的预填充加速且性能损失仅0.5%。
2026-03-27 cs.CV
Latent Inter-Frame Pruning: A Training-Free Method Bridging Traditional Video Compression and Modern Diffusion Transformers for Efficient Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Futurewei Technologies, Inc.（未来科技公司）
本文提出一种无训练的潜在帧剪枝方法，通过剪枝重复的潜在块来减少计算负担并提高生成速度，同时引入注意力恢复机制以解决训练与推理间的差距。
2026-04-26 cs.CV
Precision-Aware Video Compression for Reducing Bandwidth Requirements in Video Communication for Vehicle Detection-Based Applications
Clemson University（克莱姆森大学）
针对智能交通中视频传输带宽受限问题，提出精度感知视频压缩（PAVC）框架，依据天气光照动态调整压缩级别，在保持车辆检测准确性的同时，最高降低带宽需求72倍。
2025-08-04 cs.CV
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
Microsoft Research（微软研究院）；Microsoft AI（微软人工智能）
提出一种结合因果视频VAE和自回归潜在去噪模型的流式说话人肖像视频生成框架，通过参考图像引导实现实时高质量生成。
2026-06-01 cs.CV
Geometric Transformation-Embedded Mamba for Learned Video Compression
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；School of Information and Communications Engineering, Xi'an Jiaotong University（信息与通信工程学院，西安交通大学）
本文提出了一种基于嵌入几何变换的Mamba模块和局部性细化网络，实现高效学习视频压缩，提升低比特率下的感知质量和时间一致性。
2026-03-09 cs.CV
Large Motion Video Autoencoding with Cross-modal Video VAE
The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种跨模态视频 VAE，通过时间感知空间压缩、轻量级运动压缩及文本指导联合训练，解决了大动作视频自编码中的时间不一致与重建失真问题，实现了高保真视频编码。
2024-12-23 cs.CV
Multi-Cue Vehicle Detection for Semantic Video Compression In Georegistered Aerial Videos
University of Missouri（密苏里大学）；University of Technology（理工大学）；U.S. Naval Research Laboratory（美国海军研究实验室）
从机载摄像机获取的视频中检测移动对象（例如车辆）对于视频分析应用非常有用。使用快速低功率算法进行机载运动目标检测还将为场景内容感知图像压缩提供基于感兴趣区域的语义信息。这将使低带宽机载云计算网络中的通信链路利用更加高效和灵活。尽管无人机或无人机平台和成像传感器技术最近取得了进展，但由于物体尺寸小、平台运动和相机抖动、遮挡、场景复杂性和成像条件恶化，从空中视频中检测车辆仍然具有挑战性。本文提出了一种高效的运动车辆检测流水线，该流水线使用结合通量张量时空滤波的深度学习以互补的方式协同融合外观和基于运动的检测。我们提出的多线索流水线能够以高精度和召回率检测移动车辆，同时通过智能融合过滤出误报，如停放的车辆。实验结果表明，将上下文信息的移动车辆，使高语义压缩比超过100：1，高图像保真度，更好地利用有限的带宽空对地网络链接。
2019-07-02 cs.CV
Texture Segmentation Based Video Compression Using Convolutional Neural Networks
Purdue University（普渡大学）；Google, Inc.（谷歌公司）
近年来，随着对基于web的视频观看量的需求的增加，对使用不同的方法来提高现代视频编解码器的编码效率的兴趣越来越大。在本文中，我们提出了一种基于模型的方法，使用纹理分析/合成重建块的纹理区域的视频，以实现潜在的编码增益使用的AV 1编解码器开发的开放媒体联盟（AOM）。该方法使用卷积神经网络提取帧中的纹理区域，然后使用全局运动模型重建。我们的初步结果表明，在编码效率的提高，同时保持令人满意的视觉质量。
2018-02-08 cs.CV
Aggregating Visual Information with Optimal Transport for VideoLM Token Compression
该研究针对视频语言模型的视觉令牌冗余问题，提出AVIOT方法，将视频令牌压缩转化为最优传输问题，沿任务和空间轴调整表示构造，在多基准上实现了与未压缩基线相当或更优的性能，且高压缩率下表现稳定。
2026-08-26 cs.CV
RoVISQ: Reduction of Video Service Quality via Adversarial Attacks on Deep Learning-based Video Compression
University of California San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
视频压缩通过在给定带宽预算下最大化终端用户体验质量（QoE）在视频流传输和分类系统中起着至关重要的作用。在本文中，我们对基于深度学习的视频压缩和下游分类系统的对抗攻击进行了首次系统性研究。我们的攻击框架，称为RoVISQ，操纵率失真（$\textit{R}$ - $\textit{D}$）关系的视频压缩模型，以实现以下一个或两个目标：（1）增加网络带宽，（2）降低最终用户的视频质量。我们进一步设计了针对下游视频分类服务的有针对性和无针对性攻击的新目标。最后，我们设计了一个输入不变的扰动，普遍扰乱视频压缩和分类系统的实时性。与之前提出的对视频分类的攻击不同，我们的对抗性扰动是第一个能够承受压缩的。我们凭经验证明了RoVISQ攻击对各种防御的弹性，即，对抗训练、视频去噪和JPEG压缩。我们在各种视频数据集上的大量实验结果表明，RoVISQ攻击使峰值信噪比下降高达5.6dB，比特率下降高达$\sim$ 2.4 $\times$，同时在下游分类器上实现超过90的$\%$攻击成功率。我们的用户研究进一步证明了RoVISQ攻击对用户QoE的影响。
2022-12-08 cs.CR cs.CV
Neural Weight Step Video Compression
University of Strathclyde（思克莱德大学）
本研究探索基于神经网络权重的视频压缩可行性，设计实验测试CbMLP和卷积网络两种架构的压缩效果，提出神经权重步进技术将后续帧编码为低熵参数更新，将在高分辨率数据集上与现有方法对比验证性能。
2021-12-02 cs.CV cs.GR
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University（科奇大学）
传统的视频压缩方法采用线性变换和块运动模型，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器，但是在常规视频压缩中众所周知的是，分层双向编码优于顺序压缩。在本文中，我们提出了第一次端到端优化的分层，双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组（GOP）。实验结果表明，我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere
该研究提出即插即用框架ONCE，通过离线学习全局码本实现视频令牌的高效压缩，在保持性能的同时降低推理延迟，提升了视频大语言模型的效率与通用性。
2026-08-04 cs.AI cs.CV
Conditional Video Generation for High-Efficiency Video Compression
Institute of Artificial Intelligence (TeleAI)（人工智能研究院）
本文提出基于条件扩散模型的视频压缩框架，通过多粒度条件、紧凑表示及多条件训练，在感知质量指标上显著超越传统和神经编解码器。
2025-09-25 cs.AI cs.CV
Deformable 2D Gaussian Splatting for Efficient 4K Video Compression
Purdue University（普渡大学）
本文提出一种基于可变形二维高斯泼溅的实时视频压缩框架，以粗到细多尺度结构表示GOP，在LPIPS上超越H.265等先进方法，实现高效4K视频压缩。
2026-09-15 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia（微软亚洲研究院）
本文提出感知视频压缩框架GLVC，通过连续分词器将帧投影至潜在空间以卸载感知约束，采用统一帧内/帧间编码与循环记忆机制重新设计架构，在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
Adversarial Video Compression Guided by Soft Edge Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用条件生成对抗网络（GANs）的视频压缩框架。我们依赖于两个编码器：一种是部署标准视频编解码器，另一种是通过下采样流水线、新设计的软边缘检测器和新颖的无损压缩方案来生成低级映射。对于解码，我们使用标准视频解码器以及基于神经网络的解码器，该解码器使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预训练生成网络以进行插值。与此之前的工作相比，我们的方案在从单个视频和相应的低级地图中获取的数量非常有限的关键帧对上训练生成解码器。经过训练的解码器依靠低级映射的指导产生重构帧，而不需要任何插值。对131个视频的实验表明，我们提出的基于GAN的压缩引擎在非常低的比特率下实现了比H.264或HEVC等主流标准编解码器更高质量的重建。
2018-11-26 cs.CV eess.IV
Blurry Video Compression: A Trade-off between Visual Enhancement and Data Compression
KAIST（韩国科学技术院）；Harvard University（哈佛大学）
针对现有视频压缩方法在模糊视频上表现不佳的问题，该研究将视频压缩建模为极小-极大优化问题，提出有效框架与训练策略平衡视觉增强和数据压缩，在多个基准数据集上优于现有最先进方法。
2023-11-08 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
DVC: An End-to-end Deep Video Compression Framework
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）
传统的视频压缩方法使用预测编码架构，并对相应的运动信息和残差信息进行编码。本文利用传统视频压缩方法中的经典架构和神经网络强大的非线性表示能力，提出了第一个端到端视频压缩深度模型，该模型联合优化了视频压缩的所有组件。具体地说，基于学习的光流估计被用来获得运动信息和重建当前帧。然后，我们采用两个自动编码器风格的神经网络压缩相应的运动和残差信息。所有模块通过单个损失函数联合学习，其中它们通过考虑减少压缩比特数和提高解码视频的质量之间的权衡而彼此协作。实验结果表明，该方法在峰值信噪比（PSNR）方面优于目前广泛使用的视频编码标准H. 264，在MS-SSIM方面与最新标准H. 265相当。代码发布于https://github.com/GuoLusjtu/DVC。
2019-04-07 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Scene Matters: Model-based Deep Video Compression
University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种基于场景的模型驱动视频压缩框架，利用隐式神经表示直接建模视频强度变化，通过空间位置嵌入、频域监督、场景流约束和时间对比损失提升效率，相比H.266实现高达20%码率降低且解码更高效。
2023-08-30 cs.CV eess.IV
Optimal Video Compression using Pixel Shift Tracking
本文提出基于偏移的冗余去除（R²S）视频压缩方法，利用计算机视觉像素点追踪识别并去除后续帧中的冗余像素，从而优化视频存储。
2024-06-28 cs.AI cs.CV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
Towards Live Video Analytics with On-Drone Deeper-yet-Compatible Compression
Purdue University（普渡大学）
在这项工作中，我们提出了DCC（Deeper-yet-Compatible Compression），这是一种基于现有编解码器的实时无人机边缘辅助视频分析技术。DCC解决了一个重要的技术问题，将流视频从无人机压缩到边缘，而不会牺牲在边缘执行的视频分析任务的准确性和及时性。DCC的灵感来自于这样一个事实，即并非流视频中的每一位都对视频分析具有同等价值，这为传统的分析无关视频编解码技术开辟了新的压缩空间。我们利用无人机特定的上下文和中间提示从目标检测追求自适应保真度需要保持分析质量。我们已经在一个车辆检测的示范应用中原型化了DCC，并在代表性场景中验证了其效率。DCC的传输量比基线方法减少了9.5倍，比最先进的方法减少了19-683%，检测精度相当。
2021-11-10 cs.CV cs.NI
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Versatile Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
学习的视频压缩方法已经证明了很大的希望，赶上传统的视频编解码器在其率失真（R-D）的性能。然而，现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式，因此不适用于各种场景。在本文中，为了打破这一限制，我们提出了一个通用的学习视频压缩（VLVC）框架，使用一个模型来支持所有可能的预测模式。具体地，为了实现通用压缩，我们首先构建运动补偿模块，其应用多个3D运动矢量场（即，体素流）用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息，这有助于将帧间预测模式与框架设计解耦。其次，在多参考帧预测的情况下，我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明，流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置下的通用压缩，而且是第一个端到端学习视频压缩方法，在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
