Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere
该研究提出即插即用框架ONCE，通过离线学习全局码本实现视频令牌的高效压缩，在保持性能的同时降低推理延迟，提升了视频大语言模型的效率与通用性。
2026-08-04 cs.AI cs.CV
Multi-Object Tracking with Hallucinated and Unlabeled Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云服务）
在本文中，我们探索了在没有跟踪注释的情况下学习端到端深度神经跟踪器。这一点很重要，因为大规模训练数据对于训练深度神经跟踪器至关重要，而跟踪注释的获取成本很高。在跟踪注释的地方，我们首先幻觉视频从图像与限界框注释使用放大/缩小运动变换，以获得免费的跟踪标签。我们添加视频模拟增强来创建一个多样化的跟踪数据集，尽管只是简单的运动。接下来，为了解决更难的跟踪问题，我们在一个未标记的真实视频池中挖掘硬例子，跟踪器在我们的幻觉视频数据上进行训练。对于硬示例挖掘，我们提出了一个基于优化的连接过程，首先从未标记的视频池中识别并纠正硬示例。最后，我们使用幻觉数据和挖掘的硬视频示例联合训练我们的跟踪器。我们的弱监督跟踪器在MOT 17和TAO人员数据集上实现了最先进的性能。在MOT 17上，我们进一步证明了我们自己生成的数据和现有的手动注释数据的结合带来了额外的改进。
2021-08-19 cs.CV
Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
Central South University（中南大学）；SenseTime Research and Tetras.AI（商汤科技研究与Tetras.AI）
本文提出SimpleCluster，一种无需训练的简单基线，通过位置感知跨帧聚类压缩视频视觉令牌，在多个基准上达到与复杂方法相当或更优的性能，并揭示特征空间保留是关键。
2026-09-29 cs.CV
One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Prime Video（亚马逊Prime视频）
本文提出XComp模型，通过极端视频标记压缩提升长视频理解性能，结合标记级和帧级压缩，实现更高的压缩比和更密集的帧采样。
2026-04-16 cs.CV
Object Tracking in Videos: Approaches and Issues
INRIA（法国国家信息与自动化研究所）；Phu Xuan Private University（富春私立大学）
移动目标跟踪在计算机视觉的应用中有着重要的地位。在本文中，我们使用一个跟踪目标为基础的分类，提出了目标跟踪算法。跟踪目标分为三类：兴趣点，外观和轮廓的移动对象。分析了各种跟踪方法的优点和局限性，指出了目标跟踪领域的发展方向。
2013-04-18 cs.CV
StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression
本文提出无需训练的StreamKV框架，通过动态语义分段、分段级摘要向量检索和引导提示压缩KV缓存，并以层级自适应方式统一检索与压缩，显著提升流式视频问答的准确率、内存效率和计算延迟。
2025-11-10 cs.CV
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法，并展望未来研究方向，为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating
Nanjing University（南京大学）
针对复杂视频场景中的目标跟踪问题，提出了一种鲁棒的算法解决方案。在这种解决方案中，引导粒子滤波器（PF）初始化的对象检测器，模型的视频信号的时间演变的背景下，自适应高斯混合。对象的运动由马尔可夫模型表示，该模型定义了状态转移先验。采用颜色和纹理特征表示目标，提出了一种基于边缘似然的特征融合方法。相应的目标模板模型更新程序的开发，以考虑在跟踪过程中的对象的可能的规模变化。实验结果表明，我们的算法击败了现有的几个替代方案，在解决具有挑战性的情况下，视频跟踪任务。
2015-09-28 cs.CV
Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
本文提出SCORE框架，通过强化学习学习自适应令牌压缩策略，有效解决视频理解中的计算成本和上下文旋转问题，实现16倍的预填充加速且性能损失仅0.5%。
2026-03-27 cs.CV
DynTok: Dynamic Compression of Visual Tokens for Efficient and Effective Video Understanding
Kuaishou Technology（快手科技）
本文提出DynTok动态视频令牌压缩策略，通过自适应分组与合并减少视觉令牌冗余，在保持性能的同时将令牌数降至44.4%，并在Video-MME和MLVU上取得优异结果。
2025-06-04 cs.CL cs.CV
Task-Aware KV Compression For Cost-Effective Long Video Understanding
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；University of Trento（特伦特大学）；Renmin University of China（中国人民大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Hong Kong Polytechnic University（香港理工大学）；Institute of Automation CAS Beijing China（中国科学院自动化研究所）
针对长视频理解计算成本高的问题，提出Video-X^2L框架，通过双层KV压缩与选择性KV重新加载机制，在大幅节省计算成本的同时，有效保留任务关键信息并显著优于现有方法。
2025-06-26 cs.AI cs.CV
VidCompress: Memory-Enhanced Temporal Compression for Video Understanding in Large Language Models
Meituan Inc.（美团公司）
针对Video-LLMs视频帧时空交互不足及长视频处理受限问题，提出VidCompress模型，通过记忆增强与文本感知双压缩器实现时间压缩，有效建模时空关系并显著提升性能。
2024-10-15 cs.CV cs.MM
Tracking by 3D Model Estimation of Unknown Objects in Videos
ETH Zurich（苏黎世联邦理工学院）；Czech Technical University in Prague（布拉格捷克理工大学）；Google Research（谷歌研究院）；University of Amsterdam（阿姆斯特丹大学）
本文提出用带纹理三维形状和六自由度位姿作为显式物体表示，通过可微渲染驱动优化来改进二维跟踪，在三个数据集上超越了现有分割跟踪方法。
2023-04-13 cs.CV cs.GR
Implicit Neural Representation for Hyperspectral Video Compression
本研究提出一种基于隐式神经表示的高光谱视频压缩扩展方法，相比传统逐帧压缩，显著提升重建质量与下游目标跟踪性能。
2026-09-28 cs.AI cs.CV cs.LG
CFE-PPAR: Compression-friendly encryption for privacy-preserving action recognition leveraging video transformers
Graduate School of Informatics（信息研究生院）；Faculty of System Design（系统设计学部）；Chiba University（千叶大学）；Tokyo Metropolitan University（东京 Metropolitan 大学）
本文提出CFE-PPAR，一种压缩友好的加密方法，通过视频变换器实现加密视频的高效识别，优于现有方法。
2026-05-07 cs.AI cs.CR cs.CV
MAVOT: Memory-Augmented Video Object Tracking
HKUST（香港科技大学）；Tencent Youtu（腾讯优图）
我们介绍了一个一次性学习方法的视频对象跟踪。该算法只需要看到被跟踪的对象一次，并采用外部存储器来存储和记住的前景对象以及随着时间的推移在跟踪过程中的背景的演变特征。在每次跟踪中检索和更新相关记忆，我们的跟踪模型能够保持对象的长期记忆，因此可以自然地处理硬跟踪场景，包括部分和全部遮挡，运动变化以及大规模和形状变化。在我们的实验中，我们使用ImageNet ILSVRC 2015视频检测数据集进行训练，并使用VOT-2016基准测试和比较我们的内存增强视频对象跟踪（MAVOT）模型。从结果中，我们得出结论，由于其oneshot属性和简单的设计，MAVOT是一个有吸引力的方法在视觉跟踪，因为它表现出良好的性能在VOT-2016基准，并在准确性和鲁棒性在遮挡，运动变化和空目标的前5名的表演者。
2017-11-26 cs.AI cs.CV cs.LG
LLaVA-Scissor: Token Compression with Semantic Connected Components for Video LLMs
VCIP, School of Computer Science, Nankai University（南开大学计算机学院）；Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室）
本文提出免训练的视频LLM token压缩策略LLaVA-Scissor，利用语义连通分量（SCC）在时空域两步分配token至无重叠语义区域，有效消除冗余，在低保留率下于多基准上表现优越。
2025-06-27 cs.AI cs.CV cs.HC
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University（科奇大学）
传统的视频压缩方法采用线性变换和块运动模型，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器，但是在常规视频压缩中众所周知的是，分层双向编码优于顺序压缩。在本文中，我们提出了第一次端到端优化的分层，双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组（GOP）。实验结果表明，我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Deformable 2D Gaussian Splatting for Efficient 4K Video Compression
Purdue University（普渡大学）
本文提出一种基于可变形二维高斯泼溅的实时视频压缩框架，以粗到细多尺度结构表示GOP，在LPIPS上超越H.265等先进方法，实现高效4K视频压缩。
2026-09-15 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia（微软亚洲研究院）
本文提出感知视频压缩框架GLVC，通过连续分词器将帧投影至潜在空间以卸载感知约束，采用统一帧内/帧间编码与循环记忆机制重新设计架构，在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
Adversarial Video Compression Guided by Soft Edge Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用条件生成对抗网络（GANs）的视频压缩框架。我们依赖于两个编码器：一种是部署标准视频编解码器，另一种是通过下采样流水线、新设计的软边缘检测器和新颖的无损压缩方案来生成低级映射。对于解码，我们使用标准视频解码器以及基于神经网络的解码器，该解码器使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预训练生成网络以进行插值。与此之前的工作相比，我们的方案在从单个视频和相应的低级地图中获取的数量非常有限的关键帧对上训练生成解码器。经过训练的解码器依靠低级映射的指导产生重构帧，而不需要任何插值。对131个视频的实验表明，我们提出的基于GAN的压缩引擎在非常低的比特率下实现了比H.264或HEVC等主流标准编解码器更高质量的重建。
2018-11-26 cs.CV eess.IV
Blurry Video Compression: A Trade-off between Visual Enhancement and Data Compression
KAIST（韩国科学技术院）；Harvard University（哈佛大学）
针对现有视频压缩方法在模糊视频上表现不佳的问题，该研究将视频压缩建模为极小-极大优化问题，提出有效框架与训练策略平衡视觉增强和数据压缩，在多个基准数据集上优于现有最先进方法。
2023-11-08 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Learning-Based Video Coding with Joint Deep Compression and Enhancement
Fuzhou University（福州大学）；Peking University（北京大学）
基于学习的端到端视频压缩技术是将视频信号压缩为叠加的视觉特征的另一种方法，引起了人们的广泛关注。本文提出了一种高效的端到端深度视频编解码器与联合优化的压缩和增强模块（JCEVC）。首先，我们提出了一个双路径生成对抗网络（DPEG）来重建压缩后的视频细节。一个$α$路径有利于结构信息重建与大的感受野和多帧参考，而一个$β$路径有利于局部纹理的重建。这两条路径在生成对抗过程中融合并共同训练。其次，我们在运动补偿和质量增强模块中重用DPEG网络，并将其与其他必要模块结合起来，以制定我们的JCEVC框架。第三，我们采用深度视频压缩和增强的联合训练，进一步提高了压缩的率失真（RD）性能。与x265 LDP very fast模式相比，我们的JCEVC在相同的PSNR/MS-SSIM下，平均每像素比特数（bpp）降低了39.39\%/54.92\%，这比最先进的深度视频编解码器有相当大的优势。
2022-04-30 cs.CV eess.IV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
DVC: An End-to-end Deep Video Compression Framework
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）
传统的视频压缩方法使用预测编码架构，并对相应的运动信息和残差信息进行编码。本文利用传统视频压缩方法中的经典架构和神经网络强大的非线性表示能力，提出了第一个端到端视频压缩深度模型，该模型联合优化了视频压缩的所有组件。具体地说，基于学习的光流估计被用来获得运动信息和重建当前帧。然后，我们采用两个自动编码器风格的神经网络压缩相应的运动和残差信息。所有模块通过单个损失函数联合学习，其中它们通过考虑减少压缩比特数和提高解码视频的质量之间的权衡而彼此协作。实验结果表明，该方法在峰值信噪比（PSNR）方面优于目前广泛使用的视频编码标准H. 264，在MS-SSIM方面与最新标准H. 265相当。代码发布于https://github.com/GuoLusjtu/DVC。
2019-04-07 cs.CV eess.IV
Deep Learned Frame Prediction for Video Compression
Graduate School of Sciences and Engineering（科学与工程研究生院）
运动补偿是任何视频压缩算法中最基本的方法之一。视频帧预测是类似于运动补偿的任务。近年来，帧预测的任务由深度神经网络（DNN）承担。在这篇论文中，我们创建了一个DNN来执行学习的帧预测，并实现了一个包含我们的DNN的编解码器。我们针对两个不同的目标使用两种方法来训练我们的网络。首先，我们训练我们的网络仅基于均方误差（MSE），旨在获得最高的PSNR值在帧预测和视频压缩。其次，我们使用对抗训练来产生视觉上更真实的帧预测。对于帧预测，我们将我们的方法与帧差和16x16块运动补偿的基线方法进行了比较。对于视频压缩，我们还将x264视频编解码器纳入比较。我们表明，在帧预测中，对抗性训练产生的帧看起来更清晰，更逼真，与基于MSE的训练相比，但在视频压缩中，它的表现一直较差。这证明，即使对抗性训练对于生成更令人愉悦的视频帧很有用，但它们不应该用于视频压缩。此外，我们使用MSE训练的网络可以产生准确的帧预测，并且在定量结果中，对于这两个任务，它在所有视频中产生了可比的结果，并且平均优于其他方法。更具体地说，学习帧预测优于其他方法的率失真性能的情况下，高运动视频，而我们的方法的率失真性能是有竞争力的x264在低运动视频。
2018-11-27 cs.CV eess.IV
Scene Matters: Model-based Deep Video Compression
University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种基于场景的模型驱动视频压缩框架，利用隐式神经表示直接建模视频强度变化，通过空间位置嵌入、频域监督、场景流约束和时间对比损失提升效率，相比H.266实现高达20%码率降低且解码更高效。
2023-08-30 cs.CV eess.IV
High Visual-Fidelity Learned Video Compression
Huawei Technologies（华为技术有限公司）
针对现有学习型视频压缩方法忽略感知质量、直接引入感知损失存在问题的情况，提出含置信度特征重建与周期性补偿损失的HVFVC框架，仅用50%比特率就实现优于VVC标准的感知质量。
2023-10-07 cs.CV eess.IV
VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data
University of Michigan（密歇根大学）
针对盲单图像超分辨率无法处理视频压缩退化的问题，首次提出基于视频压缩的退化模型合成训练数据，使网络能恢复视频压缩伪影及通用图像压缩失真，在无参考图像质量评估中达到SOTA，并在VSR数据集上展现出优异的泛化性能。
2023-11-23 cs.CV eess.IV
Versatile Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
学习的视频压缩方法已经证明了很大的希望，赶上传统的视频编解码器在其率失真（R-D）的性能。然而，现有的学习视频压缩方案受到预测模式和固定网络框架的绑定的限制。它们不能支持各种帧间预测模式，因此不适用于各种场景。在本文中，为了打破这一限制，我们提出了一个通用的学习视频压缩（VLVC）框架，使用一个模型来支持所有可能的预测模式。具体地，为了实现通用压缩，我们首先构建运动补偿模块，其应用多个3D运动矢量场（即，体素流）用于时空空间中的加权三线性扭曲。体素流传达时间参考位置的信息，这有助于将帧间预测模式与框架设计解耦。其次，在多参考帧预测的情况下，我们应用一个流预测模块来预测准确的运动轨迹与统一的多项式函数。我们表明，流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置下的通用压缩，而且是第一个端到端学习视频压缩方法，在MS-SSIM方面优于最新的VVC/H.266标准参考软件。
2022-01-05 cs.CV eess.IV
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms
Boston University（波士顿大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；New Jersey Institute of Technology（新泽西理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Bell Labs（贝尔实验室）；Westlake University（西湖大学）
本文提出编码复杂度为O(1)的超低复杂度图像编码器BMVC，并设计基于PnP和端到端卷积神经网络的两种解码器，在资源受限平台上实现低功耗高效压缩且对位量化鲁棒。
2024-11-23 cs.CV eess.IV
A Foreground-background Parallel Compression with Residual Encoding for Surveillance Video
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
数据存储一直是监控系统的瓶颈之一。传统的视频压缩算法如H. 264和H. 265没有充分利用监控视频的低信息密度特性。本文提出了一种视频压缩方法，该方法对视频的前景和背景分别进行提取和压缩。通过自适应背景更新和插值模块，在多个相邻帧之间共享背景信息，大大提高了压缩比。此外，我们提出了两种不同的方案来压缩前景和比较他们的性能在烧蚀研究显示的重要性，时间信息的视频压缩。在解码端，采用由粗到精的两级模块，实现了前景和背景的合成以及帧质量的提高。此外，提出了一种自适应采样方法的监控摄像机，我们已经通过软件仿真显示其效果。实验结果表明，我们提出的方法需要69.5%的bpp（每像素的比特数）比传统的算法H. 265实现相同的PSNR（36 dB）的HECV数据集。
2020-09-28 cs.CV eess.IV
Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video Conferencing via Implicit Radiance Fields
Shanghai Jiao Tong University（上海交通大学）
本文提出基于隐式辐射场的分辨率无关神经压缩方法，通过动态神经辐射场编码表情特征并以体渲染重建人像，实现超低带宽且高保真的视频会议。
2024-02-26 cs.CV eess.IV
OpenDVC: An Open Source Implementation of the DVC Video Compression Method
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们在本技术报告中介绍了深度视频压缩（DVC）方法的开源Tensorflow实现。DVC是第一个端到端优化的学习视频压缩方法，实现了比x265的低延迟P（LDP）非常快设置更好的MS-SSIM性能，以及与x265（LDP非常快）相当的PSNR性能。在撰写本报告时，有几种学习的视频压缩方法优于DVC，但目前没有一种提供开源代码。我们希望我们的OpenDVC代码能够为进一步的开发提供一个有用的模型，并促进未来的学习视频压缩的研究。与仅针对PSNR优化的原始DVC不同，我们不仅发布了PSNR优化的重新实现，表示为OpenDVC（PSNR），而且还发布了MS-SSIM优化模型OpenDVC（MS-SSIM）。我们的OpenDVC（MS-SSIM）模型为MS-SSIM优化方法提供了一个更有说服力的基线，它只能与过去的PSNR优化DVC相比。OpenDVC源代码和预训练模型在https://github.com/RenYang-home/OpenDVC上公开发布。
2020-08-03 cs.CV eess.IV
Residual Learning and Filtering Networks for End-to-End Lossless Video Compression
Bahcesehir University（巴赫切谢希尔大学）；Florida Gulf Coast University（佛罗里达海湾海岸大学）；University of Connecticut（康涅狄格大学）
本文提出一种端到端无损视频压缩方法，通过残差跳跃连接、运动矢量与残差帧滤波网络、PReLU非线性变换和参考帧缓冲区微调，结合精心设计的损失函数，在多个数据集上取得了与现有方法相比具有竞争力的性能。
2025-03-11 cs.CV eess.IV
Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis
Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
视频到视频合成（Vid 2 Vid）已经取得了显着的效果，从一系列的语义地图生成照片般逼真的视频。然而，这种流水线具有高计算成本和长推理延迟，这在很大程度上取决于两个基本因素：1）网络结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已经通过更高效的网络架构被显著压缩。然而，现有的方法主要集中在瘦身网络架构，忽略了顺序数据流的大小。此外，由于缺乏时间相干性，基于图像的压缩不足以用于视频任务的压缩。在本文中，我们提出了一个时空压缩框架，\textbf{Fast-Vid2Vid}，它侧重于生成模型的数据方面。它首次尝试在时间维度上减少计算资源并加速推理。具体来说，我们在空间上压缩输入数据流，并减少时间冗余。在提出时空知识蒸馏后，我们的模型可以使用低分辨率的数据流合成关键帧。最后，Fast-Vid 2 Vid通过具有轻微延迟的运动补偿对中间帧进行插值。在标准基准测试中，Fast-Vid 2 Vid实现了约20 FPS的实时性能，并在单个V100 GPU上节省了约8倍的计算成本。
2022-07-11 cs.CV eess.IV
Advancing Learned Video Compression with In-loop Frame Prediction
ETH Zurich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（鲁汶大学）
近年来，人们对端到端学习视频压缩越来越感兴趣。大多数以前的作品探索的时间冗余检测和压缩的运动图向目标帧翘曲的参考帧。然而，它未能充分利用历史先验的顺序参考框架。在本文中，我们提出了一种先进的学习视频压缩（ALVC）的方法与环路帧预测模块，它能够有效地预测目标帧从先前压缩的帧，而不消耗任何比特率。预测帧可以作为比先前压缩的帧更好的参考，因此它有利于压缩性能。所提出的环内预测模块是端到端视频压缩的一部分，并且在整个框架中被联合优化。我们分别提出了用于压缩P帧和B帧的循环和双向环内预测模块。实验表明，我们的ALVC方法在学习视频压缩的最先进的性能。在PSNR方面，我们还优于x265的默认分层B模式，并在MS-SSIM上击败了SSIM调整的x265的最慢模式。项目页面：https://github.com/RenYang-home/ALVC。
2022-11-18 cs.CV eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Uncertainty-Aware Deep Video Compression with Ensembles
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Asia（微软亚洲研究院）
本文针对深度视频压缩中运动估计和量化的不确定性问题，提出基于深度集成的不确定性感知模型，并引入集成感知损失和对抗训练，在1080p序列上相比DVC Pro节省超过20%码率。
2024-03-28 cs.CV eess.IV
ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors
University of Science and Technology of China（中国科学技术大学）；Huawei Inc（华为公司）
提出ZeroGVC，一种零样本生成式视频压缩框架，利用预训练自回归扩散先验，通过码本引导的自回归潜压缩和双向参考模式，在超低码率下实现高质量感知重建，无需额外训练。
2026-06-24 cs.CV eess.IV
Enhancing Neural Video Compression of Static Scenes with Positive-Incentive Noise
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出正激励相机框架，通过将短期时序变化视为正激励噪声，提升静态场景视频压缩效率，实现极低压缩率下的无损重建。
2026-03-27 cs.CV eess.IV
Foveation-based Deep Video Compression without Motion Search
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（Meta现实实验室）
更大的文件大小、不同的存储格式和VR沉浸式观看条件的要求对获取、传输、压缩和显示高质量VR内容的目标提出了重大挑战。与此同时，深度学习在视频压缩问题上的巨大潜力推动了大量的研究工作。由于VR的高带宽要求，人们对使用空间可变的中心凹压缩协议也有很大的兴趣。我们已经集成了这些技术来创建一个端到端的深度学习视频压缩框架。我们的新压缩模型的一个特点是，它不需要昂贵的基于搜索的运动预测计算。这是通过利用由位移帧差表示的视频运动中固有的统计特性来实现的。视觉聚焦协议是期望的，因为当用户在任何给定方向上凝视时，在VR中观看的视频的仅一小部分可能是可见的。此外，即使在当前视场（FOV）内，视网膜神经元的分辨率也随着距投射注视点的距离（偏心率）而迅速降低。在我们的基于学习的方法中，我们通过引入视觉聚焦生成器单元（FGU）来实现视觉聚焦，该单元生成指导比特分配的视觉聚焦掩模，从而显著提高压缩效率，同时使得在适当的观看几何结构下可以保留很少或没有额外视觉损失的印象。我们的实验结果表明，我们的新压缩模型，我们称之为Foveated MOVI-Codec（Foveated MOVI-Codec），能够在不计算运动的情况下有效地压缩视频，同时在广泛使用的UVG数据集和HEVC标准B类测试序列上优于H.264和H.265的Foveated版本。
2022-03-30 cs.CV eess.IV
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
NVRC: Neural Video Representation Compression
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Immersive Content & Comms Research, BT, UK（沉浸式内容与通信研究，BT，英国）
NVRC提出了一种基于隐式神经表示的视频压缩框架，通过端到端优化和分层模型压缩，实现优于VVC VTM的编码性能。
2025-12-03 cs.CV eess.IV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
Neural Compression-Based Feature Learning for Video Restoration
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
如何有效地利用时间特征是视频恢复的关键，但具有挑战性。时间特征通常包含各种噪声和不相关的信息，它们可能会干扰当前帧的恢复。本文提出了学习噪声鲁棒的特征表示，以帮助视频恢复。我们的灵感来自于神经编解码器是一种天然的去噪器。在神经网络编解码器中，为了节省比特率，更倾向于丢弃噪声和不相关的内容，这些内容难以预测，但需要花费大量比特。因此，我们设计了一个神经压缩模块来滤除噪声，并保留最有用的信息，用于视频恢复的特征。为了实现对噪声的鲁棒性，我们的压缩模块采用了空间通道量化机制，以自适应地确定潜在的每个位置的量化步长。实验表明，我们的方法可以显着提高视频去噪的性能，其中我们获得了0.13 dB的改善，比BasicVSR++只有0.23倍的FLOP。同时，我们的方法也得到了SOTA结果的视频去噪和去雾。
2022-03-18 cs.CV eess.IV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
Institute of Image Communication and Network Engineering（图像通信与网络工程研究所）；Shanghai Jiao Tong University（上海交通大学）；College of Electronics and Information Engineering（电子信息工程学院）；Sichuan University（四川大学）
本文提出一种基于动态NeRF的体积视频压缩方法，通过分解表示并联合优化建模与压缩，相比ReRF实现了更高压缩效率。
2024-11-08 cs.CV eess.IV
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
最近基于深度学习的视频压缩方法带来了比传统编解码器（如AVC和HEVC）更大的编码增益。然而，基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中，我们提出了一种新的轻量级混合视频编解码器，包括传统的视频编解码器（HEVC / VVC），无损图像编解码器，和我们的新的恢复网络。准确地说，我们的编码器包括传统的视频编码器和无损图像编码器，传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成，它在两个步骤中增强了压缩视频。在第一步中，使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后，我们进一步提高视频质量的指导下的参考图像，这是一个有损压缩的视频帧。参考图像提供视频特定信息，其可用于更好地恢复压缩视频的细节。实验结果表明，所提出的方法实现了相当的性能，顶级的方法，即使在HEVC应用。然而，我们的方法具有较低的复杂度，更快的运行时间，并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
NeRV: Neural Representations for Videos
University of Maryland, College Park（马里兰大学学院市分校）；Facebook AI
我们提出了一种新的视频神经表示（NeRV），它在神经网络中编码视频。与将视频视为帧序列的传统表示不同，我们将视频表示为以帧索引为输入的神经网络。给定帧索引，NeRV输出相应的RGB图像。NeRV中的视频编码是简单地将神经网络拟合到视频帧，解码过程是简单的前馈操作。作为一种图像级隐式表示，NeRV输出整个图像，与像素级隐式表示相比，显示出更高的效率，编码速度提高了25倍至70倍，解码速度提高了38倍至132倍，同时实现了更好的视频质量。有了这样的表示，我们可以将视频视为神经网络，简化了几个与视频相关的任务。例如，传统的视频压缩方法受到专门为该任务设计的长而复杂的流水线的限制。相比之下，使用NeRV，我们可以使用任何神经网络压缩方法作为视频压缩的代理，并实现与传统的基于帧的视频压缩方法（H. 264，HEVC \etc）相当的性能。除了压缩，我们还展示了NeRV在视频去噪方面的推广。源代码和预训练模型可以在https://github.com/haochen-rye/NeRV.git上找到。
2021-10-26 cs.CV eess.IV
Multi-Scale Deformable Alignment and Content-Adaptive Inference for Flexible-Rate Bi-Directional Video Compression
KUIS AI Center（KUIS人工智能中心）
本文提出一种自适应运动补偿模型，通过多尺度可变形对齐与内容自适应推理，实现灵活速率的双向视频压缩，率失真性能超越现有方法。
2023-06-28 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image and Video Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发式智能感知与认知联合实验室，中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对超低比特率下图像视频压缩中像素域与感知错位的问题，提出在VQ-VAE潜在空间进行变换编码的生成式潜在编码（GLC）模型，并引入分类超模块和码预测损失，实现高真实感高保真压缩，显著降低比特率。
2025-05-22 cs.CV eess.IV
