Towards Real-Time Neural Video Codec for Cross-Platform Application Using Calibration Information
Tencent AI Lab（腾讯人工智能实验室）
本文提出一种实时跨平台神经视频编解码器，通过校准传输系统和分段高斯约束解决跨平台浮点误差导致的编解码不一致问题，并设计轻量级模型在RTX 2080上实现720P视频25 FPS实时解码，较H.265最多提升24.2% BD-rate。
2023-09-20 cs.CV eess.IV
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University（法政大学）
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题，提出结合过去与未来关键帧的双向学习型编解码器，在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
One-Click Upgrade from 2D to 3D: Sandwiched RGB-D Video Compression for Stereoscopic Teleconferencing
Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Google LLC（谷歌有限责任公司）
针对立体视频会议中现有2D编解码器不适配立体RGB-D视频、3D扩展方案复杂的问题，提出用神经前后处理器封装2D编解码器的方法，结合几何感知损失，在相同渲染质量下比传统方案及MV-HEVC省30%比特率，无需专用硬件升级。
2024-04-15 cs.CV eess.IV
Prediction and Reference Quality Adaptation for Learned Video Compression
University of Science and Technology of China（中国科学技术大学）
针对学习型视频压缩中预测与参考质量自适应不足的问题，提出基于置信度的PQA模块和RQA模块及配套训练策略，有效提升了压缩性能。
2025-03-24 cs.CV eess.IV
Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation
University of Bristol（布里斯托尔大学）；Yokohama National University（横滨国立大学）
本文提出基于梯度衰减与自适应逐层蒸馏的模型无关剪枝方案，应用于FVC、DCVC和DCVC-HEM三种学习型视频编解码器，在BD-PSNR下降小于0.3dB的情况下实现最高65%的MACs减少和2倍加速。
2023-12-05 cs.CV eess.IV
Energy-Rate-Quality Tradeoffs of State-of-the-Art Video Codecs
新型冠状病毒疫情加速了视频会议和视像通信服务的采用，推动了视频数据流量的快速增长。对更高分辨率和质量的需求、对沉浸式视频格式的需求以及最新、更复杂的视频编解码器增加了数据中心和显示设备的能耗。在本文中，我们探索并比较了经过优化的最先进的视频编解码器SVT-AV 1、VVenC/VVdeC、VP 9和x.265的能耗。此外，我们将能量使用与各种客观质量指标和不同分辨率的一组视频序列的压缩性能相一致。结果表明，从测试的编解码器和配置，SVT-AV 1提供了最好的折衷之间的能源消耗和质量。报告的结果旨在作为可持续视频流的指南，同时不影响最终用户的体验质量。
2022-10-02 eess.IV
Can Learned Frame-Prediction Compete with Block-Motion Compensation for Video Coding?
Koç University（科奇大学）
鉴于学习视频预测的最新进展，我们研究了一个简单的视频编解码器是否可以与基于块运动补偿的标准视频编解码器竞争，该编解码器使用预先训练的深度模型，基于先前编码/解码的帧进行下一帧预测，而不发送任何运动辅助信息。给定学习帧预测的帧差由标准静止图像（帧内）编解码器编码。实验结果表明，在10个MPEG测试视频上，复杂度对称的简单编解码器的率失真性能平均优于x264编解码器，但尚未达到x265编解码器的水平。这个结果证明了学习帧预测（LFP）的强大功能，因为与运动补偿不同，LFP不使用来自当前图片的信息。分析了使用L1、L2或L2和对抗性损失的组合训练对预测性能和压缩效率的影响。
2020-07-17 cs.CV cs.LG eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia（微软亚洲研究院）
本文提出感知视频压缩框架GLVC，通过连续分词器将帧投影至潜在空间以卸载感知约束，采用统一帧内/帧间编码与循环记忆机制重新设计架构，在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
NN-VVC: Versatile Video Coding boosted by self-supervisedly learned image coding for machines
Nokia Technologies（诺基亚技术公司）；Tampere University（坦佩雷大学）
本文提出NN-VVC混合编解码器，融合端到端学习型图像编码与VVC等传统视频编码，在多数据集和多机器视觉任务上显著降低BD码率。
2024-01-19 cs.CV eess.IV
OpenDCVCs: A PyTorch Open Source Implementation and Performance Evaluation of the DCVC series Video Codecs
Purdue University West Lafayette, USA（帕克大学西拉法叶分校）
OpenDCVCs是一个开源PyTorch框架，统一实现了四种DCVC视频压缩模型，支持端到端训练与评估，提供文档和基准测试结果，以促进可复现研究。
2025-08-06 cs.CV eess.IV
Immersive Video Compression using Implicit Neural Representations
University of Bristol（布里斯托尔大学）
本文首次将隐式神经表示扩展到多视角视频压缩，提出MV-HiNeRV，通过按视角学习特征网格并共享网络参数，有效利用时空与视角间冗余，在MPEG沉浸式视频测试中相比TMIV实现高达72.33%的编码增益。
2024-02-23 cs.CV eess.IV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research（高通人工智能研究院）
在视频压缩中，通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余：1）一阶：像素空间中的冗余，即，跨相邻帧的像素值的相似性，这是使用运动和残差补偿有效地捕获的，2）二阶：由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余，我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测，学习从以前解码的数据外推。这些预测器是轻量级的，可以与大多数神经视频编解码器一起使用，以提高其率失真性能。此外，虽然RGB是神经视频编码文献中的主要色彩空间，但我们介绍了神经视频编解码器的一般修改，以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明，使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Benchmarking Conventional and Learned Video Codecs with a Low-Delay Configuration
Visionular（维视乐公司）
本文在低延迟配置下系统比较 H.266/VVC VTM、JVET ECM、AV1 libaom、AVM 及 DCVC-DC/DCVC-FM，发现 JVET ECM 整体性能最优，并揭示学习型编解码器在大背景运动内容上的不稳定性。
2024-08-09 cs.CV cs.MM eess.IV
Deep Video Codec Control for Vision Models
NEC Laboratories America, Inc.（NEC美国实验室公司）；TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
针对标准有损视频编码会大幅降低深度视觉模型性能的问题，本文提出首个端到端可学习的深度视频编解码器控制方案，在遵循现有标准、兼顾带宽约束的同时，能更好地保留下游深度视觉性能。
2024-04-16 cs.CV cs.LG cs.MM
Differentiable Proxy Learning for Adaptive Quantization Control in H.264 Video Coding
School of Engineering Science, Simon Fraser University（工程科学学院，西蒙·弗雷泽大学）
研究针对H.264视频编码中优化量化参数难的问题，提出可微代理学习方法，基于可变速率学习压缩模型，通过软索引机制使代理可微，经训练近似H.264率失真行为，所构建框架在相关任务中显著改善率任务权衡。
2026-07-14 cs.CV eess.IV
Deep motion estimation for parallel inter-frame prediction in video compression
Stellenbosch University（斯泰伦博斯大学）
标准视频编解码器依赖于光流来指导帧间预测：来自参考帧的像素经由运动矢量移动以预测目标视频帧。我们建议学习基于输入视频序列编码的二进制运动代码。这些代码不仅限于2D平移，还可以捕获复杂的运动（扭曲，旋转和遮挡）。我们的运动代码是作为单个神经网络的一部分学习的，该神经网络还学习压缩和解码它们。该方法支持并行视频帧解码，而不是基于流的方法的顺序运动估计和补偿。我们还引入了3D动态位分配，以适应运动引起的对象位移，产生额外的位节省。通过将现有视频编解码器中基于光流的块运动算法替换为我们学习的帧间预测模型，我们的方法在低比特率下优于标准H.264和H.265视频编解码器。
2019-12-11 cs.CV eess.IV
Adaptation and Attention for Neural Video Coding
Nokia Technologies（诺基亚技术公司）；Tampere University（坦佩雷大学）
神经图像编码现在代表了最先进的图像压缩方法。然而，在视频领域还有很多工作要做。在这项工作中，我们提出了一个端到端的学习视频编解码器，介绍了几个架构的新颖性以及培训的新颖性，围绕适应和注意力的概念。我们的编解码器被组织为与帧间编解码器配对的帧内编解码器。作为一种新颖的架构，我们提出了训练帧间编解码器模型，以适应运动估计过程的基础上的分辨率的输入视频。第二个架构新颖性是一个新的神经块，它结合了基于分裂注意力的神经网络和DenseNets的概念。最后，我们建议在推理时过拟合一组解码器侧乘法参数。通过消融研究和现有技术的比较，我们显示了我们提出的技术在编码增益方面的好处。我们将我们的编解码器与VVC/H.266和RLVC进行了比较，它们分别代表了最先进的传统和端到端学习编解码器，并与2021年CLIC竞赛E2E_T_OL中表现最好的端到端学习方法进行了比较。我们的编解码器明显优于E2E_T_OL，并在某些设置中与VVC和RLVC相媲美。
2021-12-16 cs.CV cs.LG eess.IV
A Hybrid Deep Animation Codec for Low-bitrate Video Conferencing
深度生成模型，特别是面部动画方案，可用于视频会议应用中，以通过稀疏的关键点集有效地压缩视频，而无需传输密集的运动矢量。虽然这些方案在低比特率下比传统视频编解码器带来显著的编码增益，但是当可用带宽增加时，它们的性能很快饱和。在本文中，我们提出了一个分层的，混合编码方案，以克服这一限制。具体地，我们通过添加由通过常规视频编解码器（例如，HEVC）。动画和辅助视频通过一个新的融合模块相结合。我们的研究结果显示，在视频会议序列的大型数据集上，一致的平均BD速率增益超过-30%，扩展了面部动画编解码器的比特率操作范围
2022-07-27 cs.MM eess.IV
Improved Encoding for Overfitted Video Codecs
本文通过光流估计引导运动信息学习并引入联合率失真优化，在保持低解码复杂度的同时，使过拟合视频编码器性能接近HEVC并优于其他同类编码器。
2025-03-26 eess.IV
Gen2-VC: Unlocking Generative Priors for Video Compression
Tsinghua University（清华大学）
Gen2-VC通过冻结编解码器和生成骨干，仅用轻量LoRA适配器精化重建，实现低比特率下优于VTM-23.0的失真-感知权衡，且适配器可跨编解码器泛化。
2026-09-29 eess.IV
An adaptive Lagrange multiplier determination method for rate-distortion optimisation in hybrid video codecs
本文提出了一种用于视频压缩码率-质量优化的自适应拉格朗日乘子确定方法。受拉格朗日乘数选择测试的实验结果的启发，所提出的方法自适应地估计最佳拉格朗日乘数为不同的视频内容，基于最近编码的帧的失真统计。所提出的算法已完全集成到H.264和HEVC参考编解码器中，并用于编码B帧的率失真优化。结果显示，基于Bjontegaard delta测量的各种类型的测试内容，在复杂性增加最小的情况下，整体比特率节省有希望（在测试的序列上高达11%）。
2021-06-15 eess.IV
VcLLM: Video Codecs are Secretly Tensor Codecs
Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出VcLLM框架，将GPU硬件视频编解码器重新用作通用张量编解码器，在多种任务中达到最先进压缩效率，从而大幅降低大语言模型训练与推理的内存和通信带宽需求，使其可在消费级GPU上运行。
2024-06-29 cs.DC cs.LG eess.IV
MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device
Qualcomm AI Research（高通人工智能研究院）
提出首个移动设备上实时解码1080p YUV420视频的神经编解码器，通过块运动补偿与整数量化及并行流水线，实现高达48%的BD-rate节省和10倍MAC减少。
2023-11-15 cs.CV cs.LG eess.IV
Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set
Qualcomm AI Research（高通人工智能研究院）
本文提出实例自适应视频压缩方法，通过微调预训练模型并熵编码参数更新，提升多种神经编解码器性能，节省BD-rate 17-27%，增强鲁棒性并降低模型容量需求。
2023-06-23 cs.CV cs.LG eess.IV
Artificial Intelligence based Video Codec (AIVC) for CLIC 2022
本文介绍了AIVC提交给CLIC 2022视频轨道。AIVC是一个基于条件自动编码器的完全学习的视频编解码器。利用AIVC模型的灵活性来实现速率分配和帧结构竞争，以选择每个序列的最佳编码配置。这种竞争产生了令人信服的压缩性能，与没有竞争相比，速率降低了-26%。
2022-06-28 eess.IV eess.SP
Neural Video Compression with Diverse Contexts
Microsoft Research Asia（微软亚洲研究院）
对于任何视频编解码器，编码效率高度依赖于待编码的当前信号是否可以从先前重构的信号中找到相关上下文。传统的编解码器已经证实更多的上下文带来了可观的编码增益，但以一种耗时的方式。然而，对于新兴的神经视频编解码器（NVC），其上下文仍然是有限的，导致低压缩比。为了提高NVC，本文提出在时间和空间维度上增加上下文多样性。首先，我们引导模型学习跨帧的分层质量模式，这丰富了长期且高质量的时间上下文。此外，为了挖掘基于光流的编码框架的潜力，我们引入了基于组的偏移多样性，其中提出了跨组交互以更好地挖掘上下文。此外，本文还采用了基于四叉树的分区，以增加空间上下文的多样性时，并行编码的潜在表示。实验表明，我们的编码器获得了23.5%的比特率节省比以前的SOTA NVC。更好的是，我们的编解码器已经超过了正在开发的下一代传统编解码器/ECM在RGB和YUV 420色彩空间，在PSNR方面。代码在https://github.com/microsoft/DCVC上。
2023-03-14 cs.CV cs.MM eess.IV
Adaptive Video Encoding For Different Video Codecs
到2022年，我们预计视频流量将达到互联网总流量的82%。毫无疑问，视频驱动应用的丰富将可能导致互联网视频流量百分比在不久的将来进一步增加，这是由视频设备功能的相关进步所实现的。为了应对这一不断增长的需求，开放媒体联盟（AOM）和联合视频专家小组（JVET）对开发新的视频编解码器表现出了浓厚的兴趣。因此，在快速变化的视频编解码器领域，真正需要开发可以普遍应用于不同编解码器的自适应方法。在这项研究中，我们将视频编码制定为多目标优化过程，其中视频质量（作为VMAF和PSNR的函数），比特率需求和编码速率（以每秒编码帧为单位）得到联合优化，超越了专注于针对特定带宽的速率控制的标准视频编码方法。更具体地说，我们创建了一个密集的视频编码空间（离线），然后采用回归来生成前向预测模型，用于上述优化目标中的每一个，仅使用帕累托最优点。我们展示了我们的自适应视频编码方法，该方法利用所生成的前向预测模型，这些模型有资格使用不同的编解码器进行实时自适应（例如，SVT-AV 1和x265），用于各种视频数据集和分辨率。为了激励我们的方法并为未来的快速VVC编码器建立承诺，我们还使用主观和客观指标进行了比较性能评估，并报告了VVC，SVT-AV 1，x265和VP 9编解码器之间所有可能对的比特率节省。
2021-05-17 cs.MM eess.IV
Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression
Microsoft Research Asia（微软亚洲研究院）
对于神经视频编解码器来说，设计一个有效的熵模型来准确预测量化潜在表征的概率分布是关键的，也是具有挑战性的。然而，现有的视频编解码器大多直接使用现成的熵模型从图像编解码器编码的残差或运动，并没有充分利用视频的时空特性。为此，本文提出了一个强大的熵模型，有效地捕捉空间和时间的依赖性。特别地，我们引入了潜在先验，它利用潜在表征之间的相关性来挤压时间冗余。同时，提出了双空间先验，以减少空间冗余的并行友好的方式。此外，我们的熵模型也是通用的。除了估计的概率分布，我们的熵模型还产生在空间通道的量化步骤。这种内容自适应量化机制不仅可以帮助我们的编码器实现平滑的速率调整在单一的模式，但也提高了最终的率失真性能的动态比特分配。实验结果表明，采用所提出的熵模型，我们的神经编解码器可以实现18.2%的比特率节省UVG数据集相比，H.266（VTM）使用最高的压缩比配置。它是神经视频编解码器发展的一个新的里程碑。代码在https://github.com/microsoft/DCVC上。
2022-07-13 cs.CV cs.MM eess.IV
Application Space and the Rate-Distortion-Complexity Analysis of Neural Video CODECs
本研究通过率失真复杂度分析，提出应用空间与拉格朗日成本度量，比较神经视频编解码器，发现仅四种编解码器在不同应用场景下最优。
2025-09-07 eess.IV
Compression-Realized Deep Structural Network for Video Quality Enhancement
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
针对压缩视频质量增强，提出压缩感知深度结构网络（CRDS），融合编解码器先验与深度网络，通过潜在残差自编码器和渐进去噪框架，在LDV 2.0和MFQE 2.0上超越现有最优方法。
2024-08-20 cs.CV eess.IV
NVRC: Neural Video Representation Compression
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Immersive Content & Comms Research, BT, UK（沉浸式内容与通信研究，BT，英国）
NVRC提出了一种基于隐式神经表示的视频压缩框架，通过端到端优化和分层模型压缩，实现优于VVC VTM的编码性能。
2025-12-03 cs.CV eess.IV
Efficient Sub-pixel Motion Compensation in Learned Video Codecs
本文借鉴传统编解码器的亚像素运动补偿技术，在学习型视频编解码器中引入先进插值滤波器、块级运动信息和有限运动精度，在 Cool-chic 上实现码率降低超10%并将运动相关解码复杂度从391 MAC/像素降至214 MAC/像素。
2025-09-23 cs.MM eess.IV
Using modern motion estimation algorithms in existing video codecs
运动估计是任何现代视频编解码器的关键组件。自2000年以来，我们对运动的理解和对视频运动的估计已经走过了很长的路。Scharstein等人最近综述了超过135种不同的算法。http://vision.middlebury.edu/flow/这些新的算法明显不同于块匹配，这已经是主流的视频压缩了一段时间。264和MP4压缩的比较，使用不同的运动估计方法。在这样做的时候，我们提出了以及用于适应预先计算的运动字段内使用的编解码器的方法。我们没有观察到显著的收益与w.r.t.选择的方法。率失真权衡，但结果反映了运动和压缩之间的相互关系比预期的要复杂得多。在改进与新兴标准进行比较的覆盖面方面还有许多工作要做，但这些初步结果表明，这些探索是有价值的。
2020-07-23 eess.IV
Evaluating Video Quality Metrics for Neural and Traditional Codecs using 4K/UHD-1 Videos
Technische Universität Ilmenau（伊尔梅瑙工业大学）；RWTH Aachen（亚琛工业大学）
本文通过主观测试评估了传统和神经编码器在4K/UHD-1视频中的质量度量标准的有效性，发现VMAF和AVQBits|H0|f具有强相关性，而FasterVQA在无参考度量中表现最佳，且传统和神经编码器在度量可靠性上无显著差异。
2025-11-02 eess.IV
End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional Video Compression
Koç University（科奇大学）
传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习VC允许同时对非线性变换、运动和熵模型进行端到端的率失真（R-D）优化训练。大多数关于学习VC的工作考虑基于在连续帧对上平均的R-D损失的顺序视频编解码器的端到端优化。在常规VC中众所周知，分层双向编码优于顺序压缩，因为其能够使用过去和未来的参考帧。本文提出了一种学习分层双向视频编解码器（LHBDC），结合了分层运动补偿预测和端到端优化的好处。实验结果表明，我们取得了最好的R-D结果，报告学习VC计划的PSNR和MS-SSIM。与传统的视频编解码器相比，我们的端到端优化编解码器的R-D性能在PSNR和MS-SSIM以及MS-SSIM中的HM 16.23参考软件方面优于x265和SVT-HEVC编码器（“非常慢”预设）。我们目前的消融研究表明，由于提出的新工具，如学习掩蔽，流场子采样，和时间流矢量预测的性能增益。复制我们的结果的模型和说明可以在https://github.com/makinyilmaz/LHBDC/中找到
2021-12-17 cs.CV eess.IV
MLVC: Multi-platform Learned Video Codec for Real-World Deployment
Microsoft Corporation（微软公司）
提出MLVC，一种跨平台鲁棒的神经视频编解码器，通过超先验显式传输缩放参数保证熵编码一致性，结合门控记忆、ReGLU激活等架构改进，在VCD基准上相比硬件HEVC实现>70% BD-rate提升，且与无法跨平台运行的DCVC-RT主观质量相当。
2026-07-30 cs.AI cs.CV cs.LG
Sandwiched Video Compression: Efficiently Extending the Reach of Standard Codecs with Neural Wrappers
Google（谷歌）
本文提出夹层式视频压缩框架，在标准编解码器前后加入轻量神经预处理与后处理器并联合训练，通过可微代理实现端到端优化，在低分辨率HEVC传输高分辨率视频等场景下显著提升率失真性能。
2023-07-05 cs.LG cs.MM eess.IV
Utilising Low Complexity CNNs to Lift Non-Local Redundancies in Video Coding
National Taiwan University（台湾大学）
数字媒体无处不在，而且数量不断增长。这需要压缩技术的不断发展，特别是对于视频，以保持有效的存储和传输。在这项工作中，我们的目标是利用传统视频编解码器难以擦除的视频数据中的非本地冗余。我们设计的卷积神经网络特别强调低内存和计算占用。这些网络的参数在编码时被动态训练，以从解码的视频信号预测残差信号。在训练过程已经收敛之后，参数被压缩并且作为底层视频编解码器的代码的一部分被用信号发送。该方法可以应用于任何现有的视频编解码器，以增加编码增益，同时其低计算占用空间允许在资源受限条件下的应用。在高效视频编码的基础上，我们实现了与预训练的去噪CNN类似的编码增益，同时只需要大约1%的计算复杂度。通过广泛的实验，我们提供了我们的网络设计决策的有效性的见解。此外，我们证明了我们的算法在实际视频压缩中满足的条件下提供稳定的性能：我们的算法在非常长的随机访问段（最多256帧）上没有显着的性能损失，并且具有中等的性能下降，甚至可以应用于高分辨率低延迟设置中的单帧。
2020-04-28 cs.CV eess.IV
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
ANVIL: Accelerator-Native Video Interpolation via Codec Motion Vector Priors
North China University of Science and Technology（华北理工大学）
ANVIL通过利用H.264/AVC解码器的运动向量预对齐输入帧，解决了移动NPUs上实时视频插值的三个结构部署障碍，实现了1080p 8位整数精度下的12.8ms推理。
2026-04-01 cs.CV eess.IV
Extending Neural P-frame Codecs for B-frame Coding
Qualcomm AI Research（高通人工智能研究院）
虽然大多数神经视频编解码器解决P帧编码（从过去的帧预测每一帧），但在本文中，我们解决B帧压缩（使用过去和未来的参考帧预测帧）。我们的B-框架解决方案是基于现有的P-框架方法。因此，B帧编码能力可以很容易地添加到现有的神经编解码器。我们的B帧编码方法的基本思想是内插的两个参考帧，以产生一个单一的参考帧，然后使用它与现有的P帧编解码器编码的输入B帧。我们的研究表明，内插帧是一个更好的参考P帧编解码器相比，使用前一帧通常是这样做。我们的结果表明，使用所提出的方法与现有的P帧编解码器可以导致28.5%的节省比特率的UVG数据集相比，P帧编解码器，同时产生相同的视频质量。
2021-08-05 cs.CV cs.LG eess.IV
ReGenVC: End-to-End Real-Time Generative Video Coding at Ultra-Low Bitrate
Intel Corporation（英特尔公司）
ReGenVC是首个结合超低位率编码与实时解码的端到端生成式视频编解码器，通过技术优化实现24 fps输出，内存占用显著降低。
2026-07-31 cs.CV eess.IV
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
Embedding Compression Distortion in Video Coding for Machines
Beijing Jiaotong University, China（北京交通大学）；University of Science and Technology Beijing, China（北京科技大学）；Nanyang Technological University, Singapore（南洋理工大学）
提出压缩失真表示嵌入（CDRE）框架，通过提取机器感知相关的失真表示并嵌入下游模型，提升压缩视频的任务性能。
2025-03-27 cs.CV eess.IV
A Residual Diffusion Model for High Perceptual Quality Codec Augmentation
Qualcomm（高通公司）
扩散概率模型最近在生成高质量图像和视频数据方面取得了显着的成功。在这项工作中，我们建立在这一类的生成模型，并介绍了一种高分辨率图像的有损压缩的方法。由此产生的编解码器，我们称之为基于DIffuson的残差增强编解码器（DIRAC），是第一个允许在测试时平滑遍历速率-失真-感知权衡的神经编解码器，同时在感知质量方面获得与基于GAN的方法竞争的性能。此外，虽然从扩散概率模型采样是出了名的昂贵，我们表明，在压缩设置的步骤的数量可以大大减少。
2023-03-29 cs.CV eess.IV
Differentiable bit-rate estimation for neural-based video codec enhancement
Qualcomm AI Research（高通人工智能研究院）
神经网络（NN）可以通过对编码视频进行预处理和后处理来改进标准视频压缩。对于最佳NN训练，标准编解码器需要用编解码器代理替换，该编解码器代理可以提供估计的比特率和失真的导数，其用于梯度反向传播。由于标准编解码器的熵编码被设计为考虑变换系数之间的非线性依赖性，所以比特率不能用简单的每系数估计器很好地近似。本文提出了一种用于比特率估计的新方法，该方法类似于训练端到端神经编解码器中采用的类型，并且能够有效地考虑这些统计依赖性。它是从一个数学模型定义的，该模型提供了估计值及其梯度的封闭式公式，降低了计算复杂性。实验结果表明，该方法在估计HEVC/H.265编解码器的比特率的准确性。
2023-01-24 cs.IT cs.LG cs.MM
SCENE: Semantic-aware Codec Enhancement with Neural Embeddings
United Link Co., Ltd.（联合链接有限公司）；Dept. Computer Science and Information Engineering, National Tsing Hua University（国立清华大学计算机科学与信息工程系）
SCENE通过整合视觉语言模型的语义嵌入，实现对压缩视频中伪影的语义感知增强，提升感知质量和细节纹理保留。
2026-01-29 cs.CV cs.LG cs.MM
Neural Video Compression with Feature Modulation
Microsoft Research Asia（微软亚洲研究院）
本文提出基于特征调制的条件编码NVC，通过可学习量化缩放器和周期性时间特征刷新，解决单模型宽质量范围与长预测链质量退化问题，并显著节省码率和计算量。
2024-02-29 cs.CV eess.IV
Explore Cross-Codec Quality-Rate Convex Hulls Relation for Adaptive Streaming
本研究评估H.264、H.265、VP9在三种分辨率下的质量-码率性能，构建凸包并对数多项式建模，发现单编解码器凸包可预测其他编解码器性能，助力提升自适应流媒体效率。
2024-08-16 eess.IV
CATRF: Codec-Adaptive TriPlane Radiance Fields for Volumetric Content Delivery
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出CATRF，一种用于体积分发的编码自适应三平面辐射场方法，通过在训练过程中将二维特征平面量化和打包到编码器友好的画布中，并利用标准编码器进行回程处理，从而在训练循环中插入非可微的编码器管道，使辐射场特征能够直接适应客户端侧的编码器失真，而无需引入任何学习的编码器参数。
2026-05-18 cs.CV cs.MM eess.IV
Cool-chic video: Learned video coding with 800 parameters
Orange Innovation（奥兰奇创新中心）；IETR（电子与电信研究院）
提出一种基于Cool-chic的轻量级学习型视频编解码器，通过帧间编码模块利用时间冗余，以极低的解码复杂度实现了接近AVC的率失真性能并优于FFNeRV。
2024-02-06 cs.LG eess.IV
Bit Allocation Transfer for Perceptual Quality Enhancement of Traditional Video Codecs
School of Engineering Science Simon Fraser University Burnaby, BC, Canada
该研究提出比特分配迁移框架，通过DCVC-FM训练量化步长生成模型，将神经压缩的感知重要性迁移至传统编解码器，在HEVC B~D数据集上实现显著比特率节省，且不修改核心解码语法。
2026-08-11 cs.MM eess.IV
CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
The Hong Kong Polytechnic University（香港理工大学）
近年来，互联网视频流量急剧增长，其中视频比特流通常被压缩并以低质量传送以适应流媒体的上行链路带宽。为了缓解质量下降，神经增强视频流（NVS）的兴起，它通过在媒体服务器上主要部署神经超分辨率（SR）来恢复低质量视频，显示出巨大的前景。尽管它的好处，我们发现，目前的主流作品与SR增强没有实现所需的率失真之间的比特率节省和质量恢复的权衡，由于：（1）过分强调解码器侧的增强而忽略编码器的协同设计，（2）恢复高保真感知细节的生成能力有限，以及（3）仅从分辨率角度优化压缩和恢复流水线，而不考虑颜色位深度。为了克服这些限制，我们首先进行编码器-解码器（即，编解码器）协同作用。具体来说，我们提出了编解码器感知的扩散建模（CaDM），一种新的NVS范式，以显着降低流传输比特率，同时保持相当高的恢复能力比现有的方法。首先，CaDM通过同时降低视频帧的分辨率和颜色比特深度来提高编码器的压缩效率。其次，CaDM通过使去噪扩散恢复知道编码器的分辨率-颜色条件来赋予解码器高质量的增强。使用OpenMMLab基准测试对公共云服务进行的评估表明，CaDM有效地节省了基于常见视频标准的高达5.12 - 21.44倍的比特率，并实现了更好的恢复质量（例如，FID为0.61）优于最先进的神经增强方法。
2023-03-08 cs.CV cs.LG cs.MM
