Coding Standards as Anchors for the CVPR CLIC video track
2021年，学会图像压缩挑战赛开始了一个新的赛道：视频赛道。本类别旨在探索以1 Mbit/s压缩短视频剪辑的技术。本文提出使用最新的标准化视频编码器，特别是通用视频编码（VVC）生成编码视频。我们的目标不仅是衡量学习技术与最先进的视频编码器相比所取得的进展，而且还要量化它们逐年取得的进展。考虑到这一点，本文记录了如何生成满足这一挑战的要求的视频序列，以可再现的方式，以VVC的最大性能为目标。
2021-05-20 eess.IV
OpenVVC: a Lightweight Software Decoder for the Versatile Video Coding Standard
近年来，用户对更高分辨率的要求，加上新的多媒体应用的出现，已经产生了对新的视频编码标准的需要。被称为通用视频编码（VVC）的新一代视频编码标准已经由联合视频专家小组开发，并且提供超过上一代高效视频编码（HEVC）标准的编码能力。由于结合了更先进和复杂的工具，与HEVC相比，VVC标准的解码复杂度大约增加了一倍。这种复杂性的增加提出了新的研究挑战，以实现实时软件解码。在这种情况下，我们开发了OpenVVC，一个开源软件解码器，支持广泛的VVC功能。本文介绍了OpenVVC的软件体系结构，它的并行策略，以及一组详细的实验结果。通过将广泛的数据级并行与帧级并行相结合，OpenVVC实现了UHD视频内容的实时解码。此外，OpenVVC所需的内存非常低，这为它在低内存资源的嵌入式平台上的集成提供了很大的优势。OpenVVC解码器的代码可在www.example.com上公开获得
2022-05-24 eess.IV
Video Quality Assessment and Coding Complexity of the Versatile Video Coding Standard
本文全面分析了VVC标准相比HEVC的编码性能与复杂度，发现VVC在主客观质量上可节省31%-40%比特率，但解码复杂度增加1.5倍，编码复杂度至少增加8倍。
2023-10-19 eess.IV
Conditional Residual Coding with Explicit-Implicit Temporal Buffering for Learned Video Compression
针对学习型视频压缩中隐式时间缓冲内存占用高的问题，提出显式-隐式混合时间缓冲的条件残差编码方法，在缓冲容量降至两帧等效大小的同时实现优异的2K视频编码性能。
2025-08-03 eess.IV
On the Rate-Distortion-Complexity Trade-offs of Neural Video Coding
本文针对神经视频编码中条件编码的信息瓶颈及高复杂度问题，以DCVC为基础，探究条件残差编码及其变体在率-失真-复杂度间的最优平衡。
2024-10-04 eess.IV
Coding of distortion-corrected fisheye video sequences using H.265/HEVC
鱼眼相机捕获的图像和视频由于其大视场而表现出强烈的径向失真。然而，在混合视频编码方案中采用的常规帧内以及帧间预测技术并不被设计为处理这样的失真。到目前为止，捕获的鱼眼数据已被编码和存储，而不考虑任何损失的效率，导致径向失真。本文研究了失真校正作为预处理步骤时对编码效率的影响，而不是最先进的后处理方法。这两种方法利用最新的视频编码标准H. 265/HEVC和比较方面的客观和主观的视频质量。结果表明，当使用预处理方法时，帧内和帧间编码的最大PSNR增益分别为1.91 dB和1.37 dB。帧内和帧间编码的平均增益分别为1.16 dB和0.95 dB。
2022-11-30 eess.IV
Evaluation of Video Coding for Machines without Ground Truth
在新兴的机器视频编码领域，需要具有原始视频质量和高质量注释的视频数据集进行全面评估。然而，现有的具有详细注释的视频数据集在大小和视频质量方面受到严重限制。因此，当前的方法必须在静止图像上或在已经压缩的数据上评估它们的编解码器。为了缓解这个问题，我们提出了一种基于伪地面实况数据的评估方法，从语义分割领域到机器视频编码的评估。通过广泛的评估，本文表明，所提出的地面实况不可知的评估方法的结果在一个可接受的绝对测量误差低于0.7个百分点的Bjontegaard三角洲速率相比，使用真正的真值为中等范围的比特率。我们评估的三个任务的语义分割，实例分割和对象检测。最后，我们利用地面真相不可知的方法来测量城市景观序列上的VVC与HEVC相比的编码性能。这表明编码位置对任务绩效有显著影响。
2022-05-13 eess.IV
A software decoder implementation for H.266/VVC video coding standard
多功能视频编码标准（H.266/VVC）于二零二零年七月由ITU-T及ISO/IEC的联合视频专家小组（JVET）完成。这个新的ITU推荐/国际标准是众所周知的H. 265/HEVC视频编码标准的后继者，具有大约两倍的压缩效率，但也以增加的计算复杂度为代价。266/VVC解码器处理模块的复杂度进行了研究。提出了一种基于SIMD指令扩展和数据并行、任务并行等并行处理的优化解码器实现方案，该方案可以在x86处理器上实现4K 60 fps VVC码流的实时解码。
2020-12-08 eess.IV
Lightweight Hardware Transform Design for the Versatile Video Coding 4K ASIC Decoders
通用视频编码（VVC）是2020年7月完成的下一代视频编码标准。VVC引入了新的编码工具，与其前身高效率视频编码（HEVC）相比，提高了编码效率。这些新工具对估计为HEVC解码器复杂度的2倍的VVC软件解码器复杂度具有显著影响。具体地，变换模块在VVC中包括分别称为多变换选择（MTS）和低频不可分离变换（LFNST）工具的可分离和不可分离变换。在本文中，我们提出了一个面积有效的硬件架构的逆变换模块的VVC解码器。所提出的设计使用了一个针对专用集成电路（ASIC）平台的流水线架构，共64个常规乘法器。它包括支持包括高级视频编码（AVC）、HEVC和VVC的最新MPEG标准的变换模块的多标准架构。该架构利用了所有的初级和次级变换优化，包括蝶形分解、系数归零和变换之间的固有线性关系。综合结果表明，该方法在所有块大小下都能保持1个样本/周期的吞吐量和恒定的延迟。所提出的硬件逆变换模块在600 MHz频率下工作，能够以4：2：2色度子采样格式以每秒30帧的速度实时解码4K视频。所提出的模块已被集成在ASIC UHD解码器中，目标是消费者设备上的VVC视频的能量感知解码。
2021-11-06 eess.IV
Intra Encoding Complexity Control with a Time-Cost Model for Versatile Video Coding
对于最新的视频编码标准通用视频编码（VVC），编码复杂度比先前的视频编码标准高得多，以实现更好的编码效率，特别是对于帧内编码。复杂性成为其部署和使用的主要障碍。即使有许多快速编码算法，将编码复杂度控制在给定水平仍然是实际重要的。受码率控制算法的启发，本文提出了一种精确控制VVC帧内编码复杂度的方法。在所提出的方案中，一个时间平面成本（即时间成本，或TC）模型用于CTU编码时间估计。通过结合一组预定义的参数和T-C模型，可以粗略地控制CTU级的复杂度。然后，为了实现精确的图像级复杂度控制，构建了包括非均匀复杂度预分配、预设选择和反馈的框架。实验结果表明，对于具有挑战性的帧内编码场景，复杂度误差迅速收敛到3.21%以下，同时保持合理的时间节省和率失真（RD）性能。这证明了所提出的方法的有效性。
2022-06-13 eess.IV
Hierarchical Reinforcement Learning Based Video Semantic Coding for Segmentation
智能任务的快速发展，例如，分割、检测、分类等技术的发展，迫切需要语义压缩技术，其目的是在保持原始语义信息的同时降低压缩代价。然而，直接将语义度量集成到传统编解码器中是不切实际的，因为它们不能以端到端的方式进行优化。为了解决这个问题，一些开创性的工作已经应用强化学习来实现图像语义压缩。然而，视频语义压缩由于其复杂的参考体系结构和压缩模式而没有被探索。在本文中，我们采取了一个步骤，视频语义压缩，并提出了分层强化学习的任务驱动的视频语义编码，命名为HRLVSC。具体来说，为了简化视频语义编码中复杂的模式选择问题，本文将动作空间分层划分为帧级和CTU级两个空间，并在帧级和CTU级智能体的协作下逐步探索最佳模式选择。此外，由于视频语义编码的模式会随着图像组（GOP）中的帧数呈指数增长，因此我们仔细研究了不同模式选择对视频语义编码的影响，并设计了一种简单但有效的模式简化策略。大量的实验结果表明，我们的HRLVSC可以实现超过39%的BD率节省视频语义编码下的低延迟P配置。
2022-08-24 eess.IV
Efficient Learned Wavelet Image and Video Coding
本文提出将并行化上下文模型集成到iWave++框架中，实现图像和视频压缩超过350倍和240倍的加速，同时率失真性能仅略有下降，并分析了学习的波变换分解。
2024-11-06 eess.IV
Multi-rate adaptive transform coding for video compression
当代有损图像和视频编码标准依赖于变换编码，通过该过程，像素被映射到替代表示以促进有效的数据压缩。尽管使用深度神经网络进行端到端优化压缩的性能令人印象深刻，但这些模型的高计算和空间需求使它们无法取代传统视频编解码器中相对简单的变换编码。在这项研究中，我们提出了学习变换和熵编码，可以作为（非）线性插入式替换，或增强现有编解码器中的线性变换。这些变换可以是多速率的，允许单个模型沿着整个速率失真曲线操作。为了证明我们的框架的效用，我们用学习的量化矩阵和自适应熵编码来增强DCT，以压缩帧内AV1块预测残差。我们报告了大量的BD率和感知质量的改进，在更复杂的非线性变换的一小部分的计算成本。
2023-02-18 eess.IV
Decoding Energy Modeling For Versatile Video Coding
在先前的研究中，已经表明，通过使用解码能量率失真优化算法，高效率视频编码（HEVC）的软件解码能量需求可以减少15 $\%$。为了实现这一点，解码器的能量需求必须由具有足够高精度的基于比特流特征的模型来建模。因此，我们提出了两个比特流特征为基础的模型，即将到来的通用视频编码（VVC）标准。将新引入的模型与用于HEVC的来自文献的模型进行比较。所提出的模型的评价表明，平均估计误差是类似的文献的结果，并产生1.85%的估计误差与10倍交叉验证。
2022-09-21 eess.IV
On Annotation-free Optimization of Video Coding for Machines
针对机器视频编码依赖标注真值的问题，本文提出以原始图像预测替代真值计算任务损失的无标注优化策略，码率节省最高达8.2%。
2024-06-12 eess.IV
ViSTRA3: Video Coding with Deep Parameter Adaptation and Post Processing
本文提出了一个基于深度学习的视频压缩框架（ViSTRA 3）。所提出的框架在编码之前智能地适应输入视频的视频格式参数，随后在解码器处采用CNN来恢复其原始格式并增强重构质量。ViSTRA 3已与H.266/VVC测试模型VTM 14.0集成，并在联合视频探索小组通用测试条件下进行了评估。Bjønegard Delta（BD）测量结果表明，所提出的框架始终优于原始VVC VTM，基于PSNR和VMAF的评估，平均BD速率节省了1.8%和3.7%。
2021-11-30 eess.IV
Low-Complexity Transform Adjustments For Video Coding
本文提出一种基于DCT-2计算和正交调整的三角变换低复杂度近似设计技术，在VVC参考软件上实验表明，该方法显著降低计算复杂度且保持几乎相同的编码效率。
2025-05-29 eess.IV
Explainable Machine Learning based Transform Coding for High Efficiency Intra Prediction
机器学习技术为探索变换的编码性能潜力提供了机会。在这项工作中，我们提出了一个可解释的变换为基础的帧内视频编码，以提高编码效率。首先，我们将基于机器学习的变换设计建模为最大化能量压缩或去相关能力的优化问题。可解释的基于机器学习的变换，即，分析了调整偏置子空间近似（Saab）变换，并与主流的离散余弦变换（DCT）在能量压缩和解相关性能上进行了比较。其次，我们提出了一个基于Saab变换的帧内视频编码框架，离线Saab变换学习。同时，提出了帧内模式相关的Saab变换.然后，对基于Saab变换的帧内视频编码的率失真增益进行了详细的理论分析和实验研究。最后，提出了三种将Saab变换和DCT结合在帧内视频编码中的策略，以提高编码效率。实验结果表明，与主流的基于8 $\times$ 8 DCT的帧内视频编码方案相比，本文提出的基于8 $\times$ 8 Saab变换的帧内视频编码方案的比特率（BDBR）分别达到了-1.19%~-10.00%和-3.07%。
2020-12-21 eess.IV
Rate-Distortion Optimization With Alternative References For UGC Video Compression
用户生成内容（UGC）是指由用户上传并通过互联网共享的视频。由于噪声和先前的压缩，UGC可能具有低质量。当重新编码UGC以用于流传输或下载时，传统的视频编码流水线将执行率失真（RD）优化以选择编码参数。然而，在UGC视频编码的情况下，由于输入不是原始的，因此可以观察到质量"饱和“（或甚至降级），即，增加的比特率仅导致UGC输入中存在的编码伪像和噪声的改进的表示。本文研究了UGC压缩中的饱和问题，目标是在编码过程中识别和避免导致质量饱和的编码参数和码率。我们提出了一个几何标准的饱和度检测，与率失真优化，只需要几帧的UGC视频。此外，我们展示了如何将所提出的饱和度检测方法与现有的视频编码系统相结合，该系统实现了UGC视频的高效压缩的率失真优化。
2023-03-11 eess.IV
Learned Wavelet Video Coding using Motion Compensated Temporal Filtering
提出一种基于运动补偿时域滤波的端到端可训练小波视频编码器，通过提升方案实现可训练MCTF模块，支持多级分解和内容自适应，在高码率下优于HEVC及现有学习型编码器，平均BD率节省达21%。
2023-10-12 eess.IV
A Cross-Framework Study of Temporal Information Buffering Strategies for Learned Video Compression
本研究在统一实验设置下，系统评估显式、隐式和混合缓冲策略对四种学习型视频压缩帧间编码框架性能的影响，填补了组合研究的空白。
2025-10-17 eess.IV
Multiple description video coding for real-time applications using HEVC
本文提出一种兼容HEVC的低复杂度、低延迟双信道多描述编码（MDC）方案，通过自适应IDR帧周期提升视频流在无线传输中的抗丢包鲁棒性。
2023-08-07 eess.IV
Exploring the Distributed Video Coding in a Quality Assessment Context
在流行的视频编码趋势中，编码器具有利用视频序列中存在的空间和时间冗余的任务，这是一个复杂的过程。因此，几乎所有的视频编码器都比解码器复杂五到十倍。在视频压缩过程中，编码器侧的主要任务之一是运动估计，即提取帧之间的时间相关性。分布式视频编码（DVC）提出了一种低复杂度编码器和高复杂度解码器的思想。DVC是一种基于信息论思想的新的视频压缩模式，其思想是Slepian-Wolf定理和Wyner-Ziv定理。Wyner-Ziv编码对传输错误具有自然的鲁棒性，并且可以用于联合信源和信道编码。边信息是Wyner-Ziv解码器的关键组成部分之一。更好的边信息生成将导致Wyner-Ziv编码器的更好的功能。在本文中，我们提出了一种新的方法，可以产生更好的质量，从而更好的压缩边信息。我们使用基于HVS（人类视觉系统）的图像质量指标作为我们的质量标准。由于这些度量，我们在解码器中使用的运动估计被修改，使得我们可以获得更精细的边信息。运动补偿针对感知质量度量进行了优化，并且与文献中当前使用的传统的基于MSE（均方误差）或SAD（绝对差之和）的运动补偿相比，导致更好的边信息生成。更好的运动补偿意味着更好的压缩。
2018-03-13 eess.IV
Efficient coding of 360° videos exploiting inactive regions in projection formats
针对360°视频投影格式中的非活动区域，本文在率失真优化、残差变换和环路滤波中忽略其像素值，从而实现最高10%的码率节省。
2023-07-17 eess.IV
On Intra Video Coding and In-loop Filtering for Neural Object Detection Networks
用于满足作为最终用户的人类的经典视频编码是针对视觉内容的广泛研究的研究领域，并且常见的视频编解码器都针对人类视觉系统（HVS）进行了优化。但是，当压缩视频流被机器分析时，这些假设和优化也有效吗？为了回答这个问题，我们比较了两种最先进的神经检测网络在使用帧内编码的自动驾驶场景中被输入HEVC和VVC编码的劣化输入图像时的性能。此外，当对神经网络的图像进行编码时，检查三个VVC环路滤波器的影响。使用平均平均精度度量来比较结果，以评估压缩输入的对象检测性能。在这些测试中，我们发现，使用VVC而不是HEVC时，在最佳情况下仅为13.6%的对象检测网络编码时，无法达到相对于PSNR的22.2%的Bjøntegaard Delta Rate节省。此外，它表明，禁用VVC环路滤波器SAO和ALF的结果在比特率节省6.4%相比，标准VTM在相同的平均平均精度。
2022-03-11 eess.IV
Robust Deep Joint Source-Channel Coding for Video Transmission over Multipath Fading Channel
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳理工大学）；Pengcheng Laboratory（鹏城实验室）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）
本文提出一种面向多径衰落信道的鲁棒深度联合源-信道编码框架，通过优化调制、编码和解码过程，提升视频传输在恶劣信道条件下的重建质量。
2026-01-20 eess.IV
Performance Analysis of Optimized Versatile Video Coding Software Decoders on Embedded Platforms
近年来，全球对高分辨率视频的需求和新的多媒体应用的出现产生了对新的视频编码标准的需求。因此，于2020年7月发布了通用视频编码（VVC）标准，与其前身高效视频编码（HEVC）相比，在相同视频质量下可节省高达50%的比特率。然而，这种比特率节省是以高计算复杂度为代价的，特别是对于实时应用和资源受限的嵌入式设备。本文提出了两种优化的VVC软件解码器，命名为OpenVVC和通用视频解码器（VVdeC），设计的低资源平台。他们利用优化技术，如数据级并行使用单指令多数据（SIMD）指令和功能级并行使用帧，瓦片和切片为基础的并行。此外，在解码运行时间，能量和内存消耗两个解码器之间的比较，同时针对两个不同的资源约束的嵌入式设备。结果表明，两种解码器在使用8核的第一平台上实现了全高清（FHD）分辨率的实时解码，在仅使用4核的第二平台上实现了高清（HD）实时解码，在平均消耗能量方面具有可比性结果：8核和4核嵌入式平台分别约为26 J和15 J。在内存使用方面，OpenVVC显示了更好的结果，与VVdeC相比，在运行时消耗的平均最大内存更少。
2022-06-30 eess.IV
A Quantitative Approach To The Temporal Dependency in Video Coding
运动补偿预测是视频压缩效率的核心。其预测编码方案通过预测链传播量化失真，并创建时间依赖性。先前的研究通常在高分辨率量化的假设下基于原始像素之间的相似性对失真传播进行建模。它的效率在低到中等比特率范围，其中的量化步长很大程度上是可比的残差信号的幅度，是值得怀疑的。这项工作提出了一种定量的方法来估计时间依赖性。它分别使用原始和重构的运动补偿参考块来评估每个编码块的速率和失真。它们的差有效地测量参考块中的量化误差如何影响当前块的编码效率。递归更新过程被公式化以通过一组图片来跟踪这种依赖性。所提出的方案量化的时间依赖性更准确地在广泛的操作比特率，这转化为相当大的编码性能增益超过现有的竞争者，如在实验中所示。
2021-08-26 eess.IV
Motion Plane Adaptive Motion Modeling for Spherical Video Coding in H.266/VVC
针对球面视频投影到二维平面产生的失真降低传统运动模型性能的问题，提出运动平面自适应运动建模技术，集成到H.266/VVC后实现了显著的码率节省。
2023-06-23 eess.IV
Spatio-temporal prediction in video coding by best approximation
在这方面的贡献，我们提出了一种新的有效的时空预测算法的视频编码。该算法分两个阶段操作。首先，对要预测的块执行运动补偿，以便利用时间相关性。之后，为了利用空间相关性，通过形成运动补偿块和空间相邻的已解码块的联合模型来空间细化该初步估计。与早期的细化算法相比，新的算法只需要很少的迭代，导致17倍的加速比。264/AVC的这种新的算法的实施导致最大的数据速率降低了近13%的考虑序列。
2022-07-20 eess.IV
Designs and Implementations in Neural Network-based Video Coding
本文介绍了JVET在NNVC框架下采纳的基于神经网络的帧内预测和环路内滤波技术，实验证明其在多种配置下显著降低了BD-rate。
2023-09-13 eess.IV
Highly Efficient Non-Separable Transforms for Next Generation Video Coding
针对视频压缩中矩阵变换计算复杂度高的问题，提出一种参数化方法设计低复杂度且易并行的 HyGTs 变换，作为 HEVC 扩展实现，在比特率降低 6% 的同时内存占用减少 6.8 倍。
2025-05-27 eess.IV
Task Oriented Video Coding: A Survey
视频编码技术一直在不断改进，以获得更高的压缩比和更高的分辨率。然而，诸如H. 265/HEVC和通用视频编码的现有技术的视频编码标准仍然是在假设压缩视频将被人类观看的情况下设计的。随着深度神经网络在解决计算机视觉任务方面的巨大进步和成熟，越来越多的视频直接由深度神经网络分析，而无需人类参与。当压缩视频被计算机视觉应用使用时，这种用于视频编码标准的传统设计不是最佳的。虽然人类视觉系统对高对比度的内容始终敏感，但像素对计算机视觉算法的影响是由特定的计算机视觉任务驱动的。本文对面向计算机视觉任务的视频编码和正在兴起的视频编码标准--机器视频编码的最新进展进行了探讨和总结。
2022-11-20 cs.CV eess.IV
On Versatile Video Coding at UHD with Machine-Learning-Based Super-Resolution
本文提出将VVC与机器学习超分辨率相结合的下采样-上采样编码链路，在低码率4K编码中相比VVC参考软件最高可节省18%码率，并有效减少细节损失和压缩伪影。
2023-08-12 eess.IV
Overview of Screen Content Coding in Recently Developed Video Coding Standards
近年来，包括计算机生成的文本、图形和动画的屏幕内容（SC）视频比以往任何时候都引起了更多的关注，因为许多相关应用变得非常流行。为了解决对这种内容的有效编码的需要，已经专门开发了许多编码工具，并且在编码效率方面取得了很大的进步。在所有最近开发的视频编码标准（即HEVC SCC、VVC、AVS 3、AV 1和EVC）中包含屏幕内容编码（SCC）特征证明了支持这些特征的重要性。本文提供了屏幕内容编码技术的概述和比较研究，与这些标准中开发的工具的性能和复杂性方面的讨论。
2020-11-28 cs.MM eess.IV
Spatio-temporal prediction in video coding by spatially refined motion compensation
本文的目的是介绍一种新的视频编码中的信号预测方法。与大多数现有的预测方法，要么使用时间或使用空间相关性来产生的预测信号，所提出的方法同时使用空间和时间的相关性。通过首先对宏块执行运动补偿，然后通过关注宏块与其周围环境之间的相关性的细化步骤来获得时空预测。在解码器处，可以以相同的方式执行细化步骤，因此不必发送附加的边信息。与纯运动补偿预测相比，将空间细化步骤实现到H.264/AVC视频编解码器中导致高达近15%的数据速率降低和高达0.75 dB的PSNR增加。
2022-07-08 eess.IV
Multiple Selection Approximation for Improved Spatio-Temporal Prediction in Video Coding
在这篇文章中，一种新的时空预测算法的视频编码。该算法利用时间和空间冗余来有效地预测要编码的信号。为了实现这一点，该算法分两个阶段操作。最初，运动补偿预测应用于正被编码的块。然后，通过形成初始预测器和空间相邻的已发送块的联合模型来细化该初步时间预测。新算法在速度和预测质量上都优于早期的细化算法。与纯运动补偿预测相比，平均数据速率可降低高达15%，PSNR可获得高达1.16 dB的增益。
2022-07-04 eess.IV
A Survey on Perceptually Optimized Video Coding
为了给用户提供更真实的视觉体验，视频正朝着超高清（UHD）、高帧速率（HFR）、高动态范围（HDR）、宽色域（WCG）和高清晰度的趋势发展。然而，视频的数据量呈指数级增长，这就要求高效率的视频压缩以供存储和网络传输。感知优化的视频编码旨在通过利用视觉冗余来最大化压缩效率。在本文中，我们提出了一个广泛的和系统的调查感知优化的视频编码。首先，我们提出了感知优化视频编码的问题形式和框架，包括视觉感知建模，视觉质量评估和感知视频编码优化。其次，介绍了视觉因素、计算感知模型和质量评价模型的最新进展。第三，从感知优化的比特分配、率失真优化、变换和量化、滤波和增强四个方面综述了感知视频编码的优化方法。在每一部分中，提出了问题制定，工作流程，最新进展，优势和挑战。第四，对最新的编码标准和工具的感知编码性能进行了实验分析。最后，确定了具有挑战性的问题和未来的机会。
2022-11-16 cs.MM eess.IV
BiCRVC: An Efficient Bidirectional Neural Video Compression Framework via Coupled Representation Coding
ByteDance（字节跳动）
BiCRVC是一种基于耦合表示编码的高效双向神经视频压缩框架，通过多候选运动估计等技术解决双向NVC的技术挑战，压缩性能更优且1080p解码速度约为近期BVC的30倍。
2026-08-19 eess.IV
Dynamically Expanded CNN Array for Video Coding
National Taiwan University（台湾大学）
视频编码是所有流行的流视频方法中的关键步骤。在视频质量、压缩和计算效率方面取得了显著进展。最近，人们对寻找应用来自快速发展的机器学习领域的技术以进一步改进视频编码的方法感兴趣。我们提出了一种使用卷积神经网络来帮助改进各种标准编码方法的输出的方法。我们的方法的新颖之处在于训练多组不同的网络参数，每组参数对应于一个特定的短视频片段。网络参数集的数组动态扩展以匹配任何长度的视频。我们表明，我们的方法可以提高标准视频编解码器的质量和压缩效率。
2019-05-10 cs.LG eess.IV
Conditional Coding and Variable Bitrate for Practical Learned Video Coding
介绍了一种实用的学习型视频编解码器。条件编码和量化增益矢量用于为单个编码器/解码器对提供灵活性，其能够以可变比特率压缩视频序列。通过选择速率和GOP结构来优化速率失真成本，在测试时利用灵活性。使用CLIC 21视频测试条件，所提出的方法显示出与HEVC相当的性能。
2021-04-20 cs.NE eess.IV eess.SP
Saliency-Driven Versatile Video Coding for Neural Object Detection
用于人类的显著性驱动的图像和视频编码在最近的过去已经变得重要。在本文中，我们提出了这样一个显着性驱动的编码框架的视频编码的机器任务，使用最新的视频编码标准通用视频编码（VVC）。为了在编码之前确定显著区域，我们采用了具有实时能力的目标检测网络You Only Look Once~（YOLO），并结合了一种新的决策标准。为了测量机器的编码质量，将最先进的对象分割网络Mask R-CNN应用于解码帧。从大量的模拟中，我们发现，与具有恒定质量的参考VVC相比，通过应用所提出的显着性驱动框架，在解码器侧具有相同的检测精度的情况下，可以节省高达29%的比特率。此外，我们将YOLO与其他更传统的显着性检测方法进行了比较。
2022-03-11 cs.CV eess.IV
Conditional Coding for Flexible Learned Video Compression
本文介绍了一种新的框架，端到端学习视频编码。图像压缩通过条件编码来推广，以利用来自参考帧的信息，从而允许利用相同的编码器来处理帧内和帧间帧。该系统通过率失真成本的最小化来训练，没有预训练或代理损失。它的灵活性进行了评估下三种编码配置（所有帧内，低延迟P和随机访问），其中它被证明可以实现与最先进的视频编解码器HEVC的性能竞争。
2021-04-28 eess.IV eess.SP
Leveraging Video Coding Knowledge for Deep Video Enhancement
深度学习技术的最新进展显着提高了压缩视频的质量。然而，以前的方法没有充分利用压缩视频的运动特性，例如视频内容和压缩视频的分层编码结构之间的运动的剧烈变化。这项研究提出了一种新的框架，利用视频压缩的低延迟配置，以增强现有的最先进的方法，BasicVSR++。我们采用了上下文自适应的视频融合方法，以提高压缩视频的最终质量。所提出的方法已在NTIRE22挑战，视频恢复和增强的基准进行了评估，并实现了改进的定量指标和视觉质量相比，以前的方法。
2023-02-27 cs.CV eess.IV
Human-Machine Collaborative Video Coding Through Cuboidal Partitioning
Charles Sturt University（查尔斯特大学）；Federation University（联邦大学）；University of New South Wales（新南威尔士大学）
视频编码算法对整个视频帧进行编码和解码，而特征编码技术仅保留和传送给定应用所需的最关键信息。这是因为视频编码针对人类感知，而特征编码针对机器视觉任务。最近，正在尝试弥合这两个领域之间的差距。在这项工作中，我们提出了一个视频编码框架，利用人类视觉和机器视觉应用程序使用长方体之间存在的共性。这是因为长方体（视频帧上的估计矩形区域）在计算上是高效的，具有紧凑的表示并且以对象为中心。这些属性已经被示出为给传统视频编码系统增加价值。本文从当前帧中提取立方体特征描述符，然后用于以对象检测的形式完成机器视觉任务。实验结果表明，训练后的分类器产生优越的平均精度时，配备面向立方体特征表示的当前测试帧。另外，如果需要将捕获的帧传送到接收机，则这种表示在比特率上花费较少的$7\%$。
2021-09-03 cs.LG eess.IV
Scalable Video Coding for Humans and Machines
Simon Fraser University（西蒙弗雷泽大学）
视频内容不仅被人类观看，而且越来越多地被机器观看。例如，机器学习模型分析监控视频的安全和交通监控，通过YouTube视频搜索不合适的内容，等等。在本文中，我们提出了一个可扩展的视频编码框架，通过其基本层比特流支持机器视觉（具体地说，对象检测），通过其增强层比特流支持人类视觉。所提出的框架包括来自传统和基于深度神经网络（DNN）的视频编码的组件。结果表明，在对象检测方面，与最先进的视频编解码器相比，所提出的框架实现了13-19%的比特节省，同时在人类视觉任务的MS-SSIM方面保持竞争力。
2022-08-04 cs.CV eess.IV
NVC-1B: A Large Neural Video Coding Model
University of Science and Technology of China（中国科学技术大学）
本文探索构建首个参数超10亿的大型神经视频编码模型NVC-1B，通过逐步扩大基线模型各编码模块规模并对比CNN、混合CNN-Transformer及Transformer架构的影响，最终实现了显著优于基线的最先进视频压缩性能。
2024-07-28 cs.CV eess.IV
Multi-Reference Video Coding Using Stillness Detection
AOM/AV 1编解码器的编码器将输入视频序列视为分组在黄金帧（GF）组中的帧的连续。GF组的编码结构是固定的，具有给定的GF组大小。在当前的AOM/AV 1编码器中，视频帧使用一个GF组内的分层、多层编码结构进行编码。已经观察到，如果GF组跨其帧呈现一致的静止，则多层编码结构的使用可能导致更差的编码性能。本文提出了一种新的方法，自适应设计的黄金帧（GF）组编码结构，通过使用静止检测。因此，我们的新方法开发了一个自动静止检测方案，使用从每个GF组中提取的三个度量。然后将这些静止GF组与其他非静止GF组区分开，并相应地使用不同的GF编码结构。实验结果表明，使用新的方法一致的编码增益。
2018-03-11 cs.MM eess.IV
Versatile video coding and super-resolution for efficient delivery of 8K video with 4K backward-compatibility
在本文中，我们提出，通过一个客观的研究，比较和评估不同的编码方法的性能，允许提供一个8 K的视频信号与4K向后兼容的广播网络。所提出的方法包括使用高效视频编码（HEVC）和通用视频编码（VVC）标准编码的8 K和4K单层信号的联播、使用具有4K基础层（BL）和8 K增强层（EL）的SHVC的空间可伸缩性、以及在解码之后应用于4K VVC信号以达到8 K分辨率的超分辨率。对于升级，我们选择了基于深度学习的超分辨率方法，称为反馈网络超分辨率（SRFBN）和Lanczos插值滤波器。我们表明，基于深度学习的方法在联播上实现了视觉质量增益，特别是在比特率低于30 Mb/s的情况下，PSNR、SSIM和VMAF的平均增益分别为0.77 dB、0.015和7.97，并且平均比Lanczos滤波器节省了29%的BD速率。
2020-02-17 eess.IV eess.SP
Motion Free B-frame Coding for Neural Video Compression
FPT Software, AI Center（FPT软件公司AI中心）
针对传统深度神经视频压缩网络的混合架构缺陷，提出基于核的无运动视频编码方法，消除耗时的运动相关模块以提升编码效率并降低复杂度，缓解模糊伪影，在多数据集上表现优异且模型更小。
2024-11-26 cs.CV eess.IV
Deep Learning-Based Video Coding: A Review and A Case Study
在过去的十年中，深度学习技术在许多学科中取得了巨大的成功，特别是在计算机视觉和图像处理方面。然而，基于深度学习的视频编码仍处于起步阶段。本文回顾了自2015年以来，将深度学习用于图像/视频编码的代表性工作，这是一个积极发展的研究领域。我们将相关工作分为两类：主要建立在深度网络上的新编码方案（深度方案），以及基于深度网络的编码工具（深度工具），这些工具应在传统编码方案中使用或与传统编码工具一起使用。对于深度方案，像素概率建模和自动编码器是两种方法，分别可以被视为预测编码方案和变换编码方案。对于深度工具，已经提出了几种使用深度学习来执行图片内预测、图片间预测、跨通道预测、概率分布预测、变换、后环或环内滤波、下采样和上采样以及编码优化的技术。为了推动基于深度学习的视频编码研究，本文对我们开发的原型视频编解码器--深度学习视频编码（DLVC）进行了案例研究。DLVC具有两个基于卷积神经网络（CNN）的深度工具，即基于CNN的环路滤波器（CNN-ILF）和基于CNN的块自适应分辨率编码（CNN-BARC）。这两种工具都有助于显著提高压缩效率。利用这两个深度工具以及其他非深度编码工具，DLVC能够在随机访问和低延迟配置下分别实现比HEVC平均节省39.6\%和33.0\%的比特。DLVC的源代码已经发布，以供将来的研究。
2019-04-29 cs.MM eess.IV
MPAI-EEV: Standardization Efforts of Artificial Intelligence based End-to-End Video Coding
本文介绍了MPAI小组针对端到端神经视频编码制定的MPAI-EEV标准，阐述了其关键技术、设计理念及参考模型编码效率，并探讨了无人机视频编码等新兴活动，实验表明EEV在感知评估上优于H.266/VVC。
2023-09-14 cs.MM eess.IV
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法，其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估，使用视频测试序列在一个实际的设置，包括一个简单的，实时的降噪技术和高效率的视频编解码器（HEVC）。实验结果表明，与传统的视频编码方法相比，该方法可以使重构视频的主观质量提高约1.8个MOS（Mean Opinion Scope）点（11点尺度）。此外，本工作证实了在以前的作品中获得的结果，即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
Cool-chic video: Learned video coding with 800 parameters
Orange Innovation（奥兰奇创新中心）；IETR（电子与电信研究院）
提出一种基于Cool-chic的轻量级学习型视频编解码器，通过帧间编码模块利用时间冗余，以极低的解码复杂度实现了接近AVC的率失真性能并优于FFNeRV。
2024-02-06 cs.LG eess.IV
