NN-VVC: Versatile Video Coding boosted by self-supervisedly learned image coding for machines
Nokia Technologies（诺基亚技术公司）；Tampere University（坦佩雷大学）
本文提出NN-VVC混合编解码器，融合端到端学习型图像编码与VVC等传统视频编码，在多数据集和多机器视觉任务上显著降低BD码率。
2024-01-19 cs.CV eess.IV
Cool-chic video: Learned video coding with 800 parameters
Orange Innovation（奥兰奇创新中心）；IETR（电子与电信研究院）
提出一种基于Cool-chic的轻量级学习型视频编解码器，通过帧间编码模块利用时间冗余，以极低的解码复杂度实现了接近AVC的率失真性能并优于FFNeRV。
2024-02-06 cs.LG eess.IV
gpcgc: a green point cloud geometry coding method
提出了一种低复杂度的点云压缩方法--绿色点云几何编码器（GPCGC），以有效地对静态点云的三维空间坐标进行编码。GPCGC由两个模块组成。在第一模块中，输入点云的点坐标被分层组织成八叉树结构。每个叶节点处的点沿着三个轴中的一个轴投影以产生图像映射。在第二模块中，占用图被聚类为9种模式，而深度图由低复杂度高效率的图像编解码器（称为绿色图像编解码器（GIC））编码。GIC是一种基于矢量量化（VQ）的多分辨率编解码器。它的复杂度明显低于HEVC-Intra。此外，率失真优化（RDO）技术被用来选择最佳的编码参数。GPCGC是一种渐进式编解码器，它提供了与MPEG的V-PCC和G-PCC标准竞争的编码性能，并且复杂度显著降低。
2023-02-13 eess.IV
B-CANF: Adaptive B-frame Coding with Conditional Augmented Normalizing Flows
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出B-CANF框架，利用条件增广归一化流进行B帧编码，引入帧类型自适应编码优化比特分配，并通过B*-帧重用B帧编解码器模拟P帧编码，在常用数据集上实现了最先进的压缩性能。
2023-08-02 cs.CV eess.IV
Multi-Task Learning for Screen Content Image Coding
随着远程工作和协作的兴起，屏幕内容图像（SCI）的压缩变得越来越重要。虽然有用于自然图像的高效编解码器，以及用于纯合成图像的编解码器，但那些包含合成和自然内容的SCI构成了一个特殊的挑战。在本文中，我们提出了一个基于学习的图像编码模型开发的SCI。通过训练编码器提供适合两个任务的潜在表示-输入重建和合成/自然区域分割-我们创建了一个有效的SCI图像编解码器，其强大的性能通过实验验证。一旦训练完成，就不需要使用第二个任务（分割）;编解码器仍然受益于分割友好的潜在表示。
2023-02-03 eess.IV
Learned Image Coding for Machines: A Content-Adaptive Approach
Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
如今，根据思科年度互联网报告（2018-2023），互联网流量增长最快的类别是机器对机器通信。特别是，图像和视频的机器对机器通信代表了一个新的挑战，并在数据压缩的背景下开辟了新的前景。一种可能的解决方案方法包括使当前以人类为目标的图像和视频编码标准适应机器消耗的用例。另一种方法包括为机器对机器通信开发全新的压缩范例和架构。在本文中，我们专注于图像压缩，并提出了一个推理时间的内容自适应微调方案，优化了一个端到端的学习图像编解码器的潜在表示，旨在提高压缩效率的机器消费。进行的实验表明，我们的在线微调带来了平均比特率节省（BD率）的-3.66%相对于我们的预训练的图像编解码器。特别地，在低比特率点，我们提出的方法导致显著的比特率节省-9.85%。总的来说，我们的预训练和微调系统实现了比最先进的图像/视频编解码器多功能视频编码（VVC）约30.54%的BD速率。
2021-10-13 cs.CV cs.LG eess.IV
Differentiable Proxy Learning for Adaptive Quantization Control in H.264 Video Coding
School of Engineering Science, Simon Fraser University（工程科学学院，西蒙·弗雷泽大学）
研究针对H.264视频编码中优化量化参数难的问题，提出可微代理学习方法，基于可变速率学习压缩模型，通过软索引机制使代理可微，经训练近似H.264率失真行为，所构建框架在相关任务中显著改善率任务权衡。
2026-07-14 cs.CV eess.IV
Deep Video Codec Control for Vision Models
NEC Laboratories America, Inc.（NEC美国实验室公司）；TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
针对标准有损视频编码会大幅降低深度视觉模型性能的问题，本文提出首个端到端可学习的深度视频编解码器控制方案，在遵循现有标准、兼顾带宽约束的同时，能更好地保留下游深度视觉性能。
2024-04-16 cs.CV cs.LG cs.MM
MLVC: Multi-platform Learned Video Codec for Real-World Deployment
Microsoft Corporation（微软公司）
提出MLVC，一种跨平台鲁棒的神经视频编解码器，通过超先验显式传输缩放参数保证熵编码一致性，结合门控记忆、ReGLU激活等架构改进，在VCD基准上相比硬件HEVC实现>70% BD-rate提升，且与无法跨平台运行的DCVC-RT主观质量相当。
2026-07-30 cs.AI cs.CV cs.LG
Optical Flow and Mode Selection for Learning-based Video Coding
Orange（Orange公司）；Univ. Rennes, INSA Rennes CNRS, IETR – UMR 6164（雷恩大学、雷恩国立应用科学学院、法国国家科学研究中心、电子与电信研究所）
本文介绍了一种新的帧间编码方法，基于两个互补的自编码器：MOFNet和CodecNet。MOFNet旨在计算和传送光流和逐像素编码模式选择。光流用于执行帧的预测以进行编码。编码模式选择使得能够在预测的直接复制或通过CodecNet的传输之间进行竞争。所提出的编码方案在挑战学习图像压缩2020（CLIC 20）P帧编码条件下进行评估，其中所述编码方案被示出为与最先进的视频编解码器ITU/MPEG HEVC同等地执行。此外，复制预测的可能性使得能够以端到端的方式学习光流，即不依赖于预训练和/或专用损失项。
2020-08-06 cs.CV cs.NE eess.IV
Bitstream Organization for Parallel Entropy Coding on Neural Network-based Video Codecs
本文针对神经视频编解码器并行熵编码的比特流组织问题，提出压缩并行解码入口点、双向比特流打包和联合优化算术编码终止方法，显著降低并发解码的比特率开销。
2023-12-01 cs.IT eess.IV math.IT
Benchmarking Conventional and Learned Video Codecs with a Low-Delay Configuration
Visionular（维视乐公司）
本文在低延迟配置下系统比较 H.266/VVC VTM、JVET ECM、AV1 libaom、AVM 及 DCVC-DC/DCVC-FM，发现 JVET ECM 整体性能最优，并揭示学习型编解码器在大背景运动内容上的不稳定性。
2024-08-09 cs.CV cs.MM eess.IV
Wrapper-Aware Rate-Distortion Optimization in Feature Coding for Machines
University of Southern California（南加州大学）；InterDigital AI Lab（InterDigital人工智能实验室）
本文提出面向封装的率失真优化方法，通过改进内编码器的比特分配策略，有效提升特征编码的压缩性能。
2026-01-29 eess.IV eess.SP
ELF-VC: Efficient Learned Flexible-Rate Video Coding
WaveOne, Inc.（WaveOne公司）
虽然学习视频编解码器已经展示了巨大的前景，但它们尚未实现足够的效率以进行实际部署。在这项工作中，我们提出了几个新的想法，学习视频压缩，允许提高性能的低延迟模式（仅I和P帧），随着计算效率的显着提高。在这种情况下，对于自然视频，我们的方法在PSNR，MS-SSIM和VMAF指标下的整个R-D曲线上与所有主流视频标准（H.264，H.265，AV 1）和所有ML编解码器进行了比较。与此同时，我们的方法比报告这些数字的所有ML编解码器运行速度至少快5倍，并且参数更少。我们的贡献包括一个灵活的速率框架，允许一个单一的模型，以覆盖一个大的和密集的比特率范围内，在一个可以忽略不计的增加计算和参数计数;一个有效的骨干优化ML为基础的编解码器;和一个新的环路内流预测方案，利用先验信息更有效的压缩。我们基准测试我们的方法，我们称之为ELF-VC（高效，学习和灵活的视频编码）在流行的视频测试集UVG和MCL-JCV下的指标PSNR，MS-SSIM和VMAF。例如，在PSNR下的UVG上，与H.264相比，它将BD速率降低了44%，与H.265相比降低了26%，与AV 1相比降低了15%，与当前最好的ML编解码器相比降低了35%。同时，在NVIDIA Titan V GPU上，我们的方法以49/91 FPS的速度编码/解码VGA，以19/35 FPS的速度编码/解码HD 720，以10/18 FPS的速…
2021-04-29 cs.AI cs.CV cs.LG
Sandwiched Video Compression: Efficiently Extending the Reach of Standard Codecs with Neural Wrappers
Google（谷歌）
本文提出夹层式视频压缩框架，在标准编解码器前后加入轻量神经预处理与后处理器并联合训练，通过可微代理实现端到端优化，在低分辨率HEVC传输高分辨率视频等场景下显著提升率失真性能。
2023-07-05 cs.LG cs.MM eess.IV
OMRA: Online Motion Resolution Adaptation to Remedy Domain Shift in Learned Hierarchical B-frame Coding
针对学习型层次B帧编码中训练与测试因GOP大小不同导致的运动估计域偏移问题，提出无需重训的在线运动分辨率自适应方法OMRA，通过逐帧调整空间分辨率适配网络能力，显著提升了现有B帧编解码器的压缩性能。
2024-02-20 eess.IV
DANICE: Domain adaptation without forgetting in neural image compression
Univ. of Michigan Ann Arbor（密歇根大学安娜堡分校）；Computer Vision Center UAB Barcelona（巴塞罗那自治大学计算机视觉中心）；BBC R&D London（英国广播公司研发部）
神经图像压缩（NIC）是一种新的编码范式，其中编码能力由从数据中学习的深度模型捕获。这种数据驱动的性质使新的潜在功能成为可能。在本文中，我们研究的自定义域的兴趣的编解码器的适应性。我们表明，NIC编解码器是可转让的，他们可以适应相对较少的目标域图像。然而，朴素自适应干扰针对原始源域优化的解决方案，导致忘记该域中的原始编码能力，并且甚至可能破坏与先前编码的比特流的兼容性。为了解决这些问题，我们提出了编解码器自适应无遗忘（CAwF），一个框架，可以避免这些问题，通过添加少量的自定义参数，其中源编解码器保持嵌入式和在适应过程中不变。实验证明了该方法的有效性，并对NIC中灾难性干扰的特性提供了有用的见解。
2021-04-19 cs.CV eess.IV
VVC+M: Plug and Play Scalable Image Coding for Humans and Machines
Simon Fraser University（西蒙弗雷泽大学）
针对面向人类与机器的可扩展图像编码中机器端率失真性能次优的问题，提出利用 VVC 等视频编解码器的残差编码能力构建即插即用的可扩展编解码器，提升了机器任务性能且不产生质量耦合。
2023-05-17 cs.CV eess.IV
Neural Video Compression with Diverse Contexts
Microsoft Research Asia（微软亚洲研究院）
对于任何视频编解码器，编码效率高度依赖于待编码的当前信号是否可以从先前重构的信号中找到相关上下文。传统的编解码器已经证实更多的上下文带来了可观的编码增益，但以一种耗时的方式。然而，对于新兴的神经视频编解码器（NVC），其上下文仍然是有限的，导致低压缩比。为了提高NVC，本文提出在时间和空间维度上增加上下文多样性。首先，我们引导模型学习跨帧的分层质量模式，这丰富了长期且高质量的时间上下文。此外，为了挖掘基于光流的编码框架的潜力，我们引入了基于组的偏移多样性，其中提出了跨组交互以更好地挖掘上下文。此外，本文还采用了基于四叉树的分区，以增加空间上下文的多样性时，并行编码的潜在表示。实验表明，我们的编码器获得了23.5%的比特率节省比以前的SOTA NVC。更好的是，我们的编解码器已经超过了正在开发的下一代传统编解码器/ECM在RGB和YUV 420色彩空间，在PSNR方面。代码在https://github.com/microsoft/DCVC上。
2023-03-14 cs.CV cs.MM eess.IV
JPEG AIC2026: A large-scale dataset for fine-grained assessment of image coding
University of Konstanz（康斯坦茨大学）；Cloudinary（Cloudinary公司）；IST-IT（IST-IT机构）；Fraunhofer IIS（弗劳恩霍夫应用固体物理研究所）；Huawei（华为公司）；Takushoku University（拓殖大学）；IT-UBI（IT-UBI机构）；EPFL（洛桑联邦理工学院）
为满足图像编码质量细粒度评估需求，介绍AIC2026数据集。从众多候选图像中选70张源图像，经多种方式筛选。涵盖多种编解码器及配置产生的伪像，对源图像编码后获大量失真图像，用多种IQA方法分析发现当前方法在细粒度质量评估上分歧大。
2026-07-28 cs.CV eess.IV
JOMP: Jointly-Optimized Mixed-Precision Quantization Across Neural Video Coding Frameworks and Buffering Strategies
National Yang Ming Chiao Tung University（国立阳明交通大学）；Federal University of Pelotas（佩洛塔斯联邦大学）
提出JOMP框架，将量化参数和位宽作为可学习变量，实现神经视频编码器的混合精度量化，在率失真性能接近DCVC-FM的同时减少87.6%的比特操作。
2026-06-12 eess.IV
A Hybrid Deep Animation Codec for Low-bitrate Video Conferencing
深度生成模型，特别是面部动画方案，可用于视频会议应用中，以通过稀疏的关键点集有效地压缩视频，而无需传输密集的运动矢量。虽然这些方案在低比特率下比传统视频编解码器带来显著的编码增益，但是当可用带宽增加时，它们的性能很快饱和。在本文中，我们提出了一个分层的，混合编码方案，以克服这一限制。具体地，我们通过添加由通过常规视频编解码器（例如，HEVC）。动画和辅助视频通过一个新的融合模块相结合。我们的研究结果显示，在视频会议序列的大型数据集上，一致的平均BD速率增益超过-30%，扩展了面部动画编解码器的比特率操作范围
2022-07-27 cs.MM eess.IV
Utilising Low Complexity CNNs to Lift Non-Local Redundancies in Video Coding
National Taiwan University（台湾大学）
数字媒体无处不在，而且数量不断增长。这需要压缩技术的不断发展，特别是对于视频，以保持有效的存储和传输。在这项工作中，我们的目标是利用传统视频编解码器难以擦除的视频数据中的非本地冗余。我们设计的卷积神经网络特别强调低内存和计算占用。这些网络的参数在编码时被动态训练，以从解码的视频信号预测残差信号。在训练过程已经收敛之后，参数被压缩并且作为底层视频编解码器的代码的一部分被用信号发送。该方法可以应用于任何现有的视频编解码器，以增加编码增益，同时其低计算占用空间允许在资源受限条件下的应用。在高效视频编码的基础上，我们实现了与预训练的去噪CNN类似的编码增益，同时只需要大约1%的计算复杂度。通过广泛的实验，我们提供了我们的网络设计决策的有效性的见解。此外，我们证明了我们的算法在实际视频压缩中满足的条件下提供稳定的性能：我们的算法在非常长的随机访问段（最多256帧）上没有显着的性能损失，并且具有中等的性能下降，甚至可以应用于高分辨率低延迟设置中的单帧。
2020-04-28 cs.CV eess.IV
Efficient Predictive Coding of Intra Prediction Modes
本研究针对帧内预测模式编码问题，提出基于上下文信息、含预测/聚类/编码三步的创新编码方案，通过遗传算法优化码率代价，在HEVC下实现显著比特率增益且保留JEM编码效率。
2023-10-09 eess.IV
Embedding Compression Distortion in Video Coding for Machines
Beijing Jiaotong University, China（北京交通大学）；University of Science and Technology Beijing, China（北京科技大学）；Nanyang Technological University, Singapore（南洋理工大学）
提出压缩失真表示嵌入（CDRE）框架，通过提取机器感知相关的失真表示并嵌入下游模型，提升压缩视频的任务性能。
2025-03-27 cs.CV eess.IV
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University（法政大学）
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题，提出结合过去与未来关键帧的双向学习型编解码器，在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
Prediction and Reference Quality Adaptation for Learned Video Compression
University of Science and Technology of China（中国科学技术大学）
针对学习型视频压缩中预测与参考质量自适应不足的问题，提出基于置信度的PQA模块和RQA模块及配套训练策略，有效提升了压缩性能。
2025-03-24 cs.CV eess.IV
Effectiveness of learning-based image codecs on fingerprint storage
Università di Padova（帕多瓦大学）
本研究首次评估基于学习的图像编解码器在指纹存储中的适应性，发现在固定码率下其失真和细节点保留显著优于 JPEG2000，且不影响自动识别与人工视觉检查。
2024-09-27 cs.CV eess.IV
Advanced Geometry Surface Coding for Dynamic Point Cloud Compression
在基于视频的动态点云压缩（V-PCC）中，3D点云被投影到2D图像上，以便使用现有的视频编解码器进行压缩。然而，现有的视频编解码器最初是针对自然视觉信号设计的，并且它未能考虑点云的特性。因此，在从点云生成的几何信息的压缩中仍然存在问题。首先，现有率失真优化（RDO）中的失真模型与几何质量评估指标不一致。其次，视频编解码器中的预测方法未能考虑远层的最高深度值大于或等于近层的对应最低深度值的事实。提出了一种用于动态点云数据压缩的高级几何表面编码（AGSC）方法.该方法由两个模块组成，包括基于误差投影模型（EPM）的RDO和基于占用图（OM）的合并预测。首先，提出了一种新的失真模型来描述现有视频编解码器中的失真模型与几何质量度量之间的关系。其次，提出了基于EPM的RDO方法，将现有的失真模型投影到平面法线上，并将其简化为编码单元（CU）的平均法向量估计。最后，我们提出了基于OM的合并预测方法，在该方法中，合并模式的预测像素基于占用图进行细化。在标准点云上的实验结果表明，该方法平均节省了9.84%的几何压缩码率.
2021-03-11 eess.IV
NVRC: Neural Video Representation Compression
Visual Information Lab, University of Bristol, UK（布里斯托大学视觉信息实验室，英国）；Immersive Content & Comms Research, BT, UK（沉浸式内容与通信研究，BT，英国）
NVRC提出了一种基于隐式神经表示的视频压缩框架，通过端到端优化和分层模型压缩，实现优于VVC VTM的编码性能。
2025-12-03 cs.CV eess.IV
On Task Scope and Information Retention in Source Coding
NeverBlink；Rijksuniversiteit Groningen（格罗宁根大学）
本文指出按接收者类型划分编解码设计具有误导性，码率取决于任务范围，并扩展源编码至有限任务族，证明任务扩大时源与分裂特征编码码率不再相等。
2026-09-30 cs.IT cs.LG eess.IV
Learned Disentangled Latent Representations for Scalable Image Coding for Humans and Machines
随着越来越多的图像和视频内容将被机器分析，需要一种新的编解码器范例，其能够主要出于计算机视觉推理的目的压缩视觉输入，同时其次支持输入重建。在这项工作中，我们提出了一个学习的压缩架构，可用于建立这样的编解码器。我们引入了一种新的变分公式，明确地将与所需推理任务相关的特征数据作为编码器端的输入。因此，我们学习的可伸缩图像编解码器编码和传输两个解纠缠的潜在表示对象检测和输入重建。我们注意到，与相关基准相比，我们提出的方案产生了一个更紧凑的潜在表示，专门用于推理任务。我们的实验表明，我们提出的系统实现了比特率节省40.6%的主要对象检测任务相比，目前的国家的最先进的，虽然有一些退化的性能为次要的输入重建任务。
2023-01-10 eess.IV
Reusing the H.264/AVC deblocking filter for efficient spatio-temporal prediction in video coding
预测步骤是混合视频编解码器的一个非常重要的部分，以有效地压缩视频序列。虽然现有的视频编解码器仅在时间或空间方向上进行预测，但是可以通过组合的时空预测来提高压缩效率。在本文中，我们提出了一种算法，用于重用的H.264/AVC去块滤波器的时空预测。重用这个高度优化的滤波器允许这种预测模式的计算复杂度非常低，并且可以实现高达7.2%的平均速率降低。
2022-07-04 cs.MM eess.IV
A Systematic Evaluation of Coding Strategies for Sparse Binary Images
基于图像修补的压缩以像素数据的稀疏子集表示图像。存储已知数据的精心优化位置会在稀疏且通常分散的二进制图像上产生无损压缩问题。这个中心问题对于这种编解码器的性能至关重要。由于它只得到很少的关注，在文献中，我们进行了第一次系统的调查，这个问题到目前为止。为此，我们首先回顾和比较了广泛的现有方法，从图像压缩和通用编码的编码效率和运行时间。之后，消融研究使我们能够识别和分离现有方法中最有用的成分。通过上下文混合，我们将这些成分结合到新的编解码器中，这些编解码器可以提供更好的压缩比，或者在速度和性能之间进行更有利的权衡。
2021-07-30 eess.IV
Standard compliant video coding using low complexity, switchable neural wrappers
New York University（纽约大学）；Google LLC（谷歌公司）
针对神经视频编码部署中复杂度与率失真性能的权衡难题，提出包裹标准编解码器的低复杂度可切换神经包装器框架，通过分辨率自适应和端到端优化，以极低新增复杂度显著提升VVC等标准的编码性能。
2024-07-10 cs.CV cs.MM eess.IV
Fine-Grained Motion Compression and Selective Temporal Fusion for Neural B-Frame Video Coding
Department of Computer Science, City University of Hong Kong（城市大学计算机科学系）；School of Data Science, Lingnan University（岭南大学数据科学学院）；Bytedance（字节跳动）
本文提出细粒度运动压缩与选择性时间融合方法，提升神经B帧视频编码性能，实现平均BD速率降低10%并优于H.266/VVC。
2026-02-23 cs.CV eess.IV
Scalable Neural Video Representation Compression
University of Bristol（布里斯托大学）；Tencent Media Lab（腾讯媒体实验室）
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC，通过单次编码实现细粒度码率与解码复杂度可扩展性，在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0，将提供实现代码。
2026-09-07 cs.CV cs.MM eess.IV
Artificial Intelligence based Video Codec (AIVC) for CLIC 2022
本文介绍了AIVC提交给CLIC 2022视频轨道。AIVC是一个基于条件自动编码器的完全学习的视频编解码器。利用AIVC模型的灵活性来实现速率分配和帧结构竞争，以选择每个序列的最佳编码配置。这种竞争产生了令人信服的压缩性能，与没有竞争相比，速率降低了-26%。
2022-06-28 eess.IV eess.SP
EHVC: Efficient Hierarchical Reference and Quality Structure for Neural Video Coding
University of Science and Technology of China（中国科学技术大学）
针对神经视频编码中参考结构与分层质量结构不匹配、质量结构仍有优化空间的问题，提出EHVC高效分层神经视频编码器，通过三项创新实现性能显著超越现有最先进模型。
2025-09-04 cs.AI eess.IV
Scalable Image Coding for Humans and Machines
目前，以及未来越来越多的情况下，大部分捕获的视觉内容将不会被人类看到。相反，它将用于自动化机器视觉分析，可能需要偶尔进行人工观察。此类应用的示例包括交通监控、视觉监控、自主导航和工业机器视觉。为了满足这些要求，我们开发了一个端到端的学习图像编解码器，其潜在空间的设计，以支持从简单到更复杂的任务的可扩展性。最简单的任务被分配给潜在空间的子集（基本层），而更复杂的任务利用潜在空间的附加子集，即，基本层和增强层两者。对于实验，我们建立了一个2层和一个3层模型，每个模型都提供了人类视觉的输入重建，加上机器视觉任务，并将它们与相关的基准进行比较。实验表明，与最佳替代方案相比，我们的可扩展编解码器在机器视觉任务上节省了37%-80%的比特率，同时在输入重建方面与最先进的图像编解码器相当。
2022-01-13 eess.IV
Multi-rate adaptive transform coding for video compression
当代有损图像和视频编码标准依赖于变换编码，通过该过程，像素被映射到替代表示以促进有效的数据压缩。尽管使用深度神经网络进行端到端优化压缩的性能令人印象深刻，但这些模型的高计算和空间需求使它们无法取代传统视频编解码器中相对简单的变换编码。在这项研究中，我们提出了学习变换和熵编码，可以作为（非）线性插入式替换，或增强现有编解码器中的线性变换。这些变换可以是多速率的，允许单个模型沿着整个速率失真曲线操作。为了证明我们的框架的效用，我们用学习的量化矩阵和自适应熵编码来增强DCT，以压缩帧内AV1块预测残差。我们报告了大量的BD率和感知质量的改进，在更复杂的非线性变换的一小部分的计算成本。
2023-02-18 eess.IV
BVI-CC: A Dataset for Research on Video Compression and Quality Assessment
视频技术的前景在过去的几年里一直非常生动，新的视频编码技术的推出，承诺提高压缩性能超过国家的最先进的技术。尽管有很多视频数据集是可用的，但需要宽参数空间的代表性内容以及对来自完整端的编码内容的变化的主观评估。针对这一需求，本文介绍了一个数据集，BVI-CC。部署了三种视频编解码器来创建编码序列的变体：高效视频编码（HEVC）测试模型（HM）、AOMedia视频1（AV 1）和通用视频编码（VVC）测试模型（VTM）。九个源视频序列被精心挑选，以提供在时空域的多样性和代表性。序列的不同空间分辨率版本由所有三个编解码器以预定义的目标比特率创建和编码。使用常用的客观质量度量来评估编解码器的压缩效率，并且还通过心理物理实验来评估其重构内容的主观质量。此外，使用客观和主观评估评估自适应比特率（跨空间分辨率的凸包率失真优化）测试情况。最后，测试的编解码器的计算复杂性进行了检查。所有数据都已作为数据集的一部分公开提供，可用于编码性能评估和视频质量指标开发。
2022-02-21 eess.IV
End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional Video Compression
Koç University（科奇大学）
传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习VC允许同时对非线性变换、运动和熵模型进行端到端的率失真（R-D）优化训练。大多数关于学习VC的工作考虑基于在连续帧对上平均的R-D损失的顺序视频编解码器的端到端优化。在常规VC中众所周知，分层双向编码优于顺序压缩，因为其能够使用过去和未来的参考帧。本文提出了一种学习分层双向视频编解码器（LHBDC），结合了分层运动补偿预测和端到端优化的好处。实验结果表明，我们取得了最好的R-D结果，报告学习VC计划的PSNR和MS-SSIM。与传统的视频编解码器相比，我们的端到端优化编解码器的R-D性能在PSNR和MS-SSIM以及MS-SSIM中的HM 16.23参考软件方面优于x265和SVT-HEVC编码器（“非常慢”预设）。我们目前的消融研究表明，由于提出的新工具，如学习掩蔽，流场子采样，和时间流矢量预测的性能增益。复制我们的结果的模型和说明可以在https://github.com/makinyilmaz/LHBDC/中找到
2021-12-17 cs.CV eess.IV
ReGenVC: End-to-End Real-Time Generative Video Coding at Ultra-Low Bitrate
Intel Corporation（英特尔公司）
ReGenVC是首个结合超低位率编码与实时解码的端到端生成式视频编解码器，通过技术优化实现24 fps输出，内存占用显著降低。
2026-07-31 cs.CV eess.IV
Neural Video Compression with Feature Modulation
Microsoft Research Asia（微软亚洲研究院）
本文提出基于特征调制的条件编码NVC，通过可学习量化缩放器和周期性时间特征刷新，解决单模型宽质量范围与长预测链质量退化问题，并显著节省码率和计算量。
2024-02-29 cs.CV eess.IV
Convolutional Neural Networks Based Texture Modeling For AV1
包括新开发的AOMedia Video 1（AV1）在内的现代视频编解码器利用混合编码技术来去除空间和时间冗余。然而，有效利用统计依赖性测量的均方误差（MSE）并不总是产生最好的心理视觉的结果。一种有趣的方法是仅对视觉相关信息进行编码，并对帧中的“感知无关紧要”区域使用不同的编码方法，这可以在保持视觉质量的同时大幅降低数据速率。在本文中，我们引入了一个纹理分析器，然后编码的输入序列，以确定“感知无关紧要”的帧中使用卷积神经网络的区域。我们设计并开发了一种新的方案，将纹理分析器集成到编解码器中，可以大大减少分层编码结构的编解码器的时间闪烁伪影。该方法在AV1编解码器中通过引入一种称为纹理模式的新的编码工具来实现，其中纹理模式是在编码器处处理的特殊帧间模式，如果选择纹理模式，则不对所识别的纹理区域执行帧间预测。相反，整个区域的位移仅由一组运动参数来建模。因此，只有模型参数被传输到解码器用于重构纹理区域。帧中的非纹理区域被常规地编码。我们表明，对于许多标准的测试集，该方法取得了显着的数据率降低，令人满意的视觉质量。
2019-08-07 eess.IV
A Coding Framework and Benchmark towards Low-Bitrate Video Understanding
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出一种结合传统编解码器与神经网络优势的传统-神经混合编码框架，通过自监督学习保留传输高效的语义表示，并构建低比特率视频理解基准，显著提升了下游视频分析任务的性能。
2024-09-22 cs.CV eess.IV
Overfitted image coding at reduced complexity
本文通过缩短训练降低Cool-chic编码复杂度，并证明每像素300次乘法的微型解码器仍优于HEVC，实现了近实时CPU解码。
2024-03-18 eess.IV
CATRF: Codec-Adaptive TriPlane Radiance Fields for Volumetric Content Delivery
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出CATRF，一种用于体积分发的编码自适应三平面辐射场方法，通过在训练过程中将二维特征平面量化和打包到编码器友好的画布中，并利用标准编码器进行回程处理，从而在训练循环中插入非可微的编码器管道，使辐射场特征能够直接适应客户端侧的编码器失真，而无需引入任何学习的编码器参数。
2026-05-18 cs.CV cs.MM eess.IV
Differentiable bit-rate estimation for neural-based video codec enhancement
Qualcomm AI Research（高通人工智能研究院）
神经网络（NN）可以通过对编码视频进行预处理和后处理来改进标准视频压缩。对于最佳NN训练，标准编解码器需要用编解码器代理替换，该编解码器代理可以提供估计的比特率和失真的导数，其用于梯度反向传播。由于标准编解码器的熵编码被设计为考虑变换系数之间的非线性依赖性，所以比特率不能用简单的每系数估计器很好地近似。本文提出了一种用于比特率估计的新方法，该方法类似于训练端到端神经编解码器中采用的类型，并且能够有效地考虑这些统计依赖性。它是从一个数学模型定义的，该模型提供了估计值及其梯度的封闭式公式，降低了计算复杂性。实验结果表明，该方法在估计HEVC/H.265编解码器的比特率的准确性。
2023-01-24 cs.IT cs.LG cs.MM
Assessing objective quality metrics for JPEG and MPEG point cloud coding
针对现有研究未评估客观质量指标在JPEG Pleno点云编码下表现的空白，本研究在含JPEG、MPEG编码失真及多压缩权衡的主观数据集上基准测试大量指标，分析其整体性能与跨内容、跨编码器泛化能力。
2024-10-31 eess.IV
Neural B-Frame Coding: Tackling Domain Shift Issues with Lightweight Online Motion Resolution Adaptation
本文提出轻量级在线运动分辨率适应方法，通过分类器预测下采样因子以解决B帧编码中的领域偏移问题，提升编码性能并降低计算复杂度。
2025-11-24 cs.CV cs.MM eess.IV
Learning Frequency-Specific Quantization Scaling in VVC for Standard-Compliant Task-driven Image Coding
今天，视觉数据通常由神经网络分析，没有任何人参与，这需要专门的编解码器。对于针对某些信息宿的符合标准的编解码器适配，HEVC或VVC提供了利用缩放列表的频率特定量化的可能性。这是一种用于人类视觉系统的众所周知的方法，其中缩放列表是从心理视觉模型导出的。在这项工作中，我们采用缩放列表进行VVC帧内编码的神经网络作为信息汇。为此，我们提出了一种新的数据驱动的方法来获得任意神经网络的最佳缩放列表。使用Mask R-CNN作为信息接收器的实验表明，使用所提出的缩放列表对Cityscapes数据集进行编码，与使用恒定量化的VVC相比，峰值比特率节省了8.9%。通过这种方式，我们的方法也优于针对人类视觉系统优化的缩放列表。生成的缩放列表可以在https://github.com/FAU-LMS/VCM_scaling_lists下找到。
2023-01-20 eess.IV
Low-complexity Overfitted Neural Image Codec
本文提出将解码器参数按图像过拟合的低复杂度神经图像编解码器，以每像素2300次乘法达到媲美自动编码器、超越HEVC的性能，并较既往方案降低14%码率。
2023-07-24 eess.IV eess.SP
