Flexible-Region Based Adaptive In-Loop Filter for Video Coding
SZ DJI Technologies Co., Ltd.(深圳大疆创新科技有限公司)
针对AVS3中现有自适应环路滤波适应性不足的问题,提出基于灵活区域划分及系数合并的FRALF方案,在较低复杂度增加下提升编码效率。
2026-09-22 cs.CV cs.MM eess.IV
A QP-adaptive Mechanism for CNN-based Filter in Video Coding
Fudan University(复旦大学);Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
基于卷积神经网络(CNN)的滤波器在视频编码中取得了巨大的成功。然而,在大多数以前的作品中,每个量化参数(QP)带需要单独的模型。本文提出了一种通用的方法来帮助任意的CNN滤波器处理不同的量化噪声。我们对量化噪声问题进行了建模,并在CNN上实现了一个可行的解决方案,该方案将量化步长(Qstep)引入卷积。当量化噪声增加时,CNN滤波器抑制噪声的能力相应地提高。这种方法可以直接用于取代任何现有CNN滤波器中的卷积层。通过仅使用25%的参数,所提出的方法实现了更好的性能比使用多个模型与VTM-6.3锚。此外,额外的BD率降低0.2%,我们提出的方法实现的色度分量。
2020-10-25 cs.LG cs.MM eess.IV
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University(复旦大学);Waseda University(早稻田大学)
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构,基于神经网络的帧内预测使用全连接网络来预测块,而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是,我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级,从而实现更精确的滤波补偿。据我们所知,在所有基于学习的方法中,这是第一次尝试在一个应用中结合两个不同的网络,并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明,与HM-16.20基线相比,我们的方法对于提供的8个序列导致显著的BD速率节省(对于所有帧内和随机访问编码,分别平均降低10.24%和3.57%的比特率)。对于HEVC测试序列,与HM-16.20基线相比,我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
In-Loop Filtering Using Learned Look-Up Tables for Video Coding
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知国家重点实验室,中国科学技术大学)
本文提出LUT-ILF++,一种基于查找表的通用环内滤波框架,通过缓存DNN输出并采用多LUT协作、跨分量索引和LUT压缩,在VVC中实现低复杂度、低存储的滤波,平均码率减少最高达4.11%。
2025-09-11 cs.CV cs.MM eess.IV
Convolutional Neural Network-Based Block Up-sampling for Intra Frame Coding
受卷积神经网络(CNN)图像超分辨率研究的启发,提出了一种基于CNN的块上采样帧内编码方案。块可以在通过正常帧内编码压缩之前被下采样,然后被上采样到其原始分辨率。与以往基于上下采样编码的研究不同,我们方案中的上采样方法是通过训练CNN而不是手工设计的。我们探索了一种新的上采样CNN结构,它具有特征图的反卷积,多尺度融合和残差学习,使网络既紧凑又高效。我们还分别为亮度和色度分量的上采样设计了不同的网络,其中色度上采样CNN利用亮度信息来提高其性能。此外,我们设计了一个两阶段的上采样过程,第一阶段是在逐块编码循环内,第二阶段是在整个帧上执行,以便细化块边界。我们还实证研究了如何设置下采样块的编码参数,以追求帧级率失真优化。我们提出的方案被实现到高效率视频编码(HEVC)参考软件,并进行了一系列全面的实验来评估我们的方法。实验结果表明,我们的方案实现了显着的比特节省相比,HEVC锚,特别是在低比特率,导致平均5.5%的BD率降低普通测试序列和平均9.0%的BD率降低超高清(UHD)测试序列。
2017-07-14 cs.MM
Competitive Learning for Achieving Content-specific Filters in Video Coding for Machines
Nokia Technologies(诺基亚技术公司)
本文针对机器视觉任务的视频编码需求,提出基于竞争学习的内容特定后处理滤波器训练策略,在VVC框架下的实验验证了该方法能有效提升目标检测和实例分割任务的编码效率。
2024-06-18 cs.CV cs.LG cs.MM
Improved CNN-based Learning of Interpolation Filters for Low-Complexity Inter Prediction in Video Coding
BBC Research & Development(英国广播公司研发部);Dublin City University(都柏林城市大学)
最近的机器学习方法的多功能性使其成为改进下一代视频压缩解决方案的理想选择。不幸的是,这些方法通常带来计算复杂性的显著增加,并且难以解释为可解释的模型,从而影响它们在实际视频编码应用中的实现潜力。本文介绍了一种新的可解释的神经网络的帧间预测方案,以改善分数精度运动补偿所需的参考样本的插值。该方法需要一个单一的神经网络进行训练,一个完整的四分之一像素插值滤波器集的推导,因为网络是很容易解释,由于其线性结构。一种新的训练框架使每个网络分支类似于一个特定的分数移位。这种实用的解决方案使得与传统的视频编码方案一起使用非常有效。当在最先进的通用视频编码(VVC)测试模型的上下文中实现时,在随机接入、低延迟B和低延迟P配置下,对于较低分辨率序列,平均可以分别实现0.77%、1.27%和2.25%的BD速率节省,而与利用全CNN的内插相比,学习的内插方案的复杂度显著降低。
2021-06-16 cs.CV cs.LG cs.MM
Study On Coding Tools Beyond Av1
开放媒体联盟(Alliance for Open Media)最近发起了针对AV1以外的下一代视频编码的编码工具探索活动。在这方面,本文提出了一个包的编码工具,已被调查,实施和测试的代码库,称为libaom,这是用于下一代视频压缩工具的探索。所提出的工具涵盖了几个技术领域的基础上,传统的混合视频编码结构,包括块分割,预测,变换和环路滤波。建议的编码工具被集成为一个包,并在AV1的组合编码增益在本文中被证明。此外,为了更好地理解每个工具的行为,除了组合的编码增益之外,还针对每个单独的编码工具模拟和报告工具打开和关闭测试。实验结果表明,与libaom相比,所提出的方法实现了平均8.0%(高达22.0%)的整体BD率降低所有帧内编码配置的图像和视频内容的广泛。
2020-12-25 cs.MM
Hybrid Video Signal Coding Technologies: Past, Current and Future
随着人们对高质量视频应用需求的不断增长,对视频信号编码的研究和开发也越来越多。本章介绍了一些先进的技术,以提高率失真性能的基于块的混合视频编码系统。此外,从H.264/AVC和HEVC的发展可以看出,当前的大多数编码工具,例如预测、变换和熵编码,在压缩性能上的改进空间较小。另一方面,现代视频标准中的环路滤波器显示了良好的效果。因此,我们相信环路滤波器可以成为下一代视频编码中有助于更高视频压缩的候选者。仿真结果表明,改进后的算法性能明显优于现有算法,并增加了新的自由度,提高了整体率失真性能。因此,它们可以成为下一代视频编解码器的候选编码工具。
2016-07-20 cs.MM
JND-Guided Light-Weight Neural Pre-Filter for Perceptual Image Coding
Fudan University(复旦大学);Xidian University(西安电子科技大学);East China Normal University(华东师范大学)
针对JND引导预滤波器计算昂贵且缺乏统一基准的问题,本文开源FJNDF-Pytorch并提出轻量级CNN学习框架,在多数据集和编码器上取得SOTA压缩效率且仅需7.15 GFLOPs。
2026-11-10 cs.CV cs.MM eess.IV
Advanced Learning-Based Inter Prediction for Future Video Coding
School of Computer Science, Peking University(北京大学计算机学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出低复杂度基于学习的帧间预测方法 LLIP,用轻量神经网络学习最优滤波参数替代 AVS4 中传统 INTERPF,实现无第三方依赖的高效推理,并在 RA 配置下取得 Y、U、V 分量编码增益。
2024-11-24 cs.CV cs.MM
Deep Learning-Based Video Coding: A Review and A Case Study
在过去的十年中,深度学习技术在许多学科中取得了巨大的成功,特别是在计算机视觉和图像处理方面。然而,基于深度学习的视频编码仍处于起步阶段。本文回顾了自2015年以来,将深度学习用于图像/视频编码的代表性工作,这是一个积极发展的研究领域。我们将相关工作分为两类:主要建立在深度网络上的新编码方案(深度方案),以及基于深度网络的编码工具(深度工具),这些工具应在传统编码方案中使用或与传统编码工具一起使用。对于深度方案,像素概率建模和自动编码器是两种方法,分别可以被视为预测编码方案和变换编码方案。对于深度工具,已经提出了几种使用深度学习来执行图片内预测、图片间预测、跨通道预测、概率分布预测、变换、后环或环内滤波、下采样和上采样以及编码优化的技术。为了推动基于深度学习的视频编码研究,本文对我们开发的原型视频编解码器--深度学习视频编码(DLVC)进行了案例研究。DLVC具有两个基于卷积神经网络(CNN)的深度工具,即基于CNN的环路滤波器(CNN-ILF)和基于CNN的块自适应分辨率编码(CNN-BARC)。这两种工具都有助于显著提高压缩效率。利用这两个深度工具以及其他非深度编码工具,DLVC能够在随机访问和低延迟配置下分别实现比HEVC平均节省39.6\%和33.0\%的比特。DLVC的源代码已经发布,以供将来的研究。
2019-04-29 cs.MM eess.IV
A Group Variational Transformation Neural Network for Fractional Interpolation of Video Coding
运动补偿是视频编码中的一项重要技术,用于消除已编码视频帧之间的时间冗余。在运动补偿中,分数插值用于在亚像素级获得更多的参考块。现有的视频编码标准通常使用固定的插值滤波器进行分数插值,其效率不足以很好地处理不同的视频信号。本文设计了一种群变分变换卷积神经网络(GVTCNN)来提高运动补偿中亮度分量的分数插值性能。GVTCNN从输入整数位置样本推断不同子像素位置处的样本。它首先从整数位置样本中提取一个共享的特征图来推断各种子像素位置样本。然后,使用组变分变换技术将一组复制的共享特征图变换为不同子像素位置处的样本。实验结果表明,我们的GVTCNN的插值效率。与高效视频编码的插值方法相比,该方法平均节省比特1.9%,在低延迟P配置下节省比特高达5.6%。
2018-06-19 cs.MM
An enhanced performance for H.265/SHVC based on combined AEGBM3D filter and back-propagation neural network
本文介绍了最新的视频编码标准H265 SHVC,一个可扩展的高效率视频编码(HEVC)。HEVC与其前身相比引入了新的编码工具,并且向后兼容所有类型的电子产品。具有不同显示能力的小工具无法提供相同质量的视频,由于传输带宽的限制是一个主要问题。解决这个问题的一种方法是对视频序列进行压缩,除了在SHVC编码器中实现一种新的方法外,本文还重点研究了在降低比特率的同时保持或提高PSNR的方法。该方法结合了自适应边缘引导块匹配和3D滤波技术和反向传播技术。该技术包括一个AEGBM 3D滤波器,它避免了空间冗余和去噪帧,因此实现了PSNR的增强。将获得的视频的PSNR与设置的阈值PSNR进行比较,以通过重复的AEGBM 3D滤波将PSNR保持在阈值以上。基于神经网络机器学习方法的BP技术在输入块不包含它们被训练以识别的特征的情况下持续地限制输出。这种对输出的频繁控制产生很少的比特;因此实现了比特率的降低。仿真结果表明,与现有方法相比,在1.5倍和2倍空间比下,该方法的PSNR平均提高了0.16和0.25dB,码率平均降低了28%和37%。
2020-09-20 cs.MM eess.IV
Deep Contextual Video Compression
Microsoft Research Asia(微软亚洲研究院)
现有的神经视频压缩方法大多采用预测编码框架,该框架首先生成预测帧,然后将其残差与当前帧一起编码。然而,对于压缩比,预测编码只是一个次优的解决方案,因为它使用简单的减法运算来消除跨帧的冗余。在本文中,我们提出了一个深度上下文视频压缩框架,以实现从预测编码到条件编码的范式转变。特别是,我们试图回答以下问题:如何在深度视频压缩框架下定义,使用和学习条件。为了挖掘条件编码的潜力,我们提出使用特征域上下文作为条件。这使得我们能够利用高维度上下文来将丰富的信息携带到编码器和解码器,这有助于重构高频内容以获得更高的视频质量。我们的框架也是可扩展的,其中的条件可以灵活地设计。实验表明,我们的方法可以显着优于以前的国家的最先进的(SOTA)深度视频压缩方法。与x265相比,使用非常慢的预设,我们可以实现1080P标准测试视频的码率节省26.0%。
2021-12-14 cs.CV cs.MM eess.IV
Multi-Density Attention Network for Loop Filtering in Video Compression
Alibaba Group(阿里巴巴集团)
视频压缩是消费者和专业视频应用的基本要求。诸如H. 264/AVC和H. 265/HEVC之类的视频编码标准在市场上被广泛部署,以使得能够针对许多视频应用高效地使用带宽和存储。为了减少编码伪影和提高压缩效率,文献中已经开发了基于神经网络的重构视频的环路滤波。然而,由于视频内容和采样密度的变化,环路滤波是一项具有挑战性的任务。本文提出了一种基于在线缩放的多密度注意力网络,用于视频压缩中的环路滤波。该方法的核心在于以下几个方面:(a)并行多分辨率卷积流提取多密度特征;(b)单个注意分支学习样本相关性并生成掩码图;(c)通道互注意过程融合多个分支的数据;(d)在线缩放技术根据实际信号进一步优化网络的输出结果。所提出的多密度注意力网络从多个采样密度中学习丰富的特征,并对不同分辨率的视频内容进行鲁棒性。此外,在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明,在相同的视频质量下,与最新的通用视频编码(VVC)标准相比,该算法可以降低10.18%的码率。所提出的算法的客观性能优于国家的最先进的方法和主观质量的改善是明显的细节保留和文物减轻。
2021-04-08 cs.CV cs.MM eess.IV
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies(诺基亚技术)
我们提出了一种有效的微调方法,神经网络滤波器,适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调,以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销,我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法,使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明,我们的方法实现了高达9.7%的平均BD速率增益相比,国家的最先进的通用视频编码(VVC)标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM
A Survey on Perceptually Optimized Video Coding
为了给用户提供更真实的视觉体验,视频正朝着超高清(UHD)、高帧速率(HFR)、高动态范围(HDR)、宽色域(WCG)和高清晰度的趋势发展。然而,视频的数据量呈指数级增长,这就要求高效率的视频压缩以供存储和网络传输。感知优化的视频编码旨在通过利用视觉冗余来最大化压缩效率。在本文中,我们提出了一个广泛的和系统的调查感知优化的视频编码。首先,我们提出了感知优化视频编码的问题形式和框架,包括视觉感知建模,视觉质量评估和感知视频编码优化。其次,介绍了视觉因素、计算感知模型和质量评价模型的最新进展。第三,从感知优化的比特分配、率失真优化、变换和量化、滤波和增强四个方面综述了感知视频编码的优化方法。在每一部分中,提出了问题制定,工作流程,最新进展,优势和挑战。第四,对最新的编码标准和工具的感知编码性能进行了实验分析。最后,确定了具有挑战性的问题和未来的机会。
2022-11-16 cs.MM eess.IV
Content-Aware Delivery of Scalable Video in Network Coding Enabled Named Data Networks
在本文中,我们提出了一种新的网络编码启用NDN架构的可伸缩视频的交付。我们的计划利用网络编码,以解决在原来的NDN协议,带宽和缓存资源的最佳使用需要协调的转发决策中出现的问题。为了优化所提出的基于网络编码的NDN协议的性能,并使其适合于可伸缩视频的传输,我们设计了一种新的速率分配算法,该算法决定了客户端和中间结点发送的兴趣消息的最佳速率。该算法保证所实现的数据对象流将最大限度地提高交付给客户端人群的视频的平均质量。为了支持中间结点执行网络编码时对兴趣消息和数据对象的处理,我们修改了标准NDN协议,并引入了布隆过滤器的使用,该布隆过滤器有效地存储关于兴趣消息和数据对象的附加信息。所提出的架构进行评估,通过PlanetLab拓扑结构的可伸缩视频传输。评估表明,该方案的性能非常接近最优性能。
2015-10-22 cs.MM cs.NI
MFRNet: A New CNN Architecture for Post-Processing and In-loop Filtering
University of Bristol(布里斯托大学)
在本文中,我们提出了一种新的卷积神经网络(CNN)架构,MFRNet,后处理(PP)和环路滤波(ILF)的背景下,视频压缩。该网络由四个多层特征审查剩余密集块(MFRB)组成,它们使用级联结构连接。每个MFRB使用密集连接和多级残差学习结构从多个卷积层中提取特征。为了进一步改善这些块之间的信息流,它们中的每一个还重用来自先前MFRB的高维特征。该网络已集成到HEVC(HM 16.20)和VVC(VTM 7.0)的PP和ILF编码模块中,并使用随机访问配置在JVET通用测试条件下进行了全面评估。实验结果表明,在两个锚编解码器(HEVC HM和VVC VTM),以及其他现有的基于CNN的PP/ILF方法的基础上,使用PSNR和VMAF的质量评估Bjontegaard增量测量显着和一致的编码增益。当MFRNet集成到HM 16.20中时,ILF的增益高达16.0%(BD速率VMAF),PP的增益高达21.0%(BD速率VMAF)。VTM 7.0的相应增益对于ILF高达5.1%,对于PP高达7.1%。
2020-12-11 cs.CV cs.LG cs.MM
Interpreting CNN for Low Complexity Learned Sub-pixel Motion Compensation in Video Coding
BBC Research and Development(BBC研发部);Dublin City University(都柏林城市大学)
深度学习在图像和视频压缩任务中显示出巨大的潜力。然而,它带来的比特节省的成本显着增加编码的复杂性,这限制了其在实际应用中的实施潜力。在本文中,提出了一种新的基于神经网络的工具,提高了分数精度运动补偿所需的参考样本的插值。与以前的努力相反,所提出的方法侧重于通过解释网络学习的插值滤波器来降低复杂度。当该方法在通用视频编码(VVC)测试模型中实现时,与基线VVC相比,单个序列的BD速率节省高达4.5%,而与全神经网络的应用相比,学习插值的复杂性显着降低。
2020-06-11 cs.CC cs.CV cs.LG