Regression-based Intra-prediction for Image and Video Coding
通过利用图像中先前已知的区域,帧内预测技术可以找到当前块的良好估计。这允许编码器仅存储原始块和所生成的估计之间的误差,从而导致编码效率的提高。诸如AVC和HEVC之类的标准描述了专家设计的预测模式,其与单独的DC和平面预测模式一起在某些角度取向上操作。被设计为预测器,虽然这些技术已经被证明在图像和视频编码应用中表现良好,但是它们不一定完全利用自然图像结构。在本文中,我们描述了一种新的系统,用于开发来自自然图像块的预测。所提出的算法是用设计的预测器(例如HEVC风格的预测)来播种的,并且允许通过正则化回归来迭代地改进这些预测器。由此产生的预测模型显示出显着的改进,在所有条件下,同时保持合理的计算复杂性的估计质量超过其设计的同行。我们还演示了该算法如何处理帧内预测的最坏情况下,没有错误报告。
2016-05-12 cs.MM
Spatial-Temporal Residue Network Based In-Loop Filter for Video Coding
深度学习在图像/视频处理领域取得了巨大突破。本文提出了一种基于时空残差网络(STResNet)的环内滤波器来抑制视频编码中的块效应、振铃效应等视觉伪影。具体地说,在环路滤波器的处理过程中,通过同时考虑参考帧中的当前块和同位块来联合利用空间和时间信息。STResNet的架构仅由四个卷积层组成,这显示了对内存和编码复杂性的热情。此外,为了充分适应输入内容,提高性能的建议在环滤波器,编码树单元(CTU)的水平控制标志的率失真优化的意义上应用。大量的实验结果表明,我们的计划提供了高达5.1%的比特率减少相比,国家的最先进的视频编码标准。
2017-09-25 cs.MM
Intra Prediction Using In-Loop Residual Coding for the post-HEVC Standard
在高效率视频译码(HEVC)的标准化之后数年,现在联合视频探索小组(JVET)群组正在探索后HEVC视频压缩技术。在帧内预测领域,这一努力产生了一种具有67种内部模式的算法,新的滤波器和工具,显着改善了HEVC。然而,改进后的算法仍然存在长距离预测不准确的问题。在本文中,我们提出了一个环路残差编码帧内预测(ILR-IP)算法,利用块内重建像素作为参考,以减少预测像素的距离。这是通过使用ILR信号来部分重构每个像素来完成的,就在其预测之后并且在其块级外循环残差计算之前。ILR信号在率失真意义上通过对解码器已知的QP相关有限码本的蛮力搜索来决定。实验结果表明,所提出的ILR-IP算法提高了联合探索模型(JEM)中的现有方法高达0.45%的比特率节省方面,在解码器侧没有复杂度开销。
2017-07-31 cs.MM
A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding
有损图像和视频压缩算法产生视觉上令人讨厌的伪像,包括块、模糊和振铃,特别是在低比特率时。为了减少这些伪影,后处理技术已经被广泛研究。近年来,受卷积神经网络(CNN)在计算机视觉领域取得巨大成功的启发,人们对CNN在图像后处理中的应用进行了研究,主要是针对JPEG压缩图像。在本文中,我们提出了一种基于CNN的高效率视频编码(HEVC),最先进的视频编码标准的后处理算法。我们重新设计了一个可变滤波器大小的残差学习CNN(VRCNN CNN),以提高性能,加快网络的训练。实验结果表明,使用我们的VRCNN作为后处理,与HEVC基线相比,平均降低了4.6%的比特率。VRCNN在实现更高的比特率降低、更低的内存成本和成倍的计算加速方面优于先前研究的网络。
2016-10-29 cs.MM
Convolutional Neural Network-Based Block Up-sampling for Intra Frame Coding
受卷积神经网络(CNN)图像超分辨率研究的启发,提出了一种基于CNN的块上采样帧内编码方案。块可以在通过正常帧内编码压缩之前被下采样,然后被上采样到其原始分辨率。与以往基于上下采样编码的研究不同,我们方案中的上采样方法是通过训练CNN而不是手工设计的。我们探索了一种新的上采样CNN结构,它具有特征图的反卷积,多尺度融合和残差学习,使网络既紧凑又高效。我们还分别为亮度和色度分量的上采样设计了不同的网络,其中色度上采样CNN利用亮度信息来提高其性能。此外,我们设计了一个两阶段的上采样过程,第一阶段是在逐块编码循环内,第二阶段是在整个帧上执行,以便细化块边界。我们还实证研究了如何设置下采样块的编码参数,以追求帧级率失真优化。我们提出的方案被实现到高效率视频编码(HEVC)参考软件,并进行了一系列全面的实验来评估我们的方法。实验结果表明,我们的方案实现了显着的比特节省相比,HEVC锚,特别是在低比特率,导致平均5.5%的BD率降低普通测试序列和平均9.0%的BD率降低超高清(UHD)测试序列。
2017-07-14 cs.MM
Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding
帧内预测是视频压缩的重要组成部分,它利用图像的局部信息消除空间域的冗余。在高效视频编码(H.265/HEVC)和通用视频编码(H.266/VVC)中,采用多个方向预测模式来找到每个小块的纹理趋势,然后基于所选方向上的参考样本进行预测。近年来,基于神经网络的帧内预测方法取得了巨大的成功。在这些方法中,网络被训练并应用于帧内预测以辅助方向预测模式。在本文中,我们提出了一种新的树结构的数据聚类驱动的神经网络(简称TreeNet)的帧内预测,建立网络和聚类的训练数据在树结构的方式。具体来说,在TreeNet的每次网络分裂和训练过程中,叶子节点上的每个父网络通过添加或减去高斯随机噪声被分裂为两个子网络。然后,数据聚类驱动的训练被应用于使用它们的父网络的聚类的训练数据来训练两个派生的子网络。为了测试性能,TreeNet被集成到VVC和HEVC中,以与方向预测模式结合或取代方向预测模式。此外,提出了一种快速终止策略,以加速TreeNet的搜索。实验结果表明,与VVC(VTM-4.0)和HEVC(HM-16.9)相比,具有快速终止的TreeNet可以分别达到平均2.8%的Bjontegaard失真率(BD率)改善(高达8.1%)和4.9%的BD率改善(高达8.2%)。
2022-06-21 cs.MM
All-intra rate control using low complexity video features for Versatile Video Coding
本文提出一种基于低复杂度视频分析和随机森林模型的全帧内双通速率控制首次处理方法,在VVenC中实现约32%编码时间缩减且仅增加2% BD-rate。
2023-06-29 cs.MM
Cross-Block Difference Guided Fast CU Partition for VVC Intra Coding
本文提出了一种新的基于跨块差分的VVC帧内编码CU快速划分算法。该差异通过从分区获得的子块的梯度和内容来测量,并且用于指导跳过不必要的水平和垂直分区模式。利用该指导,相应地实现了块划分的快速确定。与VVC相比,我们提出的方法可以节省41.64%(平均)的编码时间,只有0.97%(平均)的BD率增加。
2022-01-14 cs.MM eess.IV
Deep Learning-Based Intra Mode Derivation for Versatile Video Coding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Ningbo University(宁波大学);City University of Hong Kong(香港城市大学)
在帧内编码中,执行率失真优化(RDO)以从预定义的候选列表中实现最佳帧内模式。除了残差信号之外,还需要对最优帧内模式进行编码并发送到解码器侧,在解码器侧消耗大量编码比特。为了进一步提高通用视频编码(Versatile Video Coding,VVC)中帧内编码的性能,提出了一种基于深度学习的帧内模式推导方法(Deep Learning based Intra Mode Derivation,DLIMD)。具体地,帧内模式推导的过程被公式化为多类分类任务,其旨在跳过用于编码比特减少的帧内模式信令的模块。DLIMD的体系结构被开发以适应不同的量化参数设置和可变编码块,包括非正方形的,这是由一个单一的训练模型处理。与现有的基于深度学习的分类问题不同,除了从特征学习网络学习的特征之外,手工制作的特征也被馈送到帧内模式推导网络中。为了与传统方法竞争,在视频编解码器中使用一个额外的二进制标志来指示所选择的RDO方案。大量的实验结果表明,在VVC测试模型平台上,该方法对Y、U和V分量的平均码率分别降低了2.28%、1.74%和2.18%比特率,优于现有的方法。
2022-04-08 cs.CV cs.MM eess.IV
Encoder-Decoder-Based Intra-Frame Block Partitioning Decision
针对下一代视频编码中递归帧内块划分决策耗时久的问题,提出结合CNN与Transformer解码器的编码器-解码器神经网络,通过全并行预测加速决策,在HD序列上较AVS3 HPM4.0减时87.84%,编码性能仅损失8.09%。
2023-10-10 cs.MM
A Convolutional Neural Network Approach for Half-Pel Interpolation in Video Coding
运动补偿是视频编码中的一项基本技术,用于消除视频帧间的时间冗余。为了进一步提高编码效率,已经利用了子像素运动补偿,这需要分数样本的内插。视频编码标准通常采用固定的插值滤波器,这些滤波器是从信号处理理论中推导出来的。然而,由于视频信号不是静止的,固定插值滤波器可能变得效率较低。受卷积神经网络(CNN)在计算机视觉中的巨大成功的启发,提出了一种基于卷积神经网络的视频编码插值滤波器(CNNIF)。与以前的研究不同,训练CNNIF的一个困难是缺乏基础事实,因为分数样本实际上不可用。我们的解决方案是通过平滑高分辨率图像来获得分数样本的“地面真实值”,这被验证是有效的。与高效视频编码(HEVC)中用于亮度的固定半像素插值滤波器相比,我们提出的CNNIF在低延迟P配置下实现了高达3.2%和平均0.9%的BD速率降低。
2017-03-10 cs.MM
Hybrid Point Cloud Attribute Compression Using Slice-based Layered Structure and Block-based Intra Prediction
点云压缩是沉浸式视觉通信、自动驾驶和智慧城市等新兴应用的关键使能器。在本文中,我们提出了一种基于原始分层数据结构的混合点云属性压缩方案。首先,一个切片分割方案和几何自适应k维树(kd-tree)的方法来生成的四层结构。其次,我们引入了一个有效的基于块的帧内预测方案,其中包含一个DC预测模式和几个角度模式,以利用相邻点之间的空间相关性。第三,基于图形傅立叶变换(GFT)的自适应变换方案是拉格朗日优化,以实现更好的变换效率。基于颜色属性编码的统计特性,离线推导了拉格朗日乘子。最后但并非最不重要的是,多个重排序扫描模式专用于提高熵编码的编码效率。在点云颜色属性的帧内压缩中,结果表明,我们的方法优于最先进的区域自适应分层变换(RAHT)系统,平均达到29.37 $\%$ BD率增益。与MPEG-3DG组在第121次会议上公布的第一类锚点(TMC 1)测试模型的编码结果相比,获得了16.37 $\%$的BD速率增益。
2018-04-28 cs.MM
Video Compression Beyond VVC: Quantitative Analysis of Intra Coding Tools in Enhanced Compression Model (ECM)
该研究对VVC之后增强压缩模型ECM中的亮度和色度帧内编码工具做定量分析,考察工具选择率与ECM版本、分辨率、码率的关联并扩展测试序列,为JVET标准化阶段工具组合优化提供参考。
2024-04-11 cs.MM eess.IV
BLINC: Lightweight Bimodal Learning for Low-Complexity VVC Intra Coding
University of Tehran(德黑兰大学);University of Mazandaran(马赞达兰大学)
最新的视频编码标准,通用视频编码(VVC),实现了几乎两倍的编码效率相比,其前身,高效率视频编码(HEVC)。然而,与HEVC相比,实现这种效率(对于帧内编码)需要31倍的计算复杂性,使得其对于低功率和实时应用具有挑战性。本文提出了一种新的机器学习方法,联合和单独采用两种形式的功能,以简化帧内编码决策。首先,提取一组特征,使用现有的DCT核心的VVC,以评估纹理特征,并形成第一模态的数据。这产生了高质量的功能,几乎没有开销。相邻块处的帧内模式的分布也用于形成数据的第二模态,其提供关于帧的统计信息。其次,设计了一种两步特征约简方法,该方法减小了特征集的大小,使得具有有限数量参数的轻量级模型可以用于学习帧内模式决策任务。第三,提出了三种独立的训练策略:(1)使用第一(单一)数据模态的离线训练策略,(2)使用第二(单一)模态的在线训练策略,以及(3)使用双峰学习的混合在线-离线策略。最后,基于所提出的学习策略,提出了一种低复杂度的编码算法。大量的实验结果表明,所提出的方法可以减少高达24%的编码时间,编码效率的损失可以忽略不计。此外,它演示了如何双峰学习策略可以提高学习的性能。最后,所提出的方法具有非常低的计算开销(0.2%),并且使用VVC编码器的现有组件,这使得它比竞争解决方案更实用。
2022-01-19 cs.CV cs.MM eess.IV
Fast QTMT Partition for VVC Intra Coding Using U-Net Framework
针对 VVC 帧内编码中 QTMT 划分复杂度高的问题,提出基于重新设计的 U-Net 和 QP 融合网络的深度学习算法,结合后处理策略提前终止低概率划分,在 BD-BR 仅增 0.60% 至 2.33% 下实现 44.74% 至 68.76% 的复杂度降低。
2023-04-06 cs.MM eess.IV
Lossless Image and Intra-frame Compression with Integer-to-Integer DST
视频译码标准主要经设计以用于高效有损压缩,但还需要使用对有损译码架构的小修改来支持视频译码标准内的高效无损压缩。一种简单的方法是跳过变换和量化,并且简单地对预测残差进行熵编码。然而,这种方法在压缩方面是低效的。更有效且流行的方法是跳过变换和量化,但也在熵译码之前沿着水平或垂直方向用DPCM处理残余块。本文探讨了一种替代方法的基础上处理的残差块与整数到整数(i2 i)变换。I2 i变换可将整数像素映射到整数变换系数而不增加动态范围,且可用于无损压缩。我们专注于无损帧内编码和开发新的i2 i近似的奇数类型3 DST(ODST-3)。利用HEVC参考软件的实验结果表明,所开发的ODST-3的i2 i近似相对于使用流行的DPCM方法的HEVC版本2将无损帧内压缩效率提高了平均2.7%,而对计算复杂性没有显著影响。
2017-08-23 cs.MM eess.IV
A practical convolutional neural network as loop filter for intra frame
环路滤波器用于视频译码中以移除伪影或改进性能。在部署卷积神经网络(CNN)来取代传统的环路滤波器方面的最新进展显示出很大的增益,但在实际应用中存在问题。首先,不同的模型被分别用于以不同的量化参数(QP)编码的帧。硬件很贵。其次,CNN中的浮点运算导致不同平台之间的编码和解码之间的不一致。第三,CNN模型中的冗余消耗了宝贵的计算资源。本文提出了一种CNN作为帧内的环路滤波器,并提出了解决上述问题的方案。它旨在设计一个低冗余的单一CNN模型,以适应不同质量的解码帧,并确保一致性。为了适应不同质量的重建,重建和QP都被作为输入。在训练之后,对获得的模型进行压缩以减少冗余。为了保证一致性,在测试CNN时采用动态固定点(DFP)。压缩模型中的参数首先被量化为DFP,然后用于CNN的推断。CNN中每个层的输出通过DFP操作计算。在JEM 7.0上的实验结果报告,当替换所有传统滤波器时,对于具有所有帧内配置的亮度和两个色度分量,BD速率节省3.14%、5.21%、6.28%。
2018-05-16 cs.MM
Reusing the H.264/AVC deblocking filter for efficient spatio-temporal prediction in video coding
预测步骤是混合视频编解码器的一个非常重要的部分,以有效地压缩视频序列。虽然现有的视频编解码器仅在时间或空间方向上进行预测,但是可以通过组合的时空预测来提高压缩效率。在本文中,我们提出了一种算法,用于重用的H.264/AVC去块滤波器的时空预测。重用这个高度优化的滤波器允许这种预测模式的计算复杂度非常低,并且可以实现高达7.2%的平均速率降低。
2022-07-04 cs.MM eess.IV
Flexible-Region Based Adaptive In-Loop Filter for Video Coding
SZ DJI Technologies Co., Ltd.(深圳大疆创新科技有限公司)
针对AVS3中现有自适应环路滤波适应性不足的问题,提出基于灵活区域划分及系数合并的FRALF方案,在较低复杂度增加下提升编码效率。
2026-09-22 cs.CV cs.MM eess.IV
A QP-adaptive Mechanism for CNN-based Filter in Video Coding
Fudan University(复旦大学);Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
基于卷积神经网络(CNN)的滤波器在视频编码中取得了巨大的成功。然而,在大多数以前的作品中,每个量化参数(QP)带需要单独的模型。本文提出了一种通用的方法来帮助任意的CNN滤波器处理不同的量化噪声。我们对量化噪声问题进行了建模,并在CNN上实现了一个可行的解决方案,该方案将量化步长(Qstep)引入卷积。当量化噪声增加时,CNN滤波器抑制噪声的能力相应地提高。这种方法可以直接用于取代任何现有CNN滤波器中的卷积层。通过仅使用25%的参数,所提出的方法实现了更好的性能比使用多个模型与VTM-6.3锚。此外,额外的BD率降低0.2%,我们提出的方法实现的色度分量。
2020-10-25 cs.LG cs.MM eess.IV
Merge Mode for Template-based Intra Mode Derivation (TIMD) in ECM
针对常规TIMD模式因纹理差异导致相邻模板信息不可靠的问题,本文提出TIMD-Merge工具,通过更大模板区域构建合并列表排序选最优模式,已纳入ECM第15版,实现了亮度BDR增益提升且运行时间增加可忽略。
2025-03-24 cs.MM
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University(复旦大学);Waseda University(早稻田大学)
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构,基于神经网络的帧内预测使用全连接网络来预测块,而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是,我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级,从而实现更精确的滤波补偿。据我们所知,在所有基于学习的方法中,这是第一次尝试在一个应用中结合两个不同的网络,并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明,与HM-16.20基线相比,我们的方法对于提供的8个序列导致显著的BD速率节省(对于所有帧内和随机访问编码,分别平均降低10.24%和3.57%的比特率)。对于HEVC测试序列,与HM-16.20基线相比,我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
Attention-Based Neural Networks for Chroma Intra Prediction in Video Coding
BBC Research & Development(英国广播公司研发部);Dublin City University(都柏林城市大学)
神经网络可以成功地用于改进高级视频编码方案的几个模块。特别是,颜色分量的压缩被证明大大受益于机器学习模型的使用,这要归功于适当的基于注意力的架构的设计,该架构允许预测利用参考区域中的特定样本。然而,这样的架构往往很复杂且计算密集,并且可能难以部署在实际的视频编码流水线中。本文的工作重点是降低这种方法的复杂性,设计一套简化的和具有成本效益的基于注意力的色度帧内预测架构。提出了一种新的与尺寸无关的多模型方法,以降低推理过程的复杂性。由此产生的简化架构仍然能够优于最先进的方法。此外,本文提出了一系列简化,以进一步降低所提出的预测架构的复杂性开销。由于这些简化,相对于原始的基于注意力的方法,实现了约90%的参数数量的减少。简化包括用于减少卷积操作的开销的框架,集成到原始架构中的简化的跨组件处理模型,以及执行整数精度近似的方法,旨在获得快速和硬件感知的实现。所提出的方案被集成到通用视频编码(VVC)预测流水线,保留了最先进的基于神经网络的色度帧内预测方法的压缩效率,同时提供不同的方向,以显着降低编码复杂度。
2021-02-09 cs.CC cs.CV cs.LG
In-Loop Filtering Using Learned Look-Up Tables for Video Coding
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知国家重点实验室,中国科学技术大学)
本文提出LUT-ILF++,一种基于查找表的通用环内滤波框架,通过缓存DNN输出并采用多LUT协作、跨分量索引和LUT压缩,在VVC中实现低复杂度、低存储的滤波,平均码率减少最高达4.11%。
2025-09-11 cs.CV cs.MM eess.IV
Competitive Learning for Achieving Content-specific Filters in Video Coding for Machines
Nokia Technologies(诺基亚技术公司)
本文针对机器视觉任务的视频编码需求,提出基于竞争学习的内容特定后处理滤波器训练策略,在VVC框架下的实验验证了该方法能有效提升目标检测和实例分割任务的编码效率。
2024-06-18 cs.CV cs.LG cs.MM
Improved CNN-based Learning of Interpolation Filters for Low-Complexity Inter Prediction in Video Coding
BBC Research & Development(英国广播公司研发部);Dublin City University(都柏林城市大学)
最近的机器学习方法的多功能性使其成为改进下一代视频压缩解决方案的理想选择。不幸的是,这些方法通常带来计算复杂性的显著增加,并且难以解释为可解释的模型,从而影响它们在实际视频编码应用中的实现潜力。本文介绍了一种新的可解释的神经网络的帧间预测方案,以改善分数精度运动补偿所需的参考样本的插值。该方法需要一个单一的神经网络进行训练,一个完整的四分之一像素插值滤波器集的推导,因为网络是很容易解释,由于其线性结构。一种新的训练框架使每个网络分支类似于一个特定的分数移位。这种实用的解决方案使得与传统的视频编码方案一起使用非常有效。当在最先进的通用视频编码(VVC)测试模型的上下文中实现时,在随机接入、低延迟B和低延迟P配置下,对于较低分辨率序列,平均可以分别实现0.77%、1.27%和2.25%的BD速率节省,而与利用全CNN的内插相比,学习的内插方案的复杂度显著降低。
2021-06-16 cs.CV cs.LG cs.MM
An Efficient Coding Method for Spike Camera using Inter-Spike Intervals
最近,已经提出了一种新的生物启发的尖峰相机,其连续地积累亮度强度并在达到调度阈值时发射尖峰。与传统的基于帧的相机和新兴的动态视觉传感器相比,尖峰相机在以无帧的方式捕获快速运动场景并具有完整的纹理重建能力方面显示出巨大的优势。然而,很难传输或存储大量的尖峰数据。为了解决这个问题,我们首先调查的时空分布的尖峰间期,并提出了一个基于强度的测量穗训练距离。然后,我们设计了一种有效的尖峰编码方法,它集成了自适应时间分割,帧内/帧间预测,量化和熵编码到一个统一的有损编码框架的技术。最后,我们构建了一个由尖峰相机捕获的PKU-Spike数据集来评估压缩性能。在数据集上的实验结果表明,该方法是有效的,在压缩这样的尖峰数据,同时保持保真度。
2019-12-20 cs.MM
DeepQTMT: A Deep Learning Approach for Fast QTMT-based CU Partition of Intra-mode VVC
通用视频编码(VVC)作为最新的标准,相对于其祖先标准高效视频编码(HEVC)显著地提高了编码效率,但是以急剧增加的复杂度为代价。在VVC中,编码单元(CU)划分的四叉树加多类型树(QTMT)结构占编码时间的97%以上,这是由于递归率失真(RD)优化的蛮力搜索。本文提出了一种深度学习方法来预测基于QTMT的CU分区,以大大加快帧内模式VVC的编码过程,而不是暴力QTMT搜索。首先,我们建立了一个大规模的数据库,包含足够的CU分区模式与不同的视频内容,这可以促进数据驱动的VVC的复杂性降低。接下来,我们提出了一个多阶段退出CNN(MSE-CNN)模型,具有提前退出机制来确定CU分区,符合多阶段灵活的QTMT结构。然后,我们设计了一个自适应损失函数来训练MSE-CNN模型,综合了分裂模式的不确定数量和最小化RD成本的目标。最后,提出了一种多门限判决方案,实现了复杂度和RD性能之间的折衷。实验结果表明,该方法在可忽略的Bjøntegaard delta比特率(BD-BR)为1.322%-3.188%的情况下,VVC的编码时间减少了44.65%-66.88%,明显优于其他现有方法.
2021-06-06 cs.MM eess.IV
JND-Guided Light-Weight Neural Pre-Filter for Perceptual Image Coding
Fudan University(复旦大学);Xidian University(西安电子科技大学);East China Normal University(华东师范大学)
针对JND引导预滤波器计算昂贵且缺乏统一基准的问题,本文开源FJNDF-Pytorch并提出轻量级CNN学习框架,在多数据集和编码器上取得SOTA压缩效率且仅需7.15 GFLOPs。
2026-11-10 cs.CV cs.MM eess.IV
Neural Generation of Blocks for Video Coding
SoundHound(声hound公司)
经过良好训练的生成神经网络(GNN)在压缩静态图像的视觉信息方面非常有效,但对于大多数视频内容来说,它不如帧间和帧内预测那么有效。然而,对于进入帧的内容,例如在平移或缩小期间,以及具有曲线、不规则形状或精细细节的内容,通过GNN生成可以提供更好的压缩效率(更低的速率失真)。本文提出了在特定时间对视频比特流中GNN的内容特定的学习参数进行编码,并使用GNN为特定范围的块和帧生成内容。要生成的块仅仅是生成比帧间或帧内预测更有效的压缩的块。这种方法最大化了学习参数中包含的信息的有用性。
2020-10-05 cs.LG cs.MM eess.IV
Chroma Intra Prediction with attention-based CNN architectures
British Broadcasting Corporation(英国广播公司);Dublin City University(都柏林城市大学)
神经网络可用于视频编码中以改进色度帧内预测。特别是,相对于传统的线性模型,使用全连接网络可以实现更好的跨分量预测。尽管如此,最先进的架构往往忽略预测过程中各个参考样本的位置。提出了一种新的跨分量帧内预测神经网络结构。该网络使用一种新的注意力模块来模拟参考样本和预测样本之间的空间关系。所提出的方法被集成到通用视频编码(VVC)预测流水线。实验结果表明,与基于神经网络的最新色度帧内预测方法相比,最新的VVC锚点具有压缩增益。
2020-06-27 cs.CC cs.CV cs.LG
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案,通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似,在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
An enhanced performance for H.265/SHVC based on combined AEGBM3D filter and back-propagation neural network
本文介绍了最新的视频编码标准H265 SHVC,一个可扩展的高效率视频编码(HEVC)。HEVC与其前身相比引入了新的编码工具,并且向后兼容所有类型的电子产品。具有不同显示能力的小工具无法提供相同质量的视频,由于传输带宽的限制是一个主要问题。解决这个问题的一种方法是对视频序列进行压缩,除了在SHVC编码器中实现一种新的方法外,本文还重点研究了在降低比特率的同时保持或提高PSNR的方法。该方法结合了自适应边缘引导块匹配和3D滤波技术和反向传播技术。该技术包括一个AEGBM 3D滤波器,它避免了空间冗余和去噪帧,因此实现了PSNR的增强。将获得的视频的PSNR与设置的阈值PSNR进行比较,以通过重复的AEGBM 3D滤波将PSNR保持在阈值以上。基于神经网络机器学习方法的BP技术在输入块不包含它们被训练以识别的特征的情况下持续地限制输出。这种对输出的频繁控制产生很少的比特;因此实现了比特率的降低。仿真结果表明,与现有方法相比,在1.5倍和2倍空间比下,该方法的PSNR平均提高了0.16和0.25dB,码率平均降低了28%和37%。
2020-09-20 cs.MM eess.IV
Multi-Density Attention Network for Loop Filtering in Video Compression
Alibaba Group(阿里巴巴集团)
视频压缩是消费者和专业视频应用的基本要求。诸如H. 264/AVC和H. 265/HEVC之类的视频编码标准在市场上被广泛部署,以使得能够针对许多视频应用高效地使用带宽和存储。为了减少编码伪影和提高压缩效率,文献中已经开发了基于神经网络的重构视频的环路滤波。然而,由于视频内容和采样密度的变化,环路滤波是一项具有挑战性的任务。本文提出了一种基于在线缩放的多密度注意力网络,用于视频压缩中的环路滤波。该方法的核心在于以下几个方面:(a)并行多分辨率卷积流提取多密度特征;(b)单个注意分支学习样本相关性并生成掩码图;(c)通道互注意过程融合多个分支的数据;(d)在线缩放技术根据实际信号进一步优化网络的输出结果。所提出的多密度注意力网络从多个采样密度中学习丰富的特征,并对不同分辨率的视频内容进行鲁棒性。此外,在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明,在相同的视频质量下,与最新的通用视频编码(VVC)标准相比,该算法可以降低10.18%的码率。所提出的算法的客观性能优于国家的最先进的方法和主观质量的改善是明显的细节保留和文物减轻。
2021-04-08 cs.CV cs.MM eess.IV
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies(诺基亚技术)
我们提出了一种有效的微调方法,神经网络滤波器,适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调,以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销,我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法,使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明,我们的方法实现了高达9.7%的平均BD速率增益相比,国家的最先进的通用视频编码(VVC)标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM