An Efficient QP Variable Convolutional Neural Network Based In-loop Filter for Intra Coding
本文提出了一种新的基于QP可变卷积神经网络的VVC帧内编码环路滤波器。为了避免训练和部署多个网络,我们开发了一个高效的QP注意模块(QPAM),它可以捕获不同QP的压缩噪声水平,并强调沿通道维度的有意义的特征。然后将QPAM嵌入到残差块中,并在此基础上设计了一种对不同QP具有可控性的网络结构。为了使该模型能够更好地处理压缩伪影较多或难以恢复的样本,引入了局部均方误差(MSE)损失函数对网络进行微调。实验结果表明,该方法在所有帧内配置下平均节省了4.03%的BD率,比QP分离的CNN模型更好,同时具有更少的模型参数。
2020-12-30 cs.MM
Intra Prediction Using In-Loop Residual Coding for the post-HEVC Standard
在高效率视频译码(HEVC)的标准化之后数年,现在联合视频探索小组(JVET)群组正在探索后HEVC视频压缩技术。在帧内预测领域,这一努力产生了一种具有67种内部模式的算法,新的滤波器和工具,显着改善了HEVC。然而,改进后的算法仍然存在长距离预测不准确的问题。在本文中,我们提出了一个环路残差编码帧内预测(ILR-IP)算法,利用块内重建像素作为参考,以减少预测像素的距离。这是通过使用ILR信号来部分重构每个像素来完成的,就在其预测之后并且在其块级外循环残差计算之前。ILR信号在率失真意义上通过对解码器已知的QP相关有限码本的蛮力搜索来决定。实验结果表明,所提出的ILR-IP算法提高了联合探索模型(JEM)中的现有方法高达0.45%的比特率节省方面,在解码器侧没有复杂度开销。
2017-07-31 cs.MM
A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding
有损图像和视频压缩算法产生视觉上令人讨厌的伪像,包括块、模糊和振铃,特别是在低比特率时。为了减少这些伪影,后处理技术已经被广泛研究。近年来,受卷积神经网络(CNN)在计算机视觉领域取得巨大成功的启发,人们对CNN在图像后处理中的应用进行了研究,主要是针对JPEG压缩图像。在本文中,我们提出了一种基于CNN的高效率视频编码(HEVC),最先进的视频编码标准的后处理算法。我们重新设计了一个可变滤波器大小的残差学习CNN(VRCNN CNN),以提高性能,加快网络的训练。实验结果表明,使用我们的VRCNN作为后处理,与HEVC基线相比,平均降低了4.6%的比特率。VRCNN在实现更高的比特率降低、更低的内存成本和成倍的计算加速方面优于先前研究的网络。
2016-10-29 cs.MM
Convolutional Neural Network-Based Block Up-sampling for Intra Frame Coding
受卷积神经网络(CNN)图像超分辨率研究的启发,提出了一种基于CNN的块上采样帧内编码方案。块可以在通过正常帧内编码压缩之前被下采样,然后被上采样到其原始分辨率。与以往基于上下采样编码的研究不同,我们方案中的上采样方法是通过训练CNN而不是手工设计的。我们探索了一种新的上采样CNN结构,它具有特征图的反卷积,多尺度融合和残差学习,使网络既紧凑又高效。我们还分别为亮度和色度分量的上采样设计了不同的网络,其中色度上采样CNN利用亮度信息来提高其性能。此外,我们设计了一个两阶段的上采样过程,第一阶段是在逐块编码循环内,第二阶段是在整个帧上执行,以便细化块边界。我们还实证研究了如何设置下采样块的编码参数,以追求帧级率失真优化。我们提出的方案被实现到高效率视频编码(HEVC)参考软件,并进行了一系列全面的实验来评估我们的方法。实验结果表明,我们的方案实现了显着的比特节省相比,HEVC锚,特别是在低比特率,导致平均5.5%的BD率降低普通测试序列和平均9.0%的BD率降低超高清(UHD)测试序列。
2017-07-14 cs.MM
Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding
帧内预测是视频压缩的重要组成部分,它利用图像的局部信息消除空间域的冗余。在高效视频编码(H.265/HEVC)和通用视频编码(H.266/VVC)中,采用多个方向预测模式来找到每个小块的纹理趋势,然后基于所选方向上的参考样本进行预测。近年来,基于神经网络的帧内预测方法取得了巨大的成功。在这些方法中,网络被训练并应用于帧内预测以辅助方向预测模式。在本文中,我们提出了一种新的树结构的数据聚类驱动的神经网络(简称TreeNet)的帧内预测,建立网络和聚类的训练数据在树结构的方式。具体来说,在TreeNet的每次网络分裂和训练过程中,叶子节点上的每个父网络通过添加或减去高斯随机噪声被分裂为两个子网络。然后,数据聚类驱动的训练被应用于使用它们的父网络的聚类的训练数据来训练两个派生的子网络。为了测试性能,TreeNet被集成到VVC和HEVC中,以与方向预测模式结合或取代方向预测模式。此外,提出了一种快速终止策略,以加速TreeNet的搜索。实验结果表明,与VVC(VTM-4.0)和HEVC(HM-16.9)相比,具有快速终止的TreeNet可以分别达到平均2.8%的Bjontegaard失真率(BD率)改善(高达8.1%)和4.9%的BD率改善(高达8.2%)。
2022-06-21 cs.MM
All-intra rate control using low complexity video features for Versatile Video Coding
本文提出一种基于低复杂度视频分析和随机森林模型的全帧内双通速率控制首次处理方法,在VVenC中实现约32%编码时间缩减且仅增加2% BD-rate。
2023-06-29 cs.MM
Cross-Block Difference Guided Fast CU Partition for VVC Intra Coding
本文提出了一种新的基于跨块差分的VVC帧内编码CU快速划分算法。该差异通过从分区获得的子块的梯度和内容来测量,并且用于指导跳过不必要的水平和垂直分区模式。利用该指导,相应地实现了块划分的快速确定。与VVC相比,我们提出的方法可以节省41.64%(平均)的编码时间,只有0.97%(平均)的BD率增加。
2022-01-14 cs.MM eess.IV
Deep Learning-Based Intra Mode Derivation for Versatile Video Coding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Ningbo University(宁波大学);City University of Hong Kong(香港城市大学)
在帧内编码中,执行率失真优化(RDO)以从预定义的候选列表中实现最佳帧内模式。除了残差信号之外,还需要对最优帧内模式进行编码并发送到解码器侧,在解码器侧消耗大量编码比特。为了进一步提高通用视频编码(Versatile Video Coding,VVC)中帧内编码的性能,提出了一种基于深度学习的帧内模式推导方法(Deep Learning based Intra Mode Derivation,DLIMD)。具体地,帧内模式推导的过程被公式化为多类分类任务,其旨在跳过用于编码比特减少的帧内模式信令的模块。DLIMD的体系结构被开发以适应不同的量化参数设置和可变编码块,包括非正方形的,这是由一个单一的训练模型处理。与现有的基于深度学习的分类问题不同,除了从特征学习网络学习的特征之外,手工制作的特征也被馈送到帧内模式推导网络中。为了与传统方法竞争,在视频编解码器中使用一个额外的二进制标志来指示所选择的RDO方案。大量的实验结果表明,在VVC测试模型平台上,该方法对Y、U和V分量的平均码率分别降低了2.28%、1.74%和2.18%比特率,优于现有的方法。
2022-04-08 cs.CV cs.MM eess.IV
Encoder-Decoder-Based Intra-Frame Block Partitioning Decision
针对下一代视频编码中递归帧内块划分决策耗时久的问题,提出结合CNN与Transformer解码器的编码器-解码器神经网络,通过全并行预测加速决策,在HD序列上较AVS3 HPM4.0减时87.84%,编码性能仅损失8.09%。
2023-10-10 cs.MM
Hybrid Point Cloud Attribute Compression Using Slice-based Layered Structure and Block-based Intra Prediction
点云压缩是沉浸式视觉通信、自动驾驶和智慧城市等新兴应用的关键使能器。在本文中,我们提出了一种基于原始分层数据结构的混合点云属性压缩方案。首先,一个切片分割方案和几何自适应k维树(kd-tree)的方法来生成的四层结构。其次,我们引入了一个有效的基于块的帧内预测方案,其中包含一个DC预测模式和几个角度模式,以利用相邻点之间的空间相关性。第三,基于图形傅立叶变换(GFT)的自适应变换方案是拉格朗日优化,以实现更好的变换效率。基于颜色属性编码的统计特性,离线推导了拉格朗日乘子。最后但并非最不重要的是,多个重排序扫描模式专用于提高熵编码的编码效率。在点云颜色属性的帧内压缩中,结果表明,我们的方法优于最先进的区域自适应分层变换(RAHT)系统,平均达到29.37 $\%$ BD率增益。与MPEG-3DG组在第121次会议上公布的第一类锚点(TMC 1)测试模型的编码结果相比,获得了16.37 $\%$的BD速率增益。
2018-04-28 cs.MM
Video Compression Beyond VVC: Quantitative Analysis of Intra Coding Tools in Enhanced Compression Model (ECM)
该研究对VVC之后增强压缩模型ECM中的亮度和色度帧内编码工具做定量分析,考察工具选择率与ECM版本、分辨率、码率的关联并扩展测试序列,为JVET标准化阶段工具组合优化提供参考。
2024-04-11 cs.MM eess.IV
BLINC: Lightweight Bimodal Learning for Low-Complexity VVC Intra Coding
University of Tehran(德黑兰大学);University of Mazandaran(马赞达兰大学)
最新的视频编码标准,通用视频编码(VVC),实现了几乎两倍的编码效率相比,其前身,高效率视频编码(HEVC)。然而,与HEVC相比,实现这种效率(对于帧内编码)需要31倍的计算复杂性,使得其对于低功率和实时应用具有挑战性。本文提出了一种新的机器学习方法,联合和单独采用两种形式的功能,以简化帧内编码决策。首先,提取一组特征,使用现有的DCT核心的VVC,以评估纹理特征,并形成第一模态的数据。这产生了高质量的功能,几乎没有开销。相邻块处的帧内模式的分布也用于形成数据的第二模态,其提供关于帧的统计信息。其次,设计了一种两步特征约简方法,该方法减小了特征集的大小,使得具有有限数量参数的轻量级模型可以用于学习帧内模式决策任务。第三,提出了三种独立的训练策略:(1)使用第一(单一)数据模态的离线训练策略,(2)使用第二(单一)模态的在线训练策略,以及(3)使用双峰学习的混合在线-离线策略。最后,基于所提出的学习策略,提出了一种低复杂度的编码算法。大量的实验结果表明,所提出的方法可以减少高达24%的编码时间,编码效率的损失可以忽略不计。此外,它演示了如何双峰学习策略可以提高学习的性能。最后,所提出的方法具有非常低的计算开销(0.2%),并且使用VVC编码器的现有组件,这使得它比竞争解决方案更实用。
2022-01-19 cs.CV cs.MM eess.IV
Fast QTMT Partition for VVC Intra Coding Using U-Net Framework
针对 VVC 帧内编码中 QTMT 划分复杂度高的问题,提出基于重新设计的 U-Net 和 QP 融合网络的深度学习算法,结合后处理策略提前终止低概率划分,在 BD-BR 仅增 0.60% 至 2.33% 下实现 44.74% 至 68.76% 的复杂度降低。
2023-04-06 cs.MM eess.IV
Lossless Image and Intra-frame Compression with Integer-to-Integer DST
视频译码标准主要经设计以用于高效有损压缩,但还需要使用对有损译码架构的小修改来支持视频译码标准内的高效无损压缩。一种简单的方法是跳过变换和量化,并且简单地对预测残差进行熵编码。然而,这种方法在压缩方面是低效的。更有效且流行的方法是跳过变换和量化,但也在熵译码之前沿着水平或垂直方向用DPCM处理残余块。本文探讨了一种替代方法的基础上处理的残差块与整数到整数(i2 i)变换。I2 i变换可将整数像素映射到整数变换系数而不增加动态范围,且可用于无损压缩。我们专注于无损帧内编码和开发新的i2 i近似的奇数类型3 DST(ODST-3)。利用HEVC参考软件的实验结果表明,所开发的ODST-3的i2 i近似相对于使用流行的DPCM方法的HEVC版本2将无损帧内压缩效率提高了平均2.7%,而对计算复杂性没有显著影响。
2017-08-23 cs.MM eess.IV
Nonlinear Prediction of Multidimensional Signals via Deep Regression with Applications to Image Coding
Shanghai Jiao Tong University(上海交通大学);McMaster University(麦克马斯特大学)
深度卷积神经网络(DCNN)在许多信号处理应用中取得了巨大的成功,因为它们可以学习从输入到输出的复杂的非线性因果关系。从这个角度来看,DCNN非常适合于多维信号(如图像)的顺序预测任务,并且有可能提高传统线性预测器的性能。在这项研究中,我们研究了DCNN在预测精度方面可以将包络推多远。在一个案例研究中,我们提出了一个两阶段深度回归DCNN框架,用于二维图像信号的非线性预测。在第一阶段回归中,提出的深度预测网络(PredNet)将因果上下文作为输入,并发出对当前像素的预测。三个PredNet分别以最小化预测残差的$\ell_1$、$\ell_2$和$\ell_\infty$范数为回归目标进行训练。第二阶段的回归结合了三个PredNet的输出,以生成更精确和更强大的预测。提出的深度回归模型应用于无损预测图像编码,它优于最先进的线性预测器的可观的利润。
2018-10-30 cs.CV cs.MM eess.IV
Merge Mode for Template-based Intra Mode Derivation (TIMD) in ECM
针对常规TIMD模式因纹理差异导致相邻模板信息不可靠的问题,本文提出TIMD-Merge工具,通过更大模板区域构建合并列表排序选最优模式,已纳入ECM第15版,实现了亮度BDR增益提升且运行时间增加可忽略。
2025-03-24 cs.MM
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University(复旦大学);Waseda University(早稻田大学)
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构,基于神经网络的帧内预测使用全连接网络来预测块,而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是,我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级,从而实现更精确的滤波补偿。据我们所知,在所有基于学习的方法中,这是第一次尝试在一个应用中结合两个不同的网络,并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明,与HM-16.20基线相比,我们的方法对于提供的8个序列导致显著的BD速率节省(对于所有帧内和随机访问编码,分别平均降低10.24%和3.57%的比特率)。对于HEVC测试序列,与HM-16.20基线相比,我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
Low Complexity Trellis-Coded Quantization in Versatile Video Coding
通用视频编码(Versatile Video Coding,VVC)标准采用网格编码量化,利用精细的网格图将块内的量化候选映射到最优路径,虽然压缩效率高,但复杂的网格搜索和软判决量化会因其高复杂度和低吞吐量而阻碍应用。为了降低复杂度,在本文中,我们提出了一个低复杂度的网格编码量化方案,在一个科学合理的方式与理论建模的速率和失真。这样,网格的出发点可以自适应地调整,并相应地修剪不必要的访问分支,导致总的网格阶段的收缩和简化的过渡分支。在VVC测试模型上的大量实验结果表明,该方案在所有帧内和随机访问配置下,编码复杂度分别降低了11%和5%,而BD-Rate仅增加了0.11%和0.05%。同时,平均24%和27%的量化时间节省可以实现在所有帧内和随机访问配置。由于该方案的优良性能,VVC测试模型采用了该方案的一种实现。
2020-08-26 cs.MM
Attention-Based Neural Networks for Chroma Intra Prediction in Video Coding
BBC Research & Development(英国广播公司研发部);Dublin City University(都柏林城市大学)
神经网络可以成功地用于改进高级视频编码方案的几个模块。特别是,颜色分量的压缩被证明大大受益于机器学习模型的使用,这要归功于适当的基于注意力的架构的设计,该架构允许预测利用参考区域中的特定样本。然而,这样的架构往往很复杂且计算密集,并且可能难以部署在实际的视频编码流水线中。本文的工作重点是降低这种方法的复杂性,设计一套简化的和具有成本效益的基于注意力的色度帧内预测架构。提出了一种新的与尺寸无关的多模型方法,以降低推理过程的复杂性。由此产生的简化架构仍然能够优于最先进的方法。此外,本文提出了一系列简化,以进一步降低所提出的预测架构的复杂性开销。由于这些简化,相对于原始的基于注意力的方法,实现了约90%的参数数量的减少。简化包括用于减少卷积操作的开销的框架,集成到原始架构中的简化的跨组件处理模型,以及执行整数精度近似的方法,旨在获得快速和硬件感知的实现。所提出的方案被集成到通用视频编码(VVC)预测流水线,保留了最先进的基于神经网络的色度帧内预测方法的压缩效率,同时提供不同的方向,以显着降低编码复杂度。
2021-02-09 cs.CC cs.CV cs.LG
Object Shape Approximation & Contour Adaptive Depth Image Coding for Virtual View Synthesis
深度图像提供3D场景的部分几何信息,即从特定视点观察到的物理对象的形状。当通过基于深度图像的渲染(DIBR)合成不同虚拟相机视点的图像时,该信息是重要的。已经表明,可以使用保留边缘锐度的轮廓自适应编解码器来有效地编码深度图像,从而产生视觉上令人愉悦的DIBR合成图像。然而,轮廓通常被有损编码为边信息(SI),如果对象形状复杂,则这是昂贵的。在本文中,我们追求一个新的范例,在深度图像编码的颜色加深度表示的3D场景:我们积极主动地简化对象形状的深度和彩色图像对,以减少深度编码成本,在一个轻微的增加的惩罚合成视图失真。具体来说,我们首先从数学上推导出3DSwIM的失真上限代理-为DIBR合成图像量身定制的质量度量。该代理减少了块中像素行之间的相互依赖性,以便于优化。然后,我们近似对象轮廓通过动态规划(DP)算法,以最佳的权衡编码成本的轮廓使用算术边缘编码(AEC)与我们提出的视图合成失真代理。我们修改的深度和颜色图像,根据近似的对象轮廓在一个视图间一致的方式。然后分别使用基于图形傅立叶变换(GFT)的轮廓自适应图像编解码器对这些图像进行编码,以用于边缘保留和HEVC帧内。实验结果表明,通过保持清晰,但简化的对象轮廓在轮廓自适应编码,对于相同的视觉质量的DIBR合成的虚拟视图,我们的建议可以降低深度图像编码率高达22%相比,替代编码策略,如HEVC帧内。
2016-12-23 cs.MM
Efficient Multiple Line-Based Intra Prediction for HEVC
传统的帧内预测在考虑强空间相关性时,通常利用最近的参考线来生成预测块。然而,由于至少两个问题,这种基于单线的方法并不总是工作良好。一种是由信号噪声或其他对象的纹理引起的不相干,其中该纹理偏离当前块的固有纹理。另一个原因是在基于块的视频编码中,最近的参考线通常具有较差的重建质量。针对这两个问题,本文提出了一种有效的基于多行的帧内预测方案来提高编码效率。除了最近的参考线之外,还利用另外的参考线。具有相对较高质量的另外的参考线可以提供潜在的更好的预测。同时,当我们利用更多的参考线时,引入残差补偿来校准块中边界区域的预测。为了加快编码过程,本文设计了几种快速算法。实验结果表明,与HM-16.9相比,该快速搜索方法平均节省比特数2.0%,最高节省3.7%,编码时间增加112%。
2016-12-02 cs.MM
Study On Coding Tools Beyond Av1
开放媒体联盟(Alliance for Open Media)最近发起了针对AV1以外的下一代视频编码的编码工具探索活动。在这方面,本文提出了一个包的编码工具,已被调查,实施和测试的代码库,称为libaom,这是用于下一代视频压缩工具的探索。所提出的工具涵盖了几个技术领域的基础上,传统的混合视频编码结构,包括块分割,预测,变换和环路滤波。建议的编码工具被集成为一个包,并在AV1的组合编码增益在本文中被证明。此外,为了更好地理解每个工具的行为,除了组合的编码增益之外,还针对每个单独的编码工具模拟和报告工具打开和关闭测试。实验结果表明,与libaom相比,所提出的方法实现了平均8.0%(高达22.0%)的整体BD率降低所有帧内编码配置的图像和视频内容的广泛。
2020-12-25 cs.MM
DeepQTMT: A Deep Learning Approach for Fast QTMT-based CU Partition of Intra-mode VVC
通用视频编码(VVC)作为最新的标准,相对于其祖先标准高效视频编码(HEVC)显著地提高了编码效率,但是以急剧增加的复杂度为代价。在VVC中,编码单元(CU)划分的四叉树加多类型树(QTMT)结构占编码时间的97%以上,这是由于递归率失真(RD)优化的蛮力搜索。本文提出了一种深度学习方法来预测基于QTMT的CU分区,以大大加快帧内模式VVC的编码过程,而不是暴力QTMT搜索。首先,我们建立了一个大规模的数据库,包含足够的CU分区模式与不同的视频内容,这可以促进数据驱动的VVC的复杂性降低。接下来,我们提出了一个多阶段退出CNN(MSE-CNN)模型,具有提前退出机制来确定CU分区,符合多阶段灵活的QTMT结构。然后,我们设计了一个自适应损失函数来训练MSE-CNN模型,综合了分裂模式的不确定数量和最小化RD成本的目标。最后,提出了一种多门限判决方案,实现了复杂度和RD性能之间的折衷。实验结果表明,该方法在可忽略的Bjøntegaard delta比特率(BD-BR)为1.322%-3.188%的情况下,VVC的编码时间减少了44.65%-66.88%,明显优于其他现有方法.
2021-06-06 cs.MM eess.IV
CNN-based driving of block partitioning for intra slices encoding
本文提供了一种基于深度学习的编码器方法的技术概述,旨在优化下一代混合视频编码器,以驱动帧内切片中的块划分。本文提出了一种基于卷积神经网络的编码方法,用一个系统的、自动的过程来部分地代替传统的基于神经网络的编码器加速。该解决方案允许在帧内切片中用一个单个参数控制复杂度和编码增益之间的权衡。该算法在联合视频探索小组(JVET)关于具有超越HEVC的能力的视频压缩的提案征集中提出。在All Intra配置中,对于给定的允许的分割拓扑,在没有BD速率损失的情况下获得$\times 2$的加速,或者在BD速率损失低于1%的情况下获得高于$\times 4$的加速。
2020-11-12 cs.MM
Landmarking for Navigational Streaming of Stored High-Dimensional Media
诸如360度视频和光场(LF)图像的现代媒体数据通常以比观察者的视觉显示高得多的维度来捕获。为了在带宽受限的网络上有效地浏览高维媒体,考虑了导航流模型:客户端通过向服务器指示导航路径来导航大媒体空间,服务器作为响应将相应的预编码媒体数据单元(MDU)依次一个接一个地发送到客户端。对MDU(I-MDU)进行帧内编码将导致大比特率,但是可以随机访问I-MDU,而使用另一MDU作为预测器对MDU(P-MDU)进行帧间编码引起小的编码成本,但是强加了必须首先发送和解码预测器的顺序。从压缩的角度来看,技术挑战是:如何通过MDU的帧间编码实现编码增益,同时实现足够的随机访问以实现令人满意的用户导航。为了解决这个问题,我们提出了地标,从高维媒体的关键MDU的选择。使用地标作为预测器,局部邻域中的附近MDU被互编码,从而产生具有受控编码成本的预测MDU结构。这意味着任何请求的MDU都可以通过至多发送地标和帧间编码的MDU来解码,从而实现导航随机访问。为了建立一个地标MDU结构,我们采用树结构的矢量量化器(TSVQ),首先优化地标位置,然后迭代地添加/删除帧间编码的MDU作为使用快速分支定界技术的改进。以交互式LF图像和视口自适应360图像作为说明性应用,I-,P-和以前提出的合并帧内和帧间编码MDU,我们的实验表明,地标MDU结构可以显着降低预期的传输成本相比,MDU结构没有地标。
2022-02-08 cs.MM
Neural Generation of Blocks for Video Coding
SoundHound(声hound公司)
经过良好训练的生成神经网络(GNN)在压缩静态图像的视觉信息方面非常有效,但对于大多数视频内容来说,它不如帧间和帧内预测那么有效。然而,对于进入帧的内容,例如在平移或缩小期间,以及具有曲线、不规则形状或精细细节的内容,通过GNN生成可以提供更好的压缩效率(更低的速率失真)。本文提出了在特定时间对视频比特流中GNN的内容特定的学习参数进行编码,并使用GNN为特定范围的块和帧生成内容。要生成的块仅仅是生成比帧间或帧内预测更有效的压缩的块。这种方法最大化了学习参数中包含的信息的有用性。
2020-10-05 cs.LG cs.MM eess.IV
Chroma Intra Prediction with attention-based CNN architectures
British Broadcasting Corporation(英国广播公司);Dublin City University(都柏林城市大学)
神经网络可用于视频编码中以改进色度帧内预测。特别是,相对于传统的线性模型,使用全连接网络可以实现更好的跨分量预测。尽管如此,最先进的架构往往忽略预测过程中各个参考样本的位置。提出了一种新的跨分量帧内预测神经网络结构。该网络使用一种新的注意力模块来模拟参考样本和预测样本之间的空间关系。所提出的方法被集成到通用视频编码(VVC)预测流水线。实验结果表明,与基于神经网络的最新色度帧内预测方法相比,最新的VVC锚点具有压缩增益。
2020-06-27 cs.CC cs.CV cs.LG
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案,通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似,在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
Estimation of Rate Control Parameters for Video Coding Using CNN
Queen Mary University of London(伦敦玛丽女王大学);British Broadcasting Corporation(英国广播公司)
速率控制对于确保高效的视频传输至关重要。典型的速率控制算法依赖于比特分配策略,以在帧之间适当地分配比特。由于参考帧对于利用时间冗余是必不可少的,因此帧内帧通常被分配较大部分的可用比特。本文提出了一种精确估计帧内比特数和帧内质量的方法,可用于码率控制方案中的比特分配。该算法基于深度学习,其中使用原始帧作为输入来训练网络,而编码后压缩帧的失真和大小被用作地面真值。提出了两种方法,无论是本地或全球的失真预测。
2020-03-13 cs.LG cs.MM eess.IV
Enhanced Spatially Interleaved Techniques for Multi-View Distributed Video Coding
本文提出了一种多视点分布式视频编码框架,独立的摄像机编码和集中解码。时空视图隐藏方法的开发,利用所采用的混合KEY/Wyner-Ziv帧的交织性质,用于边信息(SI)的逐块生成。我们研究了一些视图隐藏方法,并开发了一种联合方法,利用所有可用的相关性形成的边信息。我们应用多样性技术融合多个这样的预测,从而实现更可靠的结果。我们还介绍了系统的增强功能,通过选择性反馈,视图间位平面投影和帧减法进一步提高率失真性能。结果表明,相对于H.264帧内编码的比特率降低25%或相当于2.5 dB的PSNR增加的性能显着改善。
2019-12-17 cs.CV cs.MM
Transform and Entropy Coding in AV2
Meta;Apple(苹果);Tencent(腾讯);Google(谷歌);Netflix(奈飞);OPPO;Broadcom(博通);Nvidia(英伟达)
AV2通过改进的变换与熵编码技术,在保持低复杂度的同时实现更高的压缩效率和视频质量
2026-02-07 cs.MM eess.IV
On Energy Compaction of 2D Saab Image Transforms
分块离散余弦变换(DCT)由于其良好的能量压缩特性而被广泛应用于图像和视频压缩。Saab变换是最近提出的一种有效的图像理解信号变换。在这项工作中,我们研究的能量压缩属性的Saab变换的帧内编码的高效率视频编码(HEVC)标准的上下文中。我们通过将Saab变换、DCT和Karhunen-Loeve变换(KLT)应用于HEVC中的不同大小的帧内预测残差块来比较它们的能量压缩特性。Saab变换的基函数被可视化。大量的实验结果表明,能量压缩能力的Saab变换。
2019-08-28 cs.MM eess.IV
Improved Screen Content Coding in VVC Using Soft Context Formation
本研究针对屏幕内容图像特性,提出结合软上下文形成的增强VVC编码方法,通过学习分块分层编码并利用解码层信息优化,实现了4.98%的Bjontegaard-Delta码率增益。
2024-10-07 cs.MM eess.IV
Sub-sampled Cross-component Prediction for Emerging Video Coding Standards
跨分量线性模型(CCLM)预测已被反复证明是有效的,以减少视频压缩的通道间冗余。从本质上讲,通过在编码器和解码器两者处采用可访问的亮度和色度参考样本来相同地训练线性模型,由于最小二乘回归或基于最大-最小的模型参数导出而提高了操作复杂度的水平。在本文中,我们调查的能力的线性模型的上下文中的子采样为基础的交叉分量相关挖掘,作为一种手段,显着释放的操作负担,并促进硬件和软件设计的编码器和解码器。特别地,通过利用空间相关性和通道间相关性来精心设计子采样比率和位置。大量的实验表明,该方法具有操作简单、鲁棒性好等特点,已被VVC标准和第三代音视频编码标准(AVS 3)采用。
2020-12-30 cs.MM eess.IV
Deep Learning-Based Video Coding: A Review and A Case Study
在过去的十年中,深度学习技术在许多学科中取得了巨大的成功,特别是在计算机视觉和图像处理方面。然而,基于深度学习的视频编码仍处于起步阶段。本文回顾了自2015年以来,将深度学习用于图像/视频编码的代表性工作,这是一个积极发展的研究领域。我们将相关工作分为两类:主要建立在深度网络上的新编码方案(深度方案),以及基于深度网络的编码工具(深度工具),这些工具应在传统编码方案中使用或与传统编码工具一起使用。对于深度方案,像素概率建模和自动编码器是两种方法,分别可以被视为预测编码方案和变换编码方案。对于深度工具,已经提出了几种使用深度学习来执行图片内预测、图片间预测、跨通道预测、概率分布预测、变换、后环或环内滤波、下采样和上采样以及编码优化的技术。为了推动基于深度学习的视频编码研究,本文对我们开发的原型视频编解码器--深度学习视频编码(DLVC)进行了案例研究。DLVC具有两个基于卷积神经网络(CNN)的深度工具,即基于CNN的环路滤波器(CNN-ILF)和基于CNN的块自适应分辨率编码(CNN-BARC)。这两种工具都有助于显著提高压缩效率。利用这两个深度工具以及其他非深度编码工具,DLVC能够在随机访问和低延迟配置下分别实现比HEVC平均节省39.6\%和33.0\%的比特。DLVC的源代码已经发布,以供将来的研究。
2019-04-29 cs.MM eess.IV
A Combined Deep Learning based End-to-End Video Coding Architecture for YUV Color Space
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通科技荷兰有限公司)
大多数现有的基于深度学习的端到端视频编码(DLEC)架构是专门针对RGB颜色格式设计的,然而过去几十年开发的视频编码标准(包括H.264/AVC、H.265/HEVC和H.266/VVC)主要是针对YUV 4:2:0格式设计的,其中色度(U和V)分量被二次采样以实现考虑人类视觉系统的优异压缩性能。虽然大量关于DLEC的论文在RGB域中比较了这两种不同的编码方案,但理想的是在YUV 4:2:0域中具有通用的评估框架,以便进行更公平的比较。本文介绍了一种新的DLEC架构,用于视频编码,以有效地支持YUV 4:2:0,并在一个共同的评估框架下将其性能与HEVC标准进行了比较。在YUV 4:2:0视频序列上的实验结果表明,该架构在帧内编码方面优于HEVC,但帧间编码的效率不如最近文献中报道的RGB编码结果。
2021-04-01 cs.AI cs.CV cs.LG
Transform Network Architectures for Deep Learning based End-to-End Image/Video Coding in Subsampled Color Spaces
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
大多数现有的基于深度学习的端到端图像/视频编码(DLEC)架构都是针对非二次采样RGB颜色格式设计的。然而,为了实现优异的编码性能,许多现有技术的基于块的压缩标准(诸如高效视频编码(HEVC/H.265)和通用视频编码(VVC/H.266))主要针对YUV 4:2:0格式而设计,其中通过考虑人类视觉系统对U和V分量进行子采样。本文研究了各种DLEC设计,以支持YUV 4:2:0格式,通过在一个共同的评估框架下将其性能与HEVC和VVC标准的主要配置文件进行比较。此外,提出了一种新的变换网络结构,以提高编码的效率YUV 4:2:0数据。在YUV 4:2:0数据集上的实验结果表明,该架构的性能明显优于现有RGB格式架构的朴素扩展,与HEVC中的帧内编码相比,平均BD速率提高了约10%。
2021-08-27 cs.AI cs.CV cs.LG
Analytic Simplification of Neural Network based Intra-Prediction Modes for Video Compression
British Broadcasting Corporation(英国广播公司)
随着对更高分辨率视频内容的需求不断增长,找到限制视频编码任务复杂性的方法以降低视频服务的成本、功耗和环境影响变得越来越重要。在过去的几年中,基于神经网络(NN)的算法已被证明有利于许多传统的视频编码模块。但是,虽然这样的技术可以大大提高压缩效率,他们通常是非常计算密集型。简化NN学习的模型是非常有益的,这样就可以利用有意义的见解,以获得不太复杂的解决方案。本文提出了两种方法来获得简化的帧内预测从学习模型,并表明,这些流线型的技术可以导致有效的压缩解决方案。
2020-04-23 cs.LG cs.MM eess.IV