JND-Based Perceptual Video Coding for 4:4:4 Screen Content Data in HEVC
HEVC HM RExt + SCM参考编解码器中的JCT-VC标准化屏幕内容译码(SCC)扩展在与单独HM RExt相比时提供令人印象深刻的译码效率性能;然而,其并未显著地在感知上优化。举例来说,其不包含先进的基于HVS的感知译码方法,例如基于JND的时空掩蔽方案。在本文中,我们提出了一种新的基于JND的感知视频编码技术的HM RExt + SCM。所提出的方法旨在进一步提高HM RExt + SCM应用于YCbCr 4:4:4 SC视频数据时的压缩性能。在所提出的技术中,亮度掩蔽和色度掩蔽被利用来在编码块(CB)级别上感知地调整量化步长(QStep)。与HM RExt 16.10 + SCM 8.0相比,该方法大大降低了比特率(Kbps),最大降低48.3%。除此之外,主观评估表明,SC-PAQ实现了视觉无损编码在非常低的比特率。
2018-02-12 cs.MM
Multiview Video Compression Using Advanced HEVC Screen Content Coding
Poznań University of Technology(波兹南理工大学)
提出了一种基于屏幕内容编码的多视点视频编码方法。假设在某个时刻,对应于所有视图的帧被打包成单个帧,即,应用帧兼容方法进行多视图编码。对于这样的编码场景,本文证明了屏幕内容编码可以有效地用于多视点视频编码。考虑两种方法:第一种使用标准HEVC屏幕内容编码,第二种使用高级屏幕内容编码。后者是作者的原始提议,其利用四分之一像素运动矢量和HEVC屏幕内容编码的其他非标准扩展。实验结果表明,即使使用标准HEVC屏幕内容编码,多视图视频编码也比联播HEVC编码高效得多。所提出的高级屏幕内容译码提供与MV-HEVC实质上相同的译码效率,MV-HEVC是最先进的多视图视频压缩技术。作者认为,高级屏幕内容编码可以有效地用于新的通用视频编码(VVC)技术。然而,VVC的参考多视图扩展还不存在,因此,对于基于VVC的编码,实验比较留给未来的工作。
2021-06-25 cs.CV cs.MM
Lossless Intra Coding in HEVC with Adaptive 3-tap Filters
在用于无损帧内编码的逐像素空间预测方法中,通过相邻像素的加权和来获得预测。在本文中提出的预测方法使用三个相邻像素的加权和,根据二维相关模型。在三步优化过程之后获得权重。前两个阶段是离线过程,其中从训练序列离线获得计算的预测权重。第三阶段是在线优化过程,其中离线获得的预测权重在编码期间使用率失真优化方法被进一步微调并适配于每个编码块,并且该第三阶段中的修改作为边信息被发送到解码器。仿真结果显示,与HEVC中的默认无损帧内编码和众所周知的基于样本的角度预测(SAP)方法相比,平均比特率分别降低了12.02%和3.28%。
2016-04-24 cs.MM
Coding Block-Level Perceptual Video Coding for 4:4:4 Data in HEVC
消费者对高比特深度4:4:4 HD视频数据回放的需求日益增加,这是由于其与标准8比特二次采样4:2:0视频数据相比具有更好的感知视觉质量。由于巨大的文件大小和相关联的比特率,期望尽可能多地压缩原始高比特深度4:4:4 HD视频序列,而不引起视觉质量的可辨别的降低。在本文中,我们提出了一种用于HEVC的编码块(CB)级感知视频编码技术,称为全色感知量化(FCPQ)。FCPQ被设计为在CB级调整量化参数(QP)(即,亮度CB以及色度Cb和Cr CB)。FCPQ基于HEVC中的默认感知量化方法,称为AdaptiveQP。AdaptiveQP仅基于组成亮度CB的空间活动来调整整个CU的QP。如本文所示,通过不考虑组成色度CB的空间活动性,如自适应QP的情况,编码性能可能受到显著影响;这是因为亮度CB中的像素数据的方差显著不同于色度Cb和Cr CB中的像素数据的方差。因此,FCPQ解决了这个问题。在编码性能方面,与AdaptiveQP相比,FCPQ实现了高达39.5%(Y)、16%(Cb)和29.9%(Cr)的BD速率改进。
2018-02-16 cs.MM
Video transrating in AVC and HEVC transcoding
HEVC(MPEG-H第2部分和H.265)是一种新的编码技术,预计将在不久的将来与新的视频服务一起部署在市场上。HEVC是当前广泛使用的AVC(MPEG-4第10部分和H. 264)的后继者。在本文中,报告了针对AVC编码材料到HEVC标准的级联像素域转码器获得的质量编码增益。大量的实验表明,转码与比特率降低允许实现更好的率失真性能比通过压缩原始视频序列与使用AVC在相同的(降低的)比特率。
2017-03-01 cs.MM
CTU Depth Decision Algorithms for HEVC: A Survey
高效视频编码(HEVC)通过以增加的编码时间复杂度为代价引入新的编码工具而在编码效率方面超越其前辈。编码树单元(CTU)是HEVC中使用的主要构建块。在HEVC标准中,帧被划分为具有高达64x64像素的预定大小的CTU。然后,每个CTU被递归地划分成多个大小相等的正方形区域,称为编码单元(CU)。虽然帧划分的这种多样性增加了编码效率,但是由于找到最佳划分的方式的数量增加,它也导致时间复杂度的增加。为了解决这种复杂性,已经提出了许多算法来通过利用视频中的相关性来消除在分割CTU期间不必要的搜索。在本文中,现有的CTU深度决策算法的HEVC进行调查。这些算法分为两组,即统计和机器学习方法。统计方法进一步细分为邻近方法和固有方法。相邻方法利用相邻CTU之间的相似性来限制当前CTU的深度范围,而固有方法仅使用当前CTU内的可用信息。机器学习方法试图隐式地提取和利用相似性。传统方法如支持向量机或随机森林使用手动选择的特征,而最近提出的深度学习方法在训练期间提取特征。最后,本文讨论了将这些方法扩展到最近的视频编码格式,如通用视频编码(VVC)和AOMedia视频1(AV1)。
2021-06-24 cs.MM
Recent Advances on HEVC Inter-frame Coding: From Optimization to Implementation and Beyond
高效率视频编码(HEVC)与其前身H. 264/AVC相比,在同等主观质量的情况下使视频压缩比加倍。编码效率的显著提高归功于许多新技术。帧间编码是其中最强大但最复杂的技术之一,并且造成了高计算负担,因此是基于HEVC的实时应用的主要障碍。近年来,人们对帧间编码进行了大量的研究,以降低实时应用的复杂度,或者进一步提高编码效率。在本文中,我们提供了一个全面的国家的最先进的技术,HEVC帧间编码从三个方面,即快速帧间编码解决方案,在不同的硬件平台上的实现,以及先进的帧间编码技术的审查。更具体地说,在每个方面的不同算法进一步细分为子类别,并在利弊,编码效率和编码复杂度方面进行比较。据我们所知,这是第一次对HEVC帧间编码的最新进展进行全面回顾,希望它有助于HEVC的改进、实现和应用以及下一代视频编码标准的持续发展。
2019-12-03 cs.MM eess.IV
Color-Based Coding Unit Level Adaptive Quantization for HEVC
HEVC HM 16包含称为自适应QP的译码单元(CU)层级感知量化技术。AdaptiveQP基于亮度译码块(CB)的四个组成NXN子块中的样本的空间活动性来调整CU层级处的量化参数(QP),亮度译码块(CB)包含于2NX 2N CU内。在本文中,我们提出C-BAQ,其与AdaptiveQP相反,根据亮度和色度CB两者的四个组成NxN子块中的样本的空间活动来调整CU级QP。通过计算CU中的亮度、色度Cb和色度Cr空间活动的总和,获得CU中的空间活动的更丰富反映。因此,可以选择更适当的CU级QP,从而导致编码效率方面的重要改进。我们使用4:4:4、4:2:2和4:2:0 YCbCr序列来评估HEVC HM 16.7中所提出的技术。主观和客观的评价进行期间,我们比较C-BAQ与AdaptiveQP。客观评价表明,C-BAQ达到了最大的BD率减少15.9%(Y),13.1%(Cr)和16.1%(Cb),除了最大的解码时间减少11.0%。
2016-11-06 cs.MM
Enhancing HEVC Compressed Videos with a Partition-masked Convolutional Neural Network
在本文中,我们提出了一个分区屏蔽卷积神经网络(CNN),以实现压缩视频增强的国家的最先进的编码标准,高效率视频编码(HECV)。更确切地说,我们的方法利用编码器产生的分区信息来指导质量增强过程。与现有的仅将解码帧作为CNN的输入的基于CNN的方法相比,所提出的方法考虑编码单元(CU)大小信息并将其与失真的解码帧组合,使得更有效地减少由HEVC引入的劣化。实验结果表明,我们的方法导致超过9.76%的BD率节省基准序列,达到了最先进的性能。
2018-05-31 cs.MM
Consistent Quality Oriented Rate Control in HEVC via Balancing Intra and Inter Frame Coding
面向一致质量的码率控制在视频编码中得到了越来越多的关注。然而,现有的努力只集中在减少每两个相邻帧之间的变化,而忽略了帧内和帧间的编码权衡问题。本文从一个新的角度来处理这个问题,其中帧内量化参数(IQP)和速率控制被优化以实现平衡编码。首先,由于帧内帧的重要性,提出了一个新的框架一致的质量导向的IQP预测,然后我们删除不合格的IQP候选人使用建议的惩罚项。其次,我们广泛评估可能的功能,并选择目标位每像素的所有剩余的帧,平均和标准方差的帧QP,其中QP功能的等效采集方法。第三,根据带宽和先前信息有效地裁剪预测的IQP,以获得更好的比特率精度。实验结果表明,与HEVC参考基线相比,该方法在峰值信噪比(PSNR)和结构相似性(SSIM)的帧级标准方差上分别降低了37.2%和45.1%。此外,它也可以有令人满意的结果率失真(R-D)性能,比特精度和缓冲控制。
2022-07-30 cs.MM
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover(汉诺威莱布尼茨大学)
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战,并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上,当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片,我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片,实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Saliency-Guided Complexity Control for HEVC Decoding
最新的高效视频编码(HEVC)标准相对于其先前的视频编码标准显著提高了编码效率。这种改进的代价是编码和解码侧的巨大计算复杂性。由于计算能力和功率容量在便携式设备之间是不同的,因此有必要将解码复杂度降低到具有可容忍的质量损失的目标,即所谓的复杂度控制。本文提出了一种用于HEVC解码的显著性引导复杂度控制(SGCC)方法,该方法以最小的感知质量损失将解码复杂度降低到目标。首先,我们建立了SGCC公式,以最大限度地减少感知质量损失的约束下降低解码复杂度,这是通过禁用去块滤波器(DF)和简化运动补偿(MC)的一些非显着编码树单元(CTU)。在这个配方中的一个重要组成部分是解码复杂度降低和DF禁用/MC简化,这决定了我们的方法的控制精度之间的建模关系。另一个组成部分是质量损失和DF禁用/MC简化之间的建模关系,负责优化感知质量。通过求解给定目标复杂度的SGCC公式,我们可以获得每个CTU的DF和MC设置,然后解码复杂度可以降低到目标。最后,从控制性能、复杂度失真性能、质量损失波动和主观质量等方面对SGCC方法的有效性进行了实验验证。
2018-01-09 cs.MM
Cross-Color Channel Perceptually Adaptive Quantization for HEVC
HEVC包括被称为自适应QP的基于编码单元(CU)级亮度的感知量化技术。AdaptiveQP基于亮度编码块(CB)中的原始输入视频数据的空间活动性来感知地调整CU级的量化参数(QP)。在本文中,我们提出了一种新的跨颜色通道自适应量化方案,其根据组成亮度和色度CB中的原始输入视频数据的空间活动性来感知地调整CU级QP;即,所有三个颜色通道(Y、Cb和Cr通道)的组合空间活动。我们的技术在HM 16中使用4:4:4、4:2:2和4:2:0 YCbCr JCT-VC测试序列进行了评估。主观和客观的视觉质量评价进行期间,我们比较我们的方法与AdaptiveQP。我们的技术实现了相当大的编码效率的改善,最大的BD率降低15.9%(Y),13.1%(Cr)和16.1%(Cb),除了最大解码时间减少11.0%。
2018-02-12 cs.MM
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码(VVC)的内存评估。采用最先进的高效率视频编码(HEVC)作为基线来执行存储器分析。目标是提供与HEVC相比,VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验:(1)整体记忆分析和(2)帧间预测特定记忆分析。在内存分析中获得的结果显示,VVC访问的内存比HEVC多13.4倍。此外,帧间预测模块(如在HEVC中)仍然是编码器中资源最密集的操作:60%-90%的存储器需求。帧间预测特定的分析表明,VVC需要比HEVC多5.3倍的存储器访问。此外,我们的分析表明,高达23%的这种增长是由于VVC novel-CU大小(大于64 x64)。
2020-06-01 cs.MM eess.IV
Low-Consumption Partial Transcoding by HEVC
本研究提出一种HEVC部分转码方案,通过仅重编码修改区域、无损编码边界CU避免失配传播,在HM的AI配置下实现最高4%的BD-BR节省与83%的转码加速,同时保证未修改区域重建一致。
2023-12-19 cs.MM
Enhancing Quality for HEVC Compressed Videos
最新的高效视频编码(HEVC)标准已经越来越多地应用于通过互联网生成视频流。然而,HEVC压缩视频可能导致严重的质量劣化,特别是在低比特率下。因此,有必要在解码器侧增强HEVC视频的视觉质量。为此,本文提出了一种质量增强卷积神经网络(QE-CNN)方法,该方法不需要对编码器进行任何修改来实现HEVC的质量增强。特别地,我们的QE-CNN方法学习QE-CNN-I和QE-CNN-P模型,以分别减少HEVC I和P帧的失真。所提出的方法不同于现有的基于CNN的质量增强方法,其仅处理帧内编码失真,因此不适合于P帧。我们的实验结果验证了我们的QE-CNN方法在增强HEVC视频的I帧和P帧的质量方面是有效的。为了将我们的QE-CNN方法应用于时间受限的场景,我们进一步提出了一种时间受限的质量增强优化(TQEO)方案。我们的TQEO方案控制QE-CNN的计算时间以满足目标,同时最大限度地提高质量。接下来,实验结果表明,我们的TQEO方案的有效性,从时间控制精度和质量增强方面在不同的时间约束。最后,我们设计了一个原型来实现我们的TQEO计划在实时场景。
2018-07-06 cs.MM
Efficient Multiple Line-Based Intra Prediction for HEVC
传统的帧内预测在考虑强空间相关性时,通常利用最近的参考线来生成预测块。然而,由于至少两个问题,这种基于单线的方法并不总是工作良好。一种是由信号噪声或其他对象的纹理引起的不相干,其中该纹理偏离当前块的固有纹理。另一个原因是在基于块的视频编码中,最近的参考线通常具有较差的重建质量。针对这两个问题,本文提出了一种有效的基于多行的帧内预测方案来提高编码效率。除了最近的参考线之外,还利用另外的参考线。具有相对较高质量的另外的参考线可以提供潜在的更好的预测。同时,当我们利用更多的参考线时,引入残差补偿来校准块中边界区域的预测。为了加快编码过程,本文设计了几种快速算法。实验结果表明,与HM-16.9相比,该快速搜索方法平均节省比特数2.0%,最高节省3.7%,编码时间增加112%。
2016-12-02 cs.MM
Dynamic Switching of GOP configurations in High Efficiency Video Coding (HEVC) using Relational Databases for Multi-objective Optimization
我们当前的技术时代充斥着智能设备,这些设备提供了需要最佳视频通信解决方案的重要计算资源。视频比特率、质量和能源需求的优化和动态管理需要考虑它们之间的相互依赖性。随着提供更高带宽速率的新兴网络代的出现,还存在对以最佳质量传送视频的日益增长的需求,所述最佳质量受制于诸如计算能力和可用带宽之类的资源的可用性。类似地,为了容纳多个用户,需要最小化比特率要求,同时在合理的编码时间内维持视频质量。本论文的重点在于提供一种基于切换GOP配置的HEVC编解码器的最优解的有效机制。该方法为功率、视频质量、比特率等约束条件下的多目标优化提供了一个基本体系。这是通过利用HEVC/H.265编解码器中的称为时变图像约束的动态可重构架构(DRASTIC)的最近引入的框架来实现的,该框架具有六种不同的GOP配置,以支持用于最小比特率、最大质量和最小计算时间(恒定功率配置中的最小能量)操作模式的优化模式。在实现这些DRASTIC模式时使用了Pareto最优GOP。
2022-09-14 cs.MM cs.NI
Partition-Aware Adaptive Switching Neural Networks for Post-Processing in HEVC
本文针对最先进的视频编码标准高效率视频编码(HEVC)提出了基于神经网络的后处理。我们首先提出了一个分区感知卷积神经网络(CNN),它利用编码器产生的分区信息来帮助后处理。与现有的仅将解码帧作为输入的基于CNN的方法相比,所提出的方法考虑编码单元(CU)大小信息并将其与失真的解码帧组合,使得由HEVC引入的伪影被有效地减少。我们还引入了一个自适应切换神经网络(adaptive-switching neural network,简称CNN),它由多个独立的CNN组成,可以自适应地处理压缩视频帧中的内容变化和失真,从而进一步减少视觉伪影。此外,提出了一个迭代训练过程,训练这些独立的CNN专注于不同的本地补丁类。基准序列上的实验证明了我们的分区感知和自适应切换神经网络的有效性。源代码可以在http://min.sjtu.edu.cn/lwydemo/HEVCpostprocessing.html上找到。
2019-12-25 cs.MM eess.IV
A Generalized Rate-Distortion-$λ$ Model Based HEVC Rate Control Algorithm
高效视频编码(HEVC/H.265)标准使广泛使用的H.264/AVC标准的压缩效率加倍。对于实际应用,需要开发用于HEVC的速率控制(RC)算法。基于R-Q、R- $ρ$或R- $λ$模型,速率控制算法旨在将视频片段/段精确地编码到目标比特率,并且在压缩之后具有高视频质量。在HEVC码率控制算法所使用的各种模型中,R- $λ$模型在编码效率和码率控制准确性方面表现最好。然而,与使用固定量化参数(QP)的编码相比,当比较在相同平均比特率下实现的视频质量时,即使是最好的速率控制算法[1]仍然表现不佳。提出了一种新的广义率失真- $λ$(R-D- $λ$)模型,用于描述率失真优化编码中码率(R)、失真(D)和拉格朗日乘子($λ$)之间的关系.为了更好地分配码率,在设计了分层初始化和系数更新方案的基础上,提出了一种新的基于模型的码率分配方案,该方案由摊销、平滑窗口和一致性控制三部分组成。在HEVC参考软件HM-16.9中实现所提出的算法的实验结果表明,所提出的速率控制算法能够实现平均6.09%、3.15%和4.03%的随机接入(RA)的BDBR节省,低延迟P(LDP)和低延迟B(LDB)配置,与HM中实现的基于R- $λ$模型的RC算法[1]进行比较。该算法在码率控制精度和编码速度几乎不受影响的情况下,性能优于现有算法。
2019-11-02 cs.MM
Regression-based Intra-prediction for Image and Video Coding
通过利用图像中先前已知的区域,帧内预测技术可以找到当前块的良好估计。这允许编码器仅存储原始块和所生成的估计之间的误差,从而导致编码效率的提高。诸如AVC和HEVC之类的标准描述了专家设计的预测模式,其与单独的DC和平面预测模式一起在某些角度取向上操作。被设计为预测器,虽然这些技术已经被证明在图像和视频编码应用中表现良好,但是它们不一定完全利用自然图像结构。在本文中,我们描述了一种新的系统,用于开发来自自然图像块的预测。所提出的算法是用设计的预测器(例如HEVC风格的预测)来播种的,并且允许通过正则化回归来迭代地改进这些预测器。由此产生的预测模型显示出显着的改进,在所有条件下,同时保持合理的计算复杂性的估计质量超过其设计的同行。我们还演示了该算法如何处理帧内预测的最坏情况下,没有错误报告。
2016-05-12 cs.MM
Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding
帧内预测是视频压缩的重要组成部分,它利用图像的局部信息消除空间域的冗余。在高效视频编码(H.265/HEVC)和通用视频编码(H.266/VVC)中,采用多个方向预测模式来找到每个小块的纹理趋势,然后基于所选方向上的参考样本进行预测。近年来,基于神经网络的帧内预测方法取得了巨大的成功。在这些方法中,网络被训练并应用于帧内预测以辅助方向预测模式。在本文中,我们提出了一种新的树结构的数据聚类驱动的神经网络(简称TreeNet)的帧内预测,建立网络和聚类的训练数据在树结构的方式。具体来说,在TreeNet的每次网络分裂和训练过程中,叶子节点上的每个父网络通过添加或减去高斯随机噪声被分裂为两个子网络。然后,数据聚类驱动的训练被应用于使用它们的父网络的聚类的训练数据来训练两个派生的子网络。为了测试性能,TreeNet被集成到VVC和HEVC中,以与方向预测模式结合或取代方向预测模式。此外,提出了一种快速终止策略,以加速TreeNet的搜索。实验结果表明,与VVC(VTM-4.0)和HEVC(HM-16.9)相比,具有快速终止的TreeNet可以分别达到平均2.8%的Bjontegaard失真率(BD率)改善(高达8.1%)和4.9%的BD率改善(高达8.2%)。
2022-06-21 cs.MM
Effectiveness of Crypto-Transcoding for H.264/AVC and HEVC Video Bit-streams
为了避免因需要在代码转换之前解密视频然后在之后重新加密而产生的延迟,本文评估了一种选择性加密(SE)内容保护方案。该方案适用于最近的标准化编解码器,即H. 264/高级视频编码(AVC)和高效视频编码(HEVC)。具体而言,本文概述了一个联合密码转码方案的安全视频码流的transrating。也就是说,它生成新的视频比特率,可能作为HTTP自适应流(HAS)内容分发网络的一部分。该方案将比特率降低到一个或多个较低的期望比特率,而不会在加密/解密过程中消耗时间,这将是使用完全加密时的情况。此外,解密密钥不再需要暴露在中间设备处,包括当在云数据中心中执行速率转换时。该方案的有效性进行了不同的评估:通过检查SE产生的视觉失真;通过计算和比特率开销的程度;以及通过选择加密时的比特流内的选定元素的密码。结果表明,仍然存在:一个内容;量化水平(transrating的加密视频后);和编解码器类型依赖于任何失真介绍。另一个建议是,高级加密标准(AES)是首选的SE轻量级XOR加密,尽管它在其他地方作为一种实时加密方法。
2019-02-19 cs.MM
Joint Rate Allocation with Both Look-ahead And Feedback Model For High Efficiency Video Coding
多个编码视频流之间的联合码率分配的目标是共享带宽,以满足最小平均失真(minAVE)或最小失真方差(minVAR)的要求。在以往的工作中的minVAR问题,比特直接分配成比例的复杂性措施,我们称之为前瞻分配模型(LAM),这导致了这样一个事实,即性能将完全取决于复杂性措施的准确性。提出了一种用于高效视频编码(HEVC)平台的联合码率分配的前瞻反馈分配模型(LFAM),该模型对计算开销的要求可以忽略不计。我们从理论上推导了minVAR的目标函数模型。根据编码器一起反馈的复杂度度量、失真和比特率值来分配比特。我们在HEVC参考软件HM16.0中集成了所提出的分配模型,并将若干复杂性度量应用于我们的分配模型。结果表明,我们提出的LFAM性能优于LAM,平均节省65.94%的方差的均方误差(MSE)与不同的复杂性措施。
2018-03-15 cs.MM
A Combined Deep Learning based End-to-End Video Coding Architecture for YUV Color Space
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通科技荷兰有限公司)
大多数现有的基于深度学习的端到端视频编码(DLEC)架构是专门针对RGB颜色格式设计的,然而过去几十年开发的视频编码标准(包括H.264/AVC、H.265/HEVC和H.266/VVC)主要是针对YUV 4:2:0格式设计的,其中色度(U和V)分量被二次采样以实现考虑人类视觉系统的优异压缩性能。虽然大量关于DLEC的论文在RGB域中比较了这两种不同的编码方案,但理想的是在YUV 4:2:0域中具有通用的评估框架,以便进行更公平的比较。本文介绍了一种新的DLEC架构,用于视频编码,以有效地支持YUV 4:2:0,并在一个共同的评估框架下将其性能与HEVC标准进行了比较。在YUV 4:2:0视频序列上的实验结果表明,该架构在帧内编码方面优于HEVC,但帧间编码的效率不如最近文献中报道的RGB编码结果。
2021-04-01 cs.AI cs.CV cs.LG
Convolutional Neural Network-Based Block Up-sampling for Intra Frame Coding
受卷积神经网络(CNN)图像超分辨率研究的启发,提出了一种基于CNN的块上采样帧内编码方案。块可以在通过正常帧内编码压缩之前被下采样,然后被上采样到其原始分辨率。与以往基于上下采样编码的研究不同,我们方案中的上采样方法是通过训练CNN而不是手工设计的。我们探索了一种新的上采样CNN结构,它具有特征图的反卷积,多尺度融合和残差学习,使网络既紧凑又高效。我们还分别为亮度和色度分量的上采样设计了不同的网络,其中色度上采样CNN利用亮度信息来提高其性能。此外,我们设计了一个两阶段的上采样过程,第一阶段是在逐块编码循环内,第二阶段是在整个帧上执行,以便细化块边界。我们还实证研究了如何设置下采样块的编码参数,以追求帧级率失真优化。我们提出的方案被实现到高效率视频编码(HEVC)参考软件,并进行了一系列全面的实验来评估我们的方法。实验结果表明,我们的方案实现了显着的比特节省相比,HEVC锚,特别是在低比特率,导致平均5.5%的BD率降低普通测试序列和平均9.0%的BD率降低超高清(UHD)测试序列。
2017-07-14 cs.MM
A H.265/HEVC Fine-Grained ROI Video Encryption Algorithm Based on Coding Unit and Prompt Segmentation
Nanjing University of Information Science and Technology(南京信息工程大学);Guangzhou University(广州大学)
本文提出基于编码单元和提示分割的细粒度ROI视频加密算法,通过改进的ROI映射方法和多语法元素选择加密方案,提升加密精度与安全性,适用于医疗、军事等敏感领域。
2026-04-09 cs.MM eess.IV
Statistical Analysis of Inter Coding in VVC Test Model (VTM)
针对VVC编码器复杂度高的问题,本文统计分析VTM中CU尺寸与帧间编码模式,为理解新划分和编码工具的复杂度并设计加速方法提供依据。
2023-12-16 cs.MM
Transform Network Architectures for Deep Learning based End-to-End Image/Video Coding in Subsampled Color Spaces
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
大多数现有的基于深度学习的端到端图像/视频编码(DLEC)架构都是针对非二次采样RGB颜色格式设计的。然而,为了实现优异的编码性能,许多现有技术的基于块的压缩标准(诸如高效视频编码(HEVC/H.265)和通用视频编码(VVC/H.266))主要针对YUV 4:2:0格式而设计,其中通过考虑人类视觉系统对U和V分量进行子采样。本文研究了各种DLEC设计,以支持YUV 4:2:0格式,通过在一个共同的评估框架下将其性能与HEVC和VVC标准的主要配置文件进行比较。此外,提出了一种新的变换网络结构,以提高编码的效率YUV 4:2:0数据。在YUV 4:2:0数据集上的实验结果表明,该架构的性能明显优于现有RGB格式架构的朴素扩展,与HEVC中的帧内编码相比,平均BD速率提高了约10%。
2021-08-27 cs.AI cs.CV cs.LG
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案,通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似,在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
H.265/HEVC Video Steganalysis Based on CU Block Structure Gradients and IPM Mapping
Nanjing University of Information Science and Technology(南京信息工程大学);University of Macau(澳门大学);Guangzhou University(广州大学)
本文提出基于CU块结构梯度和IPM映射的新型H.265/HEVC视频隐写分析方法,通过构建梯度图和IPM块级映射,联合建模由隐写术引入的结构扰动,实验表明在不同量化参数和分辨率下均能有效检测基于CU块结构的隐写术。
2026-06-16 cs.MM eess.IV
Frequency-Dependent Perceptual Quantisation for Visually Lossless Compression Applications
现有技术的高效率视频编码(HEVC)标准中的默认量化算法,即均匀重构量化(URQ)和率失真优化量化(RDOQ),不考虑各个变换系数的感知相关性。在本文中,提出了用于HEVC的频率相关感知量化(FDPQ)技术。FDPQ通过考虑AC变换系数与DC系数的欧几里德距离来利用线性变换基函数的公认的调制传递函数(MTF)特性。因此,在亮度和色度Cb和Cr变换块(TB)中,FDPQ更粗略地量化感知上最不相关的变换系数(即,高频AC系数)。相反,FDPQ保留DC系数和极低频AC系数的完整性。与视频编码中使用最广泛的变换系数级量化技术RDOQ相比,FDPQ成功地实现了高达41%的比特率降低。此外,主观评估确认FDPQ编码的视频数据在感知上是不可区分的(即,视觉上无损)。
2019-06-08 cs.MM
Hybrid Video Signal Coding Technologies: Past, Current and Future
随着人们对高质量视频应用需求的不断增长,对视频信号编码的研究和开发也越来越多。本章介绍了一些先进的技术,以提高率失真性能的基于块的混合视频编码系统。此外,从H.264/AVC和HEVC的发展可以看出,当前的大多数编码工具,例如预测、变换和熵编码,在压缩性能上的改进空间较小。另一方面,现代视频标准中的环路滤波器显示了良好的效果。因此,我们相信环路滤波器可以成为下一代视频编码中有助于更高视频压缩的候选者。仿真结果表明,改进后的算法性能明显优于现有算法,并增加了新的自由度,提高了整体率失真性能。因此,它们可以成为下一代视频编解码器的候选编码工具。
2016-07-20 cs.MM
Fast multi-encoding to reduce the cost of video streaming
视频互联网流量的增长以及视频属性(如帧速率、分辨率和位深度)的进步推动了设计大规模、高效视频编码环境的需求。这对于基于HTTP的动态自适应流传输(DASH)的内容供应甚至更重要,因为它需要对相同视频内容的许多表示进行编码。高效视频编码(HEVC)是一种标准视频编解码器,其相对于其前身高级视频编码(AVC)显著地提高了编码效率。这种改进是以显著增加的时间复杂度为代价实现的,这对内容和服务提供商来说是一个挑战。由于各种表示是以不同比特率或分辨率编码的相同视频内容,因此可以共享来自已经编码的表示的编码分析信息以加速其他表示的编码。几种最先进的方案首先编码单个表示,称为参考表示。在该编码期间,编码器利用诸如切片类型决策、CU、PU、TU分割和HEVC比特流本身的信息来创建分析元数据。其余的表示(称为依赖表示)分析上述元数据,然后重用它以跳过搜索某些分区,从而降低了计算复杂性。随着基于云的编码服务的出现,通过利用增加数量的资源来加速视频编码,即,利用多核CPU,可以并行地对多个表示进行编码。本文概述了各种各样的多编码方案,这些方案分别支持和不支持集成到HEVC测试模型(HM)和x265中的机器学习方法。
2022-10-25 cs.MM
Lossless Image and Intra-frame Compression with Integer-to-Integer DST
视频译码标准主要经设计以用于高效有损压缩,但还需要使用对有损译码架构的小修改来支持视频译码标准内的高效无损压缩。一种简单的方法是跳过变换和量化,并且简单地对预测残差进行熵编码。然而,这种方法在压缩方面是低效的。更有效且流行的方法是跳过变换和量化,但也在熵译码之前沿着水平或垂直方向用DPCM处理残余块。本文探讨了一种替代方法的基础上处理的残差块与整数到整数(i2 i)变换。I2 i变换可将整数像素映射到整数变换系数而不增加动态范围,且可用于无损压缩。我们专注于无损帧内编码和开发新的i2 i近似的奇数类型3 DST(ODST-3)。利用HEVC参考软件的实验结果表明,所开发的ODST-3的i2 i近似相对于使用流行的DPCM方法的HEVC版本2将无损帧内压缩效率提高了平均2.7%,而对计算复杂性没有显著影响。
2017-08-23 cs.MM eess.IV
Spatiotemporal Adaptive Quantization for the Perceptual Video Coding of RGB 4:4:4 Data
由于人类视觉系统(HVS)的光谱敏感现象,原始RGB 4:4:4序列的颜色通道包含显著的心理视觉冗余;这些冗余可以被感知量化。HEVC标准中的默认量化系统被称为均匀重构量化(URQ)和率失真优化量化(RDOQ); URQ和RDOQ对于RGB 4:4:4视频数据的编码不是感知优化的。在本文中,我们提出了一种新的时空感知量化技术SPAQ。对于RGB 4:4:4视频数据的应用,SPAQ除了空间掩蔽和时间掩蔽之外还利用HVS光谱灵敏度相关的颜色掩蔽; SPAQ在编码块(CB)级别和预测单元(PU)级别操作。如果检测到G、B和R CB中的高方差空间数据,并且如果检测到PU中的高运动矢量幅度,则所提出的技术在CB级别感知地调整量化步长(QStep)。与锚点1(HEVC HM 16.17 RExt)相比,SPAQ显著降低了比特率,最大降低约80%。主观评价中的平均意见评分(MOS)以及SSIM评分表明,与锚点相比,SPAQ成功实现了感知上的无损压缩。
2020-05-16 cs.MM eess.IV
Overview of Screen Content Coding in Recently Developed Video Coding Standards
近年来,包括计算机生成的文本、图形和动画的屏幕内容(SC)视频比以往任何时候都引起了更多的关注,因为许多相关应用变得非常流行。为了解决对这种内容的有效编码的需要,已经专门开发了许多编码工具,并且在编码效率方面取得了很大的进步。在所有最近开发的视频编码标准(即HEVC SCC、VVC、AVS 3、AV 1和EVC)中包含屏幕内容编码(SCC)特征证明了支持这些特征的重要性。本文提供了屏幕内容编码技术的概述和比较研究,与这些标准中开发的工具的性能和复杂性方面的讨论。
2020-11-28 cs.MM eess.IV
Evaluating Wi-Fi Performance for VR Streaming: A Study on Realistic HEVC Video Traffic
Universitat Pompeu Fabra(庞培法布拉大学)
本文通过仿真实验研究了Wi-Fi网络在支持真实VR流媒体时的性能,发现Intra-refresh编码能有效降低延迟波动并提升服务质量,支持最多4个CBR 100 Mbps的VR用户
2026-01-23 cs.MM cs.NI eess.IV
A Convolutional Neural Network Approach for Half-Pel Interpolation in Video Coding
运动补偿是视频编码中的一项基本技术,用于消除视频帧间的时间冗余。为了进一步提高编码效率,已经利用了子像素运动补偿,这需要分数样本的内插。视频编码标准通常采用固定的插值滤波器,这些滤波器是从信号处理理论中推导出来的。然而,由于视频信号不是静止的,固定插值滤波器可能变得效率较低。受卷积神经网络(CNN)在计算机视觉中的巨大成功的启发,提出了一种基于卷积神经网络的视频编码插值滤波器(CNNIF)。与以前的研究不同,训练CNNIF的一个困难是缺乏基础事实,因为分数样本实际上不可用。我们的解决方案是通过平滑高分辨率图像来获得分数样本的“地面真实值”,这被验证是有效的。与高效视频编码(HEVC)中用于亮度的固定半像素插值滤波器相比,我们提出的CNNIF在低延迟P配置下实现了高达3.2%和平均0.9%的BD速率降低。
2017-03-10 cs.MM
A Rate Control Algorithm for Video-based Point Cloud Compression
基于视频的点云压缩(V-PCC)已经是新兴的压缩技术,其将3D点云投影到2D平面中并且使用高效视频编码(HEVC)来编码投影的2D视频(几何视频和彩色视频)。在这项工作中,我们提出了一种速率控制算法的所有帧内(AI)配置的V-PCC。具体来说,基于存在于投影视频中的质量依赖性,我们开发了一种优化配方来分配几何视频和彩色视频之间的目标比特。此外,我们设计了一个两遍的方法,以适应投影视频的新特点,这显着提高码率控制的准确性。实验结果表明,我们的算法优于V-PCC没有速率控制的R-D性能只有0.43%的比特率误差。
2022-05-24 cs.MM
CNN-based driving of block partitioning for intra slices encoding
本文提供了一种基于深度学习的编码器方法的技术概述,旨在优化下一代混合视频编码器,以驱动帧内切片中的块划分。本文提出了一种基于卷积神经网络的编码方法,用一个系统的、自动的过程来部分地代替传统的基于神经网络的编码器加速。该解决方案允许在帧内切片中用一个单个参数控制复杂度和编码增益之间的权衡。该算法在联合视频探索小组(JVET)关于具有超越HEVC的能力的视频压缩的提案征集中提出。在All Intra配置中,对于给定的允许的分割拓扑,在没有BD速率损失的情况下获得$\times 2$的加速,或者在BD速率损失低于1%的情况下获得高于$\times 4$的加速。
2020-11-12 cs.MM
A Video Steganography for H.265/HEVC Based on Multiple CU Size and Block Structure Distortion
Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology(南京信息工程大学教育部数字取证工程研究中心);Nanjing University of Information Science and Technology(南京信息工程大学);School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);Guangzhou University(广州大学)
本文提出一种基于多CU尺寸和块结构失真的视频隐写算法,通过引入CBSSM指标、新型映射规则和三级失真函数,提升抗隐写分析能力和嵌入容量。
2026-04-02 cs.MM
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University(复旦大学);Waseda University(早稻田大学)
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构,基于神经网络的帧内预测使用全连接网络来预测块,而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是,我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级,从而实现更精确的滤波补偿。据我们所知,在所有基于学习的方法中,这是第一次尝试在一个应用中结合两个不同的网络,并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明,与HM-16.20基线相比,我们的方法对于提供的8个序列导致显著的BD速率节省(对于所有帧内和随机访问编码,分别平均降低10.24%和3.57%的比特率)。对于HEVC测试序列,与HM-16.20基线相比,我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
Spatial Information Refinement for Chroma Intra Prediction in Video Coding
视频压缩受益于先进的色度帧内预测方法,例如跨分量线性模型(CCLM),其使用线性模型来近似亮度和色度分量之间的关系。最近,已经证明,基于神经网络(NN)的高级交叉分量预测方法可以带来额外的编码增益。提出了一种基于空间信息细化的神经网络色度帧内预测算法。具体地,色度帧内预测的性能可以通过精细下采样或通过合并位置信息来改善。实验结果表明,在H.266/VVC测试模型下,在全帧内配置下,两种方法分别获得了0.31%、2.64%、2.02%和0.33%、3.00%、2.12%的Y、Cb和Cr分量的BD率降低。索引项-色度帧内预测,卷积神经网络,空间信息细化。
2021-09-24 cs.MM
A multi-level approach with visual information for encrypted H.265/HEVC videos
Jiangxi University of Finance and Economics(江西财经大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
已提出高效视频译码(HEVC)加密以出于视频加密的目的而加密语法元素。为了实现高视频安全性,据我们所知,几乎所有现有的HEVC加密算法都主要对整个视频进行加密,使得没有权限的用户无法获得任何可观看的信息。然而,这些加密算法不能满足需要部分信息而不是视频中的全部信息的客户的需求。在很多情况下,比如专业的付费视频或者视频会议,用户希望在加密视频中观察到一些原始视频的可见信息,以满足日常生活中的需求。针对这一需求,提出了一种由轻量级加密、中等加密和重量级加密组成的多级加密方案,每个加密级别可以获取不同数量的可视信息。研究发现,对亮度帧内预测模型(IPM)进行加密和对DCT系数符号的语法元素进行置乱都可以获得失真视频的性能,但仍有残留的视觉信息,而对IPM和DCT系数符号的语法元素进行加密可以实现加密的强度,并且不能获得任何视觉信息。实验结果符合我们的预期,表明在每个加密级别中有不同数量的视觉信息。同时,用户可以根据自己的不同需求灵活选择加密级别。
2020-11-05 cs.LG cs.MM
Lossless 4:2:0 Screen Content Coding Using Luma-Guided Soft Context Formation
针对软上下文形成编码器不原生支持YCbCr 4:2:0格式的问题,本文通过Y和CbCr平面顺序编码、亮度引导的色度预测增强及传输亮度-色度组合辅助信息,将其扩展到该格式,在大型数据集上平均比特率比HEVC-SCC低5.66%。
2025-08-26 cs.MM eess.IV eess.SP
All-intra rate control using low complexity video features for Versatile Video Coding
本文提出一种基于低复杂度视频分析和随机森林模型的全帧内双通速率控制首次处理方法,在VVenC中实现约32%编码时间缩减且仅增加2% BD-rate。
2023-06-29 cs.MM
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化,这些模式包括:(i)最大视频质量,(ii)最小比特率,(iii)最大编码率(之前的最小编码时间模式)和(iv)可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下,以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现,该方法使用不同的视频编码标准(x265,VP 9,AV 1)对来自不同视频数据集的各种视频进行编码。结果表明,从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省,而不牺牲视频质量。这是通过使用有效的回归模型来实现的,该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265,VP 9,AV 1,并在x265中使用新的GOP配置,在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
SSIM-Variation-Based Complexity Optimization for Versatile Video Coding
到目前为止,通用视频编码(VVC)具有比高效视频编码(HEVC)更出色的整体性能。四叉树嵌套多类型树(QTMT)编码块结构可以显著提高VVC中的视频编码质量。然而,编码增益也导致更大的编码复杂度。因此,本文提出了一种基于结构相似性指标度量变化的快速决策方案(FDS-SSIMV)来解决这一问题。首先,示出了spit模式的子编码单元之间的结构相似性指数度量变化(SSIMV)特性。其次,为了评估SSIMV值,本文针对不同的分割模式设计了SSIMV测量策略。然后,通过SSIMV值选择期望的分离模式。实验结果表明,该方法在$\varnothing$整数倍增量比特率(BDBR)为2.79%的情况下,平均编码时间节省(TS)为64.74%,优于基准测试.
2022-05-08 cs.MA cs.MM
A One-dimensional HEVC video steganalysis method using the Optimality of Predicted Motion Vectors
Engineering University of the Chinese People’s Armed Police Force(中国人民武装警察部队工程大学)
本文提出一种基于预测运动矢量最优性的一维HEVC视频隐写分析特征,利用原始视频中MVP最优率为100%而隐写视频低于100%的差异实现准确检测,无需训练且计算复杂度低。
2023-08-12 cs.CR cs.LG cs.MM
A two-stage video coding framework with both self-adaptive redundant dictionary and adaptively orthonormalized DCT basis
在这项工作中,我们提出了一个两阶段的视频编码框架,作为我们以前的一个阶段的框架在[1]中的扩展。两阶段框架由两个不同的字典组成。具体地说,第一阶段直接找到一个自适应字典组成的所有可能的帧间预测候选块的稀疏表示,通过解决一个L0范数最小化问题,使用改进的正交匹配追踪与嵌入式正交归一化(eOMP)算法,和第二阶段编码的残差使用DCT字典自适应正交归一化到第一阶段原子所跨越的子空间。第一级和第二级的转换基于两级的量化步长和阈值来确定。我们进一步提出了一个完整的上下文自适应熵编码器,有效地编码的位置和选定的第一级原子的系数。仿真结果表明,该编码器显着提高了RD性能比我们以前的一级编码器。更重要的是,仅使用固定块大小和帧间预测的两阶段编码器优于H. 264编码器(x264),并且在大速率范围上与HEVC参考编码器(HM)竞争。
2015-02-12 cs.MM
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法,其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估,使用视频测试序列在一个实际的设置,包括一个简单的,实时的降噪技术和高效率的视频编解码器(HEVC)。实验结果表明,与传统的视频编码方法相比,该方法可以使重构视频的主观质量提高约1.8个MOS(Mean Opinion Scope)点(11点尺度)。此外,本工作证实了在以前的作品中获得的结果,即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
A Visual Perception-Based Tunable Framework and Evaluation Benchmark for H.265/HEVC ROI Encryption
School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院)
本文提出基于视觉感知的可调框架和评估基准,用于提升H.265/HEVC ROI加密的安全性和效率。
2025-11-25 cs.CR cs.MM eess.IV
An Efficient QP Variable Convolutional Neural Network Based In-loop Filter for Intra Coding
本文提出了一种新的基于QP可变卷积神经网络的VVC帧内编码环路滤波器。为了避免训练和部署多个网络,我们开发了一个高效的QP注意模块(QPAM),它可以捕获不同QP的压缩噪声水平,并强调沿通道维度的有意义的特征。然后将QPAM嵌入到残差块中,并在此基础上设计了一种对不同QP具有可控性的网络结构。为了使该模型能够更好地处理压缩伪影较多或难以恢复的样本,引入了局部均方误差(MSE)损失函数对网络进行微调。实验结果表明,该方法在所有帧内配置下平均节省了4.03%的BD率,比QP分离的CNN模型更好,同时具有更少的模型参数。
2020-12-30 cs.MM