Joint Optimization of Rate, Distortion, and Decoding Energy for HEVC Intraframe Coding
本文提出了一种新的算法,旨在通过利用HEVC解码器解决方案的一般能量模型,最大限度地减少所需的解码能量。我们将能量模型结合到HEVC编码器中,使得它能够构造其解码过程消耗比常规比特流的解码过程更少能量的比特流。为了实现这一点,我们建议扩展传统的率失真优化方案的解码能量率失真的方法。为了在优化过程中获得快速的编码决策,我们推导出量化参数和拉格朗日乘子之间的固定关系,用于能量优化。我们的实验表明,这个概念是适用于帧内编码的视频和本地播放以及在线流媒体的情况下,高达15%的解码能量可以节省在大约相同幅度的比特率增加的代价。
2022-03-03 eess.IV
Machine Learning based Post Processing Artifact Reduction in HEVC Intra Coding
有损压缩技术产生各种伪像,如模糊、块边界处的失真、特别是在低比特率下的输出上的振铃和轮廓效应。为了减少这些压缩伪像,近年来已经试验了各种基于卷积神经网络(CNN)的后处理技术。最新的视频编码标准HEVC采用两个后处理滤波操作,即去块滤波器(DBF)和采样自适应偏移(SAO)。这些操作消耗了额外的信令比特,成为网络的开销。本文提出了一种新的基于深度学习的SAO滤波算法。我们设计了一个可变滤波器大小的子层更深的CNN(SDCNN)架构,以改善滤波操作,并纳入大步幅卷积,反卷积层进一步加快。我们还证明了,使用基于数据增强和迁移学习的技术,可以使用在浅层网络中学习的特征有效地训练更深层次的架构模型。实验结果表明,我们提出的网络优于其他网络的PSNR和SSIM测量广泛可用的基准视频序列,也执行平均4.1%的比特率减少相比,HEVC基线。
2019-12-30 eess.IV
Multiple description video coding for real-time applications using HEVC
本文提出一种兼容HEVC的低复杂度、低延迟双信道多描述编码(MDC)方案,通过自适应IDR帧周期提升视频流在无线传输中的抗丢包鲁棒性。
2023-08-07 eess.IV
Perceptual Quality Assessment of HEVC and VVC Standards for 8K Video
随着新兴视频应用的数据消耗不断增长以及用户对更高分辨率(高达8 K)的需求,视频压缩技术已经做出了巨大的努力。近来,多功能视频编码(VVC)已经由运动图像专家组(MPEG)标准化,从而提供了相对于其前身高效视频编码(HEVC)的压缩性能的显著改进。在本文中,我们提供了8 K分辨率视频的VVC和HEVC标准之间的比较主观质量评估。此外,我们还评估了8 K相对于UHD 4K分辨率所提供的感知质量改进。VVC和HEVC标准两者的压缩性能已经在随机存取(RA)编码配置中使用它们各自的参考软件、VVC测试模型(VTM-11)和HEVC测试模型(HM-16.20)来进行。使用PSNR、MS-SSIM和VMAF指标的客观测量表明,VVC相对于HEVC为8 K视频内容提供的比特率增益分别约为31%、26%和35%。主观上,对于相同的视觉质量,VVC提供了比HEVC平均40%的比特率降低。关于学生t检验分析,一些测试的视频序列已达到50%的压缩增益。此外,对于大多数测试场景,未压缩的4K和8 K之间存在显著的视觉差异。
2021-12-20 eess.IV
Multispectral Image Compression Based on HEVC Using Pel-Recursive Inter-Band Prediction
光学传感器的最新发展使得多光谱成像的广泛应用成为可能,例如,用于监视、光学分类和生命科学仪器。提高空间和光谱分辨率可以创建更高质量的产品,但是,它在处理如此大量的数据方面带来了挑战。因此,需要专门的多光谱图像压缩技术。已知高效视频编码(HEVC)是视频编码和静止图像编码两者的效率的现有技术。在本文中,我们提出了一个跨频谱压缩方案,有效地编码多光谱数据的基础上HEVC。通过一种新的带间预测器扩展帧内图像预测,可以有效地利用频谱和空间冗余。通过自适应线性回归建模,共同考虑当前波段和进一步光谱参考之间的相关性。所提出的后向预测方案不需要用于解码的附加边信息。我们表明,我们的新方法是能够优于国家的最先进的有损压缩技术的率失真性能。在不同的数据集上,与HEVC和来自文献的参考方法相比,分别实现了82%和55%的平均Bjøntegaard delta速率节省。
2023-03-09 eess.IV
Compression of High Dynamic Range Video Using the HEVC and H.264/AVC Standards
诸如H. 264/AVC和高效视频编码(HEVC)的现有视频编码标准是基于低动态范围(LDR)视频的统计特性设计的,并且不习惯于高动态范围(HDR)内容的特性。在这项研究中,我们研究了最新的LDR视频压缩标准,HEVC,以及最近广泛使用的商业视频压缩标准,H.264/AVC,对HDR内容的性能。对HDR显示器上的结果的主观评估表明,观众显然更喜欢通过基于HEVC的编码器编码的视频,而不是使用H.264/AVC编码器编码的视频。具体而言,HEVC在平均意见得分方面平均优于H. 264/AVC 10.18%,在比特率节省方面平均优于H. 264/AVC 25.08%。
2018-03-13 eess.IV
A Lossless Intra Reference Block Recompression Scheme for Bandwidth Reduction in HEVC-IBC
帧间预测中的参考帧存储器访问导致高DRAM带宽要求和功耗。通过采用帧内块复制(IBC),该问题更加严重,IBC是对高效率视频编码(HEVC)的屏幕内容编码(SCC)扩展中的新编码工具。在本文中,我们提出了一种无损再压缩方案,压缩帧内预测中的参考块,即,在将它们存储到DRAM中之前进行块内复制,以减轻这个问题。该方案采用基于边缘的自适应预测方法进行逐像素的纹理分析,而不需要比特流中的方向信号,从而实现了高的压缩增益。实验结果表明,该方案显示了72%的数据减少率平均,解决了内存带宽的问题。
2021-04-05 eess.IV
Position Dependent Prediction Combination For Intra-Frame Video Coding
针对HEVC帧内预测中递归滤波器阻碍并行计算的问题,推导出性能更优的非递归预测器,提出根据预测模式和块大小组合滤波与未滤波参考样本预测值的扩展方法,在AI配置下实现2.0%的平均比特率降低。
2025-05-29 eess.IV
A H.265/HEVC Fine-Grained ROI Video Encryption Algorithm Based on Coding Unit and Prompt Segmentation
Nanjing University of Information Science and Technology(南京信息工程大学);Guangzhou University(广州大学)
本文提出基于编码单元和提示分割的细粒度ROI视频加密算法,通过改进的ROI映射方法和多语法元素选择加密方案,提升加密精度与安全性,适用于医疗、军事等敏感领域。
2026-04-09 cs.MM eess.IV
Neural Frank-Wolfe Policy Optimization for Region-of-Interest Intra-Frame Coding with HEVC/H.265
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出了一种强化学习(RL)框架,利用Frank-Wolfe策略优化来解决感兴趣区域(ROI)帧内编码的编码树单元(CTU)比特分配问题。大多数以前的基于RL的方法采用单批评设计,其中失真最小化和速率正则化的奖励由经验选择的超参数加权。最近,提出了双批评的设计,以更新演员交替率和失真的批评。然而,它的收敛性并没有得到保证。为了解决这些问题,我们引入神经Frank-Wolfe策略优化(NFWPO),将CTU级的比特分配作为一个动作约束的RL问题。在这个新的框架中,我们利用一个率的评论家来预测一个可行的行动。有了这个可行的集合,调用失真评论来更新演员,以最大化受速率约束的ROI加权图像质量。用x265产生的实验结果证实了所提出的方法的优越性,其他基线。
2022-09-27 cs.CV eess.IV
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案,通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似,在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
Efficient Predictive Coding of Intra Prediction Modes
本研究针对帧内预测模式编码问题,提出基于上下文信息、含预测/聚类/编码三步的创新编码方案,通过遗传算法优化码率代价,在HEVC下实现显著比特率增益且保留JEM编码效率。
2023-10-09 eess.IV
Extending Video Decoding Energy Models for 360° and HDR Video Formats in HEVC
研究表明,解码器能量模型是提高视频回放应用中能量效率的有用工具。例如,准确的基于特征的比特流模型可以减少解码过程的能量消耗。然而,到目前为止,只有SDR视频格式的序列被研究。因此,本文表明,HEVC编码的比特流的解码能量可以精确地估计不同的视频格式和编码比特深度。因此,我们比较了一个国家的最先进的模型,从文献中提出的模型。我们表明,360°,HDR和鱼眼视频格式的比特流可以估计的平均估计误差低于3.88%,如果设置具有相同的编码比特深度。此外,它示出,平均而言,用于解码的比特流的能量需求为10比特的比特深度是55%高于8比特。
2022-09-21 eess.IV
Video Quality Assessment and Coding Complexity of the Versatile Video Coding Standard
本文全面分析了VVC标准相比HEVC的编码性能与复杂度,发现VVC在主客观质量上可节省31%-40%比特率,但解码复杂度增加1.5倍,编码复杂度至少增加8倍。
2023-10-19 eess.IV
Lossless Image and Intra-frame Compression with Integer-to-Integer DST
视频译码标准主要经设计以用于高效有损压缩,但还需要使用对有损译码架构的小修改来支持视频译码标准内的高效无损压缩。一种简单的方法是跳过变换和量化,并且简单地对预测残差进行熵编码。然而,这种方法在压缩方面是低效的。更有效且流行的方法是跳过变换和量化,但也在熵译码之前沿着水平或垂直方向用DPCM处理残余块。本文探讨了一种替代方法的基础上处理的残差块与整数到整数(i2 i)变换。I2 i变换可将整数像素映射到整数变换系数而不增加动态范围,且可用于无损压缩。我们专注于无损帧内编码和开发新的i2 i近似的奇数类型3 DST(ODST-3)。利用HEVC参考软件的实验结果表明,所开发的ODST-3的i2 i近似相对于使用流行的DPCM方法的HEVC版本2将无损帧内压缩效率提高了平均2.7%,而对计算复杂性没有显著影响。
2017-08-23 cs.MM eess.IV
Spatiotemporal Adaptive Quantization for the Perceptual Video Coding of RGB 4:4:4 Data
由于人类视觉系统(HVS)的光谱敏感现象,原始RGB 4:4:4序列的颜色通道包含显著的心理视觉冗余;这些冗余可以被感知量化。HEVC标准中的默认量化系统被称为均匀重构量化(URQ)和率失真优化量化(RDOQ); URQ和RDOQ对于RGB 4:4:4视频数据的编码不是感知优化的。在本文中,我们提出了一种新的时空感知量化技术SPAQ。对于RGB 4:4:4视频数据的应用,SPAQ除了空间掩蔽和时间掩蔽之外还利用HVS光谱灵敏度相关的颜色掩蔽; SPAQ在编码块(CB)级别和预测单元(PU)级别操作。如果检测到G、B和R CB中的高方差空间数据,并且如果检测到PU中的高运动矢量幅度,则所提出的技术在CB级别感知地调整量化步长(QStep)。与锚点1(HEVC HM 16.17 RExt)相比,SPAQ显著降低了比特率,最大降低约80%。主观评价中的平均意见评分(MOS)以及SSIM评分表明,与锚点相比,SPAQ成功实现了感知上的无损压缩。
2020-05-16 cs.MM eess.IV
Decoding Energy Modeling For Versatile Video Coding
在先前的研究中,已经表明,通过使用解码能量率失真优化算法,高效率视频编码(HEVC)的软件解码能量需求可以减少15 $\%$。为了实现这一点,解码器的能量需求必须由具有足够高精度的基于比特流特征的模型来建模。因此,我们提出了两个比特流特征为基础的模型,即将到来的通用视频编码(VVC)标准。将新引入的模型与用于HEVC的来自文献的模型进行比较。所提出的模型的评价表明,平均估计误差是类似的文献的结果,并产生1.85%的估计误差与10倍交叉验证。
2022-09-21 eess.IV
Transform Network Architectures for Deep Learning based End-to-End Image/Video Coding in Subsampled Color Spaces
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
大多数现有的基于深度学习的端到端图像/视频编码(DLEC)架构都是针对非二次采样RGB颜色格式设计的。然而,为了实现优异的编码性能,许多现有技术的基于块的压缩标准(诸如高效视频编码(HEVC/H.265)和通用视频编码(VVC/H.266))主要针对YUV 4:2:0格式而设计,其中通过考虑人类视觉系统对U和V分量进行子采样。本文研究了各种DLEC设计,以支持YUV 4:2:0格式,通过在一个共同的评估框架下将其性能与HEVC和VVC标准的主要配置文件进行比较。此外,提出了一种新的变换网络结构,以提高编码的效率YUV 4:2:0数据。在YUV 4:2:0数据集上的实验结果表明,该架构的性能明显优于现有RGB格式架构的朴素扩展,与HEVC中的帧内编码相比,平均BD速率提高了约10%。
2021-08-27 cs.AI cs.CV cs.LG
Lightweight Hardware Transform Design for the Versatile Video Coding 4K ASIC Decoders
通用视频编码(VVC)是2020年7月完成的下一代视频编码标准。VVC引入了新的编码工具,与其前身高效率视频编码(HEVC)相比,提高了编码效率。这些新工具对估计为HEVC解码器复杂度的2倍的VVC软件解码器复杂度具有显著影响。具体地,变换模块在VVC中包括分别称为多变换选择(MTS)和低频不可分离变换(LFNST)工具的可分离和不可分离变换。在本文中,我们提出了一个面积有效的硬件架构的逆变换模块的VVC解码器。所提出的设计使用了一个针对专用集成电路(ASIC)平台的流水线架构,共64个常规乘法器。它包括支持包括高级视频编码(AVC)、HEVC和VVC的最新MPEG标准的变换模块的多标准架构。该架构利用了所有的初级和次级变换优化,包括蝶形分解、系数归零和变换之间的固有线性关系。综合结果表明,该方法在所有块大小下都能保持1个样本/周期的吞吐量和恒定的延迟。所提出的硬件逆变换模块在600 MHz频率下工作,能够以4:2:2色度子采样格式以每秒30帧的速度实时解码4K视频。所提出的模块已被集成在ASIC UHD解码器中,目标是消费者设备上的VVC视频的能量感知解码。
2021-11-06 eess.IV
A Bit Stream Feature-Based Energy Estimator for HEVC Software Encoding
本文提出一种基于比特流特征子集的HEVC软件编码能耗估计器,在x265预设上平均估计误差为4.88%,为开发节能视频编码算法提供依据。
2024-10-02 eess.IV
Overview of Screen Content Coding in Recently Developed Video Coding Standards
近年来,包括计算机生成的文本、图形和动画的屏幕内容(SC)视频比以往任何时候都引起了更多的关注,因为许多相关应用变得非常流行。为了解决对这种内容的有效编码的需要,已经专门开发了许多编码工具,并且在编码效率方面取得了很大的进步。在所有最近开发的视频编码标准(即HEVC SCC、VVC、AVS 3、AV 1和EVC)中包含屏幕内容编码(SCC)特征证明了支持这些特征的重要性。本文提供了屏幕内容编码技术的概述和比较研究,与这些标准中开发的工具的性能和复杂性方面的讨论。
2020-11-28 cs.MM eess.IV
H.265/HEVC Video Steganalysis Based on CU Block Structure Gradients and IPM Mapping
Nanjing University of Information Science and Technology(南京信息工程大学);University of Macau(澳门大学);Guangzhou University(广州大学)
本文提出基于CU块结构梯度和IPM映射的新型H.265/HEVC视频隐写分析方法,通过构建梯度图和IPM块级映射,联合建模由隐写术引入的结构扰动,实验表明在不同量化参数和分辨率下均能有效检测基于CU块结构的隐写术。
2026-06-16 cs.MM eess.IV
OpenVVC: a Lightweight Software Decoder for the Versatile Video Coding Standard
近年来,用户对更高分辨率的要求,加上新的多媒体应用的出现,已经产生了对新的视频编码标准的需要。被称为通用视频编码(VVC)的新一代视频编码标准已经由联合视频专家小组开发,并且提供超过上一代高效视频编码(HEVC)标准的编码能力。由于结合了更先进和复杂的工具,与HEVC相比,VVC标准的解码复杂度大约增加了一倍。这种复杂性的增加提出了新的研究挑战,以实现实时软件解码。在这种情况下,我们开发了OpenVVC,一个开源软件解码器,支持广泛的VVC功能。本文介绍了OpenVVC的软件体系结构,它的并行策略,以及一组详细的实验结果。通过将广泛的数据级并行与帧级并行相结合,OpenVVC实现了UHD视频内容的实时解码。此外,OpenVVC所需的内存非常低,这为它在低内存资源的嵌入式平台上的集成提供了很大的优势。OpenVVC解码器的代码可在www.example.com上公开获得
2022-05-24 eess.IV
Evaluating Wi-Fi Performance for VR Streaming: A Study on Realistic HEVC Video Traffic
Universitat Pompeu Fabra(庞培法布拉大学)
本文通过仿真实验研究了Wi-Fi网络在支持真实VR流媒体时的性能,发现Intra-refresh编码能有效降低延迟波动并提升服务质量,支持最多4个CBR 100 Mbps的VR用户
2026-01-23 cs.MM cs.NI eess.IV
Learned Quality Enhancement via Multi-Frame Priors for HEVC Compliant Low-Delay Applications
Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Hikvision Research Institute(海康威视研究院)
网络视频应用,例如,视频会议经常由于意外的网络波动和有限的带宽而遭受较差的视觉质量。在本文中,我们开发了一个质量增强网络(QENet),以减少视频压缩伪影,利用空间和时间先验产生的相应的多尺度卷积空间和扭曲的时间预测在一个经常性的方式时间。我们已经将该QENet作为标准的后处理子系统集成到高效率视频编码(HEVC)兼容解码器。实验结果表明,我们的QENet展示了HEVC和其他基于深度学习的方法中默认环路滤波器的最新性能,在峰值信噪比(PSNR)和主观视觉增益方面具有明显的客观增益。
2019-05-03 cs.CV eess.IV
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化,这些模式包括:(i)最大视频质量,(ii)最小比特率,(iii)最大编码率(之前的最小编码时间模式)和(iv)可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下,以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现,该方法使用不同的视频编码标准(x265,VP 9,AV 1)对来自不同视频数据集的各种视频进行编码。结果表明,从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省,而不牺牲视频质量。这是通过使用有效的回归模型来实现的,该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265,VP 9,AV 1,并在x265中使用新的GOP配置,在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
Multi-Objective Design Space Exploration for the Optimization of the HEVC Mode Decision Process
寻找最佳的编码决策压缩视频序列是一个非常复杂的问题。在这项工作中,我们提出了一个多目标的设计空间探索(DSE)方法,自动找到HEVC编码器的实现,优化了几个不同的标准。DSE将优化模式决策过程的编码模式评估顺序,并联合探索早期跳过条件,以最小化四个目标:a)比特率,b)失真,c)编码时间,和d)解码能量。在这种情况下,我们使用基于SystemC的演员模型的HM测试模型编码器的评估每个探索的解决方案。基于实际测量的评估表明,我们的框架可以自动生成编码器解决方案,在接受3%左右的比特率增加时,可以节省超过60%的编码时间或3%的解码能量。
2022-03-03 eess.IV
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University(复旦大学);Waseda University(早稻田大学)
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构,基于神经网络的帧内预测使用全连接网络来预测块,而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是,我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级,从而实现更精确的滤波补偿。据我们所知,在所有基于学习的方法中,这是第一次尝试在一个应用中结合两个不同的网络,并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明,与HM-16.20基线相比,我们的方法对于提供的8个序列导致显著的BD速率节省(对于所有帧内和随机访问编码,分别平均降低10.24%和3.57%的比特率)。对于HEVC测试序列,与HM-16.20基线相比,我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法,其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估,使用视频测试序列在一个实际的设置,包括一个简单的,实时的降噪技术和高效率的视频编解码器(HEVC)。实验结果表明,与传统的视频编码方法相比,该方法可以使重构视频的主观质量提高约1.8个MOS(Mean Opinion Scope)点(11点尺度)。此外,本工作证实了在以前的作品中获得的结果,即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
On Intra Video Coding and In-loop Filtering for Neural Object Detection Networks
用于满足作为最终用户的人类的经典视频编码是针对视觉内容的广泛研究的研究领域,并且常见的视频编解码器都针对人类视觉系统(HVS)进行了优化。但是,当压缩视频流被机器分析时,这些假设和优化也有效吗?为了回答这个问题,我们比较了两种最先进的神经检测网络在使用帧内编码的自动驾驶场景中被输入HEVC和VVC编码的劣化输入图像时的性能。此外,当对神经网络的图像进行编码时,检查三个VVC环路滤波器的影响。使用平均平均精度度量来比较结果,以评估压缩输入的对象检测性能。在这些测试中,我们发现,使用VVC而不是HEVC时,在最佳情况下仅为13.6%的对象检测网络编码时,无法达到相对于PSNR的22.2%的Bjøntegaard Delta Rate节省。此外,它表明,禁用VVC环路滤波器SAO和ALF的结果在比特率节省6.4%相比,标准VTM在相同的平均平均精度。
2022-03-11 eess.IV
Modeling the HEVC Encoding Energy Using the Encoder Processing Time
本文通过x265编码器测量分析HEVC编码时间与能耗关系,提出利用轻量级编码时间估计复杂配置能耗的模型,平均估计误差为11.35%。
2024-10-02 eess.IV
A Visual Perception-Based Tunable Framework and Evaluation Benchmark for H.265/HEVC ROI Encryption
School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院)
本文提出基于视觉感知的可调框架和评估基准,用于提升H.265/HEVC ROI加密的安全性和效率。
2025-11-25 cs.CR cs.MM eess.IV
OL-DN: Online learning based dual-domain network for HEVC intra frame quality enhancement
University of Electronic Science and Technology of China(电子科技大学);SZ DJI Technology Co., Ltd.(深圳市大疆创新科技有限公司)
基于卷积神经网络(CNN)的方法为提高压缩图像和视频的质量提供了有效的解决方案。然而,这些方法忽略了使用原始数据来提高质量。在本文中,我们采用的原始数据的质量增强的HEVC帧内编码图像,提出了一种在线学习为基础的方法。当需要提高图像质量时,我们在编码端在线训练我们提出的模型,然后使用这些参数来更新解码端的模型。该方法不仅提高了模型的性能,而且使一个模型适用于多种编码场景。此外,离散余弦变换(DCT)系数中的量化误差是各种HEVC压缩伪影的根本原因。因此,我们结合频域先验来辅助图像重建。我们设计了一个基于DCT的卷积层,以产生适合CNN学习的DCT系数。实验结果表明,我们提出的基于在线学习的双域网络(OL-DN)取得了优越的性能,与国家的最先进的方法相比。
2022-08-09 cs.CV eess.IV
BLINC: Lightweight Bimodal Learning for Low-Complexity VVC Intra Coding
University of Tehran(德黑兰大学);University of Mazandaran(马赞达兰大学)
最新的视频编码标准,通用视频编码(VVC),实现了几乎两倍的编码效率相比,其前身,高效率视频编码(HEVC)。然而,与HEVC相比,实现这种效率(对于帧内编码)需要31倍的计算复杂性,使得其对于低功率和实时应用具有挑战性。本文提出了一种新的机器学习方法,联合和单独采用两种形式的功能,以简化帧内编码决策。首先,提取一组特征,使用现有的DCT核心的VVC,以评估纹理特征,并形成第一模态的数据。这产生了高质量的功能,几乎没有开销。相邻块处的帧内模式的分布也用于形成数据的第二模态,其提供关于帧的统计信息。其次,设计了一种两步特征约简方法,该方法减小了特征集的大小,使得具有有限数量参数的轻量级模型可以用于学习帧内模式决策任务。第三,提出了三种独立的训练策略:(1)使用第一(单一)数据模态的离线训练策略,(2)使用第二(单一)模态的在线训练策略,以及(3)使用双峰学习的混合在线-离线策略。最后,基于所提出的学习策略,提出了一种低复杂度的编码算法。大量的实验结果表明,所提出的方法可以减少高达24%的编码时间,编码效率的损失可以忽略不计。此外,它演示了如何双峰学习策略可以提高学习的性能。最后,所提出的方法具有非常低的计算开销(0.2%),并且使用VVC编码器的现有组件,这使得它比竞争解决方案更实用。
2022-01-19 cs.CV cs.MM eess.IV
Complexity Analysis Of Next-Generation VVC Encoding and Decoding
虽然下一代视频压缩标准,通用视频编码(VVC),提供了一个优越的压缩效率,其计算复杂性显着增加。本文深入分析了VVC测试模型6的编码器和解码器的复杂度,通过量化每个编码工具的复杂度分解,并测量VVC编码/解码的复杂度和内存需求。这些广泛的分析是在低延迟(LD)、随机访问(RA)和全帧内(AI)条件下(总共320次编码/解码)对720 p、1080 p和2160 p的六个视频序列进行的。结果表明,与LD中的HEVC相比,VVC编码器和解码器分别复杂5倍和1.5倍,并且在AI中分别复杂31倍和1.8倍。对编码工具的详细分析表明,平均而言,在LD中,运动估计工具占53%,变换和量化占22%,熵编码占7%。在解码中,环路滤波器占30%,运动补偿占20%,熵解码占16%,是最复杂的模块。此外,VVC编码/解码所需的内存带宽是通过内存配置来测量的,分别是HEVC的30倍和3倍。报告的结果和见解是一个指导未来的研究和实现节能的VVC编码器/解码器。
2020-05-21 cs.CC cs.MM eess.IV
Conditional Coding and Variable Bitrate for Practical Learned Video Coding
介绍了一种实用的学习型视频编解码器。条件编码和量化增益矢量用于为单个编码器/解码器对提供灵活性,其能够以可变比特率压缩视频序列。通过选择速率和GOP结构来优化速率失真成本,在测试时利用灵活性。使用CLIC 21视频测试条件,所提出的方法显示出与HEVC相当的性能。
2021-04-20 cs.NE eess.IV eess.SP
Conditional Coding for Flexible Learned Video Compression
本文介绍了一种新的框架,端到端学习视频编码。图像压缩通过条件编码来推广,以利用来自参考帧的信息,从而允许利用相同的编码器来处理帧内和帧间帧。该系统通过率失真成本的最小化来训练,没有预训练或代理损失。它的灵活性进行了评估下三种编码配置(所有帧内,低延迟P和随机访问),其中它被证明可以实现与最先进的视频编解码器HEVC的性能竞争。
2021-04-28 eess.IV eess.SP
Residual-Guided In-Loop Filter Using Convolution Neural Network
混合视频编码框架中基于块的编码结构不可避免地引入了诸如块效应、振铃效应等压缩伪影。为了补偿这些伪影,在视频编解码器的环路中提出了广泛的滤波技术,这些技术能够提高重构视频的主观和客观质量。最近,基于神经网络的过滤器被提出,具有从大量数据中进行深度学习的能力。虽然在高效视频编码(HEVC)中编码效率已经从传统方法提高,但是由压缩流水线生成的丰富特征和信息尚未在神经网络的设计中被充分利用。因此,在本文中,我们提出了基于残差重建的卷积神经网络(RRNet),以进一步提高编码效率,以其最大程度上,其中的压缩特征诱导比特流的预测残差的形式被送入网络作为一个额外的输入到重建帧。实质上,残差信号可以提供关于块分区的有价值的信息,并且可以帮助图像中的边缘和纹理区域的重构。因此,可以训练更多的自适应参数来处理不同的纹理特征。实验结果表明,与HEVC和最先进的基于CNN的方案相比,我们提出的RRNet方法具有显着的BD速率节省,这表明残差信号在增强视频帧重构方面起着重要作用。
2021-05-03 eess.IV
Video Coding for Machines: Partial transmission of SIFT features
Poznań University of Technology(波兹南理工大学)
本文涉及用于机器的视频编码,其是与人类和机器对解码视频的消耗有关的视频编码中的新范例。对于这样的任务,被认为是压缩视频和功能的联合传输。在本文中,我们将重点放在SIFT关键点上的特征考虑。与从原始视频提取的SIFT关键点相比,它们可以从解码视频中提取,其中关键点的数量及其参数有所损失。针对HEVC和VVC研究了作为量化参数和比特率的函数的这种损失。在本文中,我们提出了传输的残余特征数据与压缩视频。因此,即使对于强压缩的视频,也避免了全部SIFT关键点信息的传输。
2022-01-07 cs.CV cs.MM eess.IV
An enhanced performance for H.265/SHVC based on combined AEGBM3D filter and back-propagation neural network
本文介绍了最新的视频编码标准H265 SHVC,一个可扩展的高效率视频编码(HEVC)。HEVC与其前身相比引入了新的编码工具,并且向后兼容所有类型的电子产品。具有不同显示能力的小工具无法提供相同质量的视频,由于传输带宽的限制是一个主要问题。解决这个问题的一种方法是对视频序列进行压缩,除了在SHVC编码器中实现一种新的方法外,本文还重点研究了在降低比特率的同时保持或提高PSNR的方法。该方法结合了自适应边缘引导块匹配和3D滤波技术和反向传播技术。该技术包括一个AEGBM 3D滤波器,它避免了空间冗余和去噪帧,因此实现了PSNR的增强。将获得的视频的PSNR与设置的阈值PSNR进行比较,以通过重复的AEGBM 3D滤波将PSNR保持在阈值以上。基于神经网络机器学习方法的BP技术在输入块不包含它们被训练以识别的特征的情况下持续地限制输出。这种对输出的频繁控制产生很少的比特;因此实现了比特率的降低。仿真结果表明,与现有方法相比,在1.5倍和2倍空间比下,该方法的PSNR平均提高了0.16和0.25dB,码率平均降低了28%和37%。
2020-09-20 cs.MM eess.IV
Ray-Space Motion Compensation for Lenslet Plenoptic Video Coding
全光图像和视频承载着丰富的信息,需要大量的数据存储和高昂的传输成本。虽然对全光图像编码有很多研究,但是对全光视频编码的研究非常有限。我们通过在光线空间域中而不是在常规像素域中查看问题,从稍微不同的角度研究用于全光视频编码的运动补偿。在这里,我们开发了一种新的运动补偿方案的镜头视频下的两个子情况下的光线空间运动,即整数光线空间运动和分数光线空间运动。所提出的光场运动补偿预测的新方案被设计为使得其可以容易地集成到诸如HEVC的公知视频编码技术中。实验结果表明,与现有的相关方法相比,具有显着的压缩效率与19.63%的平均增益和29.1%的峰值增益。
2022-07-01 cs.CV cs.MM eess.IV
A software decoder implementation for H.266/VVC video coding standard
多功能视频编码标准(H.266/VVC)于二零二零年七月由ITU-T及ISO/IEC的联合视频专家小组(JVET)完成。这个新的ITU推荐/国际标准是众所周知的H. 265/HEVC视频编码标准的后继者,具有大约两倍的压缩效率,但也以增加的计算复杂度为代价。266/VVC解码器处理模块的复杂度进行了研究。提出了一种基于SIMD指令扩展和数据并行、任务并行等并行处理的优化解码器实现方案,该方案可以在x86处理器上实现4K 60 fps VVC码流的实时解码。
2020-12-08 eess.IV
A Complete End-To-End Open Source Toolchain for the Versatile Video Coding (VVC) Standard
通用视频编码(VVC)是由ITU-T和ISO/IEC联合制定的最新国际视频编码标准,已于2020年7月定稿。与其前身高效率视频编码(HEVC)相比,VVC允许对于相同的主观视频质量显著降低约50%的比特率。在完成一年后,设备和芯片组中的VVC支持仍在开发中,这与新视频编码标准的典型开发周期一致。本文介绍了开源软件包,允许建立一个完整的VVC端到端的工具链已经完成一年后。这包括用于快速高效VVC编码的Fraunhofer HHI VVenC库以及用于实时解码的HHI VVdeC库。VVC在GPAC软件工具和FFmpeg媒体框架中的实验性集成允许将VVC比特流(例如,用VVenC编码)打包成MP4文件格式,并使用DASH进行内容创建和流传输。VVdeC的集成允许在接收器上播放。鉴于这些软件包,我们为两种可能的应用场景提供了分步教程:VVC文件编码加播放和DASH自适应流媒体。
2021-07-28 cs.MM eess.IV
Quality-Driven Dynamic VVC Frame Partitioning for Efficient Parallel Processing
VVC是下一代视频编码标准,提供超出HEVC标准的编码能力。最新的视频编码标准的高计算复杂性需要高级并行技术,以实现实时和低延迟的编码和解码。HEVC和VVC包括瓦片网格分割,其允许利用独立线程同时处理帧的矩形区域。瓦片网格可以进一步划分成矩形切片(RS)的水平子网格,从而增加划分灵活性。本文提出的动态瓦片和矩形切片(TRS)分区解决方案受益于这种灵活性。TRS分割是在帧级进行的,同时考虑到内容的空间纹理和先前编码帧的编码时间。所提出的解决方案搜索最佳的分区配置,最大限度地减少多线程编码时间和编码质量损失之间的权衡。实验证明,与均匀TRS划分相比,该方法显著减少了多线程编码时间,编码质量略有提高。
2020-12-29 cs.DC eess.IV
Per Clip Lagrangian Multiplier Optimisation for HEVC
互联网流量的大部分是视频内容。这推动了对视频压缩的需求,以便以低目标比特率提供高质量的视频。本文研究了率失真方程的调整对压缩性能的影响。比例常数k用于修改H. 265(HEVC)中使用的拉格朗日乘数。部署直接优化方法以最大化特定剪辑的BD速率改进。这导致单个剪辑的BD率提高高达21%。此外,我们使用YouTube提供的更真实的材料语料库。结果表明,使用BD速率作为目标函数的直接优化可以进一步节省比特率,这是以前的方法所无法实现的。
2022-04-19 cs.MM eess.IV
Task-driven Semantic Coding via Reinforcement Learning
任务驱动的语义视频/图像编码随着智能媒体应用(如车牌检测、人脸检测和医疗诊断)的发展而受到广泛关注,其重点是保持视频/图像的语义信息。基于深度神经网络(DNN)的编解码器由于其固有的端到端优化机制而被研究。然而,传统的混合编码框架不能以端到端的方式进行优化,这使得任务驱动的语义保真度度量不能自动集成到率失真优化过程中。因此,采用传统的混合编码框架来实现任务驱动的语义编码仍然具有吸引力和挑战性,在相当长的一段时间内仍将在实际工业中得到广泛应用。为了解决这一挑战,我们为不同的任务设计语义映射,以提取视频/图像的像素级语义保真度。我们不是直接将语义保真度度量集成到传统的混合编码框架中,而是通过基于强化学习(RL)的语义位分配来实现任务驱动的语义编码。我们将语义比特分配问题表示为一个马尔可夫决策过程(MDP),并利用一个RL代理根据任务驱动的语义保真度度量自动确定不同编码单元的量化参数(QP)。针对不同任务(如分类、检测和分割)的大量实验表明,在同等任务相关语义保真度下,我们的方法比高效视频编码(H.265/HEVC)锚点平均节省34.39%至52.62%的比特率。
2021-06-07 cs.MM eess.IV
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University(南京大学)
我们提出了一种基于多尺度自动编码器(MSAE)的极端图像压缩框架,以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率,并采用具有多尺度鉴别器的生成对抗网络(GAN)来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法,使用高效视频编码(HEVC)的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集,展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Inter-Feature-Map Differential Coding of Surveillance Video
Waseda University(早稻田大学);NTT Software Innovation Center(NTT软件创新中心)
针对协作智能中视频输入场景,提出特征图间差分编码(IFMDC)压缩监控视频特征图,在精度损失小时压缩比优于或相当于HEVC,尤其适用于对质量退化敏感的视频。
2024-11-01 cs.CV eess.IV
Neural Video Coding using Multiscale Motion Compensation and Spatiotemporal Context Model
Nanjing University(南京大学);New York University(纽约大学)
在过去的二十年中,传统的基于块的视频编码取得了显著的进步,并产生了一系列众所周知的标准,如MPEG-4、H. 264/AVC和H. 265/HEVC。另一方面,深度神经网络(DNN)已经显示出其强大的视觉内容理解,特征提取和紧凑表示能力。已有的研究工作以端到端的方式对学习到的视频编码算法进行了探索,与传统方法相比,显示出巨大的潜力。在本文中,我们提出了一个端到端的深度神经视频编码框架(NVC),该框架使用具有联合空间和时间先验聚合(PA)的变分自编码器(VAE)来分别利用帧内像素、帧间运动和帧间补偿残差中的相关性。NVC的新功能包括:1)为了估计和补偿大幅度范围内的运动,我们提出了一种无监督的多尺度运动补偿网络(MS-MCN)以及VAE中的金字塔解码器,用于编码产生多尺度流场的运动特征,2)我们设计了一种新的自适应时空上下文模型,用于运动信息的有效熵编码,3)在VAE的瓶颈处采用非局部注意模块(NLAM)进行隐式自适应特征提取和激活,利用其高转换能力和联合全局和局部信息的不等权重,4)引入多模块优化和多帧训练策略,以最小化P帧间的时间误差传播。NVC被评估为低延迟因果设置,并与H.265/HEVC,H.264/AVC和其他学习的视频压缩方法进行了比较,在常见的测试条件下,证明了在所有流行的测试序列的PSNR和MS-SSIM失真指标的一致增益。
2020-07-09 cs.CV eess.IV
Deep Learning-Based Video Coding: A Review and A Case Study
在过去的十年中,深度学习技术在许多学科中取得了巨大的成功,特别是在计算机视觉和图像处理方面。然而,基于深度学习的视频编码仍处于起步阶段。本文回顾了自2015年以来,将深度学习用于图像/视频编码的代表性工作,这是一个积极发展的研究领域。我们将相关工作分为两类:主要建立在深度网络上的新编码方案(深度方案),以及基于深度网络的编码工具(深度工具),这些工具应在传统编码方案中使用或与传统编码工具一起使用。对于深度方案,像素概率建模和自动编码器是两种方法,分别可以被视为预测编码方案和变换编码方案。对于深度工具,已经提出了几种使用深度学习来执行图片内预测、图片间预测、跨通道预测、概率分布预测、变换、后环或环内滤波、下采样和上采样以及编码优化的技术。为了推动基于深度学习的视频编码研究,本文对我们开发的原型视频编解码器--深度学习视频编码(DLVC)进行了案例研究。DLVC具有两个基于卷积神经网络(CNN)的深度工具,即基于CNN的环路滤波器(CNN-ILF)和基于CNN的块自适应分辨率编码(CNN-BARC)。这两种工具都有助于显著提高压缩效率。利用这两个深度工具以及其他非深度编码工具,DLVC能够在随机访问和低延迟配置下分别实现比HEVC平均节省39.6\%和33.0\%的比特。DLVC的源代码已经发布,以供将来的研究。
2019-04-29 cs.MM eess.IV
Wrapper-Aware Rate-Distortion Optimization in Feature Coding for Machines
University of Southern California(南加州大学);InterDigital AI Lab(InterDigital人工智能实验室)
本文提出面向封装的率失真优化方法,通过改进内编码器的比特分配策略,有效提升特征编码的压缩性能。
2026-01-29 eess.IV eess.SP
Circular Rectifiction of 3D Video and Efficient Modification of 3D-HEVC
针对圆弧排布相机采集的视频处理需求,提出圆形校正方法并改进3D-HEVC编解码器,提升了此类视频的压缩效率。
2023-06-09 cs.MM eess.IV
Video Compression Coding via Colorization: A Generative Adversarial Network (GAN)-Based Approach
在有限的存储、计算和网络带宽资源下,视频压缩编码技术在视觉通信中发挥着重要作用。为了有效地压缩原始视频数据,本文提出了一种基于彩色化的视频压缩编码方法。在所提出的编码器中,只有视频亮度分量被编码和传输。为了恢复视频的色度信息,生成对抗网络(GAN)模型中采用的建议解码器。为了使GAN有效地用于视频彩色化,所提出的GAN模型的生成器采用了优化的MultiResUNet、注意力模块和混合损失函数。实验结果表明,与采用全帧内编码结构的H.265/HEVC视频压缩编码标准相比,该方法平均降低了72.05%BDBR,平均提高了4.758 dB BDPSNR。此外,据我们所知,这是第一个使用基于GAN的彩色化来压缩视频的工作,它为解决视频压缩编码问题提供了一种新的方法。
2019-12-23 eess.IV
Comparing H.265/HEVC and VP9: Impact of High Frame Rates on the Perceptual Quality of Compressed Videos
已知高帧速率可以增强特定视频内容的感知视觉质量。然而,缺乏对高帧速率的研究限制了该研究领域的扩展,特别是在全高清(FHD)和4K超高清视频格式的背景下。这项研究涉及到压缩FHD视频的主观和客观质量评估。首先,我们通过采用高效视频编码和VP 9在五个量化参数级别上对多个帧速率压缩FHD视频,即,15 fps、30 fps和60 fps。FHD视频从高帧率视频数据库BVI-HFR获得,跨越各种场景、颜色和运动,并且被示出为BBC广播内容的代表。其次,进行编码器和各个帧速率的压缩视频的详细的主观质量评估,从而以反映体验质量的差分平均意见得分的形式得到主观测量。特别是,其目的是调查压缩的感知质量的压缩FHD视频的影响,并比较两种编码器的性能为每个帧速率。最后,11个国家的最先进的客观质量评估指标的基准使用的主观测量,调查的相关性作为两个模型之间的相关系数的统计评价。在广泛的调查后,提出了一种增强全参考(FR)视频质量测量(VQM)的质量估计的建议。
2020-06-04 eess.IV