Minimizing Compression Artifacts for High Resolutions with Adaptive Quantization Matrices for HEVC
能够以高清（HD）和超高清（UHD）分辨率显示视频数据的视觉显示单元（VDU）经常用于各种技术领域。量化引起的视频压缩伪像在低分辨率环境中通常是不明显的，但在高分辨率VDU和视频数据上通常是明显的。HEVC中的默认量化矩阵（QM）不考虑VDU或视频数据的特定显示分辨率来确定减少不想要的压缩伪影所需的适当量化等级。因此，我们提出了一种用于包括可缩放HEVC（SHVC）的HEVC标准的新颖的自适应量化矩阵技术。我们的技术是基于HEVC中当前QM技术的改进，考虑了目标VDU的特定显示分辨率，以便最小化压缩伪影。我们利用SHVC SHM 9.0（双层比特流）和BD速率和SSIM指标对所提出的技术进行了彻底的评估。对于BD率评估，所提出的方法在增强层中实现了56.5%的最大BD率降低。对于SSIM评估，我们的技术实现了0.8660与0.8538的最大结构改进。
2016-09-21 cs.MM
JND-Based Perceptual Video Coding for 4:4:4 Screen Content Data in HEVC
HEVC HM RExt + SCM参考编解码器中的JCT-VC标准化屏幕内容译码（SCC）扩展在与单独HM RExt相比时提供令人印象深刻的译码效率性能;然而，其并未显著地在感知上优化。举例来说，其不包含先进的基于HVS的感知译码方法，例如基于JND的时空掩蔽方案。在本文中，我们提出了一种新的基于JND的感知视频编码技术的HM RExt + SCM。所提出的方法旨在进一步提高HM RExt + SCM应用于YCbCr 4：4：4 SC视频数据时的压缩性能。在所提出的技术中，亮度掩蔽和色度掩蔽被利用来在编码块（CB）级别上感知地调整量化步长（QStep）。与HM RExt 16.10 + SCM 8.0相比，该方法大大降低了比特率（Kbps），最大降低48.3%。除此之外，主观评估表明，SC-PAQ实现了视觉无损编码在非常低的比特率。
2018-02-12 cs.MM
Intra Prediction Using In-Loop Residual Coding for the post-HEVC Standard
在高效率视频译码（HEVC）的标准化之后数年，现在联合视频探索小组（JVET）群组正在探索后HEVC视频压缩技术。在帧内预测领域，这一努力产生了一种具有67种内部模式的算法，新的滤波器和工具，显着改善了HEVC。然而，改进后的算法仍然存在长距离预测不准确的问题。在本文中，我们提出了一个环路残差编码帧内预测（ILR-IP）算法，利用块内重建像素作为参考，以减少预测像素的距离。这是通过使用ILR信号来部分重构每个像素来完成的，就在其预测之后并且在其块级外循环残差计算之前。ILR信号在率失真意义上通过对解码器已知的QP相关有限码本的蛮力搜索来决定。实验结果表明，所提出的ILR-IP算法提高了联合探索模型（JEM）中的现有方法高达0.45%的比特率节省方面，在解码器侧没有复杂度开销。
2017-07-31 cs.MM
Multiview Video Compression Using Advanced HEVC Screen Content Coding
Poznań University of Technology（波兹南理工大学）
提出了一种基于屏幕内容编码的多视点视频编码方法。假设在某个时刻，对应于所有视图的帧被打包成单个帧，即，应用帧兼容方法进行多视图编码。对于这样的编码场景，本文证明了屏幕内容编码可以有效地用于多视点视频编码。考虑两种方法：第一种使用标准HEVC屏幕内容编码，第二种使用高级屏幕内容编码。后者是作者的原始提议，其利用四分之一像素运动矢量和HEVC屏幕内容编码的其他非标准扩展。实验结果表明，即使使用标准HEVC屏幕内容编码，多视图视频编码也比联播HEVC编码高效得多。所提出的高级屏幕内容译码提供与MV-HEVC实质上相同的译码效率，MV-HEVC是最先进的多视图视频压缩技术。作者认为，高级屏幕内容编码可以有效地用于新的通用视频编码（VVC）技术。然而，VVC的参考多视图扩展还不存在，因此，对于基于VVC的编码，实验比较留给未来的工作。
2021-06-25 cs.CV cs.MM
Lossless Intra Coding in HEVC with Adaptive 3-tap Filters
在用于无损帧内编码的逐像素空间预测方法中，通过相邻像素的加权和来获得预测。在本文中提出的预测方法使用三个相邻像素的加权和，根据二维相关模型。在三步优化过程之后获得权重。前两个阶段是离线过程，其中从训练序列离线获得计算的预测权重。第三阶段是在线优化过程，其中离线获得的预测权重在编码期间使用率失真优化方法被进一步微调并适配于每个编码块，并且该第三阶段中的修改作为边信息被发送到解码器。仿真结果显示，与HEVC中的默认无损帧内编码和众所周知的基于样本的角度预测（SAP）方法相比，平均比特率分别降低了12.02%和3.28%。
2016-04-24 cs.MM
Coding Block-Level Perceptual Video Coding for 4:4:4 Data in HEVC
消费者对高比特深度4：4：4 HD视频数据回放的需求日益增加，这是由于其与标准8比特二次采样4：2：0视频数据相比具有更好的感知视觉质量。由于巨大的文件大小和相关联的比特率，期望尽可能多地压缩原始高比特深度4：4：4 HD视频序列，而不引起视觉质量的可辨别的降低。在本文中，我们提出了一种用于HEVC的编码块（CB）级感知视频编码技术，称为全色感知量化（FCPQ）。FCPQ被设计为在CB级调整量化参数（QP）（即，亮度CB以及色度Cb和Cr CB）。FCPQ基于HEVC中的默认感知量化方法，称为AdaptiveQP。AdaptiveQP仅基于组成亮度CB的空间活动来调整整个CU的QP。如本文所示，通过不考虑组成色度CB的空间活动性，如自适应QP的情况，编码性能可能受到显著影响;这是因为亮度CB中的像素数据的方差显著不同于色度Cb和Cr CB中的像素数据的方差。因此，FCPQ解决了这个问题。在编码性能方面，与AdaptiveQP相比，FCPQ实现了高达39.5%（Y）、16%（Cb）和29.9%（Cr）的BD速率改进。
2018-02-16 cs.MM
Video transrating in AVC and HEVC transcoding
HEVC（MPEG-H第2部分和H.265）是一种新的编码技术，预计将在不久的将来与新的视频服务一起部署在市场上。HEVC是当前广泛使用的AVC（MPEG-4第10部分和H. 264）的后继者。在本文中，报告了针对AVC编码材料到HEVC标准的级联像素域转码器获得的质量编码增益。大量的实验表明，转码与比特率降低允许实现更好的率失真性能比通过压缩原始视频序列与使用AVC在相同的（降低的）比特率。
2017-03-01 cs.MM
CTU Depth Decision Algorithms for HEVC: A Survey
高效视频编码（HEVC）通过以增加的编码时间复杂度为代价引入新的编码工具而在编码效率方面超越其前辈。编码树单元（CTU）是HEVC中使用的主要构建块。在HEVC标准中，帧被划分为具有高达64x64像素的预定大小的CTU。然后，每个CTU被递归地划分成多个大小相等的正方形区域，称为编码单元（CU）。虽然帧划分的这种多样性增加了编码效率，但是由于找到最佳划分的方式的数量增加，它也导致时间复杂度的增加。为了解决这种复杂性，已经提出了许多算法来通过利用视频中的相关性来消除在分割CTU期间不必要的搜索。在本文中，现有的CTU深度决策算法的HEVC进行调查。这些算法分为两组，即统计和机器学习方法。统计方法进一步细分为邻近方法和固有方法。相邻方法利用相邻CTU之间的相似性来限制当前CTU的深度范围，而固有方法仅使用当前CTU内的可用信息。机器学习方法试图隐式地提取和利用相似性。传统方法如支持向量机或随机森林使用手动选择的特征，而最近提出的深度学习方法在训练期间提取特征。最后，本文讨论了将这些方法扩展到最近的视频编码格式，如通用视频编码（VVC）和AOMedia视频1（AV1）。
2021-06-24 cs.MM
Cross-Color Channel Perceptually Adaptive Quantization for HEVC
HEVC包括被称为自适应QP的基于编码单元（CU）级亮度的感知量化技术。AdaptiveQP基于亮度编码块（CB）中的原始输入视频数据的空间活动性来感知地调整CU级的量化参数（QP）。在本文中，我们提出了一种新的跨颜色通道自适应量化方案，其根据组成亮度和色度CB中的原始输入视频数据的空间活动性来感知地调整CU级QP;即，所有三个颜色通道（Y、Cb和Cr通道）的组合空间活动。我们的技术在HM 16中使用4：4：4、4：2：2和4：2：0 YCbCr JCT-VC测试序列进行了评估。主观和客观的视觉质量评价进行期间，我们比较我们的方法与AdaptiveQP。我们的技术实现了相当大的编码效率的改善，最大的BD率降低15.9%（Y），13.1%（Cr）和16.1%（Cb），除了最大解码时间减少11.0%。
2018-02-12 cs.MM
Recent Advances on HEVC Inter-frame Coding: From Optimization to Implementation and Beyond
高效率视频编码（HEVC）与其前身H. 264/AVC相比，在同等主观质量的情况下使视频压缩比加倍。编码效率的显著提高归功于许多新技术。帧间编码是其中最强大但最复杂的技术之一，并且造成了高计算负担，因此是基于HEVC的实时应用的主要障碍。近年来，人们对帧间编码进行了大量的研究，以降低实时应用的复杂度，或者进一步提高编码效率。在本文中，我们提供了一个全面的国家的最先进的技术，HEVC帧间编码从三个方面，即快速帧间编码解决方案，在不同的硬件平台上的实现，以及先进的帧间编码技术的审查。更具体地说，在每个方面的不同算法进一步细分为子类别，并在利弊，编码效率和编码复杂度方面进行比较。据我们所知，这是第一次对HEVC帧间编码的最新进展进行全面回顾，希望它有助于HEVC的改进、实现和应用以及下一代视频编码标准的持续发展。
2019-12-03 cs.MM eess.IV
Enhancing HEVC Compressed Videos with a Partition-masked Convolutional Neural Network
在本文中，我们提出了一个分区屏蔽卷积神经网络（CNN），以实现压缩视频增强的国家的最先进的编码标准，高效率视频编码（HECV）。更确切地说，我们的方法利用编码器产生的分区信息来指导质量增强过程。与现有的仅将解码帧作为CNN的输入的基于CNN的方法相比，所提出的方法考虑编码单元（CU）大小信息并将其与失真的解码帧组合，使得更有效地减少由HEVC引入的劣化。实验结果表明，我们的方法导致超过9.76%的BD率节省基准序列，达到了最先进的性能。
2018-05-31 cs.MM
Consistent Quality Oriented Rate Control in HEVC via Balancing Intra and Inter Frame Coding
面向一致质量的码率控制在视频编码中得到了越来越多的关注。然而，现有的努力只集中在减少每两个相邻帧之间的变化，而忽略了帧内和帧间的编码权衡问题。本文从一个新的角度来处理这个问题，其中帧内量化参数（IQP）和速率控制被优化以实现平衡编码。首先，由于帧内帧的重要性，提出了一个新的框架一致的质量导向的IQP预测，然后我们删除不合格的IQP候选人使用建议的惩罚项。其次，我们广泛评估可能的功能，并选择目标位每像素的所有剩余的帧，平均和标准方差的帧QP，其中QP功能的等效采集方法。第三，根据带宽和先前信息有效地裁剪预测的IQP，以获得更好的比特率精度。实验结果表明，与HEVC参考基线相比，该方法在峰值信噪比（PSNR）和结构相似性（SSIM）的帧级标准方差上分别降低了37.2%和45.1%。此外，它也可以有令人满意的结果率失真（R-D）性能，比特精度和缓冲控制。
2022-07-30 cs.MM
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover（汉诺威莱布尼茨大学）
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战，并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上，当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片，我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片，实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Saliency-Guided Complexity Control for HEVC Decoding
最新的高效视频编码（HEVC）标准相对于其先前的视频编码标准显著提高了编码效率。这种改进的代价是编码和解码侧的巨大计算复杂性。由于计算能力和功率容量在便携式设备之间是不同的，因此有必要将解码复杂度降低到具有可容忍的质量损失的目标，即所谓的复杂度控制。本文提出了一种用于HEVC解码的显著性引导复杂度控制（SGCC）方法，该方法以最小的感知质量损失将解码复杂度降低到目标。首先，我们建立了SGCC公式，以最大限度地减少感知质量损失的约束下降低解码复杂度，这是通过禁用去块滤波器（DF）和简化运动补偿（MC）的一些非显着编码树单元（CTU）。在这个配方中的一个重要组成部分是解码复杂度降低和DF禁用/MC简化，这决定了我们的方法的控制精度之间的建模关系。另一个组成部分是质量损失和DF禁用/MC简化之间的建模关系，负责优化感知质量。通过求解给定目标复杂度的SGCC公式，我们可以获得每个CTU的DF和MC设置，然后解码复杂度可以降低到目标。最后，从控制性能、复杂度失真性能、质量损失波动和主观质量等方面对SGCC方法的有效性进行了实验验证。
2018-01-09 cs.MM
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码（VVC）的内存评估。采用最先进的高效率视频编码（HEVC）作为基线来执行存储器分析。目标是提供与HEVC相比，VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验：（1）整体记忆分析和（2）帧间预测特定记忆分析。在内存分析中获得的结果显示，VVC访问的内存比HEVC多13.4倍。此外，帧间预测模块（如在HEVC中）仍然是编码器中资源最密集的操作：60%-90%的存储器需求。帧间预测特定的分析表明，VVC需要比HEVC多5.3倍的存储器访问。此外，我们的分析表明，高达23%的这种增长是由于VVC novel-CU大小（大于64 x64）。
2020-06-01 cs.MM eess.IV
Low-Consumption Partial Transcoding by HEVC
本研究提出一种HEVC部分转码方案，通过仅重编码修改区域、无损编码边界CU避免失配传播，在HM的AI配置下实现最高4%的BD-BR节省与83%的转码加速，同时保证未修改区域重建一致。
2023-12-19 cs.MM
Dynamic Switching of GOP configurations in High Efficiency Video Coding (HEVC) using Relational Databases for Multi-objective Optimization
我们当前的技术时代充斥着智能设备，这些设备提供了需要最佳视频通信解决方案的重要计算资源。视频比特率、质量和能源需求的优化和动态管理需要考虑它们之间的相互依赖性。随着提供更高带宽速率的新兴网络代的出现，还存在对以最佳质量传送视频的日益增长的需求，所述最佳质量受制于诸如计算能力和可用带宽之类的资源的可用性。类似地，为了容纳多个用户，需要最小化比特率要求，同时在合理的编码时间内维持视频质量。本论文的重点在于提供一种基于切换GOP配置的HEVC编解码器的最优解的有效机制。该方法为功率、视频质量、比特率等约束条件下的多目标优化提供了一个基本体系。这是通过利用HEVC/H.265编解码器中的称为时变图像约束的动态可重构架构（DRASTIC）的最近引入的框架来实现的，该框架具有六种不同的GOP配置，以支持用于最小比特率、最大质量和最小计算时间（恒定功率配置中的最小能量）操作模式的优化模式。在实现这些DRASTIC模式时使用了Pareto最优GOP。
2022-09-14 cs.MM cs.NI
Partition-Aware Adaptive Switching Neural Networks for Post-Processing in HEVC
本文针对最先进的视频编码标准高效率视频编码（HEVC）提出了基于神经网络的后处理。我们首先提出了一个分区感知卷积神经网络（CNN），它利用编码器产生的分区信息来帮助后处理。与现有的仅将解码帧作为输入的基于CNN的方法相比，所提出的方法考虑编码单元（CU）大小信息并将其与失真的解码帧组合，使得由HEVC引入的伪影被有效地减少。我们还引入了一个自适应切换神经网络（adaptive-switching neural network，简称CNN），它由多个独立的CNN组成，可以自适应地处理压缩视频帧中的内容变化和失真，从而进一步减少视觉伪影。此外，提出了一个迭代训练过程，训练这些独立的CNN专注于不同的本地补丁类。基准序列上的实验证明了我们的分区感知和自适应切换神经网络的有效性。源代码可以在http://min.sjtu.edu.cn/lwydemo/HEVCpostprocessing.html上找到。
2019-12-25 cs.MM eess.IV
Regression-based Intra-prediction for Image and Video Coding
通过利用图像中先前已知的区域，帧内预测技术可以找到当前块的良好估计。这允许编码器仅存储原始块和所生成的估计之间的误差，从而导致编码效率的提高。诸如AVC和HEVC之类的标准描述了专家设计的预测模式，其与单独的DC和平面预测模式一起在某些角度取向上操作。被设计为预测器，虽然这些技术已经被证明在图像和视频编码应用中表现良好，但是它们不一定完全利用自然图像结构。在本文中，我们描述了一种新的系统，用于开发来自自然图像块的预测。所提出的算法是用设计的预测器（例如HEVC风格的预测）来播种的，并且允许通过正则化回归来迭代地改进这些预测器。由此产生的预测模型显示出显着的改进，在所有条件下，同时保持合理的计算复杂性的估计质量超过其设计的同行。我们还演示了该算法如何处理帧内预测的最坏情况下，没有错误报告。
2016-05-12 cs.MM
Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding
帧内预测是视频压缩的重要组成部分，它利用图像的局部信息消除空间域的冗余。在高效视频编码（H.265/HEVC）和通用视频编码（H.266/VVC）中，采用多个方向预测模式来找到每个小块的纹理趋势，然后基于所选方向上的参考样本进行预测。近年来，基于神经网络的帧内预测方法取得了巨大的成功。在这些方法中，网络被训练并应用于帧内预测以辅助方向预测模式。在本文中，我们提出了一种新的树结构的数据聚类驱动的神经网络（简称TreeNet）的帧内预测，建立网络和聚类的训练数据在树结构的方式。具体来说，在TreeNet的每次网络分裂和训练过程中，叶子节点上的每个父网络通过添加或减去高斯随机噪声被分裂为两个子网络。然后，数据聚类驱动的训练被应用于使用它们的父网络的聚类的训练数据来训练两个派生的子网络。为了测试性能，TreeNet被集成到VVC和HEVC中，以与方向预测模式结合或取代方向预测模式。此外，提出了一种快速终止策略，以加速TreeNet的搜索。实验结果表明，与VVC（VTM-4.0）和HEVC（HM-16.9）相比，具有快速终止的TreeNet可以分别达到平均2.8%的Bjontegaard失真率（BD率）改善（高达8.1%）和4.9%的BD率改善（高达8.2%）。
2022-06-21 cs.MM
Efficient Multiple Line-Based Intra Prediction for HEVC
传统的帧内预测在考虑强空间相关性时，通常利用最近的参考线来生成预测块。然而，由于至少两个问题，这种基于单线的方法并不总是工作良好。一种是由信号噪声或其他对象的纹理引起的不相干，其中该纹理偏离当前块的固有纹理。另一个原因是在基于块的视频编码中，最近的参考线通常具有较差的重建质量。针对这两个问题，本文提出了一种有效的基于多行的帧内预测方案来提高编码效率。除了最近的参考线之外，还利用另外的参考线。具有相对较高质量的另外的参考线可以提供潜在的更好的预测。同时，当我们利用更多的参考线时，引入残差补偿来校准块中边界区域的预测。为了加快编码过程，本文设计了几种快速算法。实验结果表明，与HM-16.9相比，该快速搜索方法平均节省比特数2.0%，最高节省3.7%，编码时间增加112%。
2016-12-02 cs.MM
A Combined Deep Learning based End-to-End Video Coding Architecture for YUV Color Space
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm Technologies Netherlands B.V.（高通科技荷兰有限公司）
大多数现有的基于深度学习的端到端视频编码（DLEC）架构是专门针对RGB颜色格式设计的，然而过去几十年开发的视频编码标准（包括H.264/AVC、H.265/HEVC和H.266/VVC）主要是针对YUV 4：2：0格式设计的，其中色度（U和V）分量被二次采样以实现考虑人类视觉系统的优异压缩性能。虽然大量关于DLEC的论文在RGB域中比较了这两种不同的编码方案，但理想的是在YUV 4：2：0域中具有通用的评估框架，以便进行更公平的比较。本文介绍了一种新的DLEC架构，用于视频编码，以有效地支持YUV 4：2：0，并在一个共同的评估框架下将其性能与HEVC标准进行了比较。在YUV 4：2：0视频序列上的实验结果表明，该架构在帧内编码方面优于HEVC，但帧间编码的效率不如最近文献中报道的RGB编码结果。
2021-04-01 cs.AI cs.CV cs.LG
Convolutional Neural Network-Based Block Up-sampling for Intra Frame Coding
受卷积神经网络（CNN）图像超分辨率研究的启发，提出了一种基于CNN的块上采样帧内编码方案。块可以在通过正常帧内编码压缩之前被下采样，然后被上采样到其原始分辨率。与以往基于上下采样编码的研究不同，我们方案中的上采样方法是通过训练CNN而不是手工设计的。我们探索了一种新的上采样CNN结构，它具有特征图的反卷积，多尺度融合和残差学习，使网络既紧凑又高效。我们还分别为亮度和色度分量的上采样设计了不同的网络，其中色度上采样CNN利用亮度信息来提高其性能。此外，我们设计了一个两阶段的上采样过程，第一阶段是在逐块编码循环内，第二阶段是在整个帧上执行，以便细化块边界。我们还实证研究了如何设置下采样块的编码参数，以追求帧级率失真优化。我们提出的方案被实现到高效率视频编码（HEVC）参考软件，并进行了一系列全面的实验来评估我们的方法。实验结果表明，我们的方案实现了显着的比特节省相比，HEVC锚，特别是在低比特率，导致平均5.5%的BD率降低普通测试序列和平均9.0%的BD率降低超高清（UHD）测试序列。
2017-07-14 cs.MM
A H.265/HEVC Fine-Grained ROI Video Encryption Algorithm Based on Coding Unit and Prompt Segmentation
Nanjing University of Information Science and Technology（南京信息工程大学）；Guangzhou University（广州大学）
本文提出基于编码单元和提示分割的细粒度ROI视频加密算法，通过改进的ROI映射方法和多语法元素选择加密方案，提升加密精度与安全性，适用于医疗、军事等敏感领域。
2026-04-09 cs.MM eess.IV
Transform Network Architectures for Deep Learning based End-to-End Image/Video Coding in Subsampled Color Spaces
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）
大多数现有的基于深度学习的端到端图像/视频编码（DLEC）架构都是针对非二次采样RGB颜色格式设计的。然而，为了实现优异的编码性能，许多现有技术的基于块的压缩标准（诸如高效视频编码（HEVC/H.265）和通用视频编码（VVC/H.266））主要针对YUV 4：2：0格式而设计，其中通过考虑人类视觉系统对U和V分量进行子采样。本文研究了各种DLEC设计，以支持YUV 4：2：0格式，通过在一个共同的评估框架下将其性能与HEVC和VVC标准的主要配置文件进行比较。此外，提出了一种新的变换网络结构，以提高编码的效率YUV 4：2：0数据。在YUV 4：2：0数据集上的实验结果表明，该架构的性能明显优于现有RGB格式架构的朴素扩展，与HEVC中的帧内编码相比，平均BD速率提高了约10%。
2021-08-27 cs.AI cs.CV cs.LG
Object Shape Approximation & Contour Adaptive Depth Image Coding for Virtual View Synthesis
深度图像提供3D场景的部分几何信息，即从特定视点观察到的物理对象的形状。当通过基于深度图像的渲染（DIBR）合成不同虚拟相机视点的图像时，该信息是重要的。已经表明，可以使用保留边缘锐度的轮廓自适应编解码器来有效地编码深度图像，从而产生视觉上令人愉悦的DIBR合成图像。然而，轮廓通常被有损编码为边信息（SI），如果对象形状复杂，则这是昂贵的。在本文中，我们追求一个新的范例，在深度图像编码的颜色加深度表示的3D场景：我们积极主动地简化对象形状的深度和彩色图像对，以减少深度编码成本，在一个轻微的增加的惩罚合成视图失真。具体来说，我们首先从数学上推导出3DSwIM的失真上限代理-为DIBR合成图像量身定制的质量度量。该代理减少了块中像素行之间的相互依赖性，以便于优化。然后，我们近似对象轮廓通过动态规划（DP）算法，以最佳的权衡编码成本的轮廓使用算术边缘编码（AEC）与我们提出的视图合成失真代理。我们修改的深度和颜色图像，根据近似的对象轮廓在一个视图间一致的方式。然后分别使用基于图形傅立叶变换（GFT）的轮廓自适应图像编解码器对这些图像进行编码，以用于边缘保留和HEVC帧内。实验结果表明，通过保持清晰，但简化的对象轮廓在轮廓自适应编码，对于相同的视觉质量的DIBR合成的虚拟视图，我们的建议可以降低深度图像编码率高达22%相比，替代编码策略，如HEVC帧内。
2016-12-23 cs.MM
Spatiotemporal Adaptive Quantization for the Perceptual Video Coding of RGB 4:4:4 Data
由于人类视觉系统（HVS）的光谱敏感现象，原始RGB 4：4：4序列的颜色通道包含显著的心理视觉冗余;这些冗余可以被感知量化。HEVC标准中的默认量化系统被称为均匀重构量化（URQ）和率失真优化量化（RDOQ）; URQ和RDOQ对于RGB 4：4：4视频数据的编码不是感知优化的。在本文中，我们提出了一种新的时空感知量化技术SPAQ。对于RGB 4：4：4视频数据的应用，SPAQ除了空间掩蔽和时间掩蔽之外还利用HVS光谱灵敏度相关的颜色掩蔽; SPAQ在编码块（CB）级别和预测单元（PU）级别操作。如果检测到G、B和R CB中的高方差空间数据，并且如果检测到PU中的高运动矢量幅度，则所提出的技术在CB级别感知地调整量化步长（QStep）。与锚点1（HEVC HM 16.17 RExt）相比，SPAQ显著降低了比特率，最大降低约80%。主观评价中的平均意见评分（MOS）以及SSIM评分表明，与锚点相比，SPAQ成功实现了感知上的无损压缩。
2020-05-16 cs.MM eess.IV
H.265/HEVC Video Steganalysis Based on CU Block Structure Gradients and IPM Mapping
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Macau（澳门大学）；Guangzhou University（广州大学）
本文提出基于CU块结构梯度和IPM映射的新型H.265/HEVC视频隐写分析方法，通过构建梯度图和IPM块级映射，联合建模由隐写术引入的结构扰动，实验表明在不同量化参数和分辨率下均能有效检测基于CU块结构的隐写术。
2026-06-16 cs.MM eess.IV
A Video Steganography for H.265/HEVC Based on Multiple CU Size and Block Structure Distortion
Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；Nanjing University of Information Science and Technology（南京信息工程大学）；School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院）；Guangzhou University（广州大学）
本文提出一种基于多CU尺寸和块结构失真的视频隐写算法，通过引入CBSSM指标、新型映射规则和三级失真函数，提升抗隐写分析能力和嵌入容量。
2026-04-02 cs.MM
Dual Learning-based Video Coding with Inception Dense Blocks
Fudan University（复旦大学）；Waseda University（早稻田大学）
本文针对PCS Grand Challenge提出了一种基于双重学习的帧内编码方法。该方法主要由帧内预测和重构滤波两部分组成。它们使用不同的网络结构，基于神经网络的帧内预测使用全连接网络来预测块，而基于神经网络的重构滤波使用卷积网络。与以往的滤波工作不同的是，我们在重构滤波网络中使用了具有更强大特征提取能力的网络。并且滤波单元为块级，从而实现更精确的滤波补偿。据我们所知，在所有基于学习的方法中，这是第一次尝试在一个应用中结合两个不同的网络，并且我们在HEVC测试序列上实现了AI配置的最新性能。实验结果表明，与HM-16.20基线相比，我们的方法对于提供的8个序列导致显著的BD速率节省（对于所有帧内和随机访问编码，分别平均降低10.24%和3.57%的比特率）。对于HEVC测试序列，与HM-16.20基线相比，我们的模型还实现了9.70%的BD速率节省。
2019-11-22 cs.LG cs.MM eess.IV
A multi-level approach with visual information for encrypted H.265/HEVC videos
Jiangxi University of Finance and Economics（江西财经大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
已提出高效视频译码（HEVC）加密以出于视频加密的目的而加密语法元素。为了实现高视频安全性，据我们所知，几乎所有现有的HEVC加密算法都主要对整个视频进行加密，使得没有权限的用户无法获得任何可观看的信息。然而，这些加密算法不能满足需要部分信息而不是视频中的全部信息的客户的需求。在很多情况下，比如专业的付费视频或者视频会议，用户希望在加密视频中观察到一些原始视频的可见信息，以满足日常生活中的需求。针对这一需求，提出了一种由轻量级加密、中等加密和重量级加密组成的多级加密方案，每个加密级别可以获取不同数量的可视信息。研究发现，对亮度帧内预测模型（IPM）进行加密和对DCT系数符号的语法元素进行置乱都可以获得失真视频的性能，但仍有残留的视觉信息，而对IPM和DCT系数符号的语法元素进行加密可以实现加密的强度，并且不能获得任何视觉信息。实验结果符合我们的预期，表明在每个加密级别中有不同数量的视觉信息。同时，用户可以根据自己的不同需求灵活选择加密级别。
2020-11-05 cs.LG cs.MM
Low Complexity Trellis-Coded Quantization in Versatile Video Coding
通用视频编码（Versatile Video Coding，VVC）标准采用网格编码量化，利用精细的网格图将块内的量化候选映射到最优路径，虽然压缩效率高，但复杂的网格搜索和软判决量化会因其高复杂度和低吞吐量而阻碍应用。为了降低复杂度，在本文中，我们提出了一个低复杂度的网格编码量化方案，在一个科学合理的方式与理论建模的速率和失真。这样，网格的出发点可以自适应地调整，并相应地修剪不必要的访问分支，导致总的网格阶段的收缩和简化的过渡分支。在VVC测试模型上的大量实验结果表明，该方案在所有帧内和随机访问配置下，编码复杂度分别降低了11%和5%，而BD-Rate仅增加了0.11%和0.05%。同时，平均24%和27%的量化时间节省可以实现在所有帧内和随机访问配置。由于该方案的优良性能，VVC测试模型采用了该方案的一种实现。
2020-08-26 cs.MM
Lossless 4:2:0 Screen Content Coding Using Luma-Guided Soft Context Formation
针对软上下文形成编码器不原生支持YCbCr 4:2:0格式的问题，本文通过Y和CbCr平面顺序编码、亮度引导的色度预测增强及传输亮度-色度组合辅助信息，将其扩展到该格式，在大型数据集上平均比特率比HEVC-SCC低5.66%。
2025-08-26 cs.MM eess.IV eess.SP
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化，这些模式包括：（i）最大视频质量，（ii）最小比特率，（iii）最大编码率（之前的最小编码时间模式）和（iv）可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下，以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现，该方法使用不同的视频编码标准（x265，VP 9，AV 1）对来自不同视频数据集的各种视频进行编码。结果表明，从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省，而不牺牲视频质量。这是通过使用有效的回归模型来实现的，该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265，VP 9，AV 1，并在x265中使用新的GOP配置，在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
Spatiotemporal Adaptive Quantization for Video Compression Applications
JCT-VC HEVC HM 16包含称为自适应量化参数（QP）的译码单元（CU）层级自适应量化参数（QP）技术。它被设计为仅基于亮度CB中的样本的方差来感知地调整Y、Cb和Cr编码块（CB）中的QP。在本文中，我们提出了一种自适应量化技术，包括两个贡献。第一贡献涉及在CU中除亮度样本之外还考虑色度样本的方差。第二贡献涉及考虑CU时间信息以及CU空间信息。此外，我们集成到我们的方法中的lambda细化QP技术，以降低复杂度相关的多个QP优化的率失真优化过程。我们评估所提出的技术4：4：4，4：2：2，4：2：0和4：0：0 YCbCr测试序列，我们量化的结果使用Bjontegaard Delta率（BD率）度量。我们的方法实现了23.1%（Y），26.7%（Cr）和25.2%（Cb）的最大BD率降低。此外，最大编码时间减少4.4%。
2020-05-16 cs.MM
A two-stage video coding framework with both self-adaptive redundant dictionary and adaptively orthonormalized DCT basis
在这项工作中，我们提出了一个两阶段的视频编码框架，作为我们以前的一个阶段的框架在[1]中的扩展。两阶段框架由两个不同的字典组成。具体地说，第一阶段直接找到一个自适应字典组成的所有可能的帧间预测候选块的稀疏表示，通过解决一个L0范数最小化问题，使用改进的正交匹配追踪与嵌入式正交归一化（eOMP）算法，和第二阶段编码的残差使用DCT字典自适应正交归一化到第一阶段原子所跨越的子空间。第一级和第二级的转换基于两级的量化步长和阈值来确定。我们进一步提出了一个完整的上下文自适应熵编码器，有效地编码的位置和选定的第一级原子的系数。仿真结果表明，该编码器显着提高了RD性能比我们以前的一级编码器。更重要的是，仅使用固定块大小和帧间预测的两阶段编码器优于H. 264编码器（x264），并且在大速率范围上与HEVC参考编码器（HM）竞争。
2015-02-12 cs.MM
Enhanced adaptive cross-layer scheme for low latency HEVC streaming over Vehicular Ad-hoc Networks (VANETs)
Univ. Polytechnique Hauts-de-France（上法兰西理工大学）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；YNCREA；Centrale Lille（里尔中央理工学院）；IEMN（电子、微电子与纳米技术研究所）；Badji Mokhtar University Annaba（安纳巴巴吉莫赫塔尔大学）
针对车载自组织网络信道多变、带宽有限导致的低时延HEVC视频传输质量难保障的问题，提出一种结合视频编码结构、帧重要性和网络负载的低复杂度跨层队列分配机制，相较802.11p的EDCA机制显著提升了视频质量并降低了端到端时延。
2023-11-05 cs.CV cs.MM cs.NI
Predictive Coding For Animation-Based Video Compression
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出一种基于图像动画的预测编码方案，将动画作为预测器并对残差进行预测编码，在头部说话视频上相比HEVC和VVC分别节省超过70%和30%的码率。
2023-07-09 cs.CV cs.MM
Open GOP Resolution Switching in HTTP Adaptive Streaming with VVC
自适应HTTP流传输中的用户体验依赖于为所有用户提供具有合适操作点的比特率阶梯，并且通常涉及多个分辨率。虽然通常已知开放式GOP编码结构提供实质的编码效率益处，但是由于缺乏对AVC和HEVC中的参考图片响应（RPR）的支持，它们在HTTP流传输中的使用已经被排除。新出现的通用视频编码（VVC）标准支持RPR，但在VVC的设计期间仅主要研究会话场景。本文旨在通过分析VVC编码工具的漂移潜力，并提出了一种约束编码方法，避免了严重的漂移伪像的分辨率切换与开放GOP编码在VVC中的HTTP流场景中使用RPR。在典型的直播流传输配置中，与封闭GOP编码相比，所提出的方法实现了-8.57%BD速率降低，而在典型的视频点播配置中，报告了-1.89%BD速率降低。与常规开放GOP编码相比，约束惩罚在最坏情况下为0.65%BD率。所提出的方法被集成到公开可用的开源VVC编码器VVenC v0.3中。
2021-04-29 cs.MM eess.IV
A Complete End-To-End Open Source Toolchain for the Versatile Video Coding (VVC) Standard
通用视频编码（VVC）是由ITU-T和ISO/IEC联合制定的最新国际视频编码标准，已于2020年7月定稿。与其前身高效率视频编码（HEVC）相比，VVC允许对于相同的主观视频质量显著降低约50%的比特率。在完成一年后，设备和芯片组中的VVC支持仍在开发中，这与新视频编码标准的典型开发周期一致。本文介绍了开源软件包，允许建立一个完整的VVC端到端的工具链已经完成一年后。这包括用于快速高效VVC编码的Fraunhofer HHI VVenC库以及用于实时解码的HHI VVdeC库。VVC在GPAC软件工具和FFmpeg媒体框架中的实验性集成允许将VVC比特流（例如，用VVenC编码）打包成MP4文件格式，并使用DASH进行内容创建和流传输。VVdeC的集成允许在接收器上播放。鉴于这些软件包，我们为两种可能的应用场景提供了分步教程：VVC文件编码加播放和DASH自适应流媒体。
2021-07-28 cs.MM eess.IV
Scalar Quantization for Audio Data Coding
本文研究了音频编解码器中变换系数的标量量化。广义高斯分布（GGD）被用作调制重叠变换（MLT）或修正余弦变换（MDCT）滤波器组获得的变换系数的一维概率密度函数的近似。与理论上可实现的率失真函数进行比较，提供了该模型的基本原理。从一个大的数据库的样本的真实序列获得的随机序列计算的率失真函数进行比较，由GGD随机发生器获得的随机序列计算。提出了一种构造扩展零区量化器的简单算法。仿真结果表明，EZZ量化器产生的编码效率相比，最佳标量量化器可以忽略不计的损失。此外，我们描述了一个自适应版本的EZZ量化器，它有效地与低比特率的要求发送边信息
2008-06-26 cs.IT cs.MM math.IT
B-DRRN: A Block Information Constrained Deep Recursive Residual Network for Video Compression Artifacts Reduction
Hosei University（法政大学）；JST, PRESTO（日本科学技术振兴机构，PRESTO）
虽然现今的视频压缩比变得越来越高，但是诸如H.264/AVC、H.265/HEVC、H.266/VVC的视频编码器总是遭受视频伪影。在本文中，我们设计了一个神经网络，通过利用块信息来提高压缩帧的质量，称为B-DRRN（带块信息的深度递归残差网络）。首先，额外的网络分支被设计用于利用编码单元（CU）的块信息。此外，为了避免网络规模的大幅增加，递归残差结构和共享权技术的应用。我们还进行了一个新的大规模数据集，包含209，152个训练样本。实验结果表明，提出的B-DRRN可以减少6.16%的BD率相比，HEVC标准。在有效地增加一个额外的网络分支后，这项工作可以在不增加任何存储内存的情况下提高主网络的性能。
2021-01-30 cs.CV cs.MM eess.IV
A QP-adaptive Mechanism for CNN-based Filter in Video Coding
Fudan University（复旦大学）；Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
基于卷积神经网络（CNN）的滤波器在视频编码中取得了巨大的成功。然而，在大多数以前的作品中，每个量化参数（QP）带需要单独的模型。本文提出了一种通用的方法来帮助任意的CNN滤波器处理不同的量化噪声。我们对量化噪声问题进行了建模，并在CNN上实现了一个可行的解决方案，该方案将量化步长（Qstep）引入卷积。当量化噪声增加时，CNN滤波器抑制噪声的能力相应地提高。这种方法可以直接用于取代任何现有CNN滤波器中的卷积层。通过仅使用25%的参数，所提出的方法实现了更好的性能比使用多个模型与VTM-6.3锚。此外，额外的BD率降低0.2%，我们提出的方法实现的色度分量。
2020-10-25 cs.LG cs.MM eess.IV
