Visually Lossless Coding in HEVC: A High Bit Depth and 4:4:4 Capable JND-Based Perceptual Quantisation Technique for HEVC
由于高位深度和YCbCr 4：4：4视频数据的日益普及，期望开发一种基于JND的视觉无损编码技术，其除了标准8位精度色度二次采样数据之外还可以考虑高位深度4：4：4数据。在本文中，我们提出了一种编码块（CB）级基于JND的亮度和色度感知量化技术，称为Pixel-PAQ的HEVC。Pixel-PAQ利用亮度掩蔽和色度掩蔽来实现基于JND的视觉无损编码;所提出的方法与任何分辨率的高比特深度YCbCr 4：4：4视频数据兼容。当应用于YCbCr 4：4：4高比特深度视频数据时，Pixel-PAQ可以实现高达75%（在四个QP数据点上为68.6%）的巨大比特率降低，与用于HEVC的名为IDSQ的最先进的基于亮度的JND方法相比。此外，主观评估的参与者证实，Pixel-PAQ成功实现了视觉无损编码（在一次测试中，PSNR值为28.04 dB）。
2018-02-12 cs.MM
Circular Rectifiction of 3D Video and Efficient Modification of 3D-HEVC
针对圆弧排布相机采集的视频处理需求，提出圆形校正方法并改进3D-HEVC编解码器，提升了此类视频的压缩效率。
2023-06-09 cs.MM eess.IV
Minimizing Compression Artifacts for High Resolutions with Adaptive Quantization Matrices for HEVC
能够以高清（HD）和超高清（UHD）分辨率显示视频数据的视觉显示单元（VDU）经常用于各种技术领域。量化引起的视频压缩伪像在低分辨率环境中通常是不明显的，但在高分辨率VDU和视频数据上通常是明显的。HEVC中的默认量化矩阵（QM）不考虑VDU或视频数据的特定显示分辨率来确定减少不想要的压缩伪影所需的适当量化等级。因此，我们提出了一种用于包括可缩放HEVC（SHVC）的HEVC标准的新颖的自适应量化矩阵技术。我们的技术是基于HEVC中当前QM技术的改进，考虑了目标VDU的特定显示分辨率，以便最小化压缩伪影。我们利用SHVC SHM 9.0（双层比特流）和BD速率和SSIM指标对所提出的技术进行了彻底的评估。对于BD率评估，所提出的方法在增强层中实现了56.5%的最大BD率降低。对于SSIM评估，我们的技术实现了0.8660与0.8538的最大结构改进。
2016-09-21 cs.MM
Dynamic Switching of GOP configurations in High Efficiency Video Coding (HEVC) using Relational Databases for Multi-objective Optimization
我们当前的技术时代充斥着智能设备，这些设备提供了需要最佳视频通信解决方案的重要计算资源。视频比特率、质量和能源需求的优化和动态管理需要考虑它们之间的相互依赖性。随着提供更高带宽速率的新兴网络代的出现，还存在对以最佳质量传送视频的日益增长的需求，所述最佳质量受制于诸如计算能力和可用带宽之类的资源的可用性。类似地，为了容纳多个用户，需要最小化比特率要求，同时在合理的编码时间内维持视频质量。本论文的重点在于提供一种基于切换GOP配置的HEVC编解码器的最优解的有效机制。该方法为功率、视频质量、比特率等约束条件下的多目标优化提供了一个基本体系。这是通过利用HEVC/H.265编解码器中的称为时变图像约束的动态可重构架构（DRASTIC）的最近引入的框架来实现的，该框架具有六种不同的GOP配置，以支持用于最小比特率、最大质量和最小计算时间（恒定功率配置中的最小能量）操作模式的优化模式。在实现这些DRASTIC模式时使用了Pareto最优GOP。
2022-09-14 cs.MM cs.NI
JND-Based Perceptual Video Coding for 4:4:4 Screen Content Data in HEVC
HEVC HM RExt + SCM参考编解码器中的JCT-VC标准化屏幕内容译码（SCC）扩展在与单独HM RExt相比时提供令人印象深刻的译码效率性能;然而，其并未显著地在感知上优化。举例来说，其不包含先进的基于HVS的感知译码方法，例如基于JND的时空掩蔽方案。在本文中，我们提出了一种新的基于JND的感知视频编码技术的HM RExt + SCM。所提出的方法旨在进一步提高HM RExt + SCM应用于YCbCr 4：4：4 SC视频数据时的压缩性能。在所提出的技术中，亮度掩蔽和色度掩蔽被利用来在编码块（CB）级别上感知地调整量化步长（QStep）。与HM RExt 16.10 + SCM 8.0相比，该方法大大降低了比特率（Kbps），最大降低48.3%。除此之外，主观评估表明，SC-PAQ实现了视觉无损编码在非常低的比特率。
2018-02-12 cs.MM
A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding
有损图像和视频压缩算法产生视觉上令人讨厌的伪像，包括块、模糊和振铃，特别是在低比特率时。为了减少这些伪影，后处理技术已经被广泛研究。近年来，受卷积神经网络（CNN）在计算机视觉领域取得巨大成功的启发，人们对CNN在图像后处理中的应用进行了研究，主要是针对JPEG压缩图像。在本文中，我们提出了一种基于CNN的高效率视频编码（HEVC），最先进的视频编码标准的后处理算法。我们重新设计了一个可变滤波器大小的残差学习CNN（VRCNN CNN），以提高性能，加快网络的训练。实验结果表明，使用我们的VRCNN作为后处理，与HEVC基线相比，平均降低了4.6%的比特率。VRCNN在实现更高的比特率降低、更低的内存成本和成倍的计算加速方面优于先前研究的网络。
2016-10-29 cs.MM
CTU Depth Decision Algorithms for HEVC: A Survey
高效视频编码（HEVC）通过以增加的编码时间复杂度为代价引入新的编码工具而在编码效率方面超越其前辈。编码树单元（CTU）是HEVC中使用的主要构建块。在HEVC标准中，帧被划分为具有高达64x64像素的预定大小的CTU。然后，每个CTU被递归地划分成多个大小相等的正方形区域，称为编码单元（CU）。虽然帧划分的这种多样性增加了编码效率，但是由于找到最佳划分的方式的数量增加，它也导致时间复杂度的增加。为了解决这种复杂性，已经提出了许多算法来通过利用视频中的相关性来消除在分割CTU期间不必要的搜索。在本文中，现有的CTU深度决策算法的HEVC进行调查。这些算法分为两组，即统计和机器学习方法。统计方法进一步细分为邻近方法和固有方法。相邻方法利用相邻CTU之间的相似性来限制当前CTU的深度范围，而固有方法仅使用当前CTU内的可用信息。机器学习方法试图隐式地提取和利用相似性。传统方法如支持向量机或随机森林使用手动选择的特征，而最近提出的深度学习方法在训练期间提取特征。最后，本文讨论了将这些方法扩展到最近的视频编码格式，如通用视频编码（VVC）和AOMedia视频1（AV1）。
2021-06-24 cs.MM
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码（VVC）的内存评估。采用最先进的高效率视频编码（HEVC）作为基线来执行存储器分析。目标是提供与HEVC相比，VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验：（1）整体记忆分析和（2）帧间预测特定记忆分析。在内存分析中获得的结果显示，VVC访问的内存比HEVC多13.4倍。此外，帧间预测模块（如在HEVC中）仍然是编码器中资源最密集的操作：60%-90%的存储器需求。帧间预测特定的分析表明，VVC需要比HEVC多5.3倍的存储器访问。此外，我们的分析表明，高达23%的这种增长是由于VVC novel-CU大小（大于64 x64）。
2020-06-01 cs.MM eess.IV
Coding Block-Level Perceptual Video Coding for 4:4:4 Data in HEVC
消费者对高比特深度4：4：4 HD视频数据回放的需求日益增加，这是由于其与标准8比特二次采样4：2：0视频数据相比具有更好的感知视觉质量。由于巨大的文件大小和相关联的比特率，期望尽可能多地压缩原始高比特深度4：4：4 HD视频序列，而不引起视觉质量的可辨别的降低。在本文中，我们提出了一种用于HEVC的编码块（CB）级感知视频编码技术，称为全色感知量化（FCPQ）。FCPQ被设计为在CB级调整量化参数（QP）（即，亮度CB以及色度Cb和Cr CB）。FCPQ基于HEVC中的默认感知量化方法，称为AdaptiveQP。AdaptiveQP仅基于组成亮度CB的空间活动来调整整个CU的QP。如本文所示，通过不考虑组成色度CB的空间活动性，如自适应QP的情况，编码性能可能受到显著影响;这是因为亮度CB中的像素数据的方差显著不同于色度Cb和Cr CB中的像素数据的方差。因此，FCPQ解决了这个问题。在编码性能方面，与AdaptiveQP相比，FCPQ实现了高达39.5%（Y）、16%（Cb）和29.9%（Cr）的BD速率改进。
2018-02-16 cs.MM
Effectiveness of Crypto-Transcoding for H.264/AVC and HEVC Video Bit-streams
为了避免因需要在代码转换之前解密视频然后在之后重新加密而产生的延迟，本文评估了一种选择性加密（SE）内容保护方案。该方案适用于最近的标准化编解码器，即H. 264/高级视频编码（AVC）和高效视频编码（HEVC）。具体而言，本文概述了一个联合密码转码方案的安全视频码流的transrating。也就是说，它生成新的视频比特率，可能作为HTTP自适应流（HAS）内容分发网络的一部分。该方案将比特率降低到一个或多个较低的期望比特率，而不会在加密/解密过程中消耗时间，这将是使用完全加密时的情况。此外，解密密钥不再需要暴露在中间设备处，包括当在云数据中心中执行速率转换时。该方案的有效性进行了不同的评估：通过检查SE产生的视觉失真;通过计算和比特率开销的程度;以及通过选择加密时的比特流内的选定元素的密码。结果表明，仍然存在：一个内容;量化水平（transrating的加密视频后）;和编解码器类型依赖于任何失真介绍。另一个建议是，高级加密标准（AES）是首选的SE轻量级XOR加密，尽管它在其他地方作为一种实时加密方法。
2019-02-19 cs.MM
Intra Prediction Using In-Loop Residual Coding for the post-HEVC Standard
在高效率视频译码（HEVC）的标准化之后数年，现在联合视频探索小组（JVET）群组正在探索后HEVC视频压缩技术。在帧内预测领域，这一努力产生了一种具有67种内部模式的算法，新的滤波器和工具，显着改善了HEVC。然而，改进后的算法仍然存在长距离预测不准确的问题。在本文中，我们提出了一个环路残差编码帧内预测（ILR-IP）算法，利用块内重建像素作为参考，以减少预测像素的距离。这是通过使用ILR信号来部分重构每个像素来完成的，就在其预测之后并且在其块级外循环残差计算之前。ILR信号在率失真意义上通过对解码器已知的QP相关有限码本的蛮力搜索来决定。实验结果表明，所提出的ILR-IP算法提高了联合探索模型（JEM）中的现有方法高达0.45%的比特率节省方面，在解码器侧没有复杂度开销。
2017-07-31 cs.MM
Per Clip Lagrangian Multiplier Optimisation for HEVC
互联网流量的大部分是视频内容。这推动了对视频压缩的需求，以便以低目标比特率提供高质量的视频。本文研究了率失真方程的调整对压缩性能的影响。比例常数k用于修改H. 265（HEVC）中使用的拉格朗日乘数。部署直接优化方法以最大化特定剪辑的BD速率改进。这导致单个剪辑的BD率提高高达21%。此外，我们使用YouTube提供的更真实的材料语料库。结果表明，使用BD速率作为目标函数的直接优化可以进一步节省比特率，这是以前的方法所无法实现的。
2022-04-19 cs.MM eess.IV
A Generalized Rate-Distortion-$λ$ Model Based HEVC Rate Control Algorithm
高效视频编码（HEVC/H.265）标准使广泛使用的H.264/AVC标准的压缩效率加倍。对于实际应用，需要开发用于HEVC的速率控制（RC）算法。基于R-Q、R- $ρ$或R- $λ$模型，速率控制算法旨在将视频片段/段精确地编码到目标比特率，并且在压缩之后具有高视频质量。在HEVC码率控制算法所使用的各种模型中，R- $λ$模型在编码效率和码率控制准确性方面表现最好。然而，与使用固定量化参数（QP）的编码相比，当比较在相同平均比特率下实现的视频质量时，即使是最好的速率控制算法[1]仍然表现不佳。提出了一种新的广义率失真- $λ$（R-D- $λ$）模型，用于描述率失真优化编码中码率（R）、失真（D）和拉格朗日乘子（$λ$）之间的关系.为了更好地分配码率，在设计了分层初始化和系数更新方案的基础上，提出了一种新的基于模型的码率分配方案，该方案由摊销、平滑窗口和一致性控制三部分组成。在HEVC参考软件HM-16.9中实现所提出的算法的实验结果表明，所提出的速率控制算法能够实现平均6.09%、3.15%和4.03%的随机接入（RA）的BDBR节省，低延迟P（LDP）和低延迟B（LDB）配置，与HM中实现的基于R- $λ$模型的RC算法[1]进行比较。该算法在码率控制精度和编码速度几乎不受影响的情况下，性能优于现有算法。
2019-11-02 cs.MM
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化，这些模式包括：（i）最大视频质量，（ii）最小比特率，（iii）最大编码率（之前的最小编码时间模式）和（iv）可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下，以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现，该方法使用不同的视频编码标准（x265，VP 9，AV 1）对来自不同视频数据集的各种视频进行编码。结果表明，从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省，而不牺牲视频质量。这是通过使用有效的回归模型来实现的，该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265，VP 9，AV 1，并在x265中使用新的GOP配置，在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
Recent Advances on HEVC Inter-frame Coding: From Optimization to Implementation and Beyond
高效率视频编码（HEVC）与其前身H. 264/AVC相比，在同等主观质量的情况下使视频压缩比加倍。编码效率的显著提高归功于许多新技术。帧间编码是其中最强大但最复杂的技术之一，并且造成了高计算负担，因此是基于HEVC的实时应用的主要障碍。近年来，人们对帧间编码进行了大量的研究，以降低实时应用的复杂度，或者进一步提高编码效率。在本文中，我们提供了一个全面的国家的最先进的技术，HEVC帧间编码从三个方面，即快速帧间编码解决方案，在不同的硬件平台上的实现，以及先进的帧间编码技术的审查。更具体地说，在每个方面的不同算法进一步细分为子类别，并在利弊，编码效率和编码复杂度方面进行比较。据我们所知，这是第一次对HEVC帧间编码的最新进展进行全面回顾，希望它有助于HEVC的改进、实现和应用以及下一代视频编码标准的持续发展。
2019-12-03 cs.MM eess.IV
Partition-Aware Adaptive Switching Neural Networks for Post-Processing in HEVC
本文针对最先进的视频编码标准高效率视频编码（HEVC）提出了基于神经网络的后处理。我们首先提出了一个分区感知卷积神经网络（CNN），它利用编码器产生的分区信息来帮助后处理。与现有的仅将解码帧作为输入的基于CNN的方法相比，所提出的方法考虑编码单元（CU）大小信息并将其与失真的解码帧组合，使得由HEVC引入的伪影被有效地减少。我们还引入了一个自适应切换神经网络（adaptive-switching neural network，简称CNN），它由多个独立的CNN组成，可以自适应地处理压缩视频帧中的内容变化和失真，从而进一步减少视觉伪影。此外，提出了一个迭代训练过程，训练这些独立的CNN专注于不同的本地补丁类。基准序列上的实验证明了我们的分区感知和自适应切换神经网络的有效性。源代码可以在http://min.sjtu.edu.cn/lwydemo/HEVCpostprocessing.html上找到。
2019-12-25 cs.MM eess.IV
H.265/HEVC Video Steganalysis Based on CU Block Structure Gradients and IPM Mapping
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Macau（澳门大学）；Guangzhou University（广州大学）
本文提出基于CU块结构梯度和IPM映射的新型H.265/HEVC视频隐写分析方法，通过构建梯度图和IPM块级映射，联合建模由隐写术引入的结构扰动，实验表明在不同量化参数和分辨率下均能有效检测基于CU块结构的隐写术。
2026-06-16 cs.MM eess.IV
Near Optimal Per-Clip Lagrangian Multiplier Prediction in HEVC
互联网流量的大部分是视频内容。这推动了对视频压缩的需求，以低目标比特率提供高质量的视频。针对特定视频剪辑优化视频编解码器的参数（每剪辑优化）已被证明可以显著节省比特率。在以前的工作中，我们已经表明，拉格朗日乘子的每剪辑优化导致高达24%的BD率改善。这些算法的一个关键组成部分是在适当的比特率范围内对R-D特性进行建模。这在计算上是繁重的，因为它通常涉及在不同参数设置下对高分辨率材料的重复视频编码。这项工作的重点是通过部署一个NN在较低的带宽功能上运行，以减少这种计算负载。我们的系统在大约90%的大型语料库中实现了BD率的提高，与以前的直接优化工作结果相当。
2022-04-19 cs.MM eess.IV
Evaluating Wi-Fi Performance for VR Streaming: A Study on Realistic HEVC Video Traffic
Universitat Pompeu Fabra（庞培法布拉大学）
本文通过仿真实验研究了Wi-Fi网络在支持真实VR流媒体时的性能，发现Intra-refresh编码能有效降低延迟波动并提升服务质量，支持最多4个CBR 100 Mbps的VR用户
2026-01-23 cs.MM cs.NI eess.IV
Cross-Color Channel Perceptually Adaptive Quantization for HEVC
HEVC包括被称为自适应QP的基于编码单元（CU）级亮度的感知量化技术。AdaptiveQP基于亮度编码块（CB）中的原始输入视频数据的空间活动性来感知地调整CU级的量化参数（QP）。在本文中，我们提出了一种新的跨颜色通道自适应量化方案，其根据组成亮度和色度CB中的原始输入视频数据的空间活动性来感知地调整CU级QP;即，所有三个颜色通道（Y、Cb和Cr通道）的组合空间活动。我们的技术在HM 16中使用4：4：4、4：2：2和4：2：0 YCbCr JCT-VC测试序列进行了评估。主观和客观的视觉质量评价进行期间，我们比较我们的方法与AdaptiveQP。我们的技术实现了相当大的编码效率的改善，最大的BD率降低15.9%（Y），13.1%（Cr）和16.1%（Cb），除了最大解码时间减少11.0%。
2018-02-12 cs.MM
Real Time Video Quality Representation Classification of Encrypted HTTP Adaptive Video Streaming - the Case of Safari
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Ariel University（阿里尔大学）
HTTP自适应视频流服务的日益普及大大增加了运营商网络的带宽要求，运营商网络试图通过深度数据包检测（DPI）来塑造其流量。不过，谷歌和某些内容提供方已经开始对他们的视频服务进行加密。因此，运营商在通过DPI塑造其加密视频流量时经常遇到困难。这突出了对加密HTTP自适应视频流的新流量分类方法的需求，以实现智能流量整形。这些新方法必须有效地估计质量表示层和播放缓冲区。我们提出了一种新的方法，并首次表明（YouTube）加密HTTP自适应流的视频质量表示分类是可能的。我们分析了这种分类方法与Safari在HTTPS上的性能。基于大量的离线和在线流量分类实验，我们证明了它可以独立地分类，在实时的，每个视频片段到一个质量表示层，平均准确率为97.18%。
2016-02-19 cs.CR cs.LG cs.MM
Enhanced adaptive cross-layer scheme for low latency HEVC streaming over Vehicular Ad-hoc Networks (VANETs)
Univ. Polytechnique Hauts-de-France（上法兰西理工大学）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；YNCREA；Centrale Lille（里尔中央理工学院）；IEMN（电子、微电子与纳米技术研究所）；Badji Mokhtar University Annaba（安纳巴巴吉莫赫塔尔大学）
针对车载自组织网络信道多变、带宽有限导致的低时延HEVC视频传输质量难保障的问题，提出一种结合视频编码结构、帧重要性和网络负载的低复杂度跨层队列分配机制，相较802.11p的EDCA机制显著提升了视频质量并降低了端到端时延。
2023-11-05 cs.CV cs.MM cs.NI
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案，通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似，在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
Video QoE Metrics from Encrypted Traffic: Application-agnostic Methodology
针对加密流量下网络运营商无法获取视频QoE指标的问题，提出一种应用无关的方法，从加密流量中估计关键QoE指标，并在WhatsApp数据集上验证，FPS预测准确率85.2%，质量评级准确率90.2%。
2025-04-20 cs.LG cs.MM cs.NI
A Video Steganography for H.265/HEVC Based on Multiple CU Size and Block Structure Distortion
Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；Nanjing University of Information Science and Technology（南京信息工程大学）；School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院）；Guangzhou University（广州大学）
本文提出一种基于多CU尺寸和块结构失真的视频隐写算法，通过引入CBSSM指标、新型映射规则和三级失真函数，提升抗隐写分析能力和嵌入容量。
2026-04-02 cs.MM
A Combined Deep Learning based End-to-End Video Coding Architecture for YUV Color Space
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm Technologies Netherlands B.V.（高通科技荷兰有限公司）
大多数现有的基于深度学习的端到端视频编码（DLEC）架构是专门针对RGB颜色格式设计的，然而过去几十年开发的视频编码标准（包括H.264/AVC、H.265/HEVC和H.266/VVC）主要是针对YUV 4：2：0格式设计的，其中色度（U和V）分量被二次采样以实现考虑人类视觉系统的优异压缩性能。虽然大量关于DLEC的论文在RGB域中比较了这两种不同的编码方案，但理想的是在YUV 4：2：0域中具有通用的评估框架，以便进行更公平的比较。本文介绍了一种新的DLEC架构，用于视频编码，以有效地支持YUV 4：2：0，并在一个共同的评估框架下将其性能与HEVC标准进行了比较。在YUV 4：2：0视频序列上的实验结果表明，该架构在帧内编码方面优于HEVC，但帧间编码的效率不如最近文献中报道的RGB编码结果。
2021-04-01 cs.AI cs.CV cs.LG
A Visual Perception-Based Tunable Framework and Evaluation Benchmark for H.265/HEVC ROI Encryption
School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院）
本文提出基于视觉感知的可调框架和评估基准，用于提升H.265/HEVC ROI加密的安全性和效率。
2025-11-25 cs.CR cs.MM eess.IV
Fast multi-encoding to reduce the cost of video streaming
视频互联网流量的增长以及视频属性（如帧速率、分辨率和位深度）的进步推动了设计大规模、高效视频编码环境的需求。这对于基于HTTP的动态自适应流传输（DASH）的内容供应甚至更重要，因为它需要对相同视频内容的许多表示进行编码。高效视频编码（HEVC）是一种标准视频编解码器，其相对于其前身高级视频编码（AVC）显著地提高了编码效率。这种改进是以显著增加的时间复杂度为代价实现的，这对内容和服务提供商来说是一个挑战。由于各种表示是以不同比特率或分辨率编码的相同视频内容，因此可以共享来自已经编码的表示的编码分析信息以加速其他表示的编码。几种最先进的方案首先编码单个表示，称为参考表示。在该编码期间，编码器利用诸如切片类型决策、CU、PU、TU分割和HEVC比特流本身的信息来创建分析元数据。其余的表示（称为依赖表示）分析上述元数据，然后重用它以跳过搜索某些分区，从而降低了计算复杂性。随着基于云的编码服务的出现，通过利用增加数量的资源来加速视频编码，即，利用多核CPU，可以并行地对多个表示进行编码。本文概述了各种各样的多编码方案，这些方案分别支持和不支持集成到HEVC测试模型（HM）和x265中的机器学习方法。
2022-10-25 cs.MM
A H.265/HEVC Fine-Grained ROI Video Encryption Algorithm Based on Coding Unit and Prompt Segmentation
Nanjing University of Information Science and Technology（南京信息工程大学）；Guangzhou University（广州大学）
本文提出基于编码单元和提示分割的细粒度ROI视频加密算法，通过改进的ROI映射方法和多语法元素选择加密方案，提升加密精度与安全性，适用于医疗、军事等敏感领域。
2026-04-09 cs.MM eess.IV
I Know What You Saw Last Minute - Encrypted HTTP Adaptive Video Streaming Title Classification
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Ariel University（阿里埃勒大学）
桌面和笔记本电脑可能被恶意利用来侵犯隐私。有两种主要类型的攻击场景：主动和被动。在本文中，我们考虑被动的情况下，对手不主动与设备进行交互，但他能够窃听网络流量的设备从网络侧。大多数互联网流量都是加密的，因此被动攻击具有挑战性。先前的研究表明，信息可以从加密的多媒体流中提取。这包括非HTTP自适应流（非HAS）的视频标题分类。提出了一种加密HTTP自适应视频流标题分类算法。我们表明，外部攻击者可以从视频HTTP自适应流（HAS）网站，如YouTube的视频标题。据我们所知，这是第一个表明这一点的作品。我们提供了一个大的数据集10000 YouTube视频流的100个流行的视频标题（每个标题下载100次）作为这个任务的例子。该数据集是在真实网络条件下收集的。我们提出了几种机器算法的任务，并通过一组实验，这表明我们的分类准确率超过95%。我们还表明，我们的算法能够将不在训练集中的视频标题分类为未知，并且一些算法还能够消除对视频标题的错误预测，而是报告未知。最后，我们评估我们的算法的鲁棒性延迟和数据包丢失在测试时，并表明，使用SVM的解决方案是最强大的对这些变化给予足够的训练数据。我们提供了数据集和爬虫为未来的研究。
2016-07-21 cs.LG cs.MM cs.NI
HTML5 MSE Playback of MPEG 360 VR Tiled Streaming
虚拟现实（VR）和360度视频流近年来受到了极大的关注。为了避免市场分裂，已经公布了第一批标准。例如，3GPP发布了其第一个VR规范，以支持5G网络上的360度视频流，该规范依赖于ISO/IEC 23090-2中指定的几种技术，也称为MPEG-OMAF。虽然OMAF兼容播放器的一些实现已经在几个贸易展上展示，但到目前为止，还没有基于Web浏览器的实现。在这篇演示论文中，我们描述了OMAF最先进的媒体配置文件的基于浏览器的JavaScript播放器实现：基于HEVC的视区相关OMAF视频配置文件，也称为基于瓦片的流媒体，具有多分辨率HEVC瓦片。我们还描述了我们在使用最先进的HTML5浏览器时遇到的实现挑战的应用解决方案。所提出的实现在Safari浏览器中进行了测试，通过HTML5媒体源扩展API支持HEVC视频。此外，WebGL API用于渲染，使用OMAF中定义的按区域打包元数据。
2019-04-23 cs.MM
Transform Network Architectures for Deep Learning based End-to-End Image/Video Coding in Subsampled Color Spaces
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）
大多数现有的基于深度学习的端到端图像/视频编码（DLEC）架构都是针对非二次采样RGB颜色格式设计的。然而，为了实现优异的编码性能，许多现有技术的基于块的压缩标准（诸如高效视频编码（HEVC/H.265）和通用视频编码（VVC/H.266））主要针对YUV 4：2：0格式而设计，其中通过考虑人类视觉系统对U和V分量进行子采样。本文研究了各种DLEC设计，以支持YUV 4：2：0格式，通过在一个共同的评估框架下将其性能与HEVC和VVC标准的主要配置文件进行比较。此外，提出了一种新的变换网络结构，以提高编码的效率YUV 4：2：0数据。在YUV 4：2：0数据集上的实验结果表明，该架构的性能明显优于现有RGB格式架构的朴素扩展，与HEVC中的帧内编码相比，平均BD速率提高了约10%。
2021-08-27 cs.AI cs.CV cs.LG
Robust Privacy-Preserving Motion Detection and Object Tracking in Encrypted Streaming Video
Shenzhen University（深圳大学）；Sun Yat-Sen University（中山大学）
视频隐私泄露正在成为一个日益严重的公共问题，特别是在基于云的视频监控系统中。这导致了对安全的基于云的视频应用程序的新需求，其中视频被加密以保护隐私。尽管已经提出了一些用于加密视频运动对象检测和跟踪的方法，但没有一种方法对复杂和动态场景具有鲁棒性能。在本文中，我们提出了一个有效的和强大的隐私保护的运动检测和多目标跟踪方案的加密监控视频码流。通过分析视频编解码器和格式兼容的加密方案的属性，我们提出了一种新的压缩域特征，以捕捉复杂的监控场景中的运动信息。基于这一特点，我们设计了一个自适应聚类算法的运动目标分割的精度为4x 4像素。然后，我们提出了一个多目标跟踪方案，使用卡尔曼滤波器估计和自适应测量细化。所提出的方案不需要视频解密或完全解压缩，并具有非常低的计算负荷。实验结果表明，我们的方案实现了最好的检测和跟踪性能相比，现有的工作在加密和压缩域。我们的方案可以有效地用于复杂的监控场景与不同的挑战，如摄像机运动/抖动，动态背景，阴影。
2021-08-30 cs.CV cs.MM eess.IV
Deep Video Precoding
iSIZE Ltd.（iSIZE有限公司）
目前有几个研究小组正在研究深度学习如何推动图像和视频编码的发展。一个悬而未决的问题是如何使深度神经网络与现有的（和即将推出的）视频编解码器（如MPEG AVC，HEVC，VVC，Google VP 9和AOM AV 1）以及现有的容器和传输格式结合使用，而不对客户端进行任何更改。在实际部署方面，这种兼容性是一个至关重要的方面，特别是由于视频内容行业和硬件制造商预计将在可预见的未来继续致力于这些标准。我们建议使用深度神经网络作为当前和未来视频编解码器和自适应视频流系统的预编码器。在我们当前的设计中，核心预编码组件包括在传输之前在视频编码期间操作的降尺度神经网络的级联结构。这与用于每个可独立解码的流段的预编码模式选择算法相耦合，该预编码模式选择算法根据场景特性、所利用的编码器以及期望的比特率和编码配置来调整缩减因子。我们的框架与所有当前和未来的编解码器和传输标准兼容，因为我们的深度预编码网络结构是结合线性升尺度滤波器（例如，双线性过滤器），所有网络视频播放器都支持。FHD和UHD内容以及广泛使用的AVC、HEVC和VP 9编码器的结果表明，将这些标准与所提出的深度视频预编码相结合，在适合于视频点播自适应流传输系统的编码配置和比特率下，允许15%至45%的速率降低。使用预编码还可以降低编码复杂度，这对于H.265/HEVC和VP 9等复杂编码器的成本效益云部署至关重要。
2019-12-13 cs.LG cs.MM eess.IV
360NorVic: 360-Degree Video Classification from Mobile Encrypted Video Traffic
流媒体360°视频需要高带宽和低延迟，并对互联网服务提供商（ISP）和移动网络运营商（MNO）提出了重大挑战。因此，360°视频流量的识别可以使固定和移动运营商受益，以优化其网络并为用户提供更好的体验质量（QoE）。然而，网络流量的端对端加密阻碍了从常规视频中识别这些360°视频。作为一种解决方案，本文提出了360 NorVic，这是一种近实时和离线的机器学习（ML）分类引擎，用于在从移动设备流式传输时区分360°视频和常规视频。我们收集了来自YouTube和Facebook的800多个视频跟踪的数据包和流级别数据，其中包括不同流媒体条件下的200个独特视频。我们的研究结果表明，在数据包级别的近实时和离线分类，平均准确率超过95%，而对于流级别，360NorVic达到92%以上的平均准确率。最后，我们在一个大型MNO的商业网络中试用了我们的解决方案，展示了360NorVic在生产环境中的可行性和有效性。
2021-05-08 cs.MM
Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding
帧内预测是视频压缩的重要组成部分，它利用图像的局部信息消除空间域的冗余。在高效视频编码（H.265/HEVC）和通用视频编码（H.266/VVC）中，采用多个方向预测模式来找到每个小块的纹理趋势，然后基于所选方向上的参考样本进行预测。近年来，基于神经网络的帧内预测方法取得了巨大的成功。在这些方法中，网络被训练并应用于帧内预测以辅助方向预测模式。在本文中，我们提出了一种新的树结构的数据聚类驱动的神经网络（简称TreeNet）的帧内预测，建立网络和聚类的训练数据在树结构的方式。具体来说，在TreeNet的每次网络分裂和训练过程中，叶子节点上的每个父网络通过添加或减去高斯随机噪声被分裂为两个子网络。然后，数据聚类驱动的训练被应用于使用它们的父网络的聚类的训练数据来训练两个派生的子网络。为了测试性能，TreeNet被集成到VVC和HEVC中，以与方向预测模式结合或取代方向预测模式。此外，提出了一种快速终止策略，以加速TreeNet的搜索。实验结果表明，与VVC（VTM-4.0）和HEVC（HM-16.9）相比，具有快速终止的TreeNet可以分别达到平均2.8%的Bjontegaard失真率（BD率）改善（高达8.1%）和4.9%的BD率改善（高达8.2%）。
2022-06-21 cs.MM
User Generated HDR Gaming Video Streaming: Dataset, Codec Comparison and Challenges
游戏视频流媒体服务于过去数年大幅增长，更高分辨率、更高帧速率及HDR游戏视频越来越多地在游戏社区中被采用。由于游戏内容本身与非游戏内容不同，因此必须评估现有编码器的性能，以帮助理解此类服务的带宽要求，并进一步提高此类编码器的压缩效率。为此，我们在本文中介绍了GamingHDRVideoSET，一个由18个10位UHD-HDR游戏视频和使用四种不同编解码器编码的视频序列组成的数据集，以及它们的客观评估结果。该数据集可在[待论文验收后添加]在线获得。此外，本文讨论了最广泛使用的实际编码器的编解码器压缩效率，即，x264（H.264/AVC）、x265（H.265/HEVC）和libvpx（VP9），以及最近提出的10位UHD-HDR游戏内容编码器libaom（AV1）。我们的研究结果表明，最新的压缩标准AV1的压缩效率最高，其次是HEVC，H.264和VP9。
2021-03-03 cs.MM
A Multiplierless Pruned DCT-like Transformation for Image and Video Compression that Requires 10 Additions Only
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universidade Federal de Santa Maria（圣玛丽亚联邦大学）；The University of Akron（阿克伦大学）
提出了一种无乘法器的近似8点离散余弦变换（DCT），只需10次加法。该算法在图像和视频压缩中进行了评估，显示出与最先进的方法具有竞争力的性能。采用45 nm CMOS技术的数字实现达到布局布线级别，表明1.1 V电源时的时钟速度为288 MHz。8x8块速率为36 MHzdDCT近似被嵌入HEVC参考软件中;对于8位RGB HEVC，所产生的视频帧高达327 Hz，呈现出可忽略的图像劣化。
2016-12-11 cs.CV cs.MM stat.ME
Joint Rate Allocation with Both Look-ahead And Feedback Model For High Efficiency Video Coding
多个编码视频流之间的联合码率分配的目标是共享带宽，以满足最小平均失真（minAVE）或最小失真方差（minVAR）的要求。在以往的工作中的minVAR问题，比特直接分配成比例的复杂性措施，我们称之为前瞻分配模型（LAM），这导致了这样一个事实，即性能将完全取决于复杂性措施的准确性。提出了一种用于高效视频编码（HEVC）平台的联合码率分配的前瞻反馈分配模型（LFAM），该模型对计算开销的要求可以忽略不计。我们从理论上推导了minVAR的目标函数模型。根据编码器一起反馈的复杂度度量、失真和比特率值来分配比特。我们在HEVC参考软件HM16.0中集成了所提出的分配模型，并将若干复杂性度量应用于我们的分配模型。结果表明，我们提出的LFAM性能优于LAM，平均节省65.94%的方差的均方误差（MSE）与不同的复杂性措施。
2018-03-15 cs.MM
B-DRRN: A Block Information Constrained Deep Recursive Residual Network for Video Compression Artifacts Reduction
Hosei University（法政大学）；JST, PRESTO（日本科学技术振兴机构，PRESTO）
虽然现今的视频压缩比变得越来越高，但是诸如H.264/AVC、H.265/HEVC、H.266/VVC的视频编码器总是遭受视频伪影。在本文中，我们设计了一个神经网络，通过利用块信息来提高压缩帧的质量，称为B-DRRN（带块信息的深度递归残差网络）。首先，额外的网络分支被设计用于利用编码单元（CU）的块信息。此外，为了避免网络规模的大幅增加，递归残差结构和共享权技术的应用。我们还进行了一个新的大规模数据集，包含209，152个训练样本。实验结果表明，提出的B-DRRN可以减少6.16%的BD率相比，HEVC标准。在有效地增加一个额外的网络分支后，这项工作可以在不增加任何存储内存的情况下提高主网络的性能。
2021-01-30 cs.CV cs.MM eess.IV
Frequency-Dependent Perceptual Quantisation for Visually Lossless Compression Applications
现有技术的高效率视频编码（HEVC）标准中的默认量化算法，即均匀重构量化（URQ）和率失真优化量化（RDOQ），不考虑各个变换系数的感知相关性。在本文中，提出了用于HEVC的频率相关感知量化（FDPQ）技术。FDPQ通过考虑AC变换系数与DC系数的欧几里德距离来利用线性变换基函数的公认的调制传递函数（MTF）特性。因此，在亮度和色度Cb和Cr变换块（TB）中，FDPQ更粗略地量化感知上最不相关的变换系数（即，高频AC系数）。相反，FDPQ保留DC系数和极低频AC系数的完整性。与视频编码中使用最广泛的变换系数级量化技术RDOQ相比，FDPQ成功地实现了高达41%的比特率降低。此外，主观评估确认FDPQ编码的视频数据在感知上是不可区分的（即，视觉上无损）。
2019-06-08 cs.MM
Spatiotemporal Adaptive Quantization for the Perceptual Video Coding of RGB 4:4:4 Data
由于人类视觉系统（HVS）的光谱敏感现象，原始RGB 4：4：4序列的颜色通道包含显著的心理视觉冗余;这些冗余可以被感知量化。HEVC标准中的默认量化系统被称为均匀重构量化（URQ）和率失真优化量化（RDOQ）; URQ和RDOQ对于RGB 4：4：4视频数据的编码不是感知优化的。在本文中，我们提出了一种新的时空感知量化技术SPAQ。对于RGB 4：4：4视频数据的应用，SPAQ除了空间掩蔽和时间掩蔽之外还利用HVS光谱灵敏度相关的颜色掩蔽; SPAQ在编码块（CB）级别和预测单元（PU）级别操作。如果检测到G、B和R CB中的高方差空间数据，并且如果检测到PU中的高运动矢量幅度，则所提出的技术在CB级别感知地调整量化步长（QStep）。与锚点1（HEVC HM 16.17 RExt）相比，SPAQ显著降低了比特率，最大降低约80%。主观评价中的平均意见评分（MOS）以及SSIM评分表明，与锚点相比，SPAQ成功实现了感知上的无损压缩。
2020-05-16 cs.MM eess.IV
Learning QoE from Packet-Level Measurements in Encrypted Video Conferencing Traffic
针对ISP无法访问加密内容评估QoE的挑战，提出基于CNN的框架仅利用数据包大小预测BRISQUE和MOS，在WhatsApp和Zoom数据集上优于先前模型。
2026-06-17 cs.CR cs.CV cs.LG
Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming
针对多编解码器流媒体传输能耗高的问题，提出MCBE方案，通过移除冗余表示并基于JND最小化感知冗余，结合随机森林预测VMAF，显著降低编码、存储和传输能耗。
2023-10-14 cs.MM
Robust Homomorphic Video Hashing
互联网已被武器化，以前所未有的速度进行网络犯罪活动。在利用现代工具和技术的同时，对保护个人数据隐私的日益关注令人震惊。几乎所有商业平台都需要端到端加密解决方案。一方面，似乎必须提供这样的解决方案，让人们信任可靠地使用这些平台。另一方面，这为不受控制的网络犯罪创造了巨大的机会。本文提出了一种强大的视频哈希技术，可扩展和有效的粉笔从大量的视频浮动在这些商业平台上的匹配。视频哈希经过验证，对于传输过程中最有可能发生的常见操作（例如缩放、噪声损坏、压缩和对比度变化）具有鲁棒性。它也可以转换为加密域，并在加密视频上工作，而无需解密。因此，它可以作为一种潜在的取证工具，可以在不知道底层内容的情况下跟踪非法共享视频。因此，它可以帮助保护隐私和打击网络犯罪，如报复色情，仇恨内容，虐待儿童或视频中传播的非法材料。
2020-09-03 cs.CR cs.MM
Cross-Layer Encrypted Semantic Communication Framework for Panoramic Video Transmission
本文提出跨层加密语义通信框架CLESC及端到端自适应全景视频语义传输网络APVST，通过动态调整CRC、信道编码和重传机制，实现语义通信与传统系统的兼容，可减少85%带宽消耗并在低信噪比下表现优越。
2024-11-19 cs.CR cs.MM eess.IV
A Bayesian Approach to Block Structure Inference in AV1-based Multi-rate Video Encoding
由于帧结构的差异，现有的多速率视频编码算法不能直接适用于利用诸如AV1的特殊参考帧的编码器而不引入实质的速率失真损失。为了解决这个问题，我们提出了一种新的baking块结构推理模型的启发修改HEVC为基础的算法。它估计块划分的后验概率分布，并相应地适应RDO过程中的早期终止。实验结果表明，该方法提供了灵活的控制速度和编码效率之间的权衡，并可以实现平均时间节省36.1%（高达50.6%），可以忽略不计的比特率成本。
2018-07-14 cs.MM
Dual-Layer Video Encryption using RSA Algorithm
针对需要传输敏感视频信息的应用，提出了一种基于RSA和伪随机序列的视频加密算法。该系统主要设计用于使用音频视频交织（AVI）编解码器编码的文件，尽管它可以很容易地移植用于运动图像专家组（MPEG）编码的文件。源的音频和视频组件分别经过两层加密，以确保合理的安全级别。视频分量的加密涉及应用RSA算法，然后是基于PN的加密。类似地，首先使用PN对音频分量进行加密，并且进一步使用离散余弦变换对音频分量进行加密。结合这些技术，一个有效的系统，不受安全漏洞和攻击的有利值的参数，如加密/解密速度，加密/解密比和视觉退化，已提出。对于需要加密敏感数据的应用，其中严格的安全要求是首要关注的，该系统被发现在原始和加密的视频序列之间的视觉感知中产生可忽略的相似性。对于视觉相似性不是主要问题的应用程序，我们将加密任务限制在使用RSA完成的单个加密级别，从而加快加密过程。虽然在这种情况下观察到原始视频和加密视频之间的一些相似性，但这不足以理解视频中发生的事情。
2015-09-14 cs.CR cs.MM eess.IV
Improved 8-point Approximate DCT for Image and Video Compression Requiring Only 14 Additions
The University of Akron（阿克伦大学）；Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universidade Federal de Santa Maria（圣玛丽亚联邦大学）
本文提出一种仅需14次加法的8点DCT近似方法，具有低计算复杂度，相比现有方法在算法复杂度和信噪比上表现更优，适用于HEVC等可重构视频标准。
2015-01-13 cs.CV cs.MM cs.NA
ABE-VVS: Attribute-Based Encrypted Volumetric Video Streaming
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Tennessee Technological University（田纳西科技大学）
提出ABE-VVS框架，通过选择性加密点云坐标实现轻量级DRM，降低计算开销和延迟，实验表明仅加密X坐标可减少50%加密时间和80%解密时间，并实现零缓冲。
2026-06-26 cs.CR cs.MM cs.NI
