An Optimized H.266/VVC Software Decoder On Mobile Platform
作为H. 265/HEVC的后继者，新的通用视频编码标准（H. 266/VVC）可以在保持相同主观质量的情况下，以增加解码复杂度为代价，提供高达50%的比特率节省。为了加速新编码标准的应用，本文采用SIMD技术、并行优化技术和基于各编码工具特点的加速策略，实现了一个支持多种平台的实时H. 266/VVC软件解码器。由于移动设备已经成为当今视频服务的重要载体，上述优化工作不仅针对x86平台实现，更重要的是在本工作中高度优化ARM平台上的解码性能。实验结果表明，在Apple A14 SoC（iPhone 12 pro）上运行时，对于VTM-11.0参考软件使用8位通用测试条件（CTC）生成的全高清（1080 p）码流，本实现的平均单线程解码速度可以达到53 fps（RA和LB）。当启用多线程时，在解码4K比特流时可以实现平均32 fps（RA）。
2021-03-05 cs.MM eess.IV
Prediction-Aware Quality Enhancement of VVC Using CNN
即将到来的视频编码标准，即通用视频编码（VVC），在比特率节省方面与其前身高效视频编码（HEVC）相比已经显示出很大的改进。尽管压缩视频具有相当高的性能，但在低比特率下，由于编码伪像（如块效应、模糊和振铃），压缩视频仍可能遭受质量下降。在这项工作中，我们利用卷积神经网络（CNN），以提高解码后的VVC编码帧的质量，以减少低比特率的文物。这项工作的主要贡献是使用的压缩比特流的编码信息。更准确地说，除了重建信息之外，帧内帧的预测信息也用于训练网络。该方法适用于VVC帧内编码帧的亮度和色度分量。在VVC测试模型（VTM）上的实验表明，在低比特率和高比特率下，编码信息的使用可以分别提高亮度和色度分量的约1%和6%的BD率性能。
2021-12-08 eess.IV
OpenVVC: a Lightweight Software Decoder for the Versatile Video Coding Standard
近年来，用户对更高分辨率的要求，加上新的多媒体应用的出现，已经产生了对新的视频编码标准的需要。被称为通用视频编码（VVC）的新一代视频编码标准已经由联合视频专家小组开发，并且提供超过上一代高效视频编码（HEVC）标准的编码能力。由于结合了更先进和复杂的工具，与HEVC相比，VVC标准的解码复杂度大约增加了一倍。这种复杂性的增加提出了新的研究挑战，以实现实时软件解码。在这种情况下，我们开发了OpenVVC，一个开源软件解码器，支持广泛的VVC功能。本文介绍了OpenVVC的软件体系结构，它的并行策略，以及一组详细的实验结果。通过将广泛的数据级并行与帧级并行相结合，OpenVVC实现了UHD视频内容的实时解码。此外，OpenVVC所需的内存非常低，这为它在低内存资源的嵌入式平台上的集成提供了很大的优势。OpenVVC解码器的代码可在www.example.com上公开获得
2022-05-24 eess.IV
Multi-Objective Pareto-Front Optimization for Efficient Adaptive VVC Streaming
Visual Information Lab（视觉信息实验室）；School of Computer Science（计算机科学学院）；University of Bristol（布里斯托大学）
本文提出多目标帕累托前沿优化框架，用于高效自适应VVC流媒体，通过优化视频质量、比特率和解码时间，实现更高效的流媒体性能。
2026-01-15 cs.CV eess.IV
Lightweight Hardware Transform Design for the Versatile Video Coding 4K ASIC Decoders
通用视频编码（VVC）是2020年7月完成的下一代视频编码标准。VVC引入了新的编码工具，与其前身高效率视频编码（HEVC）相比，提高了编码效率。这些新工具对估计为HEVC解码器复杂度的2倍的VVC软件解码器复杂度具有显著影响。具体地，变换模块在VVC中包括分别称为多变换选择（MTS）和低频不可分离变换（LFNST）工具的可分离和不可分离变换。在本文中，我们提出了一个面积有效的硬件架构的逆变换模块的VVC解码器。所提出的设计使用了一个针对专用集成电路（ASIC）平台的流水线架构，共64个常规乘法器。它包括支持包括高级视频编码（AVC）、HEVC和VVC的最新MPEG标准的变换模块的多标准架构。该架构利用了所有的初级和次级变换优化，包括蝶形分解、系数归零和变换之间的固有线性关系。综合结果表明，该方法在所有块大小下都能保持1个样本/周期的吞吐量和恒定的延迟。所提出的硬件逆变换模块在600 MHz频率下工作，能够以4：2：2色度子采样格式以每秒30帧的速度实时解码4K视频。所提出的模块已被集成在ASIC UHD解码器中，目标是消费者设备上的VVC视频的能量感知解码。
2021-11-06 eess.IV
A Complete End-To-End Open Source Toolchain for the Versatile Video Coding (VVC) Standard
通用视频编码（VVC）是由ITU-T和ISO/IEC联合制定的最新国际视频编码标准，已于2020年7月定稿。与其前身高效率视频编码（HEVC）相比，VVC允许对于相同的主观视频质量显著降低约50%的比特率。在完成一年后，设备和芯片组中的VVC支持仍在开发中，这与新视频编码标准的典型开发周期一致。本文介绍了开源软件包，允许建立一个完整的VVC端到端的工具链已经完成一年后。这包括用于快速高效VVC编码的Fraunhofer HHI VVenC库以及用于实时解码的HHI VVdeC库。VVC在GPAC软件工具和FFmpeg媒体框架中的实验性集成允许将VVC比特流（例如，用VVenC编码）打包成MP4文件格式，并使用DASH进行内容创建和流传输。VVdeC的集成允许在接收器上播放。鉴于这些软件包，我们为两种可能的应用场景提供了分步教程：VVC文件编码加播放和DASH自适应流媒体。
2021-07-28 cs.MM eess.IV
Decoding Energy Modeling For Versatile Video Coding
在先前的研究中，已经表明，通过使用解码能量率失真优化算法，高效率视频编码（HEVC）的软件解码能量需求可以减少15 $\%$。为了实现这一点，解码器的能量需求必须由具有足够高精度的基于比特流特征的模型来建模。因此，我们提出了两个比特流特征为基础的模型，即将到来的通用视频编码（VVC）标准。将新引入的模型与用于HEVC的来自文献的模型进行比较。所提出的模型的评价表明，平均估计误差是类似的文献的结果，并产生1.85%的估计误差与10倍交叉验证。
2022-09-21 eess.IV
Quality-Driven Dynamic VVC Frame Partitioning for Efficient Parallel Processing
VVC是下一代视频编码标准，提供超出HEVC标准的编码能力。最新的视频编码标准的高计算复杂性需要高级并行技术，以实现实时和低延迟的编码和解码。HEVC和VVC包括瓦片网格分割，其允许利用独立线程同时处理帧的矩形区域。瓦片网格可以进一步划分成矩形切片（RS）的水平子网格，从而增加划分灵活性。本文提出的动态瓦片和矩形切片（TRS）分区解决方案受益于这种灵活性。TRS分割是在帧级进行的，同时考虑到内容的空间纹理和先前编码帧的编码时间。所提出的解决方案搜索最佳的分区配置，最大限度地减少多线程编码时间和编码质量损失之间的权衡。实验证明，与均匀TRS划分相比，该方法显著减少了多线程编码时间，编码质量略有提高。
2020-12-29 cs.DC eess.IV
ViSTRA3: Video Coding with Deep Parameter Adaptation and Post Processing
本文提出了一个基于深度学习的视频压缩框架（ViSTRA 3）。所提出的框架在编码之前智能地适应输入视频的视频格式参数，随后在解码器处采用CNN来恢复其原始格式并增强重构质量。ViSTRA 3已与H.266/VVC测试模型VTM 14.0集成，并在联合视频探索小组通用测试条件下进行了评估。Bjønegard Delta（BD）测量结果表明，所提出的框架始终优于原始VVC VTM，基于PSNR和VMAF的评估，平均BD速率节省了1.8%和3.7%。
2021-11-30 eess.IV
Video Quality Assessment and Coding Complexity of the Versatile Video Coding Standard
本文全面分析了VVC标准相比HEVC的编码性能与复杂度，发现VVC在主客观质量上可节省31%-40%比特率，但解码复杂度增加1.5倍，编码复杂度至少增加8倍。
2023-10-19 eess.IV
Leveraging progressive model and overfitting for efficient learned image compression
Nokia Technologies（诺基亚技术公司）
在过去的十年里，深度学习在计算机视觉和图像/视频处理领域占据压倒性优势。然而，对于图像和视频压缩，它落后于基于离散余弦变换（DCT）和线性滤波器的传统技术。建立在自动编码器架构之上的学习图像压缩（LIC）系统近年来引起了极大的关注。然而，所提出的LIC系统仍然劣于现有技术的传统技术，例如，通用视频编码（VVC/H.266）标准，由于其压缩性能或解码复杂度。虽然声称在有限的比特率范围内优于VVC/H.266，但一些提出的LIC系统需要超过40秒才能在GPU系统上解码2K图像。在本文中，我们介绍了一个强大的和灵活的LIC框架与多尺度渐进（MSP）概率模型和潜在表示过拟合（LOF）技术。利用不同的预定义配置文件，所提出的框架可以实现压缩效率和计算复杂性之间的各种平衡点。实验表明，在宽比特率范围内的三个基准数据集上，与VVC/H.266标准相比，该框架实现了2.5%、1.0%和1.3%的Bjontegaard delta比特率（BD速率）降低。更重要的是，与许多其他LIC系统相比，解码复杂度从O（n）降低到O（1），从而在解码2K图像时加速超过20倍。
2022-10-08 cs.CV cs.LG cs.MM
Light-weight CNN-based VVC Inter Partitioning Acceleration
Ateme（Ateme公司）；INRIA（法国国家信息与自动化研究所）
针对VVC编码复杂度高的问题，提出基于轻量级CNN的CTU级8×8网格深度预测方法，限制QT分裂搜索以加速帧间划分，在VTM10的RAGOP32模式下实现17%-30%加速，BD-rate仅上升0.37%-1.18%。
2023-12-17 cs.AI cs.LG cs.MM
ViSTRA2: Video Coding using Spatial Resolution and Effective Bit Depth Adaptation
University of Bristol（布里斯托大学）
我们提出了一种新的视频压缩框架（ViSTRA2），它利用空间分辨率和有效位深度的自适应，在编码器上根据感知标准对这些参数进行下采样，并在解码器上使用深度卷积神经网络进行上采样。ViSTRA2已与HEVC（HM 16.20）和VVC（VTM 4.01）的参考软件集成，并在联合视频探索团队通用测试条件下使用随机访问配置进行评估。我们的结果显示，基于Bjønegard Delta测量，HM和VVC的压缩增益一致且显著，平均BD速率比HM节省12.6%（PSNR）和19.5%（VMAF），比VTM节省5.5%（PSNR）和8.6%（VMAF）。
2019-11-07 cs.LG eess.IV
Convex-hull Estimation using XPSNR for Versatile Video Coding
针对VVC自适应流媒体场景，提出基于XPSNR的凸包估计方法VEXUS，利用视频时空复杂度特征预测编码质量并在线确定凸包，在相同码率下提升画质并大幅降低编解码时间。
2024-06-19 cs.MM eess.IV
Multi-Objective Design Space Exploration for the Optimization of the HEVC Mode Decision Process
寻找最佳的编码决策压缩视频序列是一个非常复杂的问题。在这项工作中，我们提出了一个多目标的设计空间探索（DSE）方法，自动找到HEVC编码器的实现，优化了几个不同的标准。DSE将优化模式决策过程的编码模式评估顺序，并联合探索早期跳过条件，以最小化四个目标：a）比特率，b）失真，c）编码时间，和d）解码能量。在这种情况下，我们使用基于SystemC的演员模型的HM测试模型编码器的评估每个探索的解决方案。基于实际测量的评估表明，我们的框架可以自动生成编码器解决方案，在接受3%左右的比特率增加时，可以节省超过60%的编码时间或3%的解码能量。
2022-03-03 eess.IV
A Comprehensive Review of Software and Hardware Energy Efficiency of Video Decoders
本文全面研究了AVC、VP9、HEVC、AV1、VVC和AVM六种视频编码格式的软硬件解码能效与压缩效率，发现AV1和HEVC在软硬件解码能耗上具有最佳平衡点，且硬件解码能耗不足软件的9%。
2024-02-14 eess.IV
DQ-Ladder: A Deep Reinforcement Learning-based Bitrate Ladder for Adaptive Video Streaming
University of Klagenfurt（克拉根福大学）；University of Technology Cottbus-Seifert（科特布斯-塞夫特工业大学）；University of Innsbruck（因斯布鲁克大学）；TU Wien University of Vienna（维也纳工业大学）
本文提出DQ-Ladder，一种基于深度强化学习的自适应视频流媒体比特率阶梯，通过预测解码时间、质量评分和段级比特率来优化编码时间、解码效率和视频质量。
2026-03-13 cs.MM eess.IV
Checkerboard Context Model for Efficient Learned Image Compression
SenseTime Research（商汤科技研究院）
对于学习图像压缩，自回归上下文模型被证明是有效的改善率失真（RD）性能。因为它有助于消除潜在表征之间的空间冗余。然而，解码过程必须按照严格的扫描顺序进行，这破坏了并行化。我们提出了一个可并行化的棋盘上下文模型（CCM）来解决这个问题。我们的两遍棋盘上下文计算通过重新组织解码顺序消除了空间位置的限制。在我们的实验中，它将解码过程加速了40倍以上，在几乎相同的率失真性能的情况下，实现了显着提高的计算效率。据我们所知，这是第一次探索并行友好的空间上下文模型学习图像压缩。
2021-04-01 cs.CV eess.IV
SELIC: Semantic-Enhanced Learned Image Compression via High-Level Textual Guidance
提出SELIC框架，通过文本编码器提取图像语义并融合至潜在表示中，在不增加解码端输入的前提下提升压缩性能，实验证明其PSNR优于基线模型且BD-rate较VVC提升4.9%。
2025-04-02 eess.IV stat.AP
GaussianSeal: Rooting Adaptive Watermarks for 3D Gaussian Generation Model
School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）
本文提出GaussianSeal，首个针对3DGS生成模型的比特水印框架，通过自适应比特调制模块嵌入网络，实现高精度版权标识解码，优于后处理方法并保持生成质量。
2025-09-24 cs.CV eess.IV
Rate-Perception Optimized Preprocessing for Video Coding
Bilibili Inc.（哔哩哔哩公司）
在过去的几十年里，视频压缩领域取得了很大的进展，包括传统的视频编解码器和基于学习的视频编解码器。然而，很少有研究集中在使用预处理技术来提高率失真性能。在本文中，我们提出了一种率感知优化预处理（RPP）方法。我们首先介绍了一个自适应的离散余弦变换损失函数，它可以节省比特率，并保持必要的高频成分以及。此外，我们还结合了一些国家的最先进的技术，从低层次的视觉领域到我们的方法，如高阶退化模型，高效的轻量级网络设计，图像质量评估模型。通过联合使用这些强大的技术，我们的RPP方法可以在多个质量指标下使用不同的视频编码器（如AVC，HEVC和VVC）平均节省16.27%的比特率。在部署阶段，我们的RPP方法非常简单高效，不需要对视频编码、流媒体和解码的设置进行任何更改。每个输入帧在发送到视频编码器之前只需要通过RPP一次。此外，在我们的主观视觉质量测试中，87%的用户认为使用RPP的视频优于或等于仅使用编解码器压缩的视频，而这些使用RPP的视频平均节省约12%的比特率。我们的RPP框架已集成到我们的视频转码服务的生产环境中，每天为数百万用户提供服务。
2023-01-25 cs.CV cs.MM eess.IV
Standard compliant video coding using low complexity, switchable neural wrappers
New York University（纽约大学）；Google LLC（谷歌公司）
针对神经视频编码部署中复杂度与率失真性能的权衡难题，提出包裹标准编解码器的低复杂度可切换神经包装器框架，通过分辨率自适应和端到端优化，以极低新增复杂度显著提升VVC等标准的编码性能。
2024-07-10 cs.CV cs.MM eess.IV
Bit Allocation Transfer for Perceptual Quality Enhancement of Traditional Video Codecs
School of Engineering Science Simon Fraser University Burnaby, BC, Canada
该研究提出比特分配迁移框架，通过DCVC-FM训练量化步长生成模型，将神经压缩的感知重要性迁移至传统编解码器，在HEVC B~D数据集上实现显著比特率节省，且不修改核心解码语法。
2026-08-11 cs.MM eess.IV
Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs
CerCo, CNRS UMR5549（法国国家科学研究中心 UMR5549 脑与认知研究中心）；Université de Toulouse（图卢兹大学）；IRIT, CNRS UMR5505（法国国家科学研究中心 UMR5505 图卢兹信息学研究所）；ANITI（人工智能与自然智能研究所）
从功能磁共振成像信号重建感知自然图像是神经解码研究中最吸引人的课题之一。先前的研究成功地重建了低级别的图像特征或语义/高级别方面，但很少两者兼而有之。在这项研究中，我们利用实例条件GAN（IC-GAN）模型重建图像的功能磁共振成像模式，既准确的语义属性和保留低层次的细节。IC-GAN模型将通过自监督学习模型（SwAV ResNet-50）从目标图像中提取的119-dim噪声向量和2048-dim实例特征向量作为输入;这些实例特征充当IC-GAN图像生成的条件，而噪声向量在样本之间引入可变性。我们训练岭回归模型来预测来自相应fMRI模式的刺激的实例特征，噪声向量和密集向量（IC-GAN生成器的第一个密集层的输出）。然后，我们使用IC-GAN生成器基于这些fMRI预测变量重建新的测试图像。所生成的图像在捕获原始测试图像的语义属性方面呈现出最先进的结果，同时保持对低级别图像细节的相对忠实。最后，我们使用学习的回归模型和IC-GAN生成器来系统地探索和可视化最大限度地驱动人脑中几个感兴趣区域中每个区域的语义特征。
2022-02-25 cs.CV eess.IV q-bio.NC
