Evaluating Video Quality Metrics for Neural and Traditional Codecs using 4K/UHD-1 Videos
Technische Universität Ilmenau(伊尔梅瑙工业大学);RWTH Aachen(亚琛工业大学)
本文通过主观测试评估了传统和神经编码器在4K/UHD-1视频中的质量度量标准的有效性,发现VMAF和AVQBits|H0|f具有强相关性,而FasterVQA在无参考度量中表现最佳,且传统和神经编码器在度量可靠性上无显著差异。
2025-11-02 eess.IV
A Hybrid Deep Animation Codec for Low-bitrate Video Conferencing
深度生成模型,特别是面部动画方案,可用于视频会议应用中,以通过稀疏的关键点集有效地压缩视频,而无需传输密集的运动矢量。虽然这些方案在低比特率下比传统视频编解码器带来显著的编码增益,但是当可用带宽增加时,它们的性能很快饱和。在本文中,我们提出了一个分层的,混合编码方案,以克服这一限制。具体地,我们通过添加由通过常规视频编解码器(例如,HEVC)。动画和辅助视频通过一个新的融合模块相结合。我们的研究结果显示,在视频会议序列的大型数据集上,一致的平均BD速率增益超过-30%,扩展了面部动画编解码器的比特率操作范围
2022-07-27 cs.MM eess.IV
Explore Cross-Codec Quality-Rate Convex Hulls Relation for Adaptive Streaming
本研究评估H.264、H.265、VP9在三种分辨率下的质量-码率性能,构建凸包并对数多项式建模,发现单编解码器凸包可预测其他编解码器性能,助力提升自适应流媒体效率。
2024-08-16 eess.IV
VcLLM: Video Codecs are Secretly Tensor Codecs
Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出VcLLM框架,将GPU硬件视频编解码器重新用作通用张量编解码器,在多种任务中达到最先进压缩效率,从而大幅降低大语言模型训练与推理的内存和通信带宽需求,使其可在消费级GPU上运行。
2024-06-29 cs.DC cs.LG eess.IV
Artificial Intelligence based Video Codec (AIVC) for CLIC 2022
本文介绍了AIVC提交给CLIC 2022视频轨道。AIVC是一个基于条件自动编码器的完全学习的视频编解码器。利用AIVC模型的灵活性来实现速率分配和帧结构竞争,以选择每个序列的最佳编码配置。这种竞争产生了令人信服的压缩性能,与没有竞争相比,速率降低了-26%。
2022-06-28 eess.IV eess.SP
Adaptive Video Encoding For Different Video Codecs
到2022年,我们预计视频流量将达到互联网总流量的82%。毫无疑问,视频驱动应用的丰富将可能导致互联网视频流量百分比在不久的将来进一步增加,这是由视频设备功能的相关进步所实现的。为了应对这一不断增长的需求,开放媒体联盟(AOM)和联合视频专家小组(JVET)对开发新的视频编解码器表现出了浓厚的兴趣。因此,在快速变化的视频编解码器领域,真正需要开发可以普遍应用于不同编解码器的自适应方法。在这项研究中,我们将视频编码制定为多目标优化过程,其中视频质量(作为VMAF和PSNR的函数),比特率需求和编码速率(以每秒编码帧为单位)得到联合优化,超越了专注于针对特定带宽的速率控制的标准视频编码方法。更具体地说,我们创建了一个密集的视频编码空间(离线),然后采用回归来生成前向预测模型,用于上述优化目标中的每一个,仅使用帕累托最优点。我们展示了我们的自适应视频编码方法,该方法利用所生成的前向预测模型,这些模型有资格使用不同的编解码器进行实时自适应(例如,SVT-AV 1和x265),用于各种视频数据集和分辨率。为了激励我们的方法并为未来的快速VVC编码器建立承诺,我们还使用主观和客观指标进行了比较性能评估,并报告了VVC,SVT-AV 1,x265和VP 9编解码器之间所有可能对的比特率节省。
2021-05-17 cs.MM eess.IV
Efficient Sub-pixel Motion Compensation in Learned Video Codecs
Orange Research(橙研)
本文借鉴传统编解码器的亚像素运动补偿技术,在学习型视频编解码器中引入先进插值滤波器、块级运动信息和有限运动精度,在 Cool-chic 上实现码率降低超10%并将运动相关解码复杂度从391 MAC/像素降至214 MAC/像素。
2025-09-23 cs.MM eess.IV
I$^2$VC: A Unified Framework for Intra- & Inter-frame Video Compression
提出I^2$VC统一框架架,通过单一时空空域时空编解码器实现跨帧间压缩缩,核心方法为隐式帧间对齐与条件编解码,,整合帧内与帧间压缩缩,在AI、LD和RA)基准上表现优于现有编解码器内帧。I帧、P帧、B帧)三种帧型。
2024-06-01 eess.IV
BVI-CC: A Dataset for Research on Video Compression and Quality Assessment
视频技术的前景在过去的几年里一直非常生动,新的视频编码技术的推出,承诺提高压缩性能超过国家的最先进的技术。尽管有很多视频数据集是可用的,但需要宽参数空间的代表性内容以及对来自完整端的编码内容的变化的主观评估。针对这一需求,本文介绍了一个数据集,BVI-CC。部署了三种视频编解码器来创建编码序列的变体:高效视频编码(HEVC)测试模型(HM)、AOMedia视频1(AV 1)和通用视频编码(VVC)测试模型(VTM)。九个源视频序列被精心挑选,以提供在时空域的多样性和代表性。序列的不同空间分辨率版本由所有三个编解码器以预定义的目标比特率创建和编码。使用常用的客观质量度量来评估编解码器的压缩效率,并且还通过心理物理实验来评估其重构内容的主观质量。此外,使用客观和主观评估评估自适应比特率(跨空间分辨率的凸包率失真优化)测试情况。最后,测试的编解码器的计算复杂性进行了检查。所有数据都已作为数据集的一部分公开提供,可用于编码性能评估和视频质量指标开发。
2022-02-21 eess.IV
A Bitstream Feature Based Model for Video Decoding Energy Estimation
在本文中,我们表明,少量的比特流功能可以用来准确地估计四种不同的视频编解码器的最先进的软件和硬件加速解码器实现的能耗。通过测试HEVC,H.264,H.263和VP9的估计性能,我们表明,该模型可以用于任何混合视频编解码器。我们测试我们的方法在大量的不同的测试序列,以证明一般的有效性。我们表明,少于20个功能是足够的,以获得平均估计误差小于8%。最后,一个例子将显示所有测试的编解码器在速率、失真和解码能量方面的性能权衡。
2022-04-21 eess.IV
Slimmable Video Codec
Northwestern Polytechnical University(西北工业大学);Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学);Xidian University(西安电子科技大学);BBC Research & Development(英国广播公司研发部)
神经视频压缩已经成为一种结合可训练多层神经网络和机器学习的新范式,实现了有竞争力的率失真(RD)性能,但由于神经架构庞大,内存和计算需求大,仍然不切实际。此外,模型通常针对单个RD权衡进行优化。最近的可精简图像编解码器可以动态地调整其模型容量,以适度地减少存储器和计算需求,而不会损害RD性能。在本文中,我们提出了一个可瘦身的视频编解码器(SlimVC),通过整合一个可瘦身的时间熵模型的可瘦身的自动编码器。尽管一个显着更复杂的架构,我们表明,瘦身仍然是一个强大的机制,以控制速率,内存占用,计算成本和延迟,所有的重要要求,实际的视频压缩。
2022-05-13 cs.CV eess.IV
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University(首尔国立大学);Gauss Labs Inc.(高斯实验室公司)
最近基于深度学习的视频压缩方法带来了比传统编解码器(如AVC和HEVC)更大的编码增益。然而,基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中,我们提出了一种新的轻量级混合视频编解码器,包括传统的视频编解码器(HEVC / VVC),无损图像编解码器,和我们的新的恢复网络。准确地说,我们的编码器包括传统的视频编码器和无损图像编码器,传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成,它在两个步骤中增强了压缩视频。在第一步中,使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后,我们进一步提高视频质量的指导下的参考图像,这是一个有损压缩的视频帧。参考图像提供视频特定信息,其可用于更好地恢复压缩视频的细节。实验结果表明,所提出的方法实现了相当的性能,顶级的方法,即使在HEVC应用。然而,我们的方法具有较低的复杂度,更快的运行时间,并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
The Practice of Averaging Rate-Distortion Curves over Testsets to Compare Learned Video Codecs Can Cause Misleading Conclusions
Codeway AI Research(Codeway AI研究院);Koç University(科克大学)
本文证明在测试集上平均率失真曲线会误导学习型视频编解码器的性能评估,建议社区报告每序列RD曲线并基于每序列指标平均值计算性能,以确保比较公平准确。
2024-12-24 cs.CV cs.MM eess.IV
Sandwiched Video Compression: Efficiently Extending the Reach of Standard Codecs with Neural Wrappers
Google(谷歌)
本文提出夹层式视频压缩框架,在标准编解码器前后加入轻量神经预处理与后处理器并联合训练,通过可微代理实现端到端优化,在低分辨率HEVC传输高分辨率视频等场景下显著提升率失真性能。
2023-07-05 cs.LG cs.MM eess.IV
JOMP: Jointly-Optimized Mixed-Precision Quantization Across Neural Video Coding Frameworks and Buffering Strategies
National Yang Ming Chiao Tung University(国立阳明交通大学);Federal University of Pelotas(佩洛塔斯联邦大学)
提出JOMP框架,将量化参数和位宽作为可学习变量,实现神经视频编码器的混合精度量化,在率失真性能接近DCVC-FM的同时减少87.6%的比特操作。
2026-06-12 eess.IV
Inpainting-based Video Compression in FullHD
基于修复的压缩方法是用于静态图像的经典基于变换的编解码器的一种不断发展的替代方案。将这些想法应用于视频压缩的尝试很少,因为达到实时性能非常具有挑战性。因此,当前的方法集中于忽略时间冗余的简化的逐帧重建。作为一种补救措施,我们提出了一种高效,实时的预测和校正方法,完全依赖于偏微分方程(PDE)在所有步骤的编解码器:密集的变化光流场产生准确的运动补偿预测,而均匀扩散修复应用于帧内预测。为了压缩残差,我们引入了一种新的高效的基于块的伪差分修复变体。我们的新架构在质量和速度方面优于其他基于inpainting的视频编解码器。在基于inpainting的视频压缩中,我们第一次可以使用完全基于CPU的实现实时处理FullHD(1080p)视频,比以前的方法性能高出大约一个数量级。
2021-05-04 eess.IV
Towards Video Codec Performance Evaluation: A Rate-Energy-Distortion Perspective
本文针对BD-rate忽视编码能耗的问题,提出基于曲面拟合的码率-能耗-失真三维表示及投影分析,用于更全面地评估和选择视频编解码器。
2024-10-02 eess.IV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research(高通人工智能研究院)
在视频压缩中,通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余:1)一阶:像素空间中的冗余,即,跨相邻帧的像素值的相似性,这是使用运动和残差补偿有效地捕获的,2)二阶:由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余,我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测,学习从以前解码的数据外推。这些预测器是轻量级的,可以与大多数神经视频编解码器一起使用,以提高其率失真性能。此外,虽然RGB是神经视频编码文献中的主要色彩空间,但我们介绍了神经视频编解码器的一般修改,以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明,使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
GameScope: A Multi-Attribute, Multi-Codec Benchmark Dataset for Gaming Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
GameScope是首个多编码器、多属性的视频游戏质量评估数据集,包含4048个视频样本,涵盖H.264、H.265和AV1等主流编码,提供细粒度质量属性,评估了多个视频质量方法,包括超越所有基准的视觉语言模型。
2026-05-02 cs.CV eess.IV
Deep Video Codec Control for Vision Models
NEC Laboratories America, Inc.(NEC美国实验室公司);TU Munich(慕尼黑工业大学);TU Darmstadt(达姆施塔特工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
针对标准有损视频编码会大幅降低深度视觉模型性能的问题,本文提出首个端到端可学习的深度视频编解码器控制方案,在遵循现有标准、兼顾带宽约束的同时,能更好地保留下游深度视觉性能。
2024-04-16 cs.CV cs.LG cs.MM
Learning to Compress Videos without Computing Motion
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook Reality Labs(Facebook现实实验室);Apple, Inc(苹果公司);Nvidia(英伟达)
随着更高分辨率内容和显示器的发展,其巨大的体积对获取、传输、压缩和显示高质量视频内容的目标提出了重大挑战。在本文中,我们提出了一种新的深度学习视频压缩架构,不需要运动估计,这是现代混合视频压缩编解码器(如H.264和HEVC)中最昂贵的元素。我们的框架利用了视频运动固有的特性,我们通过使用位移帧差作为视频表示来训练神经网络来捕获视频运动。此外,我们提出了一种新的时空重构网络,它基于LSTM模型和UNet模型,我们称之为LSTM-UNet。新的视频压缩框架有三个组件:位移计算单元(DCU)、位移压缩网络(DCN)和帧重建网络(FRN)。DCU消除了对混合编解码器中的运动估计的需要,并且更便宜。在DCN中,利用基于RNN的网络来压缩移位的帧差以及保留帧之间的时间信息。FRN中使用LSTM-UNet来学习视频的时空差分表示。我们的实验结果表明,我们的压缩模型,我们称之为无运动视频编解码器(MOVI-Codec),学习如何有效地压缩视频,而不计算运动。我们的实验表明,MOVI-Codec优于视频编码标准H. 264的低延迟P veryfast设置,并超过现代全球标准HEVC编解码器的性能,使用相同的设置,如MS-SSIM所测量的,特别是在更高分辨率的视频上。此外,在使用MS-SSIM评估高分辨率视频时,我们的网络在更高比特率下的性能优于最新的H.266(VVC)编解码器。
2022-03-27 cs.CV eess.IV
Cool-chic video: Learned video coding with 800 parameters
Orange Innovation(奥兰奇创新中心);IETR(电子与电信研究院)
提出一种基于Cool-chic的轻量级学习型视频编解码器,通过帧间编码模块利用时间冗余,以极低的解码复杂度实现了接近AVC的率失真性能并优于FFNeRV。
2024-02-06 cs.LG eess.IV
Can Learned Frame-Prediction Compete with Block-Motion Compensation for Video Coding?
Koç University(科奇大学)
鉴于学习视频预测的最新进展,我们研究了一个简单的视频编解码器是否可以与基于块运动补偿的标准视频编解码器竞争,该编解码器使用预先训练的深度模型,基于先前编码/解码的帧进行下一帧预测,而不发送任何运动辅助信息。给定学习帧预测的帧差由标准静止图像(帧内)编解码器编码。实验结果表明,在10个MPEG测试视频上,复杂度对称的简单编解码器的率失真性能平均优于x264编解码器,但尚未达到x265编解码器的水平。这个结果证明了学习帧预测(LFP)的强大功能,因为与运动补偿不同,LFP不使用来自当前图片的信息。分析了使用L1、L2或L2和对抗性损失的组合训练对预测性能和压缩效率的影响。
2020-07-17 cs.CV cs.LG eess.IV
Bit Allocation Transfer for Perceptual Quality Enhancement of Traditional Video Codecs
School of Engineering Science Simon Fraser University Burnaby, BC, Canada
该研究提出比特分配迁移框架,通过DCVC-FM训练量化步长生成模型,将神经压缩的感知重要性迁移至传统编解码器,在HEVC B~D数据集上实现显著比特率节省,且不修改核心解码语法。
2026-08-11 cs.MM eess.IV
The Bjøntegaard Bible -- Why your Way of Comparing Video Codecs May Be Wrong
本文深入评估 Bjøntegaard Delta 计算,发现其在标准率失真比较中误差低,但在 VMAF、能耗等场景误差高,并提出使用建议以最大化 BD 值有效性。
2023-12-22 eess.IV
Differentiable bit-rate estimation for neural-based video codec enhancement
Qualcomm AI Research(高通人工智能研究院)
神经网络(NN)可以通过对编码视频进行预处理和后处理来改进标准视频压缩。对于最佳NN训练,标准编解码器需要用编解码器代理替换,该编解码器代理可以提供估计的比特率和失真的导数,其用于梯度反向传播。由于标准编解码器的熵编码被设计为考虑变换系数之间的非线性依赖性,所以比特率不能用简单的每系数估计器很好地近似。本文提出了一种用于比特率估计的新方法,该方法类似于训练端到端神经编解码器中采用的类型,并且能够有效地考虑这些统计依赖性。它是从一个数学模型定义的,该模型提供了估计值及其梯度的封闭式公式,降低了计算复杂性。实验结果表明,该方法在估计HEVC/H.265编解码器的比特率的准确性。
2023-01-24 cs.IT cs.LG cs.MM
A Framework to Map VMAF with the Probability of Just Noticeable Difference between Video Encoding Recipes
基于人类视觉系统(HVS)通过主观研究开发的JND(Just Noticeable Difference)模型在许多多媒体应用中具有重要价值。在流媒体行业中,当选择视频编码配方时,它通常被应用于在压缩效率和感知质量之间达到良好的平衡。然而,最近最先进的基于深度学习的JND预测模型依赖于收集昂贵且耗时的大规模JND地面实况。大多数现有JND数据集包含有限数量的内容并且限于特定编解码器(例如,H264)。因此,在这样的数据集上训练的JND预测模型通常对编解码器是不可知的。为此,为了解耦编码配方和JND估计,我们提出了一种新的框架来映射客观视频质量评估(VQA)分数的差异,即,VMAF,在两个给定的视频之间,从相同的内容,以不同的编码配方编码的概率,他们之间有明显的差异。所提出的概率映射模型从DCR测试数据中学习,这比标准JND主观测试便宜得多。当我们利用客观的VQA度量(例如,VMAF(使用不同编解码器编码的内容进行训练)作为代理来估计JND,我们的模型对编解码器是不可知的,并且计算效率高。通过大量的实验,它表明,该模型是能够有效地估计JND值。
2022-05-20 eess.IV
Benchmarking Conventional and Learned Video Codecs with a Low-Delay Configuration
Visionular(维视乐公司)
本文在低延迟配置下系统比较 H.266/VVC VTM、JVET ECM、AV1 libaom、AVM 及 DCVC-DC/DCVC-FM,发现 JVET ECM 整体性能最优,并揭示学习型编解码器在大背景运动内容上的不稳定性。
2024-08-09 cs.CV cs.MM eess.IV
Combined neural network-based intra prediction and transform selection
在基于块的视频编解码器中,连续添加的不同工具之间的交互对于其率失真效率至关重要。特别地,当基于深度神经网络的帧内预测模式被插入到基于块的视频编解码器中时,由于基于神经网络的预测函数不能被容易地表征,所以变换选择过程对新模式的适配几乎不能手动执行。这就是为什么本文提出了一种组合的基于神经网络的帧内预测和变换选择的基于块的视频编解码器。当将单个基于神经网络的帧内预测模式和所选择的LFNST对索引的学习预测放入VTM-8.0中时,获得了所有帧内的平均BD速率降低的-3.71%、-3.17%和-3.37%。
2021-08-18 eess.IV
Towards Real-Time Neural Video Codec for Cross-Platform Application Using Calibration Information
Tencent AI Lab(腾讯人工智能实验室)
本文提出一种实时跨平台神经视频编解码器,通过校准传输系统和分段高斯约束解决跨平台浮点误差导致的编解码不一致问题,并设计轻量级模型在RTX 2080上实现720P视频25 FPS实时解码,较H.265最多提升24.2% BD-rate。
2023-09-20 cs.CV eess.IV
Adaptation and Attention for Neural Video Coding
Nokia Technologies(诺基亚技术公司);Tampere University(坦佩雷大学)
神经图像编码现在代表了最先进的图像压缩方法。然而,在视频领域还有很多工作要做。在这项工作中,我们提出了一个端到端的学习视频编解码器,介绍了几个架构的新颖性以及培训的新颖性,围绕适应和注意力的概念。我们的编解码器被组织为与帧间编解码器配对的帧内编解码器。作为一种新颖的架构,我们提出了训练帧间编解码器模型,以适应运动估计过程的基础上的分辨率的输入视频。第二个架构新颖性是一个新的神经块,它结合了基于分裂注意力的神经网络和DenseNets的概念。最后,我们建议在推理时过拟合一组解码器侧乘法参数。通过消融研究和现有技术的比较,我们显示了我们提出的技术在编码增益方面的好处。我们将我们的编解码器与VVC/H.266和RLVC进行了比较,它们分别代表了最先进的传统和端到端学习编解码器,并与2021年CLIC竞赛E2E_T_OL中表现最好的端到端学习方法进行了比较。我们的编解码器明显优于E2E_T_OL,并在某些设置中与VVC和RLVC相媲美。
2021-12-16 cs.CV cs.LG eess.IV
VCD: A Video Conferencing Dataset for Video Compression
提出首个视频会议数据集VCD,涵盖多种摄像头质量和场景,评估H.264等编解码器压缩效率,发现源质量和场景显著影响性能,并开源发布。
2023-11-13 cs.MM eess.IV
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University(法政大学)
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题,提出结合过去与未来关键帧的双向学习型编解码器,在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
One-Click Upgrade from 2D to 3D: Sandwiched RGB-D Video Compression for Stereoscopic Teleconferencing
Tandon School of Engineering, New York University(纽约大学坦登工程学院);Google LLC(谷歌有限责任公司)
针对立体视频会议中现有2D编解码器不适配立体RGB-D视频、3D扩展方案复杂的问题,提出用神经前后处理器封装2D编解码器的方法,结合几何感知损失,在相同渲染质量下比传统方案及MV-HEVC省30%比特率,无需专用硬件升级。
2024-04-15 cs.CV eess.IV
Prediction and Reference Quality Adaptation for Learned Video Compression
University of Science and Technology of China(中国科学技术大学)
针对学习型视频压缩中预测与参考质量自适应不足的问题,提出基于置信度的PQA模块和RQA模块及配套训练策略,有效提升了压缩性能。
2025-03-24 cs.CV eess.IV
Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation
University of Bristol(布里斯托尔大学);Yokohama National University(横滨国立大学)
本文提出基于梯度衰减与自适应逐层蒸馏的模型无关剪枝方案,应用于FVC、DCVC和DCVC-HEM三种学习型视频编解码器,在BD-PSNR下降小于0.3dB的情况下实现最高65%的MACs减少和2倍加速。
2023-12-05 cs.CV eess.IV
Sandwiched Compression: Repurposing Standard Codecs with Neural Network Wrappers
该研究提出将标准编解码器夹在前后处理神经网络间的夹层压缩架构,通过可微代理联合训练优化率失真,在多类不匹配场景下实现显著性能提升,并确立了其最优性与应用潜力。
2025-02-20 cs.MM eess.IV
TransVFC: A Transformable Video Feature Compression Framework for Machines
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Visual Intelligence +X International Cooperation Joint Laboratory of MOE(教育部视觉智能+X国际合作联合实验室);School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
针对机器视觉多任务场景,提出TransVFC框架,通过视频特征编解码器压缩时空冗余,并利用轻量级FST模块将特征变换至新空间,避免重训,实现高率-任务性能。
2025-10-17 eess.IV
MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device
Qualcomm AI Research(高通人工智能研究院)
提出首个移动设备上实时解码1080p YUV420视频的神经编解码器,通过块运动补偿与整数量化及并行流水线,实现高达48%的BD-rate节省和10倍MAC减少。
2023-11-15 cs.CV cs.LG eess.IV
Additional Tests for TV 3.0
本文介绍了在巴西利亚大学为TV 3.0项目进行的附加主观视频质量测试,评估了4K分辨率下H.266/VVC及H.266/VVC+LCEVC编解码器的性能,并详细报告了实验结果。
2024-11-18 eess.IV
MLVC: Multi-platform Learned Video Codec for Real-World Deployment
Microsoft Corporation(微软公司)
提出MLVC,一种跨平台鲁棒的神经视频编解码器,通过超先验显式传输缩放参数保证熵编码一致性,结合门控记忆、ReGLU激活等架构改进,在VCD基准上相比硬件HEVC实现>70% BD-rate提升,且与无法跨平台运行的DCVC-RT主观质量相当。
2026-07-30 cs.AI cs.CV cs.LG
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
该研究构建覆盖五种主流编解码器的 SR+Codec 基准,评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量,证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Generative Latent Video Compression
Microsoft Research Asia(微软亚洲研究院)
本文提出感知视频压缩框架GLVC,通过连续分词器将帧投影至潜在空间以卸载感知约束,采用统一帧内/帧间编码与循环记忆机制重新设计架构,在近半码率下达到SOTA并保持时间连贯性。
2025-10-11 cs.CV eess.IV
Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set
Qualcomm AI Research(高通人工智能研究院)
本文提出实例自适应视频压缩方法,通过微调预训练模型并熵编码参数更新,提升多种神经编解码器性能,节省BD-rate 17-27%,增强鲁棒性并降低模型容量需求。
2023-06-23 cs.CV cs.LG eess.IV
NN-VVC: Versatile Video Coding boosted by self-supervisedly learned image coding for machines
Nokia Technologies(诺基亚技术公司);Tampere University(坦佩雷大学)
本文提出NN-VVC混合编解码器,融合端到端学习型图像编码与VVC等传统视频编码,在多数据集和多机器视觉任务上显著降低BD码率。
2024-01-19 cs.CV eess.IV
OpenDCVCs: A PyTorch Open Source Implementation and Performance Evaluation of the DCVC series Video Codecs
Purdue University West Lafayette, USA(帕克大学西拉法叶分校)
OpenDCVCs是一个开源PyTorch框架,统一实现了四种DCVC视频压缩模型,支持端到端训练与评估,提供文档和基准测试结果,以促进可复现研究。
2025-08-06 cs.CV eess.IV
On Optimizing Image Codecs for VMAF NEG: Analysis, Issues, and a Robust Loss Proposal
Huawei Technologies Düsseldorf GmbH(华为技术杜塞尔多夫有限公司);Leibniz University Hannover(汉诺威莱布尼茨大学)
本文针对VMAF NEG指标的漏洞提出鲁棒损失方案,以提升图像编解码器的微调效果。
2026-08-07 eess.IV
Immersive Video Compression using Implicit Neural Representations
University of Bristol(布里斯托尔大学)
本文首次将隐式神经表示扩展到多视角视频压缩,提出MV-HiNeRV,通过按视角学习特征网格并共享网络参数,有效利用时空与视角间冗余,在MPEG沉浸式视频测试中相比TMIV实现高达72.33%的编码增益。
2024-02-23 cs.CV eess.IV
Neural Video Compression with Diverse Contexts
Microsoft Research Asia(微软亚洲研究院)
对于任何视频编解码器,编码效率高度依赖于待编码的当前信号是否可以从先前重构的信号中找到相关上下文。传统的编解码器已经证实更多的上下文带来了可观的编码增益,但以一种耗时的方式。然而,对于新兴的神经视频编解码器(NVC),其上下文仍然是有限的,导致低压缩比。为了提高NVC,本文提出在时间和空间维度上增加上下文多样性。首先,我们引导模型学习跨帧的分层质量模式,这丰富了长期且高质量的时间上下文。此外,为了挖掘基于光流的编码框架的潜力,我们引入了基于组的偏移多样性,其中提出了跨组交互以更好地挖掘上下文。此外,本文还采用了基于四叉树的分区,以增加空间上下文的多样性时,并行编码的潜在表示。实验表明,我们的编码器获得了23.5%的比特率节省比以前的SOTA NVC。更好的是,我们的编解码器已经超过了正在开发的下一代传统编解码器/ECM在RGB和YUV 420色彩空间,在PSNR方面。代码在https://github.com/microsoft/DCVC上。
2023-03-14 cs.CV cs.MM eess.IV
Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression
Microsoft Research Asia(微软亚洲研究院)
对于神经视频编解码器来说,设计一个有效的熵模型来准确预测量化潜在表征的概率分布是关键的,也是具有挑战性的。然而,现有的视频编解码器大多直接使用现成的熵模型从图像编解码器编码的残差或运动,并没有充分利用视频的时空特性。为此,本文提出了一个强大的熵模型,有效地捕捉空间和时间的依赖性。特别地,我们引入了潜在先验,它利用潜在表征之间的相关性来挤压时间冗余。同时,提出了双空间先验,以减少空间冗余的并行友好的方式。此外,我们的熵模型也是通用的。除了估计的概率分布,我们的熵模型还产生在空间通道的量化步骤。这种内容自适应量化机制不仅可以帮助我们的编码器实现平滑的速率调整在单一的模式,但也提高了最终的率失真性能的动态比特分配。实验结果表明,采用所提出的熵模型,我们的神经编解码器可以实现18.2%的比特率节省UVG数据集相比,H.266(VTM)使用最高的压缩比配置。它是神经视频编解码器发展的一个新的里程碑。代码在https://github.com/microsoft/DCVC上。
2022-07-13 cs.CV cs.MM eess.IV
Advanced Geometry Surface Coding for Dynamic Point Cloud Compression
在基于视频的动态点云压缩(V-PCC)中,3D点云被投影到2D图像上,以便使用现有的视频编解码器进行压缩。然而,现有的视频编解码器最初是针对自然视觉信号设计的,并且它未能考虑点云的特性。因此,在从点云生成的几何信息的压缩中仍然存在问题。首先,现有率失真优化(RDO)中的失真模型与几何质量评估指标不一致。其次,视频编解码器中的预测方法未能考虑远层的最高深度值大于或等于近层的对应最低深度值的事实。提出了一种用于动态点云数据压缩的高级几何表面编码(AGSC)方法.该方法由两个模块组成,包括基于误差投影模型(EPM)的RDO和基于占用图(OM)的合并预测。首先,提出了一种新的失真模型来描述现有视频编解码器中的失真模型与几何质量度量之间的关系。其次,提出了基于EPM的RDO方法,将现有的失真模型投影到平面法线上,并将其简化为编码单元(CU)的平均法向量估计。最后,我们提出了基于OM的合并预测方法,在该方法中,合并模式的预测像素基于占用图进行细化。在标准点云上的实验结果表明,该方法平均节省了9.84%的几何压缩码率.
2021-03-11 eess.IV
Differentiable Proxy Learning for Adaptive Quantization Control in H.264 Video Coding
School of Engineering Science, Simon Fraser University(工程科学学院,西蒙·弗雷泽大学)
研究针对H.264视频编码中优化量化参数难的问题,提出可微代理学习方法,基于可变速率学习压缩模型,通过软索引机制使代理可微,经训练近似H.264率失真行为,所构建框架在相关任务中显著改善率任务权衡。
2026-07-14 cs.CV eess.IV
Deep motion estimation for parallel inter-frame prediction in video compression
Stellenbosch University(斯泰伦博斯大学)
标准视频编解码器依赖于光流来指导帧间预测:来自参考帧的像素经由运动矢量移动以预测目标视频帧。我们建议学习基于输入视频序列编码的二进制运动代码。这些代码不仅限于2D平移,还可以捕获复杂的运动(扭曲,旋转和遮挡)。我们的运动代码是作为单个神经网络的一部分学习的,该神经网络还学习压缩和解码它们。该方法支持并行视频帧解码,而不是基于流的方法的顺序运动估计和补偿。我们还引入了3D动态位分配,以适应运动引起的对象位移,产生额外的位节省。通过将现有视频编解码器中基于光流的块运动算法替换为我们学习的帧间预测模型,我们的方法在低比特率下优于标准H.264和H.265视频编解码器。
2019-12-11 cs.CV eess.IV
Bitstream Organization for Parallel Entropy Coding on Neural Network-based Video Codecs
本文针对神经视频编解码器并行熵编码的比特流组织问题,提出压缩并行解码入口点、双向比特流打包和联合优化算术编码终止方法,显著降低并发解码的比特率开销。
2023-12-01 cs.IT eess.IV math.IT