Cool-chic video: Learned video coding with 800 parameters
Orange Innovation(奥兰奇创新中心);IETR(电子与电信研究院)
提出一种基于Cool-chic的轻量级学习型视频编解码器,通过帧间编码模块利用时间冗余,以极低的解码复杂度实现了接近AVC的率失真性能并优于FFNeRV。
2024-02-06 cs.LG eess.IV
CodecSight: Leveraging Video Codec Signals for Efficient Streaming VLM Inference
Beihang University(北京航空航天大学);Georgia Institute of Technology(佐治亚理工学院)
CodecSight通过利用视频编码器内嵌的时空结构信息,实现流式视频分析的高效推理,提升吞吐量并减少GPU计算量,同时保持高精度。
2026-09-16 cs.CV cs.DC cs.LG
Can Learned Frame-Prediction Compete with Block-Motion Compensation for Video Coding?
Koç University(科奇大学)
鉴于学习视频预测的最新进展,我们研究了一个简单的视频编解码器是否可以与基于块运动补偿的标准视频编解码器竞争,该编解码器使用预先训练的深度模型,基于先前编码/解码的帧进行下一帧预测,而不发送任何运动辅助信息。给定学习帧预测的帧差由标准静止图像(帧内)编解码器编码。实验结果表明,在10个MPEG测试视频上,复杂度对称的简单编解码器的率失真性能平均优于x264编解码器,但尚未达到x265编解码器的水平。这个结果证明了学习帧预测(LFP)的强大功能,因为与运动补偿不同,LFP不使用来自当前图片的信息。分析了使用L1、L2或L2和对抗性损失的组合训练对预测性能和压缩效率的影响。
2020-07-17 cs.CV cs.LG eess.IV
Differentiable bit-rate estimation for neural-based video codec enhancement
Qualcomm AI Research(高通人工智能研究院)
神经网络(NN)可以通过对编码视频进行预处理和后处理来改进标准视频压缩。对于最佳NN训练,标准编解码器需要用编解码器代理替换,该编解码器代理可以提供估计的比特率和失真的导数,其用于梯度反向传播。由于标准编解码器的熵编码被设计为考虑变换系数之间的非线性依赖性,所以比特率不能用简单的每系数估计器很好地近似。本文提出了一种用于比特率估计的新方法,该方法类似于训练端到端神经编解码器中采用的类型,并且能够有效地考虑这些统计依赖性。它是从一个数学模型定义的,该模型提供了估计值及其梯度的封闭式公式,降低了计算复杂性。实验结果表明,该方法在估计HEVC/H.265编解码器的比特率的准确性。
2023-01-24 cs.IT cs.LG cs.MM
Adaptation and Attention for Neural Video Coding
Nokia Technologies(诺基亚技术公司);Tampere University(坦佩雷大学)
神经图像编码现在代表了最先进的图像压缩方法。然而,在视频领域还有很多工作要做。在这项工作中,我们提出了一个端到端的学习视频编解码器,介绍了几个架构的新颖性以及培训的新颖性,围绕适应和注意力的概念。我们的编解码器被组织为与帧间编解码器配对的帧内编解码器。作为一种新颖的架构,我们提出了训练帧间编解码器模型,以适应运动估计过程的基础上的分辨率的输入视频。第二个架构新颖性是一个新的神经块,它结合了基于分裂注意力的神经网络和DenseNets的概念。最后,我们建议在推理时过拟合一组解码器侧乘法参数。通过消融研究和现有技术的比较,我们显示了我们提出的技术在编码增益方面的好处。我们将我们的编解码器与VVC/H.266和RLVC进行了比较,它们分别代表了最先进的传统和端到端学习编解码器,并与2021年CLIC竞赛E2E_T_OL中表现最好的端到端学习方法进行了比较。我们的编解码器明显优于E2E_T_OL,并在某些设置中与VVC和RLVC相媲美。
2021-12-16 cs.CV cs.LG eess.IV
Efficient Remote KV Cache Reuse with GPU-native Video Codec
Nanjing University(南京大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
本文提出基于GPU原生视频编解码器的远程KV缓存重用方案,通过紧凑布局和高效传输减少TTFT,实验显示比现有方法提升3.51倍。
2026-05-12 cs.DC cs.LG
MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device
Qualcomm AI Research(高通人工智能研究院)
提出首个移动设备上实时解码1080p YUV420视频的神经编解码器,通过块运动补偿与整数量化及并行流水线,实现高达48%的BD-rate节省和10倍MAC减少。
2023-11-15 cs.CV cs.LG eess.IV
MLVC: Multi-platform Learned Video Codec for Real-World Deployment
Microsoft Corporation(微软公司)
提出MLVC,一种跨平台鲁棒的神经视频编解码器,通过超先验显式传输缩放参数保证熵编码一致性,结合门控记忆、ReGLU激活等架构改进,在VCD基准上相比硬件HEVC实现>70% BD-rate提升,且与无法跨平台运行的DCVC-RT主观质量相当。
2026-07-30 cs.AI cs.CV cs.LG
Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set
Qualcomm AI Research(高通人工智能研究院)
本文提出实例自适应视频压缩方法,通过微调预训练模型并熵编码参数更新,提升多种神经编解码器性能,节省BD-rate 17-27%,增强鲁棒性并降低模型容量需求。
2023-06-23 cs.CV cs.LG eess.IV
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)(维尔马塔·吉贾巴伊技术学院(VJTI))
近年来,基于神经网络的图像压缩技术已经能够优于传统的编解码器,并为基于学习的视频编解码器的发展打开了大门。然而,为了利用视频中的高时间相关性,需要采用更复杂的架构。本文介绍了PredEncoder,一种基于预测自动编码概念的混合视频压缩框架,该框架使用预测网络对连续视频帧之间的时间相关性进行建模,然后将预测网络与渐进式编码器网络相结合,以利用空间冗余。本文提出了一种可变速率分组编码方案,该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调,PredEncoder已经能够获得比MPEG-4编解码器的显着改进,并在低到中等比特率范围内实现了比H.264编解码器更低的比特率,用于高清视频,并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
Extending Neural P-frame Codecs for B-frame Coding
Qualcomm AI Research(高通人工智能研究院)
虽然大多数神经视频编解码器解决P帧编码(从过去的帧预测每一帧),但在本文中,我们解决B帧压缩(使用过去和未来的参考帧预测帧)。我们的B-框架解决方案是基于现有的P-框架方法。因此,B帧编码能力可以很容易地添加到现有的神经编解码器。我们的B帧编码方法的基本思想是内插的两个参考帧,以产生一个单一的参考帧,然后使用它与现有的P帧编解码器编码的输入B帧。我们的研究表明,内插帧是一个更好的参考P帧编解码器相比,使用前一帧通常是这样做。我们的结果表明,使用所提出的方法与现有的P帧编解码器可以导致28.5%的节省比特率的UVG数据集相比,P帧编解码器,同时产生相同的视频质量。
2021-08-05 cs.CV cs.LG eess.IV
SCENE: Semantic-aware Codec Enhancement with Neural Embeddings
United Link Co., Ltd.(联合链接有限公司);Dept. Computer Science and Information Engineering, National Tsing Hua University(国立清华大学计算机科学与信息工程系)
SCENE通过整合视觉语言模型的语义嵌入,实现对压缩视频中伪影的语义感知增强,提升感知质量和细节纹理保留。
2026-01-29 cs.CV cs.LG cs.MM
Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
深度图是各种图形渲染和处理操作所需要的。当在分布式系统中执行这样的操作时,深度图流式传输通常是必要的,并且在大多数情况下,它需要快速执行压缩,这就是为什么经常使用视频编解码器。标准视频编解码器的硬件实现即使在资源受限的设备上也能够实现相对高的分辨率和帧速率组合,但不幸的是,这些实现目前不支持RGB+深度扩展。然而,它们可以通过首先将深度图打包到RGB或YUV帧中来用于深度压缩。我们调查深度图压缩使用深度图包装的组合,然后用标准的视频编解码器编码。我们表明,深度图被包装的精度有一个大的和不平凡的影响,所产生的错误所造成的组合的包装方案和有损压缩时,比特率受到约束。因此,我们提出了一个可变精度的包装方案的神经网络模型,预测每个深度图的最佳精度给定的比特率约束。我们证明,该模型产生接近最佳的预测,它可以集成到一个游戏引擎,使用现代硬件的开销非常低。
2022-06-30 cs.GR cs.LG cs.MM
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences(Verily生命科学公司);Google Research(谷歌研究院)
压缩对于存储和传输医疗视频至关重要,但压缩对下游医疗任务的影响往往被忽视。此外,系统实际上依赖于标准视频编解码器,其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中,我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处,并激励我们正在进行的工作,训练学习压缩模型结肠镜检查视频。我们发现,两个最常见的经典编解码器,H264和HEVC,压缩医学相关的帧统计上显着不如医学无关的,息肉检测器的性能迅速下降,随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域,并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
The Hong Kong Polytechnic University(香港理工大学)
近年来,互联网视频流量急剧增长,其中视频比特流通常被压缩并以低质量传送以适应流媒体的上行链路带宽。为了缓解质量下降,神经增强视频流(NVS)的兴起,它通过在媒体服务器上主要部署神经超分辨率(SR)来恢复低质量视频,显示出巨大的前景。尽管它的好处,我们发现,目前的主流作品与SR增强没有实现所需的率失真之间的比特率节省和质量恢复的权衡,由于:(1)过分强调解码器侧的增强而忽略编码器的协同设计,(2)恢复高保真感知细节的生成能力有限,以及(3)仅从分辨率角度优化压缩和恢复流水线,而不考虑颜色位深度。为了克服这些限制,我们首先进行编码器-解码器(即,编解码器)协同作用。具体来说,我们提出了编解码器感知的扩散建模(CaDM),一种新的NVS范式,以显着降低流传输比特率,同时保持相当高的恢复能力比现有的方法。首先,CaDM通过同时降低视频帧的分辨率和颜色比特深度来提高编码器的压缩效率。其次,CaDM通过使去噪扩散恢复知道编码器的分辨率-颜色条件来赋予解码器高质量的增强。使用OpenMMLab基准测试对公共云服务进行的评估表明,CaDM有效地节省了基于常见视频标准的高达5.12 - 21.44倍的比特率,并实现了更好的恢复质量(例如,FID为0.61)优于最先进的神经增强方法。
2023-03-08 cs.CV cs.LG cs.MM
Semantic-Aware Neural Video Codec for Error-Resilient Low-Latency Transmission
Nokia Bell Labs(诺基亚贝尔实验室)
针对不可靠信道下的低延迟视频传输,提出基于DCVC-RT的语义感知多级神经编码方法,通过优先级数据包分配和抗差错熵模型,显著提升鲁棒性并保留任务相关视觉内容。
2026-09-16 cs.IT cs.LG cs.MM
Neural Video Compression using 2D Gaussian Splatting
University of Toronto(多伦多大学);Advanced Micro Devices (AMD)(超威半导体公司)
针对神经视频编解码器计算开销高、难以实时视频会议应用的问题,提出基于 ROI 与 2D Gaussian Splatting 的视频压缩模型,通过内容感知初始化和帧间冗余减少将编码时间缩短 88%。
2025-05-14 cs.AI cs.CV cs.LG
ELF-VC: Efficient Learned Flexible-Rate Video Coding
WaveOne, Inc.(WaveOne公司)
虽然学习视频编解码器已经展示了巨大的前景,但它们尚未实现足够的效率以进行实际部署。在这项工作中,我们提出了几个新的想法,学习视频压缩,允许提高性能的低延迟模式(仅I和P帧),随着计算效率的显着提高。在这种情况下,对于自然视频,我们的方法在PSNR,MS-SSIM和VMAF指标下的整个R-D曲线上与所有主流视频标准(H.264,H.265,AV 1)和所有ML编解码器进行了比较。与此同时,我们的方法比报告这些数字的所有ML编解码器运行速度至少快5倍,并且参数更少。我们的贡献包括一个灵活的速率框架,允许一个单一的模型,以覆盖一个大的和密集的比特率范围内,在一个可以忽略不计的增加计算和参数计数;一个有效的骨干优化ML为基础的编解码器;和一个新的环路内流预测方案,利用先验信息更有效的压缩。我们基准测试我们的方法,我们称之为ELF-VC(高效,学习和灵活的视频编码)在流行的视频测试集UVG和MCL-JCV下的指标PSNR,MS-SSIM和VMAF。例如,在PSNR下的UVG上,与H.264相比,它将BD速率降低了44%,与H.265相比降低了26%,与AV 1相比降低了15%,与当前最好的ML编解码器相比降低了35%。同时,在NVIDIA Titan V GPU上,我们的方法以49/91 FPS的速度编码/解码VGA,以19/35 FPS的速度编码/解码HD 720,以10/18 FPS的速…
2021-04-29 cs.AI cs.CV cs.LG
Efficient Video Compression via Content-Adaptive Super-Resolution
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
视频压缩是互联网视频传输的关键组成部分。最近的研究表明,深度学习技术可以与人类设计的算法相媲美或优于人类设计的算法,但这些方法的计算效率和功耗效率明显低于现有的编解码器。本文提出了一种新的方法,增强现有的编解码器与一个小的,内容自适应超分辨率模型,显着提高视频质量。我们的方法SRVC将视频编码成两个比特流:(i)内容流,通过使用现有编解码器压缩下采样的低分辨率视频产生,(ii)模型流,其将定期更新编码到针对视频的短片段定制的轻量级超分辨率神经网络。SRVC通过使解压缩的低分辨率视频帧通过(时变)超分辨率模型来解码视频以重构高分辨率视频帧。我们的研究结果表明,为了实现相同的PSNR,SRVC在慢速模式下需要H. 265的每像素比特数的16%,以及DVC的每像素比特数的2%,DVC是最近基于深度学习的视频压缩方案。SRVC在NVIDIA V100 GPU上以每秒90帧的速度运行。
2021-04-06 cs.AI cs.CV cs.LG
JPEG-LM: LLMs as Image Generators with Canonical Codec Representations
University of Washington(华盛顿大学);FAIR at Meta(Meta FAIR)
提出JPEG-LM,利用标准编解码器(如JPEG)将图像表示为压缩文件字节,直接以自回归方式生成,无需像素建模或向量量化,在FID上比基线降低31%,并擅长长尾视觉元素,降低语言与视觉生成间的壁垒。
2024-08-21 cs.CL cs.CV cs.LG
Competitive Learning for Achieving Content-specific Filters in Video Coding for Machines
Nokia Technologies(诺基亚技术公司)
本文针对机器视觉任务的视频编码需求,提出基于竞争学习的内容特定后处理滤波器训练策略,在VVC框架下的实验验证了该方法能有效提升目标检测和实例分割任务的编码效率。
2024-06-18 cs.CV cs.LG cs.MM
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies(诺基亚技术)
我们提出了一种有效的微调方法,神经网络滤波器,适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调,以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销,我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法,使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明,我们的方法实现了高达9.7%的平均BD速率增益相比,国家的最先进的通用视频编码(VVC)标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM
Deep Video Precoding
iSIZE Ltd.(iSIZE有限公司)
目前有几个研究小组正在研究深度学习如何推动图像和视频编码的发展。一个悬而未决的问题是如何使深度神经网络与现有的(和即将推出的)视频编解码器(如MPEG AVC,HEVC,VVC,Google VP 9和AOM AV 1)以及现有的容器和传输格式结合使用,而不对客户端进行任何更改。在实际部署方面,这种兼容性是一个至关重要的方面,特别是由于视频内容行业和硬件制造商预计将在可预见的未来继续致力于这些标准。我们建议使用深度神经网络作为当前和未来视频编解码器和自适应视频流系统的预编码器。在我们当前的设计中,核心预编码组件包括在传输之前在视频编码期间操作的降尺度神经网络的级联结构。这与用于每个可独立解码的流段的预编码模式选择算法相耦合,该预编码模式选择算法根据场景特性、所利用的编码器以及期望的比特率和编码配置来调整缩减因子。我们的框架与所有当前和未来的编解码器和传输标准兼容,因为我们的深度预编码网络结构是结合线性升尺度滤波器(例如,双线性过滤器),所有网络视频播放器都支持。FHD和UHD内容以及广泛使用的AVC、HEVC和VP 9编码器的结果表明,将这些标准与所提出的深度视频预编码相结合,在适合于视频点播自适应流传输系统的编码配置和比特率下,允许15%至45%的速率降低。使用预编码还可以降低编码复杂度,这对于H.265/HEVC和VP 9等复杂编码器的成本效益云部署至关重要。
2019-12-13 cs.LG cs.MM eess.IV