A Convolutional Neural Network Approach for Half-Pel Interpolation in Video Coding
运动补偿是视频编码中的一项基本技术,用于消除视频帧间的时间冗余。为了进一步提高编码效率,已经利用了子像素运动补偿,这需要分数样本的内插。视频编码标准通常采用固定的插值滤波器,这些滤波器是从信号处理理论中推导出来的。然而,由于视频信号不是静止的,固定插值滤波器可能变得效率较低。受卷积神经网络(CNN)在计算机视觉中的巨大成功的启发,提出了一种基于卷积神经网络的视频编码插值滤波器(CNNIF)。与以前的研究不同,训练CNNIF的一个困难是缺乏基础事实,因为分数样本实际上不可用。我们的解决方案是通过平滑高分辨率图像来获得分数样本的“地面真实值”,这被验证是有效的。与高效视频编码(HEVC)中用于亮度的固定半像素插值滤波器相比,我们提出的CNNIF在低延迟P配置下实现了高达3.2%和平均0.9%的BD速率降低。
2017-03-10 cs.MM
Spatial-Temporal Residue Network Based In-Loop Filter for Video Coding
深度学习在图像/视频处理领域取得了巨大突破。本文提出了一种基于时空残差网络(STResNet)的环内滤波器来抑制视频编码中的块效应、振铃效应等视觉伪影。具体地说,在环路滤波器的处理过程中,通过同时考虑参考帧中的当前块和同位块来联合利用空间和时间信息。STResNet的架构仅由四个卷积层组成,这显示了对内存和编码复杂性的热情。此外,为了充分适应输入内容,提高性能的建议在环滤波器,编码树单元(CTU)的水平控制标志的率失真优化的意义上应用。大量的实验结果表明,我们的计划提供了高达5.1%的比特率减少相比,国家的最先进的视频编码标准。
2017-09-25 cs.MM
JND-Based Perceptual Video Coding for 4:4:4 Screen Content Data in HEVC
HEVC HM RExt + SCM参考编解码器中的JCT-VC标准化屏幕内容译码(SCC)扩展在与单独HM RExt相比时提供令人印象深刻的译码效率性能;然而,其并未显著地在感知上优化。举例来说,其不包含先进的基于HVS的感知译码方法,例如基于JND的时空掩蔽方案。在本文中,我们提出了一种新的基于JND的感知视频编码技术的HM RExt + SCM。所提出的方法旨在进一步提高HM RExt + SCM应用于YCbCr 4:4:4 SC视频数据时的压缩性能。在所提出的技术中,亮度掩蔽和色度掩蔽被利用来在编码块(CB)级别上感知地调整量化步长(QStep)。与HM RExt 16.10 + SCM 8.0相比,该方法大大降低了比特率(Kbps),最大降低48.3%。除此之外,主观评估表明,SC-PAQ实现了视觉无损编码在非常低的比特率。
2018-02-12 cs.MM
Transmission of Successful Route Error Message(RERR) in Routing Aware Multiple Description Video Coding over Mobile Ad-Hoc Network
随着移动自组织网络在无线网络中的广泛应用,移动自组织网络中的视频传输变得越来越重要。我们提出了一个路由感知的多描述视频编码方法,以支持视频传输的移动自组织网络与单路径和多路径传输。我们建立了一个模型来估计在网络上传输的每个数据包的数据包丢失概率的基础上,标准的ad-hoc路由消息和网络参数,而不会丢失的RERR消息。然后,我们计算帧丢失概率,以便在不丢失任何数据的情况下消除错误。
2011-09-04 cs.MM
Coding Block-Level Perceptual Video Coding for 4:4:4 Data in HEVC
消费者对高比特深度4:4:4 HD视频数据回放的需求日益增加,这是由于其与标准8比特二次采样4:2:0视频数据相比具有更好的感知视觉质量。由于巨大的文件大小和相关联的比特率,期望尽可能多地压缩原始高比特深度4:4:4 HD视频序列,而不引起视觉质量的可辨别的降低。在本文中,我们提出了一种用于HEVC的编码块(CB)级感知视频编码技术,称为全色感知量化(FCPQ)。FCPQ被设计为在CB级调整量化参数(QP)(即,亮度CB以及色度Cb和Cr CB)。FCPQ基于HEVC中的默认感知量化方法,称为AdaptiveQP。AdaptiveQP仅基于组成亮度CB的空间活动来调整整个CU的QP。如本文所示,通过不考虑组成色度CB的空间活动性,如自适应QP的情况,编码性能可能受到显著影响;这是因为亮度CB中的像素数据的方差显著不同于色度Cb和Cr CB中的像素数据的方差。因此,FCPQ解决了这个问题。在编码性能方面,与AdaptiveQP相比,FCPQ实现了高达39.5%(Y)、16%(Cb)和29.9%(Cr)的BD速率改进。
2018-02-16 cs.MM
A Group Variational Transformation Neural Network for Fractional Interpolation of Video Coding
运动补偿是视频编码中的一项重要技术,用于消除已编码视频帧之间的时间冗余。在运动补偿中,分数插值用于在亚像素级获得更多的参考块。现有的视频编码标准通常使用固定的插值滤波器进行分数插值,其效率不足以很好地处理不同的视频信号。本文设计了一种群变分变换卷积神经网络(GVTCNN)来提高运动补偿中亮度分量的分数插值性能。GVTCNN从输入整数位置样本推断不同子像素位置处的样本。它首先从整数位置样本中提取一个共享的特征图来推断各种子像素位置样本。然后,使用组变分变换技术将一组复制的共享特征图变换为不同子像素位置处的样本。实验结果表明,我们的GVTCNN的插值效率。与高效视频编码的插值方法相比,该方法平均节省比特1.9%,在低延迟P配置下节省比特高达5.6%。
2018-06-19 cs.MM
Joint On-the-Fly Network Coding/Video Quality Adaptation for Real-Time Delivery
针对实时的【形】视频传输,提出了一种用于动态擦除网络编码的冗余自适应算法-TESTRONIC。该算法利用了Tequet使用的冗余率与改变称为量化参数(QP)的视频质量参数所带来的编码比特率增益或损失之间的关系。我们的评估结果表明,与相同或更少的带宽占用,视频的保护与冗余自适应算法得到的PSNR增益高达或超过4 dB的视频相比,没有Tehrs保护。我们证明了Tehrs冗余自适应算法表现良好的损失模式和网络引起的延迟的变化。我们还表明,冗余自适应算法的Tehrs优于FEC的冗余自适应和无。
2013-04-18 cs.MM
All-intra rate control using low complexity video features for Versatile Video Coding
本文提出一种基于低复杂度视频分析和随机森林模型的全帧内双通速率控制首次处理方法,在VVenC中实现约32%编码时间缩减且仅增加2% BD-rate。
2023-06-29 cs.MM
Perceptually-Driven Video Coding with the Daala Video Codec
Daala项目是一个免版税的视频编解码器,试图与最好的受专利保护的编解码器竞争。我们的部分策略是用替代方法取代传统视频编解码器的核心工具,其中许多方法旨在考虑感知方面,而不是针对PSNR等简单指标进行优化。本文记录了我们使用这些工具的一些经验,哪些有效,哪些无效。我们评估哪些工具很容易集成到一个更传统的编解码器的设计,并显示结果的编解码器正在开发的开放媒体联盟的上下文中。
2016-10-08 cs.MM
Optimization of the Block-level Bit Allocation in Perceptual Video Coding based on MINMAX
在视频编码中,期望编码器能够自适应地选择编码参数(例如,量化参数)以在给定约束下优化对不同源的比特分配。然而,在混合视频编码中,信源间的相关性给比特分配优化带来了很高的复杂度,尤其是在块级,现有的优化方法大多集中在帧级比特分配上。在本文中,我们提出了一个宏块(MB)级别的比特分配方法的最小最大(MINMAX)标准的基础上,它具有可接受的编码复杂度离线应用。提出了一种基于迭代的最大失真下降(MDD)算法,利用结构相似度(SSIM)指标来度量帧内宏块的感知失真,以降低帧内宏块间的质量波动。我们在基准视频序列上的大量实验结果表明,该方法可以大大提高编码性能的比特节省和感知质量的改善。
2015-11-15 cs.MM
Spatial Information Refinement for Chroma Intra Prediction in Video Coding
视频压缩受益于先进的色度帧内预测方法,例如跨分量线性模型(CCLM),其使用线性模型来近似亮度和色度分量之间的关系。最近,已经证明,基于神经网络(NN)的高级交叉分量预测方法可以带来额外的编码增益。提出了一种基于空间信息细化的神经网络色度帧内预测算法。具体地,色度帧内预测的性能可以通过精细下采样或通过合并位置信息来改善。实验结果表明,在H.266/VVC测试模型下,在全帧内配置下,两种方法分别获得了0.31%、2.64%、2.02%和0.33%、3.00%、2.12%的Y、Cb和Cr分量的BD率降低。索引项-色度帧内预测,卷积神经网络,空间信息细化。
2021-09-24 cs.MM
Study On Coding Tools Beyond Av1
开放媒体联盟(Alliance for Open Media)最近发起了针对AV1以外的下一代视频编码的编码工具探索活动。在这方面,本文提出了一个包的编码工具,已被调查,实施和测试的代码库,称为libaom,这是用于下一代视频压缩工具的探索。所提出的工具涵盖了几个技术领域的基础上,传统的混合视频编码结构,包括块分割,预测,变换和环路滤波。建议的编码工具被集成为一个包,并在AV1的组合编码增益在本文中被证明。此外,为了更好地理解每个工具的行为,除了组合的编码增益之外,还针对每个单独的编码工具模拟和报告工具打开和关闭测试。实验结果表明,与libaom相比,所提出的方法实现了平均8.0%(高达22.0%)的整体BD率降低所有帧内编码配置的图像和视频内容的广泛。
2020-12-25 cs.MM
Efficient Search of Live-Coding Screencasts from Online Videos
互联网上的编程视频是学习编程技能的宝贵资源。为了找到相关视频,开发者通常搜索在线视频平台(例如,YouTube)与他们希望学习的主题的关键字。开发人员通常会寻找现场编码的屏幕视频,其中视频的作者执行现场编码。然而,并不是所有的编程视频都是实时编码屏幕。在这项工作中,我们开发了一个名为PSSK的工具来识别实时编码的屏幕播放。PSDRAM利用分类器来识别视频帧是否包含IDE窗口。它使用采样策略从输入视频中选取多个帧,在这些帧上运行分类器,然后根据分类为包含IDE窗口的帧来确定视频是否是实时编码屏幕播放。在我们的初步实验中,PSTK可以有效地识别实时编码的屏幕播放,因为它达到了0.97的F1分数。
2022-03-09 cs.MM cs.SE
Multiview Video Compression Using Advanced HEVC Screen Content Coding
Poznań University of Technology(波兹南理工大学)
提出了一种基于屏幕内容编码的多视点视频编码方法。假设在某个时刻,对应于所有视图的帧被打包成单个帧,即,应用帧兼容方法进行多视图编码。对于这样的编码场景,本文证明了屏幕内容编码可以有效地用于多视点视频编码。考虑两种方法:第一种使用标准HEVC屏幕内容编码,第二种使用高级屏幕内容编码。后者是作者的原始提议,其利用四分之一像素运动矢量和HEVC屏幕内容编码的其他非标准扩展。实验结果表明,即使使用标准HEVC屏幕内容编码,多视图视频编码也比联播HEVC编码高效得多。所提出的高级屏幕内容译码提供与MV-HEVC实质上相同的译码效率,MV-HEVC是最先进的多视图视频压缩技术。作者认为,高级屏幕内容编码可以有效地用于新的通用视频编码(VVC)技术。然而,VVC的参考多视图扩展还不存在,因此,对于基于VVC的编码,实验比较留给未来的工作。
2021-06-25 cs.CV cs.MM
Overview of Screen Content Coding in Recently Developed Video Coding Standards
近年来,包括计算机生成的文本、图形和动画的屏幕内容(SC)视频比以往任何时候都引起了更多的关注,因为许多相关应用变得非常流行。为了解决对这种内容的有效编码的需要,已经专门开发了许多编码工具,并且在编码效率方面取得了很大的进步。在所有最近开发的视频编码标准(即HEVC SCC、VVC、AVS 3、AV 1和EVC)中包含屏幕内容编码(SCC)特征证明了支持这些特征的重要性。本文提供了屏幕内容编码技术的概述和比较研究,与这些标准中开发的工具的性能和复杂性方面的讨论。
2020-11-28 cs.MM eess.IV
Improving Low Bit-Rate Video Coding using Spatio-Temporal Down-Scaling
低比特率应用的高质量视频编码对于窄带宽信道上的传输和有限存储容量的存储是重要的。在这项工作中,我们开发了以前的分析,在低比特率的图像压缩,以适应视频信号。研究了在空间和时间维度上使用降尺度来改进压缩。我们表明,在理论和实验上,在低比特率,我们受益于应用时空缩放。所提出的方法包括在压缩之前进行缩小,之后进行相应的放大,而编解码器本身保持不变。我们提出了低比特率压缩和时空缩放操作的分析模型。具体来说,我们使用的理论模型的运动补偿预测的可用和缺席的帧编码和帧速率上转换(FRUC)的应用程序,分别。所提出的模型是专为多分辨率分析。此外,我们制定了一个比特分配过程,并提出了一种方法,用于估计良好的降尺度因子的一个给定的视频的基础上,其二阶统计量和给定的比特预算。264压缩的实验结果验证了我们的模型。
2015-04-24 cs.MM
A Survey on Perceptually Optimized Video Coding
为了给用户提供更真实的视觉体验,视频正朝着超高清(UHD)、高帧速率(HFR)、高动态范围(HDR)、宽色域(WCG)和高清晰度的趋势发展。然而,视频的数据量呈指数级增长,这就要求高效率的视频压缩以供存储和网络传输。感知优化的视频编码旨在通过利用视觉冗余来最大化压缩效率。在本文中,我们提出了一个广泛的和系统的调查感知优化的视频编码。首先,我们提出了感知优化视频编码的问题形式和框架,包括视觉感知建模,视觉质量评估和感知视频编码优化。其次,介绍了视觉因素、计算感知模型和质量评价模型的最新进展。第三,从感知优化的比特分配、率失真优化、变换和量化、滤波和增强四个方面综述了感知视频编码的优化方法。在每一部分中,提出了问题制定,工作流程,最新进展,优势和挑战。第四,对最新的编码标准和工具的感知编码性能进行了实验分析。最后,确定了具有挑战性的问题和未来的机会。
2022-11-16 cs.MM eess.IV
SSIM-Variation-Based Complexity Optimization for Versatile Video Coding
到目前为止,通用视频编码(VVC)具有比高效视频编码(HEVC)更出色的整体性能。四叉树嵌套多类型树(QTMT)编码块结构可以显著提高VVC中的视频编码质量。然而,编码增益也导致更大的编码复杂度。因此,本文提出了一种基于结构相似性指标度量变化的快速决策方案(FDS-SSIMV)来解决这一问题。首先,示出了spit模式的子编码单元之间的结构相似性指数度量变化(SSIMV)特性。其次,为了评估SSIMV值,本文针对不同的分割模式设计了SSIMV测量策略。然后,通过SSIMV值选择期望的分离模式。实验结果表明,该方法在$\varnothing$整数倍增量比特率(BDBR)为2.79%的情况下,平均编码时间节省(TS)为64.74%,优于基准测试.
2022-05-08 cs.MA cs.MM
When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding
City University of Hong Kong(香港城市大学);University of Trento(特伦托大学);Lingnan University(岭南大学);Ningbo University(宁波大学)
针对现有视频编解码器未利用多模态大语言模型(MLLMs)外部先验的问题,提出跨模态视频编码(CMVC)统一范式,通过分解视频分量并结合MLLMs实现紧凑表示,解码时采用多模式优化重建质量,实验验证其语义重建和感知一致性效果,为视频编码提供新方向。
2025-02-14 cs.CV cs.MM
Joint Data Scheduling and FEC Coding for Multihomed Wireless Video Delivery
研究了异构无线网络中从服务器到多宿主设备的移动视频传输问题。现有的大多数工作都只考虑在单路径上传输视频流,带宽有限,导致最终的视频传输速率。针对这一问题,本文提出了一种新的视频流传输瓶颈解决方案--联合数据分配和喷泉编码(JDAFC)方法,该方法包含以下特点:(1)路径选择,(2)动态数据分配,(3)喷泉编码。我们评估JDAFC的性能通过仿真实验使用Exata和JVSM,并与一些参考解决方案进行比较。实验结果表明,JDAFC在提高视频峰值信噪比以及降低端到端延迟方面优于竞争解决方案。
2015-07-18 cs.MM cs.NI
Multi-Reference Video Coding Using Stillness Detection
AOM/AV 1编解码器的编码器将输入视频序列视为分组在黄金帧(GF)组中的帧的连续。GF组的编码结构是固定的,具有给定的GF组大小。在当前的AOM/AV 1编码器中,视频帧使用一个GF组内的分层、多层编码结构进行编码。已经观察到,如果GF组跨其帧呈现一致的静止,则多层编码结构的使用可能导致更差的编码性能。本文提出了一种新的方法,自适应设计的黄金帧(GF)组编码结构,通过使用静止检测。因此,我们的新方法开发了一个自动静止检测方案,使用从每个GF组中提取的三个度量。然后将这些静止GF组与其他非静止GF组区分开,并相应地使用不同的GF编码结构。实验结果表明,使用新的方法一致的编码增益。
2018-03-11 cs.MM eess.IV
Semantically Video Coding: Instill Static-Dynamic Clues into Structured Bitstream for AI Tasks
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
传统的媒体编码方案通常将图像/视频编码成语义未知的二进制流,其不能直接支持比特流级别的下游智能任务。语义结构化图像编码(SSIC)框架首次尝试通过语义结构化比特流(SSB)实现免解码或部分解码图像智能任务分析。然而,SSIC只考虑图像编码,其生成的SSB只包含静态对象信息。在本文中,我们扩展了语义结构化编码的思想,从视频编码的角度,提出了一个先进的语义结构化视频编码(SSVC)框架,以支持异构智能应用。视频信号中包含了更丰富的动态运动信息,并且由于相邻帧之间的相似性而存在更多的冗余。因此,我们提出了一种新的语义结构化比特流(SSB)在SSVC,其中包含静态对象的特征和动态运动的线索。具体而言,我们引入光流对连续运动信息进行编码,通过预测编码架构减少跨帧冗余,然后将光流和残差信息重组到SSB中,使得所提出的SSVC能够更好地自适应地支持基于视频的下游智能应用。大量的实验表明,所提出的SSVC框架可以直接支持多个智能任务,只依赖于部分解码的比特流。这避免了完整的比特流解压缩,从而大大节省了智能分析的比特率/带宽消耗。我们在图像目标检测、姿态估计、视频动作识别、视频对象分割等任务上验证了这一点。
2022-05-09 cs.CV cs.MM
Deep Learning-Based Video Coding: A Review and A Case Study
在过去的十年中,深度学习技术在许多学科中取得了巨大的成功,特别是在计算机视觉和图像处理方面。然而,基于深度学习的视频编码仍处于起步阶段。本文回顾了自2015年以来,将深度学习用于图像/视频编码的代表性工作,这是一个积极发展的研究领域。我们将相关工作分为两类:主要建立在深度网络上的新编码方案(深度方案),以及基于深度网络的编码工具(深度工具),这些工具应在传统编码方案中使用或与传统编码工具一起使用。对于深度方案,像素概率建模和自动编码器是两种方法,分别可以被视为预测编码方案和变换编码方案。对于深度工具,已经提出了几种使用深度学习来执行图片内预测、图片间预测、跨通道预测、概率分布预测、变换、后环或环内滤波、下采样和上采样以及编码优化的技术。为了推动基于深度学习的视频编码研究,本文对我们开发的原型视频编解码器--深度学习视频编码(DLVC)进行了案例研究。DLVC具有两个基于卷积神经网络(CNN)的深度工具,即基于CNN的环路滤波器(CNN-ILF)和基于CNN的块自适应分辨率编码(CNN-BARC)。这两种工具都有助于显著提高压缩效率。利用这两个深度工具以及其他非深度编码工具,DLVC能够在随机访问和低延迟配置下分别实现比HEVC平均节省39.6\%和33.0\%的比特。DLVC的源代码已经发布,以供将来的研究。
2019-04-29 cs.MM eess.IV
MPAI-EEV: Standardization Efforts of Artificial Intelligence based End-to-End Video Coding
本文介绍了MPAI小组针对端到端神经视频编码制定的MPAI-EEV标准,阐述了其关键技术、设计理念及参考模型编码效率,并探讨了无人机视频编码等新兴活动,实验表明EEV在感知评估上优于H.266/VVC。
2023-09-14 cs.MM eess.IV
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法,其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估,使用视频测试序列在一个实际的设置,包括一个简单的,实时的降噪技术和高效率的视频编解码器(HEVC)。实验结果表明,与传统的视频编码方法相比,该方法可以使重构视频的主观质量提高约1.8个MOS(Mean Opinion Scope)点(11点尺度)。此外,本工作证实了在以前的作品中获得的结果,即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
Parametric Graph-based Separable Transforms for Video Coding
Qualcomm Technologies, Inc.(高通技术公司);California Institute of Technology(加州理工学院)
在许多视频编码系统中,已经使用可分离变换(诸如二维DCT-2)来对在预测之后获得的块残差信号进行编码。本文提出了一种参数化的方法来建立基于图的可分离变换(GBST)的视频编码。具体地说,GBST是从一对线图中导出的,其权重是基于两个非负参数确定的。由于这些参数的某些选择对应于最近的视频编码标准(包括DCT-2,DST-7和DCT-8)中使用的离散正弦和余弦变换类型,本文进一步优化这些图参数,以更好地捕获残差块统计信息,提高视频编码效率。在通用视频编码(VVC)参考软件上进行了测试,实验结果表明,与现有的基于DCT-2、DST-7和DCT-8的可分离变换相比,GBST的平均编码增益约为0.4%。
2020-04-18 cs.LG cs.MM stat.ML
Video Coding for Machines: Partial transmission of SIFT features
Poznań University of Technology(波兹南理工大学)
本文涉及用于机器的视频编码,其是与人类和机器对解码视频的消耗有关的视频编码中的新范例。对于这样的任务,被认为是压缩视频和功能的联合传输。在本文中,我们将重点放在SIFT关键点上的特征考虑。与从原始视频提取的SIFT关键点相比,它们可以从解码视频中提取,其中关键点的数量及其参数有所损失。针对HEVC和VVC研究了作为量化参数和比特率的函数的这种损失。在本文中,我们提出了传输的残余特征数据与压缩视频。因此,即使对于强压缩的视频,也避免了全部SIFT关键点信息的传输。
2022-01-07 cs.CV cs.MM eess.IV
Content-Aware Delivery of Scalable Video in Network Coding Enabled Named Data Networks
在本文中,我们提出了一种新的网络编码启用NDN架构的可伸缩视频的交付。我们的计划利用网络编码,以解决在原来的NDN协议,带宽和缓存资源的最佳使用需要协调的转发决策中出现的问题。为了优化所提出的基于网络编码的NDN协议的性能,并使其适合于可伸缩视频的传输,我们设计了一种新的速率分配算法,该算法决定了客户端和中间结点发送的兴趣消息的最佳速率。该算法保证所实现的数据对象流将最大限度地提高交付给客户端人群的视频的平均质量。为了支持中间结点执行网络编码时对兴趣消息和数据对象的处理,我们修改了标准NDN协议,并引入了布隆过滤器的使用,该布隆过滤器有效地存储关于兴趣消息和数据对象的附加信息。所提出的架构进行评估,通过PlanetLab拓扑结构的可伸缩视频传输。评估表明,该方案的性能非常接近最优性能。
2015-10-22 cs.MM cs.NI
Ray-Space Motion Compensation for Lenslet Plenoptic Video Coding
全光图像和视频承载着丰富的信息,需要大量的数据存储和高昂的传输成本。虽然对全光图像编码有很多研究,但是对全光视频编码的研究非常有限。我们通过在光线空间域中而不是在常规像素域中查看问题,从稍微不同的角度研究用于全光视频编码的运动补偿。在这里,我们开发了一种新的运动补偿方案的镜头视频下的两个子情况下的光线空间运动,即整数光线空间运动和分数光线空间运动。所提出的光场运动补偿预测的新方案被设计为使得其可以容易地集成到诸如HEVC的公知视频编码技术中。实验结果表明,与现有的相关方法相比,具有显着的压缩效率与19.63%的平均增益和29.1%的峰值增益。
2022-07-01 cs.CV cs.MM eess.IV
VECTORS: Video communication through opportunistic relays and scalable video coding
众包视频分发经常在当地附近引起兴趣。在本文中,我们提出了一种新的设计,通过机会网络传输这样的内容,自适应质量编码,以实现合理的延迟范围。视频片段使用Nearby Connections Android库以延迟容忍的方式在源和目的地之间传输。这种实现可以应用于多个领域,包括农场监测,野生动物,环境跟踪,灾害响应场景等。在这项工作中,我们提出了一个机会接触为基础的系统的设计,我们讨论了我们研究所内的试运行的基本结果。
2018-11-27 cs.MM eess.IV
Recent Advances of End-to-End Video Coding Technologies for AVS Standard Development
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知教育部重点实验室,中国科学技术大学)
本文介绍了AVS-EEM项目的发展历程和技术框架,展示了其在端到端智能视频编码中的高效压缩性能提升。
2026-01-31 cs.CV cs.MM eess.IV
A Complete End-To-End Open Source Toolchain for the Versatile Video Coding (VVC) Standard
通用视频编码(VVC)是由ITU-T和ISO/IEC联合制定的最新国际视频编码标准,已于2020年7月定稿。与其前身高效率视频编码(HEVC)相比,VVC允许对于相同的主观视频质量显著降低约50%的比特率。在完成一年后,设备和芯片组中的VVC支持仍在开发中,这与新视频编码标准的典型开发周期一致。本文介绍了开源软件包,允许建立一个完整的VVC端到端的工具链已经完成一年后。这包括用于快速高效VVC编码的Fraunhofer HHI VVenC库以及用于实时解码的HHI VVdeC库。VVC在GPAC软件工具和FFmpeg媒体框架中的实验性集成允许将VVC比特流(例如,用VVenC编码)打包成MP4文件格式,并使用DASH进行内容创建和流传输。VVdeC的集成允许在接收器上播放。鉴于这些软件包,我们为两种可能的应用场景提供了分步教程:VVC文件编码加播放和DASH自适应流媒体。
2021-07-28 cs.MM eess.IV
Audio-Visual Cross-Modal Compression for Generative Face Video Coding
Bytedance Inc.(字节跳动);Peking University(北京大学)
本文提出AVCC框架,通过联合压缩音频和视频流,提升生成式面部视频编码的率-失真性能。
2025-12-17 cs.MM eess.IV
Enhanced Mobile Digital Video Broadcasting with Distributed Space-Time Coding
本文研究了未来数字视频广播--下一代手持设备(DVB-NGH)标准的分布式空时编码方案。我们首先从理论上证明了分布式MIMO方案是信道容量方面的最佳广播方案。因此,我们评估了几个ST编码建议的DVB-NGH与实际的系统规格和信道条件的性能。仿真结果表明,3D码是最好的ST编码解决方案的广播在分布式MIMO场景。
2012-12-11 cs.IT cs.MM math.IT
Selective Encryption of the Versatile Video Coding Standard
通用视频编码(VVC)是由联合视频专家团队(JVET)开发并于2020年7月发布的下一代视频编码标准。VVC引入了几种新的编码工具,提供了超过高效视频编码(HEVC)标准的显著编码增益。众所周知,提高编码效率在视频比特流中增加了更多的依赖性,使得利用标准的格式兼容加密更具挑战性。在本文中,我们解决了选择性加密的VVC标准的格式兼容和恒定比特率的问题。这两个约束确保了加密的比特流可以被任何VVC解码器解码,而比特率保持不变的加密。研究了所有可能的VVC语法元素的选择性加密。提出了一种新的算法,在格式兼容和恒定的比特率加密的变换系数(TC)与其他语法元素在熵编码器的水平。在VVC参考软件模型版本6.0下集成和评估了所提出的解决方案。实验结果表明,加密大大降低了视频质量,而加密是对几种类型的攻击鲁棒性。加密空间估计在比特流大小的15%至26%的范围内,从而导致轻量级加密过程。这一工作的网页可在https://gugautie.github.io/sevvc/上找到。
2021-03-06 cs.CR cs.MM eess.IV
Coding Estimation based on Rate Distortion Control of H.264 Encoded Videos for Low Latency Applications
本文针对低时空分辨率视频,研究了H.264编码条件对感知质量的影响,通过120种测试场景分析发现,视频质量问题并非源于糟糕编码,而是由率失真控制追踪出的信道容量所致。
2023-03-16 cs.IT cs.MM math.IT
Super-Resolving Compressed Video in Coding Chain
Peking University(北京大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
缩放和有损编码在视频传输和存储中有着广泛的应用。用于增强此类视频的分辨率的先前方法通常忽略分辨率损失与压缩伪影之间的固有干扰,这损害了感知视频质量。为了解决这个问题,我们提出了一个混合分辨率编码框架,它与基于参考的DCNN合作。在这种新颖的编码链中,基于参考的DCNN在解码器侧学习从低分辨率(LR)压缩视频到其高分辨率(HR)干净版本的直接映射。我们进一步提高重建质量,设计了一个有效的可变形对齐模块与感受野块处理各种运动距离,并引入了一个解开的损失,帮助网络区分的伪影模式从纹理。大量的实验证明了所提出的创新的有效性,通过比较与国家的最先进的单一图像,视频和基于参考的恢复方法。
2021-03-26 cs.CV cs.MM eess.IV
Fundamental Limits of Video Coding: A Closed-form Characterization of Rate Distortion Region from First Principles
经典的运动补偿视频编码方法多年来已经由MPEG标准化,并且视频编解码器已经成为媒体娱乐应用的组成部分。尽管普遍使用的视频编码技术,它是有趣的注意到,一个封闭的形式率失真表征的视频编码是不可用的文献。在本文中,我们开发了一个简单的,但在视频编码中的率失真区域的基本特征信息理论的第一性原则的基础上。利用条件运动估计的概念,在不失一般性的前提下,推导出率失真域的闭合表达式。条件运动估计提供了一个优雅的手段来分析率失真的权衡,并证明了实现的界限推导的可行性。该概念涉及基于运动活动量将图像区域分类为活动和非活动。通过对活动区域和非活动区域对应的残差进行适当建模,根据视频内容中普遍存在的运动活动性和时空相关性,推导出率失真函数的闭合形式表达式。通过对H.264编解码器的实际视频片段的实验,验证了该方法的实用性和有效性。
2014-02-27 cs.IT cs.MM math.IT
Reusing the H.264/AVC deblocking filter for efficient spatio-temporal prediction in video coding
预测步骤是混合视频编解码器的一个非常重要的部分,以有效地压缩视频序列。虽然现有的视频编解码器仅在时间或空间方向上进行预测,但是可以通过组合的时空预测来提高压缩效率。在本文中,我们提出了一种算法,用于重用的H.264/AVC去块滤波器的时空预测。重用这个高度优化的滤波器允许这种预测模式的计算复杂度非常低,并且可以实现高达7.2%的平均速率降低。
2022-07-04 cs.MM eess.IV
Chaotic Arithmetic Coding for Secure Video Multicast
算术编码(AC)广泛用于文本和视频数据的熵编码。它涉及根据输入符号出现的相对概率递归划分范围[0,1)。混沌算术编码(CAC)是一种基于算术编码的数据(图像或视频)加密方案。在CAC中,可以使用大量的混沌映射来执行编码,每个混沌映射都可以实现香农最优压缩性能。映射的确切选择由一个键控制。CAC具有对间隔进行加扰而不对码字必须位于其中的间隔的宽度进行任何改变的效果,从而允许加密而不牺牲任何编码效率。在本文中,我们使用了一个冗余的CAC过程中的安全多播的视频,多个用户被分配不同的密钥来解码相同的加密文件。通过加密一次,我们可以生成多个密钥,其中任何一个都可以用于解密编码文件。这非常适合于通过互联网的视频分发,其中单个视频可以以隐私保护的方式分发给多个客户端。
2013-11-13 cs.CR cs.IT cs.MM
Binary Subspace Coding for Query-by-Image Video Retrieval
University of Electronic Science and Technology of China(电子科技大学);The University of Queensland(昆士兰大学)
基于图像的视频检索(QBIVR)任务近年来引起了广泛的研究关注。然而,大多数现有的方法表示一个视频通过聚合或投影到一个单一的基准点,这可能会导致严重的信息丢失。在本文中,我们提出了一个有效的QBIVR框架,使一个有效的和高效的视频搜索与图像查询。我们首先定义了一个相似性保持距离度量之间的图像和它的正交投影的子空间的视频,它可以等价地转化为一个最大内积搜索(MIPS)问题。此外,为了提高解决MIPS问题的效率,我们提出了两种非对称哈希方案,它们弥补了图像和视频的域间隙。第一种方法,称为内积二进制编码(IBC),保留了图像和视频在一个共同的汉明空间的内部关系。为了进一步提高检索效率,我们设计了一个双线性二进制编码(BBC)的方法,它采用紧凑的双线性投影,而不是一个单一的大投影矩阵。在四个真实世界的视频数据集上进行了广泛的实验,以验证我们提出的方法与最先进的方法相比的有效性。
2016-12-06 cs.CV cs.MM
Enhanced Spatially Interleaved Techniques for Multi-View Distributed Video Coding
本文提出了一种多视点分布式视频编码框架,独立的摄像机编码和集中解码。时空视图隐藏方法的开发,利用所采用的混合KEY/Wyner-Ziv帧的交织性质,用于边信息(SI)的逐块生成。我们研究了一些视图隐藏方法,并开发了一种联合方法,利用所有可用的相关性形成的边信息。我们应用多样性技术融合多个这样的预测,从而实现更可靠的结果。我们还介绍了系统的增强功能,通过选择性反馈,视图间位平面投影和帧减法进一步提高率失真性能。结果表明,相对于H.264帧内编码的比特率降低25%或相当于2.5 dB的PSNR增加的性能显着改善。
2019-12-17 cs.CV cs.MM
ReLViC: Loss-Resilient Learned Video Coding with Dispersed Packetization and Controllable Packet Dependencies
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Shenzhen CyberAray Network Technology Company Ltd.(深圳赛博阵列网络科技有限公司);Department of Electrical and Computer Engineering, University of Delaware(特拉华大学电气与计算机工程系)
ReLViC是一种抗损失学习视频编码框架,通过分散分组、可控分组依赖与渐进式训练,在严重分组丢失下的视频重建性能优于H.265+FEC和GRACE。
2026-09-01 cs.MM eess.IV
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码(VVC)的内存评估。采用最先进的高效率视频编码(HEVC)作为基线来执行存储器分析。目标是提供与HEVC相比,VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验:(1)整体记忆分析和(2)帧间预测特定记忆分析。在内存分析中获得的结果显示,VVC访问的内存比HEVC多13.4倍。此外,帧间预测模块(如在HEVC中)仍然是编码器中资源最密集的操作:60%-90%的存储器需求。帧间预测特定的分析表明,VVC需要比HEVC多5.3倍的存储器访问。此外,我们的分析表明,高达23%的这种增长是由于VVC novel-CU大小(大于64 x64)。
2020-06-01 cs.MM eess.IV
An optimal mode selection algorithm for scalable video coding
可伸缩视频编码(SVC)是从其前身高级视频编码(AVC)的扩展,因为它的灵活传输到所有类型的小工具。然而,SVC比AVC更灵活和可缩放,但是它在确定计算方面比AVC更复杂。264标准SVC中传统的全搜索方法消耗了更多的编码时间用于计算。需要降低这种计算复杂度,并开发了许多快速模式决策(FMD)算法,但许多算法未能在峰值信噪比(PSNR)、编码时间和比特率等三个指标上取得平衡。本文提出的基于像素方向的最优模式选择算法,具有较好的实时性、峰值信噪比和编码效率。与标准H.264 JSVM参考软件相比,该算法节省了57.44%的时间,PSNR增加了0.43 dB,比特率压缩了0.23%。
2020-09-08 cs.MM eess.IV
NANCY: Neural Adaptive Network Coding methodologY for video distribution over wireless networks
BITS Pilani Hyderabad(比尔拉理工学院海得拉巴分校);University Of Oulu(奥卢大学);Microsoft Corporation(微软公司)
本文介绍了NANCY,一个系统,产生自适应比特率(ABR)的视频和自适应网络编码率(ANCR)使用强化学习(RL)的视频分布在无线网络上。NANCY训练一个神经网络模型,其奖励被公式化为体验质量(QoE)度量。它执行联合优化以便选择:(i)用于未来视频块的自适应比特率以对抗可用带宽的变化,以及(ii)用于编码视频块切片的自适应网络编码速率以对抗无线网络中的分组丢失。我们提出了NANCY的设计和实现,并评估其性能相比,国家的最先进的视频速率自适应算法,包括Pensieve和robustMPC。我们的研究结果表明,NANCY提供了29.91%和60.34%的平均QoE比Pensieve和robustMPC,分别。
2020-08-21 cs.LG cs.MM cs.NI
Sub-sampled Cross-component Prediction for Emerging Video Coding Standards
跨分量线性模型(CCLM)预测已被反复证明是有效的,以减少视频压缩的通道间冗余。从本质上讲,通过在编码器和解码器两者处采用可访问的亮度和色度参考样本来相同地训练线性模型,由于最小二乘回归或基于最大-最小的模型参数导出而提高了操作复杂度的水平。在本文中,我们调查的能力的线性模型的上下文中的子采样为基础的交叉分量相关挖掘,作为一种手段,显着释放的操作负担,并促进硬件和软件设计的编码器和解码器。特别地,通过利用空间相关性和通道间相关性来精心设计子采样比率和位置。大量的实验表明,该方法具有操作简单、鲁棒性好等特点,已被VVC标准和第三代音视频编码标准(AVS 3)采用。
2020-12-30 cs.MM eess.IV
On-the-fly erasure coding for real-time video applications
本文介绍了一个强大的点对点传输方案:Tehrs,它依赖于一个新的飞行纠删编码的概念,减少了延迟恢复丢失的数据在接收端。在当前的纠删编码方案中,未在接收器侧重建的分组在传输到应用之前丢失或延迟至少一个RTT。目前的贡献,旨在证明,TECHNOLOGY编码方案可以填补实时的【形】应用程序的要求和完全可靠性之间的差距。事实上,我们表明,在几种情况下,Tequet可以恢复丢失的数据包低于一个RTT的损失和尽力而为的网络。我们还表明,Tehrs允许启用完全的可靠性,而不会延迟妥协,因此:显着提高了时间受限的应用程序的性能。例如,我们的评估提出,视频会议应用程序获得的PSNR增益高达7dB相比,经典的基于块的纠删码。
2010-11-16 cs.MM cs.NI
A Survey on 360-Degree Video: Coding, Quality of Experience and Streaming
虚拟现实(VR)头显的商业化使得沉浸式和360度视频流成为行业和研究界的热门话题。虽然视频流的基本原理是相同的,但沉浸式视频提出了一系列需要解决的具体挑战。在本次调查中,我们介绍了相关文献中四个最重要的方面的最新进展:(i)全向视频编码和压缩,(ii)主观和客观体验质量(QoE)及其影响因素,(iii)显着性测量和视野(FoV)预测,以及(iv)沉浸式360度视频的自适应流媒体。该调查的最终目的是概述沉浸式视频流系统的所有元素的研究,让读者了解它们的相互作用和性能。
2021-02-16 cs.MM cs.NI eess.IV
T-GVC: Trajectory-Guided Generative Video Coding at Ultra-Low Bitrates
针对现有生成式视频编码在超低比特率场景下的领域局限、文本依赖及运动细节缺失问题,提出T-GVC框架,通过轨迹引导连接运动跟踪与语义理解,实现更低比特率下更优重建效果与运动控制,优于传统及神经编解码器。
2025-11-11 cs.CV cs.MM
A Combined Deep Learning based End-to-End Video Coding Architecture for YUV Color Space
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm Technologies Netherlands B.V.(高通科技荷兰有限公司)
大多数现有的基于深度学习的端到端视频编码(DLEC)架构是专门针对RGB颜色格式设计的,然而过去几十年开发的视频编码标准(包括H.264/AVC、H.265/HEVC和H.266/VVC)主要是针对YUV 4:2:0格式设计的,其中色度(U和V)分量被二次采样以实现考虑人类视觉系统的优异压缩性能。虽然大量关于DLEC的论文在RGB域中比较了这两种不同的编码方案,但理想的是在YUV 4:2:0域中具有通用的评估框架,以便进行更公平的比较。本文介绍了一种新的DLEC架构,用于视频编码,以有效地支持YUV 4:2:0,并在一个共同的评估框架下将其性能与HEVC标准进行了比较。在YUV 4:2:0视频序列上的实验结果表明,该架构在帧内编码方面优于HEVC,但帧间编码的效率不如最近文献中报道的RGB编码结果。
2021-04-01 cs.AI cs.CV cs.LG
Impact Analysis of Baseband Quantizer on Coding Efficiency for HDR Video
数字采集的高动态范围(HDR)视频基带信号每个颜色通道可以占用10到12位。能够重用传统的8或10位视频编解码器来有效地压缩HDR视频在经济上是重要的。强度上的线性或非线性映射可以应用于基带信号,以在信号被发送到编解码器之前减小动态范围,并且我们将该范围减小步骤称为基带量化。我们分析和验证使用测试序列的基带量化器的使用降低了编码效率。实验表明,基带量化器每增加1.6比特,在高比特率下PSNR下降达1.60dB。我们的研究结果表明,为了实现高的编码效率,信息减少的量化误差方面的视频应介绍在视频编解码器,而不是在基带信号。
2016-08-01 cs.IT cs.MM math.IT
Interactive $360^{\circ}$ Video Streaming Using FoV-Adaptive Coding with Temporal Prediction
针对360°视频流传输,提出一种结合时间预测的帧级视场自适应编码系统,以低延迟、高鲁棒性最大化渲染质量,并用LSTM预测视场与带宽,显著优于基准系统。
2024-03-17 cs.MM eess.IV
Standard compliant video coding using low complexity, switchable neural wrappers
New York University(纽约大学);Google LLC(谷歌公司)
针对神经视频编码部署中复杂度与率失真性能的权衡难题,提出包裹标准编解码器的低复杂度可切换神经包装器框架,通过分辨率自适应和端到端优化,以极低新增复杂度显著提升VVC等标准的编码性能。
2024-07-10 cs.CV cs.MM eess.IV