Efficient Bitrate Ladder Construction for Content-Optimized Adaptive Video Streaming
许多视频提供商面临的挑战之一是网络规范、用户需求和内容压缩性能的异构性。固定比特率阶梯的通用解决方案不足以确保高质量的用户体验,而不会重新缓冲或引入令人讨厌的压缩伪像。然而,基于跨所有分辨率和宽质量范围的广泛编码的内容定制解决方案在计算、财务和能源成本方面是非常昂贵的。受此启发,我们提出了一种利用机器学习来预测内容优化比特率阶梯的方法。该方法从未压缩的内容中提取时空特征,训练机器学习模型来预测Pareto前沿参数,并在此基础上在定义的比特率范围内构建阶梯。该方法具有显著减少每个序列所需的编码数量的益处。基于100个HEVC编码序列的结果表明,与穷举搜索和基于插值的方法相比,所需的编码数量分别减少了89.06%和61.46%,与穷举方法相比,平均Bjøntegaard Delta Rate差异为1.78%。最后,介绍了一种混合方法,该方法根据序列特征选择所提出的方法或基于插值的方法。这导致所需编码的总体减少了83.83%,而平均Bjøntegaard Delta Rate差异为1.26%。
2021-02-08 eess.IV
SVT-AV1 Encoding Bitrate Estimation Using Motion Search Information
本文提出利用运动搜索中的估计运动向量误差与随机森林相结合,在编码前以高于0.96的皮尔逊相关系数准确估计SVT-AV1编码比特率,从而为低能耗高压缩效率的视频编码提供内容优先级依据。
2024-07-08 eess.IV
Conditional Coding and Variable Bitrate for Practical Learned Video Coding
介绍了一种实用的学习型视频编解码器。条件编码和量化增益矢量用于为单个编码器/解码器对提供灵活性,其能够以可变比特率压缩视频序列。通过选择速率和GOP结构来优化速率失真成本,在测试时利用灵活性。使用CLIC 21视频测试条件,所提出的方法显示出与HEVC相当的性能。
2021-04-20 cs.NE eess.IV eess.SP
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University(法政大学)
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题,提出结合过去与未来关键帧的双向学习型编解码器,在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
Ensemble Learning for Efficient VVC Bitrate Ladder Prediction
改变编码参数,特别是视频分辨率,是转码之前的常见做法。为此,流媒体和广播平台受益于所谓的比特率阶梯,以确定给定比特率的最佳分辨率。然而,确定比特率阶梯的任务通常是具有挑战性的,因为一方面,所谓的适合所有静态阶梯会浪费带宽,另一方面,完全专用的阶梯在计算复杂性方面通常是负担不起的。在本文中,我们提出了一种基于ML的方案,用于根据视频内容预测比特率阶梯。我们的解决方案的基线使用两种组成方法预测比特率阶梯,这不需要编码通道。为了进一步提高组成方法的性能,我们集成了一个条件集成方法来聚合它们的决定,编码通道的数量有限,可以忽略不计。的VVC标准,称为VVenC的优化的软件编码器的实施进行的实验,显示出显着的性能改善。当与静态比特率阶梯相比时,所提出的方法可以提供约13%的比特率减少在BD-BR方面与可忽略不计的额外计算开销。相反,当与完全专用的比特率阶梯方法相比时,所提出的方法可以提供约86%至92%的复杂度降低,以BD-BR方面仅0.8%至0.9%的编码效率下降为代价。
2022-07-23 eess.IV
Per-clip and per-bitrate adaptation of the Lagrangian multiplier in video coding
在过去的十年中,在每个剪辑而不是每个流派的基础上优化转码参数方面已经有了重大的发展。在我们最近的工作中,我们已经提出了速率控制压缩中拉格朗日乘数的每剪辑优化,这在使用HEVC的视频语料库中产生了大约2%的BD速率改进。然而,在视频流应用中,重点是在特定比特率下优化速率/失真权衡,而不是在性能范围内平均。我们在以前的工作中观察到,特定的乘数可能会在一定范围内的比特率,但不是整个范围内的BD率的改善。在整个范围内使用不同的参数将提高整体增益。因此,在这里,我们提出了一个框架,用于在一系列比特率的每个操作点的基础上选择最佳拉格朗日乘数。实际上,我们试图为单个剪辑找到跨比特率和失真的准最优增益。在实验中,我们采用直接优化技术来估计这个拉格朗日参数路径约2,000个视频剪辑。这些剪辑主要来自YouTube-UGC数据集。我们优化了比特率节省以及失真指标(PSNR,SSIM)。
2022-04-19 cs.MM eess.IV
Audio-Visual Driven Compression for Low-Bitrate Talking Head Videos
Hosei University(恒生大学)
针对低码率说话人头部视频压缩的现有问题,提出融合紧凑3D运动特征与音频的音视频驱动编解码器,在CelebV-HQ数据集上实现码率降低与唇形同步、视觉质量的提升。
2025-06-16 cs.CV eess.IV
DQ-Ladder: A Deep Reinforcement Learning-based Bitrate Ladder for Adaptive Video Streaming
University of Klagenfurt(克拉根福大学);University of Technology Cottbus-Seifert(科特布斯-塞夫特工业大学);University of Innsbruck(因斯布鲁克大学);TU Wien University of Vienna(维也纳工业大学)
本文提出DQ-Ladder,一种基于深度强化学习的自适应视频流媒体比特率阶梯,通过预测解码时间、质量评分和段级比特率来优化编码时间、解码效率和视频质量。
2026-03-13 cs.MM eess.IV
Prediction-Aware Quality Enhancement of VVC Using CNN
即将到来的视频编码标准,即通用视频编码(VVC),在比特率节省方面与其前身高效视频编码(HEVC)相比已经显示出很大的改进。尽管压缩视频具有相当高的性能,但在低比特率下,由于编码伪像(如块效应、模糊和振铃),压缩视频仍可能遭受质量下降。在这项工作中,我们利用卷积神经网络(CNN),以提高解码后的VVC编码帧的质量,以减少低比特率的文物。这项工作的主要贡献是使用的压缩比特流的编码信息。更准确地说,除了重建信息之外,帧内帧的预测信息也用于训练网络。该方法适用于VVC帧内编码帧的亮度和色度分量。在VVC测试模型(VTM)上的实验表明,在低比特率和高比特率下,编码信息的使用可以分别提高亮度和色度分量的约1%和6%的BD率性能。
2021-12-08 eess.IV
Leveraging Compression to Construct Transferable Bitrate Ladders
Laboratory for Image and Video Engineering (LIVE), The University of Texas at Austin(图像与视频工程实验室(LIVE),德克萨斯大学奥斯汀分校);Colorado’s Laboratory for Image and Video Engineering (LIVE), University of Colorado Boulder(科罗拉多州图像与视频工程实验室(LIVE),科罗拉多大学波德分校);Meta Platforms Inc.(Meta平台公司)
本文提出了一种基于机器学习的比特率阶梯构建方法,通过分析压缩过程和源视频的感知相关测量,准确预测压缩视频的VMAF分数,并评估其在不同编码设置下的性能。
2025-12-15 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image and Video Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发式智能感知与认知联合实验室,中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
针对超低比特率下图像视频压缩中像素域与感知错位的问题,提出在VQ-VAE潜在空间进行变换编码的生成式潜在编码(GLC)模型,并引入分类超模块和码预测损失,实现高真实感高保真压缩,显著降低比特率。
2025-05-22 cs.CV eess.IV
DiV-INR: Extreme Low-Bitrate Diffusion Video Compression with INR Conditioning
ETH Zürich(苏黎世联邦理工学院);Disney Entertainment and ESPN Product & Technology(迪士尼娱乐和ESPN产品与技术);DisneyResearch|Studios(迪士尼研究工作室)
本文提出一种结合隐式神经表示与预训练视频扩散模型的视频压缩框架,旨在解决极低比特率下的压缩问题,通过INR条件引导扩散过程,提升感知质量。
2026-04-09 cs.MM eess.IV
Reinforced Rate Control for Neural Video Compression via Inter-Frame Rate-Distortion Awareness
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);Samsung Research China-Beijing(三星中国北京研究院)
本文提出基于强化学习的神经视频压缩率控方法,通过联合优化比特率分配和编码参数,实现更高效的压缩性能和更低的开销。
2026-02-01 eess.IV
MCUCoder: Adaptive Bitrate Learned Video Compression for IoT Devices
Kiel University(基尔大学)
针对物联网设备硬件受限导致视频压缩局限于M-JPEG的问题,提出超轻量级MCUCoder模型,仅10.5K参数、350KB内存占用,比特率比M-JPEG降低超55%,支持自适应比特率,适配资源受限场景。
2024-11-29 cs.CV eess.IV
Improving ABR Performance for Short Video Streaming Using Multi-Agent Reinforcement Learning with Expert Guidance
提出基于专家指导的MARL框架Incendio,分离视频ID与比特率决策以优化短视频预取,在保持低复杂度下效用分数提升53.2%。
2023-04-10 cs.MM eess.IV
A neural network approach to GOP-level rate control of x265 using Lookahead
为了在特定比特率约束下优化感知质量,通常使用平均比特率(ABR)或恒定速率因子(CRF)的速率控制模式来执行多遍编码,以在感知质量方面尽可能合理地分配比特,导致高计算复杂度。在本文中,我们提出了利用编码过程中产生的视频信息,自适应地调整CRF设置在GOP级别,确保在每个GOP中的帧的比特是合理分配的比特率约束下的一个单程编码框架。特别是,由于CRF值和比特率之间的固有关系,我们采用了一个浅神经网络(NN)映射视频内容特征的CRF比特率模型。通过x265编码器中的lookahead模块收集与内容相关的特征,包括编码代价估计、运动矢量等,并提出了一种基于内容自适应码率因子(CARF)的码率控制方法,利用预测的每个GOP的CRF码率模型,根据目标码率的要求调整每个GOP的CRF值。实验结果表明,该方法能使84.5%的测试数据在20%的误码率以内(或更好),在x265下的性能优于ABR模式,平均降低了5.23%的误码率。
2019-10-24 eess.IV
Adaptive Video Configuration and Bitrate Allocation for Teleoperated Vehicles
具有自动驾驶功能的车辆出现在公共街道上。然而,仍然需要人类驾驶员的边缘情况仍然存在。假设车辆能够以自动化的方式进入安全状态,遥控驾驶技术使人类能够通过经由移动网络连接的控制界面远程解决情况。虽然这是一个很有前途的解决方案,但它也带来了技术挑战,其中之一是必须将多个摄像头的视频数据从车辆传输给操作人员。在本文中,一个自适应的视频流框架,专门设计的遥控车辆的建议和证明。该框架使得能够在运行时自动重新配置多相机系统的视频流。考虑了可变传输服务质量的预测。为了提高视觉质量,该框架使用所谓的速率-质量模型来动态分配比特率和选择分辨率缩放因子。结果部署在一个实际的遥控驾驶系统的建议框架。
2021-06-10 cs.MM eess.IV
Viewport Prediction, Bitrate Selection, and Beamforming Design for THz-Enabled 360° Video Streaming
针对太赫兹(THz)赋能360°视频流的自阻塞挑战,提出基于个性化联邦学习的视口预测框架、宏动作分散式POMDP建模的比特率选择与波束成形优化及多智能体DRL算法,提升用户QoE。
2024-12-07 eess.IV eess.SP
Frequency-Assisted Adaptive Sharpening Scheme Considering Bitrate and Quality Tradeoff
Bytedance Inc.(字节跳动公司)
本文提出频率辅助锐化水平预测模型(FreqSP),利用CNN特征和高频分量从未压缩源视频中估计最优锐化水平,在提升视频质量的同时有效控制带宽成本。
2025-08-12 cs.CV cs.MM eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon(亚马逊)
这项工作的重点是低比特率的视频流场景(例如50 - 200 Kbps),其中视频质量严重受损。我们提出了一系列新颖的深度生成模型,用于通过执行超分辨率来增强此类流的感知视频质量,同时还去除压缩伪影。我们的模型,我们称之为SuperTran,除了低质量,低分辨率的视频流之外,还需要输入一个高质量,高分辨率的参考图像。因此,模型学习如何从参考图像借用或复制视觉元素(如纹理),并填充低分辨率流中的剩余细节,以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次,也可以从图库中检索。重要的是,所得到的输出具有比仅使用低分辨率输入的方法(例如SuperVEGAN方法)可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作(高达30帧/秒)。
2022-11-22 cs.CV cs.LG eess.IV
Txt2Vid: Ultra-Low Bitrate Compression of Talking-Head Videos via Text
视频代表了当今互联网流量的大部分,推动了更高质量内容的生成,更大文件大小的传输和网络基础设施的发展之间的持续竞争。此外,最近的COVID-19疫情推动视频会议工具的使用激增。由于视频占用相当大的带宽(约100 Kbps到几Mbps),因此改进的视频压缩可以对实时和预录制内容的网络性能产生重大影响,从而提供对全球多媒体内容的更广泛访问。我们提出了一种新的视频压缩管道,称为Txt 2 Vid,它大大降低了数据传输率通过压缩网络摄像头视频(“说话头视频”)的文本转录。使用基于深度学习的语音克隆和唇同步模型的最新进展,将文本传输并解码为原始视频的真实重建。我们的生成流水线实现了两到三个数量级的比特率降低相比,标准的音频-视频编解码器(编码器-解码器),同时保持相当的体验质量的基础上的主观评价的用户(n = 242)在一项在线研究。Txt 2 Vid框架开辟了创建新应用的潜力,例如在互联网连接不良期间或在带宽有限的偏远地区实现音频-视像通信。这个工作的代码可以在https://github.com/tpulkit/txt2vid.git上找到。
2022-04-03 cs.MM eess.IV
An Interactive Annotation Tool for Perceptual Video Compression
人类感知是有损视频压缩的核心,然而,收集足够密集的数据来驱动压缩是具有挑战性的。在感知质量评估中,人类反馈通常被收集为单个标量质量分数,其指示一个失真视频相对于另一个失真视频的偏好。事实上,有些视频可能在某些部分更好,但在其他部分则不然。我们提出了一种方法来收集更细粒度的反馈,要求用户使用一个交互式的工具,直接优化给定的固定比特率的感知质量。为此,我们构建了一个新颖的网络工具,允许用户在视频上绘制这些时空重要性地图。该工具允许交互式连续细化:我们根据绘制的重要性图迭代地重新编码原始视频,同时保持相同的比特率,从而允许用户在视觉上看到以牺牲其他时空部分为代价向视频的一个时空部分分配更高重要性的权衡。我们使用这个工具来收集野外数据(10个视频,17个用户),并在x264编码的背景下利用获得的重要性图来证明该工具确实可以用来生成视频,在相同的比特率下,通过主观研究看起来更好,并且观众更喜欢的可能性是1.9倍。工具和数据集的代码可在https://github.com/jenyap/video-annotation-tool.git上找到
2022-05-08 eess.IV
A Coding Framework and Benchmark towards Low-Bitrate Video Understanding
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出一种结合传统编解码器与神经网络优势的传统-神经混合编码框架,通过自监督学习保留传输高效的语义表示,并构建低比特率视频理解基准,显著提升了下游视频分析任务的性能。
2024-09-22 cs.CV eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
该研究构建覆盖五种主流编解码器的 SR+Codec 基准,评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量,证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
ReGenVC: End-to-End Real-Time Generative Video Coding at Ultra-Low Bitrate
Intel Corporation(英特尔公司)
ReGenVC是首个结合超低位率编码与实时解码的端到端生成式视频编解码器,通过技术优化实现24 fps输出,内存占用显著降低。
2026-07-31 cs.CV eess.IV
Explore Cross-Codec Quality-Rate Convex Hulls Relation for Adaptive Streaming
本研究评估H.264、H.265、VP9在三种分辨率下的质量-码率性能,构建凸包并对数多项式建模,发现单编解码器凸包可预测其他编解码器性能,助力提升自适应流媒体效率。
2024-08-16 eess.IV
A Neural Enhancement Post-Processor with a Dynamic AV1 Encoder Configuration Strategy for CLIC 2024
针对传统视频压缩在实际流媒体码率下出现可见伪影、降低感知质量的问题,提出结合神经后处理器与动态优化策略的方法,通过对抗训练和感知损失优化,在50kb/s和500kb/s码率下分别提升VMAF分数6.72和1.81,显著改善视频保真度。
2024-01-31 eess.IV
Adaptive 3D Gaussian Splatting Video Streaming: Visual Saliency-Aware Tiling and Meta-Learning-Based Bitrate Adaptation
School of Electrical Engineering and Automation, Hefei University of Technology(电子工程与自动化学院,合肥工业大学);Engineering Technology Research Center of Industrial Automation of Anhui Province(安徽省工业自动化工程技术研究中心);School of Computer Science and Information Engineering, Hefei University of Technology(计算机科学与信息工程学院,合肥工业大学);The University of Electro-Communications(电子通信大学)
本文针对3D高斯泼溅视频流传输中的分块、质量评估和码率自适应三大挑战,提出显著性感知的自适应分块、联合空间域与渲染质量评估框架以及基于元学习的码率自适应算法,实验证明其显著优于现有方法。
2025-07-19 cs.CV cs.MM eess.IV
Group-of-Latents: Perceptual Video Compression at Extreme Bitrates via Masked Latent Generative Modeling
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China(多媒体信息处理国家重点实验室,计算机科学学院,北京大学,北京,中国);State Key Discipline Laboratory of Wide Band-Gap Semiconductor Technology, School of Microelectronics, Xidian University, Xi'an, China(宽带隙半导体技术重点学科实验室,微电子学院,西安电子科技大学,西安,中国)
针对极低比特率视频压缩未充分探索的问题,提出统一生成框架,通过潜在组策略、深度压缩模块和统一潜在去噪模块,在极低比特率下实现高感知质量,有丰富空间细节和强大时间一致性,达到最新水平。
2026-07-23 cs.CV cs.MM eess.IV
Assessing the Quality-of-Experience of Adaptive Bitrate Video Streaming
视频传输管道的多样性对自适应比特率(ABR)流媒体算法和客观体验质量(QoE)模型的评估提出了巨大的挑战。在这里,我们介绍了迄今为止同类中最大的主题分级数据库,即WaterlooSQoE-IV,由1350个自适应流媒体视频组成,这些视频是从不同的源内容、视频编码器、网络跟踪、ABR算法和观看设备创建的。我们通过一系列精心设计的主观实验收集每个视频的人类意见。随后的数据分析和使用数据库的ABR算法和QoE模型的测试/比较导致了一系列新颖的观察和有趣的发现,在主观实验方法的有效性,用户体验和源内容之间的相互作用,观看设备和编码器类型,用户体验的偏差和偏好的异质性,ABR算法的行为,以及客观QoE模型的性能。最重要的是,我们的研究结果表明,一个更好的客观QoE模型,或者更好地理解人类的感知体验和行为,是提高ABR算法性能的最主要因素,而不是先进的优化框架,机器学习策略或带宽预测器,在过去的十年中,大多数ABR研究都集中在这些方面。另一方面,我们对11个QoE模型的性能评估显示,最先进的QoE模型和主观评分之间只有适度的相关性,这意味着QoE建模和ABR算法都有改进的空间。该数据库在以下网址公开提供:\url{https://ece.uwaterloo.ca/~zduanmu/waterloosqoe4/}。
2020-08-20 cs.MM eess.IV
Gen2-VC: Unlocking Generative Priors for Video Compression
Tsinghua University(清华大学)
Gen2-VC通过冻结编解码器和生成骨干,仅用轻量LoRA适配器精化重建,实现低比特率下优于VTM-23.0的失真-感知权衡,且适配器可跨编解码器泛化。
2026-09-29 eess.IV
QuDASH: Quantum-inspired rate adaptation approach for DASH video streaming
本文提出一种基于量子启发式计算技术Digital Annealer和QUBO的DASH视频流码率自适应方法QuDASH,通过构建并最小化目标函数来优化视频质量、码率变化和缓冲区条件,实验表明其在68.2%的案例中实现了最高QoE,优于传统ABR方法。
2023-10-22 cs.MM cs.NI eess.IV
Near Optimal Per-Clip Lagrangian Multiplier Prediction in HEVC
互联网流量的大部分是视频内容。这推动了对视频压缩的需求,以低目标比特率提供高质量的视频。针对特定视频剪辑优化视频编解码器的参数(每剪辑优化)已被证明可以显著节省比特率。在以前的工作中,我们已经表明,拉格朗日乘子的每剪辑优化导致高达24%的BD率改善。这些算法的一个关键组成部分是在适当的比特率范围内对R-D特性进行建模。这在计算上是繁重的,因为它通常涉及在不同参数设置下对高分辨率材料的重复视频编码。这项工作的重点是通过部署一个NN在较低的带宽功能上运行,以减少这种计算负载。我们的系统在大约90%的大型语料库中实现了BD率的提高,与以前的直接优化工作结果相当。
2022-04-19 cs.MM eess.IV
Camel: Frame-Level Bandwidth Estimation for Low-Latency Live Streaming under Video Bitrate Undershooting
Peking University(北京大学);ByteDance Ltd.(字节跳动有限公司)
Camel通过帧级拥塞控制算法提升低延迟流媒体的带宽利用率,减少卡顿并提高媒体质量。
2026-02-10 cs.MM eess.IV
HPC: Hierarchical Progressive Coding Framework for Volumetric Video
Shanghai Jiao Tong University(上海交通大学)
针对NeRF体积视频难以在单模型内灵活调整码率与质量的问题,提出分层渐进编码框架HPC,通过多分辨率残差辐射场和多率失真损失实现一次训练、多级压缩,并取得优于固定码率模型的RD性能。
2024-08-03 cs.CV cs.LG cs.MM
VMAF-based Bitrate Ladder Estimation for Adaptive Streaming
在HTTP自适应流传输中,传统上通过调整视频内容的空间分辨率和量化级别来对视频内容进行编码,以最佳地匹配主要的网络状态和显示特性。众所周知,使用固定比特率阶梯的传统解决方案不会为用户带来最高质量的体验。因此,在本文中,我们考虑一种基于从未压缩内容提取的时空特征的内容驱动方法来估计比特率阶梯。该方法实现内容驱动的插值。它使用提取的特征来训练机器学习模型以推断Rate-VMAF曲线的曲率点,从而指导一组初始编码。我们采用VMAF质量度量作为感知调节估计的手段。当与产生参考阶梯的穷举编码相比时,估计的阶梯由与参考阶梯相同的Rate-VMAF点的74.3%组成。所提出的方法提供了一个显着减少所需的编码数量,77.4%,在一个小的平均Bjøntegaard三角洲速率成本,1.12%。
2021-03-12 eess.IV
Encoder-Quantization-Motion-based Video Quality Metrics
本文合并多个人工主观数据集并引入HEVC轻量级特征,提出可在编码或解码端低开销实时计算的视频质量指标,相关性优于VMAF与P.1204.3,并支持跨动态范围泛化。
2024-04-09 eess.IV
A Parametric Rate-Distortion Model for Video Transcoding
针对视频流媒体转码需求,本文提出参数化率失真转码模型,无需编码即可预测转码失真,可实现质量提升与码率节省,实验验证了其预测有效性。
2024-04-13 cs.IT cs.LG cs.MM
Perceptual Quality Assessment of HEVC and VVC Standards for 8K Video
随着新兴视频应用的数据消耗不断增长以及用户对更高分辨率(高达8 K)的需求,视频压缩技术已经做出了巨大的努力。近来,多功能视频编码(VVC)已经由运动图像专家组(MPEG)标准化,从而提供了相对于其前身高效视频编码(HEVC)的压缩性能的显著改进。在本文中,我们提供了8 K分辨率视频的VVC和HEVC标准之间的比较主观质量评估。此外,我们还评估了8 K相对于UHD 4K分辨率所提供的感知质量改进。VVC和HEVC标准两者的压缩性能已经在随机存取(RA)编码配置中使用它们各自的参考软件、VVC测试模型(VTM-11)和HEVC测试模型(HM-16.20)来进行。使用PSNR、MS-SSIM和VMAF指标的客观测量表明,VVC相对于HEVC为8 K视频内容提供的比特率增益分别约为31%、26%和35%。主观上,对于相同的视觉质量,VVC提供了比HEVC平均40%的比特率降低。关于学生t检验分析,一些测试的视频序列已达到50%的压缩增益。此外,对于大多数测试场景,未压缩的4K和8 K之间存在显著的视觉差异。
2021-12-20 eess.IV
BALANCE: Bitrate-Adaptive Limit-Aware Netcast Content Enhancement Utilizing QUBO and Quantum Annealing
San Diego State University(圣地亚哥州立大学);Santa Clara University(圣克拉拉大学)
针对数据上限约束下视频流质量优化的挑战,提出量子框架BALANCE,通过QUBO构建比特率分配问题,基于视觉复杂度和数据消耗预选片段并利用VMAF提升QoE,在同等数据约束下QoE优于传统方法,DPA表现更佳。
2025-09-23 cs.MM cs.NI eess.IV
GAN-Based Multi-View Video Coding with Spatio-Temporal EPI Reconstruction
Fuzhou University(福州大学)
针对多视点视频编码比特率高、重建精度低的问题,提出基于GAN的时空EPI重建方法,通过提取隐编码作边信息、联合约束重建代价与熵,显著提升率失真性能。
2023-05-05 cs.CV eess.IV
Scalable Neural Video Representation Compression
University of Bristol(布里斯托大学);Tencent Media Lab(腾讯媒体实验室)
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC,通过单次编码实现细粒度码率与解码复杂度可扩展性,在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0,将提供实现代码。
2026-11-05 cs.CV cs.MM eess.IV
Multi-Objective Pareto-Front Optimization for Efficient Adaptive VVC Streaming
Visual Information Lab(视觉信息实验室);School of Computer Science(计算机科学学院);University of Bristol(布里斯托大学)
本文提出多目标帕累托前沿优化框架,用于高效自适应VVC流媒体,通过优化视频质量、比特率和解码时间,实现更高效的流媒体性能。
2026-01-15 cs.CV eess.IV
Adaptive Resolution and Chroma Subsampling for Energy-Efficient Video Coding
Brandenburg University of Technology Cottbus-Senftenberg(勃兰登堡理工大学科特布斯-森夫滕贝格分校)
本文提出ARCS框架,通过自适应分辨率和色度采样优化,实现视频编码的节能与效率平衡。
2026-02-05 cs.MM eess.IV
Super Efficient Neural Network for Compression Artifacts Reduction and Super Resolution
Amazon Lab126(亚马逊Lab126)
针对流媒体低码率下压缩伪影及现有方法无法同步消伪影与超分的问题,提出带增强特征层和定制数据集的轻量CNN算法,可同步完成两项任务,VMAF得分较传统方法提升4-6分。
2024-01-26 cs.CV eess.IV
Rate-Quality or Energy-Quality Pareto Fronts for Adaptive Video Streaming?
本文提出基于解码能耗-质量曲线而非传统码率-质量曲线构建自适应视频流传输的码率阶梯,在YouTube-UGC数据集上评估表明该方法在体验质量可比时平均降低28-31%能耗。
2024-02-10 cs.MM eess.IV
Optimal Transcoding Resolution Prediction for Efficient Per-Title Bitrate Ladder Estimation
Bytedance Inc., Shenzhen, China(字节跳动有限公司(深圳));Bytedance Inc., San Diego, CA, 92122 USA(字节跳动有限公司(圣迭戈))
本文提出一种基于 Temporal Attentive Gated Recurrent Network 的多任务分类方法,直接预测各预设码率下的最优转码分辨率,无需预编码即可高效构建内容优化的码率阶梯,逼近真实码率-分辨率对且显著优于固定码率阶梯。
2024-01-09 cs.AI cs.CV cs.MM
QoE Optimization for Semantic Self-Correcting Video Transmission in Multi-UAV Networks
针对多无人机实时视频传输中的带宽和丢包挑战,提出SSCV-G语义自校正框架,结合ST-ViT解码与MUPPO强化学习优化资源分配,显著提升编码效率和QoE。
2025-07-09 cs.MM eess.IV
Rate-Perception Optimized Preprocessing for Video Coding
Bilibili Inc.(哔哩哔哩公司)
在过去的几十年里,视频压缩领域取得了很大的进展,包括传统的视频编解码器和基于学习的视频编解码器。然而,很少有研究集中在使用预处理技术来提高率失真性能。在本文中,我们提出了一种率感知优化预处理(RPP)方法。我们首先介绍了一个自适应的离散余弦变换损失函数,它可以节省比特率,并保持必要的高频成分以及。此外,我们还结合了一些国家的最先进的技术,从低层次的视觉领域到我们的方法,如高阶退化模型,高效的轻量级网络设计,图像质量评估模型。通过联合使用这些强大的技术,我们的RPP方法可以在多个质量指标下使用不同的视频编码器(如AVC,HEVC和VVC)平均节省16.27%的比特率。在部署阶段,我们的RPP方法非常简单高效,不需要对视频编码、流媒体和解码的设置进行任何更改。每个输入帧在发送到视频编码器之前只需要通过RPP一次。此外,在我们的主观视觉质量测试中,87%的用户认为使用RPP的视频优于或等于仅使用编解码器压缩的视频,而这些使用RPP的视频平均节省约12%的比特率。我们的RPP框架已集成到我们的视频转码服务的生产环境中,每天为数百万用户提供服务。
2023-01-25 cs.CV cs.MM eess.IV
Deep Learning-Based Real-Time Quality Control of Standard Video Compression for Live Streaming
University of Maryland(马里兰大学);NEC Laboratories America(美国 NEC 实验室)
针对直播流中视频质量波动问题,提出基于深度学习的实时H.264控制器,通过动态估计最佳量化参数,在维持PSNR阈值的同时最小化比特率,带宽利用率提升达2.5倍。
2023-11-21 cs.IT cs.LG cs.NI
Convex-hull Estimation using XPSNR for Versatile Video Coding
针对VVC自适应流媒体场景,提出基于XPSNR的凸包估计方法VEXUS,利用视频时空复杂度特征预测编码质量并在线确定凸包,在相同码率下提升画质并大幅降低编解码时间。
2024-06-19 cs.MM eess.IV
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化,这些模式包括:(i)最大视频质量,(ii)最小比特率,(iii)最大编码率(之前的最小编码时间模式)和(iv)可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下,以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现,该方法使用不同的视频编码标准(x265,VP 9,AV 1)对来自不同视频数据集的各种视频进行编码。结果表明,从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省,而不牺牲视频质量。这是通过使用有效的回归模型来实现的,该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265,VP 9,AV 1,并在x265中使用新的GOP配置,在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression
Shanghai Jiao Tong University(上海交通大学)
提出VRVVC框架,通过三平面隐式残差表示和可变码率压缩方案,实现单模型多码率体积视频压缩,显著提升率失真性能。
2024-12-16 cs.CV eess.IV
Adaptive video transmission using QUBO method and Digital Annealer based on Ising machine
随着视频流在网络总流量中的比例急剧增加,开发有效的算法以提高高质量的内容分发服务至关重要。自适应比特率控制(ABR)是根据网络条件选择合适的比特率,从而实现高质量视频流传输的关键技术。本文首次提出了一种基于Ising机的ABR策略,该策略采用二次无约束二进制优化(QUBO)方法和数字退火器(DA)。该方法通过仿真评估与现实世界的实测吞吐量,并与其他国家的最先进的方法进行比较。实验结果表明,该方法的性能优于现有的方法,从而证明了该方法的优越性。
2021-09-25 cs.MM cs.NI eess.IV