Evaluation of No Reference Bitstream-based Video Quality Assessment Methods
在过去的几年中,已经提出了许多不同的视频质量评估的参数模型。本文介绍了一个审查最近的九个模型,涵盖了广泛的方法,并已被验证用于估计视频质量,由于不同的退化因素。每个模型都简要介绍了关键算法和相关的参数公式。每个模型的泛化能力,以估计在实际应用场景中的视频质量进行评估,并与其他模型进行比较,使用从实际应用中的视频序列创建的数据集。这些视频序列涵盖了广泛的可能的现实编码参数,通过主观测试的平均意见分数(MOS)标记。指出了各模型的优缺点。最后,对一个更一般的参数模型,可以适用于更广泛的应用程序的未来工作进行了讨论。
2017-06-30 cs.MM
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo(滑铁卢大学);Shanghai Jiao Tong University(上海交通大学);Ningbo University(宁波大学)
自适应视频流的体验质量(QoE)评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案(DASH)的情况下尤其具有挑战性,其具有包括附加回放问题的日益复杂的特性。在本文中,我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后,我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析,我们观察到,混合模型的性能优于服务质量(QoS)驱动的QoE方法和信号保真度测量。此外,对于相同的设置,基于机器学习的模型略微优于不使用机器学习的模型。此外,我们发现,现有的视频流QoE评估模型仍然有有限的性能,这使得它很难在实际的通信系统中应用。因此,基于传统视频质量预测的深度学习特征表示的成功,我们还应用了现成的深度卷积神经网络(DCNN)来评估流视频的感知质量,其中考虑了流视频的时空特性。实验证明了它的优越性,这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的,即,它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好,但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡,Netflix开发了视频多方法评估融合(VMAF)框架,该框架集成了多个质量感知功能来预测视频质量。然而,这种融合框架并没有充分利用时间视频质量测量,这是相关的时间视频失真。为此,我们提出了两个改进的VMAF框架:时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征,这些特征被馈送到单个或多个回归模型中。为了训练我们的模型,我们设计了一个大型的主观数据库,并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression
如今,360°视频/图像越来越受欢迎并引起了极大的关注。360°视频/图像的球形可视范围所占的数据量巨大,这对360°视频/图像处理在解决存储、传输等瓶颈方面提出了挑战。因此,近年来360°视频/图像处理的研究工作呈爆炸式增长。本文从感知、评价和压缩三个方面对360°视频/图像处理的研究现状进行了综述。首先,本文回顾了360°视频/图像的数据集和视觉注意力建模方法。其次,我们综述了360°视频/图像的主观和客观视觉质量评价(VQA)的相关工作。第三,我们概述了360°视频/图像的压缩方法,无论是利用球形特性或视觉注意力模型。最后,对全文进行了总结,并对360°视频/图像处理的未来研究方向进行了展望。
2019-10-28 cs.MM eess.IV
Video Multimethod Assessment Fusion (VMAF) on 360VR contents
本文介绍了主观实验和随后的分析进行,以验证应用程序的最强大和最有影响力的视频质量指标之一,视频多方法评估融合(VMAF),360 VR内容。VMAF是一个完整的参考指标,最初设计用于传统的2D内容。因此,首先,不能假设其与使用盔装显示器(HMD)来可视化全向内容的场景的特殊性兼容。因此,通过一组完整的测试,我们证明了这个度量可以成功地使用,而无需任何特定的训练或调整,以获得用户实际感知的360 VR序列的质量。
2019-01-18 cs.MM
Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务,但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析,提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能(吞吐量)和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制,而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要,这不能通过其他客观指标(如PSNR、SSIM和缓冲区欠载或暂停频率)进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试,使用一系列的视频剪辑。它表明,暂停强度是密切相关的观众的意见分数,无论有很大的不同组成的个别元素,如暂停持续时间和暂停频率,共同构成这个新的质量指标。研究还表明,停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
Study on the Assessment of the Quality of Experience of Streaming Video
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
HTTP上的动态自适应流传输提供了大多数多媒体服务的工作,然而,该技术的性质使QoE(体验质量)的评估进一步复杂化。本文研究了各种客观因素对流视频QoE主观估计的影响。本文介绍了标准和手工制作的功能,显示了它们的相关性和p值的意义。提出了一种基于回归和梯度提升的视频质量评估模型,其SRCC在验证子样本上达到0.9647。所提出的回归模型适用于所应用的应用(具有和不具有参考视频两者);梯度提升回归量模型是进一步改进质量估计模型的前景。我们采用SQOE-III数据库,迄今为止同类数据库中最大和最真实的数据库。VQA(视频质量评估)模型可在https://github.com/AleksandrIvchenko/QoE-assesment上获得
2020-12-08 cs.LG cs.MM
A user model for JND-based video quality assessment: theory and applications
近年来,随着视频流服务需求的不断增长,视频质量评估(VQA)技术引起了人们的广泛关注。现有的VQA方法被设计为根据主观实验中由人类校准的平均意见得分(MOS)来预测视频质量。然而,他们不能预测满意的用户比率(SUR)的聚集观众组。此外,在实际视频流服务中,它们对视频编码参数选择(例如,一组连续帧的量化参数(QP))几乎没有提供指导。为了克服这些缺点,刚刚可察觉的差异(JND)为基础的VQA方法已被提出作为一种替代。实验观察到,JND位置是正态分布的随机变量。在这项工作中,我们解释了这种分布,提出了一个用户模型,同时考虑到主题的可变性和内容的可变性。这个模型是建立在用户的能力,以辨别与不同的QP编码的视频剪辑之间的质量差异。此外,它分析视频内容特性,以说明内容间的可变性。建议的用户模型进行了验证的VideoSet中收集的数据。结果表明,该模型是灵活的,以预测特定用户组的SUR分布。
2018-07-28 cs.MM
Predictive No-Reference Assessment of Video Quality
Eindhoven University of Technology(埃因霍温理工大学)
在评估视频流质量的各种手段中,无参考(NR)方法具有低计算量并且可以在瘦客户端上执行。因此,NR算法将是实时质量评估,自动质量控制,特别是自适应移动流媒体的情况下,完美的候选人。然而,现有的NR方法往往是不准确的,相比全参考(FR)算法,特别是在有损网络条件下。在这项工作中,我们提出了一种NR方法,结合机器学习与简单的NR指标,以实现一个质量指标,如视频质量指标(VQM)的全参考算法一样准确。我们的方法在一个广泛的数据集(960个视频),在有损网络条件下,并考虑九种不同的机器学习算法进行了测试。总体而言,我们实现了与VQM的97%以上的相关性,同时允许在现实的流媒体场景中实时评估视频体验质量。
2016-04-27 cs.AI cs.MM
Video Quality Assessment with Texture Information Fusion for Streaming Applications
本文提出VQ-TIF模型,通过融合DCT能量、SSIM和时空特征并利用LSTM估计视频视觉质量,在保持高相关性的同时显著提升计算速度并降低能耗。
2024-01-24 cs.MM
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc.(哔哩哔哩公司)
针对现有视频质量评估模型仅提供总体评分的问题,构建了首个大规模细粒度UGC视频质量数据库FineVD,并提出FineVQ模型实现质量评级、评分与归因,达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
User-generated Video Quality Assessment: A Subjective and Objective Study
最近,我们观察到用户生成内容(UGC)视频呈指数级增长。UGC视频的独特性源于视频制作和交付链,因为它们通常由非专业用户获取和处理,然后上传到托管平台进行分享。因此,这些视频通常在最终被观看之前经历可能影响视觉质量的多个失真阶段。受视频编码和处理的优化应完全由感知质量驱动的共识的启发,本文提出从客观和主观两个角度研究UGC视频的质量。我们首先建立了一个UGC视频质量评估(VQA)数据库,旨在为托管平台中的UGC视频编码和处理提供有用的指导。该数据库包含上传到平台的源UGC视频及其最终由最终用户欣赏的转码版本,以及他们的主观评分。此外,我们开发了一个客观的质量评估算法,自动评估质量的转码视频的基础上损坏的参考,这是根据UGC视频共享在托管平台的应用场景。来自损坏的参考的信息被很好地利用,并且质量基于利用深度神经网络(DNN)推断的质量图来预测。实验结果表明,该方法具有优越的性能。对UGC视频的主观和客观评价也为感知UGC视频编码的设计提供了启示。
2020-05-18 cs.MM eess.IV
No Reference Stereoscopic Video Quality Assessment Using Joint Motion and Depth Statistics
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们提出了一个无参考(NR)的质量评估算法评估自然立体3D(S3D)视频的感知质量。这项工作的灵感来自于我们的发现,自然S3D视频的运动(光流或运动矢量幅度)和深度(视差图)的子带系数的联合统计具有独特的签名。具体来说,我们经验表明,联合统计的运动和深度子带系数的S3D视频帧可以准确地使用双变量广义高斯分布(BGGD)建模。然后,我们证明了BGGD模型的参数具有辨别S3D视频中的质量变化的能力。因此,采用BGGD模型参数作为运动和深度质量特征。除了这些功能,我们依赖于帧级的空间质量特征,使用一个强大的现成的NR图像质量评估(IQA)算法计算。这些帧级运动、深度和空间特征被合并并与对应的S3D视频的差异平均意见得分(DMOS)标签一起用于使用支持向量回归(SVR)的监督学习。S3 D视频的总体质量是通过对组成视频帧的帧级质量预测求平均值来计算的。所提出的算法,被称为视频质量评估使用运动和深度统计(VQUEMODES)的最先进的方法进行评估时,IRCCYN和LFOVIA S3D主观质量评估数据库。
2017-11-15 cs.CV cs.MM
Subjective Quality Assessment for YouTube UGC Dataset
由于社交视频分享的规模,用户生成内容(UGC)越来越受到学术界和工业界的关注。为了促进UGC压缩相关的研究,YouTube发布了一个大规模的数据集。最初的数据集只提供视频,限制了其在质量评估中的使用。我们使用了一个众包平台来收集这个数据集的主观质量分数。本文分析了视频质量评价中各维度的平均意见得分(MOS)分布,并探讨了视频质量评价中的一些基本问题,如完整视频MOS与相应组块MOS之间的相关性,以及组块变化对质量得分聚合的影响。
2020-02-27 cs.MM eess.IV
XGC-VQA: A unified video quality assessment model for User, Professionally, and Occupationally-Generated Content
随着互联网视频数据量和类型的快速增长,需要一个统一的视频质量评估(VQA)来激励具有感知质量的视频通信。为了满足提供这种灵感的实时性和普遍性要求,本研究提出了一个VQA模型,从用户生成内容(UGC),职业生成内容(PGC)和职业生成内容(OGC)的分类。在时域中,本研究利用非均匀采样,因为每个内容类型具有基于其感知质量的不同时间重要性。在空间域中,通过利用补丁拼接/采样机制在VQA过程之前执行集中式下采样,以降低实时评估的复杂度。实验结果表明,该方法在3种内容类型下,计算时间均小于5 s的情况下,实现了$0.7$的中值相关性,从而保证了UGC、PGC和OGC的传播体验得到了优化。
2023-03-24 cs.MM eess.IV
Quality assessment of the MPEG-4 scalable video CODEC
University of Passau(帕绍大学)
在本文中,新兴的MPEG-4 SVC编解码器的性能进行评估。第一部分简要介绍了MPEG-4 SVC编解码器的发展和质量评估的相关问题。之后,详细描述了所使用的测试方法,然后解释了实际的测试场景。本文的主要工作是对MPEG-4 SVC编解码器的性能进行客观和主观的分析。
2009-06-03 cs.CV cs.MM
Learning Quality from Complexity and Structure: A Feature-Fused XGBoost Model for Video Quality Assessment
面向部分参考视频质量评估,提出融合 VCA 时空特征、SSIM、时间池化与残差特征的 XGBoost 模型,在无需深度网络和 GPU 的情况下实现具竞争力的主观质量预测。
2025-06-11 cs.MM
A Comparative Evaluation of Temporal Pooling Methods for Blind Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc.(谷歌公司)
许多客观视频质量评估(VQA)算法都包括一个关键步骤,即帧级质量分数的时间池化。然而,很少有人关注研究不同合并方法对无参考(盲态)VQA的相对效率。在这里,我们进行了大规模的比较评估,以评估用户生成的视频盲VQA的多个时间池策略的能力和局限性。这项研究产生的见解和一般性的指导,时间池模型的应用和选择。此外,我们还提出了一个集成池模型建立在高性能的时间池模型。我们的实验结果表明,使用几种流行的VQA算法,并在最近的两个大规模的自然视频质量数据库评估的时间池模型的相对功效。除了新的合奏模型,我们提供了一个通用的配方应用基于帧的质量预测的时间池。
2020-02-25 cs.CV cs.MM
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码(VVC)的内存评估。采用最先进的高效率视频编码(HEVC)作为基线来执行存储器分析。目标是提供与HEVC相比,VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验:(1)整体记忆分析和(2)帧间预测特定记忆分析。在内存分析中获得的结果显示,VVC访问的内存比HEVC多13.4倍。此外,帧间预测模块(如在HEVC中)仍然是编码器中资源最密集的操作:60%-90%的存储器需求。帧间预测特定的分析表明,VVC需要比HEVC多5.3倍的存储器访问。此外,我们的分析表明,高达23%的这种增长是由于VVC novel-CU大小(大于64 x64)。
2020-06-01 cs.MM eess.IV
Quality Assessment of In-the-Wild Videos
Peking University(北京大学)
由于缺乏参考视频和拍摄失真,野外视频的质量评估是一个具有挑战性的问题。人类视觉系统的知识可以帮助建立客观的质量评估方法,在野外视频。在这项工作中,我们展示了人类视觉系统的两个突出效果,即内容依赖性和时间记忆效应,可以用于此目的。我们提出了一种客观的无参考视频质量评估方法,将这两种效果集成到一个深度神经网络。对于内容依赖性,我们从预训练的图像分类神经网络中提取特征,因为它具有固有的内容感知属性。对于时间记忆效应,长期依赖性,特别是时间滞后,被集成到网络中,具有门控递归单元和主观启发的时间池化层。为了验证我们的方法的性能,实验进行了三个公开的在野外视频质量评估数据库:KoNViD-1 k,CVD 2014,和LIVE-Qualcomm,分别。实验结果表明,我们提出的方法优于五个国家的最先进的方法,由一个大的利润率,具体地说,12.39%,15.71%,15.45%,和18.09%的整体性能提高第二好的方法VBLIINDS,在SROCC,KROCC,PLCC和RMSE,分别。此外,消融研究验证了内容感知特征和时间记忆效应建模的关键作用。我们方法的PyTorch实现已在https://github.com/lidq92/VSFA上发布。
2019-10-05 cs.CV cs.MM eess.IV
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features"
在Neural Processing Letters 50,3(2019)中,提出了一种用于盲视频质量评估的机器学习方法。它基于视频帧特征的时间池化,这些特征取自深度卷积神经网络的最后一个池化层。该方法在两个已建立的基准数据集上进行了验证,结果远远优于以前的最先进的。在这封信中,我们报告了我们仔细重新实现的结果。性能结果,声称在文件中,不能达到,甚至低于国家的最先进的大幅度。我们表明,最初报告的错误的性能结果是两种情况下的数据泄漏的后果。来自训练数据集外部的信息用于微调阶段和模型评估。
2020-05-09 cs.CV cs.LG cs.MM
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库,并提出FAVOR质量评估指标,系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
AIS 2024 Challenge on Video Quality Assessment of User-Generated Content: Methods and Results
Sony Interactive Entertainment(索尼互动娱乐)
本文回顾了AIS 2024视频质量评估挑战赛,该赛旨在收集在1秒内处理30帧FHD的深度学习方法以评估用户生成内容视频的感知质量,并综述了前5名提交模型的性能。
2024-04-24 cs.CV cs.MM
HIDRO-VQA: High Dynamic Range Oracle for Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出HIDRO-VQA,一种基于自监督对比微调的无参考视频质量评估模型,将SDR特征迁移至HDR域,在LIVE-HDR数据库上达到最先进性能,并支持全参考扩展。
2023-12-20 cs.CV cs.MM eess.IV
ESVQA: Perceptual Quality Assessment of Egocentric Spatial Videos
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);Institut Universitaire de France (IUF), University of Nantes(法国南特大学机构大学(IUF))
针对第一人称空间视频质量评估缺乏研究的问题,提出首个数据库ESVQAD(含600个视频)及多维双目特征融合模型ESVQAnet,显著优于16种现有VQA模型并具强泛化能力。
2025-08-07 cs.CV cs.MM
Metrics for Video Quality Assessment in Mobile Scenarios
随着蜂窝网络中视频流量的指数级增长,对优化视频传输质量的需求日益增加。4G网络(高级长期演进或LTE A)正在全球许多国家中引入,其允许在单个基站上的高达1Gbps的下行链路速度和100Mbps的上行链路速度。这有力地推动了LTE网络上的视频广播,表征了其性能并开发了可用于提供视频质量用户反馈并将其反馈给网络运营商以微调网络的指标。在本文中,我们使用流行的视频质量指标,如SSIM,阻塞,模糊,NIQE和BRISQUE的LTE A物理层上的视频传输的性能。我们进行实验,以找到一个合适的无参考指标的移动场景,并发现阻塞的压缩比是最有前途的情况下,信道或调制的变化,但它并没有表现得很好,以消除压缩比的变化。度量BRISQUE在量化这种失真方面非常有效,并且在网络变化的情况下也表现良好。
2013-04-13 cs.MM cs.NI
AIM 2024 Challenge on Compressed Video Quality Assessment: Methods and Results
本文报告了AIM 2024压缩视频质量评估挑战赛的结果,基于459个视频和14种编解码器评估VQA方法性能,并公开数据集与基准。
2024-10-22 cs.CV cs.MM eess.IV
Convolutions Need Registers Too: HVS-Inspired Dynamic Attention for Video Quality Assessment
Texas State University(德克萨斯州立大学)
DAGR-VQA通过整合寄存器令牌到卷积主干中,实现动态注意力机制,提升视频质量评估的时空显著性预测能力。
2026-01-16 cs.CV cs.MM eess.IV
Exploring Opinion-unaware Video Quality Assessment with Semantic Affinity Criterion
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院)
最近的基于学习的视频质量评估(VQA)算法由于人类质量意见的数据汇集的成本而实现起来昂贵,并且由于这些意见的偏差而在各种场景中不太鲁棒。这激发了我们对意见不可知(也称为zero-shot)VQA方法的探索。现有的方法只考虑了空间或时间域的低层自然度,没有考虑高层语义的影响。在这项工作中,我们引入了一个明确的语义亲和力指数的意见不知情的VQA使用文本提示的对比语言图像预训练(CLIP)模型。我们还通过高斯归一化和S形缩放策略将其与不同的传统低级自然度指数聚合。由聚合的语义和技术指标组成,通过语义和技术指标聚合(BUONA-VISTA)提出的盲统一意见-不知情的视频质量指数比现有的意见不知情的VQA方法至少提高20%,并且比意见感知方法更强大。
2023-02-26 cs.CV cs.MM
Subjective and Objective Quality Assessment Methods of Stereoscopic Videos with Visibility Affecting Distortions
Indian Institute of Information Technology, Design and Manufacturing Kancheepuram(印度信息技术、设计与制造坎奇普兰学院);Indian Institute of Technology Indore(印度印多尔理工学院);Indian Institute of Technology Hyderabad(印度海得拉巴理工学院)
本研究创建含雾霾失真的全高清S3D视频数据集并获取主观DMOS得分,开发OU-DU客观评估模型,通过独眼帧NSS特征UGGD/MVG建模及Bhattacharyya距离融合评估质量,在多数据集上表现优异。
2024-11-29 cs.CV cs.MM
Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets Training
Peking University(北京大学);Beijing Film Academy(北京电影学院)
视频质量评价是计算机视觉中的一个重要问题。计算机视觉应用中的视频通常是在野外采集的。我们专注于自动评估在野外视频的质量,这是一个具有挑战性的问题,由于缺乏参考视频,失真的复杂性,以及视频内容的多样性。此外,现有数据集之间的视频内容和失真差异很大,这导致数据驱动方法在跨数据集评估设置中的性能较差。为了提高质量评估模型的性能,我们借用了人类感知的直觉,特别是人类视觉系统的内容依赖性和时间记忆效应。为了应对跨数据集评估的挑战,我们探索了一种混合数据集训练策略,用于训练具有多个数据集的单个VQA模型。所提出的统一框架明确地包括三个阶段:相对质量评估器,非线性映射,和特定于特定的感知尺度对齐,以联合预测相对质量,感知质量和主观质量。实验是在四个公开可用的数据集上进行的,用于野外VQA,即,LIVE-VQC、LIVE-Qualcomm、KoNViD-1k和CVD2014。实验结果验证了混合数据集训练策略的有效性,并证明了与现有模型相比,统一模型的优越性能。对于可重复的研究,我们在https://github.com/lidq92/MDTVSFA上提供了我们方法的PyTorch实现。
2020-11-15 cs.CV cs.MM eess.IV
Making Video Quality Assessment Models Sensitive to Frame Rate Distortions
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc.(谷歌公司)
我们认为捕捉的问题所产生的帧速率的变化作为视频质量评估(VQA)的一部分失真。可变帧速率(VFR)视频已经变得更加常见,并且流式视频的范围通常从每秒30帧(fps)到高达120 fps。VFR-VQA在失真类型方面以及在对具有不同帧速率的参考和失真视频进行非均匀比较方面提供了独特的挑战。目前大多数VQA模型要求比较的视频具有相同的帧速率,但无法充分考虑帧速率伪影。最近提出的广义熵差(GREED)VQA模型成功地完成了这一任务,使用自然的视频统计模型的时间带通系数的熵差,预测视频质量的变化所产生的帧速率失真提供卓越的性能。在这里,我们提出了一个简单的融合框架,从而从GREED的时间特征与现有的VQA模型相结合,提高模型对帧速率失真的敏感性。我们通过大量的实验发现,这种特征融合显着提高了HFR/VFR数据集以及固定帧速率(FFR)VQA数据库上的模型性能。我们的研究结果表明,采用有效的时间表示可以导致更强大和更准确的VQA模型时,帧速率的变化可能会发生。
2022-05-21 cs.CV cs.MM eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Tetras AI(Tetras人工智能公司)
用户生成内容(UGC)视频的快速增长要求开发有效的视频质量评估(VQA)算法。然而,UGC-VQA问题的目标仍然是模糊的,可以从两个角度来看:技术的角度来看,测量失真的感知;和美学的角度来看,这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见,我们进行了一项大规模的主观研究,以收集人类对视频整体质量的意见,以及从美学和技术角度的看法。收集的视频质量数据库(DIVIDE-3 k)证实,人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此,我们提出了解纠缠客观视频质量评估器(DOVER)学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中,我们进一步提出了DOVER++,这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research(商汤科技研究院);Tetras AI
随着非专业人员拍摄的野外视频的快速增长,盲视频质量评估(VQA)已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题,但仍然不清楚人类视觉系统(HVS)如何与视频的时间质量相关。同时,最近的工作已经发现,自然视频的帧被转换到HVS的感知域,往往会形成一个直线轨迹的表示。与所获得的洞察,失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示,我们提出了一个时间感知质量指数(TPQI)来衡量时间失真描述的图形形态的表示。具体来说,我们首先提取视频感知表示从外侧膝状体核(LGN)和初级视觉区(V1)的HVS,然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明,HVS中的感知表示是预测主观时间质量的有效方法,因此TPQI可以首次实现与空间质量度量相当的性能,并且在评估具有较大时间变化的视频时更加有效。我们进一步证明,通过结合NIQE,一个空间质量度量,TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是,TPQI不需要任何额外的信息,因此可以应用于任何数据集,而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
A Deep Learning based No-reference Quality Assessment Model for UGC Videos
Shanghai Jiao Tong University(上海交通大学)
用户生成内容(UGC)视频的质量评估在确保最终用户的观看体验方面发挥着重要作用。以往的UGC视频质量评估(VQA)研究要么使用图像识别模型,要么使用图像质量评估(IQA)模型来提取UGC视频的帧级特征进行质量回归,由于这些任务与UGC VQA任务之间的域转移,因此被认为是次优解决方案。在本文中,我们提出了一个非常简单但有效的UGC VQA模型,试图通过训练一个端到端的空间特征提取网络来直接从视频帧的原始像素中学习质量感知的空间特征表示来解决这个问题。我们还提取运动特征来测量空间特征无法建模的时间相关失真。所提出的模型利用非常稀疏的帧来提取空间特征,并且利用具有非常低的空间分辨率的密集帧(即,视频块)来提取运动特征,从而具有低的计算复杂性。对于具有较好质量感知的特征,我们只使用简单的多层感知层(MLP)网络将其回归为块级质量分数,然后采用时间平均池化策略获得视频级质量分数。我们进一步引入了一种多尺度质量融合策略来解决不同空间分辨率的VQA问题,其中多尺度权重是从人类视觉系统的对比敏感度函数中获得的。实验结果表明,该模型在五个流行的UGC VQA数据库上取得了最佳性能,验证了该模型的有效性。代码将公开。
2022-10-20 cs.CV cs.MM eess.IV
High Frame Rate Video Quality Assessment using VMAF and Entropic Differences
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
具有实况、高动作内容的流视频的流行已经导致对高帧速率(HFR)视频的兴趣增加。在这项工作中,我们解决的问题时,要比较的视频具有不同的帧速率和压缩因子的帧速率相关的视频质量评估(VQA)。当前的VQA模型(如VMAF)在要比较的视频具有相同的帧速率并包含压缩、缩放等传统失真时,与感知判断具有更好的相关性。然而,当需要比较具有不同帧速率的视频时,该框架需要额外的预处理步骤,这可能会限制其整体性能。最近,广义熵差(GREED)VQA模型被提出来考虑由于帧速率的变化而产生的文物,并显示出优越的性能上的LIVE-YT-HFR数据库,其中包含帧速率相关的文物,如抖动,频闪等,在本文中,我们提出了一个简单的扩展,在VMAF和GREED的功能融合,以利用这两种模式的优势。我们通过各种实验表明,所提出的融合框架的结果更有效的预测帧速率依赖的视频质量的功能。我们还评估了标准的非HFR VQA数据库上的融合特征集,并获得了优于GREED和VMAF的性能,表明组合特征集捕获了互补的感知质量信息。
2021-09-27 cs.CV cs.MM eess.IV
KonVid-150k: A Dataset for No-Reference Video Quality Assessment of Videos in-the-Wild
University of Konstanz(康斯坦茨大学)
视频质量评估(VQA)方法专注于特定的退化类型,通常是在一小组参考视频上人为引起的。因此,大多数传统的VQA方法在野外表现不佳。深度学习方法由于现有VQA数据集的小尺寸和多样性而取得了有限的成功,无论是人工的还是真实扭曲的。我们引入了一个新的野生VQA数据集,它更大,更多样化:KonVid-150 k。它包括一个粗略注释的153,841个视频,每个视频有5个质量评级,以及1,596个视频,每个视频至少有89个评级。此外,我们提出了新的高效的VQA方法(MLSP-VQA)依赖于多层次的空间汇集的深功能(MLSP)。与深度迁移学习方法相比,它们非常适合大规模培训。我们的最佳方法MLSP-VQA-FF将常用的KoNViD-1 k野外基准数据集上的Spearman秩序相关系数(SRCC)性能指标提高到0.82。它超越了现有最好的深度学习模型(0.80 SRCC)和手工制作的基于特征的方法(0.78 SRCC)。我们进一步研究了替代方法在不同级别的标签噪声和数据集大小下的表现,表明MLSP-VQA-FF是野外视频的整体最佳方法。最后,我们证明了在KonVid-150 k上训练的MLSP-VQA模型为KoNViD-1 k、LIVE-VQC和LIVE-Qualcomm的交叉测试性能提供了最新的技术水平,SRCC分别为0.83、0.75和0.64。对于KoNViD-1 k和LIVE-VQC,这种数…
2021-03-01 cs.CV cs.MM eess.IV