PC-JND: Subjective Study and Dataset on Just Noticeable Difference for Point Clouds in 6DoF Virtual Reality
该研究在6DoF VR环境下探究点云恰可察觉差(PCJND)特性,发现纹理PCJND小于几何PCJND、色彩丰富度与纹理PCJND相关,并发布了PC-JND数据集以支撑沉浸式媒体感知优化研究。
2025-07-29 cs.MM
Optimal Quality and Efficiency in Adaptive Live Streaming with JND-Aware Low latency Encoding
针对HTTP自适应直播流编码质量与效率优化问题,提出JND感知低延迟编码方案JALE,通过随机森林模型联合优化编码器预设与线程数,在维持编码速度的同时显著提升画质并降低存储、CPU用量与编码时间。
2024-01-27 cs.MM
Application of Just-Noticeable Difference in Quality as Environment Suitability Test for Crowdsourcing Speech Quality Assessment Task
众包微任务平台通过提供对高度可扩展的、地理上分布的和人口统计上多样化的众包工作者池的访问来促进主观媒体质量评估。这些工作人员使用自己的硬件,从自己的工作环境远程参与实验。在语音质量评估的情况下,初步的工作表明,环境噪声在听众的一侧和听设备(扬声器或耳机)显着影响感知质量,因此主观评级的可靠性和有效性。因此,ITU-T Rec.P.808规定了在评估语音质量时对人群工作人员的收听环境的要求。在本文中,我们提出了一个新的只是明显的质量差异(JNDQ)测试作为一个远程筛选方法,用于评估是否适合参加语音质量评估任务的工作环境。在实验室实验中,参与者在不同的收听环境中使用不同的收听设备进行了JNDQ测试,包括根据ITU-T Rec. P.800的静音室和模拟的背景噪声场景。结果显示环境和听音设备对JNDQ阈值有显著影响。因此,收听设备和背景噪声的组合需要在众包语音质量测试中被筛选。我们提出了我们的JNDQ测试的最低阈值作为一个容易适用的筛选方法,用于此目的。
2020-04-11 cs.HC cs.MM
Predicting Encoding Energy from Low-Pass Anchors for Green Video Streaming
Institute of Information Technology, University of Klagenfurt(克拉根福大学信息技术研究所)
本文提出一种轻量级能耗预测方法,利用低分辨率参考编码估计高分辨率视频编码能耗,在保持感知质量的同时实现超50%的编解码节能。
2025-11-01 cs.MM
Quality-Aware Dynamic Resolution Adaptation Framework for Adaptive Video Streaming
提出QADRA框架,利用XGBoost预测XPSNR,在线优化编码分辨率与QP,并消除感知冗余表示,以提升自适应视频流质量并控制编码解码时间。
2024-03-16 cs.MM
Subjective Assessment of H.264 Compressed Stereoscopic Video
3D(立体)成像和显示技术的巨大增长已经导致立体内容(视频和图像)变得越来越流行。然而,对立体视频内容的主观和客观评价都没有跟上内容的快速增长。此外,标准立体视频数据库的可用性也相当有限。在这项工作中,我们试图减轻这些缺点。我们提出了一个立体视频数据库和主观评价。我们创建了一个包含144个扭曲视频的数据库。我们将注意力限制在H.264压缩伪影上。失真视频是使用最初由Goldmann等人在EPFL创建的6个未压缩的左视图和右视图原始视频生成的[1]。此外,19名受试者参加了主观评估任务。主观研究的基础上,我们制定了2D和立体主观评分之间的关系作为压缩率和深度范围的函数。我们还评估了流行的2D和3D图像/视频质量评估(I/VQA)算法对我们的数据库的性能。
2016-04-26 cs.MM
Evaluation of No Reference Bitstream-based Video Quality Assessment Methods
在过去的几年中,已经提出了许多不同的视频质量评估的参数模型。本文介绍了一个审查最近的九个模型,涵盖了广泛的方法,并已被验证用于估计视频质量,由于不同的退化因素。每个模型都简要介绍了关键算法和相关的参数公式。每个模型的泛化能力,以估计在实际应用场景中的视频质量进行评估,并与其他模型进行比较,使用从实际应用中的视频序列创建的数据集。这些视频序列涵盖了广泛的可能的现实编码参数,通过主观测试的平均意见分数(MOS)标记。指出了各模型的优缺点。最后,对一个更一般的参数模型,可以适用于更广泛的应用程序的未来工作进行了讨论。
2017-06-30 cs.MM
Video Multimethod Assessment Fusion (VMAF) on 360VR contents
本文介绍了主观实验和随后的分析进行,以验证应用程序的最强大和最有影响力的视频质量指标之一,视频多方法评估融合(VMAF),360 VR内容。VMAF是一个完整的参考指标,最初设计用于传统的2D内容。因此,首先,不能假设其与使用盔装显示器(HMD)来可视化全向内容的场景的特殊性兼容。因此,通过一组完整的测试,我们证明了这个度量可以成功地使用,而无需任何特定的训练或调整,以获得用户实际感知的360 VR序列的质量。
2019-01-18 cs.MM
Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务,但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析,提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能(吞吐量)和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制,而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要,这不能通过其他客观指标(如PSNR、SSIM和缓冲区欠载或暂停频率)进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试,使用一系列的视频剪辑。它表明,暂停强度是密切相关的观众的意见分数,无论有很大的不同组成的个别元素,如暂停持续时间和暂停频率,共同构成这个新的质量指标。研究还表明,停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
Video Quality Assessment with Texture Information Fusion for Streaming Applications
本文提出VQ-TIF模型,通过融合DCT能量、SSIM和时空特征并利用LSTM估计视频视觉质量,在保持高相关性的同时显著提升计算速度并降低能耗。
2024-01-24 cs.MM
Learning Quality from Complexity and Structure: A Feature-Fused XGBoost Model for Video Quality Assessment
面向部分参考视频质量评估,提出融合 VCA 时空特征、SSIM、时间池化与残差特征的 XGBoost 模型,在无需深度网络和 GPU 的情况下实现具竞争力的主观质量预测。
2025-06-11 cs.MM
UGC-VIDEO: perceptual quality assessment of user-generated videos
近年来,互联网上的用户生成内容(UGC)视频数量不断增长。然而,UGC视频感知质量评估的进展仍然相当有限。在完整的视频制作和交付链中,UGC视频有许多突出的特点,与视频质量密切相关的一个重要属性是,在上传到托管平台后,不存在原始源,因此在最终观看之前,它们通常经过多个压缩阶段。为了方便UGC视频质量评估,我们创建了UGC视频感知质量评估数据库。它包含从TikTok收集的50个源视频,内容多样,以及通过不同量化级别和编码标准压缩生成的多个失真版本。采用主观质量评价方法对视频质量进行评价。此外,我们使用现有的质量评估算法对数据库进行基准测试,并观察到未来提高UGC视频质量测量准确性的潜在空间。
2019-09-12 cs.MM eess.IV
Deep Local and Global Spatiotemporal Feature Aggregation for Blind Video Quality Assessment
近年来,深度学习在多媒体质量评估,特别是图像质量评估(IQA)方面取得了巨大的成功。然而,由于视频中存在更复杂的时间特性,因此通过利用强大的深度卷积神经网络(DCNN)对视频质量评估(VQA)进行的工作很少。在本文中,我们提出了一种高效的VQA方法,称为深度时空视频质量评估器(DeepSTQ),以无参考的方式预测各种失真视频的感知质量。在提出的DeepSTQ中,我们首先通过预训练的深度学习模型提取局部和全局时空特征,而无需从头开始进行微调或训练。合成的特征考虑了失真的视频帧以及来自全局和局部视图的帧差异图。然后,通过回归模型进行特征聚合以预测感知视频质量。最后,实验结果表明,我们提出的DeepSTQ优于最先进的质量评估算法。
2020-09-07 cs.MM eess.IV
FPGA implementation of the procedures for video quality assessment
各种媒体中使用的视频分辨率不断提高。虽然制造商努力完善他们的屏幕,但确保显示图像的高质量也很重要。总体质量可以使用平均意见得分(MOS)来衡量。视频质量可能会受到各种各样的伪影的影响,这些伪影出现在视频创建和传输的每个阶段。在本文中,我们提出了一个解决方案,以计算四个不同的视频质量指标,可以应用于一个实时的视频质量评估系统。我们的评估模块能够以每秒30帧的速度实时的处理8 K分辨率。2.19 GB/s的吞吐量超过了纯软件解决方案的性能。为了专注于架构优化,该模块使用高级语言创建。
2017-05-03 cs.MM cs.PF
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo(滑铁卢大学);Shanghai Jiao Tong University(上海交通大学);Ningbo University(宁波大学)
自适应视频流的体验质量(QoE)评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案(DASH)的情况下尤其具有挑战性,其具有包括附加回放问题的日益复杂的特性。在本文中,我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后,我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析,我们观察到,混合模型的性能优于服务质量(QoS)驱动的QoE方法和信号保真度测量。此外,对于相同的设置,基于机器学习的模型略微优于不使用机器学习的模型。此外,我们发现,现有的视频流QoE评估模型仍然有有限的性能,这使得它很难在实际的通信系统中应用。因此,基于传统视频质量预测的深度学习特征表示的成功,我们还应用了现成的深度卷积神经网络(DCNN)来评估流视频的感知质量,其中考虑了流视频的时空特性。实验证明了它的优越性,这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的,即,它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好,但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡,Netflix开发了视频多方法评估融合(VMAF)框架,该框架集成了多个质量感知功能来预测视频质量。然而,这种融合框架并没有充分利用时间视频质量测量,这是相关的时间视频失真。为此,我们提出了两个改进的VMAF框架:时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征,这些特征被馈送到单个或多个回归模型中。为了训练我们的模型,我们设计了一个大型的主观数据库,并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression
如今,360°视频/图像越来越受欢迎并引起了极大的关注。360°视频/图像的球形可视范围所占的数据量巨大,这对360°视频/图像处理在解决存储、传输等瓶颈方面提出了挑战。因此,近年来360°视频/图像处理的研究工作呈爆炸式增长。本文从感知、评价和压缩三个方面对360°视频/图像处理的研究现状进行了综述。首先,本文回顾了360°视频/图像的数据集和视觉注意力建模方法。其次,我们综述了360°视频/图像的主观和客观视觉质量评价(VQA)的相关工作。第三,我们概述了360°视频/图像的压缩方法,无论是利用球形特性或视觉注意力模型。最后,对全文进行了总结,并对360°视频/图像处理的未来研究方向进行了展望。
2019-10-28 cs.MM eess.IV
Perceptual Video Quality Assessment: A Survey
Shanghai Jiao Tong University(上海交通大学)
本文综述了感知视频质量评估领域,涵盖主观与客观方法、通用及特定应用(如流媒体、UGC、VR/AR等),并比较了最新技术的性能,为研究者提供系统参考。
2024-02-05 cs.CV cs.MM eess.IV
Video Tester -- A multiple-metric framework for video quality assessment over IP networks
本文提出了一个可扩展和可重用的框架,解决了IP网络视频质量评估的问题。建议的工具(称为视频测试仪)支持原始未压缩视频编码和解码。它还包括不同的IP视频传输方法(即:UDP单播和多播上的RTP,以及TCP上的RTP)。此外,它还具有丰富的离线分析功能。Video-Tester分析包括QoS和比特流参数估计(即:带宽、分组到达间隔时间、抖动和丢失率,以及GOP大小和I帧丢失率)。由于采用了基于Python的模块化方法,我们的设计促进了几乎任何现有视频质量指标的集成。Video-Tester目前提供PSNR、SSIM、ITU-T G.1070视频质量指标、DIV和基于PSNR的MOS估计。为了促进其使用和扩展,Video-Tester是开放的,可公开获取。
2013-01-24 cs.MM cs.PF
Study on the Assessment of the Quality of Experience of Streaming Video
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
HTTP上的动态自适应流传输提供了大多数多媒体服务的工作,然而,该技术的性质使QoE(体验质量)的评估进一步复杂化。本文研究了各种客观因素对流视频QoE主观估计的影响。本文介绍了标准和手工制作的功能,显示了它们的相关性和p值的意义。提出了一种基于回归和梯度提升的视频质量评估模型,其SRCC在验证子样本上达到0.9647。所提出的回归模型适用于所应用的应用(具有和不具有参考视频两者);梯度提升回归量模型是进一步改进质量估计模型的前景。我们采用SQOE-III数据库,迄今为止同类数据库中最大和最真实的数据库。VQA(视频质量评估)模型可在https://github.com/AleksandrIvchenko/QoE-assesment上获得
2020-12-08 cs.LG cs.MM
Predictive No-Reference Assessment of Video Quality
Eindhoven University of Technology(埃因霍温理工大学)
在评估视频流质量的各种手段中,无参考(NR)方法具有低计算量并且可以在瘦客户端上执行。因此,NR算法将是实时质量评估,自动质量控制,特别是自适应移动流媒体的情况下,完美的候选人。然而,现有的NR方法往往是不准确的,相比全参考(FR)算法,特别是在有损网络条件下。在这项工作中,我们提出了一种NR方法,结合机器学习与简单的NR指标,以实现一个质量指标,如视频质量指标(VQM)的全参考算法一样准确。我们的方法在一个广泛的数据集(960个视频),在有损网络条件下,并考虑九种不同的机器学习算法进行了测试。总体而言,我们实现了与VQM的97%以上的相关性,同时允许在现实的流媒体场景中实时评估视频体验质量。
2016-04-27 cs.AI cs.MM
User-generated Video Quality Assessment: A Subjective and Objective Study
最近,我们观察到用户生成内容(UGC)视频呈指数级增长。UGC视频的独特性源于视频制作和交付链,因为它们通常由非专业用户获取和处理,然后上传到托管平台进行分享。因此,这些视频通常在最终被观看之前经历可能影响视觉质量的多个失真阶段。受视频编码和处理的优化应完全由感知质量驱动的共识的启发,本文提出从客观和主观两个角度研究UGC视频的质量。我们首先建立了一个UGC视频质量评估(VQA)数据库,旨在为托管平台中的UGC视频编码和处理提供有用的指导。该数据库包含上传到平台的源UGC视频及其最终由最终用户欣赏的转码版本,以及他们的主观评分。此外,我们开发了一个客观的质量评估算法,自动评估质量的转码视频的基础上损坏的参考,这是根据UGC视频共享在托管平台的应用场景。来自损坏的参考的信息被很好地利用,并且质量基于利用深度神经网络(DNN)推断的质量图来预测。实验结果表明,该方法具有优越的性能。对UGC视频的主观和客观评价也为感知UGC视频编码的设计提供了启示。
2020-05-18 cs.MM eess.IV
No Reference Stereoscopic Video Quality Assessment Using Joint Motion and Depth Statistics
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们提出了一个无参考(NR)的质量评估算法评估自然立体3D(S3D)视频的感知质量。这项工作的灵感来自于我们的发现,自然S3D视频的运动(光流或运动矢量幅度)和深度(视差图)的子带系数的联合统计具有独特的签名。具体来说,我们经验表明,联合统计的运动和深度子带系数的S3D视频帧可以准确地使用双变量广义高斯分布(BGGD)建模。然后,我们证明了BGGD模型的参数具有辨别S3D视频中的质量变化的能力。因此,采用BGGD模型参数作为运动和深度质量特征。除了这些功能,我们依赖于帧级的空间质量特征,使用一个强大的现成的NR图像质量评估(IQA)算法计算。这些帧级运动、深度和空间特征被合并并与对应的S3D视频的差异平均意见得分(DMOS)标签一起用于使用支持向量回归(SVR)的监督学习。S3 D视频的总体质量是通过对组成视频帧的帧级质量预测求平均值来计算的。所提出的算法,被称为视频质量评估使用运动和深度统计(VQUEMODES)的最先进的方法进行评估时,IRCCYN和LFOVIA S3D主观质量评估数据库。
2017-11-15 cs.CV cs.MM
Subjective Quality Assessment for YouTube UGC Dataset
由于社交视频分享的规模,用户生成内容(UGC)越来越受到学术界和工业界的关注。为了促进UGC压缩相关的研究,YouTube发布了一个大规模的数据集。最初的数据集只提供视频,限制了其在质量评估中的使用。我们使用了一个众包平台来收集这个数据集的主观质量分数。本文分析了视频质量评价中各维度的平均意见得分(MOS)分布,并探讨了视频质量评价中的一些基本问题,如完整视频MOS与相应组块MOS之间的相关性,以及组块变化对质量得分聚合的影响。
2020-02-27 cs.MM eess.IV
XGC-VQA: A unified video quality assessment model for User, Professionally, and Occupationally-Generated Content
随着互联网视频数据量和类型的快速增长,需要一个统一的视频质量评估(VQA)来激励具有感知质量的视频通信。为了满足提供这种灵感的实时性和普遍性要求,本研究提出了一个VQA模型,从用户生成内容(UGC),职业生成内容(PGC)和职业生成内容(OGC)的分类。在时域中,本研究利用非均匀采样,因为每个内容类型具有基于其感知质量的不同时间重要性。在空间域中,通过利用补丁拼接/采样机制在VQA过程之前执行集中式下采样,以降低实时评估的复杂度。实验结果表明,该方法在3种内容类型下,计算时间均小于5 s的情况下,实现了$0.7$的中值相关性,从而保证了UGC、PGC和OGC的传播体验得到了优化。
2023-03-24 cs.MM eess.IV
Quality assessment of the MPEG-4 scalable video CODEC
University of Passau(帕绍大学)
在本文中,新兴的MPEG-4 SVC编解码器的性能进行评估。第一部分简要介绍了MPEG-4 SVC编解码器的发展和质量评估的相关问题。之后,详细描述了所使用的测试方法,然后解释了实际的测试场景。本文的主要工作是对MPEG-4 SVC编解码器的性能进行客观和主观的分析。
2009-06-03 cs.CV cs.MM
A Comparative Evaluation of Temporal Pooling Methods for Blind Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc.(谷歌公司)
许多客观视频质量评估(VQA)算法都包括一个关键步骤,即帧级质量分数的时间池化。然而,很少有人关注研究不同合并方法对无参考(盲态)VQA的相对效率。在这里,我们进行了大规模的比较评估,以评估用户生成的视频盲VQA的多个时间池策略的能力和局限性。这项研究产生的见解和一般性的指导,时间池模型的应用和选择。此外,我们还提出了一个集成池模型建立在高性能的时间池模型。我们的实验结果表明,使用几种流行的VQA算法,并在最近的两个大规模的自然视频质量数据库评估的时间池模型的相对功效。除了新的合奏模型,我们提供了一个通用的配方应用基于帧的质量预测的时间池。
2020-02-25 cs.CV cs.MM
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码(VVC)的内存评估。采用最先进的高效率视频编码(HEVC)作为基线来执行存储器分析。目标是提供与HEVC相比,VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验:(1)整体记忆分析和(2)帧间预测特定记忆分析。在内存分析中获得的结果显示,VVC访问的内存比HEVC多13.4倍。此外,帧间预测模块(如在HEVC中)仍然是编码器中资源最密集的操作:60%-90%的存储器需求。帧间预测特定的分析表明,VVC需要比HEVC多5.3倍的存储器访问。此外,我们的分析表明,高达23%的这种增长是由于VVC novel-CU大小(大于64 x64)。
2020-06-01 cs.MM eess.IV
AIS 2024 Challenge on Video Quality Assessment of User-Generated Content: Methods and Results
Sony Interactive Entertainment(索尼互动娱乐)
本文回顾了AIS 2024视频质量评估挑战赛,该赛旨在收集在1秒内处理30帧FHD的深度学习方法以评估用户生成内容视频的感知质量,并综述了前5名提交模型的性能。
2024-04-24 cs.CV cs.MM
ESVQA: Perceptual Quality Assessment of Egocentric Spatial Videos
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);Institut Universitaire de France (IUF), University of Nantes(法国南特大学机构大学(IUF))
针对第一人称空间视频质量评估缺乏研究的问题,提出首个数据库ESVQAD(含600个视频)及多维双目特征融合模型ESVQAnet,显著优于16种现有VQA模型并具强泛化能力。
2025-08-07 cs.CV cs.MM
Metrics for Video Quality Assessment in Mobile Scenarios
随着蜂窝网络中视频流量的指数级增长,对优化视频传输质量的需求日益增加。4G网络(高级长期演进或LTE A)正在全球许多国家中引入,其允许在单个基站上的高达1Gbps的下行链路速度和100Mbps的上行链路速度。这有力地推动了LTE网络上的视频广播,表征了其性能并开发了可用于提供视频质量用户反馈并将其反馈给网络运营商以微调网络的指标。在本文中,我们使用流行的视频质量指标,如SSIM,阻塞,模糊,NIQE和BRISQUE的LTE A物理层上的视频传输的性能。我们进行实验,以找到一个合适的无参考指标的移动场景,并发现阻塞的压缩比是最有前途的情况下,信道或调制的变化,但它并没有表现得很好,以消除压缩比的变化。度量BRISQUE在量化这种失真方面非常有效,并且在网络变化的情况下也表现良好。
2013-04-13 cs.MM cs.NI
Exploring Opinion-unaware Video Quality Assessment with Semantic Affinity Criterion
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院)
最近的基于学习的视频质量评估(VQA)算法由于人类质量意见的数据汇集的成本而实现起来昂贵,并且由于这些意见的偏差而在各种场景中不太鲁棒。这激发了我们对意见不可知(也称为zero-shot)VQA方法的探索。现有的方法只考虑了空间或时间域的低层自然度,没有考虑高层语义的影响。在这项工作中,我们引入了一个明确的语义亲和力指数的意见不知情的VQA使用文本提示的对比语言图像预训练(CLIP)模型。我们还通过高斯归一化和S形缩放策略将其与不同的传统低级自然度指数聚合。由聚合的语义和技术指标组成,通过语义和技术指标聚合(BUONA-VISTA)提出的盲统一意见-不知情的视频质量指数比现有的意见不知情的VQA方法至少提高20%,并且比意见感知方法更强大。
2023-02-26 cs.CV cs.MM
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc.(哔哩哔哩公司)
针对现有视频质量评估模型仅提供总体评分的问题,构建了首个大规模细粒度UGC视频质量数据库FineVD,并提出FineVQ模型实现质量评级、评分与归因,达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
Quality Assessment of In-the-Wild Videos
Peking University(北京大学)
由于缺乏参考视频和拍摄失真,野外视频的质量评估是一个具有挑战性的问题。人类视觉系统的知识可以帮助建立客观的质量评估方法,在野外视频。在这项工作中,我们展示了人类视觉系统的两个突出效果,即内容依赖性和时间记忆效应,可以用于此目的。我们提出了一种客观的无参考视频质量评估方法,将这两种效果集成到一个深度神经网络。对于内容依赖性,我们从预训练的图像分类神经网络中提取特征,因为它具有固有的内容感知属性。对于时间记忆效应,长期依赖性,特别是时间滞后,被集成到网络中,具有门控递归单元和主观启发的时间池化层。为了验证我们的方法的性能,实验进行了三个公开的在野外视频质量评估数据库:KoNViD-1 k,CVD 2014,和LIVE-Qualcomm,分别。实验结果表明,我们提出的方法优于五个国家的最先进的方法,由一个大的利润率,具体地说,12.39%,15.71%,15.45%,和18.09%的整体性能提高第二好的方法VBLIINDS,在SROCC,KROCC,PLCC和RMSE,分别。此外,消融研究验证了内容感知特征和时间记忆效应建模的关键作用。我们方法的PyTorch实现已在https://github.com/lidq92/VSFA上发布。
2019-10-05 cs.CV cs.MM eess.IV
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features"
在Neural Processing Letters 50,3(2019)中,提出了一种用于盲视频质量评估的机器学习方法。它基于视频帧特征的时间池化,这些特征取自深度卷积神经网络的最后一个池化层。该方法在两个已建立的基准数据集上进行了验证,结果远远优于以前的最先进的。在这封信中,我们报告了我们仔细重新实现的结果。性能结果,声称在文件中,不能达到,甚至低于国家的最先进的大幅度。我们表明,最初报告的错误的性能结果是两种情况下的数据泄漏的后果。来自训练数据集外部的信息用于微调阶段和模型评估。
2020-05-09 cs.CV cs.LG cs.MM
HIDRO-VQA: High Dynamic Range Oracle for Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出HIDRO-VQA,一种基于自监督对比微调的无参考视频质量评估模型,将SDR特征迁移至HDR域,在LIVE-HDR数据库上达到最先进性能,并支持全参考扩展。
2023-12-20 cs.CV cs.MM eess.IV
AIM 2024 Challenge on Compressed Video Quality Assessment: Methods and Results
本文报告了AIM 2024压缩视频质量评估挑战赛的结果,基于459个视频和14种编解码器评估VQA方法性能,并公开数据集与基准。
2024-10-22 cs.CV cs.MM eess.IV
Convolutions Need Registers Too: HVS-Inspired Dynamic Attention for Video Quality Assessment
Texas State University(德克萨斯州立大学)
DAGR-VQA通过整合寄存器令牌到卷积主干中,实现动态注意力机制,提升视频质量评估的时空显著性预测能力。
2026-01-16 cs.CV cs.MM eess.IV
Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets Training
Peking University(北京大学);Beijing Film Academy(北京电影学院)
视频质量评价是计算机视觉中的一个重要问题。计算机视觉应用中的视频通常是在野外采集的。我们专注于自动评估在野外视频的质量,这是一个具有挑战性的问题,由于缺乏参考视频,失真的复杂性,以及视频内容的多样性。此外,现有数据集之间的视频内容和失真差异很大,这导致数据驱动方法在跨数据集评估设置中的性能较差。为了提高质量评估模型的性能,我们借用了人类感知的直觉,特别是人类视觉系统的内容依赖性和时间记忆效应。为了应对跨数据集评估的挑战,我们探索了一种混合数据集训练策略,用于训练具有多个数据集的单个VQA模型。所提出的统一框架明确地包括三个阶段:相对质量评估器,非线性映射,和特定于特定的感知尺度对齐,以联合预测相对质量,感知质量和主观质量。实验是在四个公开可用的数据集上进行的,用于野外VQA,即,LIVE-VQC、LIVE-Qualcomm、KoNViD-1k和CVD2014。实验结果验证了混合数据集训练策略的有效性,并证明了与现有模型相比,统一模型的优越性能。对于可重复的研究,我们在https://github.com/lidq92/MDTVSFA上提供了我们方法的PyTorch实现。
2020-11-15 cs.CV cs.MM eess.IV
Making Video Quality Assessment Models Sensitive to Frame Rate Distortions
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc.(谷歌公司)
我们认为捕捉的问题所产生的帧速率的变化作为视频质量评估(VQA)的一部分失真。可变帧速率(VFR)视频已经变得更加常见,并且流式视频的范围通常从每秒30帧(fps)到高达120 fps。VFR-VQA在失真类型方面以及在对具有不同帧速率的参考和失真视频进行非均匀比较方面提供了独特的挑战。目前大多数VQA模型要求比较的视频具有相同的帧速率,但无法充分考虑帧速率伪影。最近提出的广义熵差(GREED)VQA模型成功地完成了这一任务,使用自然的视频统计模型的时间带通系数的熵差,预测视频质量的变化所产生的帧速率失真提供卓越的性能。在这里,我们提出了一个简单的融合框架,从而从GREED的时间特征与现有的VQA模型相结合,提高模型对帧速率失真的敏感性。我们通过大量的实验发现,这种特征融合显着提高了HFR/VFR数据集以及固定帧速率(FFR)VQA数据库上的模型性能。我们的研究结果表明,采用有效的时间表示可以导致更强大和更准确的VQA模型时,帧速率的变化可能会发生。
2022-05-21 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库,并提出FAVOR质量评估指标,系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research(商汤科技研究院);Tetras AI
随着非专业人员拍摄的野外视频的快速增长,盲视频质量评估(VQA)已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题,但仍然不清楚人类视觉系统(HVS)如何与视频的时间质量相关。同时,最近的工作已经发现,自然视频的帧被转换到HVS的感知域,往往会形成一个直线轨迹的表示。与所获得的洞察,失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示,我们提出了一个时间感知质量指数(TPQI)来衡量时间失真描述的图形形态的表示。具体来说,我们首先提取视频感知表示从外侧膝状体核(LGN)和初级视觉区(V1)的HVS,然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明,HVS中的感知表示是预测主观时间质量的有效方法,因此TPQI可以首次实现与空间质量度量相当的性能,并且在评估具有较大时间变化的视频时更加有效。我们进一步证明,通过结合NIQE,一个空间质量度量,TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是,TPQI不需要任何额外的信息,因此可以应用于任何数据集,而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
A Deep Learning based No-reference Quality Assessment Model for UGC Videos
Shanghai Jiao Tong University(上海交通大学)
用户生成内容(UGC)视频的质量评估在确保最终用户的观看体验方面发挥着重要作用。以往的UGC视频质量评估(VQA)研究要么使用图像识别模型,要么使用图像质量评估(IQA)模型来提取UGC视频的帧级特征进行质量回归,由于这些任务与UGC VQA任务之间的域转移,因此被认为是次优解决方案。在本文中,我们提出了一个非常简单但有效的UGC VQA模型,试图通过训练一个端到端的空间特征提取网络来直接从视频帧的原始像素中学习质量感知的空间特征表示来解决这个问题。我们还提取运动特征来测量空间特征无法建模的时间相关失真。所提出的模型利用非常稀疏的帧来提取空间特征,并且利用具有非常低的空间分辨率的密集帧(即,视频块)来提取运动特征,从而具有低的计算复杂性。对于具有较好质量感知的特征,我们只使用简单的多层感知层(MLP)网络将其回归为块级质量分数,然后采用时间平均池化策略获得视频级质量分数。我们进一步引入了一种多尺度质量融合策略来解决不同空间分辨率的VQA问题,其中多尺度权重是从人类视觉系统的对比敏感度函数中获得的。实验结果表明,该模型在五个流行的UGC VQA数据库上取得了最佳性能,验证了该模型的有效性。代码将公开。
2022-10-20 cs.CV cs.MM eess.IV
High Frame Rate Video Quality Assessment using VMAF and Entropic Differences
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
具有实况、高动作内容的流视频的流行已经导致对高帧速率(HFR)视频的兴趣增加。在这项工作中,我们解决的问题时,要比较的视频具有不同的帧速率和压缩因子的帧速率相关的视频质量评估(VQA)。当前的VQA模型(如VMAF)在要比较的视频具有相同的帧速率并包含压缩、缩放等传统失真时,与感知判断具有更好的相关性。然而,当需要比较具有不同帧速率的视频时,该框架需要额外的预处理步骤,这可能会限制其整体性能。最近,广义熵差(GREED)VQA模型被提出来考虑由于帧速率的变化而产生的文物,并显示出优越的性能上的LIVE-YT-HFR数据库,其中包含帧速率相关的文物,如抖动,频闪等,在本文中,我们提出了一个简单的扩展,在VMAF和GREED的功能融合,以利用这两种模式的优势。我们通过各种实验表明,所提出的融合框架的结果更有效的预测帧速率依赖的视频质量的功能。我们还评估了标准的非HFR VQA数据库上的融合特征集,并获得了优于GREED和VMAF的性能,表明组合特征集捕获了互补的感知质量信息。
2021-09-27 cs.CV cs.MM eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Tetras AI(Tetras人工智能公司)
用户生成内容(UGC)视频的快速增长要求开发有效的视频质量评估(VQA)算法。然而,UGC-VQA问题的目标仍然是模糊的,可以从两个角度来看:技术的角度来看,测量失真的感知;和美学的角度来看,这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见,我们进行了一项大规模的主观研究,以收集人类对视频整体质量的意见,以及从美学和技术角度的看法。收集的视频质量数据库(DIVIDE-3 k)证实,人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此,我们提出了解纠缠客观视频质量评估器(DOVER)学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中,我们进一步提出了DOVER++,这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM