Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务,但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析,提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能(吞吐量)和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制,而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要,这不能通过其他客观指标(如PSNR、SSIM和缓冲区欠载或暂停频率)进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试,使用一系列的视频剪辑。它表明,暂停强度是密切相关的观众的意见分数,无论有很大的不同组成的个别元素,如暂停持续时间和暂停频率,共同构成这个新的质量指标。研究还表明,停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
Evaluation of No Reference Bitstream-based Video Quality Assessment Methods
在过去的几年中,已经提出了许多不同的视频质量评估的参数模型。本文介绍了一个审查最近的九个模型,涵盖了广泛的方法,并已被验证用于估计视频质量,由于不同的退化因素。每个模型都简要介绍了关键算法和相关的参数公式。每个模型的泛化能力,以估计在实际应用场景中的视频质量进行评估,并与其他模型进行比较,使用从实际应用中的视频序列创建的数据集。这些视频序列涵盖了广泛的可能的现实编码参数,通过主观测试的平均意见分数(MOS)标记。指出了各模型的优缺点。最后,对一个更一般的参数模型,可以适用于更广泛的应用程序的未来工作进行了讨论。
2017-06-30 cs.MM
CompressedVQA-AEV: Full-Reference and No-Reference Quality Assessment Models for Asymmetric Encoded Videos
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对非对称编码视频质量评估任务,分别基于Swin-B、SigLIP2构建FR和NR评估模型,在QoMEX 2026竞赛FR赛道获第一、NR赛道获第四,性能优异。
2026-07-07 cs.CV cs.MM eess.IV
Reduced-Reference Quality Assessment of Point Clouds via Content-Oriented Saliency Projection
University of Waterloo(滑铁卢大学);Shenzhen University(深圳大学);Beijing Institute of Technology(北京理工大学);Cardiff University(卡迪夫大学)
本文提出 RR-CAP 点云部分参考质量度量,利用下采样显著性投影减少参考数据传输,并结合内容相似性与统计相关性,在 SJTU-PCQA 和 WPC 上取得优于同类方法的效果。
2023-01-18 cs.CV cs.MM
No-Reference Light Field Image Quality Assessment Based on Micro-Lens Image
光场图像质量评价对光场图像内容的获取、处理和应用具有重要的指导意义。LF可以表示为4-D信号,其质量取决于角度一致性和空间质量。然而,很少有现有的LF-IQA方法集中在角度不一致性所造成的影响。特别是无参考方法缺乏对二维角度信息的有效利用。在本文中,我们专注于测量二维角一致性LF-IQA。微透镜图像(MLI)是指LF图像的角度域,可以同时记录水平和垂直两个方向的角度信息。由于MLI包含二维角度信息,我们提出了一种基于MLI的无参考光场图像质量评价模型(LF-QMLI)。具体来说,我们首先利用全局熵分布(GED)和均匀局部二进制模式描述符(ULBP)从MLI中提取特征,然后将它们集中在一起来测量角度一致性。此外,采用子孔径图像的信息熵(SAI)来度量空间质量。大量的实验结果表明,LF-QMLI达到了最先进的性能。
2019-08-27 cs.MM eess.IV
Predictive Sampling for Efficient Pairwise Subjective Image Quality Assessment
本文提出PS-PC预测采样方法,利用机器学习预测并选择信息量最大的成对比较,减少主观图像质量评估中的比较次数,实验证明其性能优于现有采样算法。
2023-11-07 cs.MM
Full-reference Point Cloud Quality Assessment Using Spectral Graph Wavelets
University of Southern California(南加州大学);KDDI Research, Inc.(KDDI研究所)
针对点云处理中的质量退化问题,提出利用谱图小波比较坐标与颜色系数,并结合传统指标经支持向量回归融合的全参考PCQA方法,提升了与主观评分的相关性。
2024-06-14 cs.CV cs.MM eess.SP
NeRF-NQA: No-Reference Quality Assessment for Scenes Generated by NeRF and Neural View Synthesis Methods
the University of Sydney(悉尼大学);the University of Cambridge(剑桥大学);Beijing Technology and Business University(北京工商大学);Shandong University(山东大学)
针对现有质量评估方法不适配神经视图合成场景、密集真实视角缺失导致全参考评估难的问题,提出首个无参考评估方法NeRF-NQA,通过逐视角+逐点的联合策略评估,性能显著优于23种主流方法。
2024-12-11 cs.AI cs.CV cs.HC
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的,即,它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好,但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡,Netflix开发了视频多方法评估融合(VMAF)框架,该框架集成了多个质量感知功能来预测视频质量。然而,这种融合框架并没有充分利用时间视频质量测量,这是相关的时间视频失真。为此,我们提出了两个改进的VMAF框架:时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征,这些特征被馈送到单个或多个回归模型中。为了训练我们的模型,我们设计了一个大型的主观数据库,并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一个基于深度学习的视频质量评估(VQA)框架来评估压缩用户生成内容(UGC)视频的质量。VQA框架由三个模块组成:特征提取模块、质量回归模块和质量池模块。对于特征提取模块,我们将卷积神经网络(CNN)网络中间层的特征融合到最终的质量感知特征表示中,使模型能够充分利用从低级到高级的视觉信息。具体地说,从所有中间层提取的特征图的结构和纹理相似度计算作为全参考(FR)VQA模型的特征表示,并计算由中间特征图融合的最终特征图的全局均值和标准差作为无参考(NR)VQA模型的特征表示。对于质量回归模块,我们使用全连接(FC)层将质量感知功能回归到帧级分数。最后,一个主观启发的时间池策略,采用池的帧级分数到视频级分数。该模型在压缩的UGC VQA数据库上实现了最好的性能,并且在野生UGC VQA数据库上也实现了相当好的性能。
2021-06-02 cs.CV cs.MM eess.IV
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features"
在Neural Processing Letters 50,3(2019)中,提出了一种用于盲视频质量评估的机器学习方法。它基于视频帧特征的时间池化,这些特征取自深度卷积神经网络的最后一个池化层。该方法在两个已建立的基准数据集上进行了验证,结果远远优于以前的最先进的。在这封信中,我们报告了我们仔细重新实现的结果。性能结果,声称在文件中,不能达到,甚至低于国家的最先进的大幅度。我们表明,最初报告的错误的性能结果是两种情况下的数据泄漏的后果。来自训练数据集外部的信息用于微调阶段和模型评估。
2020-05-09 cs.CV cs.LG cs.MM
PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
提出PAME自监督掩码自编码器框架,通过双分支重建学习内容与失真特征,提升无参考点云质量评估的准确性和跨数据集泛化能力。
2024-03-15 cs.CV cs.MM
Deviation Based Pooling Strategies For Full Reference Image Quality Assessment
École de Technologie Supérieure(高等技术学院)
感知图像质量评估(IQA)的最新池化策略是基于均值和加权均值。它们是强大的池化策略,通常为不同的IQAs提供中等到高的性能。最近,还提出了标准差(SD)合并。尽管这种偏差池为少数IQAs提供了非常高的性能,但其性能低于许多其他IQAs的平均池。在本文中,我们建议使用平均绝对偏差(MAD),并表明它是一个更强大和更准确的汇集策略,为更广泛的IQAs。事实上,MAD合并具有均值合并和SD合并的优点。本文还考虑了MAD和SD池化策略的联合计算和使用。实验结果为不同的IQA模型选择合适的偏差池策略提供了有用的信息。
2015-05-06 cs.CV cs.MM
Tensor Oriented No-Reference Light Field Image Quality Assessment
University of Science and Technology of China(中国科学技术大学);Nanjing University of Information Science and Technology(南京信息工程大学)
光场图像(LFI)质量评估越来越重要,有助于更好地指导沉浸式媒体的获取、处理和应用。然而,由于LFI固有的高维特性,LFI质量评估变成了一个多维问题,需要考虑空间和角度维度上的质量退化。因此,我们提出了一种新的面向张量的无参考光场图像质量评价(Tensor-NLFQ)的张量理论的基础上。具体地说,由于LFI被视为一个低秩的4D张量,四个定向子孔径视图堆栈的主成分通过塔克分解获得。然后,主成分空间特征(PCSC)的设计,以衡量空间维质量的LFI考虑其整体的自然性和局部频率特性。最后,通过分析第一主成分与视图栈中各视图之间的结构相似性分布,提出了张量角度变化指数(TAVI)来度量角度一致性质量。在四个公开的LFI质量数据库上的大量实验结果表明,所提出的Tensor-NLFQ模型优于最先进的2D,3D,多视图和LFI质量评估算法。
2022-02-18 cs.CV cs.MM eess.IV
Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling
University of Waterloo(滑铁卢大学);Tencent MediaLab(腾讯媒体实验室);Ningbo University(宁波大学);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
三维点云的客观质量评估是开发沉浸式多媒体系统在现实世界中的应用必不可少的。尽管2D图像和视频的感知质量评估取得了成功,但对于具有大规模不规则分布的3D点的3D点云,盲/无参考度量仍然很少。因此,在本文中,我们提出了一个客观的点云质量指数与结构引导呼吸(SGR)自动评估三维密集点云的感知视觉质量。SGR是一种通用的盲质量评估方法,无需任何参考信息的帮助。具体来说,考虑到人类视觉系统(HVS)是高度敏感的结构信息,我们首先利用点云的唯一的法向量执行区域预处理,其中包括关键点检索和局部区域的建设。然后,我们提取了三组与质量相关的特征,包括:1)几何密度特征; 2)颜色自然度特征; 3)角度一致性特征。人类大脑的认知特性和自然规律都涉及到设计的质量感知功能,可以捕捉扭曲的3D点云的最重要方面。在几个公开的主观点云质量数据库上进行的大量实验验证了我们提出的SGR可以与最先进的全参考,减少参考和无参考质量评估算法竞争。
2022-08-31 cs.CV cs.MM
No Reference Stereoscopic Video Quality Assessment Using Joint Motion and Depth Statistics
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们提出了一个无参考(NR)的质量评估算法评估自然立体3D(S3D)视频的感知质量。这项工作的灵感来自于我们的发现,自然S3D视频的运动(光流或运动矢量幅度)和深度(视差图)的子带系数的联合统计具有独特的签名。具体来说,我们经验表明,联合统计的运动和深度子带系数的S3D视频帧可以准确地使用双变量广义高斯分布(BGGD)建模。然后,我们证明了BGGD模型的参数具有辨别S3D视频中的质量变化的能力。因此,采用BGGD模型参数作为运动和深度质量特征。除了这些功能,我们依赖于帧级的空间质量特征,使用一个强大的现成的NR图像质量评估(IQA)算法计算。这些帧级运动、深度和空间特征被合并并与对应的S3D视频的差异平均意见得分(DMOS)标签一起用于使用支持向量回归(SVR)的监督学习。S3 D视频的总体质量是通过对组成视频帧的帧级质量预测求平均值来计算的。所提出的算法,被称为视频质量评估使用运动和深度统计(VQUEMODES)的最先进的方法进行评估时,IRCCYN和LFOVIA S3D主观质量评估数据库。
2017-11-15 cs.CV cs.MM
Multi-task deep CNN model for no-reference image quality assessment on smartphone camera photos
National Taiwan University(国立台湾大学)
智能手机是当今移动社交网络时代最成功的消费电子产品。智能手机的摄像头质量及其图像后处理能力是影响消费者购买决策的主要因素。然而,从智能手机拍摄的照片的质量评估仍然是一项劳动密集型工作,依赖于专业摄影师和专家。作为先前基于CNN的NR-IQA方法的扩展,我们提出了一种多任务深度CNN模型,场景类型检测作为辅助任务。通过卷积层中的共享模型参数,学习的特征图可以变得更加场景相关并提高性能。评估结果表明,改进的SROCC性能相比,传统的NR-IQA方法和单任务基于CNN的模型。
2020-08-27 cs.CV cs.MM
GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network
Shanghai Jiao Tong University(上海交通大学);Tencent Media Lab(腾讯媒体实验室)
针对无参考点云质量评估中预处理引入失真、特征表达不足及几何不变性欠缺的问题,提出GPA-Net,通过GPAConv、多任务学习和坐标归一化实现最优评估性能。
2023-06-01 cs.CV cs.MM
No-Reference Quality Assessment for 360-degree Images by Analysis of Multi-frequency Information and Local-global Naturalness
University of Science and Technology of China(中国科学技术大学);Ningbo University(宁波大学)
随着虚拟现实(VR)应用的日益广泛,360度/全方位图像(OIs)得到了广泛的关注。与传统的2D图像相比,OI可以为消费者提供更身临其境的体验,受益于更高的分辨率和丰富的视野(FoV)。此外,观察OI通常在没有参考的盔装显示器(HMD)中。因此,迫切需要一种高效的、专门针对360度图像的盲质量评估方法。针对人类视觉系统(HVS)的特性和VR视觉内容的观看过程,提出了一种基于多频信息和局部-全局自然度(MFILGN)的无参考全方位图像质量评价(NR OIQA)算法。具体来说,受视觉皮层的频率依赖性的启发,我们首先将投影的等矩形投影(ERP)图分解成小波子带。然后,利用低频和高频子带的熵强度来度量OI的多频信息。此外,除了考虑ERP地图的整体自然度,由于浏览的FoVs,我们提取自然场景的统计特征,从每个视口图像作为衡量局部自然度。在多频信息测度和局部-全局自然度测度的基础上,利用支持向量回归作为最终的图像质量回归量,对质量评价模型进行训练,从视觉质量相关特征到人的评价。据我们所知,该模型是第一个无参考的360度图像质量评估方法,结合了多频信息和图像自然度。两个公开的OIQA数据库上的实验结果表明,我们提出的MFILGN优于国家的最先进的方法。
2021-02-22 cs.CG cs.CV cs.MM
GANs-NQM: A Generative Adversarial Networks based No Reference Quality Assessment Metric for RGB-D Synthesized Views
University of Nantes(南特大学);Tencent(腾讯)
本文提出了一种基于生成对抗网络(GANs)的RGB+图像深度(RGB-D)合成图像的无参考(NR)质量度量,即GANs-NQM。由于在RGB-D合成过程中对未遮挡区域的修复失败,捕获非均匀分布的局部失真并了解其对感知质量的影响是客观质量度量的挑战性任务。在我们的研究中,基于GANs的特点,我们提出了i)一种新的GANs训练策略,用于使用现有的大规模计算机视觉数据集而不是RGB-D数据集进行RGB-D合成图像; ii)一种基于训练后的图像的无参考质量度量,通过学习“失真词袋”(BDW)码本和局部失真区域选择器; iii)一种孔洞填充inpainter,即,训练的GANs的生成器,用于RGB-D非遮挡区域作为副结果。在IRCCyN/IVC DIBR数据库上的实验结果表明,该模型在性能上优于现有的质量度量标准,并且更适用于实际场景。相应的上下文inpainter也显示出比其他修复算法有吸引力的结果。
2019-03-28 cs.CV cs.MM
No-Reference Light Field Image Quality Assessment Based on Spatial-Angular Measurement
University of Science and Technology of China(中国科学技术大学);Nanjing University of Information Science and Technology(南京信息工程大学)
光场图像质量评价(LFI-QA)是一个重要且具有挑战性的研究课题。有助于更好地指导光场采集、处理和应用。然而,只有少数的客观模型已经提出,他们都没有完全考虑影响LFI质量的内在因素。在本文中,我们提出了一个无参考光场图像质量评估(NR-LFQA)计划,其主要思想是量化LFI质量下降,通过评估的空间质量和角度一致性。我们首先通过捕捉人类观察LFI时形成的光场循环图像阵列的自然度分布来测量空间质量劣化。然后,作为LFI的变换表示,对极平面图像(EPI)包含线的斜率和涉及的角度信息。因此,利用EPI从LFI中提取全局和局部特征来衡量角度一致性退化。具体而言,EPI的梯度方向图的分布被提出来衡量在LFI的全局角度一致性失真。我们进一步提出加权局部二值模式来捕捉局部角一致性退化的特征。在四个公开的LFI质量数据集上的大量实验结果表明,该方法优于最先进的2D,3D,多视图和LFI质量评估算法。
2022-02-18 cs.CG cs.CV cs.MM
Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment
Institute of Physics and Technology, Petrozavodsk State University(彼得罗扎沃茨克国立大学物理技术学院)
提出基于局部SVD熵的HSVD图作为IQA补充结构表示,与SSIM结合提升全参考(SRCC 0.618→0.659)和无参考(0.528→0.575)性能,且无需原始参考。
2026-09-24 cs.CV cs.MM eess.IV
Spatial Attention-based Non-reference Perceptual Quality Prediction Network for Omnidirectional Images
Beihang University(北京航空航天大学)
由于视觉注意和感知质量之间的强相关性,许多方法试图使用人类显著性信息来进行图像质量评估。虽然这种机制可以获得良好的性能,但网络需要人类显著性标签,这对于全向图像(ODI)来说并不容易获得。为了缓解这个问题,我们提出了一个基于空间注意力的感知质量预测网络ODI(SAP网)的非参考质量评估。为了驱动SAP网络,我们建立了一个大规模的ODI IQA数据集(IQA-ODI),该数据集由200名受试者对1,080个ODI的主观评分组成。在IQA-ODI中,有120个高质量的ODI作为参考,960个ODI在JPEG压缩和地图投影中都有损伤。在没有任何人类显著性标签的情况下,我们的网络可以通过自我注意的方式自适应地估计受损ODI上的人类感知质量,这显著地提高了质量分数的预测性能。此外,我们的方法大大降低了计算复杂性的质量评估任务上的ODI。大量的实验验证了我们的网络优于9个国家的最先进的方法对ODI的质量评估。数据集和代码已在\url{ https://github.com/yanglixiaoshen/SAP-Net}上提供。
2021-03-10 cs.CV cs.MM eess.IV
End-to-end deep multi-score model for No-reference stereoscopic image quality assessment
CNRS(法国国家科学研究中心);INSA Lyon(里昂国立应用科学学院)
最近,基于深度学习的质量指标在图像质量评估(IQA)方面有了显着的改进。在立体视觉领域中,信息是均匀分布的,对于左眼和右眼具有轻微的视差。然而,由于不对称失真,左图像和右图像的客观质量评级将不同,需要学习每个视图的唯一质量指标。与现有的立体IQA措施,主要集中在估计一个全球性的人类得分,我们建议将左,右,和立体客观分数提取每个视图的相应属性,等等估计立体图像质量没有参考。因此,我们使用深度多分数卷积神经网络(CNN)。我们的模型已经被训练来执行四个任务:首先,预测左视图的质量。第二,预测左视图的质量。第三和第四,分别预测立体视图的质量和全局质量,其中全局得分作为最终质量。在Waterloo IVC 3D Phase 1和Phase 2数据库上进行实验。所得到的结果显示了我们的方法的优越性时,与那些国家的最先进的。实现代码可以找到:https://github.com/o-messai/multi-score-SIQA
2022-11-02 cs.CV cs.LG cs.MM
Activating Frequency and ViT for 3D Point Cloud Quality Assessment without Reference
Mines Saint-Etienne, Univ Lyon, CNRS(法国国立圣埃蒂安矿业学院、里昂大学、法国国家科学研究中心)
针对压缩三维点云的无参考质量评估问题,提出融合频率幅值并结合 DCN 与 ViT 的轻量级混合模型,在多个数据集上取得优于现有 NR-PCQA 及部分 FR-PCQA 方法的性能。
2023-12-10 cs.CV cs.LG cs.MM