Subjective and Objective Quality Evaluation of Super-Resolution Enhanced Broadcast Images on a Novel SR-IQA Dataset
Hanyang University(汉阳大学)
针对低质量广播内容经超分辨率(SR)增强后在高分辨率屏幕显示的质量评估难题,构建新型SR-IQA数据集,通过主观评估获平均意见得分(MOS)并分析感知质量关键因素,评估现有IQA指标局限性,为开发更稳健的SR图像质量评估指标奠定基础。
2025-11-18 cs.CV eess.IV
Deep Quality Assessment of Compressed Videos: A Subjective and Objective Study
Fuzhou University(福州大学)
在视频编码过程中,压缩视频的感知质量通过全参考质量评估度量来评估。然而,很难获得具有完美质量的参考视频。为了解决这一问题,设计无参考压缩视频质量评估算法至关重要,该算法可以帮助测量服务器端的体验质量和网络端的资源分配。卷积神经网络(CNN)在视频质量评价中显示出了巨大的优势,近年来取得了很大的成功。大规模的质量数据库对于学习准确和强大的压缩视频质量度量非常重要。在这项工作中,采用半自动标记方法来建立一个大规模的压缩视频质量数据库,这使我们能够标记大量的压缩视频与可管理的人力工作量。由此产生的具有半自动评级(CVSAR)的压缩视频质量数据库是迄今为止最大的压缩视频质量数据库。我们训练一个无参考的压缩视频质量评估模型与三维CNN时空特征提取和评估(STFEE)。实验结果表明,该方法优于国家的最先进的指标,并取得了良好的跨数据库测试的泛化性能。CVSAR数据库和STFEE模型将公开提供,以促进可重复的研究。
2022-05-07 cs.CV eess.IV
Subjective Quality Assessment of Ground-based Camera Images
Xi’an Jiaotong-Liverpool University(西交利物浦大学);ADAPT SFI Research Centre(ADAPT SFI研究中心);University College Dublin(都柏林大学);Nanyang Technological University Singapore(新加坡南洋理工大学);National University of Singapore(新加坡国立大学)
图像质量评估对于控制和保持视觉内容的感知质量至关重要。主观和客观评估都可以使用,但是,主观图像质量评估目前被认为是最可靠的方法。在大气研究领域需要一个包含失真图像和平均意见分数的数据库,以改进目前最先进的方法。在本文中,我们专注于使用地基天空相机图像来理解大气事件。我们提出了一个新的图像质量评估数据集包含原始和扭曲的夜间图像的天空/云从SWINSEG数据库。按照国际电联的建议,在受控条件下进行了主观质量评估。主观评分的统计分析显示了噪声类型和失真水平对感知质量的影响。
2019-12-16 cs.CV eess.IV
Deep Priors for Video Quality Prediction
Indian Institute of Technology Mandi(印度理工大学曼迪分校)
本文提出一种基于深度视频先验的完全盲视频质量评估算法,利用单对视频学习先验,通过恢复能力度量失真,无需标签数据,在LCC和SROCC上优于现有无监督方法。
2024-11-05 cs.CV eess.IV
A Diffusion Model Based Quality Enhancement Method for HEVC Compressed Video
University of Chinese Academy of Sciences(中国科学院大学)
提出一种基于扩散模型的压缩视频后处理方法,通过估计特征向量作为先验信息,自适应增强不同量化参数的HEVC压缩视频质量,在混合数据集上优于现有方法。
2023-11-15 cs.CV eess.IV
RMT-BVQA: Recurrent Memory Transformer-based Blind Video Quality Assessment for Enhanced Video Content
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室);Amazon Prime Video(亚马逊Prime视频)
针对增强视频内容缺乏专用盲质量评估方法的问题,提出基于 RMT 的 RMT-BVQA,利用内容质量感知对比学习和 13K 训练块优化,在 VDPVE 上五折验证中优于十种无参考指标。
2024-10-10 cs.CV eess.IV
Banding vs. Quality: Perceptual Impact and Objective Assessment
在平坦区域中通过量化引入到视频中的阶梯状轮廓(通常称为条带化)一直是视频处理和质量评估社区中的长期问题。即使原始像素值的相对小的变化也可能导致对感知质量的强烈影响,这一事实使得条带化特别难以通过客观质量度量来检测。在本文中,我们研究如何带烦恼相比,更常见的研究缩放和压缩文物的整体感知质量。我们进一步提出了一个简单的组合VMAF和最近开发的波段指数,CAMBI,到一个波段感知的视频质量度量,显示改善相关性与整体感知质量。
2022-02-22 cs.MM eess.IV
BVI-VFI: A Video Quality Database for Video Frame Interpolation
University of Bristol(布里斯托大学);Bristol Vision Institute(布里斯托视觉研究所)
本文构建BVI-VFI视频质量数据库,通过大规模主观实验评估五种VFI算法生成内容,并基准测试33种客观质量指标,揭示VFI专用质量评估方法的必要性。
2023-10-21 cs.CV eess.IV
Spatial Perceptual Quality Aware Adaptive Volumetric Video Streaming
本文针对体积视频高带宽导致的体验质量挑战,提出视觉敏锐度模型和QoE模型,通过动态调整质量级别平衡感知质量与带宽,使整体平均QoE提升达26%。
2023-09-10 cs.MM eess.IV
A Perceptual Quality Metric for Video Frame Interpolation
Portland State University(波特兰州立大学)
视频帧内插技术的研究近年来取得了很大的进展。然而,现有的方法大多使用现成的指标来衡量插值结果的质量,除了少数方法,采用用户研究,这是耗时的。由于视频帧内插结果经常表现出独特的伪影,现有的质量度量在测量内插结果时有时与人类感知不一致。一些最近的基于深度学习的感知质量指标显示出与人类判断更一致,但它们在视频上的性能受到影响,因为它们不考虑时间信息。在本文中,我们提出了一个专门的感知质量度量测量视频帧插值结果。我们的方法直接从视频而不是单个帧中学习感知特征。该方法比较了从视频帧中提取的金字塔特征,并采用Swin Transformer基于块的时空模块提取时空信息。为了训练我们的度量,我们收集了一个新的视频帧插值质量评估数据集。我们的实验表明,我们的专用质量指标优于国家的最先进的方法时,测量视频帧插值结果。我们的代码和模型在\url{https://github.com/hqqxyy/VFIPS}上公开提供。
2022-10-04 cs.CV eess.IV
A FUNQUE Approach to the Quality Assessment of Compressed HDR Videos
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta Platforms, Inc.(Meta平台公司)
针对压缩HDR视频全参考质量评估需求,本研究提出高效的FUNQUE+模型,相比现有最优方法HDRMAX增强的VMAF,以更低计算成本实现了更高的预测精度,提供了灵活的替代方案。
2023-12-13 cs.CV eess.IV
Telepresence Video Quality Assessment
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI(脸书人工智能研究院)
由于COVID-19疫情迫使数百万人在家工作和学习,包括视频和音频内容的视频会议导致互联网流量大幅增加。视频会议的全球互联网流量急剧增加,因此,需要高效和准确的视频质量工具来监控和感知优化通过Zoom,Webex,Meet等传输的网真流量。然而,现有模型在多模态,实时流媒体网真内容的预测能力方面受到限制。在这里,我们将从几个方面解决网真视频质量评估(TVQA)的重大挑战。首先,我们通过从不同国家收集约2k个远程呈现视频来缓解主观标记数据的缺乏,在这些视频上,我们众包了约80 k个主观质量标签。使用这个新资源,我们创建了一个用于实时流媒体的首个在线视频质量预测框架,使用具有单独路径的多模态学习框架来计算视觉和音频质量预测。我们的一体化模型能够在补丁、帧、剪辑和视听级别提供准确的质量预测。我们的模型在现有的高质量数据库和我们新的TVQA数据库上都实现了最先进的性能,并且计算费用大大降低,使其成为移动和嵌入式系统的有吸引力的解决方案。
2022-07-20 cs.CV eess.IV
Modeling of Energy Consumption and Streaming Video QoE using a Crowdsourcing Dataset
在过去十年中,我们目睹了对在线视频服务需求的巨大增长。最近的研究估计,如今,全球温室气体排放量的1%以上可归因于执行在线视频任务的设备的生产和使用。因此,研究视频流传输过程中设备的真实功耗及其能效对于可持续使用该技术非常重要。与此同时,顶级提供商努力提供高质量的流媒体体验,以满足用户的期望。这里,能量消耗和QoE部分地取决于相同的系统参数。因此,需要对其进行共同评价。在本文中,我们执行的最终用户的功率效率和视频流服务的体验质量的第一次分析。我们从YouTube获取了一个由447,000个流媒体事件组成的众包数据集,并估计了功耗和感知质量。功耗建模基于以前的工作,我们扩展到预测不同设备和编解码器的功耗。使用标准化模型估计用户感知的QoE。我们的研究结果表明,智能选择的流参数可以优化QoE和功率效率的最终用户设备。此外,本文讨论了该方法的局限性,并确定了未来的研究方向。
2022-10-11 eess.IV
KVQ: Kwai Video Quality Assessment for Short-form Videos
University of Science and Technology of China(中国科学技术大学);Kuaishou Technology(快手科技);Tsinghua University(清华大学)
本文构建了首个大规模短视频质量评估数据库KVQ,并提出基于CLIP内容理解与失真理解模块的短视频质量评估器KSVQE,有效解决了短视频内容模糊和混合失真难以区分的问题。
2024-02-20 cs.CV eess.IV
Blindly Assess Quality of In-the-Wild Videos via Quality-aware Pre-training and Motion Perception
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
对野外采集的视频进行感知质量评估对于保证视频服务的质量至关重要。原始质量的参考视频的不可访问性和真实失真的复杂性对这种盲视频质量评估(BVQA)任务提出了很大的挑战。虽然基于模型的迁移学习是BVQA任务的有效和高效的范例,但探索如何以及如何桥接域转移以获得更好的视频表示仍然是一个挑战。在这项工作中,我们建议从具有真实失真的图像质量评估(IQA)数据库和具有丰富运动模式的大规模动作识别中转移知识。我们依靠这两组数据来学习特征提取器。我们训练目标VQA数据库使用混合列表排序损失函数的模型。在六个数据库上的大量实验表明,我们的方法在单个数据库和混合数据库训练设置下都具有很强的竞争力。验证了该方法各组成部分的合理性,并探索了进一步改进的简单方法。
2022-04-05 cs.CV eess.IV
Perceptual Quality Assessment of UGC Gaming Videos
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc(谷歌公司)
近年来,随着电子游戏行业的蓬勃发展,游戏视频在YouTube等主要视频网站上的比例急剧增加。然而,对游戏视频的自动质量预测的研究相对较少,特别是那些属于“用户生成内容”(UGC)类别的视频。由于目前领先的通用视频质量评估(VQA)模型在这类游戏视频上表现不佳,我们创建了一个新的VQA模型,专门用于UGC游戏视频,我们称之为游戏视频质量预测器(GAME-VQP)。GAME-VQP通过利用在修改的自然场景统计模型下设计的特征,结合卷积神经网络学习的游戏特定特征,成功预测了游戏视频的独特统计特征。我们研究了GAME-VQP在一个最近的大型UGC游戏视频数据库LIVE-YT-Gaming上的性能,发现它既优于其他主流的通用VQA模型,也优于专门为游戏视频设计的VQA模型。新模型将在论文被接受后公布。
2022-04-13 cs.CV eess.IV
Perceptual Video Quality Assessment: A Survey
Shanghai Jiao Tong University(上海交通大学)
本文综述了感知视频质量评估领域,涵盖主观与客观方法、通用及特定应用(如流媒体、UGC、VR/AR等),并比较了最新技术的性能,为研究者提供系统参考。
2024-02-05 cs.CV cs.MM eess.IV
RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google LLC(谷歌有限责任公司)
用户生成内容(UGC)的盲或无参考视频质量评估已经成为一个趋势,具有挑战性,迄今尚未解决的问题。因此,非常需要适合该内容的准确和高效的视频质量预测器,以实现对UGC视频的更智能的分析和处理。先前的研究表明,自然场景统计和深度学习特征都足以捕获空间失真,这是UGC视频质量问题的一个重要方面。然而,在实际应用中,这些模型对于预测复杂多样的UGC视频的质量是无能为力或效率低下的。在这里,我们为UGC内容介绍了一个有效和高效的视频质量模型,我们称之为快速准确的视频质量评估器(RAPIQUE),我们显示它可以执行最先进的(SOTA)模型,但运行时间更快。RAPIQUE结合并利用了质量感知场景统计特征和语义感知深度卷积特征的优势,使我们能够设计第一个通用且高效的空间和时间(时空)带通统计模型,用于视频质量建模。我们在最近的大规模UGC视频质量数据库上的实验结果表明,RAPIQUE在所有数据集上都能以相当低的计算开销提供最佳性能。我们希望这项工作能够促进和激励进一步的努力,为潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公众使用,RAPIQUE的一个实施方案已在网上免费提供:\url{https://github.com/vztu/RAPIQUE}。
2021-11-14 cs.CV cs.MM eess.IV
NTIRE 2020 Challenge on Video Quality Mapping: Methods and Results
本文回顾了NTIRE 2020视频质量映射(VQM)挑战赛,该挑战赛解决了从源视频域到目标视频域的质量映射问题。挑战包括两个基准数据集的监督跟踪(跟踪1)和弱监督跟踪(跟踪2)。特别是,轨道1提供了一个新的互联网视频基准,要求算法以监督训练的方式学习从压缩程度较高的视频到压缩程度较低的视频的映射。在轨道2中,当它们的质量变化很大并且弱对齐的视频对可用时,需要算法来学习从一个设备到另一个设备的质量映射。对于轨道1,共有7个团队参加了最终测试阶段的比赛,展示了针对问题的新颖有效的解决方案。对于轨道2,一些现有的方法进行了评估,显示有前途的解决方案,弱监督的视频质量映射问题。
2020-06-15 cs.CV cs.LG eess.IV
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research(商汤科技研究院);Tetras AI
随着非专业人员拍摄的野外视频的快速增长,盲视频质量评估(VQA)已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题,但仍然不清楚人类视觉系统(HVS)如何与视频的时间质量相关。同时,最近的工作已经发现,自然视频的帧被转换到HVS的感知域,往往会形成一个直线轨迹的表示。与所获得的洞察,失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示,我们提出了一个时间感知质量指数(TPQI)来衡量时间失真描述的图形形态的表示。具体来说,我们首先提取视频感知表示从外侧膝状体核(LGN)和初级视觉区(V1)的HVS,然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明,HVS中的感知表示是预测主观时间质量的有效方法,因此TPQI可以首次实现与空间质量度量相当的性能,并且在评估具有较大时间变化的视频时更加有效。我们进一步证明,通过结合NIQE,一个空间质量度量,TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是,TPQI不需要任何额外的信息,因此可以应用于任何数据集,而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
InternVQA: Advancing Compressed Video Quality Assessment with Distilling Large Foundation Model
University of Science and Technology of China(中国科学技术大学)
本文提出蒸馏InternVideo2的轻量级模型InternVQA,用于压缩视频质量评估,在实验中表现优异。
2025-02-26 cs.AI cs.CV eess.IV
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc.(哔哩哔哩公司)
针对现有视频质量评估模型仅提供总体评分的问题,构建了首个大规模细粒度UGC视频质量数据库FineVD,并提出FineVQ模型实现质量评级、评分与归因,达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
Towards a Video Quality Assessment based Framework for Enhancement of Laparoscopic Videos
腹腔镜视频可能会受到不同失真的影响,这可能会影响手术性能并引入手术错误。在这项工作中,我们提出了一个框架,自动检测和识别这种失真及其严重程度,使用视频质量评估。在这项工作中提出了三个主要贡献:(一)一个新的视频增强框架腹腔镜手术的建议;(二)一个公开的数据库腹腔镜视频质量评估专家以及非专家观察员和(iii)客观的视频质量评估腹腔镜视频,包括其相关性与专家和非专家分数。
2020-03-28 eess.IV
UGC-VIDEO: perceptual quality assessment of user-generated videos
近年来,互联网上的用户生成内容(UGC)视频数量不断增长。然而,UGC视频感知质量评估的进展仍然相当有限。在完整的视频制作和交付链中,UGC视频有许多突出的特点,与视频质量密切相关的一个重要属性是,在上传到托管平台后,不存在原始源,因此在最终观看之前,它们通常经过多个压缩阶段。为了方便UGC视频质量评估,我们创建了UGC视频感知质量评估数据库。它包含从TikTok收集的50个源视频,内容多样,以及通过不同量化级别和编码标准压缩生成的多个失真版本。采用主观质量评价方法对视频质量进行评价。此外,我们使用现有的质量评估算法对数据库进行基准测试,并观察到未来提高UGC视频质量测量准确性的潜在空间。
2019-09-12 cs.MM eess.IV
Large-Scale Study of Perceptual Video Quality
摄像技术、摄像机设计、压缩和处理协议以及显示器的巨大变化导致了各种各样的视频损伤。当前的无参考(NR)视频质量模型无法处理这种失真的多样性。这在一定程度上是正确的,因为可用的视频质量评估数据库包含非常有限的内容,固定的分辨率,由少数摄像师使用少量的摄像机设备捕获,并且受到适度的失真。因此,这些数据库不能充分地表示真实世界的视频,这些视频包含在高度多样化的成像条件下获得的非常不同种类的内容,并且受到不可能模拟的真实的、经常混合的失真的影响。因此,在真实世界视频数据上测试的NR视频质量预测器通常表现不佳。为了推进NR视频质量预测,我们构建了一个大规模的视频质量评估数据库,其中包含585个独特内容的视频,这些视频由大量用户捕获,具有广泛的复杂,真实的失真水平。我们通过众包收集了大量的主观视频质量评分。共有4776名独立参与者参与了这项研究,产生了超过205000个意见评分,平均每个视频记录了240个人类意见。我们展示了新资源的价值,我们称之为实时视频质量挑战数据库(LIVE-VQC),通过比较领先的NR视频质量预测器,这项研究是有史以来最大的视频质量评估研究,沿着几个关键维度进行:独特内容的数量,捕获设备,失真类型和失真的组合,研究参与者和记录的主观分数。该数据库可从以下链接下载:http://live.ece.utexas.edu/research/LIVEVQC/index.html…
2018-11-04 eess.IV
Energy-Rate-Quality Tradeoffs of State-of-the-Art Video Codecs
新型冠状病毒疫情加速了视频会议和视像通信服务的采用,推动了视频数据流量的快速增长。对更高分辨率和质量的需求、对沉浸式视频格式的需求以及最新、更复杂的视频编解码器增加了数据中心和显示设备的能耗。在本文中,我们探索并比较了经过优化的最先进的视频编解码器SVT-AV 1、VVenC/VVdeC、VP 9和x.265的能耗。此外,我们将能量使用与各种客观质量指标和不同分辨率的一组视频序列的压缩性能相一致。结果表明,从测试的编解码器和配置,SVT-AV 1提供了最好的折衷之间的能源消耗和质量。报告的结果旨在作为可持续视频流的指南,同时不影响最终用户的体验质量。
2022-10-02 eess.IV
VDPVE: VQA Dataset for Perceptual Video Enhancement
近年来,人们提出了许多视频增强方法,从颜色、亮度、对比度、稳定性等不同方面来提高视频质量。因此,如何以符合人类视觉感知的方式评估增强后的视频质量是一个重要的研究课题。然而,大多数视频质量评估方法主要通过从整体角度估计视频的失真程度来计算视频质量。很少有研究者专门提出一种视频质量评估方法来进行视频增强,也没有公开的全面的视频质量评估数据集。因此,本文构建了一个用于感知视频增强(VDPVE)的视频质量评估数据集。VDPVE有1211个不同增强的视频,可以分为三个子数据集:第一个子数据集有600个颜色,亮度和对比度增强的视频;第二子数据集有310个去模糊的视频;第三个子数据集有301个去抖动的视频。我们邀请了21名受试者(20名有效受试者)对VDPVE中的所有增强视频进行评分。在归一化和平均的主观意见得分,平均意见得分的每一个视频可以得到。此外,我们分裂成一个训练集,一个验证集,和一个测试集的VDPVE,并验证了几个国家的最先进的视频质量评估方法的性能测试集的VDPVE。
2023-03-16 eess.IV
Quality assessment methods for perceptual video compression
本文描述了一种感知视频压缩应用(PVM)的质量评估模型,它刺激视觉掩蔽和失真伪影感知使用的自适应组合明显的失真和模糊伪影。该方法显示出基于VQEG数据库的现有质量度量的显著改进,并且由于其延迟和复杂性属性而为下一代视频编解码器提供与环路内速率-质量优化的兼容性。针对一系列不同的失真类型进行了性能比较验证。
2021-06-15 eess.IV
3D Video Quality Metric for 3D Video Compression
随着多视图显示技术的发展,裸眼3DTV越来越接近现实,MPEG和VCEG正在准备对HEVC进行扩展,以编码多视图视频内容。当前版本的3D视频编解码器中的视图合成使用PSNR作为质量度量测量来执行。在本文中,我们提出了一个完整的参考人类视觉系统为基础的3D视频质量度量用于多视图编码作为替代PSNR。我们的指标的性能进行了测试,在2视图的情况下。在编码器侧评估由解码视图和合成视图形成的压缩立体声对的质量。通过一系列主观测试验证了该算法的性能,并与PSNR、SSIM、MS-SSIM、VIFp和VQM等指标进行了比较。实验结果表明,我们的3D质量指标与其他测试指标相比,与平均意见得分(MOS)的相关性最高。
2018-03-13 eess.IV
Saliency Inspired Quality Assessment of Stereoscopic 3D Video
为了研究人类视觉系统(HVS)对3D内容的视觉注意行为,进行了眼动实验并设计了视觉注意模型(VAM)。这些VAM的主要应用之一是3D视频的质量评估。2D VAM在设计2D质量度量中的使用已经被很好地探索。本文研究了将3D VAM纳入立体3D视频的全参考(FR)和无参考(NR)质量评估指标的附加值。为此,将最先进的3D VAM集成到各种现有FR和NR立体视频质量度量的质量评估流水线中。使用具有各种类型的失真的立体视频的大规模数据库的性能评估表明,使用显着图通常提高立体视频的质量评估任务的性能。然而,取决于失真的类型、使用的度量和VAM,改进的量将改变。
2018-03-12 eess.IV
Comparing H.265/HEVC and VP9: Impact of High Frame Rates on the Perceptual Quality of Compressed Videos
已知高帧速率可以增强特定视频内容的感知视觉质量。然而,缺乏对高帧速率的研究限制了该研究领域的扩展,特别是在全高清(FHD)和4K超高清视频格式的背景下。这项研究涉及到压缩FHD视频的主观和客观质量评估。首先,我们通过采用高效视频编码和VP 9在五个量化参数级别上对多个帧速率压缩FHD视频,即,15 fps、30 fps和60 fps。FHD视频从高帧率视频数据库BVI-HFR获得,跨越各种场景、颜色和运动,并且被示出为BBC广播内容的代表。其次,进行编码器和各个帧速率的压缩视频的详细的主观质量评估,从而以反映体验质量的差分平均意见得分的形式得到主观测量。特别是,其目的是调查压缩的感知质量的压缩FHD视频的影响,并比较两种编码器的性能为每个帧速率。最后,11个国家的最先进的客观质量评估指标的基准使用的主观测量,调查的相关性作为两个模型之间的相关系数的统计评价。在广泛的调查后,提出了一种增强全参考(FR)视频质量测量(VQM)的质量估计的建议。
2020-06-04 eess.IV
Perceptual Video Quality Prediction Emphasizing Chroma Distortions
测量由人类观察者观看的数字视频的质量已经成为许多多媒体应用(诸如自适应视频流传输、质量监控和其他数字TV应用)中的常见实践。在这里,我们探索一个重要的,但相对未探索的问题:测量视频的感知质量所产生的亮度和色度失真压缩。为了研究这个问题,重要的是要了解出现的色度失真的种类,它们如何与亮度压缩失真相关,以及它们如何影响感知质量。我们设计并进行了一个主观实验,以衡量主观视频质量的亮度和色度失真,介绍了在隔离以及在一起。具体地,新的主观数据集包括受由与不同量的色度量化混合的变化的亮度量化水平引起的失真影响的总共$210$视频。主观评分由$34$受试者在受控环境中进行评价。使用新收集的主观数据,我们能够证明现有视频质量模型的重要缺点,特别是在色度失真方面。此外,我们设计了一个客观的视频质量模型,建立在现有的视频质量算法,通过考虑的保真度的色度通道的原则性的方式。我们还发现,这种质量分析意味着,通过创造性地增加色度通道上的压缩因子,现代视频编解码器中存在降低比特率消耗的空间。我们相信,这项工作将鼓励在这一方向上的进一步研究,以及在现代视频编码器中联合优化亮度和色度压缩的最终目标上取得进展。
2020-09-24 eess.IV
No-Reference Video Quality Assessment Using Space-Time Chips
提出了一种基于视频空时片自然统计特性的无参考视频质量评估模型。空时码片(ST-码片)是一种新的,质量感知的特征空间,我们定义为时空本地化的削减视频数据的方向,由本地运动流。我们使用参数化分布适合的带通直方图的空时芯片的质量来表征,并表明,这些模型的参数受失真,因此可以用来客观地预测视频的质量。我们的原型方法,我们称之为ChipQA-0,对影响视频的失真类型是不可知的,并且基于识别和量化与自然的未失真ST芯片的预期统计数据的偏差,以预测视频质量。我们训练和测试我们得到的模型在几个大型VQA数据库,并表明我们的模型实现了高相关性对人类的视频质量的判断,并具有竞争力的国家的最先进的模型。
2020-08-23 eess.IV
Assessment of Subjective and Objective Quality of Live Streaming Sports Videos
视频直播流在视频流服务中越来越流行,特别是对于流行体育赛事的交付。已经开发了许多客观视频质量评估(VQA)模型来预测视频的感知质量。适当的数据库,消除在直播流媒体视频中遇到的失真是很重要的设计和学习客观的VQA模型。为了在这方面取得进展,我们建立了一个专门为直播VQA研究设计的视频质量数据库。新的视频数据库被称为图像和视频工程实验室(LIVE)实时流数据库。LIVE直播数据库包括45个内容的315个视频,受到6种失真的影响。我们还使用新数据库进行了主观质量研究,从40名受试者中收集了12,000多份人类意见。我们证明了新资源的有用性,通过执行一个整体的性能评估,目前国家的最先进的(SOTA)VQA模型。LIVE Livestream数据库将在https://live.ece.utexas.edu/research/LIVE_APV_Study/apv_index.html上公开提供。
2021-06-15 eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Tetras AI(Tetras人工智能公司)
用户生成内容(UGC)视频的快速增长要求开发有效的视频质量评估(VQA)算法。然而,UGC-VQA问题的目标仍然是模糊的,可以从两个角度来看:技术的角度来看,测量失真的感知;和美学的角度来看,这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见,我们进行了一项大规模的主观研究,以收集人类对视频整体质量的意见,以及从美学和技术角度的看法。收集的视频质量数据库(DIVIDE-3 k)证实,人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此,我们提出了解纠缠客观视频质量评估器(DOVER)学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中,我们进一步提出了DOVER++,这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
A Subjective and Objective Study of Space-Time Subsampled Video Quality
视频尺寸不断增加,为全球流媒体和社交媒体观众提供更逼真和身临其境的体验。然而,诸如空间分辨率和帧速率之类的视频参数的增加不可避免地与更大的数据量相关联。通过有限的带宽网络以感知最佳的方式传输越来越多的视频是影响数十亿观众的当前挑战。视频服务提供商最近采用的一种实践是结合视频压缩的时空分辨率自适应。因此,重要的是要了解不同级别的时空子采样和压缩如何影响视频的感知质量。为了在这个方向取得进展,我们构建了一个大型的新资源,称为ETRI-LIVE时空子采样视频质量(ETRI-LIVE STSVQ)数据库,包含通过对15个不同的视频内容应用各种级别的组合时空子采样和视频压缩生成的437个视频。我们还对新数据集进行了大规模的人类研究,收集了约15,000个对视频质量的主观判断。我们提供了一个率失真分析所收集的主观分数,使我们能够调查在不同的比特率的空间-时间子采样的感知影响。我们还评估和比较了领先的视频质量模型在新数据库上的性能。
2021-01-29 eess.IV
Evaluating the Performance of Existing Full-Reference Quality Metrics on High Dynamic Range (HDR) Video Content
虽然存在各种各样的低动态范围(LDR)质量度量,但是只有有限数量的度量是专门为高动态范围(HDR)内容设计的。随着国际标准化机构对HDR视频压缩标准化努力的引入,对用于HDR应用的有效视频质量度量的需要变得更加明显。本研究的目的是比较现有的全参考LDR和HDR视频质量指标对HDR内容的性能,并确定最有效的HDR应用程序。为此,创建新的HDR视频数据集,其由具有不同亮度、运动水平和不同表示类型的失真的代表性室内和室外视频序列组成。该数据集中每个失真视频的质量都是主观和客观评估的。主观和客观结果之间的相关性证实,VIF质量度量优于所有其他测试的度量中存在的测试类型的失真。
2018-03-13 eess.IV
Effect of High Frame Rates on 3D Video Quality of Experience
在本文中,我们研究了增加帧速率的3D视频对观众体验质量的影响。我们进行了一系列的主观测试,以寻求在四个不同的帧速率:24,30,48和60帧每秒(fps)的同一场景的视频之间的主题的喜好。结果显示,受试者显然更喜欢更高的帧速率。特别是,与60 fps 3D视频相关的平均意见评分(MOS)值比24 fps 3D视频的MOS值大55%。
2018-03-13 eess.IV
LSTM-based Video Quality Prediction Accounting for Temporal Distortions in Videoconferencing Calls
Microsoft Corp.(微软公司)
当前最先进的视频质量模型,如VMAF,通过将劣化视频与其参考视频进行比较,给出了出色的预测结果。然而,它们不考虑时间失真(例如,帧冻结或跳过)。在本文中,我们提出了一种数据驱动的方法,通过训练具有通过众包标记的主观质量评级的LSTM来自动对这种失真进行建模。这些视频是从83种不同网络条件下的实时视频会议电话中收集的。我们应用QR码作为源视频上的标记,以创建对齐的参考并基于对齐向量计算时间特征。使用这些功能与VMAF核心功能一起,我们提出的模型在验证集上实现了0.99的PCC。此外,我们的模型输出每帧质量,详细了解视频质量受损的原因。VCM模型和数据集在https://github.com/microsoft/Video_Call_MOS上开源。
2023-03-22 cs.LG eess.IV
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的,即,它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好,但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡,Netflix开发了视频多方法评估融合(VMAF)框架,该框架集成了多个质量感知功能来预测视频质量。然而,这种融合框架并没有充分利用时间视频质量测量,这是相关的时间视频失真。为此,我们提出了两个改进的VMAF框架:时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征,这些特征被馈送到单个或多个回归模型中。为了训练我们的模型,我们设计了一个大型的主观数据库,并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
On Evaluating Perceptual Quality of Online User-Generated Videos
本文讨论的问题的感知质量评价的用户生成的视频在线共享,这是一个重要的一步,设计视频共享服务,最大限度地提高用户的满意度在质量方面。我们首先分析观众的质量感知模式,应用图形分析技术的主观评级数据。然后,我们检查现有的国家的最先进的客观指标的用户生成的视频的质量估计的性能。此外,我们调查的可行性元数据伴随着视频在线视频共享服务的质量估计。最后,讨论了在线用户生成视频质量评估中的各种问题,包括困难和机遇。
2018-09-14 cs.MM eess.IV
Deep Local and Global Spatiotemporal Feature Aggregation for Blind Video Quality Assessment
近年来,深度学习在多媒体质量评估,特别是图像质量评估(IQA)方面取得了巨大的成功。然而,由于视频中存在更复杂的时间特性,因此通过利用强大的深度卷积神经网络(DCNN)对视频质量评估(VQA)进行的工作很少。在本文中,我们提出了一种高效的VQA方法,称为深度时空视频质量评估器(DeepSTQ),以无参考的方式预测各种失真视频的感知质量。在提出的DeepSTQ中,我们首先通过预训练的深度学习模型提取局部和全局时空特征,而无需从头开始进行微调或训练。合成的特征考虑了失真的视频帧以及来自全局和局部视图的帧差异图。然后,通过回归模型进行特征聚合以预测感知视频质量。最后,实验结果表明,我们提出的DeepSTQ优于最先进的质量评估算法。
2020-09-07 cs.MM eess.IV
User-generated Video Quality Assessment: A Subjective and Objective Study
最近,我们观察到用户生成内容(UGC)视频呈指数级增长。UGC视频的独特性源于视频制作和交付链,因为它们通常由非专业用户获取和处理,然后上传到托管平台进行分享。因此,这些视频通常在最终被观看之前经历可能影响视觉质量的多个失真阶段。受视频编码和处理的优化应完全由感知质量驱动的共识的启发,本文提出从客观和主观两个角度研究UGC视频的质量。我们首先建立了一个UGC视频质量评估(VQA)数据库,旨在为托管平台中的UGC视频编码和处理提供有用的指导。该数据库包含上传到平台的源UGC视频及其最终由最终用户欣赏的转码版本,以及他们的主观评分。此外,我们开发了一个客观的质量评估算法,自动评估质量的转码视频的基础上损坏的参考,这是根据UGC视频共享在托管平台的应用场景。来自损坏的参考的信息被很好地利用,并且质量基于利用深度神经网络(DNN)推断的质量图来预测。实验结果表明,该方法具有优越的性能。对UGC视频的主观和客观评价也为感知UGC视频编码的设计提供了启示。
2020-05-18 cs.MM eess.IV