Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本研究针对现有通用VQA模型不适配曝光校正效果评估的问题，扩展构建VEC-QA数据集，提出带视觉-语言引导与HVS模块的Light-VQA+模型，在多个数据集上性能超越现有SOTA VQA模型。
2024-05-14 cs.CV
MRET: Multi-resolution Transformer for Video Quality Assessment
Google Research（谷歌研究院）；Google（谷歌）
用户生成内容（UGC）的无参考视频质量评估（NR-VQA）对于理解和改善视觉体验至关重要。与视频识别任务不同，VQA任务对输入分辨率的变化很敏感。由于现在大量的UGC视频都是720 p或更高，传统NR-VQA方法中使用的固定且相对较小的输入导致许多视频丢失高频细节。在本文中，我们提出了一种新的基于transformer的NR-VQA框架，保留了高分辨率的质量信息。通过多分辨率输入表示和一种新的多分辨率补丁采样机制，我们的方法可以全面地查看全局视频组成和局部高分辨率细节。所提出的方法可以有效地聚合质量信息在不同粒度的空间和时间维度，使模型的鲁棒性输入分辨率的变化。我们的方法在大规模UGC VQA数据集LSVQ和LSVQ-1080 p以及KoNViD-1 k和LIVE-VQC上实现了最先进的性能，无需微调。
2023-03-29 cs.CV
Analytic Score Optimization for Multi Dimension Video Quality Assessment
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文提出多维视频质量评估数据集UltraVQA，并引入分析评分优化方法，通过理论支持的后训练目标提升质量评分精度，实验显示其在质量预测中表现优异。
2026-02-18 cs.CV
rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training
University of Science and Technology of China（中国科学技术大学）
本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。
2026-04-13 cs.CV
CLiF-VQA: Enhancing Video Quality Assessment by Incorporating High-Level Semantic Information related to Human Feelings
Harbin Institute of Technology（哈尔滨工业大学）
本文提出CLiF-VQA，首次利用CLIP与人类感受的一致性，通过语义特征提取器融合高层情感特征与空间特征，在多个VQA数据集上取得优异性能。
2023-11-13 cs.CV
Learning Flexible Generalization in Video Quality Assessment by Bringing Device and Viewing Condition Distributions
MSU Institute for Artificial Intelligence（莫斯科国立人工智能研究所）；AI Center, Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学人工智能中心）
针对移动设备多屏幕质量评估问题，引入跨300多个安卓设备的大规模主观数据集及相关元数据，提出聚合分数提取和VQA模型适配策略，使质量预测更准确灵活。
2026-07-07 cs.CV
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文针对UGC直播视频质量评估问题，构建了首个主观UGC直播VQA数据库，并提出多维VQA评估器MD-VQA，从语义、失真和运动三方面衡量视觉质量，在多个数据库上取得最先进性能。
2023-04-19 cs.CV
Towards Unified Video Quality Assessment
本文提出统一VQA框架，通过诊断混合专家问题实现通用视频质量评估，提供可解释的质量评分和缺陷向量，优于多种基准方法。
2025-12-01 cs.CV
MDS-VQA: Model-Informed Data Selection for Video Quality Assessment
MDS-VQA通过结合模型性能与内容多样性，有效筛选出具有挑战性的视频样本，提升视频质量评估模型的微调效果和泛化能力。
2026-03-12 cs.CV
Multi-Dimensional Quality Assessment for AI-Generated Human-Centric Videos: Dataset and Model
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学南加州大学文化创意产业学院）；Polytech Nantes, Université de Nantes（法国南特大学高等理工学院）
研究针对AI生成的以人为中心的视频质量评估问题，提出扩展数据集HVEval+并构建MoE-Rater模型，该模型采用专家混合及三阶段训练策略，能统一多种任务，在相关数据集上性能优越，推动了视频质量评估及T2V模型优化。
2026-07-21 cs.CV
RGC-VQA: An Exploration Database for Robotic-Generated Video Quality Assessment
Shanghai Jiaotong University（上海交通大学）
本文提出机器人生成内容（RGC）概念，构建首个含2100个视频的RGCD数据库，并通过主观实验与11个VQA模型基准测试，揭示现有模型在RGC视频质量评估上的不足。
2025-07-03 cs.CV
Deep Quality Assessment of Compressed Videos: A Subjective and Objective Study
Fuzhou University（福州大学）
在视频编码过程中，压缩视频的感知质量通过全参考质量评估度量来评估。然而，很难获得具有完美质量的参考视频。为了解决这一问题，设计无参考压缩视频质量评估算法至关重要，该算法可以帮助测量服务器端的体验质量和网络端的资源分配。卷积神经网络（CNN）在视频质量评价中显示出了巨大的优势，近年来取得了很大的成功。大规模的质量数据库对于学习准确和强大的压缩视频质量度量非常重要。在这项工作中，采用半自动标记方法来建立一个大规模的压缩视频质量数据库，这使我们能够标记大量的压缩视频与可管理的人力工作量。由此产生的具有半自动评级（CVSAR）的压缩视频质量数据库是迄今为止最大的压缩视频质量数据库。我们训练一个无参考的压缩视频质量评估模型与三维CNN时空特征提取和评估（STFEE）。实验结果表明，该方法优于国家的最先进的指标，并取得了良好的跨数据库测试的泛化性能。CVSAR数据库和STFEE模型将公开提供，以促进可重复的研究。
2022-05-07 cs.CV eess.IV
Perceptual Quality Assessment of UGC Gaming Videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc（谷歌公司）
近年来，随着电子游戏行业的蓬勃发展，游戏视频在YouTube等主要视频网站上的比例急剧增加。然而，对游戏视频的自动质量预测的研究相对较少，特别是那些属于“用户生成内容”（UGC）类别的视频。由于目前领先的通用视频质量评估（VQA）模型在这类游戏视频上表现不佳，我们创建了一个新的VQA模型，专门用于UGC游戏视频，我们称之为游戏视频质量预测器（GAME-VQP）。GAME-VQP通过利用在修改的自然场景统计模型下设计的特征，结合卷积神经网络学习的游戏特定特征，成功预测了游戏视频的独特统计特征。我们研究了GAME-VQP在一个最近的大型UGC游戏视频数据库LIVE-YT-Gaming上的性能，发现它既优于其他主流的通用VQA模型，也优于专门为游戏视频设计的VQA模型。新模型将在论文被接受后公布。
2022-04-13 cs.CV eess.IV
Geometry-Aware Video Quality Assessment for Dynamic Digital Human
Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
针对动态数字人视频质量评估中视点依赖和对几何失真不敏感的问题，提出一种无参考的几何感知视频质量评估方法，通过整合几何统计参数与时空特征回归质量值，在DDH-QA数据库上达到SOTA性能。
2023-10-24 cs.CV eess.IV
SB-VQA: A Stack-Based Video Quality Assessment Framework for Video Enhancement
KKCompany Technologies（KKCompany科技公司）；National Taiwan University（台湾大学）
提出基于堆叠的VQA框架，在增强视频数据集VDPVE上超越现有方法，并创建PGCVQ数据集验证其应用于PGC视频，发现结合剧情可提升评估性能，强调语义理解的重要性。
2023-05-15 cs.CV eess.IV
RMT-BVQA: Recurrent Memory Transformer-based Blind Video Quality Assessment for Enhanced Video Content
Visual Information Laboratory, University of Bristol（布里斯托大学视觉信息实验室）；Amazon Prime Video（亚马逊Prime视频）
针对增强视频内容缺乏专用盲质量评估方法的问题，提出基于 RMT 的 RMT-BVQA，利用内容质量感知对比学习和 13K 训练块优化，在 VDPVE 上五折验证中优于十种无参考指标。
2024-10-10 cs.CV eess.IV
C3DVQA: Full-Reference Video Quality Assessment with 3D Convolutional Neural Network
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
传统的视频质量评估（VQA）方法评估局部图像质量，视频分数通过时间聚集帧分数来预测。然而，由于时间掩蔽效应的存在，视频质量表现出与静态图像质量不同的特性。在本文中，我们提出了一种新的架构，即C3DVQA，它使用卷积神经网络与3D内核（C3D）的全参考VQA任务。C3DVQA将特征学习和分数池结合到一个时空特征学习过程中。我们使用2D卷积层来提取空间特征，使用3D卷积层来学习时空特征。我们根据经验发现，3D卷积层能够捕获视频的时间掩蔽效应。我们在LIVE和CSIQ数据集上对所提出的方法进行了评估。实验结果表明，该方法达到了最先进的性能。
2020-03-04 cs.CV eess.IV
Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos
Indian Institute of Science（印度科学理工学院）
针对UGC视频质量评估依赖大量标注的问题，提出自监督ST-VQRL特征学习与双模型半监督SSL-VQA方法，通过知识迁移在有限标注下提升性能约10%，结合未标注数据提升约15%。
2023-12-24 cs.CV cs.LG
KVQ: Kwai Video Quality Assessment for Short-form Videos
University of Science and Technology of China（中国科学技术大学）；Kuaishou Technology（快手科技）；Tsinghua University（清华大学）
本文构建了首个大规模短视频质量评估数据库KVQ，并提出基于CLIP内容理解与失真理解模块的短视频质量评估器KSVQE，有效解决了短视频内容模糊和混合失真难以区分的问题。
2024-02-20 cs.CV eess.IV
FOVQA: Blind Foveated Video Quality Assessment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook Reality Labs（Facebook现实实验室）；NVIDIA（英伟达）
以前的盲或无参考（NR）视频质量评估（VQA）模型在很大程度上依赖于从自然场景统计（NSS）中提取的特征，但是假设图像统计在空间域中是平稳的。这些模型中有几个在标准图片上相当成功。然而，在虚拟现实（VR）应用中，视觉中心凹视频压缩正在重新获得关注，空间变化的质量评估的概念是感兴趣的，考虑到越来越高的空间和时间分辨率的内容和测量注视方向的实用方法的可用性。从凹视频压缩的失真增加偏心率，这意味着自然场景的统计是空间变化的。为了推进视觉聚焦压缩/流媒体算法的发展，我们设计了一个无参考（NR）视觉聚焦视频质量评估模型，称为FOVQA，它是基于新的模型的空间变化的自然场景统计（NSS）和自然视频统计（NVS）。具体来说，我们部署了一个空间变化的广义高斯分布（SV-GGD）模型和空间变化的异步广义高斯分布（SV-AGGD）模型的平均减去对比度归一化（MSCN）系数和产品的相邻MSCN系数，分别。我们设计了一个中心凹的视频质量预测，提取径向基功能，以及其他功能，捕捉感知恼人的快速质量下降。我们发现，FOVQA实现国家的最先进的（SOTA）性能的新的2D LIVE-FBT-FCVR数据库，与其他领先的FIQA/VQA模型相比。我们已经在www.example.com上提供了FOVQA的实现。
2021-06-24 cs.CV eess.IV
StableVQA: A Deep No-Reference Quality Assessment Model for Video Stability
Shanghai Jiao Tong University（上海交通大学）
针对视频稳定性评估缺乏专用指标和数据库的问题，本文构建了含1,952个抖动UGC视频的StableDB数据库，并提出融合光流、语义和模糊特征的StableVQA模型，实验证明其与主观评分相关性优于现有方法。
2023-10-27 cs.CV eess.IV
Multi-Branch Collaborative Learning Network for Video Quality Assessment in Industrial Video Search
Baidu Inc.（百度公司）
针对工业视频检索中四类低质量视频特征被学术研究忽视的问题，提出多分支协同网络（MBCN），通过四分支独立评分与加权聚合，结合点式和成对优化，显著提升检索系统排序性能及低质量AI生成视频识别准确率。
2025-02-09 cs.CV cs.IR
A Comparative Evaluation of Temporal Pooling Methods for Blind Video Quality Assessment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc.（谷歌公司）
许多客观视频质量评估（VQA）算法都包括一个关键步骤，即帧级质量分数的时间池化。然而，很少有人关注研究不同合并方法对无参考（盲态）VQA的相对效率。在这里，我们进行了大规模的比较评估，以评估用户生成的视频盲VQA的多个时间池策略的能力和局限性。这项研究产生的见解和一般性的指导，时间池模型的应用和选择。此外，我们还提出了一个集成池模型建立在高性能的时间池模型。我们的实验结果表明，使用几种流行的VQA算法，并在最近的两个大规模的自然视频质量数据库评估的时间池模型的相对功效。除了新的合奏模型，我们提供了一个通用的配方应用基于帧的质量预测的时间池。
2020-02-25 cs.CV cs.MM
FGSVQA: Frequency-Guided Short-form Video Quality Assessment
School of Computer Science, University of Bristol（布里斯托大学计算机科学学院）
本文提出了一种端到端的视频质量评估框架，利用基于CLIP的密集视觉编码器和频率域中的压缩先验，生成具有伪影和结构感知的权重图，以实现高效的视频质量预测。
2026-05-19 cs.CV eess.IV
GameScope: A Multi-Attribute, Multi-Codec Benchmark Dataset for Gaming Video Quality Assessment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
GameScope是首个多编码器、多属性的视频游戏质量评估数据集，包含4048个视频样本，涵盖H.264、H.265和AV1等主流编码，提供细粒度质量属性，评估了多个视频质量方法，包括超越所有基准的视觉语言模型。
2026-05-02 cs.CV eess.IV
Study of the effect of Sharpness on Blind Video Quality Assessment
PES University（PES大学）；Great Learning（伟大学院）；Northwestern University（西北大学）
本文研究锐度对基于深度神经网络的盲视频质量评估模型（如BVQA）的影响，利用CVD2014数据库比较训练与测试中的SRCC和PLCC等指标。
2024-04-06 cs.CV eess.IV
Light-VQA: A Multi-Dimensional Quality Assessment Model for Low-Light Video Enhancement
Shanghai Jiao Tong University（上海交通大学）；Macao Polytechnic University（澳门理工大学）
本文针对低光视频增强质量评估缺失问题，构建LLVE-QA数据集并提出Light-VQA模型，通过融合手工设计的亮度、噪声、帧间亮度一致性特征与深度学习时空特征，在多个数据集上取得最优性能。
2023-08-06 cs.CV eess.IV
AIS 2024 Challenge on Video Quality Assessment of User-Generated Content: Methods and Results
Sony Interactive Entertainment（索尼互动娱乐）
本文回顾了AIS 2024视频质量评估挑战赛，该赛旨在收集在1秒内处理30帧FHD的深度学习方法以评估用户生成内容视频的感知质量，并综述了前5名提交模型的性能。
2024-04-24 cs.CV cs.MM
SemReward-VL: Semantic Reward-Guided Video-Language Adaptation for Developmental Behavior Assessment
针对发育筛查视频中行为描述缺失的问题，提出SemReward-VL，利用视觉-语言模型生成描述，并通过冻结语言模型评分和GRPO优化LoRA适配器，在13,379个视频上提升了准确率与召回率。
2026-09-29 cs.AI cs.CV
ESVQA: Perceptual Quality Assessment of Egocentric Spatial Videos
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Institut Universitaire de France (IUF), University of Nantes（法国南特大学机构大学（IUF））
针对第一人称空间视频质量评估缺乏研究的问题，提出首个数据库ESVQAD（含600个视频）及多维双目特征融合模型ESVQAnet，显著优于16种现有VQA模型并具强泛化能力。
2025-08-07 cs.CV cs.MM
Exploring Opinion-unaware Video Quality Assessment with Semantic Affinity Criterion
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）
最近的基于学习的视频质量评估（VQA）算法由于人类质量意见的数据汇集的成本而实现起来昂贵，并且由于这些意见的偏差而在各种场景中不太鲁棒。这激发了我们对意见不可知（也称为zero-shot）VQA方法的探索。现有的方法只考虑了空间或时间域的低层自然度，没有考虑高层语义的影响。在这项工作中，我们引入了一个明确的语义亲和力指数的意见不知情的VQA使用文本提示的对比语言图像预训练（CLIP）模型。我们还通过高斯归一化和S形缩放策略将其与不同的传统低级自然度指数聚合。由聚合的语义和技术指标组成，通过语义和技术指标聚合（BUONA-VISTA）提出的盲统一意见-不知情的视频质量指数比现有的意见不知情的VQA方法至少提高20%，并且比意见感知方法更强大。
2023-02-26 cs.CV cs.MM
VQA$^2$: Visual Question Answering for Video Quality Assessment
Shanghai Jiaotong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文构建首个面向视频质量评估的视觉问答指令数据集 VQA2 Instruction Dataset，并提出交错视觉与运动 token 的 VQA2 系列模型，在质量评分与理解任务上表现优异，VQA2-Assistant 的质量理解能力超过 GPT-4o。
2024-12-02 cs.AI cs.CV
Video Quality Assessment: A Comprehensive Survey
Fudan University（复旦大学）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）
本文全面综述视频质量评估（VQA）领域的最新进展，梳理传统模型的局限、深度学习及多模态大模型带来的性能提升，介绍相关基准数据库，并分析未来开放研究方向。
2024-12-11 cs.CV eess.IV
Action- and Language-Conditioned Video Assessment for Embodied Control
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。
2026-08-31 cs.CV cs.RO
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Bilibili Inc.（哔哩哔哩公司）
针对现有视频质量评估模型仅提供总体评分的问题，构建了首个大规模细粒度UGC视频质量数据库FineVD，并提出FineVQ模型实现质量评级、评分与归因，达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
HIDRO-VQA: High Dynamic Range Oracle for Video Quality Assessment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出HIDRO-VQA，一种基于自监督对比微调的无参考视频质量评估模型，将SDR特征迁移至HDR域，在LIVE-HDR数据库上达到最先进性能，并支持全参考扩展。
2023-12-20 cs.CV cs.MM eess.IV
Convolutions Need Registers Too: HVS-Inspired Dynamic Attention for Video Quality Assessment
Texas State University（德克萨斯州立大学）
DAGR-VQA通过整合寄存器令牌到卷积主干中，实现动态注意力机制，提升视频质量评估的时空显著性预测能力。
2026-01-16 cs.CV cs.MM eess.IV
Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets Training
Peking University（北京大学）；Beijing Film Academy（北京电影学院）
视频质量评价是计算机视觉中的一个重要问题。计算机视觉应用中的视频通常是在野外采集的。我们专注于自动评估在野外视频的质量，这是一个具有挑战性的问题，由于缺乏参考视频，失真的复杂性，以及视频内容的多样性。此外，现有数据集之间的视频内容和失真差异很大，这导致数据驱动方法在跨数据集评估设置中的性能较差。为了提高质量评估模型的性能，我们借用了人类感知的直觉，特别是人类视觉系统的内容依赖性和时间记忆效应。为了应对跨数据集评估的挑战，我们探索了一种混合数据集训练策略，用于训练具有多个数据集的单个VQA模型。所提出的统一框架明确地包括三个阶段：相对质量评估器，非线性映射，和特定于特定的感知尺度对齐，以联合预测相对质量，感知质量和主观质量。实验是在四个公开可用的数据集上进行的，用于野外VQA，即，LIVE-VQC、LIVE-Qualcomm、KoNViD-1k和CVD2014。实验结果验证了混合数据集训练策略的有效性，并证明了与现有模型相比，统一模型的优越性能。对于可重复的研究，我们在https://github.com/lidq92/MDTVSFA上提供了我们方法的PyTorch实现。
2020-11-15 cs.CV cs.MM eess.IV
Making Video Quality Assessment Models Sensitive to Frame Rate Distortions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc.（谷歌公司）
我们认为捕捉的问题所产生的帧速率的变化作为视频质量评估（VQA）的一部分失真。可变帧速率（VFR）视频已经变得更加常见，并且流式视频的范围通常从每秒30帧（fps）到高达120 fps。VFR-VQA在失真类型方面以及在对具有不同帧速率的参考和失真视频进行非均匀比较方面提供了独特的挑战。目前大多数VQA模型要求比较的视频具有相同的帧速率，但无法充分考虑帧速率伪影。最近提出的广义熵差（GREED）VQA模型成功地完成了这一任务，使用自然的视频统计模型的时间带通系数的熵差，预测视频质量的变化所产生的帧速率失真提供卓越的性能。在这里，我们提出了一个简单的融合框架，从而从GREED的时间特征与现有的VQA模型相结合，提高模型对帧速率失真的敏感性。我们通过大量的实验发现，这种特征融合显着提高了HFR/VFR数据集以及固定帧速率（FFR）VQA数据库上的模型性能。我们的研究结果表明，采用有效的时间表示可以导致更强大和更准确的VQA模型时，帧速率的变化可能会发生。
2022-05-21 cs.CV cs.MM eess.IV
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research（商汤科技研究院）；Tetras AI
随着非专业人员拍摄的野外视频的快速增长，盲视频质量评估（VQA）已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题，但仍然不清楚人类视觉系统（HVS）如何与视频的时间质量相关。同时，最近的工作已经发现，自然视频的帧被转换到HVS的感知域，往往会形成一个直线轨迹的表示。与所获得的洞察，失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示，我们提出了一个时间感知质量指数（TPQI）来衡量时间失真描述的图形形态的表示。具体来说，我们首先提取视频感知表示从外侧膝状体核（LGN）和初级视觉区（V1）的HVS，然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明，HVS中的感知表示是预测主观时间质量的有效方法，因此TPQI可以首次实现与空间质量度量相当的性能，并且在评估具有较大时间变化的视频时更加有效。我们进一步证明，通过结合NIQE，一个空间质量度量，TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是，TPQI不需要任何额外的信息，因此可以应用于任何数据集，而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
High Frame Rate Video Quality Assessment using VMAF and Entropic Differences
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
具有实况、高动作内容的流视频的流行已经导致对高帧速率（HFR）视频的兴趣增加。在这项工作中，我们解决的问题时，要比较的视频具有不同的帧速率和压缩因子的帧速率相关的视频质量评估（VQA）。当前的VQA模型（如VMAF）在要比较的视频具有相同的帧速率并包含压缩、缩放等传统失真时，与感知判断具有更好的相关性。然而，当需要比较具有不同帧速率的视频时，该框架需要额外的预处理步骤，这可能会限制其整体性能。最近，广义熵差（GREED）VQA模型被提出来考虑由于帧速率的变化而产生的文物，并显示出优越的性能上的LIVE-YT-HFR数据库，其中包含帧速率相关的文物，如抖动，频闪等，在本文中，我们提出了一个简单的扩展，在VMAF和GREED的功能融合，以利用这两种模式的优势。我们通过各种实验表明，所提出的融合框架的结果更有效的预测帧速率依赖的视频质量的功能。我们还评估了标准的非HFR VQA数据库上的融合特征集，并获得了优于GREED和VMAF的性能，表明组合特征集捕获了互补的感知质量信息。
2021-09-27 cs.CV cs.MM eess.IV
KonVid-150k: A Dataset for No-Reference Video Quality Assessment of Videos in-the-Wild
University of Konstanz（康斯坦茨大学）
视频质量评估（VQA）方法专注于特定的退化类型，通常是在一小组参考视频上人为引起的。因此，大多数传统的VQA方法在野外表现不佳。深度学习方法由于现有VQA数据集的小尺寸和多样性而取得了有限的成功，无论是人工的还是真实扭曲的。我们引入了一个新的野生VQA数据集，它更大，更多样化：KonVid-150 k。它包括一个粗略注释的153，841个视频，每个视频有5个质量评级，以及1，596个视频，每个视频至少有89个评级。此外，我们提出了新的高效的VQA方法（MLSP-VQA）依赖于多层次的空间汇集的深功能（MLSP）。与深度迁移学习方法相比，它们非常适合大规模培训。我们的最佳方法MLSP-VQA-FF将常用的KoNViD-1 k野外基准数据集上的Spearman秩序相关系数（SRCC）性能指标提高到0.82。它超越了现有最好的深度学习模型（0.80 SRCC）和手工制作的基于特征的方法（0.78 SRCC）。我们进一步研究了替代方法在不同级别的标签噪声和数据集大小下的表现，表明MLSP-VQA-FF是野外视频的整体最佳方法。最后，我们证明了在KonVid-150 k上训练的MLSP-VQA模型为KoNViD-1 k、LIVE-VQC和LIVE-Qualcomm的交叉测试性能提供了最新的技术水平，SRCC分别为0.83、0.75和0.64。对于KoNViD-1 k和LIVE-VQC，这种数…
2021-03-01 cs.CV cs.MM eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能公司）
用户生成内容（UGC）视频的快速增长要求开发有效的视频质量评估（VQA）算法。然而，UGC-VQA问题的目标仍然是模糊的，可以从两个角度来看：技术的角度来看，测量失真的感知;和美学的角度来看，这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见，我们进行了一项大规模的主观研究，以收集人类对视频整体质量的意见，以及从美学和技术角度的看法。收集的视频质量数据库（DIVIDE-3 k）证实，人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此，我们提出了解纠缠客观视频质量评估器（DOVER）学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中，我们进一步提出了DOVER++，这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
Manipulation-skill Assessment from Videos with Spatial Attention Network
The University of Tokyo（东京大学）；Hunan University（湖南大学）
计算机视觉的最新进展使从视频中自动评估人类执行任务的操作技能成为可能，这在健康康复和制造等领域孕育了许多重要的应用。以前的基于视频的技能评估方法没有考虑人类在评估视频时使用的注意力机制，限制了它们的性能，因为只有一小部分视频区域为技能评估提供信息。我们的动机是估计视频中的注意力，这有助于关注至关重要的视频区域，以更好地进行技能评估。特别是，我们提出了一种新的基于RNN的空间注意力模型，该模型考虑了先前帧的累积注意力状态以及有关正在进行的任务进展的高级知识。我们评估我们的方法上新收集的数据集的婴儿抓握任务和现有的四个数据集的手操作任务。实验结果表明，国家的最先进的性能，可以通过考虑在自动技能评估的注意。
2019-04-10 cs.CV
CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation
Shanghai Jiao Tong University（上海交通大学）；Eindhoven University of Technology（埃因霍温理工大学）
本研究推出首个相机控制型世界视频生成质量评估基准CamWorldQA，并提出含三分支的无参考评估网络CWQA，实验显示其性能优于现有方法。
2026-08-20 cs.CV
Diving Performance Assessment by means of Video Processing
Politecnico di Milano（米兰理工大学）
本文的目的是提出一个程序的视频分析应用在一个创新的方式，潜水性能评估。运动表现分析是一种趋势，对所有水平的运动员都呈指数增长。这里显示的技术基于两个重要要求：灵活性和低成本。这两方面的要求导致了视频处理中的许多问题，这些问题正是本文所要面对和解决的。
2017-05-09 cs.CV
MOSaiC: a Web-based Platform for Collaborative Medical Video Assessment and Annotation
IHU Strasbourg（斯特拉斯堡大学医院研究所）；ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室，法国国家科学研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院IRCCS基金会）
本研究推出Web端协作平台MOSaiC 3.6.2，具备标注、评估等多类核心功能，可支撑医学视频相关工作，已助力多项医学数据科学研究的数据集开发。
2023-12-14 cs.CV
Multilevel Semantic-Aware Model for AI-Generated Video Quality Assessment
Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
针对AI生成视频质量评估难题，提出MSA-VQA多层级语义感知模型，通过CLIP提示词语义监督、交叉注意力及语义突变感知模块，在帧、片段和视频层级建模并取得SOTA性能。
2025-01-06 cs.CV
Deep Convolutional Neural Network Applied to Quality Assessment for Video Tracking
Pontificia Universidad Javeriana（哈韦里亚纳宗座大学）
监控视频在采集和存储过程中经常会出现模糊和曝光失真，这会对视频分析任务的自动图像分析结果产生不利影响。本文的目的是部署一个算法，可以自动评估存在的曝光失真的视频。在这项工作中，我们设计和建立一个架构的深度学习应用于识别失真的视频。目标是了解视频是否存在曝光失真。这种算法可以用于增强或恢复图像或创建对象跟踪器失真感知。
2018-10-26 cs.CV
A Survey of Video-based Action Quality Assessment
Fudan University（复旦大学）；ZhongShan Hospital（中山医院）；Ji Hua Laboratory（季华实验室）
人体行为识别与分析在视频监控、视频检索、人机交互等领域有着巨大的需求和重要的应用意义。人类行为质量评价的任务要求智能系统能够自动、客观地评价人类完成的行为。行动质量评估模型可以减少行动评估所花费的人力物力，降低主观性。在本文中，我们提供了一个全面的调查现有的文件基于视频的动作质量评估。与人类动作识别不同，动作质量评估的应用场景相对狭窄。现有的大部分工作集中在体育和医疗保健方面。我们首先介绍了人类行为质量评估的定义和挑战。然后，我们提出了现有的数据集和评估指标。此外，根据体育和医疗领域的特点，按模式类别和出版机构分别对这两个领域的方法进行了总结。最后，结合近年来的研究工作，对行动质量评估的发展方向进行了展望。
2022-04-20 cs.CV
Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies（华为技术有限公司）
针对AIGC视频质量评估难题，本文构建了包含2,808个视频的LGVQ数据集，并提出融合视觉、运动与文本特征的UGVQ统一模型，在空间、时间和文本-视频对齐三个维度上均取得最优性能。
2024-12-26 cs.CV
Hybrid Dynamic-static Context-aware Attention Network for Action Assessment in Long Videos
Sun Yat-sen University（中山大学）；Zhejiang Laboratory（之江实验室）；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
动作质量评估的目的是对体育视频进行评分。然而，大多数现有的工作仅关注视频动态信息（即，运动信息），但是忽略运动员在视频中执行的特定姿势，这对于长视频中的动作评估是重要的。在这项工作中，我们提出了一种新的混合动态静态上下文感知注意力网络（ACTION-NET）的动作评估长视频。为了学习更多的区别表示的视频，我们不仅学习视频的动态信息，但也专注于在特定帧中检测到的运动员的静态姿势，这代表了在某些时刻的动作质量，以及所提出的混合动态-静态架构的帮助。此外，我们利用一个上下文感知的注意力模块，包括一个时间的逐实例图卷积网络单元和两个流的注意力单元，以提取更强大的流特征，其中前者是探索实例之间的关系，后者为每个实例分配一个适当的权重。最后，我们结合两个流的特征来回归最终的视频分数，由专家给出的地面实况分数监督。此外，我们还收集和注释了新的艺术体操数据集，其中包含四种不同类型的体操套路的视频，用于评估长视频中的动作质量评估。大量的实验结果验证了我们提出的方法的有效性，它优于相关的方法。代码和数据集可在\url{https://github.com/lingan1996/ACTION-NET}上获得。
2020-08-13 cs.CV
VE-Bench: Subjective-Aligned Benchmark Suite for Text-Driven Video Editing Quality Assessment
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出VE-Bench基准套件，包含视频编辑质量评估数据库VE-Bench DB和定量评估方法VE-Bench QA，通过关注文本-视频对齐和源视频与编辑视频相关性，实现了与人类偏好对齐的视频编辑质量评估。
2024-12-18 cs.CV
Automated Sperm Assessment Framework and Neural Network Specialized for Sperm Video Recognition
Yokohama National University（横滨国立大学）；Yokohama City University Medical Center（横滨市立大学医学中心）
针对现有精子评估忽视运动与多形态且标签单一的问题，构建含头颈尾的视频数据集并用软标签，提出RoSTFine网络提升评估性能并聚焦关键部位。
2023-11-13 cs.CV
