Diving Deeper Into Pedestrian Behavior Understanding: Intention Estimation, Action Prediction, and Event Risk Assessment
Huawei Technologies Canada（华为技术加拿大公司）；York University（约克大学）
本文围绕行人行为理解，定义意图估计、动作预测和事件风险评估三个任务，并在 JAAD 和 PIE 数据集上构建新基准与三类指标，系统评估四个 SOTA 模型，揭示任务差异、模态作用及互补关系。
2024-06-29 cs.CV cs.RO
Manipulation-skill Assessment from Videos with Spatial Attention Network
The University of Tokyo（东京大学）；Hunan University（湖南大学）
计算机视觉的最新进展使从视频中自动评估人类执行任务的操作技能成为可能，这在健康康复和制造等领域孕育了许多重要的应用。以前的基于视频的技能评估方法没有考虑人类在评估视频时使用的注意力机制，限制了它们的性能，因为只有一小部分视频区域为技能评估提供信息。我们的动机是估计视频中的注意力，这有助于关注至关重要的视频区域，以更好地进行技能评估。特别是，我们提出了一种新的基于RNN的空间注意力模型，该模型考虑了先前帧的累积注意力状态以及有关正在进行的任务进展的高级知识。我们评估我们的方法上新收集的数据集的婴儿抓握任务和现有的四个数据集的手操作任务。实验结果表明，国家的最先进的性能，可以通过考虑在自动技能评估的注意。
2019-04-10 cs.CV
CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation
Shanghai Jiao Tong University（上海交通大学）；Eindhoven University of Technology（埃因霍温理工大学）
本研究推出首个相机控制型世界视频生成质量评估基准CamWorldQA，并提出含三分支的无参考评估网络CWQA，实验显示其性能优于现有方法。
2026-08-20 cs.CV
FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
现有的大多数动作质量评估方法依赖于整个视频的深层特征来预测分数，这是不可靠的，由于不透明的推理过程和较差的可解释性。我们认为，理解高层次的语义和内部的时间结构的动作在竞技体育视频是准确和可解释的预测的关键。为了实现这一目标，我们构建了一个新的细粒度数据集，称为FineDiving，开发了不同的潜水事件与详细的注释行动程序。我们还提出了一个程序感知的方法进行动作质量评估，学习了一个新的时间分割注意力模块。具体来说，我们建议解析成对查询和示例动作实例到连续的步骤与不同的语义和时间对应。过程感知的交叉注意被提出来学习查询和范例步骤之间的嵌入，以发现它们的语义、空间和时间对应关系，并进一步服务于细粒度的对比回归，以获得可靠的评分机制。大量的实验表明，我们的方法实现了实质性的改进，国家的最先进的方法具有更好的可解释性。数据集和代码可在\url{https://github.com/xujinglin/FineDiving}上获得。
2022-04-07 cs.CV
Action Quality Assessment using Siamese Network-Based Deep Metric Learning
Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）；International Institute of Information Technology（国际信息技术研究所）
自动化的基于视觉的分数估计模型可以用作替代意见，以避免判断偏差。在过去的作品中，得分估计模型是通过将视频表示回归到裁判提供的地面真实得分来学习的。然而，这种基于回归的解决方案缺乏解释性的原因给予评分。使分数更易于解释的一种解决方案是将给定动作视频与参考视频进行比较。这将捕捉时间变化w.r.t.并将这些变化映射到最终得分。在这项工作中，我们提出了一个新的动作评分系统作为一个两阶段的系统：（1）深度度量学习模块，学习任何两个动作视频之间的相似性，根据他们的地面真实分数由法官;（2）分数估计模块，使用第一个模块找到视频的相似性，以参考视频，以给出评估分数。所提出的评分模型已被测试为奥运会跳水和体操跳马，该模型优于现有的国家的最先进的评分模型。
2020-02-27 cs.CV
Action Quality Assessment using Transformers
动作质量评估（AQA）是基于视频的应用中的一个活跃的研究问题，这是一个具有挑战性的任务，由于每帧的分数方差。现有的方法通过基于卷积的方法来解决这个问题，但受到其有效捕获长程依赖性的限制。随着Transformers的最新进展，我们表明它们是传统的基于卷积的架构的合适替代方案。具体来说，基于transformer的模型是否可以通过有效地捕获远程依赖关系，并行计算并为潜水视频提供更广泛的接受域来解决AQA的任务？为了证明我们提出的架构的有效性，我们进行了全面的实验，并取得了竞争力的斯皮尔曼相关性得分为0.9317。此外，我们还探讨了超参数对模型性能的影响，为在AQA中开发Transformers提供了一条新的途径。
2022-07-20 cs.CV cs.LG
MOSaiC: a Web-based Platform for Collaborative Medical Video Assessment and Annotation
IHU Strasbourg（斯特拉斯堡大学医院研究所）；ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室，法国国家科学研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院IRCCS基金会）
本研究推出Web端协作平台MOSaiC 3.6.2，具备标注、评估等多类核心功能，可支撑医学视频相关工作，已助力多项医学数据科学研究的数据集开发。
2023-12-14 cs.CV
Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment
Cardiff University（卡迪夫大学）；Shandong University of Science and Technology（山东科技大学）；Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；City University of Hong Kong（香港城市大学）
本文提出参考感知视频质量评估方法RefVQA，通过构建查询中心参考图进行语义相关样本组织，并利用图引导差异聚合提升视频质量评估性能。
2026-04-18 cs.CV
Multilevel Semantic-Aware Model for AI-Generated Video Quality Assessment
Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
针对AI生成视频质量评估难题，提出MSA-VQA多层级语义感知模型，通过CLIP提示词语义监督、交叉注意力及语义突变感知模块，在帧、片段和视频层级建模并取得SOTA性能。
2025-01-06 cs.CV
Deep Convolutional Neural Network Applied to Quality Assessment for Video Tracking
Pontificia Universidad Javeriana（哈韦里亚纳宗座大学）
监控视频在采集和存储过程中经常会出现模糊和曝光失真，这会对视频分析任务的自动图像分析结果产生不利影响。本文的目的是部署一个算法，可以自动评估存在的曝光失真的视频。在这项工作中，我们设计和建立一个架构的深度学习应用于识别失真的视频。目标是了解视频是否存在曝光失真。这种算法可以用于增强或恢复图像或创建对象跟踪器失真感知。
2018-10-26 cs.CV
A Survey of Video-based Action Quality Assessment
Fudan University（复旦大学）；ZhongShan Hospital（中山医院）；Ji Hua Laboratory（季华实验室）
人体行为识别与分析在视频监控、视频检索、人机交互等领域有着巨大的需求和重要的应用意义。人类行为质量评价的任务要求智能系统能够自动、客观地评价人类完成的行为。行动质量评估模型可以减少行动评估所花费的人力物力，降低主观性。在本文中，我们提供了一个全面的调查现有的文件基于视频的动作质量评估。与人类动作识别不同，动作质量评估的应用场景相对狭窄。现有的大部分工作集中在体育和医疗保健方面。我们首先介绍了人类行为质量评估的定义和挑战。然后，我们提出了现有的数据集和评估指标。此外，根据体育和医疗领域的特点，按模式类别和出版机构分别对这两个领域的方法进行了总结。最后，结合近年来的研究工作，对行动质量评估的发展方向进行了展望。
2022-04-20 cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法，通过结合对比学习和无参考视频质量评估，提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies（华为技术有限公司）
针对AIGC视频质量评估难题，本文构建了包含2,808个视频的LGVQ数据集，并提出融合视觉、运动与文本特征的UGVQ统一模型，在空间、时间和文本-视频对齐三个维度上均取得最优性能。
2024-12-26 cs.CV
Hybrid Dynamic-static Context-aware Attention Network for Action Assessment in Long Videos
Sun Yat-sen University（中山大学）；Zhejiang Laboratory（之江实验室）；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
动作质量评估的目的是对体育视频进行评分。然而，大多数现有的工作仅关注视频动态信息（即，运动信息），但是忽略运动员在视频中执行的特定姿势，这对于长视频中的动作评估是重要的。在这项工作中，我们提出了一种新的混合动态静态上下文感知注意力网络（ACTION-NET）的动作评估长视频。为了学习更多的区别表示的视频，我们不仅学习视频的动态信息，但也专注于在特定帧中检测到的运动员的静态姿势，这代表了在某些时刻的动作质量，以及所提出的混合动态-静态架构的帮助。此外，我们利用一个上下文感知的注意力模块，包括一个时间的逐实例图卷积网络单元和两个流的注意力单元，以提取更强大的流特征，其中前者是探索实例之间的关系，后者为每个实例分配一个适当的权重。最后，我们结合两个流的特征来回归最终的视频分数，由专家给出的地面实况分数监督。此外，我们还收集和注释了新的艺术体操数据集，其中包含四种不同类型的体操套路的视频，用于评估长视频中的动作质量评估。大量的实验结果验证了我们提出的方法的有效性，它优于相关的方法。代码和数据集可在\url{https://github.com/lingan1996/ACTION-NET}上获得。
2020-08-13 cs.CV
VE-Bench: Subjective-Aligned Benchmark Suite for Text-Driven Video Editing Quality Assessment
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出VE-Bench基准套件，包含视频编辑质量评估数据库VE-Bench DB和定量评估方法VE-Bench QA，通过关注文本-视频对齐和源视频与编辑视频相关性，实现了与人类偏好对齐的视频编辑质量评估。
2024-12-18 cs.CV
Automated Sperm Assessment Framework and Neural Network Specialized for Sperm Video Recognition
Yokohama National University（横滨国立大学）；Yokohama City University Medical Center（横滨市立大学医学中心）
针对现有精子评估忽视运动与多形态且标签单一的问题，构建含头颈尾的视频数据集并用软标签，提出RoSTFine网络提升评估性能并聚焦关键部位。
2023-11-13 cs.CV
Neural video codecs quality assessment dataset and benchmark
AI Center, Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学人工智能中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对神经视频编解码器（NVCs）时间压缩范式的质量评估需求，该研究构建了含NVCs与传统编解码器压缩视频的大规模主观数据集，通过众包成对比较获取评分，为相关视频质量指标的开发与基准测试提供了资源。
2026-09-01 cs.CV
Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment
Georgia Tech（佐治亚理工学院）
目的：基本的外科手术技巧，打结和打结是医疗培训的重要组成部分。拥有一个自动化的手术技能评估系统可以帮助节省专家的时间，提高培训效率。最近有一些使用视频分析或加速度数据进行自动手术技能评估的尝试。在本文中，我们提出了一种新的方法，自动评估OSATS的手术技能，并提供了一个分析的不同功能的多模态数据（视频和加速度计数据）。研究方法：据我们所知，我们进行了最大规模的研究，对包含视频和加速度计数据的数据集进行基本手术技能评估，用于缝合和打结任务。我们引入了“基于熵”的特征-近似熵（ApEn）和交叉近似熵（XApEn），它们量化了时间序列数据中波动的可预测性和规律性。建议的功能进行比较，现有的方法，顺序运动纹理（SMT），离散余弦变换（DCT）和离散傅立叶变换（DFT），手术技能评估。结果：我们报告了所有适用的OSATS标准中不同功能的平均性能，用于打结任务。我们的分析表明，所提出的基于熵的功能优于以前的国家的最先进的方法，使用视频数据。对于加速度计数据，我们的方法只对加速度计执行得更好。我们还表明，视频和加速功能的融合可以提高整体性能，所提出的熵功能实现最高的准确性。结论：使用所提出的熵特征可以实现高准确性的自动手术技能评估。这样的系统可以显著提高医学院校和教学医院的外科培训效率。
2017-02-24 cs.CV
Deep Multimodality Learning for UAV Video Aesthetic Quality Assessment
Beihang University（北京航空航天大学）；Beijing Electronic Science and Technology Institute（北京电子科技学院）；Peng Cheng Laboratory（鹏城实验室）
尽管无人机（UAV）和航拍视频的数量越来越多，但关注航拍视频美学的研究却很少，这些研究可以为提高航拍的美学质量提供有价值的信息。在这篇文章中，我们提出了一种用于无人机视频美学质量评估的深度多模态学习方法。更具体地说，多流框架被设计成利用来自多个模态的美学属性，包括空间外观、无人机相机运动和场景结构。提出了一种新的专门设计的运动流网络，这个新的多流框架。我们构建了一个包含6,000个无人机摄像头拍摄的无人机视频的数据集。该模型可以判断无人机视频是由专业摄影师还是业余爱好者拍摄的，并结合场景类型分类。实验结果表明，我们的方法优于视频分类方法和传统的基于SVM的视频美学方法。最后给出了该方法在无人机视频分级、专业段检测和基于美学的无人机路径规划中的应用实例。
2020-11-04 cs.CV
Learning Single-Image Depth from Videos using Quality Assessment Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Princeton University（普林斯顿大学）
在野外从单个图像进行深度估计仍然是一个具有挑战性的问题。一个主要障碍是缺乏高质量的野外图像训练数据。在本文中，我们提出了一种方法来自动生成这样的数据，通过结构从运动（SfM）在互联网上的视频。该方法的核心是一个质量评估网络，它可以识别从SfM获得的高质量重建。使用这种方法，我们从大量的YouTube视频中收集单视图深度训练数据，并构建一个新的数据集，称为YouTube3D。实验表明，YouTube3D在训练深度估计网络方面是有效的，并在单视图深度估计领域取得了一定的进展。
2019-04-24 cs.CV
DCVQE: A Hierarchical Transformer for Video Quality Assessment
Weibo R&D Limited（微博研发有限公司）；Microsoft（微软）
用户生成视频的爆炸式增长刺激了对无参考视频质量评估（NR-VQA）的巨大需求。受我们对人类注释行为的观察的启发，我们提出了一种用于NR-VQA的分而治之的视频质量估计（DCVQE）。从提取帧级质量嵌入（QE）开始，我们的建议将整个序列分成若干片段，并应用Transformers来学习片段级QE并同时更新帧级QE;另一个Transformer被引入来组合片段级QE以生成视频级QE。我们将这种Transformers的分层组合称为分而治之Transformer（DCTr）层。通过多次重复该DCTr层的处理，可以实现精确的视频质量特征提取。考虑到标注数据之间的顺序关系，我们还提出了一种新的相关损失项用于模型训练。在不同数据集上的实验证实了我们的DCVQE模型的有效性和鲁棒性。
2022-10-10 cs.CV
LEHA-CVQAD: Dataset To Enable Generalized Video Quality Assessment of Compression Artifacts
ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）
提出LEHA-CVQAD数据集及RDAE指标，用于压缩视频质量评估，发现现有VQA方法存在高RDAE和低相关性。
2025-07-08 cs.CV
Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文构建了迄今最大规模的文本到视频质量评估数据库 T2VQA-DB，并提出基于 Transformer 的 T2VQA 模型，从文本-视频对齐和视频保真度角度提取特征并结合大语言模型预测主观质量分数，实验证明其优于现有方法。
2024-08-07 cs.CV
No-Reference Rendered Video Quality Assessment: Dataset and Metrics
State Key Lab of CAD&CG, Zhejiang University（CAD与CG国家重点实验室，浙江大学）；OPPO Nanjing Research Center（OPPO南京研究中心）
针对现有无参考视频质量评估方法在渲染视频上预测偏差的问题，提出一个大规模渲染视频数据集和专用NR-VQA指标，通过结合图像质量与时间稳定性评估，在渲染视频上性能优于现有方法，并可用于超采样和帧生成策略基准测试。
2025-10-15 cs.CV
An Ensemble Approach to Short-form Video Quality Assessment Using Multimodal LLM
City University of Hong Kong（香港城市大学）；Google Inc.（谷歌公司）
本文提出一种轻量级集成方法，自适应融合多模态大语言模型与现有BVQA模型的预测，有效提升了短视频质量评估的泛化性能，并揭示了模型改进方向。
2024-12-24 cs.CV
Video-based assessment of intraoperative surgical skill
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
目的：本调查的目的是提供一个全面的分析，最先进的方法，在手术室的手术技能的视频为基础的评估。研究方法：使用一个数据集的99个视频撕囊，在白内障手术的关键步骤，我们评估功能为基础的方法，以前开发的手术技能评估主要是在台式设置。此外，我们还提出并验证了两种深度学习方法，它们可以直接使用RGB视频评估技能。在第一种方法中，我们预测仪器提示作为关键点，并使用时间卷积神经网络学习手术技巧。在第二种方法中，我们提出了一种新的架构，手术技能评估，其中包括一个逐帧编码器（二维卷积神经网络），其次是一个时间模型（递归神经网络），这两个都是增强视觉注意力机制。我们通过5倍交叉验证报告了每种方法的受试者工作特征曲线下面积、灵敏度、特异性和预测值。结果如下：对于二元技能分类（专家与新手）的任务，基于深度神经网络的方法比基于经典时空兴趣点的方法表现出更高的AUC。使用注意力机制的神经网络方法也显示出高灵敏度和特异性。结论：深度学习方法对于手术室中基于视频的手术技能评估是必要的。我们的研究结果的内部效度的网络使用注意力机制，以评估技能直接使用RGB视频应在其他数据集的外部效度进行评估。
2022-05-13 cs.CV
Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本研究针对现有通用VQA模型不适配曝光校正效果评估的问题，扩展构建VEC-QA数据集，提出带视觉-语言引导与HVS模块的Light-VQA+模型，在多个数据集上性能超越现有SOTA VQA模型。
2024-05-14 cs.CV
Video-Based Hand Pose Estimation for Remote Assessment of Bradykinesia in Parkinson's Disease
University of Florida（佛罗里达大学）
该研究针对远程医疗场景下姿态估计用于帕金森病运动迟缓评估的准确性缺口，测试7种手部姿态模型在本地与流媒体录制的手指敲击测试视频中的表现，发现流媒体场景下模型准确性与特征可靠性显著下降，本地录制可用于自动评估。
2023-08-28 cs.CV
Beyond Source Prompts: Towards Visually Grounded AI-Generated Video Quality Assessment
University of Bristol（布里斯托大学）
针对AI生成视频质量评估中源提示与生成内容不符的问题，本文提出视觉接地的VGCap框架，引入全局与片段字幕，在LGVQ和FETV数据集上优于基线，验证了视觉接地字幕的有效性。
2026-10-16 cs.CV
ViDAS: Vision-based Danger Assessment and Scoring
SRM Institute of Science and Technology（SRM科学技术学院）；Vellore Institute of Technology（韦洛尔理工学院）
ViDAS数据集包含100个带人类危险评分和时间戳的YouTube视频，利用LLM独立评估并引入MSE分数进行元评估，证明LLM在危险评估中具有类人潜力。
2024-10-01 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics（三星电子）
针对视频帧插值中精度与效率难以兼顾的问题，本文提出难度预评估与模型动态选择相结合的集成流水线，并构建大规模难度评估数据集，从而改善精度—效率权衡。
2023-04-25 cs.CV
Advancing Video Quality Assessment for AIGC
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）；WeChat, Tencent Inc（腾讯公司微信业务）
针对生成视频帧间质量差异问题，提出结合MAE与交叉熵的损失函数及S2CNet技术，在AIGC Video数据集上PLCC指标提升3.1%。
2024-09-23 cs.CV
A-MAL: Automatic Movement Assessment Learning from Properly Performed Movements in 3D Skeleton Videos
The University of Haifa（海法大学）
评估运动质量的任务最近在各种领域中获得了很高的需求。自动评估由诸如Kinect摄像机等经济实惠的设备捕获的视频中的受试者运动的能力对于监测临床康复过程、改善运动技能和运动学习任务至关重要。在精确跟踪运动阶段的同时需要注意低层次的细节，这使得这项任务非常具有挑战性。在这项工作中，我们介绍了A-MAL，一个自动的，强大的运动评估学习算法，只学习从正确执行的运动视频没有进一步的注释，由偏差时间分割算法，参数相关性检测算法，一种新的时间扭曲算法，是基于自动检测的共同时间点的兴趣和文本反馈生成机制。我们从Fugl-Meyer评估（FMA）测试中展示了我们的方法，该测试通常由职业治疗师进行，以监测中风后患者的恢复过程。
2020-07-15 cs.CV
MRET: Multi-resolution Transformer for Video Quality Assessment
Google Research（谷歌研究院）；Google（谷歌）
用户生成内容（UGC）的无参考视频质量评估（NR-VQA）对于理解和改善视觉体验至关重要。与视频识别任务不同，VQA任务对输入分辨率的变化很敏感。由于现在大量的UGC视频都是720 p或更高，传统NR-VQA方法中使用的固定且相对较小的输入导致许多视频丢失高频细节。在本文中，我们提出了一种新的基于transformer的NR-VQA框架，保留了高分辨率的质量信息。通过多分辨率输入表示和一种新的多分辨率补丁采样机制，我们的方法可以全面地查看全局视频组成和局部高分辨率细节。所提出的方法可以有效地聚合质量信息在不同粒度的空间和时间维度，使模型的鲁棒性输入分辨率的变化。我们的方法在大规模UGC VQA数据集LSVQ和LSVQ-1080 p以及KoNViD-1 k和LIVE-VQC上实现了最先进的性能，无需微调。
2023-03-29 cs.CV
Analytic Score Optimization for Multi Dimension Video Quality Assessment
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文提出多维视频质量评估数据集UltraVQA，并引入分析评分优化方法，通过理论支持的后训练目标提升质量评分精度，实验显示其在质量预测中表现优异。
2026-02-18 cs.CV
IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）；University of Auckland（奥克兰大学）；National University of Singapore（新加坡国立大学）
IVEBench通过引入多样化的视频数据库和多维评估协议，解决现有视频编辑基准在评估指令引导视频编辑方面的不足，提供全面的人类对齐评估结果。
2026-03-27 cs.CV
MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究的问题，有效地评估建筑物损坏后，自然灾害，如飓风，洪水或火灾，通过航空视频分析。我们做出了两个主要贡献。第一个贡献是一个新的数据集，由来自社交媒体的用户生成的空中视频组成，并带有实例级建筑损坏遮罩的注释。这为定量评估模型提供了第一个基准，以使用航空视频评估建筑物损坏。第二个贡献是一个新的模型，即MSNet，其中包含新的区域建议网络设计和一个无监督的分数细化网络的置信度评分校准在限界框和掩码分支。我们表明，与我们数据集中以前的方法相比，我们的模型实现了最先进的结果。我们将发布我们的数据、模型和代码。
2020-12-31 cs.CV
ProSkill: Segment-Level Skill Assessment in Procedural Videos
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision公司）；Toyota Motor Europe（丰田欧洲公司）
ProSkill是首个针对程序化任务动作级技能评估的基准数据集，通过新颖的注释协议提供绝对和成对的技能评估，用于评估最新技能评估算法。
2026-01-28 cs.CV
Exploring AIGC Video Quality: A Focus on Visual Harmony, Video-Text Consistency and Domain Distribution Gap
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Peng Cheng Laboratory（鹏城实验室）
本研究针对AIGC视频评估挑战，从视觉和谐性、视频-文本一致性与域分布差距三个维度设计特定模块进行全面质量评估，并引入源生成模型预测以增强特征判别力，在NTIRE 2024竞赛中获第三名。
2024-04-27 cs.CV
Surgical Skill Assessment via Video Semantic Aggregation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Dalian University of Technology（大连理工大学）；AIST（产业技术综合研究所）
基于视频的手术技能自动评估是一项很有前途的任务，可以帮助年轻的外科实习生，特别是在资源匮乏的地区。现有的工作通常采用CNN-LSTM联合框架，该框架通过LSTM对空间汇集的短期CNN特征进行长期关系建模。然而，这种做法将不可避免地忽略了语义概念之间的差异，如工具，组织和背景的空间维度，阻碍了后续的时间关系建模。在本文中，我们提出了一种新的技能评估框架，视频语义聚合（ViSA），发现不同的语义部分，并将它们聚集在时空维度。语义部分的显式发现提供了一个解释性的可视化，有助于理解神经网络的决策。它还使我们能够进一步纳入辅助信息，如运动学数据，以提高表示学习和性能。在两个数据集上的实验表明，与最先进的方法相比，ViSA具有竞争力。源代码可在bit.ly/MICCAI2022ViSA上获得。
2022-08-04 cs.CV
Visual Realism Assessment for Face-swap Videos
Beijing University of Civil Engineering and Architecture（北京建筑大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文针对换脸视频的视觉真实感评估（VRA）构建了基于DFGC 2022数据集的基准，通过11个模型和3种协议的综合实验，验证了自动VRA模型的可行性及深度伪造检测特征的有效性。
2023-07-30 cs.CV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
Learning Skill-Attributes for Transferable Assessment in Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视频技能评估模型泛化性差、专家监督成本高的问题，提出CrossTrainer方法，通过发现跨运动通用的技能属性并训练多模态语言模型生成反馈和熟练度评分，在跨运动和运动内设置中实现60%性能提升。
2025-11-17 cs.CV
rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training
University of Science and Technology of China（中国科学技术大学）
本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。
2026-04-13 cs.CV
Cross-Modal Video to Body-joints Augmentation for Rehabilitation Exercise Quality Assessment
KITE Research Institute, University Health Network（大学健康网络KITE研究所）；University of Toronto（多伦多大学）
针对康复运动质量评估中数据集样本不足的问题，提出跨模态数据增强方法，通过对RGB视频做视觉增强后提取关节序列训练网络，在KIMORE数据集上取得优于基线的效果。
2023-06-15 cs.CV
CLiF-VQA: Enhancing Video Quality Assessment by Incorporating High-Level Semantic Information related to Human Feelings
Harbin Institute of Technology（哈尔滨工业大学）
本文提出CLiF-VQA，首次利用CLIP与人类感受的一致性，通过语义特征提取器融合高层情感特征与空间特征，在多个VQA数据集上取得优异性能。
2023-11-13 cs.CV
Measurement of exceptional motion in VR video contents for VR sickness assessment using deep convolutional autoencoder
KAIST（韩国科学技术院）
本文提出了一种新的客观度量的异常运动在VR视频内容的VR疾病评估。在VR环境中，VR病可以由几个因素引起，这些因素是不匹配的运动，视野，运动视差，视角等。类似于运动病，VR病可以引起许多身体症状，如全身不适，头痛，胃意识，恶心，呕吐，疲劳和定向障碍。为了解决虚拟环境中的观看安全问题，开发一种客观的VR疾病评估方法来预测和分析VR内容引起的VR疾病的程度是非常重要的。所提出的方法考虑到运动信息，这是确定VR疾病的整体程度的最重要的因素之一。在本文中，我们检测异常的运动，可能会导致VR疾病。使用卷积自动编码器对VR视频内容中的异常运动的时空特征进行编码。为了客观地评估VR疾病，还通过使用卷积自动编码器来测量VR视频内容中的异常运动水平。该方法的有效性已成功地进行了主观评估实验，使用模拟器疾病问卷（SSQ）在VR环境中。
2018-04-11 cs.CV
AutoQ-VIS: Improving Unsupervised Video Instance Segmentation via Automatic Quality Assessment
Technical University of Denmark（技术大学）
AutoQ-VIS提出质量引导自训练闭环框架，通过自动质量评估弥合合成到真实域差距，在YouTubeVIS-2019上以52.6 AP50超越VideoCutLER 4.4%，实现无监督视频实例分割新SOTA。
2025-08-27 cs.CV
Learning Flexible Generalization in Video Quality Assessment by Bringing Device and Viewing Condition Distributions
MSU Institute for Artificial Intelligence（莫斯科国立人工智能研究所）；AI Center, Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学人工智能中心）
针对移动设备多屏幕质量评估问题，引入跨300多个安卓设备的大规模主观数据集及相关元数据，提出聚合分数提取和VQA模型适配策略，使质量预测更准确灵活。
2026-07-07 cs.CV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson（强生公司）；Johnson & Johnson Medical GmbH（强生医疗有限公司）
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈，以促进学习和发展。目前，这种反馈主要来自手动视频审查，这是时间密集型的，并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中，我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最先进的方法相比，改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时，这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内（Cholec80）数据集上评估所提出的方法，其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法，使用建议和国家的最先进的跟踪。我们的研究结果表明，使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能，仅基于视频流。
2022-07-05 cs.CV
StarVQA: Space-Time Attention for Video Quality Assessment
Guangzhou University（广州大学）；Guangdong University of Education（广东第二师范学院）；Xidian University（西安电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
注意力机制在计算机视觉中得到了广泛的应用。然而，其应用于视频质量评估（VQA）还没有报道。由于原始参考和拍摄失真的未知性，评估野外视频的质量具有挑战性。本文提出了一种新的\underline{s}空间- \underline{t}时间\underline{a}约束网络，用于\underline{r}的\underline{VQA}问题，称为StarVQA. StarVQA通过交替连接划分的时空注意力来构建一个Transformer。为了使Transformer架构适应训练，StarVQA通过将平均意见得分（MOS）编码为概率向量并嵌入特殊的向量化标签令牌作为可学习变量来设计向量化回归损失。为了捕获视频序列的长距离时空依赖性，StarVQA将每个补丁的时空位置信息编码到Transformer的输入。在实际的野外视频数据集上进行了各种实验，包括LIVE-VQC，KoNViD-1 k，LSVQ和LSVQ-1080 p。实验结果表明，所提出的StarVQA的国家的最先进的优越性。代码和模型将在：https://github.com/DVL/StarVQA。
2021-08-22 cs.CV
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文针对UGC直播视频质量评估问题，构建了首个主观UGC直播VQA数据库，并提出多维VQA评估器MD-VQA，从语义、失真和运动三方面衡量视觉质量，在多个数据库上取得最先进性能。
2023-04-19 cs.CV
Video-based Surgical Skill Assessment using Tree-based Gaussian Process Classifier
K. N. Toosi University of Technology（K.N.托西理工大学）；Concordia University（康考迪亚大学）
本文提出一种结合表示流卷积神经网络与树状高斯过程分类器的视频手术技能评估流程，在JIGSAWS数据集上显著提升准确性并降低计算成本，有助于技能提升与患者安全。
2023-12-21 cs.CV
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）；Ningbo University（宁波大学）
自适应视频流的体验质量（QoE）评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案（DASH）的情况下尤其具有挑战性，其具有包括附加回放问题的日益复杂的特性。在本文中，我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后，我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析，我们观察到，混合模型的性能优于服务质量（QoS）驱动的QoE方法和信号保真度测量。此外，对于相同的设置，基于机器学习的模型略微优于不使用机器学习的模型。此外，我们发现，现有的视频流QoE评估模型仍然有有限的性能，这使得它很难在实际的通信系统中应用。因此，基于传统视频质量预测的深度学习特征表示的成功，我们还应用了现成的深度卷积神经网络（DCNN）来评估流视频的感知质量，其中考虑了流视频的时空特性。实验证明了它的优越性，这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
