Depth Extraction from Video Using Non-parametric Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST（香港科技大学）；Nuro Inc.（努罗公司）；Scale AI（Scale人工智能公司）
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中，我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层，一个相机姿态细化模块，和一个深度融合网络。给定光流和相机姿态，我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的，因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外，深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明，我们的方法优于最先进的深度估计方法，并且具有合理的跨数据集泛化能力：我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
DPMix: Mixture of Depth and Point Cloud Video Experts for 4D Action Segmentation
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
针对点云视频长时序建模能力不足的问题，提出DPMix方法，将点云视频转换为深度视频并结合传统视频建模，通过集成深度与点云视频专家显著提升了4D动作分割准确率，在HOI4D Challenge 2023中获得第一名。
2023-07-31 cs.CV
Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences
Indian Institute of Technology Patna（巴特那印度理工学院）
3D场景的密集深度估计具有许多应用，主要在机器人和监视中。LiDAR和雷达传感器是实时深度估计的硬件解决方案，但这些传感器产生稀疏的深度图，有时不可靠。近年来，针对使用单个2D图像来处理深度估计的研究受到了很多关注。基于深度学习的自监督深度估计方法从纠正的立体和单目视频帧中显示出有希望的结果。我们提出了一个基于自我注意力的深度和自我运动网络的未校正的图像。我们还将相机的不可微失真引入训练管道。我们的方法进行竞争力相比，其他既定的方法，使用校正图像的深度估计。
2020-05-28 cs.CV
Online Video Depth Anything: Temporally-Consistent Depth Prediction with Low Memory Consumption
Heidelberg University（海德堡大学）
本文提出在线视频深度估计方法 oVDA，借鉴大语言模型的缓存与掩码技术，在保证时间一致性的同时降低显存占用，并在边缘设备上实现实时运行。
2025-10-10 cs.CV
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院）
针对现有视频手术技能评估忽视三维空间信息的问题，提出语义RGB-深度融合框架，结合深度融合与分层注意力，在33例喉显微手术中技能分类F1达0.938，优于单一模态。
2026-10-02 cs.CV
Video Depth Anything: Consistent Depth Estimation for Super-Long Videos
ByteDance（字节跳动）
针对Depth Anything视频深度估计时序不一致、现有方法仅适用于短视频且需权衡质效的问题，提出Video Depth Anything，通过时空头、时序梯度损失及关键帧推理策略，实现超长视频高效一致的深度估计，刷新零样本SOTA。
2026-10-15 cs.AI cs.CV
A No-reference Quality Assessment Metric for Point Cloud Based on Captured Video Sequences
Shanghai Jiao Tong University（上海交通大学）；Bilibili Inc（哔哩哔哩公司）
点云是3D模型中使用最广泛的数字格式之一，其视觉质量对下采样、噪声和压缩等失真非常敏感。为了解决点云质量评估（PCQA）的挑战，在场景中的参考是不可用的，我们提出了一个无参考的质量评估指标的彩色点云的基础上捕获的视频序列。具体来说，通过将摄像机围绕点云通过三个特定轨道旋转来获得三个视频序列。视频序列不仅包含静态视图，还包含多帧时间信息，这有助于理解人类对点云的感知。然后，我们修改ResNet3D作为特征提取模型，以学习捕获视频和相应的主观质量分数之间的相关性。实验结果表明，该方法的性能优于大多数最先进的全参考和无参考PCQA指标，这验证了所提出的方法的有效性。
2022-09-20 cs.CV eess.IV
Depth-Aware Endoscopic Video Inpainting
Durham University（杜伦大学）；Swansea University（斯旺西大学）
本文提出深度感知内窥镜视频修复框架DAEVI，通过时空引导深度估计、双模态通道融合和深度增强判别器，在保留三维空间细节的同时提升修复质量，PSNR提高2%、MSE降低6%。
2024-07-02 cs.CV eess.IV
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人部门）
我们提出了一种新的方法，同时学习的深度，自我运动，对象运动，和相机的本质从单目视频，仅使用相邻视频帧的一致性作为监督信号。与之前的工作类似，我们的方法通过对帧应用可微扭曲并将结果与相邻帧进行比较来学习，但它提供了几项改进：我们直接使用训练期间预测的深度图，以几何和可微的方式解决遮挡问题。我们引入随机层归一化，一种新的强大的正则化，我们占对象运动相对于场景。据我们所知，我们的工作是第一个以无监督的方式从视频中学习相机内部参数，包括镜头失真，从而使我们能够从任意未知来源的视频中提取准确的深度和运动。我们评估了我们在Cityscapes，KITTI和EuRoC数据集上的结果，建立了深度预测和里程计的新技术水平，并定性地证明了可以从YouTube视频集合中学习深度预测。
2019-04-10 cs.CV cs.GR cs.LG
Depth estimation from 4D light field videos
Kagoshima University（鹿儿岛大学）
本文提出一种端到端神经网络架构，利用4D光场视频中的时间信息提升噪声区域的深度估计精度，并构建了中等规模的合成4D光场视频数据集用于训练和验证。
2020-12-08 cs.CV cs.LG eess.IV
Manipulation-skill Assessment from Videos with Spatial Attention Network
The University of Tokyo（东京大学）；Hunan University（湖南大学）
计算机视觉的最新进展使从视频中自动评估人类执行任务的操作技能成为可能，这在健康康复和制造等领域孕育了许多重要的应用。以前的基于视频的技能评估方法没有考虑人类在评估视频时使用的注意力机制，限制了它们的性能，因为只有一小部分视频区域为技能评估提供信息。我们的动机是估计视频中的注意力，这有助于关注至关重要的视频区域，以更好地进行技能评估。特别是，我们提出了一种新的基于RNN的空间注意力模型，该模型考虑了先前帧的累积注意力状态以及有关正在进行的任务进展的高级知识。我们评估我们的方法上新收集的数据集的婴儿抓握任务和现有的四个数据集的手操作任务。实验结果表明，国家的最先进的性能，可以通过考虑在自动技能评估的注意。
2019-04-10 cs.CV
CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation
Shanghai Jiao Tong University（上海交通大学）；Eindhoven University of Technology（埃因霍温理工大学）
本研究推出首个相机控制型世界视频生成质量评估基准CamWorldQA，并提出含三分支的无参考评估网络CWQA，实验显示其性能优于现有方法。
2026-08-20 cs.CV
Diving Performance Assessment by means of Video Processing
Politecnico di Milano（米兰理工大学）
本文的目的是提出一个程序的视频分析应用在一个创新的方式，潜水性能评估。运动表现分析是一种趋势，对所有水平的运动员都呈指数增长。这里显示的技术基于两个重要要求：灵活性和低成本。这两方面的要求导致了视频处理中的许多问题，这些问题正是本文所要面对和解决的。
2017-05-09 cs.CV
MOSaiC: a Web-based Platform for Collaborative Medical Video Assessment and Annotation
IHU Strasbourg（斯特拉斯堡大学医院研究所）；ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室，法国国家科学研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院IRCCS基金会）
本研究推出Web端协作平台MOSaiC 3.6.2，具备标注、评估等多类核心功能，可支撑医学视频相关工作，已助力多项医学数据科学研究的数据集开发。
2023-12-14 cs.CV
Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment
Cardiff University（卡迪夫大学）；Shandong University of Science and Technology（山东科技大学）；Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；City University of Hong Kong（香港城市大学）
本文提出参考感知视频质量评估方法RefVQA，通过构建查询中心参考图进行语义相关样本组织，并利用图引导差异聚合提升视频质量评估性能。
2026-04-18 cs.CV
Multilevel Semantic-Aware Model for AI-Generated Video Quality Assessment
Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
针对AI生成视频质量评估难题，提出MSA-VQA多层级语义感知模型，通过CLIP提示词语义监督、交叉注意力及语义突变感知模块，在帧、片段和视频层级建模并取得SOTA性能。
2025-01-06 cs.CV
Deep Convolutional Neural Network Applied to Quality Assessment for Video Tracking
Pontificia Universidad Javeriana（哈韦里亚纳宗座大学）
监控视频在采集和存储过程中经常会出现模糊和曝光失真，这会对视频分析任务的自动图像分析结果产生不利影响。本文的目的是部署一个算法，可以自动评估存在的曝光失真的视频。在这项工作中，我们设计和建立一个架构的深度学习应用于识别失真的视频。目标是了解视频是否存在曝光失真。这种算法可以用于增强或恢复图像或创建对象跟踪器失真感知。
2018-10-26 cs.CV
A Survey of Video-based Action Quality Assessment
Fudan University（复旦大学）；ZhongShan Hospital（中山医院）；Ji Hua Laboratory（季华实验室）
人体行为识别与分析在视频监控、视频检索、人机交互等领域有着巨大的需求和重要的应用意义。人类行为质量评价的任务要求智能系统能够自动、客观地评价人类完成的行为。行动质量评估模型可以减少行动评估所花费的人力物力，降低主观性。在本文中，我们提供了一个全面的调查现有的文件基于视频的动作质量评估。与人类动作识别不同，动作质量评估的应用场景相对狭窄。现有的大部分工作集中在体育和医疗保健方面。我们首先介绍了人类行为质量评估的定义和挑战。然后，我们提出了现有的数据集和评估指标。此外，根据体育和医疗领域的特点，按模式类别和出版机构分别对这两个领域的方法进行了总结。最后，结合近年来的研究工作，对行动质量评估的发展方向进行了展望。
2022-04-20 cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法，通过结合对比学习和无参考视频质量评估，提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies（华为技术有限公司）
针对AIGC视频质量评估难题，本文构建了包含2,808个视频的LGVQ数据集，并提出融合视觉、运动与文本特征的UGVQ统一模型，在空间、时间和文本-视频对齐三个维度上均取得最优性能。
2024-12-26 cs.CV
Hybrid Dynamic-static Context-aware Attention Network for Action Assessment in Long Videos
Sun Yat-sen University（中山大学）；Zhejiang Laboratory（之江实验室）；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
动作质量评估的目的是对体育视频进行评分。然而，大多数现有的工作仅关注视频动态信息（即，运动信息），但是忽略运动员在视频中执行的特定姿势，这对于长视频中的动作评估是重要的。在这项工作中，我们提出了一种新的混合动态静态上下文感知注意力网络（ACTION-NET）的动作评估长视频。为了学习更多的区别表示的视频，我们不仅学习视频的动态信息，但也专注于在特定帧中检测到的运动员的静态姿势，这代表了在某些时刻的动作质量，以及所提出的混合动态-静态架构的帮助。此外，我们利用一个上下文感知的注意力模块，包括一个时间的逐实例图卷积网络单元和两个流的注意力单元，以提取更强大的流特征，其中前者是探索实例之间的关系，后者为每个实例分配一个适当的权重。最后，我们结合两个流的特征来回归最终的视频分数，由专家给出的地面实况分数监督。此外，我们还收集和注释了新的艺术体操数据集，其中包含四种不同类型的体操套路的视频，用于评估长视频中的动作质量评估。大量的实验结果验证了我们提出的方法的有效性，它优于相关的方法。代码和数据集可在\url{https://github.com/lingan1996/ACTION-NET}上获得。
2020-08-13 cs.CV
VE-Bench: Subjective-Aligned Benchmark Suite for Text-Driven Video Editing Quality Assessment
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出VE-Bench基准套件，包含视频编辑质量评估数据库VE-Bench DB和定量评估方法VE-Bench QA，通过关注文本-视频对齐和源视频与编辑视频相关性，实现了与人类偏好对齐的视频编辑质量评估。
2024-12-18 cs.CV
Automated Sperm Assessment Framework and Neural Network Specialized for Sperm Video Recognition
Yokohama National University（横滨国立大学）；Yokohama City University Medical Center（横滨市立大学医学中心）
针对现有精子评估忽视运动与多形态且标签单一的问题，构建含头颈尾的视频数据集并用软标签，提出RoSTFine网络提升评估性能并聚焦关键部位。
2023-11-13 cs.CV
Neural video codecs quality assessment dataset and benchmark
AI Center, Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学人工智能中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对神经视频编解码器（NVCs）时间压缩范式的质量评估需求，该研究构建了含NVCs与传统编解码器压缩视频的大规模主观数据集，通过众包成对比较获取评分，为相关视频质量指标的开发与基准测试提供了资源。
2026-09-01 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
DAVIDE: Depth-Aware Video Deblurring
Tampere University（坦佩雷大学）；Huawei Technologies（华为技术有限公司）
本文提出DAVIDE深度感知视频去模糊数据集，研究深度信息注入现有RGB去模糊模型的方式，并构建强基线，证明深度信息可提升去模糊性能但随时间上下文增长而效果减弱。
2024-09-02 cs.CV
Video Depth without Video Models
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 RollingDepth，将单图像潜在扩散模型扩展为多帧深度估计器，并结合优化配准融合不同帧率片段，实现无需视频基础模型的长视频高质量深度估计。
2025-03-17 cs.CV
Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment
Georgia Tech（佐治亚理工学院）
目的：基本的外科手术技巧，打结和打结是医疗培训的重要组成部分。拥有一个自动化的手术技能评估系统可以帮助节省专家的时间，提高培训效率。最近有一些使用视频分析或加速度数据进行自动手术技能评估的尝试。在本文中，我们提出了一种新的方法，自动评估OSATS的手术技能，并提供了一个分析的不同功能的多模态数据（视频和加速度计数据）。研究方法：据我们所知，我们进行了最大规模的研究，对包含视频和加速度计数据的数据集进行基本手术技能评估，用于缝合和打结任务。我们引入了“基于熵”的特征-近似熵（ApEn）和交叉近似熵（XApEn），它们量化了时间序列数据中波动的可预测性和规律性。建议的功能进行比较，现有的方法，顺序运动纹理（SMT），离散余弦变换（DCT）和离散傅立叶变换（DFT），手术技能评估。结果：我们报告了所有适用的OSATS标准中不同功能的平均性能，用于打结任务。我们的分析表明，所提出的基于熵的功能优于以前的国家的最先进的方法，使用视频数据。对于加速度计数据，我们的方法只对加速度计执行得更好。我们还表明，视频和加速功能的融合可以提高整体性能，所提出的熵功能实现最高的准确性。结论：使用所提出的熵特征可以实现高准确性的自动手术技能评估。这样的系统可以显著提高医学院校和教学医院的外科培训效率。
2017-02-24 cs.CV
Deep Multimodality Learning for UAV Video Aesthetic Quality Assessment
Beihang University（北京航空航天大学）；Beijing Electronic Science and Technology Institute（北京电子科技学院）；Peng Cheng Laboratory（鹏城实验室）
尽管无人机（UAV）和航拍视频的数量越来越多，但关注航拍视频美学的研究却很少，这些研究可以为提高航拍的美学质量提供有价值的信息。在这篇文章中，我们提出了一种用于无人机视频美学质量评估的深度多模态学习方法。更具体地说，多流框架被设计成利用来自多个模态的美学属性，包括空间外观、无人机相机运动和场景结构。提出了一种新的专门设计的运动流网络，这个新的多流框架。我们构建了一个包含6,000个无人机摄像头拍摄的无人机视频的数据集。该模型可以判断无人机视频是由专业摄影师还是业余爱好者拍摄的，并结合场景类型分类。实验结果表明，我们的方法优于视频分类方法和传统的基于SVM的视频美学方法。最后给出了该方法在无人机视频分级、专业段检测和基于美学的无人机路径规划中的应用实例。
2020-11-04 cs.CV
DCVQE: A Hierarchical Transformer for Video Quality Assessment
Weibo R&D Limited（微博研发有限公司）；Microsoft（微软）
用户生成视频的爆炸式增长刺激了对无参考视频质量评估（NR-VQA）的巨大需求。受我们对人类注释行为的观察的启发，我们提出了一种用于NR-VQA的分而治之的视频质量估计（DCVQE）。从提取帧级质量嵌入（QE）开始，我们的建议将整个序列分成若干片段，并应用Transformers来学习片段级QE并同时更新帧级QE;另一个Transformer被引入来组合片段级QE以生成视频级QE。我们将这种Transformers的分层组合称为分而治之Transformer（DCTr）层。通过多次重复该DCTr层的处理，可以实现精确的视频质量特征提取。考虑到标注数据之间的顺序关系，我们还提出了一种新的相关损失项用于模型训练。在不同数据集上的实验证实了我们的DCVQE模型的有效性和鲁棒性。
2022-10-10 cs.CV
LEHA-CVQAD: Dataset To Enable Generalized Video Quality Assessment of Compression Artifacts
ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）
提出LEHA-CVQAD数据集及RDAE指标，用于压缩视频质量评估，发现现有VQA方法存在高RDAE和低相关性。
2025-07-08 cs.CV
Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文构建了迄今最大规模的文本到视频质量评估数据库 T2VQA-DB，并提出基于 Transformer 的 T2VQA 模型，从文本-视频对齐和视频保真度角度提取特征并结合大语言模型预测主观质量分数，实验证明其优于现有方法。
2024-08-07 cs.CV
No-Reference Rendered Video Quality Assessment: Dataset and Metrics
State Key Lab of CAD&CG, Zhejiang University（CAD与CG国家重点实验室，浙江大学）；OPPO Nanjing Research Center（OPPO南京研究中心）
针对现有无参考视频质量评估方法在渲染视频上预测偏差的问题，提出一个大规模渲染视频数据集和专用NR-VQA指标，通过结合图像质量与时间稳定性评估，在渲染视频上性能优于现有方法，并可用于超采样和帧生成策略基准测试。
2025-10-15 cs.CV
Assessment of gait normality using a depth camera and mirrors
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
本文提出了一个初步的工作评估步态正常的人体运动表示的增强深度图序列。输入数据由飞行时间（ToF）深度相机和两个反射镜组成的系统提供。该方法提出了两种特征类型来描述局部兴趣点的特征和姿势对称性的水平。这两个特征在滑动窗口的支持下在增强的深度图序列上处理，以提供两个对应的分数。最后基于这两个分数的加权组合来执行步态评估。通过对6种模拟的异常步态进行实验来进行评估。
2019-08-17 cs.CV
An Ensemble Approach to Short-form Video Quality Assessment Using Multimodal LLM
City University of Hong Kong（香港城市大学）；Google Inc.（谷歌公司）
本文提出一种轻量级集成方法，自适应融合多模态大语言模型与现有BVQA模型的预测，有效提升了短视频质量评估的泛化性能，并揭示了模型改进方向。
2024-12-24 cs.CV
Video-based assessment of intraoperative surgical skill
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
目的：本调查的目的是提供一个全面的分析，最先进的方法，在手术室的手术技能的视频为基础的评估。研究方法：使用一个数据集的99个视频撕囊，在白内障手术的关键步骤，我们评估功能为基础的方法，以前开发的手术技能评估主要是在台式设置。此外，我们还提出并验证了两种深度学习方法，它们可以直接使用RGB视频评估技能。在第一种方法中，我们预测仪器提示作为关键点，并使用时间卷积神经网络学习手术技巧。在第二种方法中，我们提出了一种新的架构，手术技能评估，其中包括一个逐帧编码器（二维卷积神经网络），其次是一个时间模型（递归神经网络），这两个都是增强视觉注意力机制。我们通过5倍交叉验证报告了每种方法的受试者工作特征曲线下面积、灵敏度、特异性和预测值。结果如下：对于二元技能分类（专家与新手）的任务，基于深度神经网络的方法比基于经典时空兴趣点的方法表现出更高的AUC。使用注意力机制的神经网络方法也显示出高灵敏度和特异性。结论：深度学习方法对于手术室中基于视频的手术技能评估是必要的。我们的研究结果的内部效度的网络使用注意力机制，以评估技能直接使用RGB视频应在其他数据集的外部效度进行评估。
2022-05-13 cs.CV
Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本研究针对现有通用VQA模型不适配曝光校正效果评估的问题，扩展构建VEC-QA数据集，提出带视觉-语言引导与HVS模块的Light-VQA+模型，在多个数据集上性能超越现有SOTA VQA模型。
2024-05-14 cs.CV
Video-Based Hand Pose Estimation for Remote Assessment of Bradykinesia in Parkinson's Disease
University of Florida（佛罗里达大学）
该研究针对远程医疗场景下姿态估计用于帕金森病运动迟缓评估的准确性缺口，测试7种手部姿态模型在本地与流媒体录制的手指敲击测试视频中的表现，发现流媒体场景下模型准确性与特征可靠性显著下降，本地录制可用于自动评估。
2023-08-28 cs.CV
Beyond Source Prompts: Towards Visually Grounded AI-Generated Video Quality Assessment
University of Bristol（布里斯托大学）
针对AI生成视频质量评估中源提示与生成内容不符的问题，本文提出视觉接地的VGCap框架，引入全局与片段字幕，在LGVQ和FETV数据集上优于基线，验证了视觉接地字幕的有效性。
2026-10-16 cs.CV
ViDAS: Vision-based Danger Assessment and Scoring
SRM Institute of Science and Technology（SRM科学技术学院）；Vellore Institute of Technology（韦洛尔理工学院）
ViDAS数据集包含100个带人类危险评分和时间戳的YouTube视频，利用LLM独立评估并引入MSE分数进行元评估，证明LLM在危险评估中具有类人潜力。
2024-10-01 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics（三星电子）
针对视频帧插值中精度与效率难以兼顾的问题，本文提出难度预评估与模型动态选择相结合的集成流水线，并构建大规模难度评估数据集，从而改善精度—效率权衡。
2023-04-25 cs.CV
Advancing Video Quality Assessment for AIGC
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）；WeChat, Tencent Inc（腾讯公司微信业务）
针对生成视频帧间质量差异问题，提出结合MAE与交叉熵的损失函数及S2CNet技术，在AIGC Video数据集上PLCC指标提升3.1%。
2024-09-23 cs.CV
A-MAL: Automatic Movement Assessment Learning from Properly Performed Movements in 3D Skeleton Videos
The University of Haifa（海法大学）
评估运动质量的任务最近在各种领域中获得了很高的需求。自动评估由诸如Kinect摄像机等经济实惠的设备捕获的视频中的受试者运动的能力对于监测临床康复过程、改善运动技能和运动学习任务至关重要。在精确跟踪运动阶段的同时需要注意低层次的细节，这使得这项任务非常具有挑战性。在这项工作中，我们介绍了A-MAL，一个自动的，强大的运动评估学习算法，只学习从正确执行的运动视频没有进一步的注释，由偏差时间分割算法，参数相关性检测算法，一种新的时间扭曲算法，是基于自动检测的共同时间点的兴趣和文本反馈生成机制。我们从Fugl-Meyer评估（FMA）测试中展示了我们的方法，该测试通常由职业治疗师进行，以监测中风后患者的恢复过程。
2020-07-15 cs.CV
MRET: Multi-resolution Transformer for Video Quality Assessment
Google Research（谷歌研究院）；Google（谷歌）
用户生成内容（UGC）的无参考视频质量评估（NR-VQA）对于理解和改善视觉体验至关重要。与视频识别任务不同，VQA任务对输入分辨率的变化很敏感。由于现在大量的UGC视频都是720 p或更高，传统NR-VQA方法中使用的固定且相对较小的输入导致许多视频丢失高频细节。在本文中，我们提出了一种新的基于transformer的NR-VQA框架，保留了高分辨率的质量信息。通过多分辨率输入表示和一种新的多分辨率补丁采样机制，我们的方法可以全面地查看全局视频组成和局部高分辨率细节。所提出的方法可以有效地聚合质量信息在不同粒度的空间和时间维度，使模型的鲁棒性输入分辨率的变化。我们的方法在大规模UGC VQA数据集LSVQ和LSVQ-1080 p以及KoNViD-1 k和LIVE-VQC上实现了最先进的性能，无需微调。
2023-03-29 cs.CV
Analytic Score Optimization for Multi Dimension Video Quality Assessment
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文提出多维视频质量评估数据集UltraVQA，并引入分析评分优化方法，通过理论支持的后训练目标提升质量评分精度，实验显示其在质量预测中表现优异。
2026-02-18 cs.CV
IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）；University of Auckland（奥克兰大学）；National University of Singapore（新加坡国立大学）
IVEBench通过引入多样化的视频数据库和多维评估协议，解决现有视频编辑基准在评估指令引导视频编辑方面的不足，提供全面的人类对齐评估结果。
2026-03-27 cs.CV
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation
State University of New York at Buffalo（纽约州立大学布法罗分校）；Microsoft（微软公司）；Advanced Micro Devices（超威半导体公司）
针对以人为中心的视频-深度联合生成研究不足的问题，提出IDOL统一双模态潜在扩散模型，通过统一双模态U-Net和两种一致性损失实现高质量对齐生成，在多个数据集上性能超越现有方法。
2024-07-15 cs.CV
MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究的问题，有效地评估建筑物损坏后，自然灾害，如飓风，洪水或火灾，通过航空视频分析。我们做出了两个主要贡献。第一个贡献是一个新的数据集，由来自社交媒体的用户生成的空中视频组成，并带有实例级建筑损坏遮罩的注释。这为定量评估模型提供了第一个基准，以使用航空视频评估建筑物损坏。第二个贡献是一个新的模型，即MSNet，其中包含新的区域建议网络设计和一个无监督的分数细化网络的置信度评分校准在限界框和掩码分支。我们表明，与我们数据集中以前的方法相比，我们的模型实现了最先进的结果。我们将发布我们的数据、模型和代码。
2020-12-31 cs.CV
ProSkill: Segment-Level Skill Assessment in Procedural Videos
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision公司）；Toyota Motor Europe（丰田欧洲公司）
ProSkill是首个针对程序化任务动作级技能评估的基准数据集，通过新颖的注释协议提供绝对和成对的技能评估，用于评估最新技能评估算法。
2026-01-28 cs.CV
Exploring AIGC Video Quality: A Focus on Visual Harmony, Video-Text Consistency and Domain Distribution Gap
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Peng Cheng Laboratory（鹏城实验室）
本研究针对AIGC视频评估挑战，从视觉和谐性、视频-文本一致性与域分布差距三个维度设计特定模块进行全面质量评估，并引入源生成模型预测以增强特征判别力，在NTIRE 2024竞赛中获第三名。
2024-04-27 cs.CV
Surgical Skill Assessment via Video Semantic Aggregation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Dalian University of Technology（大连理工大学）；AIST（产业技术综合研究所）
基于视频的手术技能自动评估是一项很有前途的任务，可以帮助年轻的外科实习生，特别是在资源匮乏的地区。现有的工作通常采用CNN-LSTM联合框架，该框架通过LSTM对空间汇集的短期CNN特征进行长期关系建模。然而，这种做法将不可避免地忽略了语义概念之间的差异，如工具，组织和背景的空间维度，阻碍了后续的时间关系建模。在本文中，我们提出了一种新的技能评估框架，视频语义聚合（ViSA），发现不同的语义部分，并将它们聚集在时空维度。语义部分的显式发现提供了一个解释性的可视化，有助于理解神经网络的决策。它还使我们能够进一步纳入辅助信息，如运动学数据，以提高表示学习和性能。在两个数据集上的实验表明，与最先进的方法相比，ViSA具有竞争力。源代码可在bit.ly/MICCAI2022ViSA上获得。
2022-08-04 cs.CV
Visual Realism Assessment for Face-swap Videos
Beijing University of Civil Engineering and Architecture（北京建筑大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文针对换脸视频的视觉真实感评估（VRA）构建了基于DFGC 2022数据集的基准，通过11个模型和3种协议的综合实验，验证了自动VRA模型的可行性及深度伪造检测特征的有效性。
2023-07-30 cs.CV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
