SoccerDB: A Large-Scale Database for Comprehensive Video Understanding
State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；Xinhua Zhiyun Technology Co., Ltd.（新华智云科技有限公司）
足球视频可以作为视频理解的一个完美的研究对象，因为足球比赛是在定义良好的规则下进行的，同时复杂和有趣的研究人员足以研究。在本文中，我们提出了一个新的足球视频数据库名为SoccerDB，包括171,191视频片段，从346个高质量的足球比赛。该数据库包含702，096个边界框，37，709个具有时间边界的基本事件标签和17，115个用于目标检测，动作识别，时间动作定位和高光检测任务的高光注释。据我们所知，它是最大的数据库，全面的体育视频理解的各个方面。我们进一步调查了SoccerDB上的一系列强基线，这些基线在独立任务上表现出了最先进的性能。我们的评估表明，当我们共同考虑这些任务之间的内在相关性时，我们可以受益匪浅。我们相信SoccerDB的发布将极大地推动全面视频理解的研究。{ \itshape我们的数据集和代码发布在https：//github.com/newsdata/SoccerDB上。}
2020-09-08 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.（新华智云科技有限公司）；Columbia University in the City of New York（纽约哥伦比亚大学）
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中，我们制定了视频摘要作为一个基于内容的推荐问题，这应该提取最有用的内容，从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络，通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外，我们还完成了未裁剪视频中的场景和动作识别，以便在视频理解任务的不同方面之间找到更多的相关性。此外，本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作，以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
A Large-scale Comprehensive Dataset and Copy-overlap Aware Evaluation Protocol for Segment-level Video Copy Detection
Ant Group（蚂蚁集团）
在本文中，我们介绍了VCSL（视频复制段定位），一个新的全面的段级注释的视频复制数据集。与现有的受视频级标注或小规模限制的拷贝检测数据集相比，VCSL不仅具有多两个数量级的片段级标注数据，16万个真实视频拷贝对中包含超过28万个局部拷贝片段对，而且覆盖了多种视频类别和广泛的视频时长。每个收集的视频对中的所有复制片段都是手动提取的，并附有精确注释的开始和结束时间戳。除了数据集之外，我们还提出了一种新的评估协议，该协议可以更好地测量视频对之间复制重叠片段的预测准确性，并在不同场景中显示出更好的适应性。通过对几种基线和最先进的分段级视频复制检测方法与建议的数据集和评估指标进行基准测试，我们提供了一个全面的分析，揭示了当前方法的优点和缺点，希望为未来的工作开辟有前途的方向。VCSL数据集、指标和基准代码都可以在https://github.com/alipay/VCSL上公开获得。
2022-06-16 cs.CV
V2V-Bench: A Comprehensive Benchmark for Video-to-Video Generation Evaluation
Centific Global Solutions Inc.（Centific全球解决方案公司）
针对视频到视频生成评估中现有指标无法同时衡量编辑指令遵循和帧级对应的问题，提出包含11个维度、5个类别的V2V-Bench基准，评估三个模型并验证其与人类判断高度相关。
2026-06-04 cs.CV
H2VU-Benchmark: A Comprehensive Benchmark for Hierarchical Holistic Video Understanding
OPPO AI Center（OPPO人工智能中心）
针对现有视频理解基准覆盖不足的问题，提出层次化整体视频理解基准H2VU，通过扩展视频时长、增加反常识与轨迹追踪任务及第一人称数据，全面评估多模态大模型，并揭示其改进潜力。
2025-05-27 cs.AI cs.CV
EditBoard: Towards a Comprehensive Evaluation Benchmark for Text-Based Video Editing Models
University of Oxford（牛津大学）
针对视频编辑模型缺乏综合评估基准的问题，提出EditBoard，涵盖四维度九项自动指标及三项新保真度指标，在四类任务上客观评估模型优缺点，开源以标准化评估。
2025-01-19 cs.CV
Narrating the Video: Boosting Text-Video Retrieval via Comprehensive Utilization of Frame-Level Captions
School of Computer Science and Engineering, Kyungpook National University（庆北国立大学计算机科学与工程学院）
针对文本-视频检索中附加字幕利用不足与生成错误问题，提出NarVid框架，通过跨模态特征增强、自适应过滤、双模态匹配及难负样本损失，在多个基准上达到最优性能。
2025-03-26 cs.CV
3DGS-VBench: A Comprehensive Video Quality Evaluation Benchmark for 3DGS Compression
Shanghai Jiao Tong University（上海交通大学）；Basis Independent Silicon Valley（基础独立硅谷）；University of Missouri-Kansas City（密苏里大学-堪萨斯城）
针对3DGS压缩技术引入的失真缺乏系统评估的问题，构建了大规模视频质量评估基准3DGS-VBench，包含660个压缩模型与视频序列，并全面评估了6种压缩算法与15种质量评估指标，推动了专用VQA模型训练及相关研究。
2025-08-09 cs.CV eess.IV
VABench: A Comprehensive Benchmark for Audio-Video Generation
Peking University（北京大学）；Zhongguancun Academy（中关村学院）；Beijing Key Laboratory of Data Intelligence (Peking University)（北京市数据智能重点实验室（北京大学））；Ant Group（蚂蚁集团）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Huazhong University of Science and Technology（华中科技大学）
本文提出VABench，一个用于评估同步音频视频生成能力的综合性基准，涵盖三种任务类型和15个评估维度，旨在建立新的评估标准以推动视频生成领域的发展。
2026-04-06 cs.CV cs.SD
A Novel comprehensive method for real time Video Motion Detection Surveillance
DRML Avadh University（DRML阿瓦德大学）；Amity University（阿米提大学）
本文介绍了一种用于监视和监控应用的综合系统。一个有效的实时视频运动检测系统的发展是出于他们的潜在部署在安全是主要关注的领域。本文介绍了一个平台，用于实时的视频运动检测和后续生成的报警条件所设置的参数的控制系统。该原型由一个安装有RF相机的移动平台组成，该平台提供环境的连续反馈。然后由用户分析所接收的视觉信息以进行适当的控制动作，从而使用户能够从远程位置操作系统。该系统还配备有处理物体图像和生成控制信号的能力，这些控制信号被自动传输到移动平台以跟踪物体。
2011-09-30 cs.CV
MBench: A Comprehensive Benchmark on Memory Capability for Video World Models
Tsinghua University（清华大学）；WeChat Vision, Tecent Inc.（微信视觉，腾讯公司）；Peking University（北京大学）
提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。
2026-06-08 cs.CV
HarmonySet: A Comprehensive Dataset for Understanding Video-Music Semantic Alignment and Temporal Synchronization
WeChat Vision, Tencent Inc.（腾讯公司微信视觉部）；Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）
本文提出综合数据集HarmonySet及人机协作标注与多维评估框架，显著提升多模态模型对视频与音乐间语义对齐和时间同步关系的分析能力。
2025-03-04 cs.CV
OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学X-LANCE实验室）
OmniMMI是一个面向流式视频情境的全面多模态交互基准，包含1121个视频和2290个问题，并提出了M4框架以实现推理高效的流式模型。
2025-03-29 cs.CV
COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis
Tsinghua University（清华大学）；Meitu Inc.（美图公司）
互联网上有大量的教学视频，使我们能够获得完成各种任务的知识。然而，大多数现有的教学视频分析数据集的多样性和规模的限制，这使得他们远离许多现实世界中的应用程序，更多样化的活动发生。此外，组织和利用这些数据仍然是一个巨大的挑战。为了解决这些问题，我们引入了一个名为“COIN”的大规模数据集，用于综合教学视频分析。COIN数据集以分层结构组织，包含12个领域中180个任务的11,827个视频（例如，车辆、小工具等）与我们的日常生活有关。通过一个新开发的工具箱，所有的视频都有效地注释了一系列的步骤描述和相应的时间边界。此外，我们提出了一个简单而有效的方法来捕捉不同步骤之间的依赖关系，它可以很容易地插入到传统的基于提议的动作检测方法，用于定位教学视频中的重要步骤。为了给教学视频分析提供一个基准，我们在COIN数据集上根据不同的评估标准评估了大量的方法。我们期望COIN数据集的引入将促进社区未来对教学视频分析的深入研究。
2019-03-07 cs.CV
HVS Revisited: A Comprehensive Video Quality Assessment Framework
Guangzhou University（广州大学）；Xidian University（西安电子科技大学）；City University of Hong Kong（香港城市大学）
视频质量是视频服务提供商的主要关注点。近年来，基于深度卷积神经网络（CNN）的视频质量评估（VQA）技术得到了迅速发展。虽然现有的工作试图将人类视觉系统（HVS）的知识引入到VQA中，但仍然表现出限制，阻止HVS的充分利用，包括由少数特征组成的不完整模型和这些特征之间的连接不足。为了克服这些局限性，本文重新访问HVS的五个代表性的特点，并进一步重组他们的连接。在此基础上，提出了一个无参考的VQA框架HVS-5 M（NRVQA框架，5个模块模拟具有5个特性的HVS）。它采用先进的网络结构，采用域融合设计范式。在空间域方面，视觉显著性模块应用SAMNet来获得显著性图。然后，内容依赖模块和边缘掩蔽模块分别利用ConvNeXt提取空间特征，并通过显着性图对空间特征进行精心加权，以突出显示人类可能感兴趣的区域。在时间域的另一侧，为了补充静态空间特征，运动感知模块使用SlowFast来获得动态时间特征。时间滞后模块采用TempHyst模拟人类的记忆机制，根据时空域的融合特征对质量分数进行综合评价。大量的实验表明，我们的HVS-5 M优于国家的最先进的VQA方法。进一步进行消融研究，以验证每个模块对拟议框架的有效性。
2022-10-09 cs.CV eess.IV
CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance Inc.（字节跳动公司）；University of Oregon（俄勒冈大学）
视频实例分割是一项复杂的任务，我们需要检测、分割和跟踪任何给定视频的每个对象。先前的方法仅利用单帧特征来检测、分割和跟踪对象，并且由于运动模糊和剧烈的外观变化等几个不同的挑战，它们在视频场景中受到影响。为了消除仅使用单帧特征所引入的歧义，我们提出了一种新的综合特征聚合方法（CompFeat），利用时间和空间上下文信息在帧级和对象级细化特征。聚合过程是精心设计的一个新的注意力机制，显着增加了学习功能的判别力。我们进一步提高我们的模型的跟踪能力，通过一个连体的设计，将功能相似性和空间相似性。在YouTube-VIS数据集上进行的实验验证了所提出的CompFeat的有效性。我们的代码将在https://github.com/SHI-Labs/CompFeat-for-Video-Instance-Segmentation上提供。
2020-12-07 cs.CV
Video-CoT: A Comprehensive Dataset for Spatiotemporal Understanding of Videos Based on Chain-of-Thought
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artifcial Intelligence, UCAS（中国科学技术大学人工智能学院）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Shenzhen International GraduateSchool,Tsinghua University（深圳国际研究生院，清华大学）；State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，北京大学计算机学院）
针对现有视觉语言模型难以捕捉视频精细时空细节的问题，研究提出包含19.2万时空问答对、2.3万CoT标注样本的Video-CoT数据集及配套基准，实验验证了当前VLM的时空理解短板，为相关研究提供新资源。
2025-06-12 cs.CV
VBench: Comprehensive Benchmark Suite for Video Generative Models
Nanyang Technological University（南洋理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出 VBench 综合评测基准，将视频生成质量拆解为 16 个细粒度维度，并提供人类偏好标注以验证与人类感知的一致性，从而揭示模型优劣势并推动视频生成发展。
2023-11-29 cs.CV
KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation
研究关键帧条件视频生成，提出关键帧指南针综合基准及自动评估框架，将关键帧执行分解为六个指标评估，通过实验揭示当前模型在关键帧执行与自然视频合成间存在权衡等局限性。
2026-07-17 cs.CV
VideoEval: Comprehensive Benchmark Suite for Low-Cost Evaluation of Video Foundation Model
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对现有视频基础模型评估基准多样性不足、成本高、指标饱和的问题，本文提出包含VidTAB和VidEB的综合基准套件VideoEval，对20个开源模型开展大规模研究并得出多项关于模型泛化与预训练范式的关键发现。
2024-07-09 cs.CV
CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales
NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；UCAS（中国科学院大学）；Kling Team（Kling团队）；NJU（南京大学）；FDU（复旦大学）；PKU（北京大学）
提出CapRiCorn-1K基准，评估视频字幕质量和主体指代一致性，发现现有模型在长视频中表现下降，且指标与下游任务性能强相关。
2026-06-23 cs.CL cs.CV
HA-ViD: A Human Assembly Video Dataset for Comprehensive Assembly Knowledge Understanding
The University of Auckland（奥克兰大学）
该研究发布首个面向工业装配知识理解的人类装配视频数据集 HA-ViD，提供多视角多模态视频与丰富时空标注，并评测四类基础视频理解任务。
2023-07-09 cs.CV
Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models
Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）；Microsoft（微软）；FarReel AI Lab（FarReel人工智能实验室）
本文提出Video-Bench综合基准与工具包，通过10项任务从三个层次评估视频大语言模型，并评估8个代表性模型，揭示当前模型在真实视频理解上仍远未达到人类水平。
2023-11-28 cs.AI cs.CV
A Comprehensive Study of Deep Video Action Recognition
Amazon Web Services（亚马逊云科技）
视频动作识别是视频理解的代表性任务之一。在过去的十年中，由于深度学习的出现，我们见证了视频动作识别的巨大进步。但我们也遇到了新的挑战，包括对视频中的长距离时间信息进行建模，高计算成本以及由于数据集和评估协议差异而导致的无法比较的结果。在本文中，我们对现有的200多篇关于视频动作识别的深度学习的论文进行了全面的调查。我们首先介绍了影响模型设计的17个视频动作识别数据集。然后，我们按时间顺序介绍视频动作识别模型：从适应深度学习的早期尝试开始，然后是双流网络，然后是采用3D卷积核，最后是最近的计算效率模型。此外，我们在几个有代表性的数据集上对流行的方法进行基准测试，并发布代码以实现可重复性。最后，我们讨论了开放的问题，并阐明了视频动作识别的机会，以促进新的研究思路。
2020-12-11 cs.CV cs.MM
Comprehensive Instructional Video Analysis: The COIN Dataset and Performance Evaluation
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华深圳国际研究生院）
由于互联网上大量的爆炸性的教学视频，新手能够获得完成各种任务的知识。在过去的十年里，越来越多的人致力于研究教学视频分析问题。然而，这一领域现有的大多数数据集在多样性和规模上都有局限性，这使得它们与许多发生更多样化活动的现实世界应用相距甚远。为了解决这个问题，我们提出了一个名为“COIN”的大规模数据集，用于综合性教学视频分析。COIN数据集以分层结构组织，包含12个领域中180个任务的11,827个视频（例如，车辆、小工具等）与我们的日常生活有关。使用新开发的工具箱，所有视频都使用一系列步骤标签和相应的时间边界进行有效注释。为了提供教学视频分析的基准，我们在五种不同的设置下评估了COIN数据集上的大量方法。此外，我们利用两个重要特征（即，任务一致性和顺序依赖性）来定位教学视频中的重要步骤。因此，我们提出了两个简单而有效的方法，可以很容易地插入到传统的基于提议的动作检测模型。我们相信，COIN数据集的引入将推动社区未来对教学视频分析的深入研究。我们的数据集，注释工具箱和源代码可在http://coin-dataset.github.io上获得。
2020-03-20 cs.CV
UltraVideo: High-Quality UHD Video Dataset with Comprehensive Captions
针对现有公开数据集无法支撑超高清视频生成研究的问题，本文提出高质量开源UHD-4K文本到视频数据集UltraVideo，设计四阶段自动化整理流程，并基于该数据集扩展出UltraWan-1K/-4K模型，验证了数据整理的有效性。
2025-06-16 cs.CV
A Comprehensive Review on Recent Methods and Challenges of Video Description
National Institute of Technology Silchar（西尔查尔国家理工学院）
视频描述涉及视频中动作、事件和对象的自然语言描述的生成。视频描述的各种应用包括填补语言和视觉障碍人群之间的空白、基于内容生成自动标题建议、基于内容浏览视频和视频引导的机器翻译[86]等。在过去的十年中，在视频描述的方法/方法、评估指标和数据集方面，在该领域已经完成了一些工作。为了分析视频描述任务的进展，需要全面调查，涵盖视频描述方法的所有阶段，特别关注最近的深度学习方法。在这项工作中，我们报告了一个全面的调查阶段的视频描述方法，视频描述的数据集，评价指标，公开比赛，激励研究的视频描述，在这一领域的开放挑战，以及未来的研究方向。在这次调查中，我们涵盖了为每个数据集提出的最先进的方法及其优缺点。对于这个研究领域的增长，大量基准数据集的可用性是一个基本需求。此外，我们将所有数据集分为两类：开放域数据集和特定域数据集。从我们的调查中，我们观察到，在这一领域的工作是在快速发展，因为视频描述的任务落在计算机视觉和自然语言处理的交叉点。但是，由于各种挑战，如由于影响视觉特征质量的相似帧导致的冗余，包含更多样化内容的数据集的可用性以及有效评估度量的可用性，视频描述中的工作远未达到饱和阶段。
2020-11-30 cs.CL cs.CV
Video Summarization Techniques: A Comprehensive Review
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）；Alexandria University（亚历山大大学）
本文是一篇视频摘要技术综述，梳理了抽取式、生成式及混合式三类视频摘要方法的技术细节，介绍了相关应用、挑战与基准数据集，为该领域研究的现状和未来方向提供了全面参考。
2024-10-06 cs.CV
VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models
Nanyang Technological University（南洋理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出 VBench++，一个包含 16 个细粒度维度、人类对齐标注和可信度评估的全面视频生成基准，支持文生视频与图生视频并完全开源，旨在为模型发展提供系统性洞见。
2024-11-20 cs.CV
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波数字孪生研究院，东部技术研究院，宁波）；Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin（浙江工业智能与数字孪生重点实验室）
SceneScribe-1M通过提供一个包含一百万真实视频的数据集，支持3D几何感知与视频合成的统一资源，推动了单目深度估计、场景重建等下游任务及文本到视频合成等生成任务的发展。
2026-04-26 cs.CV
Divide and Conquer in Video Anomaly Detection: A Comprehensive Review and New Approach
Nanjing Normal University（南京师范大学）；The Hong Kong Polytechnic University（香港理工大学）
本文综述了视频异常检测中应用分而治之理念的相关研究，并基于综述洞见提出结合人体骨骼框架与视频数据分析的新方法，在ShanghaiTech数据集上取得当前最优性能。
2023-10-03 cs.AI cs.CV
VideoRewardBench: Comprehensive Evaluation of Multimodal Reward Models for Video Understanding
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对现有视频领域多模态奖励模型评估基准的不足，该研究提出覆盖四大视频理解维度的VideoRewardBench，构建大规模偏好数据集并评估28款模型，揭示了三类关键发现，为相关评估与发展提供支撑。
2025-08-30 cs.AI cs.CV
A Survey on Rain Removal from Video and Single Image
雨带可能会严重降低视频/图像处理任务的性能。因此，从视频或单个图像中去除雨水的研究在计算机视觉和模式识别领域中吸引了很多研究关注，并且近年来已经针对该任务提出了各种方法。然而，仍然没有一个全面的调查文件，总结目前的雨水去除方法，并公平地比较他们的泛化性能，特别是，仍然没有现成的工具包，以积累最近的代表性方法，易于性能比较和能力评估。针对这一有意义的任务，在这项研究中，我们提出了一个全面的审查目前的雨水去除方法的视频和单一的图像。具体地说，这些方法分为模型驱动和数据驱动的方法，并进一步介绍了每种方法的更详细的分支。内在的能力，特别是泛化，代表国家的最先进的方法的每种方法进行了评估和分析的实验上实现的合成和真实数据的视觉和定量。此外，我们还发布了一个全面的知识库，包括74篇除雨论文的直接链接，9种视频除雨方法和20种单图像除雨方法的源代码，19个相关项目页面，6个合成数据集和4个真实数据集，以及4个常用的图像质量度量，以方便普通用户复制和比较当前现有方法的性能。最后，对该方向的研究局限性和有待进一步研究的问题进行了讨论。
2019-10-03 cs.CV eess.IV
Personalized Federated Learning for Egocentric Video Gaze Estimation with Comprehensive Parameter Frezzing
Hokkaido University（北海道大学）；Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究院）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
针对第一视角视频视线估计，提出FedCPF方法，在个性化联邦学习框架中冻结变化率最高的关键参数，在EGTEA Gaze+和Ego4D数据集上显著提升召回率、精确率和F1分数。
2025-02-25 cs.CV
StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation
BAAI（北京智源人工智能研究院）；PKU（北京大学）；Kling；THU（清华大学）；USTC（中国科学技术大学）
该研究针对现有基准无法捕捉流式音视频生成特性的问题，推出首个综合基准StreamAV-Bench，构建含双赛道的评估框架并评估13个系统，揭示当前模型的缺陷并给出模型开发见解。
2026-08-28 cs.CV cs.MM cs.SD
NarrLV: Towards a Comprehensive Narrative-Centric Evaluation for Long Video Generation
UCAS；CASIA（中国科学院自动化研究所）；AMAP, Alibaba Group（阿里云实验室）；NTU（国立科技大学）；PKU（北京大学）
NarrLV是首个针对长视频生成模型的综合性叙事评估基准，通过引入时间叙事原子和基于MLLM的评估指标，全面评估模型在叙事表达上的能力。
2026-03-06 cs.CV
Reimagining Reality: A Comprehensive Survey of Video Inpainting Techniques
Vidiosyncracy（维迪奥辛克拉西）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
该综述全面分析视频修复技术进展，拆解主流技术与理论，从人工评估的视觉质量和标准化硬件下的计算效率两维度对比，厘清现状并指明未来方向。
2024-01-31 cs.CV
Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos
Stanford Online High School（斯坦福在线高中）
本文提出Face-GPS技术，结合微分几何、核平滑与谱分析，从普通视频中量化面部肌肉动态，可应用于国家安全、整形外科及面神经疾病远程诊断，并作为深度学习和fEMG的可解释、非侵入性替代方案。
2024-01-11 cs.CV
OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing
The University of Hong Kong（香港大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Peking University（北京大学）
针对现有基于指令的视频编辑基准的任务覆盖有限、指标不足的问题，OmniEdit-Bench将编辑任务分解为多维度并提出含惩罚机制的评估框架，实验显示当前IVE模型仍待提升。
2026-09-03 cs.CV
Video Unsupervised Domain Adaptation with Deep Learning: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局））
本文全面综述了基于深度学习的视频无监督域自适应（VUDA）的最新进展，涵盖其定义、闭集及多场景方法与基准数据集，并指出未来研究方向，以解决视频模型因域偏移导致的性能下降及标注成本高的问题。
2024-07-27 cs.CV
Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding
Video-MME-v2通过三级层次结构和非线性评估策略，评估视频理解的鲁棒性和准确性，揭示当前模型与人类专家间的差距及多模态推理瓶颈。
2026-04-06 cs.CV
Image-to-Video Transfer Learning based on Image-Language Foundation Models: A Comprehensive Survey
School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学）
本文综述了基于图像-语言基础模型的图像到视频迁移学习，系统分类了现有技术并分析了其在视频-文本任务中的应用与挑战。
2026-01-19 cs.AI cs.CV
UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving
School of Automation, Southeast University（东南大学自动化学院）；SenseTime Research（商汤科技研究院）
提出统一框架UniMLVG，通过更新基于DiT的扩散模型并引入跨帧跨视角模块与显式视角建模方法，在多种输入条件下生成高质量多视角长视频，在FID和FVD指标上分别提升48.2%和35.2%。
2025-03-06 cs.CV
VidText: Towards Comprehensive Evaluation for Video Text Understanding
UNITN；HIT（哈尔滨工业大学）；SEU（上海电子大学）；PKU（北京大学）；IIE, CAS（中国科学院信息工程研究所）；UCAS（中国科学院大学）；BUAA（北京航空航天大学）；NJUST（南京理工大学）；NKU（宁夏大学）
提出了VidText基准，通过分层评估框架和配对感知推理任务全面评估视频文本理解能力，实验表明当前18个大型多模态模型在该任务上仍有巨大改进空间。
2025-11-03 cs.CV
VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对视障人士视觉信息获取难及多模态大语言模型在视障辅助中实用价值待探索的问题，引入VIABench视频基准测试，定义三个核心任务，提出严格测试流程，实验表明当前模型对视障人士支持不足，有望推动定制模型开发以改善其体验。
2026-07-17 cs.CV
Deep Learning-based Depth Estimation Methods from Monocular Image and Videos: A Comprehensive Survey
Murdoch University（默多克大学）；The University of Western Australia（西澳大学）
本文综述了基于深度学习的单目图像与视频深度估计方法，涵盖其分类、架构演变、挑战、里程碑、数据集与评估指标，反映了该领域十年间的快速发展。
2024-06-28 cs.CV
Low-Light Image and Video Enhancement: A Comprehensive Survey and Beyond
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）；Wenzhou-Kean University（温州肯恩大学）
本文综述了低光照图像与视频增强领域，针对混合曝光问题提出了SICE_Grad和SICE_Mix数据集，并构建了大规模视频数据集Night Wenzhou，通过对比实验与关键技术分析指出了未来研究方向。
2024-01-01 cs.CV
EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation
Cedars-Sinai Medical Center（西达赛奈医疗中心）；University of California Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）；University of California, San Francisco（加州大学旧金山分校）；San Francisco Veterans Affairs Medical Center（旧金山退伍军人事务医疗中心）
针对现有超声心动图AI模型单视图单任务的局限，提出多视图视频视觉语言基础模型EchoPrime，通过对比学习与视图感知解剖注意力整合多视频信息，在23个基准上达到SOTA，辅助医生自动化初步评估。
2024-10-13 cs.CV cs.LG
MSVD-Turkish: A Comprehensive Multimodal Dataset for Integrated Vision and Language Research in Turkish
Imperial College London（帝国理工学院）；Hacettepe University（哈杰特佩大学）；Koç University（科奇大学）
以自然语言自动生成视频描述，也称为视频字幕，旨在理解视频的视觉内容并产生描绘场景中的对象和动作的自然语言句子。然而，这种具有挑战性的综合视觉和语言问题主要是针对英语的。缺乏数据和其他语言的语言特性限制了这些语言的现有方法的成功。在本文中，我们针对土耳其语，一个形态丰富和粘着的语言，有非常不同的属性相比，英语。为此，我们创建了第一个大规模的视频描述数据集，通过仔细翻译的MSVD（微软研究视频描述语料库）数据集中的视频的英语描述成土耳其语。除了能够在土耳其语的视频描述的研究，平行的英语-土耳其语的描述也使视频上下文（多模态）机器翻译的作用的研究。在我们的实验中，我们为视频描述和多模态机器翻译建立模型，并研究不同的分词方法和不同的神经架构的效果，以更好地解决土耳其语的属性。我们希望MSVD-土耳其语数据集和这项工作中报告的结果将导致更好的视频描述和多模态机器翻译模型，用于土耳其语和其他形态丰富和粘着的语言。
2020-12-13 cs.CV
AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出AIGCBench，一个面向图生视频生成的综合可扩展基准，通过开放域图文数据集、GPT-4提示构建及四维度11项指标，公平评估I2V算法并开源数据与代码。
2024-01-23 cs.AI cs.CV
DocVideoQA: Towards Comprehensive Understanding of Document-Centric Videos through Question Answering
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
针对文档类教学视频多模态理解研究不足的问题，本文提出DocVideoQA任务与含1454条视频、15.4万问答对的数据集，并提出DV-LLaMA基线模型，通过指令微调和对比学习提升性能，效果优于现有模型。
2025-03-20 cs.CV
A Comprehensive Review of the Video-to-Text Problem
Pontifical Catholic University of Minas Gerais（米纳斯吉拉斯天主教大学）；University of Chile（智利大学）
视觉和语言领域的研究包括寻求连接视觉和文本信息的具有挑战性的主题。当视觉信息与视频相关时，这将我们带入视频-文本研究，其中包括几个具有挑战性的任务，例如视频问答，使用自然语言的视频摘要，以及视频到文本和文本到视频的转换。本文回顾了视频到文本的问题，其中的目标是将输入的视频与其文本描述。这种关联主要可以通过从语料库中检索最相关的描述或在给定上下文视频的情况下生成新的描述来实现。这两种方式代表了计算机视觉和自然语言处理社区的基本任务，称为从视频中检索文本任务和视频描述/描述任务。这两个任务比从图像中预测或检索单个句子要复杂得多。视频中存在的时空信息引入了关于视觉内容和相关联的语言描述的结构的多样性和复杂性。这篇评论分类和描述了国家的最先进的技术的视频到文本的问题。它涵盖了主要的视频到文本的方法和方法来评估其性能。我们分析了26个基准数据集，展示了它们的缺点和优点的问题的要求。我们还展示了研究人员在每个数据集上取得的进展，我们涵盖了该领域的挑战，并讨论了未来的研究方向。
2021-11-30 cs.CL cs.CV
A New Comprehensive Benchmark for Semi-supervised Video Anomaly Detection and Anticipation
Northwestern Polytechnical University（西北工业大学）
针对半监督视频异常检测中场景相关异常被忽视及缺乏异常预测研究的问题，提出了最大综合数据集NWPU Campus及一种能同时检测和预测异常的新模型，在多个数据集上达到最新性能。
2023-05-23 cs.CV
CrossVid: A Comprehensive Benchmark for Evaluating Cross-Video Reasoning in Multimodal Large Language Models
CrossVid是首个用于评估多模态大语言模型跨视频推理能力的综合基准，通过多样化的任务和数据集验证了模型在复杂视频推理任务中的表现。
2025-11-30 cs.AI cs.CV
