When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos
University of Michigan(密歇根大学);Indiana University(印第安纳大学);Amazon Rekognition(亚马逊Rekognition)
视频异常检测(VAD)已经被广泛研究。然而,对以自我为中心的动态场景的交通视频的研究缺乏大规模的基准数据集以及有效的评价指标。本文提出了一种流量异常检测与\textit{when-where-what}管道检测,定位和识别异常事件的自我中心的视频。我们引入了一个名为交通异常检测(DoTA)的新数据集,其中包含4,677个具有时间,空间和分类注释的视频。提出了一种新的时空曲线下面积(STAUC)评估指标,并与DoTA一起使用。实验结果表明,STAUC是一种有效的VAD度量方法。据我们所知,DoTA是迄今为止最大的流量异常数据集,也是第一个支持跨时间-地点-内容视角的流量异常研究。我们的代码和数据集可以在https://github.com/MoonBlvd/Detection-of-Traffic-Anomaly上找到
2020-04-06 cs.CV
Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration
New York University(纽约大学);University of Technology Sydney(悉尼科技大学)
提出AVR,用冻结预训练模型弥合无训练异常检测与视频修复的差距,仅在无可复制证据处生成内容,在监控数据集上实现高保真修复并优于先检测后生成流程。
2026-09-17 cs.CV
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University(印第安纳大学);National Yang-Ming Chiao-Tung University(国家阳明交通大学);Atmanity Inc.(Atmanity公司)
本文提出利用LLM生成的状态改变描述及其模拟失败的反事实作为监督信号,学习过程感知视频表示,显著提升了时序动作分割、错误检测等多项任务的性能。
2025-08-12 cs.CV
Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?
The University of Sydney(悉尼大学);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
现有的文本-视频检索方法大多集中在视频的视觉内容和文本查询语句之间的跨模态匹配。然而,在现实世界的场景中,在线视频往往伴随着相关的文本信息,如标题,标签,甚至字幕,可以用来匹配文本查询。这种洞察力促使我们提出了一种新颖的文本视频检索方法,其中我们使用zero-shot视频描述直接从视频中生成关联的字幕,其中知识来自网络规模的预训练模型(例如,CLIP和GPT-2)。考虑到生成的字幕,一个自然的问题出现了:它们给文本视频检索带来了什么好处?为了回答这个问题,我们引入了Cap 4Video,这是一个新的框架,它以三种方式利用字幕:i)输入数据:视频字幕对可以增加训练数据。ii)中间特征交互:我们在视频和字幕之间执行跨模态特征交互,以产生增强的视频表示。iii)输出分数:查询-字幕匹配分支可以补充原始查询-视频匹配分支以用于文本-视频检索。我们进行全面的消融研究,以证明我们的方法的有效性。在没有任何后处理的情况下,Cap 4Video在四个标准的文本视频检索基准上实现了最先进的性能:MSR-VTT(51.4%),VATEX(66.6%),MSVD(51.8%)和DiDeMo(52.0%)。该代码可在https://github.com/whwu95/Cap4Video上获得。
2023-03-28 cs.CV
EgoVIS@CVPR: What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University(印第安纳大学);National Yang-Ming Chiao-Tung University(国立阳明交通大学);Atmanity Inc(Atmanity公司)
该研究利用 LLM 生成状态变化描述及模拟失败结果的反事实作为监督,训练程序感知视频表示,增强动作步骤因果理解,并在动作分割、错误检测等任务上显著提升性能。
2025-09-26 cs.CV
DAP3D-Net: Where, What and How Actions Occur in Videos?
Northumbria University(诺森比亚大学)
复杂场景视频中的动作解析是计算机视觉中一个有趣但具有挑战性的任务。在本文中,我们提出了一种通用的3D卷积神经网络,以多任务学习的方式在视频中进行有效的深度动作解析(DAP 3D-Net)。特别地,在训练阶段,动作定位,分类和属性学习可以通过DAP 3D-Net在我们的外观和情感数据上联合优化。对于即将到来的测试视频,我们可以同时描述视频中的每个动作:动作发生的位置,动作是什么以及动作是如何执行的。为了很好地证明所提出的DAP 3D-Net的有效性,我们还贡献了一个新的数量类别对齐合成动作数据集,即,NASA,它由超过300个类别的200,000个动作剪辑组成,并在两个层次中具有33个预定义的动作属性(即,基本身体部分运动的低级属性和与动作运动相关的高级属性)。我们使用NASA数据集学习DAP 3D-Net,然后在我们收集的人类行为理解(HAU)数据集上对其进行评估。实验结果表明,该方法可以准确地定位,分类和描述多个动作在现实的视频。
2016-02-10 cs.CV
A Delay Metric for Video Object Detection: What Average Precision Fails to Tell
Stanford University(斯坦福大学);NVIDIA(英伟达)
平均精度(AP)是一个广泛使用的度量来评估图像和视频目标检测器的检测精度。在本文中,我们分析了目标检测从视频,并指出,AP单独是不足以捕捉的时间性质的视频目标检测。为了解决这个问题,我们提出了一个全面的度量,平均延迟(AD),测量和比较检测延迟。为了便于延迟评估,我们仔细选择了ImageNet VID的一个子集,我们将其命名为ImageNet VIDT,重点是复杂的轨迹。通过广泛评估各种检测器的VIDT,我们表明,大多数方法大大增加了检测延迟,但仍然保持AP很好。换句话说,AP不够灵敏以反映视频对象检测器的时间特性。我们的研究结果表明,视频目标检测方法应额外评估延迟度量,特别是对于延迟关键型应用,如自主车辆感知。
2019-11-06 cs.CV
Show and Recall: Learning What Makes Videos Memorable
Adobe Research(Adobe 研究院);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
随着互联网上视频内容的爆炸式增长,需要研究将人类认知考虑在内的视频分析方法。一个这样的认知测量是记忆力,或在观看视觉内容后回忆视觉内容的能力。先前的研究已经研究了图像记忆力,并表明它是视觉内容固有的,但建模视频记忆力的问题还没有得到充分解决。在这项工作中,我们开发了一个预测模型的视频记忆性,包括视频内容的复杂性在it.Detailed特征分析表明,所提出的方法相关性以及与现有的研究结果的记忆性。我们还描述了一个新的实验预测视频子镜头的记忆性,并表明我们的方法提高了目前的记忆性方法在这项任务。标准数据集上的实验表明,该指标可以达到同等或更好的结果比国家的最先进的视频摘要方法。
2017-08-28 cs.CV
What is Point Supervision Worth in Video Instance Segmentation?
University of Maryland, College Park(马里兰大学学院公园分校);NVIDIA(英伟达公司);Caltech(加州理工学院)
本文研究视频实例分割中的点监督价值,提出类别无关候选生成与时空点匹配器,仅用每对象一个点标注即接近全监督性能。
2024-04-01 cs.CV
What Are You Doing? A Closer Look at Controllable Human Video Generation
Google DeepMind(谷歌DeepMind)
针对现有数据集缺乏多样性,提出WYD基准,含1544个视频和细粒度标注,评估可控人类视频生成的9个方面,并改进评估指标,深入分析开源模型,发布数据与代码。
2026-09-09 cs.CV
What Happens Next? Next Scene Prediction with a Unified Video Model
Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊)
本文提出Next Scene Prediction任务,通过联合框架结合Qwen-VL和LTX,利用预训练、监督微调和强化学习提升视频模型的时间推理能力。
2025-12-15 cs.CV
Whareformer: Learning to Track What is Where in Long Egocentric Videos
University of Bristol(布里斯托大学);NAVER LABS Europe(NAVER欧洲实验室)
针对第一人称视角视频的OSNOM任务,提出基于Transformer的Whareformer模型,通过可更新内存和轨迹分配模块联合推理物体外观与位置,在小数据集训练后在多数据集长测试视频上达SOTA,性能显著优于先前工作。
2026-07-10 cs.CV
VideoRoPE: What Makes for Good Video Rotary Position Embedding?
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文分析了视频旋转位置编码的四个关键特征,提出VideoRoPE,通过3D结构、低频时间分配、对角布局和可调时间间距有效保留时空关系,在长视频检索等任务上超越以往变体。
2025-05-30 cs.CV
An Image is Worth 16x16 Words, What is a Video Worth?
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
动作识别领域的主要方法试图从输入视频的空间和时间维度提取信息。达到最新技术水平(SotA)精度的方法通常使用3D卷积层作为从视频帧中提取时间信息的一种方式。使用这种卷积需要从输入视频中采样短剪辑,其中每个剪辑是紧密采样的帧的集合。由于每个短剪辑覆盖输入视频的一小部分,因此在推断时对多个剪辑进行采样,以便覆盖视频的整个时间长度。这导致计算负荷增加,并且对于现实世界的应用是不切实际的。我们通过显著减少推理所需的帧数来解决计算瓶颈。我们的方法依赖于一个时间Transformer,适用于全球关注的视频帧,从而更好地利用每帧中的显着信息。因此,我们的方法是非常有效的输入,并且可以用一小部分数据(每个视频的帧),计算和延迟实现SotA结果(在Kinetics数据集上)。特别是在Kinetics-400上,我们达到了$80.5$ top-1的准确性,每个视频的$\times 30$ $\times 30$帧更少,而$\times 40$的推理速度比当前领先的方法更快。代码可在:https://github.com/Alibaba-MIIL/STAM
2021-05-27 cs.CV
What's wrong with this video? Comparing Explainers for Deepfake Detection
Politecnico di Milano(米兰理工大学)
Deepfake是计算机操纵的视频,其中一个人的脸被另一个人的脸所取代。制造这种威胁的软件易于使用,越来越流行,对个人声誉和公共安全造成严重威胁。随着越来越大的数据集的发布,用于检测deepfakes的分类器的质量有所提高,但是对为什么特定视频被标记为虚假的理解并没有跟上。在这项工作中,我们开发,扩展和比较白盒,黑盒和模型特定的技术来解释真实和虚假视频的标签。特别是,我们调整SHAP,GradCAM和自我注意力模型来解释基于EfficientNet的最先进检测器的预测任务,这些检测器在Deepfake Detection Challenge(DFDC)数据集上进行了训练。我们比较所获得的解释,提出指标来量化他们的视觉功能和理想的特性,也进行了用户调查,收集用户的意见,解释者的有用性。
2021-05-12 cs.CV
Learning the What and How of Annotation in Video Object Segmentation
Technical University of Denmark(丹麦技术大学);Pioneer Center for AI(先锋人工智能中心);LIX, Ecole Polytechnique, CNRS, Institut Polytechnique de Paris(巴黎综合理工学院计算机科学实验室,法国国家科学研究中心,巴黎综合理工学院,巴黎理工学院)
提出EVA-VOS人机协同标注框架,通过智能体迭代预测标注帧与类型,在MOSE和DAVIS数据集上实现接近人工精度的掩码,标注速度提升3.5倍。
2023-11-11 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
卷积可以说是现代神经网络最重要的特征变换,导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层,揭示了固定卷积核的局限性,并为动态特征变换时代打开了大门。然而,现有的动态变换,包括自注意,都局限于视频理解,其中空间和时间上的对应关系,即,运动信息对于有效表示是至关重要的。在这项工作中,我们引入了一个关系特征变换,称为关系自我注意力(RSA),利用丰富的时空关系的视频结构,动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明,RSA网络的性能大大优于卷积和自我注意力,在视频动作识别的标准运动为中心的基准上达到了最先进的水平,例如Something-Something-V1 & V2,Diving 48和FineGym。
2021-11-02 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University(罗格斯大学);Snap Inc.(Snap公司);University of Delaware(特拉华大学)
图像和视频合成是密切相关的领域,旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展,但实现可比的视频生成结果仍然存在问题。我们提出了一个框架,利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频,而且计算效率也高出一个数量级。我们介绍了一个运动发生器,发现所需的轨迹,其中内容和运动被解开。有了这样的表示,我们的框架允许广泛的应用程序,包括内容和运动操纵。此外,我们引入了一个新的任务,我们称之为跨域视频合成,其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明,我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
Detecting Engagement in Egocentric Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在可穿戴相机视频中,我们看到的是相机佩戴者看到的。虽然这使得我们很容易大致知道他选择看什么,但它并不能立即揭示他何时与环境接触。具体来说,当他停下来收集更多关于他所看到的东西的信息时,他的注意力在什么时候停留过?知道这个答案将有利于视频摘要和增强现实中的各种应用,但先前的工作只关注“什么”问题(估计显着性,凝视),而不考虑“何时”(参与)。我们提出了一种基于学习的方法,该方法使用长期自我运动线索来检测参与度,特别是在浏览场景中,人们经常接受新的视觉信息(例如,购物,旅游)。我们引入了一个大型的,注释丰富的自我参与数据集,这是同类中的第一个。我们的方法优于各种现有的方法。我们表明,参与可以很好地检测到独立的场景外观和相机佩戴者的身份。
2016-04-04 cs.CV
Use What You Have: Video Retrieval Using Representations From Collaborative Experts
University of Oxford(牛津大学)
互联网上视频的快速增长使得使用自然语言查询来搜索视频内容成为一个重大挑战。人工生成的视频数据集“在野外”的查询在具体程度上有很大差异,有些查询描述了特定的细节,如著名身份的名称,语音内容或屏幕上的文本。我们的目标是将视频中的多模态、极高维信息浓缩成一个单一的、紧凑的视频表示,用于使用自由形式文本查询的视频检索任务,其中的特异性程度是开放式的。为此,我们以预先训练的语义嵌入的形式利用现有的知识,其中包括“一般”特征,如视觉内容的运动,外观和场景特征。我们还探讨了使用更“具体”的线索,从ASR和OCR的间歇性可用于视频,并发现这些信号仍然具有挑战性,有效地用于检索。我们提出了一个协作专家模型,从这些不同的预先训练的专家汇总信息,并评估我们的方法经验上的五个检索基准:MSR-VTT,LSMDC,MSVD,DiDeMo和ActivityNet。代码和数据可以在www.robots.ox.ac.uk/~vgg/research/collaborative-experts/上找到。本文包含对上一版本中报告的结果的更正。
2020-02-14 cs.CV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford(牛津大学)
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而,与使用外观相比,它有一些盲点,例如物体如果不移动就会变得不可见。在这项工作中,我们提出了一种方法,结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式,从而可能对应于对象。由于该模型仅使用单个图像作为输入,因此我们可以将其应用于两种设置:无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果,并证明了我们的方法的可行性,包含新的对象的静态图像。此外,我们用不同的运动模型和光流骨干进行实验,发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
From Image to Video, what do we need in multimodal LLMs?
Intelligent Computing and Machine Learning Lab, School of ASEE, Beihang University(北京航空航天大学自动化学院智能计算与机器学习实验室);Xiaohongshu(小红书);School of Sino-French Engineer, Beihang University(北京航空航天大学中法工程师学院);College of Engineering and Computer Science, VinUniversity(Vin大学工程与计算机科学学院)
针对现有视频大语言模型结构冗余、预训练数据需求大且未充分利用图像大语言模型能力的问题,提出资源高效的RED-VILLM流水线,通过即插即用时间适配结构基于图像大语言模型构建视频大语言模型,性能更优且资源需求低,还打造了中文社区首个视频大语言模型。
2025-05-16 cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University(印第安纳大学);Facebook Reality Labs(脸书现实实验室)
从头戴式摄像机中了解用户的活动是增强和虚拟现实(AR/VR)应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖,这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习(SSL)。SSL不依赖于人工注释,而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣,这些视频表示受益于用户日常活动产生的头部运动,这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标,我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Not Every Patch is Needed: Towards a More Efficient and Effective Backbone for Video-based Person Re-identification
Singapore University of Technology and Design(新加坡科技设计大学);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
本文提出一种面向基于视频的行人重识别的高效骨干网络,通过引入 patch 选择机制和伪帧全局上下文,在大幅降低计算成本的同时保持或提升了识别准确率。
2025-01-28 cs.CV
What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
该研究探究自我中心视频嵌入的编码内容,发现其主导方向由摄像头朝向决定,结合惯性信号在WEAR数据集上通过视频图传播惯性预测,将宏F1从0.648提升至0.852,为人类活动识别提供了新方法。
2026-10-12 cs.CV
Treasure What You Have: Exploiting Similarity in Deep Neural Networks for Efficient Video Processing
Univ. Polytechnique Hauts-de-France(上法兰西理工大学);INSA Hauts-de-France(上法兰西国立应用科学学院);Bilkent University(比尔肯特大学)
针对实时视频处理中的计算效率问题,本文提出一种相似性感知训练方法,通过逐层正则化增强权重相似性以利用帧间冗余,在车道检测和场景解析中实现约50%压缩和1.5倍加速,且精度不变。
2023-05-10 cs.CV
When will you do what? - Anticipating Temporal Occurrences of Activities
University of Bonn(波恩大学)
分析视频中的人类行为最近受到了越来越多的关注。虽然大多数作品都专注于对观察到的视频帧进行分类和标记,或者预测最近的未来,但在几秒钟内进行长期预测是一项具有许多实际应用的任务,尚未得到解决。在本文中,我们提出了两种方法来预测相当大量的未来行动和他们的持续时间。CNN和RNN都经过训练,可以根据之前看到的内容学习未来的视频标签。我们表明,我们的方法即使对于具有大量不同动作的长视频也能对未来进行准确的预测,甚至可以处理嘈杂或错误的输入信息。
2018-04-03 cs.CV
Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
构建可靠的对象检测器,可以检测出的分布(OOD)对象是至关重要的,但探索不足。其中一个关键挑战是模型缺乏来自未知数据的监督信号,从而对OOD对象产生过度自信的预测。我们提出了一个新的未知感知的目标检测框架,通过时空未知蒸馏(STUD),从视频中提取未知的对象在野外和有意义地正则化模型的决策边界。STUD首先在空间维度中识别未知候选对象提议,然后跨多个视频帧聚合候选对象以形成靠近决策边界的未知对象的不同集合。此外,我们采用了基于能量的不确定性正则化损失,它对比地塑造了分布和提取的未知对象之间的不确定性空间。STUD在OOD检测任务中建立了最先进的目标检测性能,与以前的最佳方法相比,FPR 95分数降低了10%以上。代码可在https://github.com/deeplearning-wisc/stud上获得。
2022-03-08 cs.CV
MARS: What Retrieval Signals Are Hidden in Multimodal Large Language Models for Text-Video Retrieval?
Sejong University(世宗大学)
针对多模态大语言模型用于文本-视频检索时压缩线索导致细粒度检索受限的问题,提出MARS框架,通过多层多槽嵌入及难负样本感知的槽专业化目标,在四个基准上取得最优结果。
2026-09-03 cs.CV
Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出解耦框架,分离记忆条件与生成过程,提升空间一致性并保持生成能力。通过轻量记忆分支和跨帧注意力机制,实现高效且高质量的长时视频生成。
2026-10-28 cs.CV
Learning What to Learn for Video Object Segmentation
ETH Zürich(苏黎世联邦理工学院);Linköping University(林雪平大学)
视频对象分割(VOS)是一个非常具有挑战性的问题,因为目标对象只定义在推理与给定的第一帧参考掩码。如何获取和利用这些有限的目标信息仍然是一个基本的研究问题。我们通过引入端到端可训练的VOS架构来解决这个问题,该架构集成了可区分的少样本学习模块。该内部学习器旨在通过最小化第一帧中的分割错误来预测目标的强大参数模型。我们通过学习Few-Shot学习器应该学习的内容,进一步超越了标准的Few-Shot学习技术。这使我们能够在当前帧中实现目标的丰富内部表示,显着提高了我们方法的分割精度。我们在多个基准上进行了广泛的实验。我们的方法在大规模YouTube-VOS 2018数据集上设置了一个新的最先进的水平,获得了81.5的总分,比之前的最佳结果相对提高了2.6%。
2020-05-01 cs.CV
Seeing What Matters: Generalizable AI-generated Video Detection with Forensic-Oriented Augmentation
University Federico II of Naples(那不勒斯费德里科二世大学);NVIDIA(英伟达)
本文提出基于小波分解的面向取证数据增强策略,引导检测器关注生成架构引入的低级伪影,从而在仅用单一生成模型训练的情况下显著提升AI生成视频检测的跨模型泛化能力。
2025-11-06 cs.CV
To Create What You Tell: Generating Videos from Captions
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
我们每天都在创造多媒体内容。虽然自动内容生成几十年来一直是多媒体社区的一个基本挑战,但深度学习的最新进展使这个问题变得可行。例如,生成对抗网络(GANs)是合成图像的一种有益方法。然而,当利用GANs生成视频时,这并不是微不足道的。困难源于视频的内在结构,其中视频是视觉上连贯且语义上依赖的帧的序列。这促使我们在设计生成视频的GANs时探索语义和时间一致性。在本文中,我们提出了一种新的时间GANs条件化字幕,即TGANs-C,其中生成器网络的输入是潜在噪声向量和字幕嵌入的级联,然后被转换为具有3D时空卷积的帧序列。与只判断配对是真是假的天真的机器人不同,我们的机器人还注意到视频是否与正确的标题匹配。特别是,该网络由三个鉴别器组成:视频鉴别器从生成的视频中分类现实视频并优化视频字幕匹配,帧鉴别器区分真实和假帧并将帧与条件字幕对齐,以及运动鉴别器强调生成的视频中的相邻帧应该像真实视频中一样平滑连接的理念。我们定性地证明了我们的TGANs-C在两个合成数据集(SBMG和TBMG)和一个真实世界数据集(MSVD)上生成给定字幕的合理视频的能力。此外,定量实验MSVD进行验证我们的建议,通过生成对抗度量和人类的研究。
2018-04-23 cs.CV
StreamReady: Learning What to Answer and When in Long Streaming Videos
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学);Microsoft Research(微软研究院)
StreamReady通过引入答案准备度评分,统一时间推理与及时回答,实现对长视频流中何时回答的高效学习与准确判断。
2026-03-09 cs.CV
Only Whats Necessary: Pareto Optimal Data Minimization for Privacy Preserving Video Anomaly Detection
Aalborg University(奥尔堡大学);Aarhus University(奥胡斯大学);Milestone System
本文提出Only What's Necessary框架,通过结合广度和深度的数据最小化机制,在保护隐私的同时保持异常检测相关线索,通过实验验证其在隐私与效用间的平衡效果。
2026-03-27 cs.CV
What, Where, and How: Probing Spatiotemporal Representations in Video Foundation Models
Lassonde School of Engineering(拉桑德工程学院);York University(约克大学);Vector Institute(矢量研究院);FAIR, Meta Superintelligence Labs(Meta超级智能实验室FAIR);Mila(米拉研究院);McGill University(麦吉尔大学);Goodfire AI(Goodfire人工智能公司)
本研究通过分层分析V-JEPA 2和VideoMAE-v2,探究其时空表征的编码内容、位置与几何组织,发现相机运动编码特性并应用几何样条引导实现更优的视频插值。
2026-09-02 cs.CV
DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding
Fudan University(复旦大学)
受大脑多通路处理信息启发,提出DecoFuse框架,将fMRI到视频解码分解为语义、空间和运动子任务并融合重建,显著提升多项指标且符合双流假说。
2025-04-01 cs.CV
Retrieve What's Missing: Coverage-Maximizing Retrieval for Consistent Long Video Generation
Korea University(韩国大学);KAIST(韩国科学技术院)
提出基于深度的覆盖最大化检索增强生成框架COVRAG,利用预训练3D先验构建轻量级覆盖图作为记忆证据,通过迭代检索最大化残差覆盖来提升长视频生成的几何一致性。
2026-11-10 cs.CV
What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing
HKUST(香港理工大学);FDU(福建大学);ZJU(浙江大学);NUS(新加坡国立大学)
本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题,通过提出TRACE-Edit数据集和诊断协议,发现连接器模块会导致细粒度结构语义的严重退化,挑战了原有假设。
2026-06-11 cs.CV
Show Me What I Like: Detecting User-Specific Video Highlights Using Content-Based Multi-Head Attention
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出利用用户历史偏好片段的内容特征,通过多头注意力机制融合用户偏好并检测目标视频中的个性化精彩片段,在大规模数据集上取得2-4%的平均精度均值提升。
2024-11-22 cs.CV
Action Anticipation at a Glimpse: To What Extent Can Multimodal Cues Replace Video?
Universidad de Alicante(阿利坎特大学);Foundation for Research and Technology-Hellas(希腊基础研究与技术基金会);University of Crete(克里特大学);Hellenic Mediterranean University(希腊地中海大学)
AAG通过结合单帧RGB特征与深度线索及先前动作信息,实现了多模态单帧动作预见,能与视频聚合基线和先进方法在教学活动数据集上竞争。
2025-12-02 cs.CV
What about gravity in video generation? Post-Training Newton's Laws with Verifiable Rewards
Stony Brook University(石溪大学);LIX, École Polytechnique, CNRS, IPP(巴黎政治学院LIX研究所、法国国家科学研究中心、IPPP)
NewtonRewards通过可验证奖励机制提升视频生成的物理合理性与运动流畅度。
2025-11-29 cs.CV
What Can We Learn from Harry Potter? An Exploratory Study of Visual Representation Learning from Atypical Videos
University of Birmingham(伯明翰大学);Shandong University(山东大学)
本研究探索非典型视频(如科幻、动画)在开放世界视觉表示学习中的价值,通过收集新数据集并应用于OOD检测、NCD和ZSAR任务,发现非典型数据能持续提升性能,且语义多样性是关键因素。
2025-09-08 cs.CV
VCEval: Rethinking What is a Good Educational Video and How to Automatically Evaluate It
Fudan University(复旦大学)
针对在线教育视频内容质量不一的问题,本文构建视频课程与教材数据集,提出三项评估原则,并基于多项选择题问答与语言模型评估器设计 VCEval 框架,可有效区分课程质量并给出可解释结果。
2025-01-06 cs.CV cs.MM
Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara(加州大学圣巴巴拉分校);Meta;NEC Laboratories America(NEC美国实验室)
在给定前几个静态帧的情况下生成视频是具有挑战性的,因为它预期具有时间相干性的合理的未来帧。除了视频预测之外,从上一帧倒回或在头部和尾部之间填充的能力也至关重要,但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果,因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发,我们引入了一个新的任务,文本引导的视频完成(TVC),它要求模型生成一个视频从部分帧的指导下的指令。然后,我们提出了多模式屏蔽视频生成(MMVG)来解决这个TVC任务。在训练过程中,MMVG将视频帧离散化为视觉令牌,并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时,单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况,包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG,包括自我中心,动画和游戏。大量的实验结果表明,MMVG是有效的,在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
FrameOracle: Learning What to See and How Much to See in Videos
University of Science and Technology of China(中国科学技术大学)
提出FrameOracle轻量模块,预测相关帧及其数量,通过课程学习从弱代理信号到强监督,在多个VLM和基准上以更少帧数保持或提升精度。
2026-06-16 cs.CV
ExpertAF: Expert Actionable Feedback from Video
University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR Meta(Meta FAIR);Carnegie Mellon University(卡内基梅隆大学)
针对现有视频技能评估仅提供分数或对比演示的局限,提出ExpertAF方法,利用Ego-Exo4D数据集构建弱监督训练集,通过多模态视频-语言模型生成含专家评论与视觉演示的可执行反馈,性能优于现有视觉-语言模型。
2025-04-11 cs.CV
What comprises a good talking-head video generation?: A Survey and Benchmark
多年来,性能评估已成为计算机视觉中必不可少的一部分,使许多子领域取得了切实的进展。虽然说话头视频生成已经成为一个新兴的研究课题,现有的评价在这个问题上提出了许多限制。例如,大多数方法使用人类受试者(例如,通过Amazon MTurk)直接评估他们的研究声明。这种主观评价是繁琐的,不可复制的,并可能会阻碍新研究的发展。在这项工作中,我们提出了一个精心设计的基准,用于评估标准化数据集预处理策略的讲话头视频生成。至于评估,我们要么提出新的指标,或选择最合适的,我们认为是一个良好的说话的头部视频,即,身份保持,嘴唇同步,高视频质量,和自然自发运动所需的属性来评估结果。通过对几种最先进的说话人生成方法进行深入分析,我们的目标是揭示当前方法的优点和缺点,并为未来的工作指出有前途的方向。所有评估代码可在:www.example.com.
2020-05-07 cs.CV eess.IV
What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in Untrimmed Multi-Action Videos from Narrated Instructions
Columbia University(哥伦比亚大学);Goethe University Frankfurt(法兰克福大学);University of Bonn(波恩大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Quality Match GmbH(Quality Match有限公司);IBM Research AI(IBM研究院人工智能部门);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
提出一种仅用视频和字幕监督训练的自监督时空定位框架,结合局部与全局表示学习,并在新基准上超越现有基线。
2024-05-28 cs.CV
What Do Verifiable Rewards Teach Video-Language Models About Time? A Controlled Multi-Model Study
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究通过多模型受控实验发现,可验证奖励训练虽提升视频问答基准准确率,但增益多源于非视觉线索,且不带来时序理解,混合真实视频可防止域外退化。
2026-11-05 cs.CV
Unsupervised HDR Imaging: What Can Be Learned from a Single 8-bit Video?
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);Warwick University(华威大学);University of West England(西英格兰大学)
最近,用于逆色调映射标准动态范围(SDR)图像以获得高动态范围(HDR)图像的基于深度学习的方法已经变得非常流行。这些方法能够在细节和动态范围方面令人信服地填充过度曝光区域。通常,这些方法要想有效,需要从大型数据集中学习,并将这些知识转移到网络权重中。在本书中,我们从一个完全不同的角度来解决这个问题。我们可以从一个SDR视频中学到什么?通过所提出的zero-shot方法,我们表明,在许多情况下,单个SDR视频足以能够生成与其他最先进的方法相同质量或更好的HDR视频。
2022-02-11 cs.CV cs.GR eess.IV
PROWBench: Do Video Models Render What the Program Specifies?
Alaya Lab(Alaya实验室)
提出PROWBench基准,含170个程序化情节和600个代理视频,通过可重放世界记录和双VLM指标评估视频模型对程序指定事件、实体控制及长时记忆的视觉遵循度。
2026-10-06 cs.CV
Model Reveals What to Cache: Profiling-Based Feature Reuse for Video Diffusion Models
Hong Kong University of Science and Technology(香港科技大学);Everlyn AI;University of Central Florida(佛罗里达中央大学)
针对视频扩散模型计算量大的问题,提出ProfilingDiT自适应缓存策略,通过区分前后景模块实现选择性缓存,在保证视觉质量的同时实现显著加速。
2025-07-26 cs.CV
GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them?
UNC Chapel-Hill(北卡罗来纳大学教堂山分校);Microsoft(微软);NUS(新加坡国立大学);University of Minnesota(明尼苏达大学);Case Western Reserve University(凯斯西储大学);Rutgers University(罗格斯大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出 GLIMPSE 基准,通过需观看完整视频并深度时序推理的高度视觉中心化问题,评估大型视觉语言模型真正用视频思考的能力,揭示当前最优模型仍远不及人类水平。
2025-07-13 cs.CV