VideoRoPE: What Makes for Good Video Rotary Position Embedding?
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本文分析了视频旋转位置编码的四个关键特征，提出VideoRoPE，通过3D结构、低频时间分配、对角布局和可调时间间距有效保留时空关系，在长视频检索等任务上超越以往变体。
2025-05-30 cs.CV
An Image is Worth 16x16 Words, What is a Video Worth?
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
动作识别领域的主要方法试图从输入视频的空间和时间维度提取信息。达到最新技术水平（SotA）精度的方法通常使用3D卷积层作为从视频帧中提取时间信息的一种方式。使用这种卷积需要从输入视频中采样短剪辑，其中每个剪辑是紧密采样的帧的集合。由于每个短剪辑覆盖输入视频的一小部分，因此在推断时对多个剪辑进行采样，以便覆盖视频的整个时间长度。这导致计算负荷增加，并且对于现实世界的应用是不切实际的。我们通过显著减少推理所需的帧数来解决计算瓶颈。我们的方法依赖于一个时间Transformer，适用于全球关注的视频帧，从而更好地利用每帧中的显着信息。因此，我们的方法是非常有效的输入，并且可以用一小部分数据（每个视频的帧），计算和延迟实现SotA结果（在Kinetics数据集上）。特别是在Kinetics-400上，我们达到了$80.5$ top-1的准确性，每个视频的$\times 30$ $\times 30$帧更少，而$\times 40$的推理速度比当前领先的方法更快。代码可在：https://github.com/Alibaba-MIIL/STAM
2021-05-27 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
卷积可以说是现代神经网络最重要的特征变换，导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层，揭示了固定卷积核的局限性，并为动态特征变换时代打开了大门。然而，现有的动态变换，包括自注意，都局限于视频理解，其中空间和时间上的对应关系，即，运动信息对于有效表示是至关重要的。在这项工作中，我们引入了一个关系特征变换，称为关系自我注意力（RSA），利用丰富的时空关系的视频结构，动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明，RSA网络的性能大大优于卷积和自我注意力，在视频动作识别的标准运动为中心的基准上达到了最先进的水平，例如Something-Something-V1 & V2，Diving 48和FineGym。
2021-11-02 cs.CV
Training-Free Temporal Abstraction for General Video Understanding
California Institute of Technology（加州理工学院）
提出无训练的STITCH方法，将视频划分为语义时间块，在三个视频理解任务上表现具竞争力，为通用视频理解提供新方向。
2026-08-31 cs.CV
StreamReady: Learning What to Answer and When in Long Streaming Videos
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）；Microsoft Research（微软研究院）
StreamReady通过引入答案准备度评分，统一时间推理与及时回答，实现对长视频流中何时回答的高效学习与准确判断。
2026-03-09 cs.CV
What Can We Learn from Harry Potter? An Exploratory Study of Visual Representation Learning from Atypical Videos
University of Birmingham（伯明翰大学）；Shandong University（山东大学）
本研究探索非典型视频（如科幻、动画）在开放世界视觉表示学习中的价值，通过收集新数据集并应用于OOD检测、NCD和ZSAR任务，发现非典型数据能持续提升性能，且语义多样性是关键因素。
2025-09-08 cs.CV
Localizing the Common Action Among a Few Videos
Peking University（北京大学）；University of Amsterdam（阿姆斯特丹大学）
本文致力于本地化的时间范围内的行动，在一个长的未修剪的视频。现有的工作利用许多例子，他们的开始，他们的结束，和/或类的动作在训练时间，我们提出了Few-Shot共同的动作本地化。在一个长的未修剪的视频中，动作的开始和结束是基于一大堆包含相同动作的修剪视频示例来确定的，而不知道它们的公共类标签。为了解决这个问题，我们引入了一个新的3D卷积网络架构，能够将支持视频的表示与相关的查询视频片段对齐。该网络包括：（\textit{i}）相互增强模块，用于同时补充少数修剪的支持视频和未修剪的查询视频的表示;（\textit{ii}）渐进对齐模块，用于迭代地将支持视频融合到查询分支中;以及（\textit{iii}）成对匹配模块，用于加权不同支持视频的重要性。评估Few-Shot常见的动作本地化在未经修剪的视频包含一个或多个动作的实例证明了我们的建议的有效性和普遍适用性。
2020-08-25 cs.CV cs.LG eess.IV
Knowing When to Trust a Prior: Reliability-Gated Cue Fusion for Video Gaze Prediction
Duke University（杜克大学）
针对视频注视预测，提出FocusGate门控融合框架，通过逐帧门控选择可信先验，显著提升多种监督预测器性能，仅增加1%延迟。
2026-10-07 cs.CV
Attend What You Need: Motion-Appearance Synergistic Networks for Video Question Answering
Seoul National University（首尔国立大学）；AI Institute for Seoul National University (AIIS)（首尔国立大学人工智能研究院）；Hanyang University（汉阳大学）
视频问答是一项需要人工智能智能体回答基于视频的问题的任务。这项任务需要三个关键挑战：（1）理解各种问题的意图，（2）捕捉输入视频的各种元素（例如，对象，行动，因果关系），和（3）语言和视觉信息之间的跨模态接地。我们提出了运动-外观协同网络（MASN），它嵌入了两个基于运动和外观信息的跨模态特征，并根据问题的意图选择性地利用它们。MASN由运动模块、外观模块和运动外观融合模块组成。运动模块计算面向动作的跨模态关节表示，而外观模块则关注输入视频的外观方面。最后，运动-外观融合模块将运动模块和外观模块的每个输出作为输入，并执行问题引导的融合。因此，MASN在TGIF-QA和MSVD-QA数据集上实现了新的最先进性能。我们还进行定性分析，可视化的推理结果的MASN。该代码可在https://github.com/ahjeongseo/MASN-pytorch上获得。
2021-06-19 cs.AI cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
What Happens When: Learning Temporal Orders of Events in Videos
Seoul National University（首尔国立大学）；Imperial College London（帝国理工学院伦敦分校）
本文提出MECOT方法，通过事件级描述训练和思维链提示提升视频模型对事件时间顺序的理解能力。
2025-12-05 cs.AI cs.CV
TokenLearner: What Can 8 Learned Tokens Do for Images and Videos?
Google Research（谷歌研究院）；Stony Brook University（石溪大学）
在本文中，我们介绍了一种新的视觉表示学习，它依赖于少数自适应学习的令牌，这是适用于图像和视频理解任务。我们的方法不是依靠手工设计的分割策略来获得视觉标记，而是处理大量密集采样的补丁来引起注意，而是学习挖掘视觉数据中的重要标记。这导致高效且有效地找到一些重要的视觉标记，并且使得能够在视频的较长时间范围内或图像中的空间内容上对这些标记之间的成对注意力进行建模。我们的实验在几个具有挑战性的图像和视频识别任务的基准测试中表现出强大的性能。重要的是，由于我们的令牌是自适应的，我们在显著减少计算量的情况下实现了有竞争力的结果。我们在ImageNet上获得了与最先进技术相当的结果，同时计算效率更高。我们还证实了该方法在多个视频数据集上的有效性，包括Kinetics-400，Kinetics-600，Charades和AViD。该代码可从以下网址获得：https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner
2022-04-03 cs.CV cs.LG
What Should a Streaming Video Model Remember?
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of California, Merced（加州大学默塞德分校）；The University of Queensland（昆士兰大学）
针对流式视频理解中固定记忆预算下的长程历史利用问题，提出选择性潜在记忆框架SelectStream，通过惊喜驱动自适应窗口、优先级保持合并和查询条件图推理三个机制，实现高效在线推理，在多个基准上取得领先性能。
2026-09-29 cs.AI cs.CV
Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出ToolMerge方法，通过LLM规划器将查询分解为工具调用并使用布尔运算符合并排名，实现长视频关键帧检索，在字幕检索任务上优于其他方法5%。
2026-07-08 cs.CL cs.CV
What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets
Carnegie Mellon University（卡内基梅隆大学）
视频QA数据集中的问答偏差会误导多模态模型过拟合QA工件，并危及模型的泛化能力。了解这些QA偏见有多强以及它们来自哪里，可以帮助社区更准确地衡量进展，并为研究人员提供深入的见解来调试他们的模型。在本文中，我们分析了流行的视频问答数据集的QA偏差，发现预训练的语言模型可以正确回答37-48%的问题，而无需使用任何多模态上下文信息，远远超过了5-choose-1多项选择题的20%随机猜测基线。我们的消融研究表明，偏见可能来自注释者和问题类型。具体来说，在训练过程中看到的注释者被模型和推理更好地预测，抽象问题比事实，直接的问题产生更多的偏见。我们还根据经验表明，使用注释器非重叠训练测试分割可以减少视频QA数据集的QA偏差。
2020-07-07 cs.CL cs.CV cs.LG
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST（韩国科学技术院文化技术研究生院）；Division of AI and Software, Ewha Womans University（梨花女子大学人工智能与软件学部）
本文提出基于文本的视频到音频生成任务，通过文本提示选择性提取视频中相关声音源，提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征，结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
Knowing Where to Focus: Event-aware Transformer for Video Grounding
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对基于 DETR 的视频定位中输入无关查询缺乏时间位置信息的问题，提出事件感知动态时刻查询，通过 slot attention 事件推理和门控融合 transformer 时刻推理提升性能。
2023-08-14 cs.CV cs.LG
EgoTaskQA: Understanding Human Tasks in Egocentric Videos
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Peking University（北京大学）；Tsinghua University（清华大学）
通过视频观察理解人类任务是智能代理的基本能力。这种能力的挑战在于难以产生对情境动作的详细理解，它们对对象状态的影响（即，状态变化）及其因果依赖关系。多智能体协作中多任务和部分观测的自然并行性进一步加剧了这些挑战。大多数先前的作品利用动作本地化或未来预测作为用于评估来自视频的这种任务理解的间接度量。为了进行直接评估，我们引入了EgoTaskQA基准，该基准通过对现实世界中以自我为中心的视频进行问答，为任务理解的关键维度提供了一个单一的家。我们精心设计的问题旨在理解（1）行动依赖性和效果，（2）意图和目标，以及（3）代理人对他人的信念。这些问题分为四种类型，包括描述性的（什么地位？），预测（什么会？），解释性（什么原因造成的？），和反事实（如果？）提供对目标导向任务的空间、时间和因果理解的诊断分析。我们评估国家的最先进的视频推理模型在我们的基准和人类之间的显着差距，在理解复杂的目标导向的自我中心的视频。我们希望这一努力将推动视觉社区向前发展，以目标为导向的视频理解和推理。
2022-10-08 cs.AI cs.CL cs.CV
Seeing, Hearing, and Knowing Together: Multimodal Strategies in Deepfake Videos Detection
Nanyang Technological University（南洋理工大学）
研究探讨了多模态策略在深度伪造视频检测中的应用，通过分析人类识别过程中的线索组合，提出了提升媒体素养的指导方向。
2026-02-01 cs.CV cs.HC cs.MM
DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
Nankai University（南开大学）；ByteDance Inc.（字节跳动）；IQuest Research（IQuest研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出受人类认知启发的DeltaStreamer框架，结合变化感知记忆与查询驱动规划，在OVO-Bench和StreamingBench上较现有方法取得性能提升。
2026-10-14 cs.AI cs.CV cs.HC
Unconsciously Forget: Mitigating Memorization; Without Knowing What is being Memorized
RWTH Aachen University（亚琛工业大学）；National University of Singapore（新加坡国立大学）；Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所FIT）
UniForget通过模型剪枝有效抑制受版权保护内容的生成，同时保持模型的通用生成能力，并与现有去学习方法互补。
2025-12-12 cs.CV
Knowing What to Label for Few Shot Microscopy Image Cell Segmentation
Universität Ulm（乌尔姆大学）；Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University Medical Center（乌尔姆大学医学中心）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在显微图像细胞分割中，通常在包含不同类型的显微图像的源数据上训练深度神经网络，然后使用包括一些随机选择和注释的训练目标图像的支持集对其进行微调。在本文中，我们认为，随机选择未标记的训练目标图像进行注释，并包括在支持集可能无法实现有效的微调过程，所以我们提出了一种新的方法来优化这个图像选择过程。我们的方法涉及到一个新的评分功能，找到信息未标记的目标图像。特别是，我们建议测量的一致性，在目标图像上的模型预测对特定的数据增强。然而，我们观察到使用源数据集训练的模型不能可靠地评估目标图像的一致性。为了缓解这个问题，我们提出了新的自我监督借口任务来计算未标记的目标图像的分数。最后，具有最小一致性分数的前几个图像被添加到oracle的支持集（即，专家）注释，并在稍后用于将模型微调到目标图像。在我们的评估，涉及五种不同类型的细胞图像的分割，我们展示了有前途的结果相比，随机选择方法以及其他选择方法，如香农熵和蒙特卡洛辍学的几个目标测试集。
2022-11-18 cs.CV
Knowing Earlier what Right Means to You: A Comprehensive VQA Dataset for Grounding Relative Directions via Multi-Task Learning
University of Hamburg（汉堡大学）
空间推理对智能代理提出了特殊的挑战，同时也是它们在物理世界中成功交互和通信的先决条件。一个这样的推理任务是通过相对方向来描述目标对象相对于某个参考对象的内在取向的位置。在本文中，我们介绍GRiD-A-3D，一种新的诊断视觉问答（VQA）数据集的基础上抽象的对象。我们的数据集允许对端到端VQA模型的地面相对方向能力进行细粒度分析。与此同时，与现有的数据集相比，模型训练需要的计算资源要少得多，但却能产生相当甚至更高的性能。除了新的数据集外，我们还提供了一个基于GRiD-A-3D训练的两个众所周知的端到端VQA架构的全面评估。我们证明，在几个时期内，所需的子任务的原因在相对方向，如识别和定位对象在场景中，并估计其内在的方向，学习的顺序，其中相对方向直观地处理。
2022-07-06 cs.CL cs.CV
Knowing Your Target: Target-Aware Transformer Makes Better Spatio-Temporal Video Grounding
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；La Trobe University（拉筹伯大学）；University of North Texas（北得克萨斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出 TA-STVG，通过 TTS 与 ASA 从视频-文本对中提取目标线索并自适应初始化目标查询，在三个基准上显著提升时空视频定位性能。
2025-02-16 cs.AI cs.CV
What You Say Is What You Show: Visual Narration Detection in Instructional Videos
UT Austin（德克萨斯大学奥斯汀分校）；Meta AI
针对教学视频旁白与画面动作不匹配的噪声问题，提出利用多模态线索和伪标签的弱监督WYS^2方法实现视觉旁白检测，性能优于强基线，可提升视频摘要与时序对齐效果。
2023-07-18 cs.CV
Knowing what you know in brain segmentation using Bayesian deep neural networks
National Institute of Mental Health（国家精神卫生研究所）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）
在本文中，我们描述了一种贝叶斯深度神经网络（DNN），用于在几分钟而不是几小时内预测结构MRI体积的FreeSurfer分割。该网络在一个大型数据集（n = 11，480）上进行了训练和评估，该数据集是通过组合来自100多个不同站点的数据获得的，并且还在另一个完全保留的数据集（n = 418）上进行了评估。该网络使用一种新的尖峰和板辍学为基础的变分推理方法进行训练。我们表明，在这些数据集上，所提出的贝叶斯DNN在分割预测和FreeSurfer标签之间的相似性以及这些预测的估计不确定性的有用性方面优于以前提出的方法。特别是，我们证明了该网络在每个体素上的预测不确定性是网络是否出错的一个很好的指标，并且整个大脑的不确定性可以预测扫描的手动质量控制评级。所提出的贝叶斯DNN方法应该适用于任何新的网络架构，以解决分割问题。
2019-09-18 cs.CV cs.LG stat.ML
What I See Is What You See: Joint Attention Learning for First and Third Person Video Co-analysis
Beihang University（北京航空航天大学）；Hunan University（湖南大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，越来越多的视频被可穿戴相机从第一人称视角捕获。这种第一人称视频提供了除传统第三人称视频之外的附加信息，因此具有广泛的应用。然而，用于分析第一人称视频的技术可能与用于第三人称视频的技术根本不同，并且从两个视角探索共享信息甚至更加困难。在本文中，我们提出了一种新的方法，第一和第三人称视频共同分析。在我们的方法的核心是“联合注意”的概念，表示可学习的表示，对应于共享的注意区域在不同的观点，从而连接两个观点。为此，我们开发了一个具有三重损失的多分支深度网络，通过自监督学习从第一和第三人称视频中提取联合注意力。我们评估我们的方法在公共数据集上的跨视点视频匹配任务。我们的方法优于国家的最先进的定性和定量。我们还演示了如何学习联合注意可以通过一组额外的实验受益于各种应用程序。
2019-04-16 cs.CV
What You See Is What Matters: A Novel Visual and Physics-Based Metric for Evaluating Video Generation Quality
Stanford University（斯坦福大学）
针对现有视频生成质量评估指标忽视人类视觉视角及物理一致性的问题，提出VAMP指标，通过外观分数（跨帧视觉一致性）和运动分数（物体运动真实性）评估视频，实验验证其相比传统方法更全面，能有效捕捉视觉保真度与时间一致性。
2024-11-24 cs.CV
What is usual in unusual videos? Trajectory snippet histograms for discovering unusualness
Bilkent University（比尔肯特大学）
不寻常的事件是重要的，因为它们可能是不希望的后果的指标。此外，日常生活活动中的不寻常也可能是有趣的，正如社交媒体上分享的此类视频的流行所证明的那样。在视频中发现不寻常的事件通常被攻击为寻找常见模式的问题，然后将不相似的模式分离出来。在这项研究中，我们从另一个方面解决这个问题，并试图回答什么类型的模式之间共享不寻常的视频，使他们彼此相似，无论正在进行的事件。有了这个具有挑战性的问题在手，我们提出了一种新的描述符，利用密集提取的轨迹编码视频中的快速运动。建议的描述符，这是被称为轨迹剪切直方图，是用来区分不寻常的视频从普通的视频，并进一步利用发现快照中的不寻常发生。在特定领域的人跌倒视频和不受限制的搞笑视频上的实验表明，我们的方法在捕捉异常方面是有效的。
2014-11-02 cs.CV
When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos
University of Michigan（密歇根大学）；Indiana University（印第安纳大学）；Amazon Rekognition（亚马逊Rekognition）
视频异常检测（VAD）已经被广泛研究。然而，对以自我为中心的动态场景的交通视频的研究缺乏大规模的基准数据集以及有效的评价指标。本文提出了一种流量异常检测与\textit{when-where-what}管道检测，定位和识别异常事件的自我中心的视频。我们引入了一个名为交通异常检测（DoTA）的新数据集，其中包含4，677个具有时间，空间和分类注释的视频。提出了一种新的时空曲线下面积（STAUC）评估指标，并与DoTA一起使用。实验结果表明，STAUC是一种有效的VAD度量方法。据我们所知，DoTA是迄今为止最大的流量异常数据集，也是第一个支持跨时间-地点-内容视角的流量异常研究。我们的代码和数据集可以在https://github.com/MoonBlvd/Detection-of-Traffic-Anomaly上找到
2020-04-06 cs.CV
Detecting Engagement in Egocentric Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在可穿戴相机视频中，我们看到的是相机佩戴者看到的。虽然这使得我们很容易大致知道他选择看什么，但它并不能立即揭示他何时与环境接触。具体来说，当他停下来收集更多关于他所看到的东西的信息时，他的注意力在什么时候停留过？知道这个答案将有利于视频摘要和增强现实中的各种应用，但先前的工作只关注“什么”问题（估计显着性，凝视），而不考虑“何时”（参与）。我们提出了一种基于学习的方法，该方法使用长期自我运动线索来检测参与度，特别是在浏览场景中，人们经常接受新的视觉信息（例如，购物，旅游）。我们引入了一个大型的，注释丰富的自我参与数据集，这是同类中的第一个。我们的方法优于各种现有的方法。我们表明，参与可以很好地检测到独立的场景外观和相机佩戴者的身份。
2016-04-04 cs.CV
Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration
New York University（纽约大学）；University of Technology Sydney（悉尼科技大学）
提出AVR，用冻结预训练模型弥合无训练异常检测与视频修复的差距，仅在无可复制证据处生成内容，在监控数据集上实现高保真修复并优于先检测后生成流程。
2026-09-17 cs.CV
Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?
The University of Sydney（悉尼大学）；Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai AI Laboratory（上海人工智能实验室）
现有的文本-视频检索方法大多集中在视频的视觉内容和文本查询语句之间的跨模态匹配。然而，在现实世界的场景中，在线视频往往伴随着相关的文本信息，如标题，标签，甚至字幕，可以用来匹配文本查询。这种洞察力促使我们提出了一种新颖的文本视频检索方法，其中我们使用zero-shot视频描述直接从视频中生成关联的字幕，其中知识来自网络规模的预训练模型（例如，CLIP和GPT-2）。考虑到生成的字幕，一个自然的问题出现了：它们给文本视频检索带来了什么好处？为了回答这个问题，我们引入了Cap 4Video，这是一个新的框架，它以三种方式利用字幕：i）输入数据：视频字幕对可以增加训练数据。ii）中间特征交互：我们在视频和字幕之间执行跨模态特征交互，以产生增强的视频表示。iii）输出分数：查询-字幕匹配分支可以补充原始查询-视频匹配分支以用于文本-视频检索。我们进行全面的消融研究，以证明我们的方法的有效性。在没有任何后处理的情况下，Cap 4Video在四个标准的文本视频检索基准上实现了最先进的性能：MSR-VTT（51.4%），VATEX（66.6%），MSVD（51.8%）和DiDeMo（52.0%）。该代码可在https://github.com/whwu95/Cap4Video上获得。
2023-03-28 cs.CV
EgoVIS@CVPR: What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University（印第安纳大学）；National Yang-Ming Chiao-Tung University（国立阳明交通大学）；Atmanity Inc（Atmanity公司）
该研究利用 LLM 生成状态变化描述及模拟失败结果的反事实作为监督，训练程序感知视频表示，增强动作步骤因果理解，并在动作分割、错误检测等任务上显著提升性能。
2025-09-26 cs.CV
A Delay Metric for Video Object Detection: What Average Precision Fails to Tell
Stanford University（斯坦福大学）；NVIDIA（英伟达）
平均精度（AP）是一个广泛使用的度量来评估图像和视频目标检测器的检测精度。在本文中，我们分析了目标检测从视频，并指出，AP单独是不足以捕捉的时间性质的视频目标检测。为了解决这个问题，我们提出了一个全面的度量，平均延迟（AD），测量和比较检测延迟。为了便于延迟评估，我们仔细选择了ImageNet VID的一个子集，我们将其命名为ImageNet VIDT，重点是复杂的轨迹。通过广泛评估各种检测器的VIDT，我们表明，大多数方法大大增加了检测延迟，但仍然保持AP很好。换句话说，AP不够灵敏以反映视频对象检测器的时间特性。我们的研究结果表明，视频目标检测方法应额外评估延迟度量，特别是对于延迟关键型应用，如自主车辆感知。
2019-11-06 cs.CV
Show and Recall: Learning What Makes Videos Memorable
Adobe Research（Adobe 研究院）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
随着互联网上视频内容的爆炸式增长，需要研究将人类认知考虑在内的视频分析方法。一个这样的认知测量是记忆力，或在观看视觉内容后回忆视觉内容的能力。先前的研究已经研究了图像记忆力，并表明它是视觉内容固有的，但建模视频记忆力的问题还没有得到充分解决。在这项工作中，我们开发了一个预测模型的视频记忆性，包括视频内容的复杂性在it.Detailed特征分析表明，所提出的方法相关性以及与现有的研究结果的记忆性。我们还描述了一个新的实验预测视频子镜头的记忆性，并表明我们的方法提高了目前的记忆性方法在这项任务。标准数据集上的实验表明，该指标可以达到同等或更好的结果比国家的最先进的视频摘要方法。
2017-08-28 cs.CV
What is Point Supervision Worth in Video Instance Segmentation?
University of Maryland, College Park（马里兰大学学院公园分校）；NVIDIA（英伟达公司）；Caltech（加州理工学院）
本文研究视频实例分割中的点监督价值，提出类别无关候选生成与时空点匹配器，仅用每对象一个点标注即接近全监督性能。
2024-04-01 cs.CV
What Are You Doing? A Closer Look at Controllable Human Video Generation
Google DeepMind（谷歌DeepMind）
针对现有数据集缺乏多样性，提出WYD基准，含1544个视频和细粒度标注，评估可控人类视频生成的9个方面，并改进评估指标，深入分析开源模型，发布数据与代码。
2026-09-09 cs.CV
What Actions are Needed for Understanding Human Actions in Videos?
Carnegie Mellon University（卡内基梅隆大学）
对人类活动进行推理的正确方法是什么？哪些前进方向最有希望？在这项工作中，我们分析了视频中人类活动理解的现状。本文的目标是检查数据集，评估指标，算法和潜在的未来方向。我们着眼于定义活动的定性属性，如姿势可变性，简洁性和密度。实验考虑了多个最先进的算法和多个数据集。结果表明，虽然有内在的模糊性的时间范围内的活动，目前的数据集仍然允许有效的基准。我们发现，细粒度的理解对象和姿势结合时间推理时，可能会产生实质性的改进算法的准确性。我们提出了许多类型的信息，将需要实现实质性的收益，在活动的理解：对象，动词，意图和顺序推理。该软件和其他信息将提供给其他研究人员，以了解他们自己的算法。
2017-08-09 cs.CV
What Happens Next? Next Scene Prediction with a Unified Video Model
Pennsylvania State University（宾夕法尼亚州立大学）；Amazon（亚马逊）
本文提出Next Scene Prediction任务，通过联合框架结合Qwen-VL和LTX，利用预训练、监督微调和强化学习提升视频模型的时间推理能力。
2025-12-15 cs.CV
Whareformer: Learning to Track What is Where in Long Egocentric Videos
University of Bristol（布里斯托大学）；NAVER LABS Europe（NAVER欧洲实验室）
针对第一人称视角视频的OSNOM任务，提出基于Transformer的Whareformer模型，通过可更新内存和轨迹分配模块联合推理物体外观与位置，在小数据集训练后在多数据集长测试视频上达SOTA，性能显著优于先前工作。
2026-07-10 cs.CV
What's wrong with this video? Comparing Explainers for Deepfake Detection
Politecnico di Milano（米兰理工大学）
Deepfake是计算机操纵的视频，其中一个人的脸被另一个人的脸所取代。制造这种威胁的软件易于使用，越来越流行，对个人声誉和公共安全造成严重威胁。随着越来越大的数据集的发布，用于检测deepfakes的分类器的质量有所提高，但是对为什么特定视频被标记为虚假的理解并没有跟上。在这项工作中，我们开发，扩展和比较白盒，黑盒和模型特定的技术来解释真实和虚假视频的标签。特别是，我们调整SHAP，GradCAM和自我注意力模型来解释基于EfficientNet的最先进检测器的预测任务，这些检测器在Deepfake Detection Challenge（DFDC）数据集上进行了训练。我们比较所获得的解释，提出指标来量化他们的视觉功能和理想的特性，也进行了用户调查，收集用户的意见，解释者的有用性。
2021-05-12 cs.CV
Learning the What and How of Annotation in Video Object Segmentation
Technical University of Denmark（丹麦技术大学）；Pioneer Center for AI（先锋人工智能中心）；LIX, Ecole Polytechnique, CNRS, Institut Polytechnique de Paris（巴黎综合理工学院计算机科学实验室，法国国家科学研究中心，巴黎综合理工学院，巴黎理工学院）
提出EVA-VOS人机协同标注框架，通过智能体迭代预测标注帧与类型，在MOSE和DAVIS数据集上实现接近人工精度的掩码，标注速度提升3.5倍。
2023-11-11 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University（罗格斯大学）；Snap Inc.（Snap公司）；University of Delaware（特拉华大学）
图像和视频合成是密切相关的领域，旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展，但实现可比的视频生成结果仍然存在问题。我们提出了一个框架，利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频，而且计算效率也高出一个数量级。我们介绍了一个运动发生器，发现所需的轨迹，其中内容和运动被解开。有了这样的表示，我们的框架允许广泛的应用程序，包括内容和运动操纵。此外，我们引入了一个新的任务，我们称之为跨域视频合成，其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明，我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
Use What You Have: Video Retrieval Using Representations From Collaborative Experts
University of Oxford（牛津大学）
互联网上视频的快速增长使得使用自然语言查询来搜索视频内容成为一个重大挑战。人工生成的视频数据集“在野外”的查询在具体程度上有很大差异，有些查询描述了特定的细节，如著名身份的名称，语音内容或屏幕上的文本。我们的目标是将视频中的多模态、极高维信息浓缩成一个单一的、紧凑的视频表示，用于使用自由形式文本查询的视频检索任务，其中的特异性程度是开放式的。为此，我们以预先训练的语义嵌入的形式利用现有的知识，其中包括“一般”特征，如视觉内容的运动，外观和场景特征。我们还探讨了使用更“具体”的线索，从ASR和OCR的间歇性可用于视频，并发现这些信号仍然具有挑战性，有效地用于检索。我们提出了一个协作专家模型，从这些不同的预先训练的专家汇总信息，并评估我们的方法经验上的五个检索基准：MSR-VTT，LSMDC，MSVD，DiDeMo和ActivityNet。代码和数据可以在www.robots.ox.ac.uk/~vgg/research/collaborative-experts/上找到。本文包含对上一版本中报告的结果的更正。
2020-02-14 cs.CV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford（牛津大学）
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而，与使用外观相比，它有一些盲点，例如物体如果不移动就会变得不可见。在这项工作中，我们提出了一种方法，结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式，从而可能对应于对象。由于该模型仅使用单个图像作为输入，因此我们可以将其应用于两种设置：无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果，并证明了我们的方法的可行性，包含新的对象的静态图像。此外，我们用不同的运动模型和光流骨干进行实验，发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
From Image to Video, what do we need in multimodal LLMs?
Intelligent Computing and Machine Learning Lab, School of ASEE, Beihang University（北京航空航天大学自动化学院智能计算与机器学习实验室）；Xiaohongshu（小红书）；School of Sino-French Engineer, Beihang University（北京航空航天大学中法工程师学院）；College of Engineering and Computer Science, VinUniversity（Vin大学工程与计算机科学学院）
针对现有视频大语言模型结构冗余、预训练数据需求大且未充分利用图像大语言模型能力的问题，提出资源高效的RED-VILLM流水线，通过即插即用时间适配结构基于图像大语言模型构建视频大语言模型，性能更优且资源需求低，还打造了中文社区首个视频大语言模型。
2025-05-16 cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
该研究探究自我中心视频嵌入的编码内容，发现其主导方向由摄像头朝向决定，结合惯性信号在WEAR数据集上通过视频图传播惯性预测，将宏F1从0.648提升至0.852，为人类活动识别提供了新方法。
2026-10-12 cs.CV
Treasure What You Have: Exploiting Similarity in Deep Neural Networks for Efficient Video Processing
Univ. Polytechnique Hauts-de-France（上法兰西理工大学）；INSA Hauts-de-France（上法兰西国立应用科学学院）；Bilkent University（比尔肯特大学）
针对实时视频处理中的计算效率问题，本文提出一种相似性感知训练方法，通过逐层正则化增强权重相似性以利用帧间冗余，在车道检测和场景解析中实现约50%压缩和1.5倍加速，且精度不变。
2023-05-10 cs.CV
When will you do what? - Anticipating Temporal Occurrences of Activities
University of Bonn（波恩大学）
分析视频中的人类行为最近受到了越来越多的关注。虽然大多数作品都专注于对观察到的视频帧进行分类和标记，或者预测最近的未来，但在几秒钟内进行长期预测是一项具有许多实际应用的任务，尚未得到解决。在本文中，我们提出了两种方法来预测相当大量的未来行动和他们的持续时间。CNN和RNN都经过训练，可以根据之前看到的内容学习未来的视频标签。我们表明，我们的方法即使对于具有大量不同动作的长视频也能对未来进行准确的预测，甚至可以处理嘈杂或错误的输入信息。
2018-04-03 cs.CV
FlashBack: Knowing When to Remember in Streaming Vision-Language Models
Rightly Robotics
FlashBack提出无需训练的流式视觉语言模型记忆框架，通过语义判断查询是否需要历史信息，并采用隔离的回忆轨迹结合Side-KV路径，在保持实时感知的同时提升长时程记忆任务性能。
2026-10-02 cs.CV
Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
构建可靠的对象检测器，可以检测出的分布（OOD）对象是至关重要的，但探索不足。其中一个关键挑战是模型缺乏来自未知数据的监督信号，从而对OOD对象产生过度自信的预测。我们提出了一个新的未知感知的目标检测框架，通过时空未知蒸馏（STUD），从视频中提取未知的对象在野外和有意义地正则化模型的决策边界。STUD首先在空间维度中识别未知候选对象提议，然后跨多个视频帧聚合候选对象以形成靠近决策边界的未知对象的不同集合。此外，我们采用了基于能量的不确定性正则化损失，它对比地塑造了分布和提取的未知对象之间的不确定性空间。STUD在OOD检测任务中建立了最先进的目标检测性能，与以前的最佳方法相比，FPR 95分数降低了10%以上。代码可在https://github.com/deeplearning-wisc/stud上获得。
2022-03-08 cs.CV
MARS: What Retrieval Signals Are Hidden in Multimodal Large Language Models for Text-Video Retrieval?
Sejong University（世宗大学）
针对多模态大语言模型用于文本-视频检索时压缩线索导致细粒度检索受限的问题，提出MARS框架，通过多层多槽嵌入及难负样本感知的槽专业化目标，在四个基准上取得最优结果。
2026-09-03 cs.CV
