GTA: Global Temporal Attention for Video Action Understanding
University of Maryland(马里兰大学);Fudan University(复旦大学);Facebook AI(Facebook人工智能)
自我注意力学习成对交互来建模长距离依赖关系,从而极大地改进了视频动作识别。在本文中,我们寻求更深入的理解自注意视频中的时间建模。我们首先证明,纠缠模型的时空信息平坦的所有像素是次优的,无法捕捉帧之间的时间关系明确。为此,我们引入了全局时间注意力(GTA),它以解耦的方式在空间注意力之上执行全局时间注意力。我们将GTA应用于像素和语义相似的区域,以捕获不同级别的空间粒度的时间关系。与传统的计算特定于实例的注意力矩阵的自注意力不同,GTA直接学习全局注意力矩阵,该矩阵旨在对跨不同样本进行概括的时间结构进行编码。我们进一步增强GTA与跨通道多头时尚,利用更好的时间建模通道的相互作用。在2D和3D网络上进行的大量实验表明,我们的方法始终增强了时间建模,并在三个视频动作识别数据集上提供了最先进的性能。
2021-11-02 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft(微软)
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作,并且通常在图像/视频理解任务上进行训练,而不适应视频描述数据。在这项工作中,我们提出了SwinBERT,一个端到端的基于转换器的模型视频描述,它需要视频帧补丁直接作为输入,并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器,而是采用视频Transformer来编码时空表示,该时空表示可以适应可变长度的视频输入,而无需针对不同的帧速率进行专门的设计。基于这个模型架构,我们表明,视频描述可以从更密集的采样视频帧中受益,而不是以前的成功与稀疏采样视频帧的视频和语言理解任务(例如,视频问答)。此外,为了避免连续视频帧中的固有冗余,我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验,我们表明SwinBERT比以前的方法实现了全面的性能改进,通常是大幅度的。此外,学习的稀疏注意力掩码将限制推到了新的技术水平,并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits(京东数科)
本文提出了一种新的端到端可训练的视频问答(VideoQA)框架,该框架由三个主要部分组成:1)一个新的异构存储器,可以有效地从外观和运动特征中学习全局上下文信息; 2)一个重新设计的问题存储器,可以帮助理解问题的复杂语义并突出查询主题;以及3)新的多模态融合层,其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征,分别通过当前输入与记忆内容的相互作用。在此基础上,对多模态视觉表征和文本表征进行注意融合,从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明,我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
Action Recognition in Untrimmed Videos with Composite Self-Attention Two-Stream Framework
Institute of Cognitive Intelligence, DeepBlue Academy of Sciences(深蓝科学院认知智能研究所);DeepBlue Technology (Shanghai) Co., Ltd.(深蓝科技(上海)有限公司)
随着深度学习算法的快速发展,视频中的动作识别取得了许多重要的研究成果。零镜头动作识别(Zero-Shot Action Recognition,ZSAR)是动作识别中的一个重要问题,它在没有任何正面例子的情况下对新类别进行分类。动作识别中的另一个困难是未修剪的数据可能严重影响模型性能。我们提出了一个具有预训练模型的复合双流框架。我们提出的框架包括一个分类器分支和一个复合特征分支。两个分支均采用图网络模型,有效地提高了框架的特征提取和推理能力。在复合特征分支中,构建了三通道自注意模型,对视频中的每一帧进行加权,并对关键帧给予更多的关注。每个自注意力模型通道输出一组注意力权重以关注视频的特定方面,并且一组注意力权重对应于一维向量。三通道自注意力模型能够从多个角度对关键帧进行评价,输出的注意力权重向量集形成注意力矩阵,有效增强了对动作关联性强的关键帧的注意力。该模型可以实现zero-shot条件下的动作识别,对未经裁剪的视频数据具有良好的识别性能。相关数据集上的实验结果证实了该模型的有效性。
2019-09-02 cs.CV
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
M2A: Motion Aware Attention for Accurate Video Action Recognition
University of Waterloo(滑铁卢大学)
注意力机制的进步已经在机器学习的各个领域中导致显著的性能改进,这是由于其能够实现时间序列的动态建模。计算机视觉中的一个特殊领域,很可能从视频动作识别中的注意力机制的结合中受益匪浅。然而,目前对注意力机制的研究大多集中在空间和时间注意力上,无法利用视频中的固有运动。基于此,我们开发了一种新的注意力机制,称为运动感知注意力(M2 A),它明确地结合了运动特征。更具体地说,M2 A提取连续帧之间的运动信息,并利用注意力集中在跨帧发现的运动模式上,以准确地识别视频中的动作。所提出的M2 A机制易于实现,并且可以容易地并入任何神经网络骨干架构中。我们表明,使用所提出的M2 A机制将运动机制与注意力机制相结合,可以在不同的骨干架构中使top-1准确度提高+15%至+26%,而计算复杂性仅略有增加。我们进一步比较了M2 A与其他最先进的运动和注意力机制在Something-Something V1视频动作识别基准测试中的性能。实验结果表明,当与其他时间机制结合时,M2 A可以带来进一步的改进,并且对于基准测试中的特定类,它在前1准确度方面比其他仅运动或仅注意力机制高出60%。
2021-12-12 cs.CV
MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing
Fudan University(复旦大学)
视频中事件的识别和定位是视频理解的一项基本任务。由于事件可能发生在听觉和视觉模态,多模态的详细感知是必不可少的完整的场景理解。大多数以前的作品试图从整体的角度来分析视频。然而,它们没有考虑多尺度的语义信息,这使得模型难以定位不同长度的事件。在本文中,我们提出了一个多模态金字塔注意网络(\textbf{MM-Pyramid})的事件定位。具体来说,我们首先提出了关注特征金字塔模块。该模块通过多个堆叠金字塔单元来捕获时间金字塔特征,每个堆叠金字塔单元由固定大小的注意力块和膨胀卷积块组成。我们还设计了一个自适应语义融合模块,它利用一个单位级的注意力块和一个选择性的融合块,以集成金字塔功能交互。在视听事件定位和弱监督视听视频解析任务上的实验验证了该方法的有效性。
2022-07-12 cs.CV
SEAL: Semantic Attention Learning for Long Video Representation
Michigan State University(密歇根州立大学);Google(谷歌公司)
针对长视频理解的计算复杂度高和时间冗余问题,提出SEAL语义注意力学习统一表示方法,通过分解语义实体并优化注意力模块,在多任务中显著优于现有方法。
2025-04-17 cs.CV
SSAN: Separable Self-Attention Network for Video Representation Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
由于自注意能有效地对长距离依赖进行建模,因此已被成功地应用于视频表示学习。现有的方法仅仅通过同时计算空间和时间维度上的成对相关性来建立依赖关系。然而,空间相关性和时间相关性代表了不同的场景和时间推理的上下文信息。直观地说,首先学习空间上下文信息将有利于时间建模。在本文中,我们提出了一个可分离的自我注意(SSA)模块,该模型的空间和时间的相关性顺序,使空间上下文可以有效地用于时间建模。通过在二维CNN中加入SSA模块,构建了用于视频表示学习的SSA网络(SSAN)。在视频动作识别任务上,我们的方法在Something-Something和Kinetics-400数据集上的性能优于最先进的方法。我们的模型往往优于具有较浅网络和较少模态的同行。我们进一步验证了我们的方法在视频检索的视觉语言任务中的语义学习能力,它展示了视频表示和文本嵌入的同质性。在MSR-VTT和Youcook 2数据集上,SSA学习的视频表示显著提高了最先进的性能。
2021-05-27 cs.CV
Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种基于图像-语言预训练模型的查询感知方法,用于长视频定位与关系判别,无需完整电影级知识图谱,在DVU挑战赛中取得优异成绩。
2023-10-19 cs.CV
Video-MOPD: Multi-Teacher On-Policy Distillation for Video Understanding
Tongji University(同济大学);Bilibili Inc.(哔哩哔哩股份有限公司)
提出Video-MOPD-8B,通过多教师在线策略蒸馏和可靠性感知采样,在视频时间定位、通用理解和STEM推理上实现全面最先进性能。
2026-09-10 cs.CV
Multi-attention Networks for Temporal Localization of Video-level Labels
Washington University in St. Louis(圣路易斯华盛顿大学);University of Valladolid(巴利亚多利德大学)
时间定位仍然是视频理解中的一个重要挑战。在这项工作中,我们提出了我们的解决方案,以第三届YouTube-8 M视频理解的挑战组织的谷歌研究。参与者被要求建立一个段级分类器,使用一个大规模的训练数据集与嘈杂的视频级标签和一个相对较小规模的验证数据集与准确的段级标签。我们将问题描述为多实例多标签学习,并开发了一种基于注意力的机制,通过注意力权重选择性地强调重要帧。通过构造多组注意力网络,进一步提高了模型的性能。我们进一步使用段级数据集对模型进行微调。我们的最终模型由注意力/多注意力网络、深袋框架模型、递归神经网络和卷积神经网络组成。它在私人领导者排行榜上排名第13位,并以其有效利用资源而脱颖而出。
2019-11-15 cs.CV
SmartSight: Mitigating Hallucination in Video-LLMs Without Compromising Video Understanding via Temporal Attention Collapse
SmartSight通过时间注意力崩溃技术,在不牺牲视频理解能力的前提下,有效降低视频大语言模型的幻觉问题。
2025-12-21 cs.CV
VideoMamba: State Space Model for Efficient Video Understanding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室 OpenGVLab)
VideoMamba将Mamba状态空间模型适配至视频领域,以线性复杂度解决局部冗余与全局依赖,实现高效长时视频理解,并具备可扩展性、敏感性、优越性和多模态兼容性。
2024-03-12 cs.CV
Video-Oasis: Rethinking Evaluation of Video Understanding
Sejong University(世宗大学);NAVER Cloud
本文提出Video-Oasis,通过系统评估现有评估方法,揭示视频理解中的时空挑战,发现54%的基准样本无需视觉输入即可解决,先进模型表现仅略超随机猜测。
2026-07-03 cs.CV
A Unified Model for Video Understanding and Knowledge Embedding with Heterogeneous Knowledge Graph Dataset
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);KuaiShou Inc.(快手公司)
本文提出包含多模态视频实体的异构知识图谱数据集及VRT、VRV任务,并构建联合优化视频理解与知识图谱嵌入的端到端模型,显著提升了视频检索及知识图谱嵌入性能。
2023-04-02 cs.CV
LLaVA-MLB: Mitigating and Leveraging Attention Bias for Training-Free Video LLMs
School of Software, Tsinghua University(清华大学软件学院);BNRist, Tsinghua University(清华大学BNRist);GRG Banking Equipment Co., Ltd.(广电运通金融电子股份有限公司);South China University of Technology(华南理工大学)
针对无需训练视频 LLM 的 token 限制与位置注意力偏差,本文提出压缩—扩展两阶段 token 选择方法,通过网格注意力池化缓解偏差并以视觉摘要尾部利用偏差,提升效率与准确率。
2025-03-14 cs.CV
Inductive Attention for Video Action Anticipation
NVIDIA AI Technology Center(英伟达人工智能技术中心);Free University of Bozen-Bolzano(博尔扎诺自由大学)
在视频理解和预测性计算机视觉中,基于时空观测预测未来动作是必不可少的。此外,能够预测未来的模型具有重要的应用,它可以帮助预防系统在事件发生之前做出反应。然而,与动作识别任务不同,未来的信息在观察时是不可访问的-模型不能直接将视频帧映射到目标动作以解决预期任务。相反,需要进行时间推断,以将相关证据与未来可能采取的行动联系起来。因此,基于动作识别模型的现有解决方案仅是次优的。最近,研究人员提出延长观察窗口,以从过去的时刻捕捉更长的行动前配置文件,并利用注意力来检索微妙的证据,以改善预期预测。然而,现有的注意力设计通常使用帧输入作为查询,这是次优的,因为视频帧仅弱连接到未来的动作。为此,我们提出了一个归纳注意力模型,称为IAM,它利用当前的预测先验作为查询来推断未来的动作,可以有效地处理长视频内容。此外,我们的方法考虑了未来的不确定性,通过多对多的关联在注意力设计。因此,IAM在多个大规模以自我为中心的视频数据集上始终优于最先进的预测模型,同时使用显著更少的模型参数。
2023-03-18 cs.CV
VideoSEMA: a scalable and efficient Mamba-like attention for video understanding
University of California, Irvine(加利福尼亚大学欧文分校);Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
研究针对视频理解提出VideoSEMA模型,核心方法是采用时空注意力分割,包含空间类曼巴注意力模块和时间注意力。主要贡献是在多数据集上表现优异,参数规模相当时准确率领先,分辨率提升时退化更平缓,扩展到长视频也有前景。
2026-07-21 cs.AI cs.CV
VideoNSA: Native Sparse Attention Scales Video Understanding
VideoNSA通过端到端训练提升视频理解,结合原生稀疏注意力实现长视频和时间推理的性能优化
2026-01-30 cs.AI cs.CV cs.LG
HAS: Highlight-guided Attention Steering for Multimodal LLM Video Summarization
Tufts University(塔夫茨大学)
针对视频摘要,提出HAS方法,通过全局找连续帧级高亮分布并作为注意力转向向量,让多模态大语言模型在推理时更关注高亮帧,避免丢失信息,在多种基准测试中性能出色。
2026-07-21 cs.AI cs.CV
Open-Ended Long-Form Video Question Answering via Hierarchical Convolutional Self-Attention Networks
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
开放式视频问答的目标是根据给定的问题从参考的视频内容自动生成自然语言答案。目前,大多数现有的方法集中在短形式的视频问答与多模态递归编码器-解码器网络。虽然这些工作已经取得了可喜的成绩,他们可能仍然是无效的应用于长格式视频问答由于缺乏远程依赖建模和沉重的计算成本的痛苦。为了解决这些问题,我们提出了一个快速的分层卷积自注意编码器-解码器网络(HCSA)。具体地说,我们首先开发了一个分层卷积自注意编码器来有效地对长格式视频内容进行建模,该编码器为视频序列构建了分层结构,并从视频上下文中捕获了问题感知的长距离依赖关系。然后,我们设计了一个多尺度注意解码器,将多层视频表示的答案生成,这避免了顶部编码器层的信息丢失。大量的实验表明了该方法的有效性和效率。
2019-06-28 cs.CV cs.LG
Video Question Answering via Attribute-Augmented Attention Network Learning
Zhejiang University(浙江大学)
视频问答是视觉信息检索中的一个具有挑战性的问题,它根据问题对所引用的视频内容提供答案。然而,现有的视觉问答方法主要解决静态图像问题,这可能是无效的视频问答回答由于建模的视频内容的时间动态的不足。本文采用帧级注意力机制对视频问答进行时间动态建模,研究视频问答问题。我们提出的属性增强注意力网络学习框架,使联合帧级属性检测和统一的视频表示学习的视频问答。然后,我们将多步推理过程中,我们提出的注意力网络,以进一步提高性能。我们构建了一个大规模的视频问答数据集。我们在多项选择题和开放式视频问答任务上进行了实验,以证明所提出的方法的有效性。
2017-07-20 cs.AI cs.CL cs.CV
Video-CCAM: Enhancing Video-Language Understanding with Causal Cross-Attention Masks for Short and Long Videos
Tsinghua University(清华大学);Tencent QQ(腾讯QQ)
本文提出Video-CCAM,通过在视觉编码器与LLM间引入因果交叉注意力掩码的中间投影器,解决视频视觉token过多的问题,并在多个短视频与长视频基准上取得领先性能。
2024-08-26 cs.AI cs.CV
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Attention Transfer from Web Images for Video Recognition
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
训练用于动作识别的基于深度学习的视频分类器需要大量标记的视频。标签过程是劳动密集型和耗时的。另一方面,大量的弱标记图像被用户上传到互联网上。为了利用丰富且高度多样化的Web图像集,一种可扩展的方法是抓取这些图像以训练基于深度学习的分类器,例如卷积神经网络(CNN)。然而,由于域转移问题,Web图像训练的深度分类器的性能在直接部署到视频时往往会下降。解决这个问题的一种方法是对视频的训练模型进行微调,但仍然需要足够数量的注释视频。在这项工作中,我们提出了一种新的方法来转移知识从图像域到视频域。所提出的方法可以适应目标域(即视频数据)与有限数量的训练数据。我们的方法将视频帧映射到一个低维特征空间,使用CNN的分类判别空间注意力图。我们设计了一种新的Siamese EnergyNet结构,通过联合优化两个损失函数来学习注意力地图上的能量函数,使得与地面真实概念相对应的注意力地图具有更高的能量。我们对两个具有挑战性的视频识别数据集(即TVHI和UCF101)进行了广泛的实验,并证明了我们所提出的方法的有效性。
2017-08-03 cs.CV cs.MM
Efficient Attention-free Video Shift Transformers
Samsung AI Center(三星人工智能中心);Queen Mary University London(伦敦玛丽女王大学)
本文解决了有效的视频识别问题。在这一领域,视频Transformers最近主导了效率(前1精度与FLOP)频谱。同时,在图像领域中已经有一些尝试,其挑战Transformer架构内的自注意操作的必要性,提倡使用更简单的方法来进行令牌混合。然而,对于视频识别的情况还没有结果,其中自注意算子对效率具有显著更高的影响(与图像的情况相比)。为了解决这个问题,在本文中,我们做了以下贡献:(a)我们构建了一个高效的\&准确的注意力自由块的基础上的移位运算符,创造仿射移位块,专门设计来尽可能接近的操作在MHSA块的Transformer层。基于我们的Affine-Shift块,我们构建了我们的Affine-Shift Transformer,并表明它已经优于所有现有的基于移位/MLP的ImageNet分类架构。(b)我们扩展我们的配方在视频域构建视频仿射移位Transformer(VAST),第一个纯粹的注意力自由移位为基础的视频Transformer。(c)我们表明,VAST显着优于最近的国家最先进的Transformers器上最流行的动作识别基准的情况下,低计算和内存占用的模型。代码将提供。
2022-08-23 cs.CV cs.LG
Relation-aware Hierarchical Attention Framework for Video Question Answering
Beijing University of Posts and Telecommucations(北京邮电大学)
视频问答(VideoQA)是一项具有挑战性的视频理解任务,因为它需要对问题和视频都有深刻的理解。之前的研究主要集中在提取复杂的视觉和语言嵌入,并通过精致的手工网络将它们融合。然而,不同的框架,对象和模态与问题的相关性是随着时间而变化的,这是大多数现有方法所忽略的。缺乏对对象之间动态关系和交互的理解给视频质量评估带来了巨大的挑战。为了解决这个问题,我们提出了一种新的感知层次注意力(RHA)框架来学习视频中对象的静态和动态关系。特别地,视频和问题首先通过预训练的模型嵌入,以获得视觉和文本特征。然后,基于图的关系编码器被用来提取视觉对象之间的静态关系。为了捕捉多模态对象在不同视频帧中的动态变化,本文综合考虑多模态对象的时间、空间和语义关系,采用分层注意力机制融合多模态特征进行预测。我们在一个大规模的VideoQA数据集上进行了大量的实验,实验结果表明,我们的RHA优于最先进的方法。
2021-05-14 cs.AI cs.CV
VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding
The Chinese University of Hong Kong(香港中文大学);Ant Group(蚂蚁集团);Tsinghua University(清华大学);Tongji University(同济大学);The Hong Kong University of Science and Technology(香港科技大学)
VideoGAIA是面向通用AI助手的智能体视频理解基准,构建多轮工具增强交互任务,现有MLLMs在其上准确率不足60%,可评估下一代模型并推动相关转型。
2026-08-18 cs.CL cs.CV
Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution
Tsinghua University(清华大学);Harbin Engineering University(哈尔滨工程大学)
Video-RSI提出一种递归自我改进框架,让视频理解代理利用自身语言模型修订工具,通过主动视频调查验证失败假设,在成本感知下实现更少帧数下的更高准确率。
2026-09-30 cs.AI cs.CV
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了VideoCLIP,这是一种对比方法,用于预训练zero-shot视频和文本理解的统一模型,而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比,来训练视频和文本的Transformer。我们对一系列下游任务的实验,包括序列级文本视频检索,VideoQA,令牌级动作定位和动作分割,揭示了最先进的性能,超过了先前的工作,在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
Interpretable Spatio-temporal Attention for Video Action Recognition
University of British Columbia(不列颠哥伦比亚大学);Tsinghua University(清华大学)
受观察到人类能够有效地处理视频,只注意在哪里和何时需要的启发,我们提出了一个可解释的和简单的插件时空注意力机制的视频动作识别。对于空间注意力,我们学习了一个显着性掩码,使模型能够专注于特征图中最显着的部分。对于时间注意力,我们采用基于卷积LSTM的注意力机制来识别输入视频中最相关的帧。此外,我们提出了一组正则化,以确保我们的注意力机制出席在空间和时间的连贯区域。我们的模型不仅提高了视频动作识别的准确性,而且在空间和时间上都定位了有区别的区域,尽管是以弱监督的方式训练的,只有分类标签(没有限界框标签或时间帧时间标签)。我们评估了我们的方法在几个公共视频动作识别数据集与消融研究。此外,我们定量和定性地评估我们的模型的能力,本地化的歧视性地区的空间和关键帧的时间。实验结果证明了我们的方法的有效性,表现出优越的或可比的准确性与国家的最先进的方法,同时增加模型的可解释性。
2019-06-03 cs.CV cs.LG stat.ML
Co-attentional Transformers for Story-Based Video Understanding
Seoul National University(首尔大学);Artificial Intelligence Institute (AIIS)(人工智能研究所(AIIS))
受视觉和语言学习的最新趋势的启发,我们探讨了在基于故事的视频理解的应用程序中的注意力机制的应用程序,以语言融合。与其他基于视频的QA任务一样,视频故事理解需要智能体掌握复杂的时间依赖性。然而,由于它侧重于视频的叙事方面,因此还需要了解不同角色之间的互动,以及他们的行为和动机。我们提出了一种新的共同注意Transformer模型,以更好地捕捉长期的依赖关系,如戏剧的视觉故事,并衡量其性能的视频问答任务。我们在最近推出的DramaQA数据集上评估了我们的方法,该数据集的特点是以角色为中心的视频故事理解问题。我们的模型总体上比基线模型高出8个百分点,在所有难度级别上至少高出4.95个百分点,最高可达12.8个百分点,并成功击败了DramaQA挑战赛的获胜者。
2020-10-27 cs.AI cs.CL cs.CV
A Better Way to Attend: Attention with Trees for Video Question Answering
Zhejiang University(浙江大学)
提出了一种新的视频问答注意力模型。注意力模型的主要思想是定位于视觉数据中信息量最大的部分。注意力机制现在很流行。然而,大多数现有的视觉注意力机制将问题视为一个整体。它们忽略了词级语义,每个词可以有不同的注意力,有些词不需要注意。他们也不考虑句子的语义结构。虽然用于视频问答的扩展软注意(E-SA)模型利用了词级注意,但它在长问句上表现不佳。在本文中,我们提出了异构树结构记忆网络(HTreeMN)的视频问答。我们提出的方法是基于问句的语法分析树。HTreeMN不同地处理单词,其中\textit{visual}单词用注意模块处理,而\textit{verbal}单词不用注意模块处理。它还利用了句子的语义结构,通过结合邻居的递归结构的分析树。对文字的理解和对视频的理解从叶子到根进行传播和融合。此外,我们建立了一个层次化的注意力机制来提取关注特征。我们在两个数据集上评估我们的方法。实验结果表明,我们的HTreeMN模型优于其他注意力模型,特别是在复杂的问题。我们的代码可以在github上找到。我们的代码可在www.example.com上获得
2019-09-05 cs.CL cs.CV cs.LG
Video Question Answering Using CLIP-Guided Visual-Text Attention
University of Nottingham Ningbo China(宁波诺丁汉大学);Nottingham Ningbo China Beacons of Excellence Research and Innovation Institute(宁波诺丁汉大学卓越灯塔研究与创新研究院);Nanyang Technological University(南洋理工大学)
视频和文本的跨模式学习在视频问答(VideoQA)中发挥着关键作用。本文提出了一种视觉-文本注意力机制,利用在大量通用领域语言-图像对上训练的对比图像-图像预训练(CLIP)来指导VideoQA的跨模态学习。具体来说,首先从目标应用领域中提取视频特征和文本特征,然后利用CLIP通过特定领域学习从通用知识领域中提取一对视觉-文本特征。然后,我们提出了一个跨域学习提取的目标域和一般域的视觉和语言特征之间的注意力信息。CLIP引导的视觉文本特征集被集成以预测答案。该方法在MSVD-QA和MSRVTT-QA数据集上进行了评估,并优于最先进的方法。
2023-03-08 cs.AI cs.CV cs.MM
Revisiting the "Video" in Video-Language Understanding
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
是什么让视频任务特别适合于视频,超越了从单个图像中可以理解的内容?在自我监督的图像-语言模型的最新进展的基础上,我们在视频和语言任务的背景下重新审视这个问题。我们提出了一种新的视频语言分析模型--无时态探测器(ATP),它为受图像级理解约束的多模态模型的基线精度提供了更强的约束。通过将该模型应用于标准的判别视频和语言任务,如视频问答和文本到视频检索,我们描述了当前视频语言基准的局限性和潜力。我们发现,事件的时间性的理解往往是不必要的,以实现强大的或国家的最先进的性能,即使与最近的大规模视频语言模型和上下文旨在基准更深层次的视频水平的理解。我们还展示了ATP如何改善视频语言数据集和模型设计。我们描述了一种技术,利用ATP更好地解开数据集子集与更高浓度的时间上具有挑战性的数据,提高基准效率的因果关系和时间的理解。此外,我们表明,有效地将ATP整合到完整的视频级时间模型中可以提高效率和最先进的准确性。
2022-06-03 cs.AI cs.CL cs.CV
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego(加州大学圣地亚哥分校)
近年来,由于序列建模的进步,随着长短期记忆网络(LSTM)的复兴和门控递归单元(GRU)的引入,视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征,并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元,然而,这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中,我们实现了一个基于transformer的视频描述模型,利用3D CNN架构,如C3D和双流I3D视频提取。我们还应用了某些降维技术,以保持模型的整体大小在一定范围内。最后,我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
Video-based Person Re-identification Using Spatial-Temporal Attention Networks
Delhi Technological University(德里理工大学);University of Manitoba(曼尼托巴大学)
我们考虑的问题,基于视频的人重新识别。目标是从不同摄像头拍摄的视频中识别一个人。在本文中,我们提出了一个有效的时空注意力为基础的模型,从视频中的人重新识别。我们的方法基于帧级特征为每个帧生成注意力分数。视频中所有帧的注意力分数用于产生输入视频的加权特征向量。与大多数使用全局表示的现有深度学习方法不同,我们的方法专注于注意力分数。在两个基准数据集上的大量实验表明,我们的方法达到了最先进的性能。这是一份技术报告。
2018-10-26 cs.CV
Video-P2P: Video Editing with Cross-attention Control
The Chinese University of Hong Kong(香港中文大学);Adobe(奥多比);SmartMore(思谋)
本文介绍了Video-P2P,一种新的框架,用于现实世界的视频编辑与交叉注意力控制。虽然注意力控制已被证明对于使用预训练的图像生成模型进行图像编辑是有效的,但目前还没有公开的大规模视频生成模型。Video-P2P通过调整图像生成扩散模型来完成各种视频编辑任务来解决这一限制。具体来说,我们建议首先调整文本到集合(T2 S)模型来完成近似反转,然后优化共享无条件嵌入,以实现精确的视频反转,并具有较小的内存成本。对于注意力控制,我们引入了一种新的双引导策略,它使用不同的指导策略的源和目标提示。对源提示的优化无条件嵌入提高了重构能力,而对目标提示的初始化无条件嵌入提高了可编辑性。将这两个分支的注意力图分开可以进行详细的编辑。这些技术设计支持各种文本驱动的编辑应用程序,包括单词交换,提示细化和注意力重新加权。Video-P2P在真实世界的视频中可以很好地生成新角色,同时最佳地保留其原始姿势和场景。它明显优于以前的方法。
2023-03-08 cs.CV
Transforming Multi-Concept Attention into Video Summarization
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学)
视频摘要是计算机视觉中具有挑战性的任务之一,其目的是在冗长的视频输入中识别精彩帧或镜头。在本文中,我们提出了一种新的基于注意力的框架,视频摘要与复杂的视频数据。不同于以往的作品,只适用于注意力机制的帧之间的对应关系,我们的多概念视频自我注意力(MC-VSA)模型,以确定跨时间和概念视频特征,联合利用上下文的多样性随着时间和空间的摘要目的的信息区域。再加上我们框架中视频和摘要之间的一致性,我们的模型可以应用于标记和未标记的数据,使我们的方法更适合于现实世界的应用。在两个基准上进行的广泛而完整的实验证明了我们的模型在定量和定性上的有效性,并证实了其优于现有技术的优越性。
2020-06-03 cs.CV
Manipulation-skill Assessment from Videos with Spatial Attention Network
The University of Tokyo(东京大学);Hunan University(湖南大学)
计算机视觉的最新进展使从视频中自动评估人类执行任务的操作技能成为可能,这在健康康复和制造等领域孕育了许多重要的应用。以前的基于视频的技能评估方法没有考虑人类在评估视频时使用的注意力机制,限制了它们的性能,因为只有一小部分视频区域为技能评估提供信息。我们的动机是估计视频中的注意力,这有助于关注至关重要的视频区域,以更好地进行技能评估。特别是,我们提出了一种新的基于RNN的空间注意力模型,该模型考虑了先前帧的累积注意力状态以及有关正在进行的任务进展的高级知识。我们评估我们的方法上新收集的数据集的婴儿抓握任务和现有的四个数据集的手操作任务。实验结果表明,国家的最先进的性能,可以通过考虑在自动技能评估的注意。
2019-04-10 cs.CV
Understanding Attention Mechanism in Video Diffusion Models
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对基于扩散的文本到视频合成模型中注意力机制的作用展开研究,通过信息论扰动分析揭示时空注意力图对视频质量的影响,并提出轻量级注意力矩阵操作方法以提升视频质量和实现文本引导编辑。
2025-04-17 cs.CV
Convolutional Temporal Attention Model for Video-based Person Re-identification
University of Manitoba(曼尼托巴大学)
基于视频的人物重新识别的目标是匹配两个输入视频,使得如果两个视频包含同一个人,则两个视频的距离很小。一种常见的个人重新识别方法是首先提取视频中所有帧的图像特征,然后聚合所有特征以形成视频级特征。然后可以使用两个视频的视频级特征来计算两个视频的距离。在本文中,我们提出了一种时间注意力的方法,用于聚合帧级特征到视频级特征向量进行重新识别。我们的方法是出于这样一个事实,即不是所有的帧在一个视频是同样的信息。我们提出了一个完全卷积的时间注意力模型来生成注意力分数。全卷积网络(FCN)已广泛用于语义分割以生成2D输出图。在本文中,我们制定了基于视频的人的重新识别作为一个序列标记的问题,如语义分割。我们在它们之间建立了一个连接,并修改FCN来生成注意力分数,以表示每个帧的重要性。在三个不同的基准数据集(即iLIDS-VID,PRID-2011和SDU-VID)上的大量实验表明,我们提出的方法优于其他最先进的方法。
2019-04-10 cs.CV
The Pros and Cons: Rank-aware Temporal Attention for Skill Determination in Long Videos
University of Bristol(布里斯托大学)
我们提出了一个新的模型来确定相对技能的长视频,通过学习时间注意模块。技能确定被公式化为一个排名问题,使其适合于常见和通用的任务。然而,对于长视频,视频的部分与评估技能无关,并且在整个视频中展现的技能可能存在可变性。因此,我们提出了一种方法,它评估的相对整体水平的技能,在一个长视频出席其技能相关的部分。我们的方法训练时间注意模块,学习只有视频级的监督,使用一种新的排名感知损失函数。除了关注任务相关的视频部分之外,我们提出的损失联合训练两个注意力模块来分别关注表示较高(优点)和较低(缺点)技能的视频部分。我们在EPIC-Skills数据集上评估了我们的方法,并从YouTube视频中添加了一个更大的数据集,以确定五个以前未探索过的任务的技能。我们的方法在两个数据集上的成对准确率超过4%,在单个任务上的准确率高达12%,优于以前的方法和经典softmax attention。我们还展示了我们的模型的能力,参加排名感知部分的视频。
2019-04-10 cs.CV
SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
NVIDIA(英伟达)
SANA-Video 2.0是一种混合视频扩散Transformer,采用混合线性-softmax注意力和块注意力残差,在单个GPU上生成高质量视频,成本大幅降低,实现可扩展长时、高分辨率视频生成,性能与大模型竞争且速度更快。
2026-07-24 cs.CV
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad(印度信息技术与信息技术研究院海得拉巴分校);Cognitive Science Lab(认知科学实验室);CVIT(计算机视觉与图像处理中心)
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力,通过与人类眼动数据对比,发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);JD AI Research(京东人工智能研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
给定一个未修剪的视频和一个句子描述,时间句子定位的目的是自动确定视频中所描述的句子的开始和结束点。这个问题具有挑战性,因为它需要对视频和句子的理解。现有的研究主要采用了一个昂贵的“扫描和本地化”的框架,忽略了全球视频上下文和句子中的具体细节,这是这个问题的关键问题。在本文中,我们提出了一种新的基于注意力的位置回归(ABLR)的方法来解决时间句子定位从全局的角度来看。具体来说,为了保留上下文信息,ABLR首先通过双向LSTM网络对视频和句子进行编码。然后,引入多模态协同注意力机制,不仅生成反映全局视频结构的视频注意力,还生成突出时间定位关键细节的句子注意力。最后,设计了一种新的基于注意力的位置回归网络,从先前的注意力预测句子查询的时间坐标。ABLR以端到端的方式进行联合培训。在ActivityNet Captions和TACoS数据集上的综合实验证明了所提出的ABLR方法的有效性和效率。
2018-11-03 cs.CV
Suspicious Object Recognition Method in Video Stream Based on Visual Attention
Fudan University(复旦大学)
我们提出了一种基于人类视觉注意力的智能对象识别和视频监控的最新方法。在感兴趣目标(显著图)的获取和目标识别过程中分别采用了自底向上的和自顶向下的注意。对4通道PFT方法进行了修正,使其具有自底向上的注意力,提高了速度和精度。利用返回抑制(IOR)来判断显著对象的弹出顺序.在判断目标是否匹配和可疑时,综合考虑了颜色分布的欧氏距离、目标中心坐标和速度。对视频和图像的大量测试表明,该方法在视频分析中具有较高的精度和较快的速度。该方法可应用于视频监控、安防等领域。
2013-08-23 cs.CV
Adaptive Compact Attention For Few-shot Video-to-video Translation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种自适应的紧凑注意力模型的Few-Shot视频到视频翻译。现有的研究方法只利用像素级注意力特征,没有考虑多幅参考图像之间的相关性,计算量大,但性能有限。因此,我们引入了一种新的自适应紧凑的注意力机制,以有效地提取上下文特征联合从多个参考图像,其中编码的视图相关和运动相关的信息可以显着有益于合成的现实视频。我们的核心思想是从所有参考图像中提取紧凑基集作为更高级别的表示。为了进一步提高可靠性,在推理阶段,我们还提出了一种基于德洛内三角剖分算法的参考文献自动选择方法。我们广泛评估我们的方法在大规模的说话头视频数据集和人类跳舞数据集;实验结果表明,我们的方法产生逼真的和时间一致的视频的优越性能,并大大改善了国家的最先进的方法。
2020-11-30 cs.CV
VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
VideoGrain提出零样本方法,通过调制时空注意力实现类别、实例和部件级的多粒度视频编辑,解决语义错位与特征耦合问题,达到最先进性能。
2025-02-24 cs.CV
Attention in Attention: Modeling Context Correlation for Efficient Video Classification
University of Science and Technology of China(中国科学技术大学);Wuhan Research Institute of Posts and Telecommunications(武汉邮电科学研究院);Hefei University of Technology(合肥工业大学);Wuhan Institute of Technology(武汉工程大学)
注意力机制利用视角上下文显著提高了视频分类神经网络的性能。然而,目前对视频注意力的研究通常集中在采用上下文的特定方面(例如,信道、空间/时间或全局上下文)来细化特征,并在计算注意力时忽略它们的潜在相关性。这导致不完全的上下文利用,从而承担有限的性能提高的弱点。为了解决这个问题,本文提出了一种有效的注意力(AIA)方法,用于元素特征细化,研究了将通道上下文插入时空注意力学习模块(称为CinST)及其反向变体(称为STinC)的可行性。具体来说,我们将视频特征上下文实例化为沿特定轴聚合的动态,具有全局平均和最大池化操作。AIA模块的工作流程是,第一注意力块使用一种上下文信息来指导针对另一上下文的第二注意力的选通权重计算。此外,注意单元中的所有计算操作都作用于池维,这导致相当少的计算成本增加($<$ 0.02\%)。为了验证我们的方法,我们密集地将其集成到两个经典的视频网络骨干,并在几个标准的视频分类基准上进行了广泛的实验。我们的AIA源代码可在\url{https://github.com/haoyanbin918/Attention-in-Attention}获得。
2022-04-20 cs.CV
Attention Distillation for Learning Video Representations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Kuaishou Technology(快手科技);Y-tech
我们解决了使用深度模型学习运动表示进行视频识别的挑战性问题。为此,我们利用注意力模块来学习突出视频中的区域并聚合特征以进行识别。具体来说,我们建议利用输出注意力地图作为一种工具,将学习到的表示从运动(流)网络转移到RGB网络。我们系统地研究了注意力模块的设计,并提出了一种新的注意力提取方法。我们的方法在主要的行动基准上进行了评估,并不断提高基线RGB网络的性能。此外,我们证明了我们的注意力地图可以利用运动线索学习,以确定视频帧中的动作的位置。我们相信我们的方法为在深度模型中学习运动感知表示迈出了一步。我们的项目页面可以在https://aptx4869lm.github.io/AttentionDistillation/上找到
2020-08-14 cs.CV
What I See Is What You See: Joint Attention Learning for First and Third Person Video Co-analysis
Beihang University(北京航空航天大学);Hunan University(湖南大学);Peng Cheng Laboratory(鹏城实验室)
近年来,越来越多的视频被可穿戴相机从第一人称视角捕获。这种第一人称视频提供了除传统第三人称视频之外的附加信息,因此具有广泛的应用。然而,用于分析第一人称视频的技术可能与用于第三人称视频的技术根本不同,并且从两个视角探索共享信息甚至更加困难。在本文中,我们提出了一种新的方法,第一和第三人称视频共同分析。在我们的方法的核心是“联合注意”的概念,表示可学习的表示,对应于共享的注意区域在不同的观点,从而连接两个观点。为此,我们开发了一个具有三重损失的多分支深度网络,通过自监督学习从第一和第三人称视频中提取联合注意力。我们评估我们的方法在公共数据集上的跨视点视频匹配任务。我们的方法优于国家的最先进的定性和定量。我们还演示了如何学习联合注意可以通过一组额外的实验受益于各种应用程序。
2019-04-16 cs.CV