Understanding Attention Mechanism in Video Diffusion Models
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对基于扩散的文本到视频合成模型中注意力机制的作用展开研究,通过信息论扰动分析揭示时空注意力图对视频质量的影响,并提出轻量级注意力矩阵操作方法以提升视频质量和实现文本引导编辑。
2025-04-17 cs.CV
Convolutional Temporal Attention Model for Video-based Person Re-identification
University of Manitoba(曼尼托巴大学)
基于视频的人物重新识别的目标是匹配两个输入视频,使得如果两个视频包含同一个人,则两个视频的距离很小。一种常见的个人重新识别方法是首先提取视频中所有帧的图像特征,然后聚合所有特征以形成视频级特征。然后可以使用两个视频的视频级特征来计算两个视频的距离。在本文中,我们提出了一种时间注意力的方法,用于聚合帧级特征到视频级特征向量进行重新识别。我们的方法是出于这样一个事实,即不是所有的帧在一个视频是同样的信息。我们提出了一个完全卷积的时间注意力模型来生成注意力分数。全卷积网络(FCN)已广泛用于语义分割以生成2D输出图。在本文中,我们制定了基于视频的人的重新识别作为一个序列标记的问题,如语义分割。我们在它们之间建立了一个连接,并修改FCN来生成注意力分数,以表示每个帧的重要性。在三个不同的基准数据集(即iLIDS-VID,PRID-2011和SDU-VID)上的大量实验表明,我们提出的方法优于其他最先进的方法。
2019-04-10 cs.CV
The Pros and Cons: Rank-aware Temporal Attention for Skill Determination in Long Videos
University of Bristol(布里斯托大学)
我们提出了一个新的模型来确定相对技能的长视频,通过学习时间注意模块。技能确定被公式化为一个排名问题,使其适合于常见和通用的任务。然而,对于长视频,视频的部分与评估技能无关,并且在整个视频中展现的技能可能存在可变性。因此,我们提出了一种方法,它评估的相对整体水平的技能,在一个长视频出席其技能相关的部分。我们的方法训练时间注意模块,学习只有视频级的监督,使用一种新的排名感知损失函数。除了关注任务相关的视频部分之外,我们提出的损失联合训练两个注意力模块来分别关注表示较高(优点)和较低(缺点)技能的视频部分。我们在EPIC-Skills数据集上评估了我们的方法,并从YouTube视频中添加了一个更大的数据集,以确定五个以前未探索过的任务的技能。我们的方法在两个数据集上的成对准确率超过4%,在单个任务上的准确率高达12%,优于以前的方法和经典softmax attention。我们还展示了我们的模型的能力,参加排名感知部分的视频。
2019-04-10 cs.CV
SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
NVIDIA(英伟达)
SANA-Video 2.0是一种混合视频扩散Transformer,采用混合线性-softmax注意力和块注意力残差,在单个GPU上生成高质量视频,成本大幅降低,实现可扩展长时、高分辨率视频生成,性能与大模型竞争且速度更快。
2026-07-24 cs.CV
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad(印度信息技术与信息技术研究院海得拉巴分校);Cognitive Science Lab(认知科学实验室);CVIT(计算机视觉与图像处理中心)
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力,通过与人类眼动数据对比,发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);JD AI Research(京东人工智能研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
给定一个未修剪的视频和一个句子描述,时间句子定位的目的是自动确定视频中所描述的句子的开始和结束点。这个问题具有挑战性,因为它需要对视频和句子的理解。现有的研究主要采用了一个昂贵的“扫描和本地化”的框架,忽略了全球视频上下文和句子中的具体细节,这是这个问题的关键问题。在本文中,我们提出了一种新的基于注意力的位置回归(ABLR)的方法来解决时间句子定位从全局的角度来看。具体来说,为了保留上下文信息,ABLR首先通过双向LSTM网络对视频和句子进行编码。然后,引入多模态协同注意力机制,不仅生成反映全局视频结构的视频注意力,还生成突出时间定位关键细节的句子注意力。最后,设计了一种新的基于注意力的位置回归网络,从先前的注意力预测句子查询的时间坐标。ABLR以端到端的方式进行联合培训。在ActivityNet Captions和TACoS数据集上的综合实验证明了所提出的ABLR方法的有效性和效率。
2018-11-03 cs.CV
Suspicious Object Recognition Method in Video Stream Based on Visual Attention
Fudan University(复旦大学)
我们提出了一种基于人类视觉注意力的智能对象识别和视频监控的最新方法。在感兴趣目标(显著图)的获取和目标识别过程中分别采用了自底向上的和自顶向下的注意。对4通道PFT方法进行了修正,使其具有自底向上的注意力,提高了速度和精度。利用返回抑制(IOR)来判断显著对象的弹出顺序.在判断目标是否匹配和可疑时,综合考虑了颜色分布的欧氏距离、目标中心坐标和速度。对视频和图像的大量测试表明,该方法在视频分析中具有较高的精度和较快的速度。该方法可应用于视频监控、安防等领域。
2013-08-23 cs.CV
Adaptive Compact Attention For Few-shot Video-to-video Translation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种自适应的紧凑注意力模型的Few-Shot视频到视频翻译。现有的研究方法只利用像素级注意力特征,没有考虑多幅参考图像之间的相关性,计算量大,但性能有限。因此,我们引入了一种新的自适应紧凑的注意力机制,以有效地提取上下文特征联合从多个参考图像,其中编码的视图相关和运动相关的信息可以显着有益于合成的现实视频。我们的核心思想是从所有参考图像中提取紧凑基集作为更高级别的表示。为了进一步提高可靠性,在推理阶段,我们还提出了一种基于德洛内三角剖分算法的参考文献自动选择方法。我们广泛评估我们的方法在大规模的说话头视频数据集和人类跳舞数据集;实验结果表明,我们的方法产生逼真的和时间一致的视频的优越性能,并大大改善了国家的最先进的方法。
2020-11-30 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
卷积可以说是现代神经网络最重要的特征变换,导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层,揭示了固定卷积核的局限性,并为动态特征变换时代打开了大门。然而,现有的动态变换,包括自注意,都局限于视频理解,其中空间和时间上的对应关系,即,运动信息对于有效表示是至关重要的。在这项工作中,我们引入了一个关系特征变换,称为关系自我注意力(RSA),利用丰富的时空关系的视频结构,动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明,RSA网络的性能大大优于卷积和自我注意力,在视频动作识别的标准运动为中心的基准上达到了最先进的水平,例如Something-Something-V1 & V2,Diving 48和FineGym。
2021-11-02 cs.CV
VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
VideoGrain提出零样本方法,通过调制时空注意力实现类别、实例和部件级的多粒度视频编辑,解决语义错位与特征耦合问题,达到最先进性能。
2025-02-24 cs.CV
Is Space-Time Attention All You Need for Video Understanding?
Facebook AI(脸书人工智能);Dartmouth College(达特茅斯学院)
我们提出了一种无卷积的视频分类方法,该方法完全基于空间和时间上的自我注意力。我们的方法,名为“TimeTransformer”,适应标准的Transformer架构的视频,使时空特征学习直接从帧级补丁的序列。我们的实验研究比较了不同的自我注意力方案,并表明,“分散注意力”,其中时间注意力和空间注意力分别适用于每个块,导致最好的视频分类精度之间的设计选择考虑。尽管采用了全新的设计,但TimeSmerer在几个动作识别基准测试中取得了最先进的结果,包括在Kinetics-400和Kinetics-600上报告的最佳准确性。最后,与3D卷积网络相比,我们的模型训练速度更快,可以实现更高的测试效率(精度略有下降),并且还可以应用于更长的视频剪辑(超过一分钟)。代码和模型可在https://github.com/facebookresearch/TimeSformer上获得。
2021-06-09 cs.CV
Learning Audio-guided Video Representation with Gated Attention for Video-Text Retrieval
POSTECH(浦项科技大学)
针对视频-文本检索中忽略音频及盲目利用音频导致表示次优的问题,提出基于门控注意力的音频引导视频表示学习框架AVIGATE,结合自适应边界对比损失优化视频-文本对齐,在所有公共基准上达到最先进性能。
2025-04-03 cs.CV
Attention Distillation for Learning Video Representations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Kuaishou Technology(快手科技);Y-tech
我们解决了使用深度模型学习运动表示进行视频识别的挑战性问题。为此,我们利用注意力模块来学习突出视频中的区域并聚合特征以进行识别。具体来说,我们建议利用输出注意力地图作为一种工具,将学习到的表示从运动(流)网络转移到RGB网络。我们系统地研究了注意力模块的设计,并提出了一种新的注意力提取方法。我们的方法在主要的行动基准上进行了评估,并不断提高基线RGB网络的性能。此外,我们证明了我们的注意力地图可以利用运动线索学习,以确定视频帧中的动作的位置。我们相信我们的方法为在深度模型中学习运动感知表示迈出了一步。我们的项目页面可以在https://aptx4869lm.github.io/AttentionDistillation/上找到
2020-08-14 cs.CV
What I See Is What You See: Joint Attention Learning for First and Third Person Video Co-analysis
Beihang University(北京航空航天大学);Hunan University(湖南大学);Peng Cheng Laboratory(鹏城实验室)
近年来,越来越多的视频被可穿戴相机从第一人称视角捕获。这种第一人称视频提供了除传统第三人称视频之外的附加信息,因此具有广泛的应用。然而,用于分析第一人称视频的技术可能与用于第三人称视频的技术根本不同,并且从两个视角探索共享信息甚至更加困难。在本文中,我们提出了一种新的方法,第一和第三人称视频共同分析。在我们的方法的核心是“联合注意”的概念,表示可学习的表示,对应于共享的注意区域在不同的观点,从而连接两个观点。为此,我们开发了一个具有三重损失的多分支深度网络,通过自监督学习从第一和第三人称视频中提取联合注意力。我们评估我们的方法在公共数据集上的跨视点视频匹配任务。我们的方法优于国家的最先进的定性和定量。我们还演示了如何学习联合注意可以通过一组额外的实验受益于各种应用程序。
2019-04-16 cs.CV
X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval
Layer 6 AI(Layer 6人工智能公司);University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
在文本-视频检索中,目标是学习文本和视频之间的跨模态相似度函数,该函数将相关的文本-视频对排名高于不相关的文本-视频对。然而,视频固有地表达比文本更广泛的信息范围。相反,文本通常捕获整个视频的子区域,并且在语义上与视频中的某些帧最相似。因此,对于一个给定的文本,检索模型应该集中在文本的语义上最相似的视频子区域,以进行更相关的比较。然而,大多数现有的作品聚合整个视频,而不直接考虑文本。常见的文本不可知聚合方案包括均值池或帧上的自我关注,但这些可能会编码给定文本中未描述的误导性视觉信息。为了解决这个问题,我们提出了一个跨模态的注意力模型,称为X池的原因之间的文本和视频的帧。我们的核心机制是一个缩放的点积注意力的文本参加其最语义相似的框架。然后,我们生成一个聚合的视频表示的文本的注意力的权重在帧上的条件。我们在MSR-VTT,MSVD和LSMDC三个基准数据集上评估了我们的方法,在Recall@1的相对改进中实现了高达12%的新的最先进的结果。因此,我们的研究结果突出了联合文本视频推理的重要性,以提取重要的视觉线索,根据文本。完整的代码和演示可以在https://layer6ai-labs.github.io/xpool/上找到
2022-03-28 cs.CV
Spatially and Temporally Efficient Non-local Attention Network for Video-based Person Re-Identification
IOX Center(IOX中心);National Taiwan University(台湾大学)
基于视频的行人再识别(Re-ID)的目标是在不重叠的摄像机之间匹配行人的视频序列。如何将视频的时空信息嵌入到视频的特征表示中是一个实际而又具有挑战性的课题。虽然大多数现有的方法学习视频特征通过聚合图像方面的特征和设计神经网络中的注意力机制,他们只探索帧之间的相关性在高级别的功能。在这项工作中,我们的目标是细化的中间功能,以及高层次的功能与非局部注意操作,并作出两个贡献。(i)我们提出了一个非本地的视频注意力网络(NVAN),将视频特征的表示在多个特征层次。(ii)我们进一步引入了一个空间和时间有效的非本地视频注意力网络(STE-NVAN),通过探索行人视频中存在的空间和时间冗余来降低计算复杂度。大量的实验表明,我们的NVAN在MARS数据集上的rank-1准确度上比最先进的方法高出3.8%,并证实了我们的STE-NVAN与现有方法相比显示出更优越的计算足迹。
2019-08-05 cs.CV
Low Light Video Enhancement by Learning on Static Videos with Cross-Frame Attention
Indian Institute of Science(印度科学学院)
由于难以捕获低光和地面实况视频对,用于低光视频增强的深度学习方法的设计仍然是一个具有挑战性的问题。这在动态场景或移动相机的背景下尤其困难,其中长时间曝光的地面实况不能被捕获。我们通过在静态视频上训练模型来解决这个问题,这样模型就可以推广到动态视频。采用这种方法的现有方法逐帧操作,并且不利用相邻帧之间的关系。我们通过一个自交叉扩张注意力模块克服了这一限制,该模块可以有效地学习使用来自相邻帧的信息,即使在训练和测试期间帧之间的动态不同。我们通过在多个数据集上的实验验证了我们的方法,并表明我们的方法在仅在静态视频上训练时优于其他最先进的视频增强算法。
2022-10-09 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos
Huazhong University of Science and Technology(华中科技大学);Huawei Tech.(华为技术有限公司);Baidu Inc.(百度公司);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);Zhejiang Gongshang University(浙江工商大学);Dalian University of Technology(大连理工大学)
视频中的时间语言定位旨在基于给定的句子查询在未修剪的视频中定位一个视频片段。为了解决这个问题,设计一个有效的模型来从视觉和文本模态中提取接地信息是至关重要的。然而,在这个领域中,大多数以前的尝试只关注从视频到查询的单向交互,强调要听哪些词,并通过香草软注意来关注句子信息,但没有考虑到从视频交互中暗示要看哪里的线索。在本文中,我们提出了一个细粒度的迭代注意力网络(FIAN),它包括一个迭代注意力模块的双边查询视频信息提取。具体地说,在迭代注意模块中,首先通过细粒度注意关注视频中的每一帧来增强查询中的每一个词,然后视频迭代地关注集成查询。最后,视频和查询信息被用来提供强大的跨模态表示进一步的时刻定位。此外,为了更好地预测目标段,我们提出了一个面向内容的本地化策略,而不是应用最近的基于锚的本地化。我们评估所提出的方法上三个具有挑战性的公共基准:ActivityNet字幕,TACoS和Charades-STA。粮食第一信息和行动网的效果明显优于最先进的办法。
2020-08-06 cs.CV
UltraGen: High-Resolution Video Generation with Hierarchical Attention
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
针对现有扩散Transformer视频生成模型因注意力计算瓶颈难以输出高分辨率视频的问题,提出UltraGen分层双分支注意力框架,可将预训练低分辨率模型扩展至1080P甚至4K,性能优于现有方法及两阶段超分流程。
2025-10-21 cs.CV
A Flow-Guided Mutual Attention Network for Video-Based Person Re-Identification
École de technologie supérieure(高等技术学院);Genetec Inc.(杰尼特克公司);Sportlogiq Inc.(斯波特洛吉克公司)
在许多视频分析和监控应用中,人员重新识别(ReID)是一个具有挑战性的问题,其中人员的身份必须跨分布式非重叠摄像机网络相关联。基于视频的人ReID最近获得了很大的兴趣,因为它允许从基于图像的ReID不可用的视频剪辑中捕获判别时空信息。尽管最近取得了进展,但用于视频ReID的深度学习(DL)模型通常无法利用这些信息来提高特征表示的鲁棒性。在本文中,一个人的运动模式探索作为一个额外的线索ReID。特别地,提出了一种流引导的相互注意网络,用于使用任何2D-CNN主干来融合图像和光流序列,从而允许将时间信息与空间外观信息一起编码。我们的相互注意力网络依赖于图像和光流特征图之间的联合空间注意力,以激活它们之间的一组共同的显著特征。除了流引导的注意力,我们还引入了一种方法来聚合来自较长输入流的特征,以获得更好的视频序列级表示。我们在三个具有挑战性的视频ReID数据集上进行的广泛实验表明,使用所提出的相互注意网络可以大大提高识别精度,相对于传统的门控注意网络和基于视频的人ReID的最先进方法。
2020-10-04 cs.CV
Hierarchical Attention Network for Action Recognition in Videos
Arizona State University(亚利桑那州立大学);Yahoo Research(雅虎研究院)
了解野生视频中的人类行为是一项重要的任务,具有广泛的应用。在本文中,我们提出了一种新的方法命名为分层注意力网络(HAN),它能够将静态空间信息,短期运动信息和长期视频的时间结构复杂的人类行为的理解。与最近的基于卷积神经网络的方法相比,HAN具有以下优点:(1)HAN可以在更长的范围内有效地捕获视频时间结构;(2)HAN能够揭示具有不同时间步长的帧块之间的时间转换,即,其明确地对帧以及视频片段之间的时间转换进行建模,以及(3)具有多步空间时间注意力机制,HAN自动学习视频帧中的重要区域和视频中的时间段。所提出的模型在标准视频动作基准上进行训练和评估,即,UCF-101和HMDB-51,它的性能明显优于最先进的技术
2016-07-21 cs.CV
VideoLSTM Convolves, Attends and Flows for Action Recognition
University of Amsterdam(阿姆斯特丹大学)
我们提出了一个新的架构,用于视频中动作的端到端序列学习,我们称之为VideoLSTM。我们不是让视频适应已建立的递归或卷积架构的特性,而是让架构适应视频媒体的要求。从软注意力LSTM开始,VideoLSTM做出了三个新的贡献。首先,视频具有空间布局。为了利用空间相关性,我们在软注意力LSTM架构中硬连接卷积。第二,运动不仅告诉我们动作的内容,而且更好地引导注意力到相关的时空位置。我们引入基于运动的注意力。最后,我们演示了如何通过仅依赖于action class label来将VideoLSTM的attention用于action本地化。在具有挑战性的动作分类和定位数据集上的实验和比较支持了我们的主张。
2016-07-06 cs.CV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research(京东人工智能研究院);JD Finance America Corporation(京东金融美国公司)
本文提出了一种新的视频超分辨率方法,旨在从低分辨率(LR)视频生成高保真高分辨率(HR)视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能,因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下,我们设计了一种跨帧非局部注意力机制,允许视频超分辨率而无需帧对齐,从而对视频中的大运动更加鲁棒。此外,为了获取相邻帧以外的信息,我们设计了一种新的记忆增强注意模块,用于在超分辨率训练过程中记忆一般视频细节。实验结果表明,我们的方法可以实现更优越的性能在大的运动视频相比,国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
Convolutional Hierarchical Attention Network for Query-Focused Video Summarization
Zhejiang University(浙江大学);Huawei Technologies(华为技术有限公司)
针对传统视频摘要未考虑用户偏好的问题,提出由特征编码网络和查询相关性计算模块构成的CHAN模型,通过带注意力机制的卷积网络学习镜头特征并计算查询相关性,在基准数据集上取得了有竞争力的性能。
2020-02-15 cs.CV
Object State Change Classification in Egocentric Videos using the Divided Space-Time Attention Mechanism
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
这份报告描述了我们为Ego 4D提交的名为“TarHeels”:对象状态变化分类挑战。我们使用一个基于transformer的视频识别模型,并利用划分的空间-时间注意力机制对自我中心视频中的对象状态变化进行分类。我们的参赛作品在挑战赛中获得了第二好的成绩。此外,我们进行了消融研究表明,识别自我中心的视频中的对象状态变化需要时间建模能力。最后,我们提出了几个积极和消极的例子来可视化我们的模型的预测。该代码可在以下网址公开获取:https://github.com/md-mohaiminul/ObjectStateChange
2023-01-04 cs.CV
Trajectory Attention for Fine-grained Video Motion Control
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Sensetime Research(商汤科技研究院)
针对视频生成中相机运动控制的挑战,本文提出轨迹注意力方法,将其作为辅助分支与传统时间注意力协同,实现细粒度运动控制,在相机运动控制及首帧引导视频编辑任务中提升精度、一致性与生成质量。
2024-11-28 cs.CV
GTA: Global Temporal Attention for Video Action Understanding
University of Maryland(马里兰大学);Fudan University(复旦大学);Facebook AI(Facebook人工智能)
自我注意力学习成对交互来建模长距离依赖关系,从而极大地改进了视频动作识别。在本文中,我们寻求更深入的理解自注意视频中的时间建模。我们首先证明,纠缠模型的时空信息平坦的所有像素是次优的,无法捕捉帧之间的时间关系明确。为此,我们引入了全局时间注意力(GTA),它以解耦的方式在空间注意力之上执行全局时间注意力。我们将GTA应用于像素和语义相似的区域,以捕获不同级别的空间粒度的时间关系。与传统的计算特定于实例的注意力矩阵的自注意力不同,GTA直接学习全局注意力矩阵,该矩阵旨在对跨不同样本进行概括的时间结构进行编码。我们进一步增强GTA与跨通道多头时尚,利用更好的时间建模通道的相互作用。在2D和3D网络上进行的大量实验表明,我们的方法始终增强了时间建模,并在三个视频动作识别数据集上提供了最先进的性能。
2021-11-02 cs.CV
Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling
Fudan University(复旦大学);Microsoft Cloud&AI(微软云与人工智能)
基于transformer的模型在主要的视频识别基准测试中取得了最佳性能。由于自注意力机制的引入,这些模型比基于CNN的模型具有更强的建模能力。然而,显着的计算开销,导致自注意力的二次复杂性上的一个巨大的令牌,限制了现有的视频Transformers在资源有限的应用程序,如移动设备的使用。在本文中,我们将Mobile-Former扩展为Video Mobile-Former,它将视频架构扩展为用于本地上下文建模的轻量级3D-CNN和用于并行全局交互建模的Transformer模块。为了避免在视频中的大量局部补丁之间计算自我注意力所引起的显著计算成本,我们提出使用非常少的全局令牌(例如,6)对于Transformers中的整个视频,使用交叉注意力机制与3D-CNN交换信息。通过高效的全局时空建模,Video Mobile-Former显着提高了替代轻量级基线的视频识别性能,并在各种视频识别任务中,在500 M至6 G总FLOP的低FLOP范围内优于其他基于CNN的高效模型。值得注意的是,Video Mobile-Former是第一个基于Transformer的视频模型,它将计算预算限制在1G FLOP以内。
2022-08-25 cs.CV
Learning Latent Sub-events in Activity Videos Using Temporal Attention Filters
Indiana University(印第安纳大学)
在本文中,我们新引入了时间注意力过滤器的概念,并描述了它们如何用于从视频中识别人类活动。许多高级活动通常由多个时间部分组成(例如,子事件)具有不同的持续时间/速度,我们的目标是使模型使用多个注意力过滤器显式地学习这种时间结构并从中受益。我们的时间滤波器被设计为完全可区分的,允许时间滤波器的端到端训练以及底层的基于帧或基于段的卷积神经网络架构。本文提出了一种学习一组最佳的静态时间注意力过滤器的方法,在不同的视频共享,并扩展这种方法动态调整注意力过滤器的测试视频使用循环长短期记忆网络(LSTM)。这使得我们的时间注意力过滤器能够学习特定于每个活动的潜在子事件。我们的实验证实,所提出的概念的时间注意力过滤器的活动识别的好处,我们可视化的学习潜在的子事件。
2016-12-26 cs.CV
VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling
UC Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软)
视频语言(VidL)建模的一个巨大挑战在于从图像/视频理解模型中提取的固定视频表示与下游VidL数据之间的脱节。最近的研究试图通过端到端的培训来减轻这种脱节。为了使其在计算上可行,先前的工作倾向于"图像化"视频输入,即,将少量稀疏采样的帧馈送到2D CNN中,随后进行简单的均值池化或级联以获得总体视频表示。虽然实现有希望的结果,这种简单的方法可能会失去时间信息,这是必不可少的下游VidL任务。在这项工作中,我们提出了VIOLET,一个完全端到端的VIDEO-SIMULAGE Transformer,它采用了一个视频Transformer明确建模的时间动态的视频输入。此外,与以前的研究不同,这些研究发现视频输入的预训练任务(例如,掩蔽帧建模)不是很有效,我们设计了一个新的预训练任务,掩蔽视觉令牌建模(MVM),更好的视频建模。具体地说,原始视频帧补丁被“令牌化”为离散的视觉令牌,目标是基于掩蔽补丁恢复原始视觉令牌。综合分析表明,通过视频Transformer和MVM显式时间建模的有效性。因此,VIOLET在5个视频问答任务和4个文本到视频检索任务上实现了新的最先进的性能。
2022-04-16 cs.CV
Matten: Video Generation with Mamba-Attention
Meituan Inc.(美团公司)
该研究提出融合时空注意力与双向 Mamba 的潜在扩散模型 Matten,以低计算成本兼顾局部与全局视频建模,并在基准上取得优于 Transformer 和 GAN 模型的 FVD 与效率表现。
2024-05-10 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
FluencyVE: Marrying Temporal-Aware Mamba with Bypass Attention for Video Editing
Waseda University, Japan(早稻田大学,日本);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
FluencyVE通过结合时间感知Mamba与旁路注意力,实现高效的视频编辑,减少计算成本并提升生成能力。
2026-01-08 cs.CV
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
Qualcomm AI Research(高通人工智能研究)
ReHyAt通过结合softmax和线性注意力,实现高效的视频扩散模型,降低训练成本并提升长序列生成的可扩展性。
2026-01-07 cs.CV
Analysis of Attention in Video Diffusion Transformers
University of Maryland(马里兰大学);GenmoAI
该研究深入分析视频扩散Transformer(VDiTs)的注意力机制,发现结构、稀疏性和汇聚点三个关键特性,提出未来方向以提升其效率-质量帕累托前沿。
2025-04-14 cs.CV
RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing
KTH(瑞典皇家理工学院)
本文提出RealCraft,一种基于注意力控制的零样本真实世界视频编辑方法,通过替换交叉注意力注入新特征并放松编辑对象的空间-时间注意力,在直接使用Stable Diffusion且无需额外信息的情况下,实现了长达64帧的局部形状级、时间一致且无需参数的视频编辑。
2025-01-31 cs.CV
FrameDiT: Diffusion Transformer with Matrix Attention for Efficient Video Generation
Applied Artificial Intelligence Initiative, Deakin University, Australia(德肯大学应用人工智能倡议,澳大利亚);FPT Smart Cloud, Vietnam(越南FPT智能云);Deakin University, Australia(德肯大学,澳大利亚)
本文提出Matrix Attention,通过将帧视为矩阵来处理视频生成中的时空动态,结合FrameDiT-G和FrameDiT-H模型,在保持效率的同时提升了视频质量和时间一致性。
2026-04-18 cs.CV
Anomaly detection in surveillance videos using transformer based attention model
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院);ITER, Shiksha ‘O’ Anusandhan(希克沙·奥·阿努桑丹大学ITER学院)
监控录像可以捕捉到各种各样的异常情况。这项研究建议使用弱监督策略来避免在训练视频中注释异常片段,这是耗时的。在该方法中,仅使用视频级标签来获得帧级异常分数。弱监督视频异常检测(WSVAD)在训练过程中会出现对异常和正常实例的错误识别。因此,重要的是从可用的视频中提取更好的质量特征。基于这种动机,本文使用质量更好的基于变换的特征,称为Videoswin特征,然后是基于膨胀卷积和自注意的注意层,以捕获时域中的长范围和短范围依赖性。这使我们更好地了解可用的视频。该框架在真实数据集上进行了验证,即上海理工大学校园数据集,其结果比当前最先进的方法具有竞争力的性能。该模型和代码可在https://github.com/kapildeshpande/Anomaly-Detection-in-Surveillance-Videos上获得
2022-06-06 cs.CV
Video Super-resolution with Temporal Group Attention
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
视频超分辨率是一种将低分辨率视频转换为高分辨率视频的技术,近年来受到越来越多的关注。在这项工作中,我们提出了一种新的方法,可以有效地将时间信息在一个层次的方式。输入序列被分成若干组,每组对应于一种帧速率。这些组提供补充信息以恢复参考帧中丢失的细节,其进一步与注意模块和深度组内融合模块集成。此外,提出了一种快速的空间对齐来处理具有大运动的视频。大量的结果表明,该模型在处理各种运动的视频的能力。它在几个基准数据集上实现了对最先进方法的良好性能。
2020-07-21 cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft(微软)
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作,并且通常在图像/视频理解任务上进行训练,而不适应视频描述数据。在这项工作中,我们提出了SwinBERT,一个端到端的基于转换器的模型视频描述,它需要视频帧补丁直接作为输入,并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器,而是采用视频Transformer来编码时空表示,该时空表示可以适应可变长度的视频输入,而无需针对不同的帧速率进行专门的设计。基于这个模型架构,我们表明,视频描述可以从更密集的采样视频帧中受益,而不是以前的成功与稀疏采样视频帧的视频和语言理解任务(例如,视频问答)。此外,为了避免连续视频帧中的固有冗余,我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验,我们表明SwinBERT比以前的方法实现了全面的性能改进,通常是大幅度的。此外,学习的稀疏注意力掩码将限制推到了新的技术水平,并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
在使用基于注意力的编码器-解码器框架用于视频描述方面已经取得了最近的进展。然而,大多数现有的解码器将注意力机制应用于包括两个视觉词(例如,“枪”和“射击”)和非视觉词(例如“the”,“a”)。然而,这些非视觉词语可以使用自然语言模型轻松预测,而无需考虑视觉信号或注意力。将注意力机制强加于非视觉文字会误导和降低视频描述的整体性能。为了解决这个问题,我们提出了一种用于视频描述的具有调整时间注意力的分层LSTM(hLSTMat)方法。具体地说,该框架利用时间注意力来选择特定的帧来预测相关词,而调整后的时间注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外,分层LSTM被设计为同时考虑低级视觉信息和高级语言上下文信息以支持视频字幕生成。为了证明我们提出的框架的有效性,我们测试了我们的方法在两个流行的数据集:MSVD和MSR-VTT,实验结果表明,我们的方法优于国家的最先进的方法在这两个数据集。
2017-06-05 cs.CV
Attentioned Convolutional LSTM InpaintingNetwork for Anomaly Detection in Videos
Intel(英特尔)
我们提出了一种半监督模型,用于检测视频像素网络启发的视频中的异常[van den Oord et al.,2016年]。VPN是一种基于深度神经网络的概率生成模型,用于估计视频帧中原始像素的离散联合分布。我们的模型扩展了VPN的卷积-LSTM视频编码器部分,具有一种新的基于卷积的注意力机制。我们还将VPN的Pixel-CNN解码器部分修改为帧修复任务,其中要预测的帧的部分掩蔽版本作为输入。帧重构误差被用作异常指示符。我们在移动mnist数据集的修改版本上测试我们的模型[Srivastava et al.,2015年]。我们的模型被证明是有效的检测视频中的异常。这种方法可以作为需要视觉常识的应用程序的一个组件。
2018-11-26 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits(京东数科)
本文提出了一种新的端到端可训练的视频问答(VideoQA)框架,该框架由三个主要部分组成:1)一个新的异构存储器,可以有效地从外观和运动特征中学习全局上下文信息; 2)一个重新设计的问题存储器,可以帮助理解问题的复杂语义并突出查询主题;以及3)新的多模态融合层,其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征,分别通过当前输入与记忆内容的相互作用。在此基础上,对多模态视觉表征和文本表征进行注意融合,从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明,我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
LIPAR: Training-free Latent Inter-Frame Pruning with Attention Recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta
本文提出LIPAR框架,通过利用视频潜在补丁中的时间冗余性,减少计算延迟,提升视频编辑效率,同时保持生成质量。
2026-11-03 cs.CV
Video Salient Object Detection via Contrastive Features and Attention Modules
University of California at Merced(加州大学默塞德分校);ByteDance AI Lab(字节跳动人工智能实验室)
视频显著性目标检测的目的是找到视频中视觉上最有特色的对象。为了研究时间依赖性,现有的方法通常求助于递归神经网络或光流。然而,这些方法需要高的计算成本,并且倾向于随着时间的推移积累不准确性。在本文中,我们提出了一个网络的注意力模块学习对比特征的视频显着目标检测没有高计算时间建模技术。我们开发了一个非局部的自注意方案来捕获视频帧中的全局信息。一个共同的注意力配方是用来结合低级别和高级别的功能。我们进一步应用对比学习来改进特征表示,其中来自同一视频的前景区域对被拉在一起,前景-背景区域对在潜在空间中被推开。帧内对比度损失有助于分离前景和背景特征,帧间对比度损失提高了时间一致性。我们进行了广泛的实验,对视频显著目标检测和无监督视频对象分割的几个基准数据集,并表明,所提出的方法需要更少的计算,并表现出良好的对国家的最先进的方法。
2021-11-03 cs.CV
Weakly-Supervised Multi-Level Attentional Reconstruction Network for Grounding Textual Queries in Videos
Hangzhou Dianzi University(杭州电子科技大学);Tencent AI Lab(腾讯AI实验室)
在视频中的时间接地文本查询的任务是本地化语义上对应于给定查询的一个视频片段。大多数现有的方法依赖于片段句子对(时间注释)进行训练,这在现实世界的场景中通常是不可用的。在这项工作中,我们提出了一个有效的弱监督模型,称为多级注意力重建网络(MARN),它只依赖于视频句子对在训练阶段。该方法利用注意力重建的思想,直接对候选片段进行评分。此外,另一个分支学习剪辑级的注意力被用来在训练和测试阶段改进建议。我们开发了一种新的提案采样机制,利用提案内信息来学习更好的提案表示,并采用2D卷积来利用提案间线索来学习可靠的注意力地图。在Charades-STA和ActivityNet-Captions数据集上的实验表明,我们的MARN优于现有的弱监督方法。
2020-03-16 cs.CV
Action Recognition in Untrimmed Videos with Composite Self-Attention Two-Stream Framework
Institute of Cognitive Intelligence, DeepBlue Academy of Sciences(深蓝科学院认知智能研究所);DeepBlue Technology (Shanghai) Co., Ltd.(深蓝科技(上海)有限公司)
随着深度学习算法的快速发展,视频中的动作识别取得了许多重要的研究成果。零镜头动作识别(Zero-Shot Action Recognition,ZSAR)是动作识别中的一个重要问题,它在没有任何正面例子的情况下对新类别进行分类。动作识别中的另一个困难是未修剪的数据可能严重影响模型性能。我们提出了一个具有预训练模型的复合双流框架。我们提出的框架包括一个分类器分支和一个复合特征分支。两个分支均采用图网络模型,有效地提高了框架的特征提取和推理能力。在复合特征分支中,构建了三通道自注意模型,对视频中的每一帧进行加权,并对关键帧给予更多的关注。每个自注意力模型通道输出一组注意力权重以关注视频的特定方面,并且一组注意力权重对应于一维向量。三通道自注意力模型能够从多个角度对关键帧进行评价,输出的注意力权重向量集形成注意力矩阵,有效增强了对动作关联性强的关键帧的注意力。该模型可以实现zero-shot条件下的动作识别,对未经裁剪的视频数据具有良好的识别性能。相关数据集上的实验结果证实了该模型的有效性。
2019-09-02 cs.CV
Video Summarization with Attention-Based Encoder-Decoder Networks
Tianjin University(天津大学);Xi’an Institute of Optics and Precision Mechanics(西安光学精密机械研究所)
本文提出了一种有监督的视频摘要方法,将其描述为一个序列到序列的学习问题,输入是一个原始视频帧序列,输出是一个关键镜头序列。我们的核心思想是学习一个具有注意力机制的深度摘要网络,以模仿人类选择关键镜头的方式。为此,我们提出了一种新的视频摘要框架命名为Attentive encoder-decoder networks for Video Summarization(AVS),其中编码器使用双向长短期记忆(BiLSTM)来编码输入视频帧之间的上下文信息。对于解码器,分别使用加性和乘性目标函数探索了两个基于注意力的LSTM网络。在三个视频摘要基准数据集上进行了广泛的实验,SumMe和TVSum。结果表明,所提出的基于AVS的方法相对于最先进的方法的优越性,在两个数据集上分别具有从0.8%到3%的显著改进。
2018-04-16 cs.CV
DiDA: Video Object Segmentation with Distillation Learning of Deformable Attention
Hong Kong University of Science and Technology(香港科技大学);Deakin University(迪肯大学);Trinity College Dublin(都柏林三一学院)
提出DiDA方法,利用可变形注意力蒸馏学习实现轻量级视频对象分割,在DAVIS和YouTube-VOS基准上达到最先进性能并优化内存使用。
2026-10-01 cs.CV
Concentrated Multi-Grained Multi-Attention Network for Video Based Person Re-Identification
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
遮挡是基于视频的再识别(Re-ID)任务中的一个严重问题,它对再识别的成功率有很大影响。注意力机制已被大量现有方法证明有助于解决遮挡问题。然而,他们的注意力机制仍然缺乏从视频中提取足够的判别信息到最终表示中的能力。现有方法采用的单一注意模块方案不能利用多尺度空间线索,并且单个注意模块的注意力会被人的多个显著部分分散。本文提出了一种集中式多粒度多注意力网络(CMMANet),该网络设计了两个多注意力模块,通过处理多尺度中间特征来提取多粒度信息。此外,每个多关注模块中的多个关注子模块可以自动发现视频帧的多个区分区域。为了实现这一目标,我们引入了一个多样性损失,使每个多注意力模块中的子模块多样化,并引入了一个集中损失来整合它们的注意力响应,使每个子模块都能集中在一个特定的有意义的部分。实验结果表明,该方法在多个公共数据集上的性能明显优于现有方法。
2020-09-28 cs.CV
Look Beyond Saliency: Low-Attention Guided Dual Encoding for Video Semantic Search
Saudi Data And Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局)
本文提出低注意力引导的双编码方法,通过逆注意力嵌入提升视频语义搜索在拥挤场景中的召回率,无需额外训练。
2026-05-07 cs.CV
M2A: Motion Aware Attention for Accurate Video Action Recognition
University of Waterloo(滑铁卢大学)
注意力机制的进步已经在机器学习的各个领域中导致显著的性能改进,这是由于其能够实现时间序列的动态建模。计算机视觉中的一个特殊领域,很可能从视频动作识别中的注意力机制的结合中受益匪浅。然而,目前对注意力机制的研究大多集中在空间和时间注意力上,无法利用视频中的固有运动。基于此,我们开发了一种新的注意力机制,称为运动感知注意力(M2 A),它明确地结合了运动特征。更具体地说,M2 A提取连续帧之间的运动信息,并利用注意力集中在跨帧发现的运动模式上,以准确地识别视频中的动作。所提出的M2 A机制易于实现,并且可以容易地并入任何神经网络骨干架构中。我们表明,使用所提出的M2 A机制将运动机制与注意力机制相结合,可以在不同的骨干架构中使top-1准确度提高+15%至+26%,而计算复杂性仅略有增加。我们进一步比较了M2 A与其他最先进的运动和注意力机制在Something-Something V1视频动作识别基准测试中的性能。实验结果表明,当与其他时间机制结合时,M2 A可以带来进一步的改进,并且对于基准测试中的特定类,它在前1准确度方面比其他仅运动或仅注意力机制高出60%。
2021-12-12 cs.CV
GAD: Geometry Attention Distillation for Consistent Video Generation
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);BIGAI(北京智源人工智能研究院)
本文针对视频扩散模型跨帧几何与结构保留不足的问题,提出GAD方法,通过迁移几何模型注意力的对应关系提升视频一致性,在Wan2.2 5B上跨帧匹配准确率提升至少30%,无需额外推理模块。
2026-10-14 cs.CV