Space-time Mixing Attention for Video Transformer
Samsung AI Cambridge(三星剑桥人工智能中心);Queen Mary University of London(伦敦玛丽女王大学)
本文是关于使用Transformers的视频识别。最近在这一领域的尝试已经证明了有前途的结果方面的识别精度,但他们也被证明,在许多情况下,由于额外的建模的时间信息,导致显着的计算开销。在这项工作中,我们提出了一个视频Transformer模型的复杂性与视频序列中的帧的数量成线性比例,因此不会引起任何开销相比,基于图像的Transformer模型。为了实现这一点,我们的模型做了两个近似的视频Transformers中使用的全时空注意:(a)它限制时间注意到一个本地的时间窗口,并利用Transformer的深度,以获得完整的时间覆盖的视频序列。(b)它使用有效的时空混合来共同关注空间和时间位置,而不会在仅空间注意力模型之上产生任何额外成本。我们还展示了如何整合2个非常轻量级的机制,全球时间只注意,以最小的计算成本提供额外的精度提高。我们证明了我们的模型在最流行的视频识别数据集上产生了非常高的识别精度,同时比其他视频Transformer模型更有效。代码将提供。
2021-06-11 cs.AI cs.CV cs.LG
Two-Stream temporal transformer for video action classification
Department of Computer Science, University of York, York YO10 5GH, UK(约克大学计算机科学系)
本文提出双流时间转换器模型,通过提取时空信息和光流特征,实现视频动作的高效分类。
2026-01-20 cs.AI cs.CV cs.LG
PatchBlender: A Motion Prior for Video Transformers
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Meta AI;FAIR(基础人工智能研究团队);Apple Machine Learning Research(苹果机器学习研究院);Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔理工学院)
Transformers已经成为计算机视觉领域的主导架构之一。然而,当将这样的架构应用于视频数据时,仍然存在若干挑战。最值得注意的是,这些模型难以有效地对视频数据的时间模式进行建模。直接针对这个问题,我们引入PatchBlender,一个可学习的混合函数,它在潜在空间的时间维度上对补丁嵌入进行操作。我们表明,我们的方法是成功的,使视觉Transformer编码的视频数据的时间分量。在Something-Something v2和MOVi-A上,我们证明了我们的方法提高了视频Transformers的基线性能。PatchBlender的优点是与几乎任何Transformer架构兼容,并且由于它是可学习的,因此模型可以自适应地打开或关闭先验。它也是非常轻量级的计算明智的,0.005%的GFLOPs的ViT-B。
2023-02-10 cs.AI cs.CV cs.LG
A Full Transformer-based Framework for Automatic Pain Estimation using Videos
Hellenic Mediterranean University(希腊地中海大学)
本研究提出一种结合TNT模型与交叉/自注意力块的全Transformer框架,基于BioVid数据库视频实现了最先进的自动疼痛估计性能,验证了其在主要任务上的有效性、效率与泛化能力。
2024-12-19 cs.AI cs.CV cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Making Time Editable in Video Diffusion Transformers
Kandinsky Lab(坎迪斯基实验室)
提出一种时间控制方法,通过轻量级时间模块扩展预训练DiT,实现运动速度和时序结构的编辑,无需重新设计骨干网络。
2026-06-08 cs.AI cs.CV cs.MM
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University(哥伦比亚大学);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一个框架,学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说,我们的视频-音频-文本Transformer(VATT)将原始信号作为输入,并提取多模态表示,这些表示足够丰富,可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外,我们研究了一个模态不可知的,单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是,VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率,在Kinetics-600上达到了83.6%,在Kinetics-700上达到了72.7%,在Moments in Time上达到了41.1%,这些都是新的记录,同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%,而从头开始训练相同的Transformer的准确率为64.7%,这表明尽管视频和图像之间存在领域差距,但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录,在AudioSet上实现了39.4%的mAP,而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
Video Motion Transfer with Diffusion Transformers
University of Oxford(牛津大学);Snap Inc.(Snap公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出DiTFlow,利用扩散变换器提取注意力运动流,通过优化潜在变量和位置嵌入实现无需训练的视频运动迁移,在多项指标和人工评估中超越现有方法。
2025-03-27 cs.AI cs.CV cs.LG
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法,通过瓶颈Transformer降低跨模态融合复杂度,并结合自监督目标与掩码音频片段损失提升学习效率,在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
On the Surprising Effectiveness of Transformers in Low-Labeled Video Recognition
Georgia Institute Of Technology(佐治亚理工学院);Microsoft(微软);HERE Technologies(HERE科技公司)
最近,视觉Transformer已被证明在多个视觉任务中与基于卷积的方法(CNN)具有广泛的竞争力。与CNN相比,Transformers的限制性较小的电感偏置赋予了更大的代表能力。然而,在图像分类设置中,这种灵活性与样本效率有关,其中Transformers需要ImageNet规模的训练。这个概念已经延续到视频中,其中Transformers尚未在低标签或半监督设置中探索视频分类。我们的工作经验性地探索了视频分类的低数据机制,并发现,令人惊讶的是,与CNN相比,Transformers在低标记视频设置中表现非常好。我们专门评估了两个对比视频数据集(Kinetics-400和SomethingSomething-V2)的视频视觉Transformer,并使用视频Transformer架构的主要特征进行了彻底的分析和消融研究,以解释这一观察结果。我们甚至表明,仅使用标记数据,Transformers的性能明显优于复杂的半监督CNN方法,后者也利用了大规模未标记数据。我们的实验通知我们的建议,半监督学习视频工作应考虑使用视频Transformers在未来。
2022-10-26 cs.CV cs.LG
Human-centric Spatio-Temporal Video Grounding With Visual Transformers
Beihang University(北京航空航天大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室);ByteDance AI Lab(字节跳动人工智能实验室);University of Sydney(悉尼大学)
在这项工作中,我们介绍了一个新的任务-以人为中心的时空视频接地(HC-STVG)。与现有的图像或视频中的指称表达任务不同,通过关注人类,HC-STVG旨在基于给定的纹理描述从未修剪的视频中定位目标人的时空管。此任务非常有用,特别是对于医疗保健和安全相关的应用,其中监控视频可能非常长,但仅涉及特定时间段内的特定人员。HC-STVG是一项视频基础任务,需要空间(地点)和时间(时间)定位。不幸的是,现有的接地方法不能很好地处理这个任务。我们解决这个任务,提出了一个有效的基线方法命名为时空接地与视觉Transformers(STGVT),它利用视觉Transformers提取跨模态表示的视频句子匹配和时间定位。为了方便这项任务,我们还贡献了一个HC-STVG数据集,由复杂多人场景中的5,660个视频-句子对组成。具体来说,每个视频时长20秒,与平均17.25个单词的自然查询语句配对。在此数据集上进行了大量的实验,证明新提出的方法优于现有的基线方法。
2021-06-02 cs.AI cs.CV cs.MM
Understanding Video Transformers via Universal Concept Discovery
York University(约克大学);Samsung AI Centre Toronto(三星多伦多人工智能中心);Toyota Research Institute(丰田研究所);Vector Institute(矢量研究所)
针对视频Transformer可解释性研究不足的问题,提出首个VTCD算法以无监督发现时空概念并排序其重要性,揭示了视频Transformer的通用推理机制,还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
虽然视频摘要在循环神经网络(RNN)的帮助下取得了巨大的成功,但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系,从而限制了性能。Transformer模型是解决这一问题的有效模型,在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构(帧-镜头-视频),本文提出了一种分层的Transformer用于视频摘要,它能够捕捉帧和镜头之间的依赖关系,并利用镜头形成的场景信息对视频进行摘要。此外,我们认为,音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息,它们被编码在一个两个流的计划,和多模态融合机制的基础上的分层Transformer。在本文中,所提出的方法被表示为分层多模式Transformer(HMT)。大量的实验表明,HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
A Video Is Worth Three Views: Trigeminal Transformers for Video-based Person Re-identification
Dalian University of Technology(大连理工大学);Ningbo Institute, Dalian University of Technology(大连理工大学宁波研究院);China Science IntelliCloud Technology Co.Ltd(中科智云科技有限公司);Remark Holdings
基于视频的人物再识别(Re-ID)旨在检索非重叠摄像机下的同一个人的视频序列。以往的方法通常集中在有限的视图,如空间,时间或时空视图,缺乏在不同的特征域的观察。为了获取更丰富的感知信息并提取更全面的视频表征,本文提出了一种新的基于视频的人物身份识别框架--三叉Transformers(TMT)。更具体地说,我们设计了一个三叉特征提取器,将原始视频数据联合变换到空间、时间和时空域。此外,受视觉变换器Transformer的巨大成功的启发,本文提出了一种用于视频人Re-ID的Transformer结构。在我们的工作中,我们提出了三种自视图变换器,利用局部特征之间的关系在空间域、时间域和时空域进行信息增强。此外,一个跨视图Transformer提出了聚合的多视图功能,全面的视频表示。实验结果表明,我们的方法可以实现更好的性能比其他国家的最先进的方法在公共Re-ID基准。我们将发布模型复制的代码。
2021-04-05 cs.AI cs.CV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术,但通常缺乏真实世界的效率评估。在这项工作中,我们填补了这一空白,并调查使用Transformers进行有效的动作识别。我们提出了一种新的,轻量级的动作识别架构,VideoLightFormer。以因子分解的方式,我们使用Transformers仔细扩展了2D卷积时间段网络,同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一,在那里他们要么应用巨大的Transformers的视频功能,或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同,保持Transformer模型小,但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2(SSV 2)数据集上对VideoLightFormer进行了高效率的评估,发现除了SSV 2上的Temporal Shift Module之外,它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Baidu Research(百度研究院);Alibaba Group(阿里巴巴集团);Department of Computer Science, Binghamton University(宾汉姆顿大学计算机科学系)
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务,如机器翻译。然而,视频描述是一个多模态学习问题,视频特征在不同时间步长之间存在大量冗余。基于这些问题,我们提出了一种新的方法称为稀疏边界感知Transformer(SBAT),以减少冗余的视频表示。SBAT采用边界感知的池化操作,从不同的场景中选择不同的特征。此外,SBAT还包括一个局部相关方案,以补偿稀疏操作带来的局部信息损失。基于SBAT,我们进一步提出了一个对齐的跨模态编码方案,以提高多模态交互。在两个基准数据集上的实验结果表明,SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
Long-Short Temporal Contrastive Learning of Video Transformers
Facebook AI Research(脸书人工智能研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Dartmouth(达特茅斯学院)
视频Transformers最近已经成为视频理解的3D CNN的竞争替代品。然而,由于它们的大量参数和减少的归纳偏差,这些模型需要在大规模图像数据集上进行监督预训练,以实现最佳性能。在这篇论文中,我们通过经验证明,在纯视频数据集上对视频Transformers进行自监督预训练,可以获得与在大规模图像数据集上进行监督预训练相同或更好的动作识别结果,即使是像ImageNet-21 K这样的大规模图像数据集。由于基于transformer的模型在捕获扩展时间跨度上的依赖关系方面是有效的,因此我们提出了一个简单的学习过程,该过程迫使模型将同一视频的长期视图与短期视图相匹配。我们的方法,名为长短时间对比学习(LSTCL),使视频Transformers学习一个有效的剪辑级表示通过预测从较长的时间范围内捕获的时间上下文。为了证明我们的研究结果的一般性,我们使用两种不同的视频Transformer架构,包括增强时空注意力的Swin Transformer的改进变体,在三种不同的自监督对比学习框架(MoCo v3,BYOL,SimSiam)下实现并验证我们的方法。我们进行了彻底的消融研究,并表明LSTCL在多个视频基准上实现了具有竞争力的性能,并代表了基于监督图像的预训练的令人信服的替代方案。
2022-03-31 cs.AI cs.CV
VideoGPT: Video Generation using VQ-VAE and Transformers
University of California, Berkeley(加州大学伯克利分校)
我们提出VideoGPT:一个概念上简单的架构,用于将基于可能性的生成建模扩展到自然视频。VideoGPT使用VQ-VAE,通过采用3D卷积和轴向自我注意来学习原始视频的下采样离散潜在表示。一个简单的GPT类架构,然后使用时空位置编码的离散潜伏期的自回归模型。尽管公式简单且易于训练,但我们的架构能够生成与最先进的GAN模型竞争的样本,用于在BAIR Robot数据集上生成视频,并从UCF-101和Tumbler GIF数据集(TGIF)生成高保真自然视频。我们希望我们提出的架构作为一个可重复的参考,最低限度的实施Transformer为基础的视频生成模型。示例和代码可在https://wilson1yan.github.io/videogpt/index.html上获得
2021-09-14 cs.CV cs.LG
Efficient Attention-free Video Shift Transformers
Samsung AI Center(三星人工智能中心);Queen Mary University London(伦敦玛丽女王大学)
本文解决了有效的视频识别问题。在这一领域,视频Transformers最近主导了效率(前1精度与FLOP)频谱。同时,在图像领域中已经有一些尝试,其挑战Transformer架构内的自注意操作的必要性,提倡使用更简单的方法来进行令牌混合。然而,对于视频识别的情况还没有结果,其中自注意算子对效率具有显著更高的影响(与图像的情况相比)。为了解决这个问题,在本文中,我们做了以下贡献:(a)我们构建了一个高效的\&准确的注意力自由块的基础上的移位运算符,创造仿射移位块,专门设计来尽可能接近的操作在MHSA块的Transformer层。基于我们的Affine-Shift块,我们构建了我们的Affine-Shift Transformer,并表明它已经优于所有现有的基于移位/MLP的ImageNet分类架构。(b)我们扩展我们的配方在视频域构建视频仿射移位Transformer(VAST),第一个纯粹的注意力自由移位为基础的视频Transformer。(c)我们表明,VAST显着优于最近的国家最先进的Transformers器上最流行的动作识别基准的情况下,低计算和内存占用的模型。代码将提供。
2022-08-23 cs.CV cs.LG
COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning
University of Freiburg(弗莱堡大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
许多现实世界的视频文本任务涉及不同级别的粒度,例如帧和单词,剪辑和句子或视频和段落,每个都具有不同的语义。在本文中,我们提出了一个合作的层次Transformer(COOT),利用这种层次结构的信息和模型之间的相互作用,不同层次的粒度和不同的方式。该方法由三个主要组件组成:注意力感知特征聚合层,其利用本地时间上下文(内部级别,例如,在剪辑内)、用于学习低级和高级语义(级间,例如剪辑-视频、剪辑-段落)之间的交互的上下文Transformer、以及用于连接视频和文本的跨模态循环一致性损失。所得到的方法相比,有利的几个基准上的最先进的状态,同时具有很少的参数。所有代码都可以在https://github.com/gingsi/coot-videotext上获得
2020-11-01 cs.AI cs.CL cs.CV
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
SViTT-Ego: A Sparse Video-Text Transformer for Egocentric Video
Intel Labs(英特尔实验室)
本文提出首个结合边缘与节点稀疏化的第一视角视频-文本 Transformer SViTT-Ego,使用 EgoClip 和 EgoNCE 预训练,在低内存条件下于 EgoMCQ 上较 LAVILA large 提升 2.8%。
2024-06-13 cs.AI cs.CV
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley(加州大学伯克利分校);Panasonic(松下)
在这项工作中,我们提出了基于补丁的以对象为中心的视频Transformer(POVT),一种新的基于区域的视频生成架构,利用以对象为中心的信息,有效地模拟视频中的时间动态。我们建立在以前的工作,通过自回归Transformer在压缩视频的离散潜在空间的视频预测,与添加修改模型对象为中心的信息,通过边界框。由于以对象为中心的表示具有更好的可压缩性,我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时,我们的方法与其他视频生成模型相比具有更好或相同的性能,同时保持计算上更高效和可扩展性。此外,我们表明,我们的方法是能够执行以对象为中心的可控性,通过限界框操纵,这可能有助于下游任务,如视频编辑,或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
Token Shift Transformer for Video Classification
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
Transformer在理解1维和2维信号(例如,NLP和图像内容理解)。作为卷积神经网络的潜在替代方案,它具有强可解释性,对超大规模数据的高分辨能力以及处理不同长度输入的灵活性的优点。然而,其编码器自然包含计算密集型操作,例如成对自注意,当应用于复杂的3维视频信号时会产生沉重的计算负担。本文提出了令牌移位模块(即,TokShift),一种新颖的零参数、零FLOPs运算符,用于对每个Transformer编码器内的时间关系进行建模。具体来说,TokShift几乎不会在相邻帧之间来回移动部分[类]令牌特征。然后,我们将该模块密集地插入到普通2D视觉Transformer的每个编码器中,用于学习3D视频表示。值得注意的是,我们的TokShift Transformer是一个纯无卷积的视频Transformer试点,具有视频理解的计算效率。标准基准测试的实验验证了该方法的鲁棒性、有效性和高效性。特别是,在8/12帧的输入剪辑下,TokShift Transformer实现了SOTA精度:在Kinetics-400上为79.83%/80.40%,在EGTEA-Gaze+上为66.56%,在UCF-101数据集上为96.80%,与现有的SOTA卷积同行相当或更好。我们的代码是开源的:https://github.com/VideoNetworks/TokShift-Transformer。
2021-08-05 cs.CV cs.MM
Contrastive Video Question Answering via Video Graph Transformer
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea人工智能实验室);Hefei University of Technology(合肥工业大学)
本文提出CoVGT模型,通过动态图Transformer编码视频对象关系与动态,并结合分离式视频-文本对比学习及全监督与自监督联合优化,在视频问答中实现超越大规模预训练模型的性能,且具有更高的数据效率。
2023-07-11 cs.CV cs.MM
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research(谷歌研究院)
本文提出CamViG,通过将3D相机运动编码为调节信号,扩展多模态Transformer实现可控的图像到视频生成,并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
Frequency Domain Transformer Networks for Video Prediction
University of Bonn(波恩大学)
视频预测的任务是在给定前一帧的情况下预测下一帧。尽管最近取得了很大进展,但这项任务仍然具有挑战性,主要是由于空间域中的高非线性。为了解决这个问题,我们提出了一种新的架构,频域Transformer网络(FDTN),这是一个端到端的可学习模型,估计和使用的信号在频域中的变换。实验结果表明,该方法的性能优于一些广泛使用的视频预测方法,如视频梯形网络(VLN)和预测门控金字塔(PGP)。
2019-03-01 cs.CV cs.LG
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University(北京大学);FAIR;University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技)
随着互联网上多媒体数据的增长,视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而,现有的跨模态Transformer方法通常受到两个主要限制:1)对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2)端到端训练机制限制小批量中的负样本交互。在本文中,我们提出了一种新的方法命名为分层Transformer(HiT)的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配,实现多视角、综合的检索效果。此外,受MoCo的启发,我们提出了跨模态学习的动量跨模态对比,以实现大规模的负样本交互,这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
BEVT: BERT Pretraining of Video Transformers
Microsoft Cloud + AI(微软云与人工智能部门)
研究了视频Transformers的BERT预训练问题。这是一个简单的,但需要深入研究的扩展,因为最近BERT预训练图像Transformers取得了成功。我们引入BEVT,它将视频表示学习扩展到空间表示学习和时间动态学习。具体地,BEVT首先对图像数据进行掩码图像建模,然后对视频数据联合进行掩码图像建模和掩码视频建模。这种设计的动机是两个观察:1)在图像数据集上学习的Transformers提供了适当的空间先验,这可以简化视频Transformers的学习,如果从头开始训练,视频变换器通常是计算密集型的; 2)区分性线索,即,由于大的类内和类间变化,进行正确预测所需的空间和时间信息在不同视频之间变化。我们在三个具有挑战性的视频基准上进行了广泛的实验,BEVT取得了非常有希望的结果。在Kinetics 400上,识别主要依赖于有区别的空间表示,BEVT实现了与强监督基线相当的结果。在包含依赖于时间动态的视频的Something-Something-V2和Diving 48上,BEVT的表现明显优于所有替代基线,并分别以71.4%和87.2%的Top-1准确度实现了最先进的性能。代码将在\url{https://github.com/xyzforever/BEVT}上提供。
2022-03-03 cs.CV cs.LG
Can't Fool Me: Adversarially Robust Transformer for Video Understanding
Samsung Research America(三星美国研究院)
深度神经网络已经被证明在对抗性示例上表现不佳。为了解决这个问题,已经提出了几种技术来增加用于图像分类任务的模型的鲁棒性。然而,在视频理解任务中,开发对抗鲁棒模型仍然是未探索的。在本文中,我们的目标是弥合这一差距。我们首先表明,基于图像的对抗性鲁棒模型的简单扩展稍微改善了最坏情况下的性能。此外,我们在Transformer中提出了一种时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们使用大规模视频数据集YouTube-8 M说明,最终模型(A-ART)在其对抗性示例集上实现了接近非对抗性的性能。我们在对抗性示例上实现了91%的差距,而基线Transformer和简单对抗性扩展分别实现了72.9%和82%,这表明鲁棒性比最新技术水平有显着提高。
2021-10-26 cs.CR cs.CV cs.LG
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Mounting Video Metadata on Transformer-based Language Model for Open-ended Video Question Answering
Seoul National University(首尔大学)
视频问答最近受到多模态视频研究者的大量关注。大多数视频问答数据集通常是选择题的形式。但是,多项选择任务的模型并不能推断出答案。相反,它比较候选答案以选择正确答案。此外,它也很难扩展到其他任务。在本文中,我们挑战现有的多项选择视频问答,将其改为开放式视频问答。为了解决开放式问答,我们使用预训练的GPT 2模型。该模型通过视频输入和字幕进行微调。通过将现有的DramaQA数据集更改为开放式问答进行消融研究,结果表明可以使用视频元数据提高性能。
2021-08-11 cs.AI cs.CV
Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer
University of Maryland(马里兰大学);Meta AI;Georgia Tech(佐治亚理工学院)
视频是用来表达情感、交流信息和分享经验的。视频合成已经吸引了研究人员很长一段时间。尽管视觉合成的进步推动了快速的进步,但大多数现有的研究都集中在提高帧的质量和它们之间的过渡,而在生成更长的视频方面几乎没有进展。在本文中,我们提出了一种基于3D-VQGAN和Transformers的方法来生成具有数千帧的视频。我们的评估表明,我们的模型在UCF-101,Sky Time-lapse和Taichi-HD数据集等标准基准的16帧视频剪辑上训练,可以生成多样化,连贯和高质量的长视频。我们还展示了我们的方法的条件扩展,通过将时间信息与文本和音频相结合来生成有意义的长视频。视频和代码可以在https://songweige.github.io/projects/tats/index.html上找到。
2022-09-24 cs.AI cs.CV
InverseMV: Composing Piano Scores with a Convolutional Video-Music Transformer
National Chengchi University(国立政治大学)
许多社交媒体用户更喜欢以视频而不是文本的形式消费内容。然而,为了让内容创作者制作具有高点击率的视频,需要进行大量编辑以使镜头与音乐相匹配。这给更多的业余视频制作者带来了额外的挑战。因此,我们提出了一种新的基于注意力的模型VMT(视频音乐Transformer),自动生成钢琴乐谱从视频帧。使用模型生成的音乐还可以防止使用现有音乐时经常出现的潜在版权侵权。据我们所知,除了拟议的VMT之外,没有其他工作旨在为视频创作音乐。此外,缺乏具有对齐的视频和符号音乐的数据集。我们发布了一个新的数据集,由超过7个小时的钢琴乐谱组成,流行音乐视频和MIDI文件之间具有良好的对齐。我们对VMT,SeqSeq模型(我们的基线)和原始钢琴版本配乐进行了人类评估实验。VMT在音乐流畅度和视频相关性方面取得了持续的改进。特别是,通过相关性分数和我们的案例研究,我们的模型显示了音乐生成的帧级演员运动的多模态能力。我们的VMT模型,以及新的数据集,提出了一个很有前途的研究方向,为视频组成匹配的配乐。我们已经在https://github.com/linchintung/VMT上发布了我们的代码
2021-12-31 cs.CV cs.LG cs.MM
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology(北京智能信息技术实验室);Beijing Institute of Technology(北京理工大学)
视频中的语义驱动的动作定位是一项具有挑战性的任务,不仅涉及视觉语言匹配,而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展,但是估计精确的边界仍然没有得到充分的探索。在本文中,我们提出了实体感知和运动感知的Transformers,逐步本地化的行动,在视频中的第一个粗略定位剪辑与实体查询,然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中,以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化,以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明,该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
Multi-Scale Temporal Difference Transformer for Video-Text Retrieval
University of Electronic Science and Technology of China(电子科技大学);WXG Tencent(腾讯微信事业群)
针对视频-文本检索中传统transformer局部时序建模能力不足的问题,提出融合帧差分特征、结合长短时序建模的多尺度时序差分Transformer,搭配新损失函数实现了SOTA性能。
2024-06-23 cs.AI cs.CV
Video based Object 6D Pose Estimation using Transformers
Georgia Institute of Technology(佐治亚理工学院)
提出VideoPose框架,利用Transformer架构和注意力机制,通过视频时序信息进行6D物体姿态估计,在YCB-Video数据集上达到与最先进Transformer方法相当的性能,并显著优于CNN方法,同时实现33fps的实时处理效率。
2022-11-07 cs.AI cs.CV cs.HC
Dual-path Adaptation from Image to Video Transformers
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
在本文中,我们有效地转移的视觉基础模型,如ViT和Swin,视频理解,只有几个可训练的参数的超越表示能力。以前的适应方法同时考虑了空间和时间建模与统一的可学习模块,但仍然遭受充分利用图像变换器的代表性能力。我们认为,流行的双路径(两个流)架构的视频模型可以减轻这个问题。我们提出了一种新的DualPath适应分为空间和时间适应路径,其中一个轻量级的瓶颈适配器采用在每个Transformer块。特别是对于时间动态建模,我们将连续的帧合并到一个网格状的框架集,以精确地模仿视觉Transformer的能力,推断令牌之间的关系。此外,我们从统一的角度在视频理解中广泛研究了多基线,并将其与DualPath进行了比较。在四个动作识别基准上的实验结果证明,使用DualPath的预训练图像变换器可以有效地推广到数据域之外。
2023-03-17 cs.CV cs.LG
Deepfake Video Detection with Spatiotemporal Dropout Transformer
Institute of Information Engineering, Chinese Academy of Science(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
虽然Deepfake技术的滥用最近引起了严重的关注,但由于每帧的高照片真实感合成,如何检测Deepfake视频仍然是一个挑战。现有的图像级方法通常专注于单帧,忽略了隐藏在deepfake视频中的时空线索,导致泛化能力和鲁棒性较差。视频级检测器的关键是充分利用deepfake视频中不同帧中局部面部区域中分布的时空不一致性。受此启发,本文提出了一种简单而有效的补丁级方法,通过时空丢弃Transformer来促进深度伪造视频检测。该方法将每个输入视频重新组织成补丁包,然后将其馈送到视觉Transformer以实现鲁棒表示。具体而言,时空dropout操作,提出了充分发掘块级时空线索,并作为有效的数据增强,以进一步提高模型的鲁棒性和泛化能力。操作灵活,可以轻松插入现有的视觉Transformer。大量的实验证明了我们的方法对25个国家的最先进的令人印象深刻的鲁棒性,概括性和表示能力的有效性。
2022-07-14 cs.AI cs.CV
Class-attention Video Transformer for Engagement Intensity Prediction
Suzhou Vocational Institute of Industrial Technology(苏州工业职业技术学院);Texas Tech University(德克萨斯理工大学);Suzhou University of Science and Technology(苏州科技大学)
为了处理不同长度的长视频,先前的工作提取多模态特征并将其融合以预测学生的参与强度。在本文中,我们提出了一种新的端到端的方法类注意力在视频Transformer(CavT),它涉及到一个单一的向量来处理类嵌入,并统一执行端到端的学习对可变长度的长视频和固定长度的短视频。此外,为了解决样本不足的问题,我们提出了一种二阶代表采样方法(BorS),为每个视频添加多个视频序列来增强训练集。BorS+CavT不仅在PatitiW-EP数据集上获得了最先进的MSE(0.0495),而且在DAiSEE数据集上也获得了最先进的MSE(0.0377)。代码和模型已在https://github.com/mountainai/cavt上公开提供。
2022-11-10 cs.CV cs.LG
VCT: A Video Compression Transformer
Google Research(谷歌研究院)
我们展示了如何Transformers可以用来大大简化神经视频压缩。以前的方法一直依赖于越来越多的建筑偏见和先验知识,包括运动预测和扭曲操作,导致复杂的模型。相反,我们独立地将输入帧映射到表示,并使用Transformer对其依赖关系进行建模,让它预测过去表示的未来分布。由此产生的视频压缩Transformer优于标准视频压缩数据集上以前的方法。在合成数据上的实验表明,我们的模型可以学习处理复杂的运动模式,如平移,模糊和褪色纯粹从数据。我们的方法很容易实现,我们发布代码以方便未来的研究。
2022-10-12 cs.CV cs.LG eess.IV
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院)
大规模预训练的Transformers已经在文本(GPT-3)和文本到图像(DALL-E和CogView)生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战:潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中,我们提出了9 B参数Transformer CogVideo,通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略,以更好地对齐文本和视频片段。作为(可能)第一个开源的大规模预训练文本到视频模型,CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
Infrastructure University Kuala Lumpur(吉隆坡基建大学)
针对3D CNN难以建模长距离依赖与Transformer计算成本高的问题,提出融合两者的混合框架,通过提取局部时空特征与全局时间依赖提升识别准确率。
2025-08-02 cs.AI cs.CV
Multiview Transformers for Video Recognition
Google Research(谷歌研究院);Michigan State University(密歇根州立大学);Brown University(布朗大学)
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平,但它们没有明确地对不同的时空分辨率进行建模。为此,我们提出了多视图Transformers的视频识别(MTV)。我们的模型由独立的编码器组成,用于表示输入视频的不同视图,并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究,我们的模型,并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外,我们在六个标准数据集上实现了最先进的结果,并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
GloTSFormer: Global Video Text Spotting Transformer
ByteDance Inc.(字节跳动有限公司)
提出GloTSFormer,通过全局关联和Wasserstein距离建模视频文本定位的跟踪问题,在ICDAR2015数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV
Video Vision Transformers for Violence Detection
IIIT Naya Raipur(新赖布尔印度信息技术学院)
在监控系统中检测暴力事件会对执法和城市安全产生重大影响。虽然现代(智能)相机广泛可用且价格合理,但此类技术解决方案在大多数情况下都是无效的。此外,监控闭路电视录像的人员经常反应迟缓,可能造成人员和财产灾难。因此,自动检测暴力以迅速采取行动是非常重要的。所提出的解决方案使用了一种新型的基于端到端深度学习的视频视觉Transformer(ViViT),可以熟练地识别视频序列中的打斗、敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的归纳偏差的缺点,同时在较小的训练数据集上训练视觉Transformer。评估结果可以随后发送到当地有关部门,并可以分析捕获的视频。与最先进的(SOTA)方法相比,所提出的方法在一些具有挑战性的基准数据集上取得了良好的性能。
2022-11-10 cs.AI cs.CV
Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection
University of Tehran(德黑兰大学)
研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题,提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器,经实验其在精度与推理时间上表现优且鲁棒性强,脑模型相关性高,优于基线。
2026-07-21 cs.CV cs.LG
Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy
University of Science and Technology of China(中国科学技术大学)
本文提出一种基于Swin Transformer V2和由粗到细对比策略的无参考视频质量评估方法,通过增强空间感知与轻量时序融合模块提升对不同码率压缩视频的质量判别能力。
2024-01-16 cs.CV cs.LG eess.IV
Long-term Leap Attention, Short-term Periodic Shift for Video Classification
Singapore Management University(新加坡管理大学);Zhejiang Lab(之江实验室);University of Science and Technology of China(中国科学技术大学)
视频Transformer自然地招致比静态视觉Transformer更重的计算负担,因为在当前关注二次复杂度$(T^2N^2)$的情况下,前者处理比后者长$T$倍的序列。现有的作品将时间轴视为空间轴的简单扩展,专注于通过通用池化或局部窗口化来缩短时空序列,而不利用时间冗余。然而,视频自然包含相邻帧之间的冗余信息;因此,我们可能会以扩张的方式抑制对视觉相似帧的关注。基于这一假设,我们提出了LAPS,一个长期的"\textbf{\textit{Leap Attention}}"(LA),短期的"\textbf{\textit{Periodic Shift}}"(\textit{P} -Shift)模块的视频Transformers,与$(2TN^2)$的复杂性。具体来说,“LA”将长期帧分组成对,然后通过注意力重构每个离散对。"\textit{P} -Shift“在时间相邻者之间交换特征以面对短期动态的损失。通过用LAPS替换普通的2D注意力,我们可以将静态的Transformer适配为视频的,没有额外的参数和可忽略的计算开销($\sim$ 2.6\%)。在标准Kinetics-400基准测试上的实验表明,我们的LAPS Transformer在CNN和Transformer SOTA之间的精度、FLOP和参数方面可以实现有竞争力的性能。我们在\sloppy \href{https:/…
2022-07-23 cs.CV cs.MM
Survey: Transformer based Video-Language Pre-training
School of Information, Renmin University of China(中国人民大学信息学院)
受基于transformer的预训练方法在自然语言任务和进一步的计算机视觉任务上的成功启发,研究人员已经开始将Transformer应用于视频处理。本调查旨在对基于transformer的视频语言学习预训练方法进行全面的综述。我们首先简要介绍了Transformer结构作为背景知识,包括注意力机制、位置编码等,然后从代理任务、下游任务和常用视频数据集的角度描述了视频语言处理的预训练和微调的典型范例。接下来,我们将Transformer模型分类为单流和多流结构,突出它们的创新并比较它们的性能。最后,我们分析和讨论了视频语言预训练目前面临的挑战和未来可能的研究方向。
2021-09-21 cs.CV
Video Frame Interpolation with Flow Transformer
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对卷积视频帧插值丢失细节的问题,提出流 Transformer,将光流运动动力学融入时间自注意力机制并结合多尺度架构,在三个基准上实现了更优的视觉质量。
2023-07-30 cs.CV cs.MM
STB-VMM: Swin Transformer Based Video Motion Magnification
IQS School of Engineering(IQS工程学院);Universitat Ramon Llull(拉蒙·柳利大学)
视频运动放大技术的目标是放大视频中的小运动,以揭示先前不可见或不可见的运动。它的用途从生物医学应用和deepfake检测扩展到结构模态分析和预测性维护。然而,从噪声中辨别小的运动是一项复杂的任务,特别是当试图放大非常细微的、通常是亚像素的运动时。结果,运动放大技术通常遭受噪声和模糊输出。这项工作提出了一个新的国家的最先进的模型的基础上Swin的Transformer,它提供了更好的容忍噪声输入以及更高质量的输出,表现出更少的噪音,模糊,和文物比现有技术的输出图像质量的改进将使更精确的测量任何应用依赖于放大的视频序列,并且可以在新的技术领域中实现视频运动放大技术的进一步发展。
2023-03-27 cs.AI cs.CV
Hardware-Friendly Static Quantization Method for Video Diffusion Transformers
Division of the Humanities and Social Sciences(人文与社会科学系);California Institute of Technology(加州理工学院);Device Solutions Research America(设备解决方案研究美国);Samsung Semiconductor Inc.(三星半导体公司)
针对资源受限设备无法支持视频扩散Transformer动态量化的问题,提出一种基于每步校准、通道/张量级量化及平滑量化的静态训练后量化方法,性能媲美FP16与动态量化方案,可高效部署于AI处理器。
2025-06-17 cs.AI cs.CV
ARST: Auto-Regressive Surgical Transformer for Phase Recognition from Laparoscopic Videos
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
相位识别在计算机辅助介入手术流程分析中起着至关重要的作用。Transformer最初是为自然语言处理中的序列数据建模而提出的,现已成功地应用于外科手术时相识别。现有的基于Transformer的研究主要集中在注意力依赖的建模上,没有引入自回归。在这项工作中,自回归手术Transformer,简称ARST,首次提出了在线手术阶段识别腹腔镜视频,建模的相位间的相关性隐含的条件概率分布。为了减少推理偏差和提高相位一致性,我们进一步发展了一种基于自回归的一致性约束推理策略。我们在一个著名的公共数据集Cholec80上进行了全面的验证。实验结果表明,我们的方法优于国家的最先进的方法在定量和定性,并实现了每秒66帧(fps)的推理率。
2022-09-02 cs.AI cs.CV