Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Video Motion Transfer with Diffusion Transformers
University of Oxford（牛津大学）；Snap Inc.（Snap公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出DiTFlow，利用扩散变换器提取注意力运动流，通过优化潜在变量和位置嵌入实现无需训练的视频运动迁移，在多项指标和人工评估中超越现有方法。
2025-03-27 cs.AI cs.CV cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University（约克大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Toyota Research Institute（丰田研究所）；Vector Institute（矢量研究所）
针对视频Transformer可解释性研究不足的问题，提出首个VTCD算法以无监督发现时空概念并排序其重要性，揭示了视频Transformer的通用推理机制，还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
A Video Is Worth Three Views: Trigeminal Transformers for Video-based Person Re-identification
Dalian University of Technology（大连理工大学）；Ningbo Institute, Dalian University of Technology（大连理工大学宁波研究院）；China Science IntelliCloud Technology Co.Ltd（中科智云科技有限公司）；Remark Holdings
基于视频的人物再识别（Re-ID）旨在检索非重叠摄像机下的同一个人的视频序列。以往的方法通常集中在有限的视图，如空间，时间或时空视图，缺乏在不同的特征域的观察。为了获取更丰富的感知信息并提取更全面的视频表征，本文提出了一种新的基于视频的人物身份识别框架--三叉Transformers（TMT）。更具体地说，我们设计了一个三叉特征提取器，将原始视频数据联合变换到空间、时间和时空域。此外，受视觉变换器Transformer的巨大成功的启发，本文提出了一种用于视频人Re-ID的Transformer结构。在我们的工作中，我们提出了三种自视图变换器，利用局部特征之间的关系在空间域、时间域和时空域进行信息增强。此外，一个跨视图Transformer提出了聚合的多视图功能，全面的视频表示。实验结果表明，我们的方法可以实现更好的性能比其他国家的最先进的方法在公共Re-ID基准。我们将发布模型复制的代码。
2021-04-05 cs.AI cs.CV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术，但通常缺乏真实世界的效率评估。在这项工作中，我们填补了这一空白，并调查使用Transformers进行有效的动作识别。我们提出了一种新的，轻量级的动作识别架构，VideoLightFormer。以因子分解的方式，我们使用Transformers仔细扩展了2D卷积时间段网络，同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一，在那里他们要么应用巨大的Transformers的视频功能，或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同，保持Transformer模型小，但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2（SSV 2）数据集上对VideoLightFormer进行了高效率的评估，发现除了SSV 2上的Temporal Shift Module之外，它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
Long-Short Temporal Contrastive Learning of Video Transformers
Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为视频理解的3D CNN的竞争替代品。然而，由于它们的大量参数和减少的归纳偏差，这些模型需要在大规模图像数据集上进行监督预训练，以实现最佳性能。在这篇论文中，我们通过经验证明，在纯视频数据集上对视频Transformers进行自监督预训练，可以获得与在大规模图像数据集上进行监督预训练相同或更好的动作识别结果，即使是像ImageNet-21 K这样的大规模图像数据集。由于基于transformer的模型在捕获扩展时间跨度上的依赖关系方面是有效的，因此我们提出了一个简单的学习过程，该过程迫使模型将同一视频的长期视图与短期视图相匹配。我们的方法，名为长短时间对比学习（LSTCL），使视频Transformers学习一个有效的剪辑级表示通过预测从较长的时间范围内捕获的时间上下文。为了证明我们的研究结果的一般性，我们使用两种不同的视频Transformer架构，包括增强时空注意力的Swin Transformer的改进变体，在三种不同的自监督对比学习框架（MoCo v3，BYOL，SimSiam）下实现并验证我们的方法。我们进行了彻底的消融研究，并表明LSTCL在多个视频基准上实现了具有竞争力的性能，并代表了基于监督图像的预训练的令人信服的替代方案。
2022-03-31 cs.AI cs.CV
VideoGPT: Video Generation using VQ-VAE and Transformers
University of California, Berkeley（加州大学伯克利分校）
我们提出VideoGPT：一个概念上简单的架构，用于将基于可能性的生成建模扩展到自然视频。VideoGPT使用VQ-VAE，通过采用3D卷积和轴向自我注意来学习原始视频的下采样离散潜在表示。一个简单的GPT类架构，然后使用时空位置编码的离散潜伏期的自回归模型。尽管公式简单且易于训练，但我们的架构能够生成与最先进的GAN模型竞争的样本，用于在BAIR Robot数据集上生成视频，并从UCF-101和Tumbler GIF数据集（TGIF）生成高保真自然视频。我们希望我们提出的架构作为一个可重复的参考，最低限度的实施Transformer为基础的视频生成模型。示例和代码可在https://wilson1yan.github.io/videogpt/index.html上获得
2021-09-14 cs.CV cs.LG
Efficient Attention-free Video Shift Transformers
Samsung AI Center（三星人工智能中心）；Queen Mary University London（伦敦玛丽女王大学）
本文解决了有效的视频识别问题。在这一领域，视频Transformers最近主导了效率（前1精度与FLOP）频谱。同时，在图像领域中已经有一些尝试，其挑战Transformer架构内的自注意操作的必要性，提倡使用更简单的方法来进行令牌混合。然而，对于视频识别的情况还没有结果，其中自注意算子对效率具有显著更高的影响（与图像的情况相比）。为了解决这个问题，在本文中，我们做了以下贡献：（a）我们构建了一个高效的\&准确的注意力自由块的基础上的移位运算符，创造仿射移位块，专门设计来尽可能接近的操作在MHSA块的Transformer层。基于我们的Affine-Shift块，我们构建了我们的Affine-Shift Transformer，并表明它已经优于所有现有的基于移位/MLP的ImageNet分类架构。(b)我们扩展我们的配方在视频域构建视频仿射移位Transformer（VAST），第一个纯粹的注意力自由移位为基础的视频Transformer。(c)我们表明，VAST显着优于最近的国家最先进的Transformers器上最流行的动作识别基准的情况下，低计算和内存占用的模型。代码将提供。
2022-08-23 cs.CV cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey（萨里大学）
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而，由于自我注意的二次复杂性和缺乏感应偏差，Transformers是资源密集型的，并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题，使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络（STAN），它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类，具有数据效率，并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes（洛斯安第斯大学）；Google Research（谷歌研究院）
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Generative Video Transformer: Can Objects be the Words?
Rutgers University（罗格斯大学）；SAP Labs（SAP实验室）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
Transformers已经成功地用于许多自然语言处理任务。然而，由于高计算复杂性和缺乏自然标记化，将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中，我们提出了以对象为中心的视频Transformer（OCVT），它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象，我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态，并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率，因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示，在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
SViTT-Ego: A Sparse Video-Text Transformer for Egocentric Video
Intel Labs（英特尔实验室）
本文提出首个结合边缘与节点稀疏化的第一视角视频-文本 Transformer SViTT-Ego，使用 EgoClip 和 EgoNCE 预训练，在低内存条件下于 EgoMCQ 上较 LAVILA large 提升 2.8%。
2024-06-13 cs.AI cs.CV
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley（加州大学伯克利分校）；Panasonic（松下）
在这项工作中，我们提出了基于补丁的以对象为中心的视频Transformer（POVT），一种新的基于区域的视频生成架构，利用以对象为中心的信息，有效地模拟视频中的时间动态。我们建立在以前的工作，通过自回归Transformer在压缩视频的离散潜在空间的视频预测，与添加修改模型对象为中心的信息，通过边界框。由于以对象为中心的表示具有更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时，我们的方法与其他视频生成模型相比具有更好或相同的性能，同时保持计算上更高效和可扩展性。此外，我们表明，我们的方法是能够执行以对象为中心的可控性，通过限界框操纵，这可能有助于下游任务，如视频编辑，或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research（谷歌研究院）
本文提出CamViG，通过将3D相机运动编码为调节信号，扩展多模态Transformer实现可控的图像到视频生成，并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
Frequency Domain Transformer Networks for Video Prediction
University of Bonn（波恩大学）
视频预测的任务是在给定前一帧的情况下预测下一帧。尽管最近取得了很大进展，但这项任务仍然具有挑战性，主要是由于空间域中的高非线性。为了解决这个问题，我们提出了一种新的架构，频域Transformer网络（FDTN），这是一个端到端的可学习模型，估计和使用的信号在频域中的变换。实验结果表明，该方法的性能优于一些广泛使用的视频预测方法，如视频梯形网络（VLN）和预测门控金字塔（PGP）。
2019-03-01 cs.CV cs.LG
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University（北京大学）；FAIR；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个主要限制：1）对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2）端到端训练机制限制小批量中的负样本交互。在本文中，我们提出了一种新的方法命名为分层Transformer（HiT）的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配，实现多视角、综合的检索效果。此外，受MoCo的启发，我们提出了跨模态学习的动量跨模态对比，以实现大规模的负样本交互，这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning
University of Freiburg（弗莱堡大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
许多现实世界的视频文本任务涉及不同级别的粒度，例如帧和单词，剪辑和句子或视频和段落，每个都具有不同的语义。在本文中，我们提出了一个合作的层次Transformer（COOT），利用这种层次结构的信息和模型之间的相互作用，不同层次的粒度和不同的方式。该方法由三个主要组件组成：注意力感知特征聚合层，其利用本地时间上下文（内部级别，例如，在剪辑内）、用于学习低级和高级语义（级间，例如剪辑-视频、剪辑-段落）之间的交互的上下文Transformer、以及用于连接视频和文本的跨模态循环一致性损失。所得到的方法相比，有利的几个基准上的最先进的状态，同时具有很少的参数。所有代码都可以在https://github.com/gingsi/coot-videotext上获得
2020-11-01 cs.AI cs.CL cs.CV
BEVT: BERT Pretraining of Video Transformers
Microsoft Cloud + AI（微软云与人工智能部门）
研究了视频Transformers的BERT预训练问题。这是一个简单的，但需要深入研究的扩展，因为最近BERT预训练图像Transformers取得了成功。我们引入BEVT，它将视频表示学习扩展到空间表示学习和时间动态学习。具体地，BEVT首先对图像数据进行掩码图像建模，然后对视频数据联合进行掩码图像建模和掩码视频建模。这种设计的动机是两个观察：1）在图像数据集上学习的Transformers提供了适当的空间先验，这可以简化视频Transformers的学习，如果从头开始训练，视频变换器通常是计算密集型的; 2）区分性线索，即，由于大的类内和类间变化，进行正确预测所需的空间和时间信息在不同视频之间变化。我们在三个具有挑战性的视频基准上进行了广泛的实验，BEVT取得了非常有希望的结果。在Kinetics 400上，识别主要依赖于有区别的空间表示，BEVT实现了与强监督基线相当的结果。在包含依赖于时间动态的视频的Something-Something-V2和Diving 48上，BEVT的表现明显优于所有替代基线，并分别以71.4%和87.2%的Top-1准确度实现了最先进的性能。代码将在\url{https://github.com/xyzforever/BEVT}上提供。
2022-03-03 cs.CV cs.LG
Mounting Video Metadata on Transformer-based Language Model for Open-ended Video Question Answering
Seoul National University（首尔大学）
视频问答最近受到多模态视频研究者的大量关注。大多数视频问答数据集通常是选择题的形式。但是，多项选择任务的模型并不能推断出答案。相反，它比较候选答案以选择正确答案。此外，它也很难扩展到其他任务。在本文中，我们挑战现有的多项选择视频问答，将其改为开放式视频问答。为了解决开放式问答，我们使用预训练的GPT 2模型。该模型通过视频输入和字幕进行微调。通过将现有的DramaQA数据集更改为开放式问答进行消融研究，结果表明可以使用视频元数据提高性能。
2021-08-11 cs.AI cs.CV
Anticipative Video Transformer
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））；University of Texas, Austin（德克萨斯大学奥斯汀分校（University of Texas, Austin））
我们提出了预期视频Transformer（AVT），一个端到端的注意力为基础的视频建模架构，出席以前观察到的视频，以预测未来的行动。我们联合训练模型来预测视频序列中的下一个动作，同时还学习预测连续未来帧特征的帧特征编码器。与现有的时间聚合策略相比，AVT的优势在于既可以维持观察到的动作的顺序进展，又可以捕获长期依赖关系--这两者对于预测任务至关重要。通过大量的实验，我们表明，AVT在四个流行的动作预期基准测试中获得了最好的报告性能：EpicKitchen-55，EpicKitchen-100，EGTEA Gaze+和50-Salads;它在EpicKitchen-100 CVPR'21挑战赛中获得了第一名。
2021-09-22 cs.AI cs.CV cs.LG
Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer
University of Maryland（马里兰大学）；Meta AI；Georgia Tech（佐治亚理工学院）
视频是用来表达情感、交流信息和分享经验的。视频合成已经吸引了研究人员很长一段时间。尽管视觉合成的进步推动了快速的进步，但大多数现有的研究都集中在提高帧的质量和它们之间的过渡，而在生成更长的视频方面几乎没有进展。在本文中，我们提出了一种基于3D-VQGAN和Transformers的方法来生成具有数千帧的视频。我们的评估表明，我们的模型在UCF-101，Sky Time-lapse和Taichi-HD数据集等标准基准的16帧视频剪辑上训练，可以生成多样化，连贯和高质量的长视频。我们还展示了我们的方法的条件扩展，通过将时间信息与文本和音频相结合来生成有意义的长视频。视频和代码可以在https://songweige.github.io/projects/tats/index.html上找到。
2022-09-24 cs.AI cs.CV
Multi-Scale Temporal Difference Transformer for Video-Text Retrieval
University of Electronic Science and Technology of China（电子科技大学）；WXG Tencent（腾讯微信事业群）
针对视频-文本检索中传统transformer局部时序建模能力不足的问题，提出融合帧差分特征、结合长短时序建模的多尺度时序差分Transformer，搭配新损失函数实现了SOTA性能。
2024-06-23 cs.AI cs.CV
Survey: Transformer based Video-Language Pre-training
School of Information, Renmin University of China（中国人民大学信息学院）
受基于transformer的预训练方法在自然语言任务和进一步的计算机视觉任务上的成功启发，研究人员已经开始将Transformer应用于视频处理。本调查旨在对基于transformer的视频语言学习预训练方法进行全面的综述。我们首先简要介绍了Transformer结构作为背景知识，包括注意力机制、位置编码等，然后从代理任务、下游任务和常用视频数据集的角度描述了视频语言处理的预训练和微调的典型范例。接下来，我们将Transformer模型分类为单流和多流结构，突出它们的创新并比较它们的性能。最后，我们分析和讨论了视频语言预训练目前面临的挑战和未来可能的研究方向。
2021-09-21 cs.CV
Dual-path Adaptation from Image to Video Transformers
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
在本文中，我们有效地转移的视觉基础模型，如ViT和Swin，视频理解，只有几个可训练的参数的超越表示能力。以前的适应方法同时考虑了空间和时间建模与统一的可学习模块，但仍然遭受充分利用图像变换器的代表性能力。我们认为，流行的双路径（两个流）架构的视频模型可以减轻这个问题。我们提出了一种新的DualPath适应分为空间和时间适应路径，其中一个轻量级的瓶颈适配器采用在每个Transformer块。特别是对于时间动态建模，我们将连续的帧合并到一个网格状的框架集，以精确地模仿视觉Transformer的能力，推断令牌之间的关系。此外，我们从统一的角度在视频理解中广泛研究了多基线，并将其与DualPath进行了比较。在四个动作识别基准上的实验结果证明，使用DualPath的预训练图像变换器可以有效地推广到数据域之外。
2023-03-17 cs.CV cs.LG
Deepfake Video Detection with Spatiotemporal Dropout Transformer
Institute of Information Engineering, Chinese Academy of Science（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
虽然Deepfake技术的滥用最近引起了严重的关注，但由于每帧的高照片真实感合成，如何检测Deepfake视频仍然是一个挑战。现有的图像级方法通常专注于单帧，忽略了隐藏在deepfake视频中的时空线索，导致泛化能力和鲁棒性较差。视频级检测器的关键是充分利用deepfake视频中不同帧中局部面部区域中分布的时空不一致性。受此启发，本文提出了一种简单而有效的补丁级方法，通过时空丢弃Transformer来促进深度伪造视频检测。该方法将每个输入视频重新组织成补丁包，然后将其馈送到视觉Transformer以实现鲁棒表示。具体而言，时空dropout操作，提出了充分发掘块级时空线索，并作为有效的数据增强，以进一步提高模型的鲁棒性和泛化能力。操作灵活，可以轻松插入现有的视觉Transformer。大量的实验证明了我们的方法对25个国家的最先进的令人印象深刻的鲁棒性，概括性和表示能力的有效性。
2022-07-14 cs.AI cs.CV
Class-attention Video Transformer for Engagement Intensity Prediction
Suzhou Vocational Institute of Industrial Technology（苏州工业职业技术学院）；Texas Tech University（德克萨斯理工大学）；Suzhou University of Science and Technology（苏州科技大学）
为了处理不同长度的长视频，先前的工作提取多模态特征并将其融合以预测学生的参与强度。在本文中，我们提出了一种新的端到端的方法类注意力在视频Transformer（CavT），它涉及到一个单一的向量来处理类嵌入，并统一执行端到端的学习对可变长度的长视频和固定长度的短视频。此外，为了解决样本不足的问题，我们提出了一种二阶代表采样方法（BorS），为每个视频添加多个视频序列来增强训练集。BorS+CavT不仅在PatitiW-EP数据集上获得了最先进的MSE（0.0495），而且在DAiSEE数据集上也获得了最先进的MSE（0.0377）。代码和模型已在https://github.com/mountainai/cavt上公开提供。
2022-11-10 cs.CV cs.LG
VCT: A Video Compression Transformer
Google Research（谷歌研究院）
我们展示了如何Transformers可以用来大大简化神经视频压缩。以前的方法一直依赖于越来越多的建筑偏见和先验知识，包括运动预测和扭曲操作，导致复杂的模型。相反，我们独立地将输入帧映射到表示，并使用Transformer对其依赖关系进行建模，让它预测过去表示的未来分布。由此产生的视频压缩Transformer优于标准视频压缩数据集上以前的方法。在合成数据上的实验表明，我们的模型可以学习处理复杂的运动模式，如平移，模糊和褪色纯粹从数据。我们的方法很容易实现，我们发布代码以方便未来的研究。
2022-10-12 cs.CV cs.LG eess.IV
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
Infrastructure University Kuala Lumpur（吉隆坡基建大学）
针对3D CNN难以建模长距离依赖与Transformer计算成本高的问题，提出融合两者的混合框架，通过提取局部时空特征与全局时间依赖提升识别准确率。
2025-08-02 cs.AI cs.CV
Multiview Transformers for Video Recognition
Google Research（谷歌研究院）；Michigan State University（密歇根州立大学）；Brown University（布朗大学）
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平，但它们没有明确地对不同的时空分辨率进行建模。为此，我们提出了多视图Transformers的视频识别（MTV）。我们的模型由独立的编码器组成，用于表示输入视频的不同视图，并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究，我们的模型，并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外，我们在六个标准数据集上实现了最先进的结果，并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
GloTSFormer: Global Video Text Spotting Transformer
ByteDance Inc.（字节跳动有限公司）
提出GloTSFormer，通过全局关联和Wasserstein距离建模视频文本定位的跟踪问题，在ICDAR2015数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV
Video Vision Transformers for Violence Detection
IIIT Naya Raipur（新赖布尔印度信息技术学院）
在监控系统中检测暴力事件会对执法和城市安全产生重大影响。虽然现代（智能）相机广泛可用且价格合理，但此类技术解决方案在大多数情况下都是无效的。此外，监控闭路电视录像的人员经常反应迟缓，可能造成人员和财产灾难。因此，自动检测暴力以迅速采取行动是非常重要的。所提出的解决方案使用了一种新型的基于端到端深度学习的视频视觉Transformer（ViViT），可以熟练地识别视频序列中的打斗、敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的归纳偏差的缺点，同时在较小的训练数据集上训练视觉Transformer。评估结果可以随后发送到当地有关部门，并可以分析捕获的视频。与最先进的（SOTA）方法相比，所提出的方法在一些具有挑战性的基准数据集上取得了良好的性能。
2022-11-10 cs.AI cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
视频摘要旨在自动生成视频摘要（故事板或视频略读），以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要，忽略了相似视频之间的相关性。然而，这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题，我们提出了基于分层Transformer的视频联合建模（VJMHT）的共同摘要，它考虑到视频之间的语义依赖关系。具体而言，VJMHT由两层Transformer组成：第一层从相似视频的单个镜头中提取语义表示，而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式，完整的跨视频高级模式被显式地建模和学习，用于单个视频的摘要。此外，基于transformer的视频表示重建，以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection
University of Tehran（德黑兰大学）
研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题，提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器，经实验其在精度与推理时间上表现优且鲁棒性强，脑模型相关性高，优于基线。
2026-07-21 cs.CV cs.LG
Video based Object 6D Pose Estimation using Transformers
Georgia Institute of Technology（佐治亚理工学院）
提出VideoPose框架，利用Transformer架构和注意力机制，通过视频时序信息进行6D物体姿态估计，在YCB-Video数据集上达到与最先进Transformer方法相当的性能，并显著优于CNN方法，同时实现33fps的实时处理效率。
2022-11-07 cs.AI cs.CV cs.HC
Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy
University of Science and Technology of China（中国科学技术大学）
本文提出一种基于Swin Transformer V2和由粗到细对比策略的无参考视频质量评估方法，通过增强空间感知与轻量时序融合模块提升对不同码率压缩视频的质量判别能力。
2024-01-16 cs.CV cs.LG eess.IV
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
STB-VMM: Swin Transformer Based Video Motion Magnification
IQS School of Engineering（IQS工程学院）；Universitat Ramon Llull（拉蒙·柳利大学）
视频运动放大技术的目标是放大视频中的小运动，以揭示先前不可见或不可见的运动。它的用途从生物医学应用和deepfake检测扩展到结构模态分析和预测性维护。然而，从噪声中辨别小的运动是一项复杂的任务，特别是当试图放大非常细微的、通常是亚像素的运动时。结果，运动放大技术通常遭受噪声和模糊输出。这项工作提出了一个新的国家的最先进的模型的基础上Swin的Transformer，它提供了更好的容忍噪声输入以及更高质量的输出，表现出更少的噪音，模糊，和文物比现有技术的输出图像质量的改进将使更精确的测量任何应用依赖于放大的视频序列，并且可以在新的技术领域中实现视频运动放大技术的进一步发展。
2023-03-27 cs.AI cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Making Time Editable in Video Diffusion Transformers
Kandinsky Lab（坎迪斯基实验室）
提出一种时间控制方法，通过轻量级时间模块扩展预训练DiT，实现运动速度和时序结构的编辑，无需重新设计骨干网络。
2026-06-08 cs.AI cs.CV cs.MM
Hardware-Friendly Static Quantization Method for Video Diffusion Transformers
Division of the Humanities and Social Sciences（人文与社会科学系）；California Institute of Technology（加州理工学院）；Device Solutions Research America（设备解决方案研究美国）；Samsung Semiconductor Inc.（三星半导体公司）
针对资源受限设备无法支持视频扩散Transformer动态量化的问题，提出一种基于每步校准、通道/张量级量化及平滑量化的静态训练后量化方法，性能媲美FP16与动态量化方案，可高效部署于AI处理器。
2025-06-17 cs.AI cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Alberta（阿尔伯塔大学）
针对视频暴力识别任务，提出基于强化学习路由器的视觉Transformer混合专家系统，结合大型与高效Transformer架构，在RWF数据集上准确率达92.4%，优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London（帝国理工学院）；Fudan University（复旦大学）
本文提出了一种新的方法，人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示，并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外，尽管最近的进展，基于视频的对比学习，很少有人试图学习一个自我监督聚类友好的人脸表示，有利于视频人脸聚类任务。为了克服这些限制，我们的方法采用了一个Transformer直接学习视频级的表示，可以更好地反映在视频中的人脸的时间变化的属性，而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类，这是一个快速发展的领域，在与人脸聚类相关的作品中还没有研究过。为此，我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集，名为EasyCom-Clustering。我们在广泛使用的大爆炸理论（BBT）数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明，我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准，表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University（哥伦比亚大学）；Google（谷歌）；Cornell University（康奈尔大学）
我们提出了一个框架，学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说，我们的视频-音频-文本Transformer（VATT）将原始信号作为输入，并提取多模态表示，这些表示足够丰富，可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端，并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外，我们研究了一个模态不可知的，单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是，VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率，在Kinetics-600上达到了83.6%，在Kinetics-700上达到了72.7%，在Moments in Time上达到了41.1%，这些都是新的记录，同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%，而从头开始训练相同的Transformer的准确率为64.7%，这表明尽管视频和图像之间存在领域差距，但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录，在AudioSet上实现了39.4%的mAP，而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
ARST: Auto-Regressive Surgical Transformer for Phase Recognition from Laparoscopic Videos
Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
相位识别在计算机辅助介入手术流程分析中起着至关重要的作用。Transformer最初是为自然语言处理中的序列数据建模而提出的，现已成功地应用于外科手术时相识别。现有的基于Transformer的研究主要集中在注意力依赖的建模上，没有引入自回归。在这项工作中，自回归手术Transformer，简称ARST，首次提出了在线手术阶段识别腹腔镜视频，建模的相位间的相关性隐含的条件概率分布。为了减少推理偏差和提高相位一致性，我们进一步发展了一种基于自回归的一致性约束推理策略。我们在一个著名的公共数据集Cholec80上进行了全面的验证。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性，并实现了每秒66帧（fps）的推理率。
2022-09-02 cs.AI cs.CV
VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval
North South University（北南大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute）
VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制，提升视频亮点检测与时刻检索的性能。
2025-11-24 cs.AI cs.CV
Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers
Durham University（杜伦大学）
本文提出一种纯Transformer像素空间自回归模型，用于动态物理模拟的视频预测，无需复杂训练或潜在特征学习，将物理准确预测时间范围延长50%，并验证了可解释性及对PDE参数估计的泛化能力。
2025-10-23 cs.CV cs.LG
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
提出Align4Gen，通过多特征融合与对齐自监督视觉编码器特征，改进视频扩散Transformer训练，提升视频生成质量。
2025-09-11 cs.AI cs.CV
Video Graph Transformer for Video Question Answering
Sea AI Lab（Sea人工智能实验室）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
提出了一种用于视频问答（VideoQA）的视频图Transformer（VGT）模型。VGT的独特性有两个方面：1）它设计了一个动态图Transformer模块，该模块通过显式捕获视觉对象、它们的关系和动态来编码视频，以进行复杂的时空推理; 2）它利用解纠缠的视频和文本Transformers进行视频和文本之间的相关性比较，以执行QA，而不是纠缠的跨模态Transformer进行答案分类。视觉-文本通信由额外的跨模态交互模块完成。通过更合理的视频编码和QA解决方案，我们表明，VGT可以在无预训练场景下，在挑战动态关系推理的VideoQA任务上实现比现有技术更好的性能。它的性能甚至超过了那些用数百万外部数据预训练的模型。我们进一步表明，VGT也可以从自我监督的跨模态预训练中受益匪浅，但数据数量级较小。这些结果清楚地证明了VGT的有效性和优越性，并揭示了其在更有效的数据预训练方面的潜力。通过全面的分析和一些启发式的观察，我们希望VGT可以促进VQA的研究，超越粗糙的识别/描述，对细粒度的关系推理在现实的视频。我们的代码可在https://github.com/sail-sg/VGT上获得。
2022-07-21 cs.CV
Deformable Video Transformer
Facebook AI Research（脸书人工智能研究院）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为卷积网络用于动作分类的有效替代方案。然而，大多数现有的视频Transformers采用全局时空注意力或手动定义的策略来比较帧内和跨帧的补丁。这些固定注意力方案不仅具有高计算成本，而且通过比较预定位置处的补丁，它们忽略了视频中的运动动态。在本文中，我们介绍了可变形的视频Transformer（DVT），动态预测一个小的视频补丁的子集，以出席每个查询位置的基础上的运动信息，从而使模型决定在视频中的对应关系的基础上跨帧。至关重要的是，这些基于运动的对应关系是从以视频压缩格式存储的信息中以零成本获得的。我们的变形注意力机制直接优化的分类性能，从而消除了需要次优的手工设计的注意力策略。在四个大规模视频基准测试（Kinetics-400，Something-Something-V2，EPIC-KITCHENS和Diving-48）上的实验表明，与现有的视频Transformers相比，我们的模型在相同或更低的计算成本下实现了更高的准确性，并且在这四个数据集上获得了最先进的结果。
2022-03-31 cs.CV
