Dual-path Adaptation from Image to Video Transformers
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
在本文中，我们有效地转移的视觉基础模型，如ViT和Swin，视频理解，只有几个可训练的参数的超越表示能力。以前的适应方法同时考虑了空间和时间建模与统一的可学习模块，但仍然遭受充分利用图像变换器的代表性能力。我们认为，流行的双路径（两个流）架构的视频模型可以减轻这个问题。我们提出了一种新的DualPath适应分为空间和时间适应路径，其中一个轻量级的瓶颈适配器采用在每个Transformer块。特别是对于时间动态建模，我们将连续的帧合并到一个网格状的框架集，以精确地模仿视觉Transformer的能力，推断令牌之间的关系。此外，我们从统一的角度在视频理解中广泛研究了多基线，并将其与DualPath进行了比较。在四个动作识别基准上的实验结果证明，使用DualPath的预训练图像变换器可以有效地推广到数据域之外。
2023-03-17 cs.CV cs.LG
Class-attention Video Transformer for Engagement Intensity Prediction
Suzhou Vocational Institute of Industrial Technology（苏州工业职业技术学院）；Texas Tech University（德克萨斯理工大学）；Suzhou University of Science and Technology（苏州科技大学）
为了处理不同长度的长视频，先前的工作提取多模态特征并将其融合以预测学生的参与强度。在本文中，我们提出了一种新的端到端的方法类注意力在视频Transformer（CavT），它涉及到一个单一的向量来处理类嵌入，并统一执行端到端的学习对可变长度的长视频和固定长度的短视频。此外，为了解决样本不足的问题，我们提出了一种二阶代表采样方法（BorS），为每个视频添加多个视频序列来增强训练集。BorS+CavT不仅在PatitiW-EP数据集上获得了最先进的MSE（0.0495），而且在DAiSEE数据集上也获得了最先进的MSE（0.0377）。代码和模型已在https://github.com/mountainai/cavt上公开提供。
2022-11-10 cs.CV cs.LG
Multiview Transformers for Video Recognition
Google Research（谷歌研究院）；Michigan State University（密歇根州立大学）；Brown University（布朗大学）
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平，但它们没有明确地对不同的时空分辨率进行建模。为此，我们提出了多视图Transformers的视频识别（MTV）。我们的模型由独立的编码器组成，用于表示输入视频的不同视图，并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究，我们的模型，并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外，我们在六个标准数据集上实现了最先进的结果，并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection
University of Tehran（德黑兰大学）
研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题，提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器，经实验其在精度与推理时间上表现优且鲁棒性强，脑模型相关性高，优于基线。
2026-07-21 cs.CV cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey（萨里大学）
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而，由于自我注意的二次复杂性和缺乏感应偏差，Transformers是资源密集型的，并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题，使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络（STAN），它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类，具有数据效率，并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes（洛斯安第斯大学）；Google Research（谷歌研究院）
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Generative Video Transformer: Can Objects be the Words?
Rutgers University（罗格斯大学）；SAP Labs（SAP实验室）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
Transformers已经成功地用于许多自然语言处理任务。然而，由于高计算复杂性和缺乏自然标记化，将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中，我们提出了以对象为中心的视频Transformer（OCVT），它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象，我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态，并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率，因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示，在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers
Durham University（杜伦大学）
本文提出一种纯Transformer像素空间自回归模型，用于动态物理模拟的视频预测，无需复杂训练或潜在特征学习，将物理准确预测时间范围延长50%，并验证了可解释性及对PDE参数估计的泛化能力。
2025-10-23 cs.CV cs.LG
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近，基于变压器的架构设计已被广泛探索的视频任务，由于他们的能力，以捕捉长期依赖的输入序列。然而，我们发现，这些视频Transformers仍然偏向于学习空间动态，而不是时间的，和去偏的虚假相关性是至关重要的，他们的性能。基于观察结果，我们为视频模型设计了简单而有效的自监督任务，以更好地学习时间动态。具体来说，为了消除空间偏差，我们的方法学习视频帧的时间顺序作为额外的自我监督，并强制随机混洗帧具有低置信度输出。此外，我们的方法学习连续帧之间的视频令牌的时间流向，以增强对时间动态的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG
Video Swin Transformer
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
视觉社区正在见证从CNN到Transformers的建模转变，其中纯Transformer架构在主要的视频识别基准上达到了最高的准确性。这些视频模型都建立在Transformer层上，这些层在空间和时间维度上全局连接补丁。在本文中，我们主张在视频Transformers中引入局部性的归纳偏差，与以前的方法相比，这导致了更好的速度-准确性权衡，这些方法即使在时空分解的情况下也可以全局计算自我注意力。所提出的视频架构的局部性是通过调整为图像域设计的Swin Transformer来实现的，同时继续利用预先训练的图像模型的能力。我们的方法在广泛的视频识别基准上实现了最先进的准确性，包括动作识别（Kinetics-400上的84.9 top-1准确性和Kinetics-600上的86.1 top-1准确性，预训练数据减少了约20倍，模型大小减少了约3倍）和时间建模（Something-Something v2上的69.6 top-1准确性）。代码和模型将在https://github.com/SwinTransformer/Video-Swin-Transformer上公开提供。
2021-06-24 cs.AI cs.CV cs.LG
Survey: Transformer based Video-Language Pre-training
School of Information, Renmin University of China（中国人民大学信息学院）
受基于transformer的预训练方法在自然语言任务和进一步的计算机视觉任务上的成功启发，研究人员已经开始将Transformer应用于视频处理。本调查旨在对基于transformer的视频语言学习预训练方法进行全面的综述。我们首先简要介绍了Transformer结构作为背景知识，包括注意力机制、位置编码等，然后从代理任务、下游任务和常用视频数据集的角度描述了视频语言处理的预训练和微调的典型范例。接下来，我们将Transformer模型分类为单流和多流结构，突出它们的创新并比较它们的性能。最后，我们分析和讨论了视频语言预训练目前面临的挑战和未来可能的研究方向。
2021-09-21 cs.CV
Space-time Mixing Attention for Video Transformer
Samsung AI Cambridge（三星剑桥人工智能中心）；Queen Mary University of London（伦敦玛丽女王大学）
本文是关于使用Transformers的视频识别。最近在这一领域的尝试已经证明了有前途的结果方面的识别精度，但他们也被证明，在许多情况下，由于额外的建模的时间信息，导致显着的计算开销。在这项工作中，我们提出了一个视频Transformer模型的复杂性与视频序列中的帧的数量成线性比例，因此不会引起任何开销相比，基于图像的Transformer模型。为了实现这一点，我们的模型做了两个近似的视频Transformers中使用的全时空注意：（a）它限制时间注意到一个本地的时间窗口，并利用Transformer的深度，以获得完整的时间覆盖的视频序列。(b)它使用有效的时空混合来共同关注空间和时间位置，而不会在仅空间注意力模型之上产生任何额外成本。我们还展示了如何整合2个非常轻量级的机制，全球时间只注意，以最小的计算成本提供额外的精度提高。我们证明了我们的模型在最流行的视频识别数据集上产生了非常高的识别精度，同时比其他视频Transformer模型更有效。代码将提供。
2021-06-11 cs.AI cs.CV cs.LG
VCT: A Video Compression Transformer
Google Research（谷歌研究院）
我们展示了如何Transformers可以用来大大简化神经视频压缩。以前的方法一直依赖于越来越多的建筑偏见和先验知识，包括运动预测和扭曲操作，导致复杂的模型。相反，我们独立地将输入帧映射到表示，并使用Transformer对其依赖关系进行建模，让它预测过去表示的未来分布。由此产生的视频压缩Transformer优于标准视频压缩数据集上以前的方法。在合成数据上的实验表明，我们的模型可以学习处理复杂的运动模式，如平移，模糊和褪色纯粹从数据。我们的方法很容易实现，我们发布代码以方便未来的研究。
2022-10-12 cs.CV cs.LG eess.IV
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
Two-Stream temporal transformer for video action classification
Department of Computer Science, University of York, York YO10 5GH, UK（约克大学计算机科学系）
本文提出双流时间转换器模型，通过提取时空信息和光流特征，实现视频动作的高效分类。
2026-01-20 cs.AI cs.CV cs.LG
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
视频摘要旨在自动生成视频摘要（故事板或视频略读），以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要，忽略了相似视频之间的相关性。然而，这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题，我们提出了基于分层Transformer的视频联合建模（VJMHT）的共同摘要，它考虑到视频之间的语义依赖关系。具体而言，VJMHT由两层Transformer组成：第一层从相似视频的单个镜头中提取语义表示，而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式，完整的跨视频高级模式被显式地建模和学习，用于单个视频的摘要。此外，基于transformer的视频表示重建，以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
PatchBlender: A Motion Prior for Video Transformers
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Meta AI；FAIR（基础人工智能研究团队）；Apple Machine Learning Research（苹果机器学习研究院）；Microsoft Research（微软研究院）；Polytechnique Montréal（蒙特利尔理工学院）
Transformers已经成为计算机视觉领域的主导架构之一。然而，当将这样的架构应用于视频数据时，仍然存在若干挑战。最值得注意的是，这些模型难以有效地对视频数据的时间模式进行建模。直接针对这个问题，我们引入PatchBlender，一个可学习的混合函数，它在潜在空间的时间维度上对补丁嵌入进行操作。我们表明，我们的方法是成功的，使视觉Transformer编码的视频数据的时间分量。在Something-Something v2和MOVi-A上，我们证明了我们的方法提高了视频Transformers的基线性能。PatchBlender的优点是与几乎任何Transformer架构兼容，并且由于它是可学习的，因此模型可以自适应地打开或关闭先验。它也是非常轻量级的计算明智的，0.005%的GFLOPs的ViT-B。
2023-02-10 cs.AI cs.CV cs.LG
A Full Transformer-based Framework for Automatic Pain Estimation using Videos
Hellenic Mediterranean University（希腊地中海大学）
本研究提出一种结合TNT模型与交叉/自注意力块的全Transformer框架，基于BioVid数据库视频实现了最先进的自动疼痛估计性能，验证了其在主要任务上的有效性、效率与泛化能力。
2024-12-19 cs.AI cs.CV cs.LG
Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy
University of Science and Technology of China（中国科学技术大学）
本文提出一种基于Swin Transformer V2和由粗到细对比策略的无参考视频质量评估方法，通过增强空间感知与轻量时序融合模块提升对不同码率压缩视频的质量判别能力。
2024-01-16 cs.CV cs.LG eess.IV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Alberta（阿尔伯塔大学）
针对视频暴力识别任务，提出基于强化学习路由器的视觉Transformer混合专家系统，结合大型与高效Transformer架构，在RWF数据集上准确率达92.4%，优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London（帝国理工学院）；Fudan University（复旦大学）
本文提出了一种新的方法，人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示，并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外，尽管最近的进展，基于视频的对比学习，很少有人试图学习一个自我监督聚类友好的人脸表示，有利于视频人脸聚类任务。为了克服这些限制，我们的方法采用了一个Transformer直接学习视频级的表示，可以更好地反映在视频中的人脸的时间变化的属性，而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类，这是一个快速发展的领域，在与人脸聚类相关的作品中还没有研究过。为此，我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集，名为EasyCom-Clustering。我们在广泛使用的大爆炸理论（BBT）数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明，我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准，表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
Video Graph Transformer for Video Question Answering
Sea AI Lab（Sea人工智能实验室）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
提出了一种用于视频问答（VideoQA）的视频图Transformer（VGT）模型。VGT的独特性有两个方面：1）它设计了一个动态图Transformer模块，该模块通过显式捕获视觉对象、它们的关系和动态来编码视频，以进行复杂的时空推理; 2）它利用解纠缠的视频和文本Transformers进行视频和文本之间的相关性比较，以执行QA，而不是纠缠的跨模态Transformer进行答案分类。视觉-文本通信由额外的跨模态交互模块完成。通过更合理的视频编码和QA解决方案，我们表明，VGT可以在无预训练场景下，在挑战动态关系推理的VideoQA任务上实现比现有技术更好的性能。它的性能甚至超过了那些用数百万外部数据预训练的模型。我们进一步表明，VGT也可以从自我监督的跨模态预训练中受益匪浅，但数据数量级较小。这些结果清楚地证明了VGT的有效性和优越性，并揭示了其在更有效的数据预训练方面的潜力。通过全面的分析和一些启发式的观察，我们希望VGT可以促进VQA的研究，超越粗糙的识别/描述，对细粒度的关系推理在现实的视频。我们的代码可在https://github.com/sail-sg/VGT上获得。
2022-07-21 cs.CV
Deformable Video Transformer
Facebook AI Research（脸书人工智能研究院）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为卷积网络用于动作分类的有效替代方案。然而，大多数现有的视频Transformers采用全局时空注意力或手动定义的策略来比较帧内和跨帧的补丁。这些固定注意力方案不仅具有高计算成本，而且通过比较预定位置处的补丁，它们忽略了视频中的运动动态。在本文中，我们介绍了可变形的视频Transformer（DVT），动态预测一个小的视频补丁的子集，以出席每个查询位置的基础上的运动信息，从而使模型决定在视频中的对应关系的基础上跨帧。至关重要的是，这些基于运动的对应关系是从以视频压缩格式存储的信息中以零成本获得的。我们的变形注意力机制直接优化的分类性能，从而消除了需要次优的手工设计的注意力策略。在四个大规模视频基准测试（Kinetics-400，Something-Something-V2，EPIC-KITCHENS和Diving-48）上的实验表明，与现有的视频Transformers相比，我们的模型在相同或更低的计算成本下实现了更高的准确性，并且在这四个数据集上获得了最先进的结果。
2022-03-31 cs.CV
VPTR: Efficient Transformers for Video Prediction
Polytechnique Montréal（蒙特利尔理工学院）
在本文中，我们提出了一个新的Transformer块的视频未来帧预测的基础上，一个有效的局部时空分离注意力机制。基于这个新的Transformer块，提出了一种完全自回归的视频未来帧预测Transformer。此外，还提出了一种非自回归视频预测Transformer，以提高推理速度，减少自回归预测的累积推理误差。为了避免非常相似的未来帧的预测，应用对比特征损失以最大化预测的和地面实况未来帧特征之间的互信息。这项工作是第一个，使两种类型的基于注意力的视频未来帧预测模型在不同的情况下进行正式的比较。所提出的模型达到更复杂的国家的最先进的模型的性能竞争。源代码可从\emph{https://github.com/XiYe20/VPTR}获得。
2022-03-29 cs.CV
Understanding Video Transformers for Segmentation: A Survey of Application and Interpretability
Lassonde School of Engineering（拉松德工程学院）；York University（约克大学）
本综述全面回顾了基于Transformer的视频分割模型，从组件级探讨了其在不同分割任务中的应用，并分析了相关的事前与事后可解释性方法及时间动态建模能力。
2023-10-18 cs.CV
VDTR: Video Deblurring with Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊是一个尚未解决的问题，由于具有挑战性的时空建模过程。而现有的基于卷积神经网络的方法在视频去模糊的有效空间和时间建模方面表现出有限的能力。本文介绍了VDTR，一个有效的基于transformer的模型，使第一次尝试适应Transformer的视频去模糊。VDTR利用Transformer卓越的远程和关系建模功能进行空间和时间建模。然而，由于复杂的非均匀模糊、多帧间的不对齐以及高分辨率空间建模的高计算成本，设计合适的基于Transformer的视频去模糊模型具有挑战性。为了解决这些问题，VDTR主张在非重叠窗口内执行注意力，并利用分层结构进行长距离依赖建模。对于帧级空间建模，我们提出了一个编码器-解码器Transformer，它利用多尺度特征进行去模糊。对于多帧时间建模，我们采用Transformer来有效地融合多个空间特征。与基于CNN的方法相比，所提出的方法在合成和真实世界的视频去模糊基准上都取得了非常有竞争力的结果，包括DVD，GOPRO，REDS和BSD。我们希望这种基于Transformer的架构可以作为视频去模糊和其他视频恢复任务的强大替代基线。源代码将在\url{https://github.com/ljzycmd/VDTR}上提供。
2022-04-17 cs.CV
DiTPainter: Efficient Video Inpainting with Diffusion Transformers
ByteDance（字节跳动）
针对现有视频修复算法易模糊不一致、预训练DiT模型参数量大耗时久的问题，提出从头训练的高效DiT端到端视频修复模型DiTPainter，可处理任意长度视频，在质量和时空一致性上优于现有算法。
2025-05-19 cs.CV
Video Transformers: A Survey
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥尔堡大学）；Milestone Systems（里程碑系统公司）；Pioneer Center for AI（先锋人工智能中心）
Transformer模型在处理远程交互方面取得了巨大的成功，使其成为视频建模的一个有前途的工具。然而，他们缺乏归纳偏见和规模平方输入长度。当处理由时间维度引入的高维度时，这些限制进一步加剧。虽然有调查分析了Transformers在视觉方面的进步，但没有一项调查专注于对视频特定设计的深入分析。在本次调查中，我们分析了利用Transformers建模视频的作品的主要贡献和趋势。具体来说，我们首先深入研究如何在输入级别处理视频。然后，我们研究了架构的变化，以更有效地处理视频，减少冗余，重新引入有用的归纳偏见，并捕捉长期的时间动态。此外，我们提供了不同的培训制度的概述，并探讨有效的自监督学习策略的视频。最后，我们对视频Transformers最常见的基准进行性能比较（即，动作分类），发现它们的性能优于3D ConvNets，即使计算复杂性较低。
2023-02-13 cs.CV
DCVQE: A Hierarchical Transformer for Video Quality Assessment
Weibo R&D Limited（微博研发有限公司）；Microsoft（微软）
用户生成视频的爆炸式增长刺激了对无参考视频质量评估（NR-VQA）的巨大需求。受我们对人类注释行为的观察的启发，我们提出了一种用于NR-VQA的分而治之的视频质量估计（DCVQE）。从提取帧级质量嵌入（QE）开始，我们的建议将整个序列分成若干片段，并应用Transformers来学习片段级QE并同时更新帧级QE;另一个Transformer被引入来组合片段级QE以生成视频级QE。我们将这种Transformers的分层组合称为分而治之Transformer（DCTr）层。通过多次重复该DCTr层的处理，可以实现精确的视频质量特征提取。考虑到标注数据之间的顺序关系，我们还提出了一种新的相关损失项用于模型训练。在不同数据集上的实验证实了我们的DCVQE模型的有效性和鲁棒性。
2022-10-10 cs.CV
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers
KAIST（韩国科学技术院）；Kakao Brain
本文提出高效记忆双向Transformer（MeBT），通过将上下文token投影为固定数量潜在token并利用交叉注意力并行解码，以线性复杂度端到端学习视频长期依赖，在长视频生成的质量和速度上均优于自回归方法。
2023-05-31 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
vid-TLDR: Training Free Token merging for Light-weight Video Transformer
Korea University（高丽大学）
针对视频Transformer计算成本高和背景块影响泛化的问题，提出无需训练的vid-TLDR方法，利用注意力图识别显著区域并合并背景Token，在降低计算复杂度的同时保持有竞争力的性能。
2024-03-30 cs.CV
Understanding Video Transformers via Universal Concept Discovery
York University（约克大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Toyota Research Institute（丰田研究所）；Vector Institute（矢量研究所）
针对视频Transformer可解释性研究不足的问题，提出首个VTCD算法以无监督发现时空概念并排序其重要性，揭示了视频Transformer的通用推理机制，还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Self-supervised Video Transformer
Stony Brook University（石溪大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在本文中，我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频，我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征，对动作的时空变化保持不变。据我们所知，所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer（SVT）。此外，由于Transformer模型的灵活性，SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理，并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试（Kinetics-400，UCF-101，HMDB-51和SSv 2）上表现良好，并且在小批量的情况下收敛得更快。代码：https://git.io/J1juJ
2022-03-19 cs.CV
Spatiotemporal Transformer for Video-based Person Re-identification
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Pengcheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
最近，Transformer模块已经从自然语言处理移植到计算机视觉。本文将Transformer应用于基于视频的人物再识别中，其关键问题是从一段轨迹中提取具有鉴别力的信息。我们发现，尽管有很强的学习能力，香草Transformer遭受过度拟合的风险增加，可以说是由于大量的注意力参数和不足的训练数据。为了解决这个问题，我们提出了一种新的管道，其中模型在一组合成的视频数据上进行预训练，然后使用感知约束的时空Transformer（STT）模块和全局Transformer（GT）模块将其转移到下游域。衍生算法在三个流行的基于视频的人员重新识别基准，MARS，DukeMTMC-VideoReID和LS-VID上实现了显着的准确性增益，特别是当训练和测试数据来自不同的域时。更重要的是，我们的研究揭示了Transformer在高度结构化的视觉数据上的应用。
2021-03-30 cs.CV
Synchronized Audio-Visual Frames with Fractional Positional Encoding for Transformers in Video-to-Text Translation
University of Augsburg（奥格斯堡大学）
视频到文本（VTT）是自动生成短视听视频片段的描述的任务，例如，它可以支持视障人士理解YouTube视频的场景。Transformer体系结构在机器翻译和图像描述方面都表现出了出色的性能，但缺乏直接和可再现的VTT应用。然而，有没有全面的研究，不同的策略和建议，视频描述生成，包括利用伴随的音频与完全自我关注的网络。因此，我们探索有前途的方法，从图像描述和视频处理，并将其应用到VTT开发一个简单的Transformer架构。此外，我们提出了一种新的方式同步音频和视频功能的Transformers，我们称之为分数位置编码（FPE）。我们在VATEX数据集上运行了多个实验，以确定适用于看不见的数据集的配置，该配置有助于用自然语言描述短视频片段，并将CIDEr和BLEU-4分数与普通Transformer网络相比提高了37.13和12.83分，并在MSR-VTT和MSVD数据集上实现了最先进的结果。此外，FPE有助于将CIDER评分提高8.6%的相对因子。
2021-12-28 cs.CV
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Video Motion Transfer with Diffusion Transformers
University of Oxford（牛津大学）；Snap Inc.（Snap公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出DiTFlow，利用扩散变换器提取注意力运动流，通过优化潜在变量和位置嵌入实现无需训练的视频运动迁移，在多项指标和人工评估中超越现有方法。
2025-03-27 cs.AI cs.CV cs.LG
EgoViT: Pyramid Video Transformer for Egocentric Action Recognition
Syracuse University（雪城大学）
捕获手与物体的交互对于从以自我为中心的视频中自主检测人类动作是重要的。在这项工作中，我们提出了一个金字塔视频Transformer与动态类令牌生成器的自我中心的行动识别。不同于以往的视频Transformers，它使用相同的静态嵌入作为不同输入的类令牌，我们提出了一个动态类令牌生成器，通过分析手-对象交互和相关的运动信息，为每个输入视频产生一个类令牌。动态类标记可以通过与后续Transformer层中的其他信息标记进行通信，将此类信息扩散到整个模型。使用动态类令牌，视频之间的不相似性可以更加突出，这有助于模型区分各种输入。此外，传统的视频Transformers在全局范围内探索时间特征，这需要大量的计算。然而，以自我为中心的视频通常具有大量的背景场景过渡，这导致跨远帧的不连续性。在这种情况下，盲目地降低时间采样率将有丢失关键信息的风险。因此，我们也提出了一个金字塔架构，从短期高速率到长期低速率分层处理视频。与建议的架构，我们显着降低了计算成本，以及内存需求，而不牺牲模型的性能。我们在EPIC-KITCHENS-100和EGTEA Gaze+数据集上使用不同的基线视频Transformers进行比较。定量和定性的实验结果表明，该模型可以有效地提高自我中心行为识别的性能。
2023-03-15 cs.CV
Point Primitive Transformer for Long-Term 4D Point Cloud Video Understanding
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出了一种用于长期点云视频理解的4D主干。捕获时空上下文的典型方式是使用没有层次的4Dconv或Transformer。然而，由于摄像机运动、场景变化、采样模式和4D数据的复杂性，这些方法既不有效也不够高效。为了解决这些问题，我们利用原始平面作为一个中间层表示，以捕捉长期的时空上下文在4D点云视频，并提出了一种新的层次骨干命名为点原始Transformer（PPTr），它主要由内原始点Transformers和原始Transformers器。大量的实验表明，PPTr在不同的任务上都优于以前的技术水平。
2022-12-20 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）；Google Research（谷歌研究院）
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法，这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外，他们聚合每帧的视觉功能有限或没有时间信息。在本文中，我们提出了一个多模态的Transformer联合编码的不同形式的视频，这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面，我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出ViFeEdit框架，通过2D图像实现视频生成与编辑，无需视频训练数据，采用架构重参数化解耦空间独立性与全3D注意力，实现高质量视频编辑与生成。
2026-03-16 cs.CV
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego（加州大学圣地亚哥分校）
近年来，由于序列建模的进步，随着长短期记忆网络（LSTM）的复兴和门控递归单元（GRU）的引入，视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征，并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元，然而，这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中，我们实现了一个基于transformer的视频描述模型，利用3D CNN架构，如C3D和双流I3D视频提取。我们还应用了某些降维技术，以保持模型的整体大小在一定范围内。最后，我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
General surgery vision transformer: A video pre-trained foundation model for general surgery
Johns Hopkins University（约翰斯·霍普金斯大学）
针对外科计算研究缺乏公开数据与专用基础模型的问题，研究团队开源了含680小时视频的普通外科数据集，提出基于前向视频预测的GSViT模型及对应微调版本，在Cholec80任务上性能超越现有单帧预测模型。
2024-04-12 cs.CV cs.LG q-bio.TO
Learning Video Representations using Contrastive Bidirectional Transformer
Google Research（谷歌研究）；Univ. Lyon, INSA-Lyon, CNRS, LIRIS（里昂大学、里昂国立应用科学学院、法国国家科学研究中心、里昂信息科学与应用实验室）
本文提出了一种视频特征的自监督学习方法，与现有方法相比，该方法在下游任务（如视频分类，字幕和分割）上的性能得到了显着提高。我们的方法扩展了文本序列的BERT模型的实值特征向量序列的情况下，通过替换softmax损失与噪声对比估计（NCE）。我们还展示了如何从视觉特征序列和来自ASR（自动语音识别）的单词序列中学习表示，并表明这种跨模态训练（如果可能的话）甚至更有帮助。
2019-09-27 cs.CV cs.LG stat.ML
Joint learning of images and videos with a single Vision Transformer
Nagoya Institute of Technology（名古屋工业大学）
该研究提出基于单个Vision Transformer IV-ViT的图像视频联合学习方法，通过晚融合实现视频帧时序聚合，在两类共四个数据集上验证了方案可行性。
2023-08-21 cs.CV
VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling
UC Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）
视频语言（VidL）建模的一个巨大挑战在于从图像/视频理解模型中提取的固定视频表示与下游VidL数据之间的脱节。最近的研究试图通过端到端的培训来减轻这种脱节。为了使其在计算上可行，先前的工作倾向于"图像化"视频输入，即，将少量稀疏采样的帧馈送到2D CNN中，随后进行简单的均值池化或级联以获得总体视频表示。虽然实现有希望的结果，这种简单的方法可能会失去时间信息，这是必不可少的下游VidL任务。在这项工作中，我们提出了VIOLET，一个完全端到端的VIDEO-SIMULAGE Transformer，它采用了一个视频Transformer明确建模的时间动态的视频输入。此外，与以前的研究不同，这些研究发现视频输入的预训练任务（例如，掩蔽帧建模）不是很有效，我们设计了一个新的预训练任务，掩蔽视觉令牌建模（MVM），更好的视频建模。具体地说，原始视频帧补丁被“令牌化”为离散的视觉令牌，目标是基于掩蔽补丁恢复原始视觉令牌。综合分析表明，通过视频Transformer和MVM显式时间建模的有效性。因此，VIOLET在5个视频问答任务和4个文本到视频检索任务上实现了新的最先进的性能。
2022-04-16 cs.CV
Latent Video Transformer
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；New York University（纽约大学）
视频生成任务可以被公式化为给定一些过去帧的未来视频帧的预测。最近的视频生成模型面临着高计算要求的问题。某些模型需要多达512个张量处理单元进行并行训练。在这项工作中，我们解决这个问题，通过建模的动态在一个潜在的空间。在将帧转换为潜在空间之后，我们的模型以自回归的方式预测下一帧的潜在表示。我们展示了我们的方法在BAIR机器人推和动力学-600数据集上的性能。该方法倾向于将训练模型的要求减少到8个图形处理单元，同时保持相当的生成质量。
2020-06-18 cs.CV cs.LG eess.IV
