Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Alberta（阿尔伯塔大学）
针对视频暴力识别任务，提出基于强化学习路由器的视觉Transformer混合专家系统，结合大型与高效Transformer架构，在RWF数据集上准确率达92.4%，优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London（帝国理工学院）；Fudan University（复旦大学）
本文提出了一种新的方法，人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示，并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外，尽管最近的进展，基于视频的对比学习，很少有人试图学习一个自我监督聚类友好的人脸表示，有利于视频人脸聚类任务。为了克服这些限制，我们的方法采用了一个Transformer直接学习视频级的表示，可以更好地反映在视频中的人脸的时间变化的属性，而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类，这是一个快速发展的领域，在与人脸聚类相关的作品中还没有研究过。为此，我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集，名为EasyCom-Clustering。我们在广泛使用的大爆炸理论（BBT）数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明，我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准，表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
Video Graph Transformer for Video Question Answering
Sea AI Lab（Sea人工智能实验室）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
提出了一种用于视频问答（VideoQA）的视频图Transformer（VGT）模型。VGT的独特性有两个方面：1）它设计了一个动态图Transformer模块，该模块通过显式捕获视觉对象、它们的关系和动态来编码视频，以进行复杂的时空推理; 2）它利用解纠缠的视频和文本Transformers进行视频和文本之间的相关性比较，以执行QA，而不是纠缠的跨模态Transformer进行答案分类。视觉-文本通信由额外的跨模态交互模块完成。通过更合理的视频编码和QA解决方案，我们表明，VGT可以在无预训练场景下，在挑战动态关系推理的VideoQA任务上实现比现有技术更好的性能。它的性能甚至超过了那些用数百万外部数据预训练的模型。我们进一步表明，VGT也可以从自我监督的跨模态预训练中受益匪浅，但数据数量级较小。这些结果清楚地证明了VGT的有效性和优越性，并揭示了其在更有效的数据预训练方面的潜力。通过全面的分析和一些启发式的观察，我们希望VGT可以促进VQA的研究，超越粗糙的识别/描述，对细粒度的关系推理在现实的视频。我们的代码可在https://github.com/sail-sg/VGT上获得。
2022-07-21 cs.CV
Deformable Video Transformer
Facebook AI Research（脸书人工智能研究院）；Dartmouth（达特茅斯学院）
视频Transformers最近已经成为卷积网络用于动作分类的有效替代方案。然而，大多数现有的视频Transformers采用全局时空注意力或手动定义的策略来比较帧内和跨帧的补丁。这些固定注意力方案不仅具有高计算成本，而且通过比较预定位置处的补丁，它们忽略了视频中的运动动态。在本文中，我们介绍了可变形的视频Transformer（DVT），动态预测一个小的视频补丁的子集，以出席每个查询位置的基础上的运动信息，从而使模型决定在视频中的对应关系的基础上跨帧。至关重要的是，这些基于运动的对应关系是从以视频压缩格式存储的信息中以零成本获得的。我们的变形注意力机制直接优化的分类性能，从而消除了需要次优的手工设计的注意力策略。在四个大规模视频基准测试（Kinetics-400，Something-Something-V2，EPIC-KITCHENS和Diving-48）上的实验表明，与现有的视频Transformers相比，我们的模型在相同或更低的计算成本下实现了更高的准确性，并且在这四个数据集上获得了最先进的结果。
2022-03-31 cs.CV
VPTR: Efficient Transformers for Video Prediction
Polytechnique Montréal（蒙特利尔理工学院）
在本文中，我们提出了一个新的Transformer块的视频未来帧预测的基础上，一个有效的局部时空分离注意力机制。基于这个新的Transformer块，提出了一种完全自回归的视频未来帧预测Transformer。此外，还提出了一种非自回归视频预测Transformer，以提高推理速度，减少自回归预测的累积推理误差。为了避免非常相似的未来帧的预测，应用对比特征损失以最大化预测的和地面实况未来帧特征之间的互信息。这项工作是第一个，使两种类型的基于注意力的视频未来帧预测模型在不同的情况下进行正式的比较。所提出的模型达到更复杂的国家的最先进的模型的性能竞争。源代码可从\emph{https://github.com/XiYe20/VPTR}获得。
2022-03-29 cs.CV
Understanding Video Transformers for Segmentation: A Survey of Application and Interpretability
Lassonde School of Engineering（拉松德工程学院）；York University（约克大学）
本综述全面回顾了基于Transformer的视频分割模型，从组件级探讨了其在不同分割任务中的应用，并分析了相关的事前与事后可解释性方法及时间动态建模能力。
2023-10-18 cs.CV
VDTR: Video Deblurring with Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊是一个尚未解决的问题，由于具有挑战性的时空建模过程。而现有的基于卷积神经网络的方法在视频去模糊的有效空间和时间建模方面表现出有限的能力。本文介绍了VDTR，一个有效的基于transformer的模型，使第一次尝试适应Transformer的视频去模糊。VDTR利用Transformer卓越的远程和关系建模功能进行空间和时间建模。然而，由于复杂的非均匀模糊、多帧间的不对齐以及高分辨率空间建模的高计算成本，设计合适的基于Transformer的视频去模糊模型具有挑战性。为了解决这些问题，VDTR主张在非重叠窗口内执行注意力，并利用分层结构进行长距离依赖建模。对于帧级空间建模，我们提出了一个编码器-解码器Transformer，它利用多尺度特征进行去模糊。对于多帧时间建模，我们采用Transformer来有效地融合多个空间特征。与基于CNN的方法相比，所提出的方法在合成和真实世界的视频去模糊基准上都取得了非常有竞争力的结果，包括DVD，GOPRO，REDS和BSD。我们希望这种基于Transformer的架构可以作为视频去模糊和其他视频恢复任务的强大替代基线。源代码将在\url{https://github.com/ljzycmd/VDTR}上提供。
2022-04-17 cs.CV
DiTPainter: Efficient Video Inpainting with Diffusion Transformers
ByteDance（字节跳动）
针对现有视频修复算法易模糊不一致、预训练DiT模型参数量大耗时久的问题，提出从头训练的高效DiT端到端视频修复模型DiTPainter，可处理任意长度视频，在质量和时空一致性上优于现有算法。
2025-05-19 cs.CV
Video Transformers: A Survey
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥尔堡大学）；Milestone Systems（里程碑系统公司）；Pioneer Center for AI（先锋人工智能中心）
Transformer模型在处理远程交互方面取得了巨大的成功，使其成为视频建模的一个有前途的工具。然而，他们缺乏归纳偏见和规模平方输入长度。当处理由时间维度引入的高维度时，这些限制进一步加剧。虽然有调查分析了Transformers在视觉方面的进步，但没有一项调查专注于对视频特定设计的深入分析。在本次调查中，我们分析了利用Transformers建模视频的作品的主要贡献和趋势。具体来说，我们首先深入研究如何在输入级别处理视频。然后，我们研究了架构的变化，以更有效地处理视频，减少冗余，重新引入有用的归纳偏见，并捕捉长期的时间动态。此外，我们提供了不同的培训制度的概述，并探讨有效的自监督学习策略的视频。最后，我们对视频Transformers最常见的基准进行性能比较（即，动作分类），发现它们的性能优于3D ConvNets，即使计算复杂性较低。
2023-02-13 cs.CV
DCVQE: A Hierarchical Transformer for Video Quality Assessment
Weibo R&D Limited（微博研发有限公司）；Microsoft（微软）
用户生成视频的爆炸式增长刺激了对无参考视频质量评估（NR-VQA）的巨大需求。受我们对人类注释行为的观察的启发，我们提出了一种用于NR-VQA的分而治之的视频质量估计（DCVQE）。从提取帧级质量嵌入（QE）开始，我们的建议将整个序列分成若干片段，并应用Transformers来学习片段级QE并同时更新帧级QE;另一个Transformer被引入来组合片段级QE以生成视频级QE。我们将这种Transformers的分层组合称为分而治之Transformer（DCTr）层。通过多次重复该DCTr层的处理，可以实现精确的视频质量特征提取。考虑到标注数据之间的顺序关系，我们还提出了一种新的相关损失项用于模型训练。在不同数据集上的实验证实了我们的DCVQE模型的有效性和鲁棒性。
2022-10-10 cs.CV
Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers
KAIST（韩国科学技术院）；Kakao Brain
本文提出高效记忆双向Transformer（MeBT），通过将上下文token投影为固定数量潜在token并利用交叉注意力并行解码，以线性复杂度端到端学习视频长期依赖，在长视频生成的质量和速度上均优于自回归方法。
2023-05-31 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
vid-TLDR: Training Free Token merging for Light-weight Video Transformer
Korea University（高丽大学）
针对视频Transformer计算成本高和背景块影响泛化的问题，提出无需训练的vid-TLDR方法，利用注意力图识别显著区域并合并背景Token，在降低计算复杂度的同时保持有竞争力的性能。
2024-03-30 cs.CV
Self-supervised Video Transformer
Stony Brook University（石溪大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在本文中，我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频，我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征，对动作的时空变化保持不变。据我们所知，所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer（SVT）。此外，由于Transformer模型的灵活性，SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理，并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试（Kinetics-400，UCF-101，HMDB-51和SSv 2）上表现良好，并且在小批量的情况下收敛得更快。代码：https://git.io/J1juJ
2022-03-19 cs.CV
Spatiotemporal Transformer for Video-based Person Re-identification
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Pengcheng Laboratory（鹏城实验室）；Xidian University（西安电子科技大学）
最近，Transformer模块已经从自然语言处理移植到计算机视觉。本文将Transformer应用于基于视频的人物再识别中，其关键问题是从一段轨迹中提取具有鉴别力的信息。我们发现，尽管有很强的学习能力，香草Transformer遭受过度拟合的风险增加，可以说是由于大量的注意力参数和不足的训练数据。为了解决这个问题，我们提出了一种新的管道，其中模型在一组合成的视频数据上进行预训练，然后使用感知约束的时空Transformer（STT）模块和全局Transformer（GT）模块将其转移到下游域。衍生算法在三个流行的基于视频的人员重新识别基准，MARS，DukeMTMC-VideoReID和LS-VID上实现了显着的准确性增益，特别是当训练和测试数据来自不同的域时。更重要的是，我们的研究揭示了Transformer在高度结构化的视觉数据上的应用。
2021-03-30 cs.CV
Synchronized Audio-Visual Frames with Fractional Positional Encoding for Transformers in Video-to-Text Translation
University of Augsburg（奥格斯堡大学）
视频到文本（VTT）是自动生成短视听视频片段的描述的任务，例如，它可以支持视障人士理解YouTube视频的场景。Transformer体系结构在机器翻译和图像描述方面都表现出了出色的性能，但缺乏直接和可再现的VTT应用。然而，有没有全面的研究，不同的策略和建议，视频描述生成，包括利用伴随的音频与完全自我关注的网络。因此，我们探索有前途的方法，从图像描述和视频处理，并将其应用到VTT开发一个简单的Transformer架构。此外，我们提出了一种新的方式同步音频和视频功能的Transformers，我们称之为分数位置编码（FPE）。我们在VATEX数据集上运行了多个实验，以确定适用于看不见的数据集的配置，该配置有助于用自然语言描述短视频片段，并将CIDEr和BLEU-4分数与普通Transformer网络相比提高了37.13和12.83分，并在MSR-VTT和MSVD数据集上实现了最先进的结果。此外，FPE有助于将CIDER评分提高8.6%的相对因子。
2021-12-28 cs.CV
EgoViT: Pyramid Video Transformer for Egocentric Action Recognition
Syracuse University（雪城大学）
捕获手与物体的交互对于从以自我为中心的视频中自主检测人类动作是重要的。在这项工作中，我们提出了一个金字塔视频Transformer与动态类令牌生成器的自我中心的行动识别。不同于以往的视频Transformers，它使用相同的静态嵌入作为不同输入的类令牌，我们提出了一个动态类令牌生成器，通过分析手-对象交互和相关的运动信息，为每个输入视频产生一个类令牌。动态类标记可以通过与后续Transformer层中的其他信息标记进行通信，将此类信息扩散到整个模型。使用动态类令牌，视频之间的不相似性可以更加突出，这有助于模型区分各种输入。此外，传统的视频Transformers在全局范围内探索时间特征，这需要大量的计算。然而，以自我为中心的视频通常具有大量的背景场景过渡，这导致跨远帧的不连续性。在这种情况下，盲目地降低时间采样率将有丢失关键信息的风险。因此，我们也提出了一个金字塔架构，从短期高速率到长期低速率分层处理视频。与建议的架构，我们显着降低了计算成本，以及内存需求，而不牺牲模型的性能。我们在EPIC-KITCHENS-100和EGTEA Gaze+数据集上使用不同的基线视频Transformers进行比较。定量和定性的实验结果表明，该模型可以有效地提高自我中心行为识别的性能。
2023-03-15 cs.CV
Point Primitive Transformer for Long-Term 4D Point Cloud Video Understanding
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出了一种用于长期点云视频理解的4D主干。捕获时空上下文的典型方式是使用没有层次的4Dconv或Transformer。然而，由于摄像机运动、场景变化、采样模式和4D数据的复杂性，这些方法既不有效也不够高效。为了解决这些问题，我们利用原始平面作为一个中间层表示，以捕捉长期的时空上下文在4D点云视频，并提出了一种新的层次骨干命名为点原始Transformer（PPTr），它主要由内原始点Transformers和原始Transformers器。大量的实验表明，PPTr在不同的任务上都优于以前的技术水平。
2022-12-20 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）；Google Research（谷歌研究院）
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法，这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外，他们聚合每帧的视觉功能有限或没有时间信息。在本文中，我们提出了一个多模态的Transformer联合编码的不同形式的视频，这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面，我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出ViFeEdit框架，通过2D图像实现视频生成与编辑，无需视频训练数据，采用架构重参数化解耦空间独立性与全3D注意力，实现高质量视频编辑与生成。
2026-03-16 cs.CV
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego（加州大学圣地亚哥分校）
近年来，由于序列建模的进步，随着长短期记忆网络（LSTM）的复兴和门控递归单元（GRU）的引入，视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征，并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元，然而，这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中，我们实现了一个基于transformer的视频描述模型，利用3D CNN架构，如C3D和双流I3D视频提取。我们还应用了某些降维技术，以保持模型的整体大小在一定范围内。最后，我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
Joint learning of images and videos with a single Vision Transformer
Nagoya Institute of Technology（名古屋工业大学）
该研究提出基于单个Vision Transformer IV-ViT的图像视频联合学习方法，通过晚融合实现视频帧时序聚合，在两类共四个数据集上验证了方案可行性。
2023-08-21 cs.CV
On the Surprising Effectiveness of Transformers in Low-Labeled Video Recognition
Georgia Institute Of Technology（佐治亚理工学院）；Microsoft（微软）；HERE Technologies（HERE科技公司）
最近，视觉Transformer已被证明在多个视觉任务中与基于卷积的方法（CNN）具有广泛的竞争力。与CNN相比，Transformers的限制性较小的电感偏置赋予了更大的代表能力。然而，在图像分类设置中，这种灵活性与样本效率有关，其中Transformers需要ImageNet规模的训练。这个概念已经延续到视频中，其中Transformers尚未在低标签或半监督设置中探索视频分类。我们的工作经验性地探索了视频分类的低数据机制，并发现，令人惊讶的是，与CNN相比，Transformers在低标记视频设置中表现非常好。我们专门评估了两个对比视频数据集（Kinetics-400和SomethingSomething-V2）的视频视觉Transformer，并使用视频Transformer架构的主要特征进行了彻底的分析和消融研究，以解释这一观察结果。我们甚至表明，仅使用标记数据，Transformers的性能明显优于复杂的半监督CNN方法，后者也利用了大规模未标记数据。我们的实验通知我们的建议，半监督学习视频工作应考虑使用视频Transformers在未来。
2022-10-26 cs.CV cs.LG
VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling
UC Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）
视频语言（VidL）建模的一个巨大挑战在于从图像/视频理解模型中提取的固定视频表示与下游VidL数据之间的脱节。最近的研究试图通过端到端的培训来减轻这种脱节。为了使其在计算上可行，先前的工作倾向于"图像化"视频输入，即，将少量稀疏采样的帧馈送到2D CNN中，随后进行简单的均值池化或级联以获得总体视频表示。虽然实现有希望的结果，这种简单的方法可能会失去时间信息，这是必不可少的下游VidL任务。在这项工作中，我们提出了VIOLET，一个完全端到端的VIDEO-SIMULAGE Transformer，它采用了一个视频Transformer明确建模的时间动态的视频输入。此外，与以前的研究不同，这些研究发现视频输入的预训练任务（例如，掩蔽帧建模）不是很有效，我们设计了一个新的预训练任务，掩蔽视觉令牌建模（MVM），更好的视频建模。具体地说，原始视频帧补丁被“令牌化”为离散的视觉令牌，目标是基于掩蔽补丁恢复原始视觉令牌。综合分析表明，通过视频Transformer和MVM显式时间建模的有效性。因此，VIOLET在5个视频问答任务和4个文本到视频检索任务上实现了新的最先进的性能。
2022-04-16 cs.CV
Time-Space Transformers for Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们提出了一种新的解决方案，视频全景分割的任务，同时预测像素级的语义和实例分割，并产生剪辑级的实例轨道。我们的网络名为VPS-Transformer，具有基于最先进的全景分割网络Panoptic-DeepLab的混合架构，结合了用于单帧全景分割的卷积架构和基于纯Transformer块实例化的新型视频模块。配备有注意力机制的Transformer对当前帧和过去帧的骨干输出特征之间的时空关系进行建模，以获得更准确和一致的全景估计。由于纯Transformer块在处理高分辨率图像时会引入大量计算开销，因此我们提出了一些设计更改以实现更高效的计算。我们研究如何更有效地聚合信息的时空量，我们比较了几个变种的Transformer块与不同的注意力计划。在Cityscapes-VPS数据集上进行的大量实验表明，我们的最佳模型将时间一致性和视频全景质量提高了2.2%，并且几乎没有额外的计算。
2022-10-07 cs.CV
Efficient Video Transformers with Spatial-Temporal Token Selection
Fudan University（复旦大学）；University of Maryland（马里兰大学）；BirenTech Research（壁仞科技研究院）
视频Transformers在主要的视频识别基准测试中取得了令人印象深刻的结果，但计算成本很高。在本文中，我们提出了STTS，令牌选择框架，动态地选择一些信息令牌在时间和空间维度的条件下输入视频样本。具体来说，我们将令牌选择制定为排名问题，通过轻量级评分器网络估计每个令牌的重要性，只有那些得分最高的令牌将用于下游评估。在时间维度上，我们保留了与动作类别最相关的帧，而在空间维度上，我们识别了特征图中最具区分力的区域，而不会影响大多数视频Transformers中以分层方式使用的空间上下文。由于令牌选择的决策是不可微的，我们采用基于扰动最大值的可微Top-K算子进行端到端训练。我们主要在Kinetics-400上进行广泛的实验，并使用最近推出的视频Transformer主干MViT。我们的框架实现了类似的结果，同时需要减少20%的计算量。我们还证明了我们的方法是通用的不同的Transformer架构和视频数据集。代码可在https://github.com/wangjk666/STTS上获得。
2022-07-16 cs.CV
VLTinT: Visual-Linguistic Transformer-in-Transformer for Coherent Video Paragraph Captioning
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
视频段落字幕的目的是生成一个多句子的描述一个未经修剪的视频与几个时间事件的位置在连贯的故事。在人类的感知过程中，场景被有效地理解分解成视觉（如人类，动物）和非视觉组件（如动作，关系）的视觉和语言的相互影响下，我们首先提出了一个视觉语言（VL）功能。在所提出的VL功能，场景建模的三个模态，包括（i）一个全球性的视觉环境;（ii）本地视觉主代理;（iii）语言场景元素。然后，我们引入了自回归变换器中的Transformer（TinT），同时捕获视频内的事件内和事件间内容的语义一致性。最后，我们提出了一个新的VL对比损失函数，以保证学习的嵌入特征与字幕语义相匹配。在ActivityNet Captions和YouCookII数据集上进行的全面实验和广泛的消融研究表明，所提出的视觉语言转换器（VLTinT）在准确性和多样性方面优于现有的最先进的方法。源代码可在https://github.com/UARK-AICV/VLTinT上公开获取。
2023-02-16 cs.CV
Flow-Guided Transformer for Video Inpainting
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流引导的Transformer，创新性地利用光流暴露的运动差异来指导Transformer中的注意检索，实现高保真视频修复。更特别的是，我们设计了一种新的流完成网络，通过利用相关的流功能在本地时间窗口完成损坏的流。在完成流的基础上，我们将内容跨视频帧传播，并采用流引导的Transformer来合成剩余的损坏区域。我们沿着时间和空间维度解耦Transformers，这样我们就可以很容易地集成本地相关的完成流，以指导空间注意。此外，我们还设计了一个流重新加权模块，以精确地控制完成的流对每个空间Transformer的影响。为了提高效率，我们在空间和时间Transformers中引入了窗口划分策略。特别是在空间Transformer中，我们设计了一个双视角的空间MHSA，它将全局标记与基于窗口的注意力相结合。大量的实验定性和定量地证明了所提出的方法的有效性。代码可在https://github.com/hitachinsk/FGT上获得。
2022-08-14 cs.CV
Higher Order Recurrent Space-Time Transformer for Video Action Prediction
NVIDIA AI Technology Center（英伟达人工智能技术中心）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
赋予视觉代理预测能力是实现大规模视频智能的关键一步。这方面的主要建模范例是序列学习，主要通过LSTM实现。前馈Transformer架构已经取代了语言处理ML应用中的循环模型设计，也部分取代了计算机视觉。在本文中，我们研究了视频预测任务的变压器式架构的竞争力。要做到这一点，我们提出了HORST，一种新的高阶递归层设计，其核心元素是一个时空分解的视频自我注意。HORST在“某物-某物”早期动作识别和“史诗-奇趣”动作预测方面达到了最先进的竞争性能，显示了我们归因于自我注意的周期性高阶设计的预测能力的证据。
2021-09-21 cs.CV
Ingredients: Blending Custom Photos with Video Diffusion Transformers
Kunlun Inc.（昆仑公司）
本研究提出名为Ingredients的视频定制框架，通过人脸提取、多尺度投影、ID路由三个模块，结合视频扩散Transformer与多张身份照片，实现个性化动态视频生成，性能优于现有方法。
2025-03-18 cs.CV
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法，通过结合对比学习和无参考视频质量评估，提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Video Transformer Network
Theator
本文介绍了VTN，基于变压器的视频识别框架。受视觉Transformer最新发展的启发，我们放弃了依赖于3D ConvNets的视频动作识别的标准方法，并引入了一种通过关注整个视频序列信息来对动作进行分类的方法。我们的方法是通用的，并建立在任何给定的2D空间网络之上。在墙运行时间方面，与其他最先进的方法相比，它可以更快地训练$16.1\times$，并在推理过程中更快地运行$5.1\times$，同时保持有竞争力的准确性。它通过一个端到端通道实现整个视频分析，同时需要更少的$1.5\times$ GFLOP。我们报告竞争力的结果动力学-400和目前的消融研究的VTN属性和准确性和推理速度之间的权衡。我们希望我们的方法将作为一个新的基线，并开始在视频识别领域的新的研究路线。代码和模型可在https://github.com/bomri/SlowFast/blob/master/projects/vtn/README.md上获得
2021-08-17 cs.CV
SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning
Microsoft（微软）
视频描述的规范方法规定了从离线提取的密集视频特征中学习的字幕生成模型。这些特征提取器通常对以固定帧速率采样的视频帧进行操作，并且通常在图像/视频理解任务上进行训练，而不适应视频描述数据。在这项工作中，我们提出了SwinBERT，一个端到端的基于转换器的模型视频描述，它需要视频帧补丁直接作为输入，并输出一个自然语言的描述。我们的方法不是利用多个2D/3D特征提取器，而是采用视频Transformer来编码时空表示，该时空表示可以适应可变长度的视频输入，而无需针对不同的帧速率进行专门的设计。基于这个模型架构，我们表明，视频描述可以从更密集的采样视频帧中受益，而不是以前的成功与稀疏采样视频帧的视频和语言理解任务（例如，视频问答）。此外，为了避免连续视频帧中的固有冗余，我们提出了自适应学习稀疏注意力掩码并通过更好的长距离视频序列建模来优化它以提高特定任务的性能。通过对5个视频描述数据集的广泛实验，我们表明SwinBERT比以前的方法实现了全面的性能改进，通常是大幅度的。此外，学习的稀疏注意力掩码将限制推到了新的技术水平，并且可以在不同的视频长度之间和不同的数据集之间传输。代码可在https://github.com/microsoft/SwinBERT上获得
2022-06-18 cs.CV
Video Prediction by Efficient Transformers
Polytechnique Montréal（蒙特利尔工程学院）
视频预测是一项具有挑战性的计算机视觉任务，具有广泛的应用前景。在这项工作中，我们提出了一个新的家庭的基于变换器的视频预测模型。首先，提出了一种有效的局部时空分离注意力机制，以降低标准Transformers的复杂度。然后，建立了基于新型高效Transformer的完全自回归模型、部分自回归模型和非自回归模型。部分自回归模型具有与完全自回归模型相似的性能，但具有更快的推理速度。非自回归模型不仅实现了更快的推理速度，而且还减轻了自回归模型的质量退化问题，但它需要额外的参数和损失函数用于学习。鉴于相同的注意力机制，我们进行了全面的研究，比较提出的三个视频预测变量。实验表明，所提出的视频预测模型与更复杂的基于卷积LSTM的模型相比具有竞争力。源代码可在https://github.com/XiYe20/VPTR上获得。
2022-12-12 cs.CV
Object-Region Video Transformers
Tel Aviv University（特拉维夫大学）；UC Berkeley（加州大学伯克利分校）；Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
最近，视频Transformers在视频理解方面取得了巨大的成功，超过了CNN的性能;然而，现有的视频Transformer模型并没有显式地对对象进行建模，尽管对象对于识别动作是必不可少的。在这项工作中，我们提出了对象区域视频Transformers（ORViT），\emph{object-centric}的方法，扩展视频Transformer层与块，直接将对象表示。其关键思想是从早期层开始融合以对象为中心的表示，并将其传播到transformer层，从而影响整个网络的时空表示。我们的ORViT块由两个对象级流组成：外观和动态。在外观流中，“对象区域注意力”模块对补丁和\emph{object regions}应用自注意力。以这种方式，视觉对象区域与统一的补丁令牌进行交互，并用上下文对象信息丰富它们。我们通过一个单独的“对象动态模块”，捕捉轨迹的相互作用，并展示了如何整合两个流的对象动态模型。我们评估了我们的模型上的四个任务和五个数据集：组成和Few-Shot动作识别SomethingElse，时空动作检测AVA，和标准动作识别Something-Something V2，Diving 48和Epic-Kitchen 100。我们在考虑的所有任务和数据集上都显示出强大的性能改进，证明了将对象表示纳入Transformer架构的模型的价值。有关代码和预训练模型，请访问项目页面\url…
2022-06-09 cs.CV
Panoramic Vision Transformer for Saliency Detection in 360° Videos
Seoul National University（首尔国立大学）
360 $^\circ$视频显著性检测是用于360 $^\circ$视频理解的具有挑战性的基准之一，因为在360 $^\circ$视频的任何格式的投影中发生不可忽略的失真和不连续性，并且全向球中值得捕获的视点本质上是模糊的。我们提出了一个新的框架命名为全景视觉Transformer（PAVER）。我们使用具有可变形卷积的视觉Transformer设计编码器，这使我们不仅能够将来自正常视频的预训练模型插入我们的架构中，而无需额外的模块或微调，而且只需执行一次几何近似，这与以前基于CNN的深度方法不同。得益于其强大的编码器，PAVER可以从局部补丁特征之间的三个简单相对关系中学习显着性，在没有监督或类激活等辅助信息的情况下，大幅优于Wild 360基准测试的最先进模型。我们证明了我们的显着性预测模型的效用与VQA-ODV中的全向视频质量评估任务，在那里我们不断提高性能，没有任何形式的监督，包括头部运动。
2022-09-19 cs.CV
Temporally Efficient Vision Transformer for Video Instance Segmentation
Huazhong University of Science & Technology（华中科技大学）；Tencent（腾讯）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
最近，视觉Transformer在图像级视觉识别任务上取得了巨大的成功。为了有效和高效地建模视频片段中的关键时间信息，我们提出了一个时间有效的视觉Transformer（TeViT）的视频实例分割（VIS）。与以往的基于transformer的VIS方法不同，TeViT包含一个Transformer主干和一个基于查询的视频实例分割头，几乎不需要卷积。在骨干阶段，我们提出了一个几乎无参数的信使转移机制的早期时间上下文融合。在头阶段，我们提出了一个参数共享的时空查询交互机制，建立视频实例和查询之间的一一对应关系。因此，TeViT充分利用帧级和实例级的时间上下文信息，并获得强大的时间建模能力，可以忽略不计的额外计算成本。基于三个广泛采用的VIS基准，即，YouTube-VIS-2019、YouTube-VIS-2021和OVIS，TeViT获得最先进的结果并保持高推理速度，例如，46.6在YouTube-VIS-2019上获得68.9 FPS的AP。代码可在https://github.com/hustvl/TeViT上获得。
2022-04-18 cs.CV
VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Snap Inc.（斯纳普公司）；SFU（西蒙菲莎大学）
针对现有基于Transformer的视频扩散模型缺乏相机控制能力的问题，提出融入基于Plücker坐标时空相机嵌入的类ControlNet条件机制，首次实现该类模型的3D相机控制，在RealEstate10K数据集上取得SOTA性能。
2025-03-22 cs.CV
ViViT: A Video Vision Transformer
Google Research（谷歌研究院）
我们提出了纯变压器为基础的模型，视频分类，借鉴最近的成功，这种模式在图像分类。我们的模型从输入视频中提取时空令牌，然后由一系列Transformer层进行编码。为了处理视频中遇到的长序列令牌，我们提出了我们的模型的几个有效的变体，这些变体分解了输入的空间和时间维度。虽然基于transformer的模型仅在大型训练数据集可用时有效，但我们展示了如何在训练过程中有效地正则化模型，并利用预训练的图像模型能够在相对较小的数据集上进行训练。我们进行了彻底的消融研究，并在多个视频分类基准测试中取得了最先进的结果，包括Kinetics 400和600，Epic Kitchen，Something-Something v2和Moments in Time，优于基于深度3D卷积网络的先前方法。为了便于进一步研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit上发布代码
2021-11-01 cs.CV
VidTr: Video Transformer Without Convolutions
Amazon Web Service（亚马逊网络服务）；Rutgers University（罗格斯大学）
我们引入视频Transformer（VidTr）与可分离的注意视频分类。与常用的3D网络相比，VidTr能够通过堆叠注意力聚合时空信息，并提供更好的性能和更高的效率。我们首先介绍了香草视频Transformer和显示，Transformer模块是能够从原始像素执行时空建模，但与沉重的内存使用。然后，我们提出了VidTr，它减少了3.3 $\times$的内存成本，同时保持相同的性能。为了进一步优化模型，我们提出了基于标准差的topK池注意力（$pool_{topK\_std}$），它通过丢弃沿时间维度的非信息特征来减少计算。VidTr在五个常用数据集上实现了最先进的性能，具有较低的计算要求，显示了我们设计的效率和有效性。最后，错误分析和可视化表明，VidTr特别擅长预测需要长期时间推理的动作。
2021-10-15 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy（阿里巴巴达摩院）
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示，大多数视频检索系统需要大量的手动标注的数据进行训练，这使得它成本高昂，效率低下。此外，大多数检索系统是基于帧级特征的视频相似性搜索，使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统，称为SVRTN，有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示，以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级，以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息，并获得帧排列和丢失不变量的能力，以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性，在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Cross-Attention Transformer for Video Interpolation
Duke University（杜克大学）
我们提出了TAIN（Transformers and Attention for video Interpolation），一个用于视频插值的残差神经网络，它的目标是在给定两个连续图像帧的情况下对中间帧进行插值.我们首先提出了一个新的视觉Transformer模块，称为交叉相似性（Cross Similarity，CS），用于全局聚集与预测插值帧外观相似的输入图像特征.然后，这些CS特征被用于改进内插预测。为了解决CS特征中的遮挡问题，我们提出了一个图像注意力（IA）模块，允许网络专注于一帧的CS特征。TAIN优于不需要流量估计的现有方法，并执行基于流量的方法，同时在Vimeo 90 k，UCF 101和SNU-FILM基准测试的推理时间方面具有计算效率。
2022-12-02 cs.CV
Latte: Latent Diffusion Transformer for Video Generation
Department of Data Science & AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，莫纳什大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出Latte，一种用于视频生成的新型潜在扩散Transformer，通过时空token提取与四种变体高效建模视频分布，在多个标准数据集上达到SOTA，并成功扩展至T2V任务。
2025-05-01 cs.CV
Video Frame Interpolation with Transformer
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
视频帧内插（VFI）旨在合成视频的中间帧，近年来随着深度卷积网络的发展取得了显着进展。由于卷积运算的局部性，基于卷积网络构建的现有方法通常面临处理大运动的挑战。为了克服这个限制，我们引入了一个新的框架，它利用Transformer来模拟视频帧之间的长距离像素相关性。此外，我们的网络配备了一种新的跨尺度窗口的注意力机制，跨尺度窗口相互作用。这种设计有效地扩大了感受野，聚合了多尺度信息。大量的定量和定性实验表明，我们的方法在各种基准上取得了新的最先进的结果。
2022-05-15 cs.CV
Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播，这引起了严重的社会问题。在本文中，我们提出了一种新的视频Transformer，用于检测深度伪造视频。为了更好地对齐输入的人脸图像，我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势，眨眼和嘴巴运动信息，因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略，可以在少量数据上微调所提出的模型，并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明，所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能，并从序列数据中增强了特征学习。
2021-08-11 cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group（蚂蚁集团）
随着自动驾驶技术的飞速发展，野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild（VSPW）包含修剪良好的长时间，密集注释和高分辨率剪辑。在VSPW的基础上，设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能，可以保持空间信息。同时，采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外，一个时间上下文模块被设计来利用帧间上下文信息。最后，所提出的方法可以实现49.85\%的平均交集超过并集（mIoU）的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
Respiratory Status Detection with Video Transformers
University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）
本文研究了视频变换器在检测呼吸窘迫中的应用，通过构建标注数据集验证了ViViT结合LieRE和Motion Guided Masking的方法在呼吸状态识别中的有效性。
2026-03-22 cs.CV
VidFace: A Full-Transformer Solver for Video FaceHallucination with Unaligned Tiny Snapshots
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在本文中，我们研究了从多个低分辨率（LR）视频快照中产生真实高分辨率（HR）人脸的任务。我们提出了一个纯粹的基于transformer的模型，称为VidFace，充分利用多个缩略图之间的全方位时空信息和面部结构线索。具体来说，VidFace一次处理多个快照，并综合利用空间和时间信息来探索所有帧中的人脸对齐，从而避免累积对齐错误。此外，我们还设计了一个递归位置嵌入模块，为我们的Transformer提供面部先验知识，这不仅有效地规范了对齐机制，而且还取代了臭名昭著的预训练。最后，我们从公共Voxceleb2基准中策划了一个新的大规模视频人脸幻觉数据集，该数据集挑战了处理未对齐和微小人脸快照的现有技术。据我们所知，我们是第一次尝试开发一个统一的基于变压器的解决方案，为基于视频的脸幻觉量身定制。在公共视频人脸基准上的大量实验表明，该方法的性能明显优于现有技术。
2021-05-31 cs.CV
FAQ: Feature Aggregated Queries for Transformer-based Video Object Detectors
University of Florida（佛罗里达大学）；ByteDance Inc.（字节跳动公司）
视频目标检测需要解决图像域中很少发生的特征退化情况。一种解决方案是使用时间信息并融合来自相邻帧的特征。随着基于变换器的目标检测器在图像域任务上获得更好的性能，最近的工作开始将这些方法扩展到视频目标检测。然而，这些现有的基于transformer的视频对象检测器仍然遵循与经典对象检测器相同的流水线，例如通过聚合来增强对象特征表示。在这项工作中，我们采取不同的角度对视频目标检测。具体地说，我们通过聚合来提高基于transformer的模型的查询质量。为了实现这一目标，我们首先提出了一个香草查询聚合模块，加权平均查询，根据相邻帧的功能。然后，我们将vanilla模块扩展到一个更实用的版本，它根据输入帧的特征生成和聚合查询。大量的实验结果验证了我们提出的方法的有效性：在具有挑战性的ImageNet VID基准测试中，当与我们提出的模块集成时，当前最先进的基于Transformer的对象检测器在mAP上可以提高2.4%以上，在AP50上可以提高4.2%以上。
2023-03-20 cs.CV
SViTT: Temporal Learning of Sparse Video-Text Transformers
UC San Diego（加州大学圣地亚哥分校）；Intel Labs（英特尔实验室）
针对视频-文本变换器时间推理不足的问题，本文提出稀疏架构SViTT，通过边稀疏和节点稀疏降低多帧推理成本，并在多个检索与问答基准上以更少计算量超越密集变换器。
2023-04-18 cs.CV
Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Kuaishou Technology（快手科技）；Vector Institute（向量研究所）；M-A-P
本文提出混合Mamba-Transformer模型VAMBA，利用Mamba-2块以线性复杂度编码视频令牌，无需令牌压缩即可处理小时级长视频，显著降低GPU内存并提升训练速度，在LVBench基准上准确率提高4.3%。
2025-07-16 cs.CV
