UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer，通过单一注意力模块集成时空建模并引入多尺度池化融合模块，在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
时间动作建议生成（TAPG）是视频理解中一项基本而又具有挑战性的任务，特别是在时间动作检测中。以往的研究主要集中在捕获局部时间上下文，能够很好地定位具有清晰框架和边界的简单动作实例。然而，它们通常在复杂的场景中失败，其中感兴趣的动作涉及不相关的帧和背景杂波，并且局部时间上下文变得不那么有效。为了处理这些问题，我们提出了一个增强的Transformer与自适应图网络（ATAG），利用远程和本地的时间上下文TAPG。具体来说，我们通过增加片段动作性损失和前端模块增强了vanilla Transformer，提高了其捕获长距离依赖关系和学习噪声动作实例鲁棒特征的能力，并提出了一种自适应图卷积网络（GCN），通过挖掘相邻特征之间的位置信息和差异来构建局部时间上下文。这两个模块的特征携带了丰富的视频语义信息，并融合有效的顺序建议生成。在两个具有挑战性的数据集，THUMOS 14和ActivityNet1.3上进行了大量的实验，结果表明，我们的方法优于最先进的TAPG方法。我们的代码将很快发布。
2021-03-30 cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield（谢菲尔德大学）；Speechmatics
在视频动作识别中，Transformers始终达到最先进的精度。然而，对于硬件资源有限的普通研究人员来说，许多模型过于重量级。在这项工作中，我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率，并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类，并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好，尽管缺乏准确性。同时，仅注意力模型需要更多的运动建模能力，而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论，目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别，并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
TALLFormer: Temporal Action Localization with a Long-memory Transformer
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
大多数现代的时间动作定位方法将这个问题分为两个部分：（i）短期特征提取和（ii）长期时间边界定位。由于处理长的未修剪的视频导致的高GPU内存成本，许多方法通过冻结主干或使用小的空间视频分辨率来牺牲短期特征提取器的表示能力。这个问题在最近的视频Transformer模型中变得更糟，其中许多模型具有二次内存复杂度。为了解决这些问题，我们提出了TALLFormer，一个具有长期记忆的记忆高效和端到端可训练的时间动作定位Transformer。我们的长期记忆机制消除了在每次训练迭代期间处理数百个冗余视频帧的需要，从而显著减少了GPU内存消耗和训练时间。这些效率节省允许我们（i）使用强大的视频Transformer特征提取器，而不会冻结主干或降低空间视频分辨率，同时（ii）还保持长距离时间边界定位能力。TALLFormer仅使用RGB帧作为输入，没有外部动作识别分类器，其性能大大优于之前的最先进技术，在THUMOS 14上实现了59.1%的平均mAP，在ActivityNet-1.3上实现了35.6%的平均mAP。该代码是公开的：https://github.com/klauscc/TALLFormer。
2022-07-26 cs.CV
Transformer-based Fusion of 2D-pose and Spatio-temporal Embeddings for Distracted Driver Action Recognition
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于Transformer的融合架构，将2D姿态特征作为位置嵌入、时空特征作为编码器主输入，并结合多视角后处理，提升分心驾驶动作的时序定位与分类精度。
2024-03-11 cs.CV
Transformer-based Action recognition in hand-object interacting scenarios
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院（UNIST））
本报告介绍了ECCV 2022人体、手和活动（HBHA）的第二名解决方案，该解决方案来自以自我为中心和多视角相机挑战赛：动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架，估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
2022-10-20 cs.CV
ActionFormer: Localizing Moments of Actions with Transformers
Nanjing University（南京大学）；Paradigm Inc（第四范式公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于自注意力的Transformer模型在图像分类和目标检测方面取得了令人印象深刻的结果，最近在视频理解方面也取得了令人印象深刻的结果。受此成功的启发，我们研究了Transformer网络在视频中的时间动作定位中的应用。为此，我们提出了一个简单而强大的模型来识别动作的时间，并在一个Single Shot识别其类别，而不使用行动建议或依赖于预定义的锚窗口。该算法将多尺度特征表示与局部自注意力相结合，并使用轻量级解码器对每个时刻进行分类，并估计相应的动作边界。我们表明，这种精心策划的设计结果在以前的作品的重大改进。在没有额外功能的情况下，在THUMOS 14上，TIOU=0.5时，TIOFormer实现了71.0%的mAP，比最佳先验模型高出14.1个绝对百分点。此外，ECOFFORMER在ActivityNet 1.3（平均mAP为36.6%）和EPIC-Kitchen 100（平均mAP比之前的作品增加13.5%）上表现出强劲的结果。我们的代码可在http://github.com/happyharrycn/actionformer_release上获得。
2022-08-28 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition
Carnegie Mellon University（卡内基梅隆大学）；FAIR, Meta AI（Meta AI FAIR研究院）；HKUST (Guangzhou)（香港科技大学（广州））；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出时空网格Transformer（STMT）直接对MoCap网格序列建模，通过帧内偏移注意力和帧间自注意力学习非局部关系，并利用掩码顶点建模和未来帧预测进行自监督，在常见MoCap基准上达到SOTA性能。
2024-07-26 cs.CV
Hierarchical Multi-Stage Transformer Architecture for Context-Aware Temporal Action Localization
FAU（弗劳恩霍夫协会）
本文提出分层多阶段Transformer架构PCL-Former，通过三个专用模块分别处理候选片段生成、动作分类与边界定位，在三个基准数据集上超越现有方法。
2025-07-18 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University（清华大学）；Aibee Inc（爱笔智能）
多目标跟踪（MOT）的最新趋势是利用深度学习来提高跟踪性能。在本文中，我们提出了一种新的解决方案命名为transSTAM，它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成：（1）编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;（2）解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点：（1）它完全基于编码器-解码器架构，具有紧凑的网络设计，因此计算效率高;（2）它可以在一个模型中有效地学习时空和外观特征，从而实现更好的跟踪精度。所提出的方法在包括MOT 16，MOT 17和MOT 20在内的多个公共基准上进行了评估，并且相对于所有基准上的先前最先进的方法，它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
An Efficient Spatio-Temporal Pyramid Transformer for Action Detection
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；RMIT University（皇家墨尔本理工大学）
动作检测的任务旨在推导出动作类别和定位的开始和结束时刻为每个动作实例在一个长的，未经修剪的视频。虽然视觉Transformer已经推动了视频理解的最新进展，但由于长视频片段序列上的极其昂贵的自我关注，设计用于动作检测的有效架构并非易事。为此，我们提出了一个有效的分层时空金字塔Transformer（STPT）的动作检测，建立在这样一个事实，即早期的自我注意层的Transformers仍然集中在本地模式。具体来说，我们建议使用本地窗口注意编码丰富的本地时空表示在早期阶段，而应用全局注意模块捕捉长期的时空依赖性在后期阶段。通过这种方式，我们的STPT可以编码本地性和依赖性，大大减少了冗余，提供了一个有前途的准确性和效率之间的权衡。例如，仅使用RGB输入，所提出的STPT在THUMOS 14上实现了53.6%的mAP，超过了I3D+AFSD RGB模型10%以上，并且与使用额外流特征的最先进AFSD相比表现良好，GFLOP减少了31%，这是一种有效且高效的端到端基于Transformer的动作检测框架。
2022-07-21 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务，提出两阶段级联Transformer架构CascadeFormer，结合掩码预训练与级联微调，在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping
Arizona State University（亚利桑那州立大学）
许多时间序列分类问题涉及开发对时间错位不变的度量。在人体活动分析中，由于各种原因，包括不同的初始相位，传感器采样率，和弹性时间扭曲，由于受试者特定的生物力学的时间错位出现。过去在这方面的工作只着眼于通过弹性时间对齐来减少类内变异。在本文中，我们提出了一种基于模型和数据驱动的混合方法来学习扭曲函数，不仅减少了类内变异，而且增加了类间分离。我们称之为时间Transformer网络（TTN）。TTN是一个可解释的可微分模块，可以很容易地集成在分类网络的前端。该模块能够通过生成导致速率鲁棒表示的依赖于输入的扭曲函数来减少类内方差。同时，它通过学习更具区分力的扭曲函数来增加类间方差。我们使用所提出的框架在具有挑战性的数据集上的3D动作识别中显示了强基线的改进。当训练集较小时，这种改进尤其明显。
2019-06-13 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology（大连理工大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模，而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题，而不使用任何建议或预定义的锚。使用编码器-解码器Transformer，对象的预测仅使用简单的全卷积网络，直接估计对象的角点。整个方法是端到端的，不需要任何后处理步骤，如余弦窗口和限界框平滑，从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能，同时以实时速度运行，比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization
The City College, City University of New York（纽约城市大学城市学院）
本文提出POTLoc，通过自训练生成伪标签并结合Transformer与时序特征金字塔，仅用点级标注实现连续动作结构建模，在THUMOS'14和ActivityNet-v1.2上超越现有方法。
2024-06-05 cs.CV
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）
Transformer网络在对长距离上下文信息进行建模方面是有效的，并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成（TAPG）任务分为两个主要的子任务：边界预测和建议置信度预测，它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系，本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer，它由边界Transformer和建议Transformer组成。具体而言，边界Transformer捕获长期的时间依赖性以预测精确的边界信息，并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验，结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器，我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
Spatial Temporal Transformer Network for Skeleton-based Action Recognition
Politecnico di Milano（米兰理工大学）
基于骨骼的人体动作识别近年来受到了广泛的关注，因为骨骼数据已经被证明对光照变化、身体尺度、动态相机视图和复杂背景具有鲁棒性。然而，潜在的信息的有效编码的3D骨架仍然是一个悬而未决的问题。在这项工作中，我们提出了一种新的时空Transformer网络（ST-TR）模型之间的依赖关系的关节使用Transformer自注意力运营商。在我们的ST-TR模型中，空间自我注意模块（SSA）用于理解不同身体部位之间的帧内交互，时间自我注意模块（TSA）用于对帧间相关性进行建模。这两种技术组合在一个双流网络中，在NTU-RGB+D 60和NTU-RGB+D 120上使用相同的输入数据，其性能优于最先进的模型。
2020-12-11 cs.CV
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University（启明大学）；Difine
在动作识别中，虽然时空视频和骨架特征的结合可以提高识别性能，但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题，我们提出了时空cRoss（STAR）-Transformer，它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先，从输入的视频和骨架序列，视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌，分别。然后，这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意（FAttn）模块和建议的锯齿形时空注意（ZAttn）模块组成。类似地，连续解码器由FAttn模块和建议的二进制时空注意力（BAttn）模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明，该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
Xidian University（西安电子科技大学）
在基于机器人的动作识别任务中，捕捉关节之间的依赖关系是至关重要的。Transformer在模拟重要节理的相关性方面显示出巨大的潜力。然而，现有的基于变换器的方法不能捕获帧之间的不同关节的相关性，该相关性是非常有用的，因为相邻帧之间的不同身体部位（例如“跳远”中的手臂和腿）一起移动。针对这一问题，提出了一种新的时空元组Transformer（STTFormer）方法。将骨架序列分成若干部分，并对每个部分中包含的若干连续帧进行编码。在此基础上，提出了一种时空元组自注意模型，用于捕捉连续帧中不同关节之间的关系。此外，在非相邻帧之间引入特征聚合模块，以增强区分相似动作的能力。与现有的方法相比，该方法在两个大规模数据集上取得了更好的性能。
2022-01-08 cs.AI cs.CV
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；TransGP；Texas A&M University（德克萨斯农工大学）
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务，因为自遮挡和模糊性。为了解决遮挡和模糊性，我们开发了一个基于变换的框架，利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性，我们建立了一个网络层次结构与两个级联的Transformer编码器，其中第一个利用短期的时间线索的手势估计，后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果，即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近，基于变压器的架构设计已被广泛探索的视频任务，由于他们的能力，以捕捉长期依赖的输入序列。然而，我们发现，这些视频Transformers仍然偏向于学习空间动态，而不是时间的，和去偏的虚假相关性是至关重要的，他们的性能。基于观察结果，我们为视频模型设计了简单而有效的自监督任务，以更好地学习时间动态。具体来说，为了消除空间偏差，我们的方法学习视频帧的时间顺序作为额外的自我监督，并强制随机混洗帧具有低置信度输出。此外，我们的方法学习连续帧之间的视频令牌的时间流向，以增强对时间动态的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG
Two-Stream temporal transformer for video action classification
Department of Computer Science, University of York, York YO10 5GH, UK（约克大学计算机科学系）
本文提出双流时间转换器模型，通过提取时空信息和光流特征，实现视频动作的高效分类。
2026-01-20 cs.AI cs.CV cs.LG
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology（高等技术研究生院）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；University of Isfahan（伊斯法罕大学）
在基于视觉的动作识别中，来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而，在基于深度的方法中，存在诸如预先计算的运动特征、三维（3D）滤波器和递归神经网络（RNN）之类的有限方法来对运动信息进行建模。最近，Transformers在自然语言处理（NLP）任务中成功地建模了长距离依赖关系，这引起了其他领域的极大关注;包括语音，图像和视频，完全依赖于自我注意力，而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的，在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法，使用Transformers的时间建模，讨论其主要特点，使用的方式，并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
STAA: Spatio-Temporal Attention Attribution for Real-Time Interpreting Transformer-based Video Models
针对现有视频可解释AI方法仅能提供单维解释、计算复杂度高的问题，本文提出STAA方法，从Transformer注意力值同时获取时空解释，经优化后信噪比更高，计算开销不足传统方法3%，可用于实时视频分析。
2024-11-01 cs.AI cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University（查尔斯特大学）；University of Western Austrlia（西澳大学）
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中，人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上，同时突出了流行的趋势，适应Transformers的动作识别。由于它们的特殊应用，我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类，基于其架构，模态和预期目标的行动Transformers。在动作Transformers的上下文中，我们探讨了时空数据编码，降维，帧补丁和时空立方体的建设，以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化，以处理较长的序列，通常通过减少在一个单一的注意力操作的令牌的数量。此外，我们还研究了不同的网络学习策略，如自监督和零样本学习，以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后，它提供了一个讨论的挑战，前景，和未来的途径，这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术，但通常缺乏真实世界的效率评估。在这项工作中，我们填补了这一空白，并调查使用Transformers进行有效的动作识别。我们提出了一种新的，轻量级的动作识别架构，VideoLightFormer。以因子分解的方式，我们使用Transformers仔细扩展了2D卷积时间段网络，同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一，在那里他们要么应用巨大的Transformers的视频功能，或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同，保持Transformer模型小，但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2（SSV 2）数据集上对VideoLightFormer进行了高效率的评估，发现除了SSV 2上的Temporal Shift Module之外，它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
Activity Graph Transformer for Temporal Action Localization
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI
我们引入活动图Transformer，一个端到端的可学习模型的时间动作本地化，接收视频作为输入，并直接预测一组出现在视频中的动作实例。检测和定位未修剪视频中的动作实例需要对视频中的多个动作实例进行推理。在文献中的主导范例处理视频时间要么提出行动区或直接产生帧级检测。然而，当动作实例具有非顺序依赖性和/或非线性时间排序（诸如重叠动作实例或动作实例在视频过程中的重新出现）时，视频的顺序处理是有问题的。在这项工作中，我们捕捉这种非线性的时间结构的推理的视频作为非连续的实体的形式的图形。我们在具有挑战性的数据集上评估了我们的模型：THUMOS 14，Charades和EPIC-Kitchen-100。我们的研究结果表明，我们提出的模型优于国家的最先进的一个相当大的保证金。
2021-01-28 cs.AI cs.CV
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology（北京智能信息技术实验室）；Beijing Institute of Technology（北京理工大学）
视频中的语义驱动的动作定位是一项具有挑战性的任务，不仅涉及视觉语言匹配，而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展，但是估计精确的边界仍然没有得到充分的探索。在本文中，我们提出了实体感知和运动感知的Transformers，逐步本地化的行动，在视频中的第一个粗略定位剪辑与实体查询，然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中，以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化，以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明，该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
STEP CATFormer: Spatial-Temporal Effective Body-Part Cross Attention Transformer for Skeleton-based Action Recognition
Chubu University（中部大学）
本文提出 STEP CATFormer，通过改进 CTR-GCN、身体部位交叉注意力和时间注意力 Transformer 建模骨骼拓扑及时空关系，在 NTU RGB+D 系列基准上取得高性能。
2023-12-06 cs.AI cs.CV cs.LG
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group（阿里巴巴集团）
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征，难以解决外观变形问题。在本文中，我们观察到的时间信息是很重要的，以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言，在Transformer编码器中，提出了一种时空联合的多尺度可变形注意力模型，动态地融合时空信息，获得丰富的时空特征。在Transformer解码器中，我们引入了一个时间自关注模块，以增强帧级的框查询与时间的关系。此外，TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此，可以减少由视觉相似实例引起的跟踪误差。实验结果表明，TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示，并优于最先进的方法。
2023-01-20 cs.CV
Eventful Transformers: Leveraging Temporal Redundancy in Vision Transformers
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对视觉Transformer用于视频识别时计算成本高的问题，提出Eventful Transformers，仅重处理随时间显著变化的token，可从现有模型转换且无需重训练，在两个基准数据集上实现2-4倍计算节省，准确率下降极小。
2023-08-25 cs.CV
GroupFormer: Group Activity Recognition with Clustered Spatial-Temporal Transformer
The Hong Kong Polytechnic University（香港理工大学）；Sensetime Research（商汤科技研究院）
群体活动识别是一个关键而又具有挑战性的问题，其核心在于充分挖掘个体之间的时空交互，并生成合理的群体表征。然而，以前的方法要么模型的空间和时间的信息分开，或直接聚合单个功能，形成组功能。为了解决这些问题，我们提出了一种新的群体活动识别网络，称为GroupFormer。它捕获的时空上下文信息联合增强个人和群体表示有效地与聚类时空Transformer。具体来说，我们的GroupFormer有三个吸引人的优点：（1）一个定制的修改Transformer，空间-时间的transformer Transformer，提出了加强个人表示和组表示。(2)该模型对时空依赖关系进行了统一建模，并利用解码器在时空信息之间架起了桥梁。(3)一个集群的注意力机制被用来动态地将个人分为多个集群，以更好地学习活动感知的语义表示。此外，实验结果表明，该框架优于国家的最先进的方法排球数据集和集体活动数据集。代码可在https://github.com/xueyee/GroupFormer上获得。
2021-08-28 cs.CV
Adaptive Multi-view and Temporal Fusing Transformer for 3D Human Pose Estimation
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出了一种统一的框架称为多视图和时间融合Transformer（MTF-Transformer），以适应不同的视图数和视频长度，而无需摄像机校准的三维人体姿态估计（HPE）。它由特征提取器、多视图融合Transformer（MFT）和时间融合Transformer（TFT）组成。特征提取器从每个图像中估计2D姿态，并根据置信度融合预测。它提供了以姿势为中心的特征嵌入，并使后续模块在计算上轻量化。MFT融合了不同数量的视图与一个新的相对注意力块的功能。它自适应地测量每对视图之间的隐式相对关系，并重建更多的信息特征。TFT聚合整个序列的特征并通过Transformer预测3D姿态。它自适应地处理任意长度的视频，并充分利用时间信息。Transformers的迁移使我们的模型能够更好地学习空间几何，并为不同的应用场景保持鲁棒性。我们报告了Human3.6M、TotalCapture和KTH Multiview Football II的定量和定性结果。与相机参数的最先进的方法相比，MTF变压器获得了有竞争力的结果，并推广到动态捕捉与任意数量的不可见的意见。
2022-07-04 cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group（蚂蚁集团）
随着自动驾驶技术的飞速发展，野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild（VSPW）包含修剪良好的长时间，密集注释和高分辨率剪辑。在VSPW的基础上，设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能，可以保持空间信息。同时，采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外，一个时间上下文模块被设计来利用帧间上下文信息。最后，所提出的方法可以实现49.85\%的平均交集超过并集（mIoU）的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
Temporally Efficient Vision Transformer for Video Instance Segmentation
Huazhong University of Science & Technology（华中科技大学）；Tencent（腾讯）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
最近，视觉Transformer在图像级视觉识别任务上取得了巨大的成功。为了有效和高效地建模视频片段中的关键时间信息，我们提出了一个时间有效的视觉Transformer（TeViT）的视频实例分割（VIS）。与以往的基于transformer的VIS方法不同，TeViT包含一个Transformer主干和一个基于查询的视频实例分割头，几乎不需要卷积。在骨干阶段，我们提出了一个几乎无参数的信使转移机制的早期时间上下文融合。在头阶段，我们提出了一个参数共享的时空查询交互机制，建立视频实例和查询之间的一一对应关系。因此，TeViT充分利用帧级和实例级的时间上下文信息，并获得强大的时间建模能力，可以忽略不计的额外计算成本。基于三个广泛采用的VIS基准，即，YouTube-VIS-2019、YouTube-VIS-2021和OVIS，TeViT获得最先进的结果并保持高推理速度，例如，46.6在YouTube-VIS-2019上获得68.9 FPS的AP。代码可在https://github.com/hustvl/TeViT上获得。
2022-04-18 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D（法雷奥研发中心）
我们提出了ST-DETR，一个基于时空变换器的结构，用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列，并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法，早期的空间特征聚集的时间维度，和后期的对象查询空间特征的时间聚集。此外，我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法，我们选择了移动目标检测（MOD）任务，因为它是一个完美的候选人，以展示时间维度的重要性。结果显示，在KITTI MOD数据集上，1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
Video Action Transformer Network
DeepMind（深度思维）；University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍的动作Transformer模型识别和本地化的人的行动，在视频剪辑。我们重新利用变形金刚风格的体系结构来聚合来自我们试图对其行为进行分类的人周围的时空上下文的特征。我们表明，通过使用高分辨率，个人特定的，类不可知的查询，该模型自发地学习跟踪个人，并从其他人的行为中提取语义上下文。此外，它的注意力机制学会强调手和脸，这通常是关键的区别一个行动-所有没有明确的监督，除了框和类标签。我们在Atomic Visual Actions（AVA）数据集上训练和测试我们的Action Transformer网络，仅使用原始RGB帧作为输入，其性能远远优于最先进的网络。
2019-05-17 cs.CV
PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer
Great Bay University（大湾区大学）；University of Oxford（牛津大学）；Xi’an Jiaotong University（西安交通大学）；The University of Hong Kong（香港大学）；University of Oulu（奥卢大学）
远程光电体积描记术（rPPG）的目的是在没有任何接触的情况下从面部视频测量心脏活动和生理信号，其在许多应用中具有巨大的潜力（例如，远程保健和情感计算）。最近的深度学习方法专注于使用具有有限时空感受野的卷积神经网络来挖掘细微的rPPG线索，其忽略了用于rPPG建模的长距离时空感知和交互。在本文中，我们提出了两个端到端的视频Transformer为基础的架构，即PhysFormer和PhysFormer++，自适应聚合本地和全球的时空特征rPPG表示增强。作为PhysFormer中的关键模块，时域差分Transformers首先利用时域差分引导的全局注意力增强准周期rPPG特征，然后针对干扰改进局部时空表示。为了更好地利用时间上下文和周期性rPPG线索，我们还扩展了PhysFormer到基于双通道SlowFast的PhysFormer++，具有时间差周期性和交叉注意Transformers。此外，本文还提出了频域标签分布学习和课程学习启发的动态约束机制，为PhysFormer和PhysFormer++提供了精细的监督机制，减轻了过拟合现象。在四个基准数据集上进行了全面的实验，以显示我们在数据集内和跨数据集测试上的优越性能。与大多数需要从大规模数据集进行预训练的Transformer网络不同，所提出的PhysFormer系列可以在rPPG数据集上从头开始轻松训练，这使得它有望成为rPPG…
2023-02-07 cs.CV
Decoupled Spatial-Temporal Transformer for Video Inpainting
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）；School of CST, Xidian University（西安电子科技大学计算机科学与技术学院）
视频修复的目标是用逼真的外观来填充给定的时空空洞，但即使有繁荣的深度学习方法，这仍然是一项具有挑战性的任务。最近的工作将有前途的Transformer架构引入到深度视频修复中，并取得了更好的性能。然而，它仍然遭受合成模糊的纹理以及巨大的计算成本。为此，我们提出了一种新的解耦时空Transformer（DSTT），以提高视频修复的效率。我们提出的DSTT将时空注意力的学习任务分解为两个子任务：一个是在相同空间位置的不同帧上关注时间对象运动，这是通过时间解耦的Transformer块实现的，另一个是在所有空间位置的相同帧上关注相似的背景纹理，这是通过空间解耦的Transformer块实现的。这两个块的交织堆栈使我们提出的模型更精确地关注背景纹理和移动对象，从而可以传播所关注的合理和时间连贯的外观来填充漏洞。此外，在Transformer块堆栈之前采用分层编码器，用于学习保持多层次局部空间结构的鲁棒和分层特征，从而产生更具代表性的令牌向量。这两种新设计的无缝结合形成了一个更好的时空注意力方案，我们提出的模型实现了更好的性能比最先进的视频修复方法，具有显着提高效率。
2021-04-14 cs.CV
PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer
University of Oulu（奥卢大学）；University of Oxford（牛津大学）；Xi’an Jiaotong University（西安交通大学）；The University of Hong Kong（香港大学）
远程光电体积描记术（rPPG）的目的是在没有任何接触的情况下从面部视频测量心脏活动和生理信号，其在许多应用中具有巨大的潜力（例如，远程保健和情感计算）。最近的深度学习方法专注于使用具有有限时空感受野的卷积神经网络来挖掘细微的rPPG线索，其忽略了用于rPPG建模的长距离时空感知和交互。在本文中，我们提出了PhysFormer，一个端到端的视频Transformer为基础的架构，自适应聚合本地和全球的时空特征rPPG表示增强。作为PhysFormer中的关键模块，时域差分Transformers首先利用时域差分引导的全局注意力增强准周期rPPG特征，然后针对干扰改进局部时空表示。此外，我们还提出了标签分布学习和课程学习启发的频域动态约束，这为PhysFormer提供了详细的监督，并减轻了过拟合。在四个基准数据集上进行了全面的实验，以显示我们在数据集内和跨数据集测试上的优越性能。一个亮点是，与大多数需要从大规模数据集进行预训练的Transformer网络不同，所提出的PhysFormer可以在rPPG数据集上轻松从头开始训练，这使得它有望成为rPPG社区的新型Transformer基线。这些代码将在https://github.com/ZitongYu/PhysFormer上发布。
2022-05-23 cs.CV
End-to-End Video Object Detection with Spatial-Temporal Transformers
Shanghai Jiao Tong University（上海交通大学）；Qingyuan Research Institute, SJTU（上海交通大学清源研究院）；Peking University（北京大学）；Sensetime Research（商汤科技研究院）；UCLA（加州大学洛杉矶分校）
最近，DETR和可变形DETR已经被提出来消除在目标检测中对许多手工设计的组件的需要，同时展示了与先前复杂的手工制作的检测器一样的良好性能。然而，它们在视频目标检测（VOD）上的性能还没有得到很好的研究。在本文中，我们提出了transVOD，一个端到端的视频目标检测模型的基础上的时空Transformer架构。本文的目标是简化VOD的流水线，有效地消除对许多手工制作的组件的需求，例如，光流，递归神经网络，关系网络。此外，得益于DETR中的对象查询设计，我们的方法不需要复杂的后处理方法，如Seq-NMS或Tubelet重新评分，保持管道简单和干净。特别是，我们提出了时间Transformer来聚合空间对象查询和每个帧的特征记忆。我们的时间Transformer由三个组件组成：时间可变形Transformer编码器（TDTE）编码的多帧空间细节，时间查询编码器（TQE）融合对象查询，和时间可变形Transformer解码器获得当前帧检测结果。这些设计在ImageNet VID数据集上显著提高了强基线可变形DETR（3%-4% mAP）。TransVOD在ImageNet VID的基准测试中产生了相当的结果性能。我们希望我们的transVOD可以提供一个新的视角，视频目标检测。代码将在https://github.com/SJTU-LuHe/TransVOD上公开。
2021-05-23 cs.CV
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）
最近，基于变换器的方法已被用于提高人类动作识别的性能。然而，大多数这些研究假设多视图数据是完整的，这可能并不总是在现实世界的情况下。因此，本文提出了一种新的多视图知识蒸馏Transformer（MKDT）框架，由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言，多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明，我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Spatial-temporal Transformer for Affective Behavior Analysis
Institute of Artificial Intelligence（人工智能研究院）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
野外情感行为分析一直是一项重要的研究。在本文中，我们提交了我们的解决方案，第五届研讨会和比赛的情感行为分析在野外（ABAW），其中包括V-A估计，面部表情分类和AU检测子挑战。我们提出了一个具有多头注意力框架的Transformer编码器来学习空间和时间特征的分布。此外，还有多种有效的数据增强策略用于缓解模型训练过程中的样本不平衡问题。实验结果充分证明了基于Aff-Wild 2数据集的模型的有效性。
2023-03-19 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University（凯斯西储大学）；PAII Inc.（平安智能信息有限公司）；Ping An Technology（平安科技）；Duke Kunshan University（昆山杜克大学）
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态（HPE），并且实现了最先进的（SOTA）性能。然而，当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动，不同的关节和身体部位在空间上移动。因此，千篇一律的Transformer是不适应的，并且难以满足“野外”要求。为了解决这个问题，我们提出了分层时空变换器（HSTFormer），以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器（TE）和一个融合模块组成。据我们所知，HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验（即，Human3.6M、MPI-INF-3DHP和HumanEva）证明，HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言，它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA，具有高度通用的系统方法。该代码可从以下网址获得：https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
Temporal-Channel Transformer for 3D Lidar-Based Video Object Detection in Autonomous Driving
The University of Sydney（悉尼大学）；SenseTime Group Limited（商汤集团有限公司）；The University of New South Wales（新南威尔士大学）；The University of Science and Technology of China（中国科学技术大学）
自动驾驶在工业中的强烈需求导致了对3D目标检测的强烈兴趣，并产生了许多优秀的3D目标检测算法。然而，绝大多数算法只对单帧数据建模，忽略了数据序列的时间信息。在这项工作中，我们提出了一个新的Transformer，称为时间通道Transformer，建模的时空域和通道域的关系，从激光雷达数据的视频对象检测。作为该Transformer的特殊设计，在编码器中编码的信息不同于在解码器中编码的信息，即编码器编码多个帧的时间信道信息，而解码器以逐体素的方式解码当前帧的空间信道信息。具体地，Transformer的时间信道编码器被设计为通过利用来自不同信道和帧的特征之间的相关性来对不同信道和帧的信息进行编码。另一方面，Transformer的空间解码器将解码当前帧的每个位置的信息。在利用检测头进行目标检测之前，部署门机制用于重新校准当前帧的特征，该门机制通过随着上采样过程重复地细化目标帧的表示来过滤掉与目标无关的信息。实验结果表明，在nuScenes基准测试平台上，该算法在基于网格体素的3D目标检测中达到了最佳性能。
2020-11-27 cs.CV
Real-time Online Video Detection with Temporal Smoothing Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
流视频识别的原因是对象和他们的行动在每一帧的视频。一个好的流识别模型可以捕获视频的长期动态和短期变化。不幸的是，在大多数现有的方法中，计算复杂性随着所考虑的动态的长度线性或二次地增长。这个问题在基于transformer的架构中尤为突出。为了解决这个问题，我们重新制定的交叉注意在视频Transformer通过内核的镜头，并采用两种时间平滑核：一个盒子核或拉普拉斯核。由此产生的流注意力重用帧与帧之间的大部分计算，并且仅需要每帧恒定的时间更新。基于这个想法，我们构建了TeSTra，一个时间平滑Transformer，它可以接受任意长的输入，并具有恒定的缓存和计算开销。具体来说，它在流设置中运行$6\times$的速度比等效的基于滑动窗口的Transformers快2,048帧。此外，由于时间跨度的增加，TeSTra在THUMOS'14和EPIC-Kitchen-100上实现了最先进的结果，这两个标准的在线动作检测和动作预测数据集。TeSTra的实时的【形】版本在THUMOS'14数据集上的表现优于所有先前的方法，但只有一种方法。
2022-09-19 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
A Spatio-temporal Transformer for 3D Human Motion Prediction
ETH Zürich（苏黎世联邦理工学院）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新型的基于Transformer的体系结构，用于3D人体运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑较短的预测范围，快速达到一个稳定的，往往是难以置信的状态。最近的研究表明，频域中的隐式时间表示也可以有效地预测预定的水平。我们的重点在于学习时空表示自回归，从而产生合理的未来发展在短期和长期。该模型学习骨骼关节的高维嵌入，以及如何通过解耦的时间和空间自注意力机制来组成时间相干的姿势。我们的双注意力概念允许模型直接访问当前和过去的信息，并明确地捕获结构和时间依赖关系。我们的经验表明，这有效地学习了潜在的运动动力学，并减少了自回归模型中观察到的随时间推移的误差积累。我们的模型能够做出准确的短期预测，并在长时间内生成合理的运动序列。我们在https://github.com/eth-ait/motion-transformer上公开发布我们的代码。
2021-11-29 cs.CV
SViTT: Temporal Learning of Sparse Video-Text Transformers
UC San Diego（加州大学圣地亚哥分校）；Intel Labs（英特尔实验室）
针对视频-文本变换器时间推理不足的问题，本文提出稀疏架构SViTT，通过边稀疏和节点稀疏降低多帧推理成本，并在多个检索与问答基准上以更少计算量超越密集变换器。
2023-04-18 cs.CV
Spatial-Temporal Transformer for 3D Point Cloud Sequences
Sun Yat-sen University（中山大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Queen Mary University of London（伦敦玛丽女王大学）；The University of Melbourne（墨尔本大学）
点云序列中时空信息的有效学习对于诸如4D语义分割和3D动作识别的许多下游任务是非常重要的。在本文中，我们提出了一个新的框架命名为点时空Transformer（PST 2）的动态三维点云序列的时空表示学习。我们的PST2由两个主要模块组成：时空自注意（STSA）模块和分辨率嵌入（RE）模块。我们的STSA模块被引入到捕获跨相邻帧的时空上下文信息，而RE模块被提出来聚合跨邻居的特征，以提高特征图的分辨率。我们测试的有效性，我们的PST2与两个不同的任务上的点云序列，即，4D语义分割和3D动作识别。在三个基准测试上的大量实验表明，我们的PST2在所有数据集上都优于现有的方法。我们的STSA和RE模块的有效性也证明了与消融实验。
2021-10-19 cs.CV
