Adaptive Multi-view and Temporal Fusing Transformer for 3D Human Pose Estimation
Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出了一种统一的框架称为多视图和时间融合Transformer(MTF-Transformer),以适应不同的视图数和视频长度,而无需摄像机校准的三维人体姿态估计(HPE)。它由特征提取器、多视图融合Transformer(MFT)和时间融合Transformer(TFT)组成。特征提取器从每个图像中估计2D姿态,并根据置信度融合预测。它提供了以姿势为中心的特征嵌入,并使后续模块在计算上轻量化。MFT融合了不同数量的视图与一个新的相对注意力块的功能。它自适应地测量每对视图之间的隐式相对关系,并重建更多的信息特征。TFT聚合整个序列的特征并通过Transformer预测3D姿态。它自适应地处理任意长度的视频,并充分利用时间信息。Transformers的迁移使我们的模型能够更好地学习空间几何,并为不同的应用场景保持鲁棒性。我们报告了Human3.6M、TotalCapture和KTH Multiview Football II的定量和定性结果。与相机参数的最先进的方法相比,MTF变压器获得了有竞争力的结果,并推广到动态捕捉与任意数量的不可见的意见。
2022-07-04 cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group(蚂蚁集团)
随着自动驾驶技术的飞速发展,野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild(VSPW)包含修剪良好的长时间,密集注释和高分辨率剪辑。在VSPW的基础上,设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能,可以保持空间信息。同时,采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外,一个时间上下文模块被设计来利用帧间上下文信息。最后,所提出的方法可以实现49.85\%的平均交集超过并集(mIoU)的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
Temporally Efficient Vision Transformer for Video Instance Segmentation
Huazhong University of Science & Technology(华中科技大学);Tencent(腾讯);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
最近,视觉Transformer在图像级视觉识别任务上取得了巨大的成功。为了有效和高效地建模视频片段中的关键时间信息,我们提出了一个时间有效的视觉Transformer(TeViT)的视频实例分割(VIS)。与以往的基于transformer的VIS方法不同,TeViT包含一个Transformer主干和一个基于查询的视频实例分割头,几乎不需要卷积。在骨干阶段,我们提出了一个几乎无参数的信使转移机制的早期时间上下文融合。在头阶段,我们提出了一个参数共享的时空查询交互机制,建立视频实例和查询之间的一一对应关系。因此,TeViT充分利用帧级和实例级的时间上下文信息,并获得强大的时间建模能力,可以忽略不计的额外计算成本。基于三个广泛采用的VIS基准,即,YouTube-VIS-2019、YouTube-VIS-2021和OVIS,TeViT获得最先进的结果并保持高推理速度,例如,46.6在YouTube-VIS-2019上获得68.9 FPS的AP。代码可在https://github.com/hustvl/TeViT上获得。
2022-04-18 cs.CV
Temporal Transformer Networks with Self-Supervision for Action Recognition
Information Engineering College, Capital Normal University(首都师范大学信息工程学院);State Key Lab of Software Development Environment, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Computer Vision Perception Department of ZongMu Technology(纵目科技计算机视觉感知部)
近年来,基于二维卷积网络的视频动作识别得到了广泛的应用,但由于缺乏长距离非线性时间关系建模和反向运动信息建模,现有模型的性能受到严重影响。为了解决这个紧迫的问题,我们介绍了一个惊人的时间Transformer网络与自我监督(TTSN)。我们的高性能TTSN主要由一个时间Transformer模块和一个时间序列自我监督模块组成。简单地说,我们利用有效的时间Transformer模块来模拟非局部帧之间的非线性时间依赖关系,这显着增强了复杂的运动特征表示。我们采用的时间序列自我监督模块前所未有地采用了“随机批量随机通道”的精简策略来反转视频帧的序列,允许从反转的时间维度中鲁棒地提取运动信息表示,并提高了模型的泛化能力。在三个广泛使用的数据集(HMDB 51,UCF 101和Something-something V1)上进行的大量实验最终证明了我们提出的TTSN是有前途的,因为它成功地实现了动作识别的最先进性能。
2021-12-17 cs.CV
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在视频对象跟踪中,连续帧之间存在丰富的时间上下文,这在很大程度上被现有的跟踪器所忽视。在这项工作中,我们的桥梁的各个视频帧,并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同,我们将其编码器和解码器分成两个并行分支,并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板,这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧,这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的,并以端到端的方式进行训练。与建议的Transformer,一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合,我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
ST-DETR: Spatio-Temporal Object Traces Attention Detection Transformer
Valeo R&D(法雷奥研发中心)
我们提出了ST-DETR,一个基于时空变换器的结构,用于从时间帧序列中检测目标检测。我们将时间帧视为空间和时间上的序列,并采用完整的注意力机制来利用两个维度上的特征相关性。这种处理使我们能够处理帧序列作为时间对象特征在空间中的每个位置上的轨迹。我们探讨了两种可能的方法,早期的空间特征聚集的时间维度,和后期的对象查询空间特征的时间聚集。此外,我们提出了一种新的时间位置嵌入技术来编码的时间序列信息。为了评估我们的方法,我们选择了移动目标检测(MOD)任务,因为它是一个完美的候选人,以展示时间维度的重要性。结果显示,在KITTI MOD数据集上,1步空间基线的mAP显著改善了5%。
2021-07-24 cs.CV
PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer
Great Bay University(大湾区大学);University of Oxford(牛津大学);Xi’an Jiaotong University(西安交通大学);The University of Hong Kong(香港大学);University of Oulu(奥卢大学)
远程光电体积描记术(rPPG)的目的是在没有任何接触的情况下从面部视频测量心脏活动和生理信号,其在许多应用中具有巨大的潜力(例如,远程保健和情感计算)。最近的深度学习方法专注于使用具有有限时空感受野的卷积神经网络来挖掘细微的rPPG线索,其忽略了用于rPPG建模的长距离时空感知和交互。在本文中,我们提出了两个端到端的视频Transformer为基础的架构,即PhysFormer和PhysFormer++,自适应聚合本地和全球的时空特征rPPG表示增强。作为PhysFormer中的关键模块,时域差分Transformers首先利用时域差分引导的全局注意力增强准周期rPPG特征,然后针对干扰改进局部时空表示。为了更好地利用时间上下文和周期性rPPG线索,我们还扩展了PhysFormer到基于双通道SlowFast的PhysFormer++,具有时间差周期性和交叉注意Transformers。此外,本文还提出了频域标签分布学习和课程学习启发的动态约束机制,为PhysFormer和PhysFormer++提供了精细的监督机制,减轻了过拟合现象。在四个基准数据集上进行了全面的实验,以显示我们在数据集内和跨数据集测试上的优越性能。与大多数需要从大规模数据集进行预训练的Transformer网络不同,所提出的PhysFormer系列可以在rPPG数据集上从头开始轻松训练,这使得它有望成为rPPG…
2023-02-07 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer,通过单一注意力模块集成时空建模并引入多尺度池化融合模块,在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Decoupled Spatial-Temporal Transformer for Video Inpainting
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学);School of CST, Xidian University(西安电子科技大学计算机科学与技术学院)
视频修复的目标是用逼真的外观来填充给定的时空空洞,但即使有繁荣的深度学习方法,这仍然是一项具有挑战性的任务。最近的工作将有前途的Transformer架构引入到深度视频修复中,并取得了更好的性能。然而,它仍然遭受合成模糊的纹理以及巨大的计算成本。为此,我们提出了一种新的解耦时空Transformer(DSTT),以提高视频修复的效率。我们提出的DSTT将时空注意力的学习任务分解为两个子任务:一个是在相同空间位置的不同帧上关注时间对象运动,这是通过时间解耦的Transformer块实现的,另一个是在所有空间位置的相同帧上关注相似的背景纹理,这是通过空间解耦的Transformer块实现的。这两个块的交织堆栈使我们提出的模型更精确地关注背景纹理和移动对象,从而可以传播所关注的合理和时间连贯的外观来填充漏洞。此外,在Transformer块堆栈之前采用分层编码器,用于学习保持多层次局部空间结构的鲁棒和分层特征,从而产生更具代表性的令牌向量。这两种新设计的无缝结合形成了一个更好的时空注意力方案,我们提出的模型实现了更好的性能比最先进的视频修复方法,具有显着提高效率。
2021-04-14 cs.CV
Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
时间动作建议生成(TAPG)是视频理解中一项基本而又具有挑战性的任务,特别是在时间动作检测中。以往的研究主要集中在捕获局部时间上下文,能够很好地定位具有清晰框架和边界的简单动作实例。然而,它们通常在复杂的场景中失败,其中感兴趣的动作涉及不相关的帧和背景杂波,并且局部时间上下文变得不那么有效。为了处理这些问题,我们提出了一个增强的Transformer与自适应图网络(ATAG),利用远程和本地的时间上下文TAPG。具体来说,我们通过增加片段动作性损失和前端模块增强了vanilla Transformer,提高了其捕获长距离依赖关系和学习噪声动作实例鲁棒特征的能力,并提出了一种自适应图卷积网络(GCN),通过挖掘相邻特征之间的位置信息和差异来构建局部时间上下文。这两个模块的特征携带了丰富的视频语义信息,并融合有效的顺序建议生成。在两个具有挑战性的数据集,THUMOS 14和ActivityNet1.3上进行了大量的实验,结果表明,我们的方法优于最先进的TAPG方法。我们的代码将很快发布。
2021-03-30 cs.CV
PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer
University of Oulu(奥卢大学);University of Oxford(牛津大学);Xi’an Jiaotong University(西安交通大学);The University of Hong Kong(香港大学)
远程光电体积描记术(rPPG)的目的是在没有任何接触的情况下从面部视频测量心脏活动和生理信号,其在许多应用中具有巨大的潜力(例如,远程保健和情感计算)。最近的深度学习方法专注于使用具有有限时空感受野的卷积神经网络来挖掘细微的rPPG线索,其忽略了用于rPPG建模的长距离时空感知和交互。在本文中,我们提出了PhysFormer,一个端到端的视频Transformer为基础的架构,自适应聚合本地和全球的时空特征rPPG表示增强。作为PhysFormer中的关键模块,时域差分Transformers首先利用时域差分引导的全局注意力增强准周期rPPG特征,然后针对干扰改进局部时空表示。此外,我们还提出了标签分布学习和课程学习启发的频域动态约束,这为PhysFormer提供了详细的监督,并减轻了过拟合。在四个基准数据集上进行了全面的实验,以显示我们在数据集内和跨数据集测试上的优越性能。一个亮点是,与大多数需要从大规模数据集进行预训练的Transformer网络不同,所提出的PhysFormer可以在rPPG数据集上轻松从头开始训练,这使得它有望成为rPPG社区的新型Transformer基线。这些代码将在https://github.com/ZitongYu/PhysFormer上发布。
2022-05-23 cs.CV
End-to-End Video Object Detection with Spatial-Temporal Transformers
Shanghai Jiao Tong University(上海交通大学);Qingyuan Research Institute, SJTU(上海交通大学清源研究院);Peking University(北京大学);Sensetime Research(商汤科技研究院);UCLA(加州大学洛杉矶分校)
最近,DETR和可变形DETR已经被提出来消除在目标检测中对许多手工设计的组件的需要,同时展示了与先前复杂的手工制作的检测器一样的良好性能。然而,它们在视频目标检测(VOD)上的性能还没有得到很好的研究。在本文中,我们提出了transVOD,一个端到端的视频目标检测模型的基础上的时空Transformer架构。本文的目标是简化VOD的流水线,有效地消除对许多手工制作的组件的需求,例如,光流,递归神经网络,关系网络。此外,得益于DETR中的对象查询设计,我们的方法不需要复杂的后处理方法,如Seq-NMS或Tubelet重新评分,保持管道简单和干净。特别是,我们提出了时间Transformer来聚合空间对象查询和每个帧的特征记忆。我们的时间Transformer由三个组件组成:时间可变形Transformer编码器(TDTE)编码的多帧空间细节,时间查询编码器(TQE)融合对象查询,和时间可变形Transformer解码器获得当前帧检测结果。这些设计在ImageNet VID数据集上显著提高了强基线可变形DETR(3%-4% mAP)。TransVOD在ImageNet VID的基准测试中产生了相当的结果性能。我们希望我们的transVOD可以提供一个新的视角,视频目标检测。代码将在https://github.com/SJTU-LuHe/TransVOD上公开。
2021-05-23 cs.CV
Spatial-temporal Transformer for Affective Behavior Analysis
Institute of Artificial Intelligence(人工智能研究院);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
野外情感行为分析一直是一项重要的研究。在本文中,我们提交了我们的解决方案,第五届研讨会和比赛的情感行为分析在野外(ABAW),其中包括V-A估计,面部表情分类和AU检测子挑战。我们提出了一个具有多头注意力框架的Transformer编码器来学习空间和时间特征的分布。此外,还有多种有效的数据增强策略用于缓解模型训练过程中的样本不平衡问题。实验结果充分证明了基于Aff-Wild 2数据集的模型的有效性。
2023-03-19 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University(凯斯西储大学);PAII Inc.(平安智能信息有限公司);Ping An Technology(平安科技);Duke Kunshan University(昆山杜克大学)
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态(HPE),并且实现了最先进的(SOTA)性能。然而,当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动,不同的关节和身体部位在空间上移动。因此,千篇一律的Transformer是不适应的,并且难以满足“野外”要求。为了解决这个问题,我们提出了分层时空变换器(HSTFormer),以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器(TE)和一个融合模块组成。据我们所知,HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验(即,Human3.6M、MPI-INF-3DHP和HumanEva)证明,HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言,它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA,具有高度通用的系统方法。该代码可从以下网址获得:https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
Temporal-Channel Transformer for 3D Lidar-Based Video Object Detection in Autonomous Driving
The University of Sydney(悉尼大学);SenseTime Group Limited(商汤集团有限公司);The University of New South Wales(新南威尔士大学);The University of Science and Technology of China(中国科学技术大学)
自动驾驶在工业中的强烈需求导致了对3D目标检测的强烈兴趣,并产生了许多优秀的3D目标检测算法。然而,绝大多数算法只对单帧数据建模,忽略了数据序列的时间信息。在这项工作中,我们提出了一个新的Transformer,称为时间通道Transformer,建模的时空域和通道域的关系,从激光雷达数据的视频对象检测。作为该Transformer的特殊设计,在编码器中编码的信息不同于在解码器中编码的信息,即编码器编码多个帧的时间信道信息,而解码器以逐体素的方式解码当前帧的空间信道信息。具体地,Transformer的时间信道编码器被设计为通过利用来自不同信道和帧的特征之间的相关性来对不同信道和帧的信息进行编码。另一方面,Transformer的空间解码器将解码当前帧的每个位置的信息。在利用检测头进行目标检测之前,部署门机制用于重新校准当前帧的特征,该门机制通过随着上采样过程重复地细化目标帧的表示来过滤掉与目标无关的信息。实验结果表明,在nuScenes基准测试平台上,该算法在基于网格体素的3D目标检测中达到了最佳性能。
2020-11-27 cs.CV
Real-time Online Video Detection with Temporal Smoothing Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
流视频识别的原因是对象和他们的行动在每一帧的视频。一个好的流识别模型可以捕获视频的长期动态和短期变化。不幸的是,在大多数现有的方法中,计算复杂性随着所考虑的动态的长度线性或二次地增长。这个问题在基于transformer的架构中尤为突出。为了解决这个问题,我们重新制定的交叉注意在视频Transformer通过内核的镜头,并采用两种时间平滑核:一个盒子核或拉普拉斯核。由此产生的流注意力重用帧与帧之间的大部分计算,并且仅需要每帧恒定的时间更新。基于这个想法,我们构建了TeSTra,一个时间平滑Transformer,它可以接受任意长的输入,并具有恒定的缓存和计算开销。具体来说,它在流设置中运行$6\times$的速度比等效的基于滑动窗口的Transformers快2,048帧。此外,由于时间跨度的增加,TeSTra在THUMOS'14和EPIC-Kitchen-100上实现了最先进的结果,这两个标准的在线动作检测和动作预测数据集。TeSTra的实时的【形】版本在THUMOS'14数据集上的表现优于所有先前的方法,但只有一种方法。
2022-09-19 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast(贝尔法斯特女王大学);Oosto(奥斯特公司)
提出TDViT及其核心模块TDTB,通过分层结构扩展时间感受野并缓解时间冗余,高效解决密集视频任务中的长时序建模问题,在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
A Spatio-temporal Transformer for 3D Human Motion Prediction
ETH Zürich(苏黎世联邦理工学院);Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新型的基于Transformer的体系结构,用于3D人体运动的生成建模任务。以前的工作通常依赖于基于RNN的模型,考虑较短的预测范围,快速达到一个稳定的,往往是难以置信的状态。最近的研究表明,频域中的隐式时间表示也可以有效地预测预定的水平。我们的重点在于学习时空表示自回归,从而产生合理的未来发展在短期和长期。该模型学习骨骼关节的高维嵌入,以及如何通过解耦的时间和空间自注意力机制来组成时间相干的姿势。我们的双注意力概念允许模型直接访问当前和过去的信息,并明确地捕获结构和时间依赖关系。我们的经验表明,这有效地学习了潜在的运动动力学,并减少了自回归模型中观察到的随时间推移的误差积累。我们的模型能够做出准确的短期预测,并在长时间内生成合理的运动序列。我们在https://github.com/eth-ait/motion-transformer上公开发布我们的代码。
2021-11-29 cs.CV
TALLFormer: Temporal Action Localization with a Long-memory Transformer
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
大多数现代的时间动作定位方法将这个问题分为两个部分:(i)短期特征提取和(ii)长期时间边界定位。由于处理长的未修剪的视频导致的高GPU内存成本,许多方法通过冻结主干或使用小的空间视频分辨率来牺牲短期特征提取器的表示能力。这个问题在最近的视频Transformer模型中变得更糟,其中许多模型具有二次内存复杂度。为了解决这些问题,我们提出了TALLFormer,一个具有长期记忆的记忆高效和端到端可训练的时间动作定位Transformer。我们的长期记忆机制消除了在每次训练迭代期间处理数百个冗余视频帧的需要,从而显著减少了GPU内存消耗和训练时间。这些效率节省允许我们(i)使用强大的视频Transformer特征提取器,而不会冻结主干或降低空间视频分辨率,同时(ii)还保持长距离时间边界定位能力。TALLFormer仅使用RGB帧作为输入,没有外部动作识别分类器,其性能大大优于之前的最先进技术,在THUMOS 14上实现了59.1%的平均mAP,在ActivityNet-1.3上实现了35.6%的平均mAP。该代码是公开的:https://github.com/klauscc/TALLFormer。
2022-07-26 cs.CV
Transformer-based Fusion of 2D-pose and Spatio-temporal Embeddings for Distracted Driver Action Recognition
Eindhoven University of Technology(埃因霍温理工大学)
本文提出基于Transformer的融合架构,将2D姿态特征作为位置嵌入、时空特征作为编码器主输入,并结合多视角后处理,提升分心驾驶动作的时序定位与分类精度。
2024-03-11 cs.CV
SViTT: Temporal Learning of Sparse Video-Text Transformers
UC San Diego(加州大学圣地亚哥分校);Intel Labs(英特尔实验室)
针对视频-文本变换器时间推理不足的问题,本文提出稀疏架构SViTT,通过边稀疏和节点稀疏降低多帧推理成本,并在多个检索与问答基准上以更少计算量超越密集变换器。
2023-04-18 cs.CV
Spatial-Temporal Transformer for 3D Point Cloud Sequences
Sun Yat-sen University(中山大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Queen Mary University of London(伦敦玛丽女王大学);The University of Melbourne(墨尔本大学)
点云序列中时空信息的有效学习对于诸如4D语义分割和3D动作识别的许多下游任务是非常重要的。在本文中,我们提出了一个新的框架命名为点时空Transformer(PST 2)的动态三维点云序列的时空表示学习。我们的PST2由两个主要模块组成:时空自注意(STSA)模块和分辨率嵌入(RE)模块。我们的STSA模块被引入到捕获跨相邻帧的时空上下文信息,而RE模块被提出来聚合跨邻居的特征,以提高特征图的分辨率。我们测试的有效性,我们的PST2与两个不同的任务上的点云序列,即,4D语义分割和3D动作识别。在三个基准测试上的大量实验表明,我们的PST2在所有数据集上都优于现有的方法。我们的STSA和RE模块的有效性也证明了与消融实验。
2021-10-19 cs.CV
Efficient Video Transformers with Spatial-Temporal Token Selection
Fudan University(复旦大学);University of Maryland(马里兰大学);BirenTech Research(壁仞科技研究院)
视频Transformers在主要的视频识别基准测试中取得了令人印象深刻的结果,但计算成本很高。在本文中,我们提出了STTS,令牌选择框架,动态地选择一些信息令牌在时间和空间维度的条件下输入视频样本。具体来说,我们将令牌选择制定为排名问题,通过轻量级评分器网络估计每个令牌的重要性,只有那些得分最高的令牌将用于下游评估。在时间维度上,我们保留了与动作类别最相关的帧,而在空间维度上,我们识别了特征图中最具区分力的区域,而不会影响大多数视频Transformers中以分层方式使用的空间上下文。由于令牌选择的决策是不可微的,我们采用基于扰动最大值的可微Top-K算子进行端到端训练。我们主要在Kinetics-400上进行广泛的实验,并使用最近推出的视频Transformer主干MViT。我们的框架实现了类似的结果,同时需要减少20%的计算量。我们还证明了我们的方法是通用的不同的Transformer架构和视频数据集。代码可在https://github.com/wangjk666/STTS上获得。
2022-07-16 cs.CV
STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition
Carnegie Mellon University(卡内基梅隆大学);FAIR, Meta AI(Meta AI FAIR研究院);HKUST (Guangzhou)(香港科技大学(广州));DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
提出时空网格Transformer(STMT)直接对MoCap网格序列建模,通过帧内偏移注意力和帧间自注意力学习非局部关系,并利用掩码顶点建模和未来帧预测进行自监督,在常见MoCap基准上达到SOTA性能。
2024-07-26 cs.CV
Hierarchical Multi-Stage Transformer Architecture for Context-Aware Temporal Action Localization
FAU(弗劳恩霍夫协会)
本文提出分层多阶段Transformer架构PCL-Former,通过三个专用模块分别处理候选片段生成、动作分类与边界定位,在三个基准数据集上超越现有方法。
2025-07-18 cs.CV
Event-based Monocular Dense Depth Estimation with Recurrent Transformers
提供高时间分辨率和高动态范围的事件摄像机为解决常见挑战带来了新的视角(例如,运动模糊和低光深度估计。然而,如何有效地利用稀疏的空间信息和丰富的时间线索,从异步事件仍然是一个具有挑战性的努力。为此,我们提出了一种新的基于事件的单目深度估计与经常性的Transformers器,即EReFormer,这是第一个纯Transformer与递归机制来处理连续的事件流。在空间建模方面,提出了一种基于空间Transformer融合模块的变换器编解码器,具有比基于CNN的方法更好的全局上下文信息建模能力。对于时间建模,我们设计了一个门递归视觉Transformer单元,引入了递归机制到Transformers,提高时间建模能力,同时减轻昂贵的GPU内存成本。实验结果表明,我们的EReFormer在合成和真实世界的数据集上都优于最先进的方法。我们希望我们的工作将吸引进一步的研究,在基于事件的视觉社区中开发出令人惊叹的Transformers。我们的开源代码可以在补充材料中找到。
2022-12-06 cs.CV
Blur-aware Spatio-temporal Sparse Transformer for Video Deblurring
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学)
针对时空 Transformer 窗口受限及双向传播受模糊帧光流误差影响的问题,本文提出 BSSTNet,利用模糊图实现稀疏注意力和模糊引导传播,在 GoPro 与 DVD 上达到最优去模糊性能。
2024-06-11 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University(清华大学);Aibee Inc(爱笔智能)
多目标跟踪(MOT)的最新趋势是利用深度学习来提高跟踪性能。在本文中,我们提出了一种新的解决方案命名为transSTAM,它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成:(1)编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;(2)解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点:(1)它完全基于编码器-解码器架构,具有紧凑的网络设计,因此计算效率高;(2)它可以在一个模型中有效地学习时空和外观特征,从而实现更好的跟踪精度。所提出的方法在包括MOT 16,MOT 17和MOT 20在内的多个公共基准上进行了评估,并且相对于所有基准上的先前最先进的方法,它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition
University of St Andrews(圣安德鲁斯大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
由于微表情是自发的,因此即使试图隐藏它们,它也有助于推断一个人的真实情绪。由于微表情持续时间短、强度低,其识别一直是情感计算中的一个难点。基于手工制作的时空特征的早期工作显示出了一些希望,最近被不同的深度学习方法所取代,这些方法现在竞争最先进的性能。然而,捕获局部和全局时空模式的问题仍然具有挑战性。为此,我们在此提出了一种新的时空Transformer架构--据我们所知,这是第一种纯粹基于Transformer的微表情识别方法(即不使用任何卷积网络)。该架构包括一个学习空间模式的空间编码器,一个时间维度分析的时间聚合器,和一个分类头。对三个广泛使用的自发微表情数据集,即SMIC-HS,CASME II和SAMM的综合评估表明,所提出的方法始终优于现有技术,并且是微表情识别的已发表文献中的第一个框架,以实现未加权F1分数大于0.9的任何上述数据集。
2022-11-23 cs.CV
CrossFormer: Cross Spatio-Temporal Transformer for 3D Human Pose Estimation
Canberra University(堪培拉大学);CSIRO(联邦科学与工业研究组织);The University of Western Australia(西澳大利亚大学)
三维人体姿态估计可以通过编码身体部位之间的几何依赖关系和强制执行运动学约束来处理。最近,Transformer已被采用来编码空间和时间域中关节之间的长程依赖关系。虽然它们在长距离依赖性方面表现出色,但研究指出需要改进视觉Transformer的局部性。在这个方向上,我们提出了一种新颖的姿态估计Transformer,其特征在于对捕获跨帧的细微变化至关重要的身体关节的丰富表示(即,特征间表示)。具体而言,通过两个新的交互模块;跨关节交互和跨帧交互,该模型显式编码的局部和全局的身体关节之间的依赖关系。所提出的架构在两个流行的3D人体姿态估计数据集Human3.6和MPI-INF-3DHP上实现了最先进的性能。特别是,我们提出的CrossFormer方法分别使用检测到的2D姿势和地面实况设置,与最接近的对应物PoseFormer相比,性能提高了0.9%和0.3%。
2022-03-24 cs.CV
RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution
University of Texas, Austin(德克萨斯大学奥斯汀分校);Microsoft(微软)
空时视频超分辨率(STVSR)是对具有低帧速率(LFR)和低分辨率(LR)的视频进行内插以产生高帧率(HFR)和高分辨率(HR)对应物的任务。现有的基于卷积神经网络(CNN)的方法虽然取得了令人满意的效果,但由于其庞大的结构,推理速度较慢。我们建议通过使用时空Transformer来解决这个问题,该时空transformer自然地将空间和时间超分辨率模块合并到单个模型中。与基于CNN的方法不同,我们没有明确使用单独的构建块进行时间插值和空间超分辨率;相反,我们只使用单个端到端Transformer架构。具体地,编码器基于输入的LFR和LR帧构建可重复使用的字典,然后在解码器部分中利用该字典来合成HFR和HR帧。与最先进的TMNet \cite{xu2021temporal}相比,我们的网络是$60\%$更小(4.5M对12.3M参数)和$80\%$更快(26.2fps对14.3fps的$720\times576$帧),而不牺牲太多的性能。源代码可在https://github.com/llmpass/RSTT上获得。
2022-03-27 cs.CV
Multi-Scale Temporal Difference Transformer for Video-Text Retrieval
University of Electronic Science and Technology of China(电子科技大学);WXG Tencent(腾讯微信事业群)
针对视频-文本检索中传统transformer局部时序建模能力不足的问题,提出融合帧差分特征、结合长短时序建模的多尺度时序差分Transformer,搭配新损失函数实现了SOTA性能。
2024-06-23 cs.AI cs.CV
TEDi: Temporal Memory-Enhanced and Denoising Transformer for Surgical Instrument Segmentation
Tsinghua University(清华大学)
本文提出TEDi,一种时间记忆增强与去噪Transformer,通过记忆搜索增强和时间一致性去噪解决手术器械分割中查询表示不稳定问题,在EndoVis 2017和2018上超越现有方法。
2026-09-16 cs.CV
MSSTNet: A Multi-Scale Spatio-Temporal CNN-Transformer Network for Dynamic Facial Expression Recognition
Tokushima University(德岛大学);Graduate School of Technology, Industrial and Social Sciences(技术、产业与社会科学研究院)
针对动态面部表情识别依赖面部肌肉局部变化的特点,提出多尺度时空CNN-Transformer网络MSSTNet,通过多尺度嵌入层与时序Transformer生成多尺度时空特征,在两个真实场景数据集上取得当前最优结果。
2024-04-12 cs.CV
An Efficient Spatio-Temporal Pyramid Transformer for Action Detection
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);RMIT University(皇家墨尔本理工大学)
动作检测的任务旨在推导出动作类别和定位的开始和结束时刻为每个动作实例在一个长的,未经修剪的视频。虽然视觉Transformer已经推动了视频理解的最新进展,但由于长视频片段序列上的极其昂贵的自我关注,设计用于动作检测的有效架构并非易事。为此,我们提出了一个有效的分层时空金字塔Transformer(STPT)的动作检测,建立在这样一个事实,即早期的自我注意层的Transformers仍然集中在本地模式。具体来说,我们建议使用本地窗口注意编码丰富的本地时空表示在早期阶段,而应用全局注意模块捕捉长期的时空依赖性在后期阶段。通过这种方式,我们的STPT可以编码本地性和依赖性,大大减少了冗余,提供了一个有前途的准确性和效率之间的权衡。例如,仅使用RGB输入,所提出的STPT在THUMOS 14上实现了53.6%的mAP,超过了I3D+AFSD RGB模型10%以上,并且与使用额外流特征的最先进AFSD相比表现良好,GFLOP减少了31%,这是一种有效且高效的端到端基于Transformer的动作检测框架。
2022-07-21 cs.CV
CEMFormer: Learning to Predict Driver Intentions from In-Cabin and External Cameras via Spatial-Temporal Transformers
Purdue University(普渡大学);New York University(纽约大学);Toyota Motor North America(丰田汽车北美公司)
本文提出CEMFormer框架,利用时空Transformer融合车内与外部摄像头信息及情景记忆,并引入情境一致性损失,在Brain4Cars数据集上实现更优的驾驶员意图预测。
2023-05-13 cs.CV
Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping
Arizona State University(亚利桑那州立大学)
许多时间序列分类问题涉及开发对时间错位不变的度量。在人体活动分析中,由于各种原因,包括不同的初始相位,传感器采样率,和弹性时间扭曲,由于受试者特定的生物力学的时间错位出现。过去在这方面的工作只着眼于通过弹性时间对齐来减少类内变异。在本文中,我们提出了一种基于模型和数据驱动的混合方法来学习扭曲函数,不仅减少了类内变异,而且增加了类间分离。我们称之为时间Transformer网络(TTN)。TTN是一个可解释的可微分模块,可以很容易地集成在分类网络的前端。该模块能够通过生成导致速率鲁棒表示的依赖于输入的扭曲函数来减少类内方差。同时,它通过学习更具区分力的扭曲函数来增加类间方差。我们使用所提出的框架在具有挑战性的数据集上的3D动作识别中显示了强基线的改进。当训练集较小时,这种改进尤其明显。
2019-06-13 cs.CV
Mumpy: Multilateral Temporal-view Pyramid Transformer for Video Inpainting Detection
Ocean University of China(中国海洋大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Leicester(莱斯特大学)
本文提出MumPy,一种多边时间视图金字塔Transformer,通过新设计的编码器、可变形窗口交互模块和多金字塔解码器灵活协作时空线索,有效识别视频修复区域,并在领域内和跨域评估中表现优越。
2024-08-29 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模,而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题,而不使用任何建议或预定义的锚。使用编码器-解码器Transformer,对象的预测仅使用简单的全卷积网络,直接估计对象的角点。整个方法是端到端的,不需要任何后处理步骤,如余弦窗口和限界框平滑,从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能,同时以实时速度运行,比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer
University of Delaware(特拉华大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);University of Connecticut(康涅狄格大学);University of Oklahoma(俄克拉荷马大学);Mississippi State University(密西西比州立大学);Louisiana State University(路易斯安那州立大学);LSU AgCenter(路易斯安那州立大学农业中心);Tulane University(杜兰大学)
本文提出MMST-ViT模型,结合多模态、空间和时间Transformer以及多模态对比学习预训练,利用卫星图像与气象数据同时建模短期天气变化和长期气候变化对作物产量的影响,并在美国200多个县上验证了其优越性能。
2023-09-19 cs.CV
Action Quality Assessment with Temporal Parsing Transformer
Durham University(杜伦大学);Shanghai AI Laboratory(上海人工智能实验室);University of Warwick(华威大学);Baidu Inc.(百度公司)
动作质量评估(AQA)对于动作理解和解决任务非常重要,由于细微的视觉差异,任务提出了独特的挑战。现有的最先进的方法通常依赖于整体视频表示的分数回归或排名,这限制了泛化以捕获细粒度的类内变化。为了克服上述限制,我们提出了一个时间解析Transformer分解的整体功能到时间部分级表示。具体来说,我们利用一组可学习的查询来表示特定操作的原子时间模式。我们的解码过程将帧表示转换为固定数量的时间排序的部分表示。为了获得质量分数,我们采用了最先进的对比回归的基础上的部分表示。由于现有的AQA数据集不提供时间部分级别的标签或分区,我们提出了两个新的损失函数的交叉注意响应的解码器:排名损失,以确保可学习的查询,以满足时间顺序的交叉注意和稀疏损失,以鼓励部分表示更具歧视性。大量的实验表明,我们提出的方法优于以前的工作在三个公共AQA基准相当大的利润。
2022-07-19 cs.CV
Video Instance Segmentation via Multi-scale Spatio-temporal Split Attention Transformer
Linköping University(林雪平大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Tianjin University(天津大学)
基于变换的视频实例分割(VIS)方法通常在注意力计算期间利用单尺度时空特征或每帧多尺度特征。我们认为,这样的注意力计算忽略了多尺度时空特征关系,这对解决视频中的目标外观变形至关重要。为了解决这个问题,我们提出了一个基于变换的VIS框架,名为MS-STS VIS,它包括一个新的多尺度时空分割(MS-STS)注意模块的编码器。建议的MS-STS模块有效地捕捉时空特征的关系,在多个尺度跨帧的视频。我们进一步在解码器中引入注意块,以增强视频的不同帧中检测到的实例的时间一致性。此外,在训练过程中引入了一个辅助训练器,以确保在多尺度时空特征空间内具有更好的前景-背景可分性。我们在两个基准上进行了广泛的实验:Youtube-VIS(2019年和2021年)。我们的MS-STS VIS在这两项基准测试中都达到了最先进的性能。当使用ResNet 50主干时,我们的MS-STS实现了50.1%的掩码AP,在AP_75的较高重叠阈值下,比文献中报告的最佳结果高出2.7%和4.8%,同时在Youtube-VIS 2019 val上的模型大小和速度相当。集当使用Swin Transformer主干时,MS-STS VIS在Youtube-VIS 2019 val上实现了61.0%的掩码AP。集我们的代码和模型可在https://github.com/OmkarThawakar/MSSTS-VIS上找到。
2022-03-24 cs.CV
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
Transformer网络在对长距离上下文信息进行建模方面是有效的,并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成(TAPG)任务分为两个主要的子任务:边界预测和建议置信度预测,它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系,本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer,它由边界Transformer和建议Transformer组成。具体而言,边界Transformer捕获长期的时间依赖性以预测精确的边界信息,并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验,结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器,我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
Spatial Temporal Transformer Network for Skeleton-based Action Recognition
Politecnico di Milano(米兰理工大学)
基于骨骼的人体动作识别近年来受到了广泛的关注,因为骨骼数据已经被证明对光照变化、身体尺度、动态相机视图和复杂背景具有鲁棒性。然而,潜在的信息的有效编码的3D骨架仍然是一个悬而未决的问题。在这项工作中,我们提出了一种新的时空Transformer网络(ST-TR)模型之间的依赖关系的关节使用Transformer自注意力运营商。在我们的ST-TR模型中,空间自我注意模块(SSA)用于理解不同身体部位之间的帧内交互,时间自我注意模块(TSA)用于对帧间相关性进行建模。这两种技术组合在一个双流网络中,在NTU-RGB+D 60和NTU-RGB+D 120上使用相同的输入数据,其性能优于最先进的模型。
2020-12-11 cs.CV
TransVOD: End-to-End Video Object Detection with Spatial-Temporal Transformers
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);JD Explore Academy(京东探索研究院);SenseTime Research(商汤科技研究院)
检测Transformer(DETR)和可变形DETR已经被提出来消除在目标检测中对许多手工设计的组件的需要,同时展示了与先前复杂的手工制作的检测器一样的良好性能。然而,它们在视频目标检测(VOD)上的性能还没有得到很好的研究。在本文中,我们提出了transVOD,第一个端到端的视频目标检测系统的基础上时空Transformer架构。本文的第一个目标是简化VOD的管道,有效地消除了对许多手工制作的组件的需求,例如,光流模型、关系网络。此外,得益于DETR的对象查询设计,我们的方法不需要复杂的后处理方法,如Seq-NMS。特别是,我们提出了一个时间Transformer聚合空间对象查询和每帧的特征记忆。我们的时间Transformer由两个组件组成:时间查询编码器(TQE)融合对象查询,和时间变形Transformer解码器(TDTD),以获得当前帧检测结果。这些设计在ImageNet VID数据集上显著提高了强基线可变形DETR(3%-4% mAP)。然后,我们提出了两个改进的版本的transVOD,包括transVOD++和transVOD精简版。前者通过动态卷积将对象级信息融合到对象查询中,而后者将整个视频片段建模为输出,以加快推理时间。在实验部分,我们对这三种模型进行了详细的分析。特别是,我们提出的TransVOD++在ImageNet VID的准确性方面创下了新的最先进记录…
2022-11-22 cs.CV
PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training
University of Oulu(奥卢大学);Center for Machine Vision and Signal Analysis (CMVS)(机器视觉与信号分析中心)
提出首个长时空图rPPG Transformer网络PhySU-Net及自监督预训练策略,利用传统方法和图像掩码生成伪标签,在OBF和VIPL-HR数据集上表现优越,有效缓解数据稀缺问题。
2024-02-19 cs.CV
Spatial-Temporal Transformer for Dynamic Scene Graph Generation
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Twente(特文特大学)
动态场景图生成的目的是生成给定视频的场景图。与从图像生成场景图的任务相比,它更具挑战性,因为对象之间的动态关系和帧之间的时间依赖性允许更丰富的语义解释。在本文中,我们提出了时空Transformer(STTran),一个神经网络,它由两个核心模块组成:(1)一个空间编码器,它需要一个输入帧来提取空间上下文和原因的视觉关系的帧内,和(2)一个时间解码器,它需要的空间编码器的输出作为输入,以捕捉帧之间的时间依赖性,并推断动态关系。此外,STTran可以灵活地将不同长度的视频作为输入而无需剪切,这对于长视频尤其重要。我们的方法在基准数据集Action Genome(AG)上进行了验证。实验结果表明,我们的方法在动态场景图方面的优越性能。此外,进行了一组烧蚀研究,并证明了每个模块的效果。代码可在:https://github.com/yrcong/STTran获得。
2021-08-08 cs.CV
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University(启明大学);Difine
在动作识别中,虽然时空视频和骨架特征的结合可以提高识别性能,但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题,我们提出了时空cRoss(STAR)-Transformer,它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先,从输入的视频和骨架序列,视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌,分别。然后,这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意(FAttn)模块和建议的锯齿形时空注意(ZAttn)模块组成。类似地,连续解码器由FAttn模块和建议的二进制时空注意力(BAttn)模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明,该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出图与跳跃Transformer架构G-SFormer,通过粗粒度空间图网络和跳跃Transformer高效建模时空特征,以约10%参数量在多个3D人体姿态估计基准上超越现有方法并增强鲁棒性。
2024-07-03 cs.CV
Beyond Appearance: Transformer-based Person Identification from Conversational Dynamics
Department of Computational Linguistics, University of Zurich, Zurich, Switzerland(计算语言学系,苏黎世大学,苏黎世,瑞士)
该研究针对自然面对面对话场景的人物识别问题,提出基于COCO WholeBody关键点的双流Transformer框架,经实验验证领域特定训练及特征融合可实现98.03%的高准确率,为相关研究提供参考。
2025-10-06 cs.CV
HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers
Korea University(高丽大学)
时间动作定位(TAL)是识别视频中的一组动作的任务,其涉及定位开始和结束帧并对每个动作实例进行分类。现有的方法已经解决了这个任务,通过使用预定义的锚窗口或启发式自底向上的边界匹配策略,这是推理时间的主要瓶颈。此外,主要挑战是由于缺乏全局上下文信息而无法捕获长期动作。在本文中,我们提出了一种新的无锚框架,被称为HTNet,预测一组<开始时间,结束时间,类>三元组从视频的基础上Transformer架构。粗边界的预测后,我们通过一个背景特征采样(BFS)模块和分层Transformers,这使我们的模型,以聚合全局上下文信息,并有效地利用视频中的内在语义关系,细化它。我们展示了我们的方法如何定位准确的动作实例,并在两个TAL基准数据集上实现最先进的性能:THUMOS 14和ActivityNet 1.3。
2022-07-21 cs.CV
Disambiguating Monocular Reconstruction of 3D Clothed Human with Spatial-Temporal Transformer
本文提出时空Transformer(STT)网络,通过空间Transformer提取全局信息改善背部法向图预测,并利用时间Transformer融合相邻帧特征,有效解决单目3D着装人体重建中的视角不可见和局部歧义问题,在多个数据集上优于现有方法。
2024-10-21 cs.CV
Temporal Segment Transformer for Action Segmentation
ShanghaiTech University(上海科技大学);Baidu Inc(百度公司);Shanghai AI Laboratory(上海人工智能实验室);Durham University(杜伦大学)
从未修剪的视频中识别人类动作是活动理解中的一项重要任务,并且在建模长距离时间关系方面提出了独特的挑战。最近的作品采用了预测和细化策略,将初始预测转换为全局上下文建模的动作片段。然而,生成的段表示通常是嘈杂的,并表现出不准确的段边界,过度分割和其他问题。为了解决这些问题,我们提出了一种基于注意力的方法,我们称之为\textit{temporal segment transformer},联合段关系建模和去噪。其主要思想是使用段和帧表示之间的注意力来对段表示进行降噪,并且还使用段间注意力来捕获段之间的时间相关性。细化的片段表示用于预测动作标签和调整片段边界,并且基于来自片段掩码的投票产生最终动作分割。我们表明,这种新颖的架构达到了最先进的精度流行的50Salads,GTEA和早餐基准。我们还进行了广泛的消融,以证明我们设计的不同组件的有效性。
2023-02-25 cs.CV