Activity Graph Transformer for Temporal Action Localization
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
我们引入活动图Transformer,一个端到端的可学习模型的时间动作本地化,接收视频作为输入,并直接预测一组出现在视频中的动作实例。检测和定位未修剪视频中的动作实例需要对视频中的多个动作实例进行推理。在文献中的主导范例处理视频时间要么提出行动区或直接产生帧级检测。然而,当动作实例具有非顺序依赖性和/或非线性时间排序(诸如重叠动作实例或动作实例在视频过程中的重新出现)时,视频的顺序处理是有问题的。在这项工作中,我们捕捉这种非线性的时间结构的推理的视频作为非连续的实体的形式的图形。我们在具有挑战性的数据集上评估了我们的模型:THUMOS 14,Charades和EPIC-Kitchen-100。我们的研究结果表明,我们提出的模型优于国家的最先进的一个相当大的保证金。
2021-01-28 cs.AI cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University(中央昆士兰大学)
本文提出Dark Transformer,通过视频Transformer的时空自注意力机制学习跨域知识,在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon(亚马逊);University of South Florida(南佛罗里达大学)
虽然视频动作识别多年来一直是一个活跃的研究领域,但zero-shot动作识别直到最近才开始获得关注。在这项工作中,我们提出了一种新的端到端训练的Transformer模型,该模型能够有效地捕获长距离时空依赖性,与使用3D-CNN的现有方法相反。此外,为了解决一个常见的模糊性,在现有的作品类,可以被认为是以前看不见的,我们提出了一个新的实验设置,满足零样本学习的前提下,通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上,所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得:https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
图卷积网络(GCN)已经成为基于卷积的动作识别的主要方法。然而,他们仍然遭受两个问题,即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计,以解决第一个问题,但他们还没有充分探讨后者。在这项工作中,我们设计了一个解开时空Transformer(DSTT)块,以克服上述限制的GCN在三个步骤:(i)功能解开时空分解;(ii)全球时空关注捕捉相关性在全球范围内;和(iii)本地信息增强利用更多的本地信息。在此基础上,我们提出了一种新的架构,命名为分层图卷积骨架Transformer(HGCT),以利用GCN的互补优势(即,局部拓扑、时间动态和层次)和Transformer(即,全球背景和动态注意力)。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Pose Matters: Evaluating Vision Transformers and CNNs for Human Action Recognition on Small COCO Subsets
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
本研究在COCO三类别子集上 benchmark 人体动作识别模型,发现二分类ViT准确率达90%远超其他模型,且能定位姿态相关区域,证明了Transformer表征的数据效率和可解释性技术的价值。
2025-06-13 cs.AI cs.CV
Two-stage Vision Transformers and Hard Masking offer Robust Object Representations
Inria, EVERGREEN, University of Montpellier(法国国家信息与自动化研究所,EVERGREEN团队,蒙彼利埃大学);INRAE, UMR TETIS, University of Montpellier(法国国家农业、食品与环境研究所,TETIS联合研究单位,蒙彼利埃大学)
本文提出通过两阶段框架和硬掩码策略,解决上下文信息在对象识别中的双重作用问题,提升模型对异常背景和虚假相关性的鲁棒性。
2026-04-01 cs.AI cs.CV
OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers
HUST(华中科技大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了OSFormer,第一个单阶段的Transformer框架,用于分布式实例分割(CIS)。OSFormer基于两个关键设计。首先,我们设计了一个位置感知Transformer(LST),通过引入位置引导查询和混合卷积前馈网络来获得位置标签和实例感知参数。其次,我们开发了一种从粗到细的融合(CFF)来合并来自LST编码器和CNN主干的不同上下文信息。耦合这两个组件使OSFormer能够有效地混合本地特征和远程上下文依赖关系,以预测重复的实例。与两阶段框架相比,我们的OSFormer达到了41%的AP,并且在不需要大量训练数据的情况下实现了良好的收敛效率,即,只有3,040个样本低于60个历元。代码链接:https://github.com/PJLallen/OSFormer.
2022-08-02 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Proximal Vision Transformer: Enhancing Feature Representation through Two-Stage Manifold Geometry
针对ViT局限于单张图像局部关系建模、难以捕捉数据点全局几何关系的问题,提出集成ViT与近端工具的框架,通过切丛构建与近端迭代优化全局特征,在分类精度和数据分布上优于传统ViT。
2025-08-23 cs.AI cs.CV
Holistic Interaction Transformer Network for Action Detection
National Tsing Hua University(国立清华大学);Microsoft AI R&D Center(微软人工智能研发中心)
行动是关于我们如何与环境互动,包括其他人,物体和我们自己。在本文中,我们提出了一种新的多模态整体交互Transformer网络(HIT),利用了在很大程度上被忽视,但关键的手和姿势的信息,大多数人的行动。建议的“HIT”网络是一个全面的双模态框架,包括RGB流和姿势流。它们中的每一个都分别对人、物体和手的交互进行建模。在每个子网络中,引入了一个内部模态聚合模块(IMA),该模块有选择地合并各个交互单元。然后使用注意力融合机制(AFM)将每个模态的结果特征粘合在一起。最后,我们从时间上下文中提取线索,以更好地分类使用缓存内存发生的动作。我们的方法在J-HMDB,UCF 101 -24和MultiSports数据集上的性能明显优于以前的方法。我们在AVA上也取得了有竞争力的成绩。该代码将在https://github.com/joslefaure/HIT上提供。
2022-11-18 cs.AI cs.CV
Video Action Transformer Network
DeepMind(深度思维);University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍的动作Transformer模型识别和本地化的人的行动,在视频剪辑。我们重新利用变形金刚风格的体系结构来聚合来自我们试图对其行为进行分类的人周围的时空上下文的特征。我们表明,通过使用高分辨率,个人特定的,类不可知的查询,该模型自发地学习跟踪个人,并从其他人的行为中提取语义上下文。此外,它的注意力机制学会强调手和脸,这通常是关键的区别一个行动-所有没有明确的监督,除了框和类标签。我们在Atomic Visual Actions(AVA)数据集上训练和测试我们的Action Transformer网络,仅使用原始RGB帧作为输入,其性能远远优于最先进的网络。
2019-05-17 cs.CV
Feature Fusion for Human Activity Recognition using Parameter-Optimized Multi-Stage Graph Convolutional Network and Transformer Models
Khalifa University of Science and Technology(哈利法科学技术大学);Abu Dhabi University(阿布扎比大学)
本研究针对人体行为识别任务,提出结合PO-MS-GCN与Transformer的特征融合方法,在四个公开数据集上验证了其有效性,且PO-MS-GCN性能优于现有最优模型。
2024-06-24 cs.AI cs.CV
Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel Transformer
视频去噪旨在从噪声视频中恢复高质量的帧。虽然大多数现有的方法采用卷积神经网络~(CNN)来从原始视觉内容中分离噪声,但是CNN关注局部信息而忽略了帧中长范围区域之间的相互作用。此外,大多数相关工作直接将基本时空去噪后的输出作为最终结果,导致忽略了细粒度的去噪过程。在本文中,我们提出了一种用于从粗到细的视频去噪的双级空间通道Transformer,它继承了Transformer和CNN的优点。具体地说,DSCT提出了一个渐进的双阶段架构,即一个粗略的水平和精细的水平阶段,分别提取动态特征和静态特征。在这两个阶段,空间信道编码模块被设计为在空间和信道级别上对长距离上下文依赖性进行建模。同时,我们设计了一个多尺度残差结构来保存不同阶段的多个方面的信息,其中包含一个时间特征聚合模块来总结动态表示。在四个公开数据集上的大量实验表明,与现有方法相比,我们提出的方法取得了显着的改进。
2023-01-17 cs.CV
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
CornViT: A Multi-Stage Convolutional Vision Transformer Framework for Hierarchical Corn Kernel Analysis
Kansas State University(堪萨斯州立大学)
CornViT通过多阶段卷积视觉变换器框架实现玉米粒的自动化分级与分析,准确率高达93.76%至94.11%。
2025-12-31 cs.AI cs.CV
Global-local Motion Transformer for Unsupervised Skeleton-based Action Learning
Seoul National University(首尔国立大学);Korea Electronics Technology Institute(韩国电子技术研究院);University of Birmingham(伯明翰大学)
我们提出了一种新的Transformer模型,用于骨骼运动序列的无监督学习任务。现有的Transformer模型用于无监督的基于机器人的动作学习,从相邻帧中学习每个关节的瞬时速度,而没有全局运动信息。因此,该模型在学习全身运动和时间上远离关节的全局注意力方面存在困难。此外,人与人之间的互动也没有被考虑在模型中。为了解决全身运动、长距离时间动态和人与人之间交互的学习问题,我们设计了一个全局和局部注意力机制,其中,全局身体运动和局部关节运动相互注意。此外,我们提出了一种新的预训练策略,多间隔姿势位移预测,在不同的时间范围内学习全局和局部注意力。该模型成功地学习了关节的局部动力学,并从运动序列中捕获全局上下文。我们的模型优于国家的最先进的模型显着的利润率在代表性的基准。代码可在https://github.com/Boeun-Kim/GL-Transformer上获得。
2022-07-13 cs.AI cs.CV
MALT: Multi-scale Action Learning Transformer for Online Action Detection
Southeast University(东南大学);Southeast University Shenzhen Research Institute(东南大学深圳研究院)
针对在线动作检测中多尺度特征提取问题,提出多尺度动作学习Transformer(MALT),通过分层编码器、循环解码器和稀疏注意力帧评分机制,在THUMOS'14和TVSeries数据集上达到最先进性能。
2024-05-31 cs.AI cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield(谢菲尔德大学);Speechmatics
在视频动作识别中,Transformers始终达到最先进的精度。然而,对于硬件资源有限的普通研究人员来说,许多模型过于重量级。在这项工作中,我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率,并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类,并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好,尽管缺乏准确性。同时,仅注意力模型需要更多的运动建模能力,而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论,目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别,并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
STAR: Sparse Transformer-based Action Recognition
University of California Los Angeles(加利福尼亚大学洛杉矶分校);The Pennsylvania State University(宾夕法尼亚州立大学);Stevens Institute of Technology(斯蒂文斯理工学院)
人类行动和行为的认知系统已经发展成为一种深度学习机制,特别是近年来图卷积网络的出现改变了该领域。然而,以前的工作主要集中在基于稠密图卷积网络的过参数化和复杂模型上,导致训练和推理效率低下。与此同时,基于Transformer架构的模型尚未在人类动作和行为估计的认知应用中得到很好的探索。本文提出了一种新的基于小波变换的人体动作识别模型,该模型在空间维度上具有稀疏注意力,在时间维度上具有分段的线性注意力。我们的模型还可以处理分组为单个批次的可变长度的视频剪辑。实验表明,我们的模型可以达到相当的性能,而使用更少的可训练参数,并实现高速度的训练和推理。实验结果表明,与基线模型相比,该模型在具有竞争力的精度下,获得了4~ 18倍的加速比和1/7~1/15的模型大小。
2021-07-15 cs.AI cs.CV
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Two-Stream temporal transformer for video action classification
Department of Computer Science, University of York, York YO10 5GH, UK(约克大学计算机科学系)
本文提出双流时间转换器模型,通过提取时空信息和光流特征,实现视频动作的高效分类。
2026-01-20 cs.AI cs.CV cs.LG
Hierarchical Multi-Stage Transformer Architecture for Context-Aware Temporal Action Localization
FAU(弗劳恩霍夫协会)
本文提出分层多阶段Transformer架构PCL-Former,通过三个专用模块分别处理候选片段生成、动作分类与边界定位,在三个基准数据集上超越现有方法。
2025-07-18 cs.CV
3M-TRANSFORMER: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
本文提出3M-Transformer,一种多阶段多流多模态Transformer架构,利用同步多视角自我中心数据预测多参与者对话中的轮次转换,在EgoCom数据集上平均性能提升14.01%。
2023-12-21 cs.CL cs.CV
Transformer-based Action recognition in hand-object interacting scenarios
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院(UNIST))
本报告介绍了ECCV 2022人体、手和活动(HBHA)的第二名解决方案,该解决方案来自以自我为中心和多视角相机挑战赛:动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架,估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
2022-10-20 cs.CV
ActionFormer: Localizing Moments of Actions with Transformers
Nanjing University(南京大学);Paradigm Inc(第四范式公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
基于自注意力的Transformer模型在图像分类和目标检测方面取得了令人印象深刻的结果,最近在视频理解方面也取得了令人印象深刻的结果。受此成功的启发,我们研究了Transformer网络在视频中的时间动作定位中的应用。为此,我们提出了一个简单而强大的模型来识别动作的时间,并在一个Single Shot识别其类别,而不使用行动建议或依赖于预定义的锚窗口。该算法将多尺度特征表示与局部自注意力相结合,并使用轻量级解码器对每个时刻进行分类,并估计相应的动作边界。我们表明,这种精心策划的设计结果在以前的作品的重大改进。在没有额外功能的情况下,在THUMOS 14上,TIOU=0.5时,TIOFormer实现了71.0%的mAP,比最佳先验模型高出14.1个绝对百分点。此外,ECOFFORMER在ActivityNet 1.3(平均mAP为36.6%)和EPIC-Kitchen 100(平均mAP比之前的作品增加13.5%)上表现出强劲的结果。我们的代码可在http://github.com/happyharrycn/actionformer_release上获得。
2022-08-28 cs.CV
Vision Transformer for Action Units Detection
Chonnam National University(全南国立大学)
面部动作单元检测(FAU)代表了一个细粒度的分类问题,涉及识别人脸上的不同单元,如面部动作编码系统所定义的。在本文中,我们提出了一个简单而有效的视觉Transformer为基础的方法来解决行动单位(AU)的检测任务的背景下,在野外的情感行为分析(ABAW)的竞争。我们采用视频视觉Transformer(ViViT)网络来捕获视频中的时间面部变化。此外,为了减小视觉Transformer模型的巨大尺寸,我们用CNN主干(Regnet)替换ViViT特征提取层。我们的模型优于ABAW 2023挑战赛的基线模型,结果有14%的显着差异。此外,所取得的成绩与上一届ABAW 2022挑战赛的前三名球队相当。
2023-03-20 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
随着近年来视觉Transformer研究的兴起,它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中,我们提出了经验的结果,训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说,我们探索视频视觉Transformer的训练技术,如增强,分辨率以及初始化等。使用我们的训练配方,单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能,比原始论文中报道的性能高出3.4%。我们发现,视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是,即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此,我们结合视频视觉Transformer和一些卷积视频网络,并提出我们的解决方案,EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
Transformer网络在对长距离上下文信息进行建模方面是有效的,并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成(TAPG)任务分为两个主要的子任务:边界预测和建议置信度预测,它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系,本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer,它由边界Transformer和建议Transformer组成。具体而言,边界Transformer捕获长期的时间依赖性以预测精确的边界信息,并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验,结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器,我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution
Northwestern Polytechnical University(西北工业大学);Beijing Institute of Technology(北京理工大学)
针对遥感图像超分辨率中Transformer局部注意力感受野不足和跨阶段特征利用不充分的问题,本文提出SPIFFNet,通过跨空间像素集成注意力与跨阶段特征融合注意力提升全局建模和特征表达能力,并在多个基准数据集上取得优于现有方法的性能。
2023-07-06 cs.CV
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Nanyang Technological University(南洋理工大学)
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词,因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中,我们提出了Word 2 Pix:一个基于编码器-解码器Transformer架构的一级视觉接地网络,它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入,对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式,每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO,RefCOCO+和RefCOCOg数据集上进行了实验,所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明,Word 2 Pix超越了两阶段视觉基础模型,同时保持了一阶段范式的优点,即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Developing a Dual-Stage Vision Transformer Model for Lung Disease Classification
University of North Texas(北得克萨斯大学)
针对肺疾病及时准确诊断的需求,本研究集成ViT和Swin Transformer构建双阶段视觉Transformer模型,对X射线图像中的14种肺疾病进行分类,在未见测试子集上标签级别准确率达92.06%。
2025-04-02 cs.CV eess.IV
HRTR: A Single-stage Transformer for Fine-grained Sub-second Action Segmentation in Stroke Rehabilitation
Department of Electrical and Computer Engineering, University of Kentucky(电气与计算机工程系,肯塔基大学);College of Medicine, University of Kentucky(医学学院,肯塔基大学);Department of Electrical and Computer Engineering, University of California, Davis(电气与计算机工程系,加州大学戴维斯分校)
提出单阶段 High Resolution Temporal Transformer(HRTR),用于中风康复中细粒度亚秒级动作的时间定位与分类,无需多阶段流程或后处理,并在多个数据集上取得最优 Edit Score。
2025-06-11 cs.CV
Future Transformer for Long-term Action Anticipation
POSTECH(浦项科技大学);NCSOFT(NCSoft公司)
从视频中预测未来动作的任务对于现实世界中与他人交互的智能体至关重要。在预测遥远未来的行动时,我们人类通常会考虑整个行动序列的长期关系,即,不仅观察到过去的行动,而且还观察到未来的潜在行动。本着类似的精神,我们提出了一个端到端的注意力模型的行动预期,被称为未来的Transformer(FUTR),利用全球注意力在所有输入帧和输出令牌预测一分钟长的未来行动序列。与以前的自回归模型不同,所提出的方法学习预测并行解码中的整个未来动作序列,从而实现更准确和快速的长期预测推断。我们在两个标准基准上评估我们的方法,用于长期行动预测,早餐和50沙拉,实现最先进的结果。
2022-05-27 cs.CV
EmbryosFormer: Deformable Transformer and Collaborative Encoding-Decoding for Embryos Stage Development Classification
FPT Software AI Center(FPT软件人工智能中心);John von Neumann Institute, Vietnam National University(越南国家大学冯·诺依曼研究院);My Duc Phu Nhuan Hospital(美德富润医院);Vinmec Central Park International Hospital(Vinmec中央公园国际医院);Arkansas Economic Development Commission(阿肯色州经济发展委员会);University of Science, VNU-HCM(越南国家大学胡志明市分校科学大学);University of Arkansas(阿肯色大学);My Duc Hospital(美德医院)
体外受精(IVF)过程中早期胚胎细胞分裂的时间是胚胎存活率的关键预测因素。然而,在延时监测(TLM)中观察细胞分裂是一个耗时的过程,并且高度依赖于专家。在本文中,我们提出了EmbryosFormer,一个计算模型自动检测和分类细胞分裂从原始的延时图像。我们提出的网络被设计为一个编码器-解码器变形Transformer与协作头。Transformer收缩路径预测每图像标签,并通过分类头进行优化。Transformer扩展路径对胚胎图像之间的时间相干性进行建模,以确保单调非减约束,并通过分割头进行优化。收缩和扩展路径都由协作头协同学习。我们已经在两个数据集上对我们提出的EmbryosFormer进行了基准测试:一个是8细胞期小鼠胚胎的公共数据集,另一个是4细胞期人类胚胎的内部数据集。源代码:https://github.com/UARK-AICV/Embryos。
2022-10-07 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC(南加州大学);Google Brain(谷歌大脑);Apple AI(苹果人工智能);Google Research(谷歌研究院)
在学习动作识别时,模型通常会在图像对象识别(如ImageNet)上进行预训练,然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能,特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别,较少的努力已经取得了如何训练视频Transformers。在这项工作中,我们探讨了几种培训模式,并提出了两个发现。首先,视频Transformers受益于对不同视频数据集和标签空间(例如,Kinetics关注的是外观,而SomethingSomething关注的是运动)。其次,通过进一步与图像(如单帧视频)进行共同训练,视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition(CoVeR)。特别是,在基于TimeSFormer架构的ImageNet-21 K上进行预训练时,CoVeR将Kinetics-400 Top-1准确度提高了2.4%,Kinetics-600提高了2.3%,SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时,CoVeR在Kinetics-400(87.2%)、Kinetics-600(87.9%)、Kinetics-700(79.8%…
2021-12-14 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harvard University(哈佛大学);ETH Zürich(苏黎世联邦理工学院);CAIDAS, JMU Würzburg(维尔茨堡大学CAIDAS研究所)
该研究针对现有光谱重建CNN方法的局限,提出多级光谱Transformer(MST++),采用光谱注意力块与U型单级Transformer级联的结构,在NTIRE2022光谱重建挑战赛中获第一,性能优于现有SOTA方法。
2026-11-19 cs.CV
POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization
The City College, City University of New York(纽约城市大学城市学院)
本文提出POTLoc,通过自训练生成伪标签并结合Transformer与时序特征金字塔,仅用点级标注实现连续动作结构建模,在THUMOS'14和ActivityNet-v1.2上超越现有方法。
2024-06-05 cs.CV
An Efficient Spatio-Temporal Pyramid Transformer for Action Detection
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);RMIT University(皇家墨尔本理工大学)
动作检测的任务旨在推导出动作类别和定位的开始和结束时刻为每个动作实例在一个长的,未经修剪的视频。虽然视觉Transformer已经推动了视频理解的最新进展,但由于长视频片段序列上的极其昂贵的自我关注,设计用于动作检测的有效架构并非易事。为此,我们提出了一个有效的分层时空金字塔Transformer(STPT)的动作检测,建立在这样一个事实,即早期的自我注意层的Transformers仍然集中在本地模式。具体来说,我们建议使用本地窗口注意编码丰富的本地时空表示在早期阶段,而应用全局注意模块捕捉长期的时空依赖性在后期阶段。通过这种方式,我们的STPT可以编码本地性和依赖性,大大减少了冗余,提供了一个有前途的准确性和效率之间的权衡。例如,仅使用RGB输入,所提出的STPT在THUMOS 14上实现了53.6%的mAP,超过了I3D+AFSD RGB模型10%以上,并且与使用额外流特征的最先进AFSD相比表现良好,GFLOP减少了31%,这是一种有效且高效的端到端基于Transformer的动作检测框架。
2022-07-21 cs.CV
Multi-modal Multi-label Facial Action Unit Detection with Transformer
University of Electronic Science and Technology of China(中国电子科技大学)
面部动作编码系统是面部表情分析的一种重要方法,本文介绍了我们参加2022年第三届情感行为分析(ABAW)竞赛的情况。提出了一种基于人脸识别器的人脸动作单元检测模型。具体来说,我们首先训练了一个多模态模型来提取音频和视觉特征。在此基础上,提出了一个动作单元关联模块来学习各个动作单元标签之间的关系,并对动作单元检测结果进行细化。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-03-28 cs.CV
Transformers in Action: Weakly Supervised Action Segmentation
Technische Universität München(慕尼黑工业大学);Google(谷歌)
视频动作分割任务经常在较弱的监督形式下进行探索,例如转录监督,其中动作列表比密集的帧标签更容易获得。在这个公式中,任务提出了各种挑战的序列建模方法,由于强调动作转换点,长序列长度,和帧上下文,使任务以及Transformers。考虑到使Transformers能够线性扩展的发展,我们通过我们的架构展示了它们如何应用于提高基于RNN的等效模型的动作对齐精度,其中注意力机制专注于突出的动作过渡区域。此外,鉴于最近的重点推理时间的成绩单选择,我们提出了一个补充的成绩单嵌入方法,以选择成绩单更快地在推理时间。此外,我们随后演示了这种方法如何也可以提高整体分割性能。最后,我们在基准数据集上评估了我们提出的方法,以更好地理解Transformers的适用性以及转录本选择在这个视频驱动的弱监督任务中的重要性。
2022-01-20 cs.CV cs.LG
ASFormer: Transformer for Action Segmentation
Peking University(北京大学)
用于动作分割任务的算法通常使用时间模型来预测在一分钟长的日常活动的每帧处发生什么动作。最近的研究表明,Transformer在建模序列数据中元素之间的关系方面具有潜力。然而,当直接将Transformer应用于动作分割任务时,存在几个主要问题,例如在小训练集下缺乏归纳偏差,在处理长输入序列时的不足,以及解码器架构在利用多个动作片段之间的时间关系来细化初始预测方面的限制。为了解决这些问题,我们设计了一个高效的基于transformer的动作分割任务模型,命名为ASFormer,有三个显着的特点:(i)我们显式地引入了本地连接归纳先验,因为功能的高局部性。它将假设空间限制在一个可靠的范围内,并且有利于动作分割任务以较小的训练集学习适当的目标函数。(ii)我们应用了一个预定义的分层表示模式,有效地处理长输入序列。(iii)我们仔细设计了解码器,以完善编码器的初始预测。在三个公共数据集上的实验证明了该方法的有效性。代码可在\url{https://github.com/ChinaYi/ASFormer}上获得。
2021-10-16 cs.CV
HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers
Korea University(高丽大学)
时间动作定位(TAL)是识别视频中的一组动作的任务,其涉及定位开始和结束帧并对每个动作实例进行分类。现有的方法已经解决了这个任务,通过使用预定义的锚窗口或启发式自底向上的边界匹配策略,这是推理时间的主要瓶颈。此外,主要挑战是由于缺乏全局上下文信息而无法捕获长期动作。在本文中,我们提出了一种新的无锚框架,被称为HTNet,预测一组<开始时间,结束时间,类>三元组从视频的基础上Transformer架构。粗边界的预测后,我们通过一个背景特征采样(BFS)模块和分层Transformers,这使我们的模型,以聚合全局上下文信息,并有效地利用视频中的内在语义关系,细化它。我们展示了我们的方法如何定位准确的动作实例,并在两个TAL基准数据集上实现最先进的性能:THUMOS 14和ActivityNet 1.3。
2022-07-21 cs.CV
Multi-State-Action Tokenisation in Decision Transformers for Multi-Discrete Action Spaces
TCS Research(塔塔咨询服务研究中心);IIIT Hyderabad(印度理工学院海得拉巴分校)
本文提出多状态动作令牌化方法M-SAT,通过将多离散动作解耦到单个动作级别并结合辅助状态信息进行令牌化,在ViZDoom图像环境中显著提升决策Transformer的性能与可解释性,且无需额外数据或计算开销。
2024-07-01 cs.CV cs.LG
Higher Order Recurrent Space-Time Transformer for Video Action Prediction
NVIDIA AI Technology Center(英伟达人工智能技术中心);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
赋予视觉代理预测能力是实现大规模视频智能的关键一步。这方面的主要建模范例是序列学习,主要通过LSTM实现。前馈Transformer架构已经取代了语言处理ML应用中的循环模型设计,也部分取代了计算机视觉。在本文中,我们研究了视频预测任务的变压器式架构的竞争力。要做到这一点,我们提出了HORST,一种新的高阶递归层设计,其核心元素是一个时空分解的视频自我注意。HORST在“某物-某物”早期动作识别和“史诗-奇趣”动作预测方面达到了最先进的竞争性能,显示了我们归因于自我注意的周期性高阶设计的预测能力的证据。
2021-09-21 cs.CV
A microstructure estimation Transformer inspired by sparse representation for diffusion MRI
Zhejiang University(浙江大学);Shandong Medical Imaging Research Institute(山东医学影像研究所);Shandong University(山东大学);Lanzhou University(兰州大学);Siemens Healthineers Ltd.(西门子医疗有限公司);Beijing Institute of Technology(北京理工大学)
扩散磁共振成像(dMRI)是一种基于生物物理模型表征组织微观结构的重要工具,这些模型是复杂的和高度非线性的。用优化技术解析微观结构容易产生估计误差,并且需要在q空间中进行密集采样。已经提出了基于深度学习的方法来克服这些限制。出于优越的性能的Transformer,在这项工作中,我们提出了一个基于学习的框架的基础上Transformer,即,一个微结构估计Transformer与稀疏编码(METSC)的dMRI为基础的微结构估计与下采样的q空间数据。为了利用Transformer的优势,同时解决其在大训练数据需求方面的限制,我们使用稀疏编码技术将归纳偏差-模型偏差显式引入Transformer中以促进训练过程。因此,METSC由三个阶段组成:嵌入阶段、稀疏表示阶段和映射阶段。嵌入阶段是一个基于变换器的结构,它对信号进行编码,以确保有效地表示体素。在稀疏表示阶段,通过求解稀疏重构问题来构造字典,该稀疏重构问题展开了迭代硬存储(IHT)过程。映射阶段本质上是一个解码器,它根据第二阶段的输出计算微结构参数,基于归一化字典系数的加权和,其中权重也被学习。我们测试了我们的框架上的两个dMRI模型与下采样的q-空间数据,包括体素内不相干运动(IVIM)模型和神经突取向分散和密度成像(NODDI)模型。该方法在扫描时间上实现了高达11.25倍的加速,优于其他最先进的基于学习的方法。
2022-05-13 cs.CV eess.SP
A Multi-Modal Transformer Network for Action Detection
University of Virginia(弗吉尼亚大学)
本文提出一种多模态Transformer网络,通过新型多模态注意力机制和摄像机运动失真校正算法增强动作特征,在THUMOS14和ActivityNet上取得领先性能,并构建了小学课堂视频数据集进行验证。
2023-05-31 cs.CV
Recurrent Transformer Variational Autoencoders for Multi-Action Motion Synthesis
University of Bonn(波恩大学);Amazon(亚马逊)
本文研究了任意长度的多动作人体运动序列的合成问题。现有的方法已经掌握了单动作场景中的运动序列生成,但未能推广到多动作和任意长度的序列。我们填补了这一空白,提出了一种新的有效的方法,利用表现力的经常性Transformers和生成丰富的条件变分自编码器。所提出的迭代方法是能够生成平滑和逼真的人体运动序列与任意数量的动作和帧,而这样做在线性空间和时间。我们训练和评估所提出的方法对PROX和Charades数据集,在那里我们增加PROX与地面实况动作标签和Charades与人类网格注释。实验评估表明,显着改善FID分数和语义一致性指标相比,国家的最先进的。
2022-06-27 cs.CV
Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
时间动作建议生成(TAPG)是视频理解中一项基本而又具有挑战性的任务,特别是在时间动作检测中。以往的研究主要集中在捕获局部时间上下文,能够很好地定位具有清晰框架和边界的简单动作实例。然而,它们通常在复杂的场景中失败,其中感兴趣的动作涉及不相关的帧和背景杂波,并且局部时间上下文变得不那么有效。为了处理这些问题,我们提出了一个增强的Transformer与自适应图网络(ATAG),利用远程和本地的时间上下文TAPG。具体来说,我们通过增加片段动作性损失和前端模块增强了vanilla Transformer,提高了其捕获长距离依赖关系和学习噪声动作实例鲁棒特征的能力,并提出了一种自适应图卷积网络(GCN),通过挖掘相邻特征之间的位置信息和差异来构建局部时间上下文。这两个模块的特征携带了丰富的视频语义信息,并融合有效的顺序建议生成。在两个具有挑战性的数据集,THUMOS 14和ActivityNet1.3上进行了大量的实验,结果表明,我们的方法优于最先进的TAPG方法。我们的代码将很快发布。
2021-03-30 cs.CV
Searching for Efficient Multi-Stage Vision Transformers
Massachusetts Institute of Technology(麻省理工学院)
视觉Transformer(ViT)表明,用于自然语言处理的Transformer可应用于计算机视觉任务,并具有与卷积神经网络(CNN)相当的性能,后者已在计算机视觉中研究和采用多年。这自然提出了一个问题,即如何使用CNN的设计技术来提高ViT的性能。为此,我们建议将两种技术,并提出ViT-ResNAS,一个有效的多阶段ViT架构设计与神经架构搜索(NAS)。首先,我们提出了残差空间减少,以减少更深层次的序列长度,并利用多级架构。当减少长度时,我们添加跳过连接以提高性能并稳定训练更深的网络。其次,我们提出了权重共享NAS与多架构采样。我们扩大一个网络,并利用它的子网络来定义一个搜索空间。然后训练一个覆盖所有子网络的超级网络,以快速评估它们的性能。为了有效地训练超级网络,我们提出了采样和训练多个子网络与一个向前-向后通过。在此之后,进化搜索进行发现高性能的网络架构。ImageNet上的实验表明,ViT-ResNAS比原始DeiT和ViT的其他强基线实现了更好的准确性-MAC和准确性-吞吐量权衡。代码可在https://github.com/yilunliao/vit-search上获得。
2021-09-01 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center(OPPO美国研究中心)
本文提出了一种纯粹的基于transformer的方法,被称为多模态视频Transformer(MM-ViT),视频动作识别。与仅利用解码的RGB帧的其他方案不同,MM-ViT仅在压缩视频域中操作,并利用所有容易获得的模态,即,I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态,我们开发了几个可扩展的模型变量,分解跨空间,时间和模态维度的自我注意。此外,为了进一步探索丰富的跨模态相互作用及其影响,我们开发并比较了三种不同的跨模态注意力机制,这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准(UCF-101,Something-Something-v2,Kinetics-600)上的广泛实验表明,MM-ViT在效率和准确性方面优于最先进的视频Transformers,并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Region-aware Image-based Human Action Retrieval with Transformers
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
本文聚焦基于图像的人体动作检索任务,建立基准并设置基线方法,提出端到端模型从锚定人物、上下文区域和全局图像学习动作表示,设计融合Transformer模块融合特征,在Stanford-40和PASCAL VOC 2012 Action数据集上显著优于先前方法。
2024-07-29 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.(卫士通信息产业股份有限公司)
场景文本识别(STR)使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息,除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers(MVLT)捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer,我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段:在第一阶段,我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段,我们微调我们的模型,并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV