MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center(OPPO美国研究中心)
本文提出了一种纯粹的基于transformer的方法,被称为多模态视频Transformer(MM-ViT),视频动作识别。与仅利用解码的RGB帧的其他方案不同,MM-ViT仅在压缩视频域中操作,并利用所有容易获得的模态,即,I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态,我们开发了几个可扩展的模型变量,分解跨空间,时间和模态维度的自我注意。此外,为了进一步探索丰富的跨模态相互作用及其影响,我们开发并比较了三种不同的跨模态注意力机制,这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准(UCF-101,Something-Something-v2,Kinetics-600)上的广泛实验表明,MM-ViT在效率和准确性方面优于最先进的视频Transformers,并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
本文提出LORTSAR方法,利用奇异值分解压缩骨架动作识别Transformer模型并微调补偿,在NTU RGB+D等数据集上大幅减少参数且保持或提升精度。
2024-07-19 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology(哈尔滨工业大学)
人类动作识别是一个非常重要的研究领域,大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入,以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集,并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说,所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络,以提取人体运动之间的共同特征。然后,我们冻结除了全连接(FC)层之外的网络权重,并将太极动作作为输入,仅训练初始化的FC权重。实验结果表明,我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别,即使是很少的输入,并证明我们的方法达到了国家的最先进的性能相比,以前的太极动作识别方法。
2022-06-30 cs.CV
DirecFormer: A Directed Attention in Transformer Approach to Robust Action Recognition
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司);Concordia University(康考迪亚大学);University of Wollongong(伍伦贡大学);West Virginia University(西弗吉尼亚大学)
人体动作识别是近年来计算机视觉领域的研究热点之一。已经提出了各种基于3D-CNN的方法来处理视频动作识别任务中的空间和时间维度,并具有竞争力的结果。然而,这些方法遭受了一些基本的限制,例如缺乏鲁棒性和通用性,例如,视频帧的时间顺序如何影响识别结果?这项工作提出了一种新的端到端的基于变压器的定向注意力(DirectFormer)框架,用于鲁棒的动作识别。该方法采用一种简单但新颖的基于transformer的方法来理解序列动作的正确顺序。因此,这项工作的贡献是三方面的。首先,我们将时序学习问题引入到动作识别问题中。其次,引入了一种新的定向注意力机制,以正确的顺序理解和提供对人类行为的注意。第三,我们介绍了动作序列建模中的条件依赖,包括顺序和类。与最近的动作识别方法相比,所提出的方法在三个标准的大规模基准测试(即Jester,Kinetics-400和Something-Something-V2)上始终实现了最先进的(SOTA)结果。
2022-03-19 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer,通过单一注意力模块集成时空建模并引入多尺度池化融合模块,在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition
本文提出MultiTSF,通过Transformer动态建模多视角关系并引入人体检测模块生成伪标签,在多视角多模态动作识别中超越现有方法。
2025-04-07 cs.CV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术,但通常缺乏真实世界的效率评估。在这项工作中,我们填补了这一空白,并调查使用Transformers进行有效的动作识别。我们提出了一种新的,轻量级的动作识别架构,VideoLightFormer。以因子分解的方式,我们使用Transformers仔细扩展了2D卷积时间段网络,同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一,在那里他们要么应用巨大的Transformers的视频功能,或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同,保持Transformer模型小,但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2(SSV 2)数据集上对VideoLightFormer进行了高效率的评估,发现除了SSV 2上的Temporal Shift Module之外,它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University(启明大学);Difine
在动作识别中,虽然时空视频和骨架特征的结合可以提高识别性能,但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题,我们提出了时空cRoss(STAR)-Transformer,它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先,从输入的视频和骨架序列,视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌,分别。然后,这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意(FAttn)模块和建议的锯齿形时空注意(ZAttn)模块组成。类似地,连续解码器由FAttn模块和建议的二进制时空注意力(BAttn)模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明,该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon(亚马逊);University of South Florida(南佛罗里达大学)
虽然视频动作识别多年来一直是一个活跃的研究领域,但zero-shot动作识别直到最近才开始获得关注。在这项工作中,我们提出了一种新的端到端训练的Transformer模型,该模型能够有效地捕获长距离时空依赖性,与使用3D-CNN的现有方法相反。此外,为了解决一个常见的模糊性,在现有的作品类,可以被认为是以前看不见的,我们提出了一个新的实验设置,满足零样本学习的前提下,通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上,所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得:https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University(查尔斯特大学);University of Western Austrlia(西澳大学)
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中,人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上,同时突出了流行的趋势,适应Transformers的动作识别。由于它们的特殊应用,我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类,基于其架构,模态和预期目标的行动Transformers。在动作Transformers的上下文中,我们探讨了时空数据编码,降维,帧补丁和时空立方体的建设,以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化,以处理较长的序列,通常通过减少在一个单一的注意力操作的令牌的数量。此外,我们还研究了不同的网络学习策略,如自监督和零样本学习,以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后,它提供了一个讨论的挑战,前景,和未来的途径,这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
Xidian University(西安电子科技大学)
在基于机器人的动作识别任务中,捕捉关节之间的依赖关系是至关重要的。Transformer在模拟重要节理的相关性方面显示出巨大的潜力。然而,现有的基于变换器的方法不能捕获帧之间的不同关节的相关性,该相关性是非常有用的,因为相邻帧之间的不同身体部位(例如“跳远”中的手臂和腿)一起移动。针对这一问题,提出了一种新的时空元组Transformer(STTFormer)方法。将骨架序列分成若干部分,并对每个部分中包含的若干连续帧进行编码。在此基础上,提出了一种时空元组自注意模型,用于捕捉连续帧中不同关节之间的关系。此外,在非相邻帧之间引入特征聚合模块,以增强区分相似动作的能力。与现有的方法相比,该方法在两个大规模数据集上取得了更好的性能。
2022-01-08 cs.AI cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
图卷积网络(GCN)已经成为基于卷积的动作识别的主要方法。然而,他们仍然遭受两个问题,即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计,以解决第一个问题,但他们还没有充分探讨后者。在这项工作中,我们设计了一个解开时空Transformer(DSTT)块,以克服上述限制的GCN在三个步骤:(i)功能解开时空分解;(ii)全球时空关注捕捉相关性在全球范围内;和(iii)本地信息增强利用更多的本地信息。在此基础上,我们提出了一种新的架构,命名为分层图卷积骨架Transformer(HGCT),以利用GCN的互补优势(即,局部拓扑、时间动态和层次)和Transformer(即,全球背景和动态注意力)。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Pose Matters: Evaluating Vision Transformers and CNNs for Human Action Recognition on Small COCO Subsets
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
本研究在COCO三类别子集上 benchmark 人体动作识别模型,发现二分类ViT准确率达90%远超其他模型,且能定位姿态相关区域,证明了Transformer表征的数据效率和可解释性技术的价值。
2025-06-13 cs.AI cs.CV
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院);TransGP;Texas A&M University(德克萨斯农工大学)
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务,因为自遮挡和模糊性。为了解决遮挡和模糊性,我们开发了一个基于变换的框架,利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性,我们建立了一个网络层次结构与两个级联的Transformer编码器,其中第一个利用短期的时间线索的手势估计,后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果,即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
Multiview Transformers for Video Recognition
Google Research(谷歌研究院);Michigan State University(密歇根州立大学);Brown University(布朗大学)
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平,但它们没有明确地对不同的时空分辨率进行建模。为此,我们提出了多视图Transformers的视频识别(MTV)。我们的模型由独立的编码器组成,用于表示输入视频的不同视图,并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究,我们的模型,并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外,我们在六个标准数据集上实现了最先进的结果,并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Alberta(阿尔伯塔大学)
针对视频暴力识别任务,提出基于强化学习路由器的视觉Transformer混合专家系统,结合大型与高效Transformer架构,在RWF数据集上准确率达92.4%,优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Face Transformer for Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
最近,人们对Transformer的兴趣越来越大,不仅在NLP中,而且在计算机视觉中。我们想知道Transformer是否可以用于人脸识别,以及它是否比CNN更好。因此,我们研究了Transformer模型在人脸识别中的性能。考虑到原有的Transformer算法可能会忽略面片间的信息,本文对面片生成过程进行了改进,使生成的标记带有相互重叠的滑动面片。这些模型在CASIA-WebFace和MS-Celeb-1 M数据库上进行了训练,并在几个主流基准上进行了评估,包括LFW,SLLFW,CALFW,CPLFW,TALFW,CFP-FP,AGEDB和IJB-C数据库。我们证明了在大规模数据库MS-Celeb-1 M上训练的Face Transformer模型具有与CNN相似的参数和MAC数量。为了便于进一步研究,Face Transformer模型和代码可在https://github.com/zhongyy/Face-Transformer上获得。
2021-04-13 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research(百度研究院);University of Amsterdam(阿姆斯特丹大学)
受CNN在图像识别中取得的巨大成功的启发,基于视图的方法应用CNN对投影视图进行建模,以实现3D对象理解,并取得了优异的性能。然而,多视图CNN模型不能对来自不同视图的块之间的通信进行建模,从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发,我们提出了一种用于三维物体识别的多视角视觉Transformer(MVT)。由于Transformer块中的每个补丁特征具有全局接收场,因此它自然地实现了来自不同视图的补丁之间的通信。同时,与CNN相比,它需要更少的归纳偏差。考虑到有效性和效率,我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试,ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
DTrOCR: Decoder-only Transformer for Optical Character Recognition
Fast Accounting Co., Ltd.(Fast Accounting株式会社)
本研究提出DTrOCR,一种仅解码器Transformer的文本识别方法,利用预训练生成语言模型,在印刷、手写和场景文本识别上大幅超越现有最先进方法。
2023-08-30 cs.CV
Hybrid CNN-Transformer Model For Facial Affect Recognition In the ABAW4 Challenge
University of Electronic Science and Technology of China(电子科技大学)
本文介绍了我们提交的第四届情感行为分析(ABAW)的竞争。针对多任务学习(MTL)和从合成数据学习(LSD)任务,提出了一种混合CNN-Transformer模型。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-07-20 cs.CV
Actor-Transformers for Group Activity Recognition
University of Amsterdam(阿姆斯特丹大学);Sportlogiq
本文致力于从视频中识别个人行为和群体活动。虽然现有的解决方案,这个具有挑战性的问题明确的模型的空间和时间关系的基础上的位置的个人演员,我们提出了一个演员变压器模型能够学习和选择性地提取相关的信息,群体活动识别。我们为Transformer提供了丰富的特定于演员的静态和动态表示,这些表示分别由来自2D姿势网络和3D CNN的特征表示。我们实证研究不同的方式来结合这些表示,并显示其互补的好处。实验表明了什么是重要的转换和它应该如何转换。更重要的是,演员变压器实现国家的最先进的结果在两个公开可用的基准组活动的认可,表现优于以前最好的公布结果的相当大的利润。
2020-03-28 cs.CV
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire(贝德福德大学)
本文提出隐式稀疏风格的Batch Transformer架构,通过仅关注重要维度缩小编解码网络瓶颈,在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Spatial Transformer Network on Skeleton-based Gait Recognition
South China University of Technology(华南理工大学)
步态识别模型的Rank-1识别率从正常行走的90%到穿大衣行走的70%不等,鲁棒性差。在这项工作中,我们提出了一个国家的最先进的鲁棒的基于卷积的步态识别模型称为步态TR,这是基于空间Transformer框架和时间卷积网络的组合。Gait-TR在步态数据集CASIA-B上实现了比其他基于机器学习的步态模型更高的精度和更好的鲁棒性。特别是在穿着外套行走的情况下,Gait-TR的Rank-1步态识别准确率达到90%,高于基于轮廓的步态识别模型的最佳结果,而基于轮廓的步态识别模型通常具有更高的准确率。此外,我们在CASIA-B上的实验表明,空间Transformer可以更好地从人体骨骼提取步态特征比广泛使用的图卷积网络。
2022-04-08 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
Offline Handwritten Mathematical Recognition using Adversarial Learning and Transformers
Panjab University(旁遮普大学)
脱机手写数学表达式识别(HMER)是数学表达式识别领域的一个重要研究方向。由于缺乏时间信息和写作风格的可变性,离线HMER通常被视为比在线HMER更难的问题。在本文中,我们提出了一个使用配对对抗学习的编码器-解码器模型。从手写数学表达式图像和它们在编码器中的印刷数学表达式对应物中提取语义不变特征。语义不变特征的学习结合DenseNet编码器和Transformer解码器,帮助我们提高了以前研究的表达率。在CROHME数据集上进行评估,我们已经能够将最新的CROHME 2019测试集结果提高约4%。
2022-08-20 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology(南京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
地点识别是一种识别重访地点的算法,在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品,如MLP、CNN、Transformer等,在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一,但点云Transformer网络的内存消耗大、计算量大,不利于在移动或嵌入式设备中广泛部署。为了解决这个问题,我们提出了一个二进制点云Transformer的地点识别。因此,32位全精度模型可以减少到1位模型,具有更少的内存占用和更快的二进制逐位操作。据我们所知,这是第一个可以部署在移动设备上的二进制点云Transformer,用于在线应用,如位置识别。在多个标准基准上的实验表明,该方法可以获得与相应的全精度Transformer模型相当的结果,甚至优于一些全精度深度学习方法。例如,在Oxford RobotCar数据集上,就平均召回率的度量而言,所提出的方法在顶部@1%处达到93.28%,在顶部@1%处达到85.74%。同时,在相同的Transformer结构下,模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University(南开大学);ByteDance(字节跳动)
本文并不试图设计一个国家的最先进的视觉识别方法,但研究了一种更有效的方法,利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理,我们提出通过利用卷积调制操作来简化自注意。我们表明,这种简单的方法可以更好地利用卷积层中嵌套的大内核(>=7x7)。我们使用所提出的卷积调制构建了一系列分层ConvNets,称为Conv2Former。我们的网络是简单和易于遵循。实验表明,我们的Conv2Former在所有ImageNet分类,COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer,如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
TrueType Transformer: Character and Font Style Recognition in Outline Format
Kyushu University(九州大学)
我们提出了TrueType Transformer(T3),它可以执行字符和字体识别的轮廓格式。轮廓格式(如TrueType)将每个字符表示为笔划轮廓的控制点序列,并经常用于数字文档。T3由一个深度神经网络组织,即所谓的Transformer。Transformer最初是针对连续数据(如文本)提出的,因此适合处理大纲数据。换句话说,T3直接接受轮廓数据而不将其转换成位图图像。因此,T3实现了与分辨率无关的分类。此外,由于控制点的位置表示字体样式的精细和局部结构,因此T3适合于字体样式分类,其中这种结构非常重要。在本文中,我们通过实验证明了T3在字符和字体识别任务中的适用性,同时观察各个控制点对分类结果的贡献。
2022-03-11 cs.CV
Traffic Sign Recognition Using Local Vision Transformer
Iran University of Science and Technology(伊朗科技大学)
本文提出一种融合卷积块和Transformer块并加入局部模块的混合模型,用于交通标志识别,在德国和波斯数据集上分别达到99.66%和99.8%的准确率,优于现有模型且推理速度快。
2023-11-11 cs.CV
Pose Recognition with Cascade Transformers
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出了一种基于回归的级联Transformers姿态识别方法。对该领域现有方法进行分类的一种方法是将它们分为1)。基于热图和2)。回归为基础。一般来说,基于热图的方法实现了更高的准确性,但受到各种启发式设计(大多不是端到端)的影响,而基于回归的方法实现了相对较低的准确性,但它们具有较少的中间不可微步骤。在这里,我们利用Transformers中的编码器-解码器结构来执行基于回归的人和关键点检测,该检测是通用的,并且与现有方法相比需要较少的启发式设计。我们展示了关键点假设(查询)在不同自我注意层上的细化过程,以揭示Transformers中的递归自我注意力机制。在实验中,我们报告的姿态识别与竞争的回归为基础的方法相比,具有竞争力的结果。
2021-04-14 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University(淡江大学);National Cheng Kung University(台湾成功大学)
随着Transformer在自然语言处理领域的研究成果,Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来,在计算机视觉的多个任务(图像分类、对象检测、语义分割等)中,现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后,越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上,结合金字塔结构,采用分裂-变换-合并的方法,提出了分组编码器,并将其网络结构命名为聚合金字塔视觉Transformer(APVT)。我们在CIFAR-10数据集上执行图像分类任务,在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比,APVT在降低计算代价的同时,具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
MSdocTr-Lite: A Lite Transformer for Full Page Multi-script Handwriting Recognition
InstaDeep(InstaDeep公司);Digital Research Center of Sfax(斯法克斯数字研究中心)
Transformer由于其远程表示能力,已迅速成为各种模式识别任务的主导架构。然而,Transformers是数据饥渴的模型,需要大量的数据集进行训练。在手写文本识别(HTR)中,收集大量的标记数据是一项复杂而昂贵的任务。在本文中,我们提出了一个精简的Transformer架构,用于整页多手写体手写识别。该模型有三个优点:首先,为了解决数据稀缺的常见问题,我们提出了一个精简的Transformer模型,可以在合理数量的数据上进行训练,这是大多数HTR公共数据集的情况,而不需要外部数据。其次,由于课程学习策略,它可以学习页面级别的阅读顺序,从而避免行分割错误,利用更大的上下文并减少对昂贵的分割注释的需求。第三,它可以很容易地适应其他脚本,通过应用一个简单的迁移学习过程,只使用页面级标记的图像。在不同脚本(法语、英语、西班牙语和阿拉伯语)的不同数据集上进行的大量实验表明了该模型的有效性。
2023-03-24 cs.CV
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology(南京理工大学);University of Macau(澳门大学)
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性,本文研究了基于变换器的网络特征提取方法,提出了一种基于层次Transformer的位置识别方法(HiTPR)。HiTPR由四个主要部分组成:点单元生成、短程Transformer(SRT)、长程Transformer(LRT)和全局描述符聚合。具体地说,点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中,我们提取每个点细胞的局部特征。而在LRT中,我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性,例如在Oxford RobotCar数据集上,前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
Transformers For Recognition In Overhead Imagery: A Reality Check
Duke University(杜克大学);University of Montana(蒙大拿大学)
有证据表明,Transformers提供了最先进的识别性能的任务,涉及架空图像(例如,卫星图像)。然而,很难在相互竞争的深度学习模型之间进行无偏见的实证比较,因此不清楚基于transformer的模型是否以及在多大程度上是有益的。在本文中,我们系统地比较了将Transformer结构添加到最先进的高架图像分割模型中的影响。每个模型都有一个类似的自由参数预算,它们的超参数使用贝叶斯优化进行优化,具有固定的数据量和计算时间。我们使用大型且多样化的数据集进行实验,该数据集包括两个大型公共基准:Inria和DeepGlobe。我们进行了额外的消融研究,以探索特定的基于变压器的建模选择的影响。我们的研究结果表明,Transformers提供一致的,但适度的,性能改善。然而,我们只在结合卷积和基于transformer的结构的混合模型中观察到这种优势,而完全基于transformer的模型实现了相对较差的性能。
2022-10-31 cs.CV
Agriculture-Vision Challenge 2022 -- The Runner-Up Solution for Agricultural Pattern Recognition via Transformer-based Models
PAII Inc.(PAII公司);Ping An Bank Co., Ltd(平安银行股份有限公司)
CVPR中的视觉挑战赛是全球研究人员打破计算机视觉与农业部门之间界限的最著名和最具竞争力的挑战之一,旨在从航空图像中进行农业模式识别。在本文中,我们提出了CVPR 2022中第三个视觉挑战的解决方案。我们利用数据预处理方案和几个基于Transformer的模型以及数据增强技术,实现了0.582的mIoU,在这项挑战中获得第二名。
2022-06-23 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的,由于文本的形状,字体,颜色,背景等大的变化,大多数国家的最先进的算法纠正输入图像到归一化的图像,然后把识别作为一个序列预测任务。这类方法的瓶颈是校正,这将导致错误,由于失真的角度。在本文中,我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此,我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56,34]不同,该模型仅使用Transformer的解码器来解码卷积注意力,所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式,我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明,所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一,其最先进的预测准确率为89.6%,我们的方法达到了99.3%,这是一个非常令人惊讶的结果。我们将公布我们的源代码,并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.(卫士通信息产业股份有限公司)
场景文本识别(STR)使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息,除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers(MVLT)捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer,我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段:在第一阶段,我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段,我们微调我们的模型,并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
Learning Vision Transformer with Squeeze and Excitation for Facial Expression Recognition
Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心)
在过去的几十年里,随着各种面部表情数据库的建立,面部表情识别(FER)任务引起了人们的极大兴趣。可用数据库的多个来源为面部识别任务提出了一些挑战。这些挑战通常由卷积神经网络(CNN)架构来解决。与CNN模型不同,最近提出了一种基于注意力机制的Transformer模型来处理视觉任务。Transformers的主要问题之一是需要大量数据进行训练,而与其他视觉应用程序相比,大多数FER数据库都是有限的。因此,在本文中,我们提出学习一个视觉Transformer联合挤压和激励(SE)块FER任务。该方法在不同的公开FER数据库,包括CK+,JAFFE,RAF-DB和SFEW上进行了评估。实验表明,我们的模型优于国家的最先进的方法CK+和SFEW和JAFFE和RAF-DB上取得竞争力的结果。
2021-07-16 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司)
语义信息建模有助于场景文本识别。在这项工作中,我们提出了一个视觉语义Transformer(VST)的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后,语义信息与视觉特征图(被视为序列)相结合,以形成结合视觉和语义信息的伪多域序列,该序列随后被馈送到基于变换器的交互模块中,以使得能够学习视觉和语义特征之间的交互。通过这种方式,可以通过语义信息增强视觉特征,反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后,解码的视觉特征和增强的语义特征由第三Transformer模块联合处理,获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性,在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Point Cloud Recognition with Position-to-Structure Attention Transformers
UC San Diego(加州大学圣地亚哥分校);The Bishop’s School(毕晓普学校)
在本文中,我们提出了位置到结构的注意力Transformers(PS-Former),一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战,其中点没有定位在固定的网格结构中,并且具有有限的特征描述(只有分散点的3D坐标($x, y, z$))。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里,我们介绍了PS-Former中的两个新方面:1)一个可学习的凝聚层,它执行点下采样和特征提取; 2)一个位置到结构注意力机制,它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比,虽然是通用的,较少的几何特征设计,PS-Former展示了三个三维点云任务,包括分类,部分分割和场景分割的竞争力的实验结果。
2022-10-05 cs.CV
Vision Transformer Equipped with Neural Resizer on Facial Expression Recognition Task
KAIST(韩国科学技术院);ACRYL
在野外条件下,面部表情识别经常面临低质量数据和不平衡、模糊标签的挑战。该领域从基于CNN的方法中受益匪浅;然而,CNN模型具有结构限制,无法看到远处的面部区域。作为补救措施,Transformer已被引入具有全局感受野的视野,但需要调整预训练模型的输入空间大小,以享受其强大的感应偏差。我们在这里提出一个问题,是否使用确定性插值方法是足够的低分辨率数据馈送到Transformer。在这项工作中,我们提出了一种新的训练框架,神经调整器,支持Transformer通过补偿信息和降尺度的数据驱动的方式训练与损失函数平衡的噪音和不平衡。实验表明,我们的F-PDLS损失函数的神经调整器提高了Transformer变体的性能,几乎达到了最先进的性能。
2022-04-05 cs.CV
TransVPR: Transformer-based place recognition with multi-level attention aggregation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
视觉位置识别对于自动驾驶导航和移动机器人定位等应用是一项具有挑战性的任务。复杂场景中的干扰元素往往会导致视觉场所感知的偏差。为了解决这个问题,它是至关重要的,以整合信息,只有任务相关的区域到图像表示。本文提出了一种基于视觉Transformer的全局位置识别模型TransVPR。它得益于Transformers中自我注意操作的理想属性,可以自然地聚合任务相关的特征。来自Transformer的多个级别的关注(其聚焦于不同的感兴趣区域)被进一步组合以生成全局图像表示。此外,从Transformer层过滤的融合注意力掩模的输出令牌被认为是关键补丁描述符,这是用来执行空间匹配重新排序的候选人检索的全局图像特征。整个模型允许端到端训练,具有单一目标和图像级监督。TransVPR在几个真实世界的基准测试中实现了最先进的性能,同时保持了较低的计算时间和存储要求。
2022-04-13 cs.CV
Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition
Chinatelecom Cloud(天翼云科技有限公司)
本文提出一种结合TCN和Transformer的多模态融合模型,有效整合视觉与音频信息以提升连续情感识别准确率,在ABAW竞赛的表情分类挑战中优于基线并获第3名。
2023-09-06 cs.CV
Quaternion Orthogonal Transformer for Facial Expression Recognition in the Wild
人脸表情识别是人工智能中一个具有挑战性的课题。最近,许多研究人员试图将视觉Transformer(ViT)引入FER任务。然而,ViT不能充分利用从原始图像中提取的情感特征,并且需要大量的计算资源。为了克服这些问题,我们提出了一个四元数正交Transformer(QOT)的FER。首先,为了减少从预训练的ResNet-50中提取的特征之间的冗余,我们使用正交损失将这些特征分解并压缩为三组正交子特征。其次,三个正交的子特征被集成到一个四元数矩阵,它保持不同的正交分量之间的相关性。最后,我们开发了一个四元数视觉Transformer(Q-ViT)的特征分类。Q-ViT采用四元数运算代替ViT中的原始运算,从而以较少的参数提高了最终精度。在三个真实FER数据集上的实验结果表明,该算法的性能优于现有的几种模型,并减少了计算量。
2023-03-14 cs.CV
GroupFormer: Group Activity Recognition with Clustered Spatial-Temporal Transformer
The Hong Kong Polytechnic University(香港理工大学);Sensetime Research(商汤科技研究院)
群体活动识别是一个关键而又具有挑战性的问题,其核心在于充分挖掘个体之间的时空交互,并生成合理的群体表征。然而,以前的方法要么模型的空间和时间的信息分开,或直接聚合单个功能,形成组功能。为了解决这些问题,我们提出了一种新的群体活动识别网络,称为GroupFormer。它捕获的时空上下文信息联合增强个人和群体表示有效地与聚类时空Transformer。具体来说,我们的GroupFormer有三个吸引人的优点:(1)一个定制的修改Transformer,空间-时间的transformer Transformer,提出了加强个人表示和组表示。(2)该模型对时空依赖关系进行了统一建模,并利用解码器在时空信息之间架起了桥梁。(3)一个集群的注意力机制被用来动态地将个人分为多个集群,以更好地学习活动感知的语义表示。此外,实验结果表明,该框架优于国家的最先进的方法排球数据集和集体活动数据集。代码可在https://github.com/xueyee/GroupFormer上获得。
2021-08-28 cs.CV
CoMER: Modeling Coverage for Transformer-based Handwritten Mathematical Expression Recognition
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
基于transformer的编码器-解码器架构最近在识别手写数学表达式方面取得了重大进展。然而,Transformer模型仍然存在覆盖率不足的问题,使得其表情识别率(ExpRate)低于RNN模型。覆盖信息记录了过去步骤的对齐信息,已被证明在RNN模型中是有效的。在本文中,我们提出了CoMER,一个模型,采用覆盖信息的Transformer解码器。具体来说,我们提出了一种新的注意力细化模块(ARM),以改善过去的对齐信息的注意力权重,而不损害其并行性。此外,我们采取的覆盖信息到极端,提出自我覆盖和交叉覆盖,利用过去的对齐信息,从当前和以前的层。实验表明,CoMER相比当前最先进的模型,ExpRate提高了0.61%/2.09%/1.59%,在CROHME 2014/2016/2019测试集上达到59.33%/59.81%/62.97%。
2022-07-18 cs.CV
GraDeT-HTR: A Resource-Efficient Bengali Handwritten Text Recognition System utilizing Grapheme-based Tokenizer and Decoder-only Transformer
Computer Science and Engineering, University of Dhaka(计算机科学与工程系,达卡大学)
GraDeT-HTR提出基于字素标记器和仅解码器Transformer的资源高效孟加拉语手写文本识别方法,通过合成数据预训练与真实数据微调,在多个基准上达到最先进性能。
2025-09-22 cs.CV
AdaViT: Adaptive Vision Transformers for Efficient Image Recognition
Fudan University(复旦大学);University of Maryland(马里兰大学);Meta AI
建立在自我注意力机制之上的视觉Transformer最近在各种视觉任务上表现出了卓越的性能。在实现优异性能的同时,它们仍然需要相对密集的计算成本,随着补丁、自注意头和Transformer块的数量增加,计算成本急剧增加。在本文中,我们认为,由于图像之间的变化很大,他们需要建模补丁之间的远程依赖关系不同。为此,我们引入了AdaViT,一个自适应计算框架,它可以学习导出使用策略,在每个输入的基础上,在整个主干中使用补丁,自注意头和Transformer块,旨在提高视觉Transformer的推理效率,同时降低图像识别的准确性。通过以端到端的方式与Transformer骨干网联合优化,一个轻量级的决策网络被连接到骨干网,以实时生成决策。在ImageNet上进行的大量实验表明,与最先进的视觉Transformer相比,我们的方法在效率上获得了2倍以上的提高,而精度仅下降了0.8%,在不同的计算预算下实现了良好的效率/精度权衡。我们进一步对学习的使用策略进行定量和定性分析,并对视觉Transformer中的冗余提供更多的见解。
2021-11-30 cs.CV
Pose Discrepancy Spatial Transformer Based Feature Disentangling for Partial Aspect Angles SAR Target Recognition
这封信提出了一个新的框架称为Distillum的合成孔径雷达(SAR)的自动目标识别(ATR)的任务。与传统的SAR ATR算法相比,Distillance考虑了一个更具挑战性的实际情况下,非合作目标的训练是不完整的,并在部分范围内的限制,而那些测试样本是无限的。为了解决这个问题,而不是学习的姿态不变的功能,distinctively新涉及一个精心设计的功能去纠缠模型分离的SAR目标的身份,使他们可以独立地控制目标图像的表示过程中学习的姿态因素。为了解开可解释的姿态因子,我们在DistSTN中开发了一个姿态差异空间变换器模块,以通过显式几何模型来表征两个不同目标的因子之间的内在变换。Transformer模块。此外,Distillo开发了一种分期偿还的推理方案,该方案使用编码器-解码器机制实现了高效的特征提取和识别。运动和静止目标捕获和识别(MSTAR)基准测试的实验结果表明,我们提出的方法的有效性。与其他ATR算法相比,Disturbance算法具有更高的识别精度。
2021-03-07 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China(中国科学技术大学)
野外人脸表情识别是计算机视觉中一项极具挑战性的任务,这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外,网络可以很容易地被上述因素分布,并执行错误的决策。近年来,视觉Transformer(ViT)和数据高效图像Transformers(DeiT)在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野,大大增强了特征提取能力。在这项工作中,我们首先提出了一种新的纯transformer为基础的面具视觉Transformer(MVT)在野外的FER,它由两个模块组成:一个transformer为基础的面具生成网络(MGN),以产生一个面具,可以过滤掉复杂的背景和遮挡的人脸图像,和一个动态的重新标记模块,纠正错误的标签在野外FER数据集。大量的实验结果表明,我们的MVT优于国家的最先进的方法在RAF-DB与88.62%,FERPlus与89.22%,和AffectNet-7与64.57%,分别,并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV