Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Co-training Transformer with Videos and Images Improves Action Recognition
USC(南加州大学);Google Brain(谷歌大脑);Apple AI(苹果人工智能);Google Research(谷歌研究院)
在学习动作识别时,模型通常会在图像对象识别(如ImageNet)上进行预训练,然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能,特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别,较少的努力已经取得了如何训练视频Transformers。在这项工作中,我们探讨了几种培训模式,并提出了两个发现。首先,视频Transformers受益于对不同视频数据集和标签空间(例如,Kinetics关注的是外观,而SomethingSomething关注的是运动)。其次,通过进一步与图像(如单帧视频)进行共同训练,视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition(CoVeR)。特别是,在基于TimeSFormer架构的ImageNet-21 K上进行预训练时,CoVeR将Kinetics-400 Top-1准确度提高了2.4%,Kinetics-600提高了2.3%,SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时,CoVeR在Kinetics-400(87.2%)、Kinetics-600(87.9%)、Kinetics-700(79.8%…
2021-12-14 cs.CV
Transformer-based Action recognition in hand-object interacting scenarios
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院(UNIST))
本报告介绍了ECCV 2022人体、手和活动(HBHA)的第二名解决方案,该解决方案来自以自我为中心和多视角相机挑战赛:动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架,估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
2022-10-20 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
随着近年来视觉Transformer研究的兴起,它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中,我们提出了经验的结果,训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说,我们探索视频视觉Transformer的训练技术,如增强,分辨率以及初始化等。使用我们的训练配方,单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能,比原始论文中报道的性能高出3.4%。我们发现,视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是,即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此,我们结合视频视觉Transformer和一些卷积视频网络,并提出我们的解决方案,EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center(OPPO美国研究中心)
本文提出了一种纯粹的基于transformer的方法,被称为多模态视频Transformer(MM-ViT),视频动作识别。与仅利用解码的RGB帧的其他方案不同,MM-ViT仅在压缩视频域中操作,并利用所有容易获得的模态,即,I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态,我们开发了几个可扩展的模型变量,分解跨空间,时间和模态维度的自我注意。此外,为了进一步探索丰富的跨模态相互作用及其影响,我们开发并比较了三种不同的跨模态注意力机制,这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准(UCF-101,Something-Something-v2,Kinetics-600)上的广泛实验表明,MM-ViT在效率和准确性方面优于最先进的视频Transformers,并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
VideoLightFormer: Lightweight Action Recognition using Transformers
有效的视频动作识别仍然是一个具有挑战性的问题。一个又一个大型模型取代了Kinetics数据集上的最先进技术,但通常缺乏真实世界的效率评估。在这项工作中,我们填补了这一空白,并调查使用Transformers进行有效的动作识别。我们提出了一种新的,轻量级的动作识别架构,VideoLightFormer。以因子分解的方式,我们使用Transformers仔细扩展了2D卷积时间段网络,同时在整个模型中保持空间和时间视频结构。现有的方法往往诉诸于两个极端之一,在那里他们要么应用巨大的Transformers的视频功能,或最小的Transformers器高度汇集的视频功能。我们的方法与它们不同,保持Transformer模型小,但利用完整的时空特征结构。我们在时间要求苛刻的EPIC-KITCHENS-100和Something-Something-V2(SSV 2)数据集上对VideoLightFormer进行了高效率的评估,发现除了SSV 2上的Temporal Shift Module之外,它比现有的最先进的模型实现了更好的效率和准确性。
2021-11-18 cs.CV cs.LG
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
本文提出LORTSAR方法,利用奇异值分解压缩骨架动作识别Transformer模型并微调补偿,在NTU RGB+D等数据集上大幅减少参数且保持或提升精度。
2024-07-19 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
Transformers已成功应用于视觉跟踪任务,并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而,自我注意力缺乏对搜索区域中最相关信息的关注,很容易被背景分散注意力。在本文中,我们缓解这个问题与稀疏的注意力机制,通过集中在搜索区域中的最相关的信息,这使得更准确的跟踪。此外,我们引入了双头预测器,以提高前景-背景分类和目标边界框回归的准确性,从而进一步提高跟踪性能。大量的实验表明,在没有花里胡哨的情况下,我们的方法在以40 FPS运行时,在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是,我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
Spatial Transformer Network with Transfer Learning for Small-scale Fine-grained Skeleton-based Tai Chi Action Recognition
Harbin Institute of Technology(哈尔滨工业大学)
人类动作识别是一个非常重要的研究领域,大多数著名的动作识别网络通常使用日常人类动作的大规模粗粒度动作数据集作为输入,以说明其网络的优越性。我们打算使用神经网络来识别我们的小规模细粒度太极动作数据集,并提出一种使用NTU RGB+D数据集来预训练我们的网络的迁移学习方法。更具体地说,所提出的方法首先使用大规模的NTU RGB+D数据集来预训练用于动作识别的基于transformer的网络,以提取人体运动之间的共同特征。然后,我们冻结除了全连接(FC)层之外的网络权重,并将太极动作作为输入,仅训练初始化的FC权重。实验结果表明,我们的通用模型流水线可以达到一个小规模的细粒度的太极动作识别,即使是很少的输入,并证明我们的方法达到了国家的最先进的性能相比,以前的太极动作识别方法。
2022-06-30 cs.CV
DirecFormer: A Directed Attention in Transformer Approach to Robust Action Recognition
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司);Concordia University(康考迪亚大学);University of Wollongong(伍伦贡大学);West Virginia University(西弗吉尼亚大学)
人体动作识别是近年来计算机视觉领域的研究热点之一。已经提出了各种基于3D-CNN的方法来处理视频动作识别任务中的空间和时间维度,并具有竞争力的结果。然而,这些方法遭受了一些基本的限制,例如缺乏鲁棒性和通用性,例如,视频帧的时间顺序如何影响识别结果?这项工作提出了一种新的端到端的基于变压器的定向注意力(DirectFormer)框架,用于鲁棒的动作识别。该方法采用一种简单但新颖的基于transformer的方法来理解序列动作的正确顺序。因此,这项工作的贡献是三方面的。首先,我们将时序学习问题引入到动作识别问题中。其次,引入了一种新的定向注意力机制,以正确的顺序理解和提供对人类行为的注意。第三,我们介绍了动作序列建模中的条件依赖,包括顺序和类。与最近的动作识别方法相比,所提出的方法在三个标准的大规模基准测试(即Jester,Kinetics-400和Something-Something-V2)上始终实现了最先进的(SOTA)结果。
2022-03-19 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer,通过单一注意力模块集成时空建模并引入多尺度池化融合模块,在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London(伦敦玛丽女王大学)
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中,我们从两个方面出发:(a)我们采用视觉Transformer作为一种架构,用于训练非常强大的人脸识别基线,简称为fViT,它已经超过了大多数最先进的人脸识别方法。(b)其次,我们利用Transformer的固有属性来处理从不规则网格中提取的信息(视觉令牌),以设计一个用于人脸识别的管道,这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分,它只是包括一个轻量级网络来预测面部地标的坐标,然后是视觉Transformer对从预测的地标中提取的补丁进行操作,并且它是端到端训练的,没有地标监督。通过学习提取有区别的斑块,我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性,在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
ARST: Auto-Regressive Surgical Transformer for Phase Recognition from Laparoscopic Videos
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
相位识别在计算机辅助介入手术流程分析中起着至关重要的作用。Transformer最初是为自然语言处理中的序列数据建模而提出的,现已成功地应用于外科手术时相识别。现有的基于Transformer的研究主要集中在注意力依赖的建模上,没有引入自回归。在这项工作中,自回归手术Transformer,简称ARST,首次提出了在线手术阶段识别腹腔镜视频,建模的相位间的相关性隐含的条件概率分布。为了减少推理偏差和提高相位一致性,我们进一步发展了一种基于自回归的一致性约束推理策略。我们在一个著名的公共数据集Cholec80上进行了全面的验证。实验结果表明,我们的方法优于国家的最先进的方法在定量和定性,并实现了每秒66帧(fps)的推理率。
2022-09-02 cs.AI cs.CV
A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
Infrastructure University Kuala Lumpur(吉隆坡基建大学)
针对3D CNN难以建模长距离依赖与Transformer计算成本高的问题,提出融合两者的混合框架,通过提取局部时空特征与全局时间依赖提升识别准确率。
2025-08-02 cs.AI cs.CV
Sparse then Prune: Toward Efficient Vision Transformers
Universitas Brawijaya(布劳爪哇大学)
针对视觉Transformer计算负担重的问题,提出先稀疏正则化再剪枝的优化方法,在多个图像分类数据集上实现了准确率提升,兼顾了模型性能与效率。
2023-07-22 cs.AI cs.CV
Feature Selection via Sparse Approximation for Face Recognition
Institute of Information Science and Engineering, Central South University(中南大学信息科学与工程学院)
受生物视觉系统的启发,具有巨大基数的过完备局部特征在人脸识别中的应用越来越广泛。因此,特征选择变得越来越重要,在人脸数据描述和识别中起着至关重要的作用。本文提出了一种基于正则化框架的可训练特征选择人脸识别算法。通过在最小平方误差(MSE)准则下引入稀疏惩罚项,将特征选择问题转化为组合稀疏逼近问题,并利用贪婪算法或凸松弛算法求解.此外,基于同一框架,我们提出了一个稀疏Ho-Kashyap(HK)过程,同时获得最佳稀疏解和相应的边际向量的MSE准则。该方法用于选择最具信息量的人脸图像的Gabor特征进行识别,在基准人脸数据库上的实验结果证明了该方法的有效性。
2011-02-14 cs.AI cs.CV
Facial Expression Recognition with Swin Transformer
Dongguk University(东国大学)
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用,包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性,面部表情识别研究已经足够成熟,可以在具有视听数据集的真实场景中使用。在本文中,我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说,我们采用了三流网络(即,视频流、时间流和音频流),将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
OperA: Attention-Regularized Transformers for Surgical Phase Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们介绍了OperA,一个基于变换的模型,准确地预测手术阶段从长视频序列。一种新的注意力正则化损失鼓励模型在训练过程中专注于高质量的帧。此外,注意力权重用于识别每个手术阶段的特征高注意力帧,其可以进一步用于手术总结。OperA在两个腹腔镜胆囊切除术视频数据集上进行了全面评估,优于各种最先进的时间细化方法。
2021-03-05 cs.AI cs.CV
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University(布拉维贾亚大学)
针对Transformer参数量大、效率低的问题,提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin,在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute, CUHK(香港中文大学T石机器人研究所)
实时手术时相识别是现代手术室中的一项基本任务。以前的作品解决这个任务依赖于安排在时空顺序的架构,但是,中间空间功能的支持性的好处没有被考虑。在本文中,我们介绍,第一次在手术工作流程分析,Transformer重新考虑被忽视的互补作用的空间和时间的功能,准确的手术阶段识别。我们的混合嵌入聚合Transformer融合了巧妙设计的空间和时间嵌入,允许基于时间嵌入序列的空间信息进行主动查询。更重要的是,我们的框架并行处理混合嵌入,以实现高推理速度。我们的方法在两个大型手术视频数据集上进行了彻底验证,即,Cholec80和M2CAI 16挑战数据集,并以91 fps的处理速度优于最先进的方法。
2021-07-12 cs.AI cs.CV
Forensic License Plate Recognition with Compression-Informed Transformers
Federal Criminal Police Office (BKA)(联邦刑事警察局(BKA));Univ. of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Multimedia Communications and Signal Processing(多媒体通信与信号处理)
本文提出一种嵌入压缩级别知识的侧信息引导Transformer架构,用于从高度压缩或低分辨率监控画面中识别无法读取的车牌,在真实与合成数据集上均优于现有方法,且参数更少、识别准确率最高提升8.9个百分点。
2024-05-03 cs.AI cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Alberta(阿尔伯塔大学)
针对视频暴力识别任务,提出基于强化学习路由器的视觉Transformer混合专家系统,结合大型与高效Transformer架构,在RWF数据集上准确率达92.4%,优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Collaborative Transformers for Grounded Situation Recognition
POSTECH(浦项科技大学)
接地的情况识别是预测的主要活动,在活动中扮演某些角色的实体,并在给定的图像中的实体的边界框接地的任务。为了有效地处理这一具有挑战性的任务,我们引入了一种新的方法,其中活动分类和实体估计的两个过程是交互和互补的。为了实现这一想法,我们提出了协作的一瞥,凝视变换器(CoFormer),由两个模块组成:活动分类的一瞥Transformer和凝视Transformer实体估计。Glance Transformer借助分析实体及其关系的Gaze Transformer预测主要活动,而Gaze Transformer通过仅关注与Glance Transformer预测的活动相关的实体来估计接地实体。我们的CoFormer在SWiG数据集上的所有评估指标上都达到了最先进的水平。训练代码和模型权重可在https://github.com/jhcho99/CoFormer上获得。
2022-03-30 cs.AI cs.CV cs.LG
Face Transformer for Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
最近,人们对Transformer的兴趣越来越大,不仅在NLP中,而且在计算机视觉中。我们想知道Transformer是否可以用于人脸识别,以及它是否比CNN更好。因此,我们研究了Transformer模型在人脸识别中的性能。考虑到原有的Transformer算法可能会忽略面片间的信息,本文对面片生成过程进行了改进,使生成的标记带有相互重叠的滑动面片。这些模型在CASIA-WebFace和MS-Celeb-1 M数据库上进行了训练,并在几个主流基准上进行了评估,包括LFW,SLLFW,CALFW,CPLFW,TALFW,CFP-FP,AGEDB和IJB-C数据库。我们证明了在大规模数据库MS-Celeb-1 M上训练的Face Transformer模型具有与CNN相似的参数和MAC数量。为了便于进一步研究,Face Transformer模型和代码可在https://github.com/zhongyy/Face-Transformer上获得。
2021-04-13 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research(百度研究院);University of Amsterdam(阿姆斯特丹大学)
受CNN在图像识别中取得的巨大成功的启发,基于视图的方法应用CNN对投影视图进行建模,以实现3D对象理解,并取得了优异的性能。然而,多视图CNN模型不能对来自不同视图的块之间的通信进行建模,从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发,我们提出了一种用于三维物体识别的多视角视觉Transformer(MVT)。由于Transformer块中的每个补丁特征具有全局接收场,因此它自然地实现了来自不同视图的补丁之间的通信。同时,与CNN相比,它需要更少的归纳偏差。考虑到有效性和效率,我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试,ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Robust Face Recognition via Block Sparse Bayesian Learning
Southwestern University of Finance and Economics(西南财经大学);University of California at San Diego(加州大学圣迭戈分校);Samsung R&D Institute America - Dallas(三星美国研究院达拉斯分院)
人脸识别是模式识别和计算机视觉的重要研究课题。稀疏表示(SR)已被证明是一个强大的框架FR。一般情况下,SR算法将训练数据集中的每个人脸作为基函数,并试图在这些基函数下找到测试人脸的稀疏表示。然后,稀疏表示系数提供识别提示。早期的SR算法是基于一个基本的稀疏模型。最近,已经发现基于块稀疏模型的算法可以实现更好的识别率。基于这个模型,在这项研究中,我们使用块稀疏贝叶斯学习(BSBL)找到一个稀疏表示的测试人脸识别。BSBL是最近提出的一个框架,它具有许多优点,现有的块稀疏模型为基础的算法。在Extended Yale B、AR和CMU PIE人脸数据库上的实验结果表明,在大多数情况下,使用BSBL可以获得比现有算法更好的识别率和更高的鲁棒性。
2013-09-18 cs.CV
Grounded Situation Recognition with Transformers
POSTECH(浦项科技大学)
基于情境的识别(Grounded Situation Recognition,GSR)是一种不仅对显著动作(动词)进行分类,而且预测与语义角色相关的实体(名词)及其在给定图像中的位置的任务。受Transformers在视觉任务中取得的巨大成功的启发,我们提出了一个基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制能够有效地捕捉图像的高层语义特征,实现动词的准确分类,并能灵活地处理实体间复杂的、依赖于图像的关系,提高名词的分类和定位能力。我们的模型是GSR的第一个Transformer架构,并在SWiG基准测试的每个评估指标上达到了最先进的水平。我们的代码可在https://github.com/jhcho99/gsrtr上获得。
2021-11-19 cs.AI cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
DTrOCR: Decoder-only Transformer for Optical Character Recognition
Fast Accounting Co., Ltd.(Fast Accounting株式会社)
本研究提出DTrOCR,一种仅解码器Transformer的文本识别方法,利用预训练生成语言模型,在印刷、手写和场景文本识别上大幅超越现有最先进方法。
2023-08-30 cs.CV
Hybrid CNN-Transformer Model For Facial Affect Recognition In the ABAW4 Challenge
University of Electronic Science and Technology of China(电子科技大学)
本文介绍了我们提交的第四届情感行为分析(ABAW)的竞争。针对多任务学习(MTL)和从合成数据学习(LSD)任务,提出了一种混合CNN-Transformer模型。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-07-20 cs.CV
Actor-Transformers for Group Activity Recognition
University of Amsterdam(阿姆斯特丹大学);Sportlogiq
本文致力于从视频中识别个人行为和群体活动。虽然现有的解决方案,这个具有挑战性的问题明确的模型的空间和时间关系的基础上的位置的个人演员,我们提出了一个演员变压器模型能够学习和选择性地提取相关的信息,群体活动识别。我们为Transformer提供了丰富的特定于演员的静态和动态表示,这些表示分别由来自2D姿势网络和3D CNN的特征表示。我们实证研究不同的方式来结合这些表示,并显示其互补的好处。实验表明了什么是重要的转换和它应该如何转换。更重要的是,演员变压器实现国家的最先进的结果在两个公开可用的基准组活动的认可,表现优于以前最好的公布结果的相当大的利润。
2020-03-28 cs.CV
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire(贝德福德大学)
本文提出隐式稀疏风格的Batch Transformer架构,通过仅关注重要维度缩小编解码网络瓶颈,在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Spatial Transformer Network on Skeleton-based Gait Recognition
South China University of Technology(华南理工大学)
步态识别模型的Rank-1识别率从正常行走的90%到穿大衣行走的70%不等,鲁棒性差。在这项工作中,我们提出了一个国家的最先进的鲁棒的基于卷积的步态识别模型称为步态TR,这是基于空间Transformer框架和时间卷积网络的组合。Gait-TR在步态数据集CASIA-B上实现了比其他基于机器学习的步态模型更高的精度和更好的鲁棒性。特别是在穿着外套行走的情况下,Gait-TR的Rank-1步态识别准确率达到90%,高于基于轮廓的步态识别模型的最佳结果,而基于轮廓的步态识别模型通常具有更高的准确率。此外,我们在CASIA-B上的实验表明,空间Transformer可以更好地从人体骨骼提取步态特征比广泛使用的图卷积网络。
2022-04-08 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition
University of California, Irvine(加州大学欧文分校)
本文提出TACO方法,通过Transformer对比元学习合成虚拟目标域并引入监督对比损失,以解决低资源条件下人类活动识别中的分布偏移问题,实验证明其在多种低资源场景下性能显著提升。
2024-12-28 cs.AI cs.CV cs.LG
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人(2009)的论文“Robust Face Recognition via Sparse Representation”,其示出了在某些技术条件下,如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中,我们试图澄清一些经常遇到的问题,这项工作,特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University(厦门大学);University of Waterloo(滑铁卢大学);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一种有效的场景文本识别方法,使用稀疏编码的基础上的功能,称为稀疏编码直方图(HSC)功能。对于字符检测,我们使用的HSC功能,而不是使用直方图的方向一致性(HOG)功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码,并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别,我们整合了多个线索,包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差(MCE)训练方法来学习。在几个具有挑战性的数据集上的实验表明,所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法,并且优于大多数最先进的方法。
2015-12-29 cs.CV
Offline Handwritten Mathematical Recognition using Adversarial Learning and Transformers
Panjab University(旁遮普大学)
脱机手写数学表达式识别(HMER)是数学表达式识别领域的一个重要研究方向。由于缺乏时间信息和写作风格的可变性,离线HMER通常被视为比在线HMER更难的问题。在本文中,我们提出了一个使用配对对抗学习的编码器-解码器模型。从手写数学表达式图像和它们在编码器中的印刷数学表达式对应物中提取语义不变特征。语义不变特征的学习结合DenseNet编码器和Transformer解码器,帮助我们提高了以前研究的表达率。在CROHME数据集上进行评估,我们已经能够将最新的CROHME 2019测试集结果提高约4%。
2022-08-20 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology(南京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
地点识别是一种识别重访地点的算法,在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品,如MLP、CNN、Transformer等,在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一,但点云Transformer网络的内存消耗大、计算量大,不利于在移动或嵌入式设备中广泛部署。为了解决这个问题,我们提出了一个二进制点云Transformer的地点识别。因此,32位全精度模型可以减少到1位模型,具有更少的内存占用和更快的二进制逐位操作。据我们所知,这是第一个可以部署在移动设备上的二进制点云Transformer,用于在线应用,如位置识别。在多个标准基准上的实验表明,该方法可以获得与相应的全精度Transformer模型相当的结果,甚至优于一些全精度深度学习方法。例如,在Oxford RobotCar数据集上,就平均召回率的度量而言,所提出的方法在顶部@1%处达到93.28%,在顶部@1%处达到85.74%。同时,在相同的Transformer结构下,模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University(南开大学);ByteDance(字节跳动)
本文并不试图设计一个国家的最先进的视觉识别方法,但研究了一种更有效的方法,利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理,我们提出通过利用卷积调制操作来简化自注意。我们表明,这种简单的方法可以更好地利用卷积层中嵌套的大内核(>=7x7)。我们使用所提出的卷积调制构建了一系列分层ConvNets,称为Conv2Former。我们的网络是简单和易于遵循。实验表明,我们的Conv2Former在所有ImageNet分类,COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer,如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
TrueType Transformer: Character and Font Style Recognition in Outline Format
Kyushu University(九州大学)
我们提出了TrueType Transformer(T3),它可以执行字符和字体识别的轮廓格式。轮廓格式(如TrueType)将每个字符表示为笔划轮廓的控制点序列,并经常用于数字文档。T3由一个深度神经网络组织,即所谓的Transformer。Transformer最初是针对连续数据(如文本)提出的,因此适合处理大纲数据。换句话说,T3直接接受轮廓数据而不将其转换成位图图像。因此,T3实现了与分辨率无关的分类。此外,由于控制点的位置表示字体样式的精细和局部结构,因此T3适合于字体样式分类,其中这种结构非常重要。在本文中,我们通过实验证明了T3在字符和字体识别任务中的适用性,同时观察各个控制点对分类结果的贡献。
2022-03-11 cs.CV
Traffic Sign Recognition Using Local Vision Transformer
Iran University of Science and Technology(伊朗科技大学)
本文提出一种融合卷积块和Transformer块并加入局部模块的混合模型,用于交通标志识别,在德国和波斯数据集上分别达到99.66%和99.8%的准确率,优于现有模型且推理速度快。
2023-11-11 cs.CV
Pose Recognition with Cascade Transformers
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出了一种基于回归的级联Transformers姿态识别方法。对该领域现有方法进行分类的一种方法是将它们分为1)。基于热图和2)。回归为基础。一般来说,基于热图的方法实现了更高的准确性,但受到各种启发式设计(大多不是端到端)的影响,而基于回归的方法实现了相对较低的准确性,但它们具有较少的中间不可微步骤。在这里,我们利用Transformers中的编码器-解码器结构来执行基于回归的人和关键点检测,该检测是通用的,并且与现有方法相比需要较少的启发式设计。我们展示了关键点假设(查询)在不同自我注意层上的细化过程,以揭示Transformers中的递归自我注意力机制。在实验中,我们报告的姿态识别与竞争的回归为基础的方法相比,具有竞争力的结果。
2021-04-14 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University(淡江大学);National Cheng Kung University(台湾成功大学)
随着Transformer在自然语言处理领域的研究成果,Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来,在计算机视觉的多个任务(图像分类、对象检测、语义分割等)中,现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后,越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上,结合金字塔结构,采用分裂-变换-合并的方法,提出了分组编码器,并将其网络结构命名为聚合金字塔视觉Transformer(APVT)。我们在CIFAR-10数据集上执行图像分类任务,在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比,APVT在降低计算代价的同时,具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
MSdocTr-Lite: A Lite Transformer for Full Page Multi-script Handwriting Recognition
InstaDeep(InstaDeep公司);Digital Research Center of Sfax(斯法克斯数字研究中心)
Transformer由于其远程表示能力,已迅速成为各种模式识别任务的主导架构。然而,Transformers是数据饥渴的模型,需要大量的数据集进行训练。在手写文本识别(HTR)中,收集大量的标记数据是一项复杂而昂贵的任务。在本文中,我们提出了一个精简的Transformer架构,用于整页多手写体手写识别。该模型有三个优点:首先,为了解决数据稀缺的常见问题,我们提出了一个精简的Transformer模型,可以在合理数量的数据上进行训练,这是大多数HTR公共数据集的情况,而不需要外部数据。其次,由于课程学习策略,它可以学习页面级别的阅读顺序,从而避免行分割错误,利用更大的上下文并减少对昂贵的分割注释的需求。第三,它可以很容易地适应其他脚本,通过应用一个简单的迁移学习过程,只使用页面级标记的图像。在不同脚本(法语、英语、西班牙语和阿拉伯语)的不同数据集上进行的大量实验表明了该模型的有效性。
2023-03-24 cs.CV
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology(南京理工大学);University of Macau(澳门大学)
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性,本文研究了基于变换器的网络特征提取方法,提出了一种基于层次Transformer的位置识别方法(HiTPR)。HiTPR由四个主要部分组成:点单元生成、短程Transformer(SRT)、长程Transformer(LRT)和全局描述符聚合。具体地说,点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中,我们提取每个点细胞的局部特征。而在LRT中,我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性,例如在Oxford RobotCar数据集上,前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
Transformers For Recognition In Overhead Imagery: A Reality Check
Duke University(杜克大学);University of Montana(蒙大拿大学)
有证据表明,Transformers提供了最先进的识别性能的任务,涉及架空图像(例如,卫星图像)。然而,很难在相互竞争的深度学习模型之间进行无偏见的实证比较,因此不清楚基于transformer的模型是否以及在多大程度上是有益的。在本文中,我们系统地比较了将Transformer结构添加到最先进的高架图像分割模型中的影响。每个模型都有一个类似的自由参数预算,它们的超参数使用贝叶斯优化进行优化,具有固定的数据量和计算时间。我们使用大型且多样化的数据集进行实验,该数据集包括两个大型公共基准:Inria和DeepGlobe。我们进行了额外的消融研究,以探索特定的基于变压器的建模选择的影响。我们的研究结果表明,Transformers提供一致的,但适度的,性能改善。然而,我们只在结合卷积和基于transformer的结构的混合模型中观察到这种优势,而完全基于transformer的模型实现了相对较差的性能。
2022-10-31 cs.CV
Multi-view Gait Recognition based on Siamese Vision Transformer
Yunnan Normal University(云南师范大学)
虽然视觉Transformer已被用于步态识别,但其在多视角步态识别中的应用仍然有限。不同视角对步态轮廓特征的提取和识别精度有显著影响。为了解决这个问题,本文提出了一个暹罗移动视觉Transformer(SMViT)。该模型不仅关注了人体步态空间的局部特征,而且考虑了远距离注意关联的特征,能够提取多维步态状态特征。此外,它描述了不同的视角如何影响步态特征,并生成可靠的视角特征关系因子。SMViT在CASIA B数据集上的平均识别率达到96.4%。实验结果表明,与步态GAN、多视角GAN、Posegait等先进的步态识别模型相比,SMViT具有更好的识别性能。
2022-10-19 cs.CV cs.LG
Agriculture-Vision Challenge 2022 -- The Runner-Up Solution for Agricultural Pattern Recognition via Transformer-based Models
PAII Inc.(PAII公司);Ping An Bank Co., Ltd(平安银行股份有限公司)
CVPR中的视觉挑战赛是全球研究人员打破计算机视觉与农业部门之间界限的最著名和最具竞争力的挑战之一,旨在从航空图像中进行农业模式识别。在本文中,我们提出了CVPR 2022中第三个视觉挑战的解决方案。我们利用数据预处理方案和几个基于Transformer的模型以及数据增强技术,实现了0.582的mIoU,在这项挑战中获得第二名。
2022-06-23 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的,由于文本的形状,字体,颜色,背景等大的变化,大多数国家的最先进的算法纠正输入图像到归一化的图像,然后把识别作为一个序列预测任务。这类方法的瓶颈是校正,这将导致错误,由于失真的角度。在本文中,我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此,我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56,34]不同,该模型仅使用Transformer的解码器来解码卷积注意力,所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式,我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明,所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一,其最先进的预测准确率为89.6%,我们的方法达到了99.3%,这是一个非常令人惊讶的结果。我们将公布我们的源代码,并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
SaiT: Sparse Vision Transformers through Adaptive Token Pruning
Samsung Semiconductor Inc.(三星半导体公司)
虽然视觉Transformer已经取得了令人印象深刻的结果,有效和高效地加速这些模型可以进一步提高性能。在这项工作中,我们提出了一个密集/稀疏的训练框架,以获得一个统一的模型,使不同的令牌密度的权重共享。因此,一个模型为不同的应用提供了一系列的准确性和吞吐量权衡。此外,我们引入自适应标记修剪,以优化基于输入图像的补丁标记稀疏度。此外,我们研究知识蒸馏,以提高令牌选择能力的早期Transformer模块。稀疏自适应图像Transformer(SaiT)仅通过动态改变令牌稀疏度来提供不同级别的模型加速。具体而言,SaiT将计算复杂度(FLOPs)降低了39% - 43%,并将吞吐量提高了67% - 91%,而各种视觉Transformer模型的准确性损失小于0.5%。同时,同一模型还通过跳过稀疏化步骤提供了零精度下降选项。SaiT实现了比最先进的Transformer和卷积模型更好的精度和计算权衡。
2022-10-11 cs.CV