Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University（中央昆士兰大学）
本文提出Dark Transformer，通过视频Transformer的时空自注意力机制学习跨域知识，在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
Efficient Mixed-Type Wafer Defect Pattern Recognition Using Compact Deformable Convolutional Transformers
针对混合型晶圆缺陷模式识别，提出紧凑可变形卷积变换器（DC Transformer），利用可变形核与多头注意力建模全局特征，在38种缺陷模式真实数据集上显著超越现有模型。
2023-10-17 cs.CV cs.LG
Ensemble Learning using Transformers and Convolutional Networks for Masked Face Recognition
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油与矿产大学人工智能联合研究中心）
戴口罩是我们为减少冠状病毒传播而不得不遵循的调整之一。我们的脸经常被面具覆盖，这就需要了解和研究这种行为如何影响人脸识别系统的识别能力。当前的人脸识别系统在处理无约束的一般人脸识别情况时具有非常高的准确率，但在处理被遮挡的蒙面人脸时不能很好地推广。在这项工作中，我们提出了一个蒙面人脸识别系统。所提出的系统包括两个卷积神经网络（CNN）模型和两个Transformer模型。CNN模型已经在FaceNet预训练模型上进行了微调。我们使用多数投票技术集成了四个模型的预测，以识别戴面具的人。建议的系统进行了评估，在这项工作中创建的综合屏蔽LFW数据集。使用集成模型获得最佳精度，精度为92%。该识别率优于其他模型的准确性，这表明该模型用于识别蒙面人脸的正确性和鲁棒性。代码和数据可在https://github.com/Hamzah-Luqman/MFR上获得
2022-10-10 cs.CV cs.LG
Multiview Transformers for Video Recognition
Google Research（谷歌研究院）；Michigan State University（密歇根州立大学）；Brown University（布朗大学）
视频理解需要在多个时空分辨率上进行推理--从短的细粒度运动到在较长持续时间内发生的事件。虽然Transformer架构最近已经发展到最先进的水平，但它们没有明确地对不同的时空分辨率进行建模。为此，我们提出了多视图Transformers的视频识别（MTV）。我们的模型由独立的编码器组成，用于表示输入视频的不同视图，并通过横向连接来融合视图之间的信息。我们提出了彻底的消融研究，我们的模型，并表明MTV一贯表现优于单视图同行的精度和计算成本在一系列的模型尺寸。此外，我们在六个标准数据集上实现了最先进的结果，并通过大规模预训练进一步改进。代码和检查点可在https://github.com/google-research/scenic/tree/main/scenic/projects/mtv上获得。
2022-05-31 cs.CV cs.LG
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Reinforcement Learning-based Mixture of Vision Transformers for Video Violence Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Alberta（阿尔伯塔大学）
针对视频暴力识别任务，提出基于强化学习路由器的视觉Transformer混合专家系统，结合大型与高效Transformer架构，在RWF数据集上准确率达92.4%，优于CNN模型且降低了计算成本。
2023-10-04 cs.CV
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield（谢菲尔德大学）；Speechmatics
在视频动作识别中，Transformers始终达到最先进的精度。然而，对于硬件资源有限的普通研究人员来说，许多模型过于重量级。在这项工作中，我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率，并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类，并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好，尽管缺乏准确性。同时，仅注意力模型需要更多的运动建模能力，而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论，目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别，并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
Collaborative Transformers for Grounded Situation Recognition
POSTECH（浦项科技大学）
接地的情况识别是预测的主要活动，在活动中扮演某些角色的实体，并在给定的图像中的实体的边界框接地的任务。为了有效地处理这一具有挑战性的任务，我们引入了一种新的方法，其中活动分类和实体估计的两个过程是交互和互补的。为了实现这一想法，我们提出了协作的一瞥，凝视变换器（CoFormer），由两个模块组成：活动分类的一瞥Transformer和凝视Transformer实体估计。Glance Transformer借助分析实体及其关系的Gaze Transformer预测主要活动，而Gaze Transformer通过仅关注与Glance Transformer预测的活动相关的实体来估计接地实体。我们的CoFormer在SWiG数据集上的所有评估指标上都达到了最先进的水平。训练代码和模型权重可在https://github.com/jhcho99/CoFormer上获得。
2022-03-30 cs.AI cs.CV cs.LG
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology（高等技术研究生院）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；University of Isfahan（伊斯法罕大学）
在基于视觉的动作识别中，来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而，在基于深度的方法中，存在诸如预先计算的运动特征、三维（3D）滤波器和递归神经网络（RNN）之类的有限方法来对运动信息进行建模。最近，Transformers在自然语言处理（NLP）任务中成功地建模了长距离依赖关系，这引起了其他领域的极大关注;包括语音，图像和视频，完全依赖于自我注意力，而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的，在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法，使用Transformers的时间建模，讨论其主要特点，使用的方式，并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Face Transformer for Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
最近，人们对Transformer的兴趣越来越大，不仅在NLP中，而且在计算机视觉中。我们想知道Transformer是否可以用于人脸识别，以及它是否比CNN更好。因此，我们研究了Transformer模型在人脸识别中的性能。考虑到原有的Transformer算法可能会忽略面片间的信息，本文对面片生成过程进行了改进，使生成的标记带有相互重叠的滑动面片。这些模型在CASIA-WebFace和MS-Celeb-1 M数据库上进行了训练，并在几个主流基准上进行了评估，包括LFW，SLLFW，CALFW，CPLFW，TALFW，CFP-FP，AGEDB和IJB-C数据库。我们证明了在大规模数据库MS-Celeb-1 M上训练的Face Transformer模型具有与CNN相似的参数和MAC数量。为了便于进一步研究，Face Transformer模型和代码可在https://github.com/zhongyy/Face-Transformer上获得。
2021-04-13 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Grounded Situation Recognition with Transformers
POSTECH（浦项科技大学）
基于情境的识别（Grounded Situation Recognition，GSR）是一种不仅对显著动作（动词）进行分类，而且预测与语义角色相关的实体（名词）及其在给定图像中的位置的任务。受Transformers在视觉任务中取得的巨大成功的启发，我们提出了一个基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制能够有效地捕捉图像的高层语义特征，实现动词的准确分类，并能灵活地处理实体间复杂的、依赖于图像的关系，提高名词的分类和定位能力。我们的模型是GSR的第一个Transformer架构，并在SWiG基准测试的每个评估指标上达到了最先进的水平。我们的代码可在https://github.com/jhcho99/gsrtr上获得。
2021-11-19 cs.AI cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）
最近，基于变换器的方法已被用于提高人类动作识别的性能。然而，大多数这些研究假设多视图数据是完整的，这可能并不总是在现实世界的情况下。因此，本文提出了一种新的多视图知识蒸馏Transformer（MKDT）框架，由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言，多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明，我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Part-based Face Recognition with Vision Transformers
Queen Mary University of London（伦敦玛丽女王大学）
使用CNN和基于边缘的损失的整体方法主导了人脸识别的研究。在这项工作中，我们从两个方面出发：（a）我们采用视觉Transformer作为一种架构，用于训练非常强大的人脸识别基线，简称为fViT，它已经超过了大多数最先进的人脸识别方法。(b)其次，我们利用Transformer的固有属性来处理从不规则网格中提取的信息（视觉令牌），以设计一个用于人脸识别的管道，这让人想起基于部分的人脸识别方法。我们的管道称为fViT部分，它只是包括一个轻量级网络来预测面部地标的坐标，然后是视觉Transformer对从预测的地标中提取的补丁进行操作，并且它是端到端训练的，没有地标监督。通过学习提取有区别的斑块，我们基于零件的Transformer进一步提高了视觉Transformer基线的准确性，在多个人脸识别基准测试中达到了最先进的准确性。
2022-11-30 cs.AI cs.CV
DTrOCR: Decoder-only Transformer for Optical Character Recognition
Fast Accounting Co., Ltd.（Fast Accounting株式会社）
本研究提出DTrOCR，一种仅解码器Transformer的文本识别方法，利用预训练生成语言模型，在印刷、手写和场景文本识别上大幅超越现有最先进方法。
2023-08-30 cs.CV
Co-training Transformer with Videos and Images Improves Action Recognition
USC（南加州大学）；Google Brain（谷歌大脑）；Apple AI（苹果人工智能）；Google Research（谷歌研究院）
在学习动作识别时，模型通常会在图像对象识别（如ImageNet）上进行预训练，然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能，特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别，较少的努力已经取得了如何训练视频Transformers。在这项工作中，我们探讨了几种培训模式，并提出了两个发现。首先，视频Transformers受益于对不同视频数据集和标签空间（例如，Kinetics关注的是外观，而SomethingSomething关注的是运动）。其次，通过进一步与图像（如单帧视频）进行共同训练，视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition（CoVeR）。特别是，在基于TimeSFormer架构的ImageNet-21 K上进行预训练时，CoVeR将Kinetics-400 Top-1准确度提高了2.4%，Kinetics-600提高了2.3%，SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时，CoVeR在Kinetics-400（87.2%）、Kinetics-600（87.9%）、Kinetics-700（79.8%…
2021-12-14 cs.CV
Hybrid CNN-Transformer Model For Facial Affect Recognition In the ABAW4 Challenge
University of Electronic Science and Technology of China（电子科技大学）
本文介绍了我们提交的第四届情感行为分析（ABAW）的竞争。针对多任务学习（MTL）和从合成数据学习（LSD）任务，提出了一种混合CNN-Transformer模型。在验证数据集上的实验结果表明，该方法比基线模型具有更好的性能，验证了该网络的有效性。
2022-07-20 cs.CV
Transformer-based Action recognition in hand-object interacting scenarios
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院（UNIST））
本报告介绍了ECCV 2022人体、手和活动（HBHA）的第二名解决方案，该解决方案来自以自我为中心和多视角相机挑战赛：动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架，估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
2022-10-20 cs.CV
Actor-Transformers for Group Activity Recognition
University of Amsterdam（阿姆斯特丹大学）；Sportlogiq
本文致力于从视频中识别个人行为和群体活动。虽然现有的解决方案，这个具有挑战性的问题明确的模型的空间和时间关系的基础上的位置的个人演员，我们提出了一个演员变压器模型能够学习和选择性地提取相关的信息，群体活动识别。我们为Transformer提供了丰富的特定于演员的静态和动态表示，这些表示分别由来自2D姿势网络和3D CNN的特征表示。我们实证研究不同的方式来结合这些表示，并显示其互补的好处。实验表明了什么是重要的转换和它应该如何转换。更重要的是，演员变压器实现国家的最先进的结果在两个公开可用的基准组活动的认可，表现优于以前最好的公布结果的相当大的利润。
2020-03-28 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
随着近年来视觉Transformer研究的兴起，它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中，我们提出了经验的结果，训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说，我们探索视频视觉Transformer的训练技术，如增强，分辨率以及初始化等。使用我们的训练配方，单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能，比原始论文中报道的性能高出3.4%。我们发现，视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是，即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此，我们结合视频视觉Transformer和一些卷积视频网络，并提出我们的解决方案，EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University（赫尔万大学）
这项研究是第二阶段，在一系列的调查，发展光学字符识别（OCR）的阿拉伯历史文件，并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小，由于缺乏资源，我们的3000万张图像中只有15000张图像。此外，我们还添加了图像增强层、时间和空间优化以及后校正层，以帮助模型预测正确上下文的正确单词。值得注意的是，我们提出了一种端到端的文本识别方法，使用视觉Transformer作为编码器，即BEIT，并使用vanilla Transformer作为解码器，消除了用于特征提取的CNN，并降低了模型的复杂性。实验表明，我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire（贝德福德大学）
本文提出隐式稀疏风格的Batch Transformer架构，通过仅关注重要维度缩小编解码网络瓶颈，在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Spatial Transformer Network on Skeleton-based Gait Recognition
South China University of Technology（华南理工大学）
步态识别模型的Rank-1识别率从正常行走的90%到穿大衣行走的70%不等，鲁棒性差。在这项工作中，我们提出了一个国家的最先进的鲁棒的基于卷积的步态识别模型称为步态TR，这是基于空间Transformer框架和时间卷积网络的组合。Gait-TR在步态数据集CASIA-B上实现了比其他基于机器学习的步态模型更高的精度和更好的鲁棒性。特别是在穿着外套行走的情况下，Gait-TR的Rank-1步态识别准确率达到90%，高于基于轮廓的步态识别模型的最佳结果，而基于轮廓的步态识别模型通常具有更高的准确率。此外，我们在CASIA-B上的实验表明，空间Transformer可以更好地从人体骨骼提取步态特征比广泛使用的图卷积网络。
2022-04-08 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition
University of California, Irvine（加州大学欧文分校）
本文提出TACO方法，通过Transformer对比元学习合成虚拟目标域并引入监督对比损失，以解决低资源条件下人类活动识别中的分布偏移问题，实验证明其在多种低资源场景下性能显著提升。
2024-12-28 cs.AI cs.CV cs.LG
Offline Handwritten Mathematical Recognition using Adversarial Learning and Transformers
Panjab University（旁遮普大学）
脱机手写数学表达式识别（HMER）是数学表达式识别领域的一个重要研究方向。由于缺乏时间信息和写作风格的可变性，离线HMER通常被视为比在线HMER更难的问题。在本文中，我们提出了一个使用配对对抗学习的编码器-解码器模型。从手写数学表达式图像和它们在编码器中的印刷数学表达式对应物中提取语义不变特征。语义不变特征的学习结合DenseNet编码器和Transformer解码器，帮助我们提高了以前研究的表达率。在CROHME数据集上进行评估，我们已经能够将最新的CROHME 2019测试集结果提高约4%。
2022-08-20 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
地点识别是一种识别重访地点的算法，在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品，如MLP、CNN、Transformer等，在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一，但点云Transformer网络的内存消耗大、计算量大，不利于在移动或嵌入式设备中广泛部署。为了解决这个问题，我们提出了一个二进制点云Transformer的地点识别。因此，32位全精度模型可以减少到1位模型，具有更少的内存占用和更快的二进制逐位操作。据我们所知，这是第一个可以部署在移动设备上的二进制点云Transformer，用于在线应用，如位置识别。在多个标准基准上的实验表明，该方法可以获得与相应的全精度Transformer模型相当的结果，甚至优于一些全精度深度学习方法。例如，在Oxford RobotCar数据集上，就平均召回率的度量而言，所提出的方法在顶部@1%处达到93.28%，在顶部@1%处达到85.74%。同时，在相同的Transformer结构下，模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University（南开大学）；ByteDance（字节跳动）
本文并不试图设计一个国家的最先进的视觉识别方法，但研究了一种更有效的方法，利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理，我们提出通过利用卷积调制操作来简化自注意。我们表明，这种简单的方法可以更好地利用卷积层中嵌套的大内核（>=7x7）。我们使用所提出的卷积调制构建了一系列分层ConvNets，称为Conv2Former。我们的网络是简单和易于遵循。实验表明，我们的Conv2Former在所有ImageNet分类，COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer，如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
TrueType Transformer: Character and Font Style Recognition in Outline Format
Kyushu University（九州大学）
我们提出了TrueType Transformer（T3），它可以执行字符和字体识别的轮廓格式。轮廓格式（如TrueType）将每个字符表示为笔划轮廓的控制点序列，并经常用于数字文档。T3由一个深度神经网络组织，即所谓的Transformer。Transformer最初是针对连续数据（如文本）提出的，因此适合处理大纲数据。换句话说，T3直接接受轮廓数据而不将其转换成位图图像。因此，T3实现了与分辨率无关的分类。此外，由于控制点的位置表示字体样式的精细和局部结构，因此T3适合于字体样式分类，其中这种结构非常重要。在本文中，我们通过实验证明了T3在字符和字体识别任务中的适用性，同时观察各个控制点对分类结果的贡献。
2022-03-11 cs.CV
Traffic Sign Recognition Using Local Vision Transformer
Iran University of Science and Technology（伊朗科技大学）
本文提出一种融合卷积块和Transformer块并加入局部模块的混合模型，用于交通标志识别，在德国和波斯数据集上分别达到99.66%和99.8%的准确率，优于现有模型且推理速度快。
2023-11-11 cs.CV
Pose Recognition with Cascade Transformers
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出了一种基于回归的级联Transformers姿态识别方法。对该领域现有方法进行分类的一种方法是将它们分为1）。基于热图和2）。回归为基础。一般来说，基于热图的方法实现了更高的准确性，但受到各种启发式设计（大多不是端到端）的影响，而基于回归的方法实现了相对较低的准确性，但它们具有较少的中间不可微步骤。在这里，我们利用Transformers中的编码器-解码器结构来执行基于回归的人和关键点检测，该检测是通用的，并且与现有方法相比需要较少的启发式设计。我们展示了关键点假设（查询）在不同自我注意层上的细化过程，以揭示Transformers中的递归自我注意力机制。在实验中，我们报告的姿态识别与竞争的回归为基础的方法相比，具有竞争力的结果。
2021-04-14 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
MSdocTr-Lite: A Lite Transformer for Full Page Multi-script Handwriting Recognition
InstaDeep（InstaDeep公司）；Digital Research Center of Sfax（斯法克斯数字研究中心）
Transformer由于其远程表示能力，已迅速成为各种模式识别任务的主导架构。然而，Transformers是数据饥渴的模型，需要大量的数据集进行训练。在手写文本识别（HTR）中，收集大量的标记数据是一项复杂而昂贵的任务。在本文中，我们提出了一个精简的Transformer架构，用于整页多手写体手写识别。该模型有三个优点：首先，为了解决数据稀缺的常见问题，我们提出了一个精简的Transformer模型，可以在合理数量的数据上进行训练，这是大多数HTR公共数据集的情况，而不需要外部数据。其次，由于课程学习策略，它可以学习页面级别的阅读顺序，从而避免行分割错误，利用更大的上下文并减少对昂贵的分割注释的需求。第三，它可以很容易地适应其他脚本，通过应用一个简单的迁移学习过程，只使用页面级标记的图像。在不同脚本（法语、英语、西班牙语和阿拉伯语）的不同数据集上进行的大量实验表明了该模型的有效性。
2023-03-24 cs.CV
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性，本文研究了基于变换器的网络特征提取方法，提出了一种基于层次Transformer的位置识别方法（HiTPR）。HiTPR由四个主要部分组成：点单元生成、短程Transformer（SRT）、长程Transformer（LRT）和全局描述符聚合。具体地说，点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中，我们提取每个点细胞的局部特征。而在LRT中，我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性，例如在Oxford RobotCar数据集上，前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
VORTEX: Challenging CNNs at Texture Recognition by using Vision Transformers with Orderless and Randomized Token Encodings
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）；São Paulo State University（圣保罗州立大学）
本文提出VORTEX方法，通过从预训练ViT提取多深度令牌嵌入并进行无序编码与轻量级聚合，在不微调骨干的情况下结合线性SVM，在多个纹理数据集上达到或超越CNN的SOTA性能。
2025-03-09 cs.AI cs.CV cs.LG
Transformers For Recognition In Overhead Imagery: A Reality Check
Duke University（杜克大学）；University of Montana（蒙大拿大学）
有证据表明，Transformers提供了最先进的识别性能的任务，涉及架空图像（例如，卫星图像）。然而，很难在相互竞争的深度学习模型之间进行无偏见的实证比较，因此不清楚基于transformer的模型是否以及在多大程度上是有益的。在本文中，我们系统地比较了将Transformer结构添加到最先进的高架图像分割模型中的影响。每个模型都有一个类似的自由参数预算，它们的超参数使用贝叶斯优化进行优化，具有固定的数据量和计算时间。我们使用大型且多样化的数据集进行实验，该数据集包括两个大型公共基准：Inria和DeepGlobe。我们进行了额外的消融研究，以探索特定的基于变压器的建模选择的影响。我们的研究结果表明，Transformers提供一致的，但适度的，性能改善。然而，我们只在结合卷积和基于transformer的结构的混合模型中观察到这种优势，而完全基于transformer的模型实现了相对较差的性能。
2022-10-31 cs.CV
Agriculture-Vision Challenge 2022 -- The Runner-Up Solution for Agricultural Pattern Recognition via Transformer-based Models
PAII Inc.（PAII公司）；Ping An Bank Co., Ltd（平安银行股份有限公司）
CVPR中的视觉挑战赛是全球研究人员打破计算机视觉与农业部门之间界限的最著名和最具竞争力的挑战之一，旨在从航空图像中进行农业模式识别。在本文中，我们提出了CVPR 2022中第三个视觉挑战的解决方案。我们利用数据预处理方案和几个基于Transformer的模型以及数据增强技术，实现了0.582的mIoU，在这项挑战中获得第二名。
2022-06-23 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的，由于文本的形状，字体，颜色，背景等大的变化，大多数国家的最先进的算法纠正输入图像到归一化的图像，然后把识别作为一个序列预测任务。这类方法的瓶颈是校正，这将导致错误，由于失真的角度。在本文中，我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此，我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56，34]不同，该模型仅使用Transformer的解码器来解码卷积注意力，所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式，我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明，所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一，其最先进的预测准确率为89.6%，我们的方法达到了99.3%，这是一个非常令人惊讶的结果。我们将公布我们的源代码，并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
本文提出LORTSAR方法，利用奇异值分解压缩骨架动作识别Transformer模型并微调补偿，在NTU RGB+D等数据集上大幅减少参数且保持或提升精度。
2024-07-19 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.（卫士通信息产业股份有限公司）
场景文本识别（STR）使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息，除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers（MVLT）捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer，我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段：在第一阶段，我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段，我们微调我们的模型，并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
Learning Vision Transformer with Squeeze and Excitation for Facial Expression Recognition
Univ. Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）
在过去的几十年里，随着各种面部表情数据库的建立，面部表情识别（FER）任务引起了人们的极大兴趣。可用数据库的多个来源为面部识别任务提出了一些挑战。这些挑战通常由卷积神经网络（CNN）架构来解决。与CNN模型不同，最近提出了一种基于注意力机制的Transformer模型来处理视觉任务。Transformers的主要问题之一是需要大量数据进行训练，而与其他视觉应用程序相比，大多数FER数据库都是有限的。因此，在本文中，我们提出学习一个视觉Transformer联合挤压和激励（SE）块FER任务。该方法在不同的公开FER数据库，包括CK+，JAFFE，RAF-DB和SFEW上进行了评估。实验表明，我们的模型优于国家的最先进的方法CK+和SFEW和JAFFE和RAF-DB上取得竞争力的结果。
2021-07-16 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation
University of Surrey（萨里大学）；Microsoft（微软）
先前关于手语翻译的工作表明，具有中等水平的符号注释表示（有效地识别单个符号）可以大大提高翻译性能。事实上，目前最先进的翻译需要注释级别标记化才能工作。我们引入了一种新的基于Transformer的架构，该架构可以在端到端的方式下共同学习连续手语识别和翻译。这是通过使用一个连接时间分类（CTC）损失绑定到一个单一的统一架构的识别和翻译问题。这种联合方法不需要任何地面实况定时信息，同时解决了两个相互依赖的序列到序列学习问题，并导致显着的性能增益。我们评估了我们的方法在具有挑战性的RWTH-PHOENIX-Weather-2014 T（PHOENIX 14 T）数据集上的识别和翻译性能。我们报告了我们的手语Transformers所实现的最先进的手语识别和翻译结果。我们的翻译网络优于手语视频到口语和注释到口语翻译模型，在某些情况下，性能提高了一倍以上（9.58比21.80 BLEU-4分数）。我们还分享了使用Transformer网络进行其他几个文本到文本手语翻译任务的新基线翻译结果。
2020-03-30 cs.CL cs.CV cs.HC
Point Cloud Recognition with Position-to-Structure Attention Transformers
UC San Diego（加州大学圣地亚哥分校）；The Bishop’s School（毕晓普学校）
在本文中，我们提出了位置到结构的注意力Transformers（PS-Former），一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战，其中点没有定位在固定的网格结构中，并且具有有限的特征描述（只有分散点的3D坐标（$x, y, z$））。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里，我们介绍了PS-Former中的两个新方面：1）一个可学习的凝聚层，它执行点下采样和特征提取; 2）一个位置到结构注意力机制，它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比，虽然是通用的，较少的几何特征设计，PS-Former展示了三个三维点云任务，包括分类，部分分割和场景分割的竞争力的实验结果。
2022-10-05 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务，提出两阶段级联Transformer架构CascadeFormer，结合掩码预训练与级联微调，在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Vision Transformer Equipped with Neural Resizer on Facial Expression Recognition Task
KAIST（韩国科学技术院）；ACRYL
在野外条件下，面部表情识别经常面临低质量数据和不平衡、模糊标签的挑战。该领域从基于CNN的方法中受益匪浅;然而，CNN模型具有结构限制，无法看到远处的面部区域。作为补救措施，Transformer已被引入具有全局感受野的视野，但需要调整预训练模型的输入空间大小，以享受其强大的感应偏差。我们在这里提出一个问题，是否使用确定性插值方法是足够的低分辨率数据馈送到Transformer。在这项工作中，我们提出了一种新的训练框架，神经调整器，支持Transformer通过补偿信息和降尺度的数据驱动的方式训练与损失函数平衡的噪音和不平衡。实验表明，我们的F-PDLS损失函数的神经调整器提高了Transformer变体的性能，几乎达到了最先进的性能。
2022-04-05 cs.CV
ARST: Auto-Regressive Surgical Transformer for Phase Recognition from Laparoscopic Videos
Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）
相位识别在计算机辅助介入手术流程分析中起着至关重要的作用。Transformer最初是为自然语言处理中的序列数据建模而提出的，现已成功地应用于外科手术时相识别。现有的基于Transformer的研究主要集中在注意力依赖的建模上，没有引入自回归。在这项工作中，自回归手术Transformer，简称ARST，首次提出了在线手术阶段识别腹腔镜视频，建模的相位间的相关性隐含的条件概率分布。为了减少推理偏差和提高相位一致性，我们进一步发展了一种基于自回归的一致性约束推理策略。我们在一个著名的公共数据集Cholec80上进行了全面的验证。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性，并实现了每秒66帧（fps）的推理率。
2022-09-02 cs.AI cs.CV
TransVPR: Transformer-based place recognition with multi-level attention aggregation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
视觉位置识别对于自动驾驶导航和移动机器人定位等应用是一项具有挑战性的任务。复杂场景中的干扰元素往往会导致视觉场所感知的偏差。为了解决这个问题，它是至关重要的，以整合信息，只有任务相关的区域到图像表示。本文提出了一种基于视觉Transformer的全局位置识别模型TransVPR。它得益于Transformers中自我注意操作的理想属性，可以自然地聚合任务相关的特征。来自Transformer的多个级别的关注（其聚焦于不同的感兴趣区域）被进一步组合以生成全局图像表示。此外，从Transformer层过滤的融合注意力掩模的输出令牌被认为是关键补丁描述符，这是用来执行空间匹配重新排序的候选人检索的全局图像特征。整个模型允许端到端训练，具有单一目标和图像级监督。TransVPR在几个真实世界的基准测试中实现了最先进的性能，同时保持了较低的计算时间和存储要求。
2022-04-13 cs.CV
A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
Infrastructure University Kuala Lumpur（吉隆坡基建大学）
针对3D CNN难以建模长距离依赖与Transformer计算成本高的问题，提出融合两者的混合框架，通过提取局部时空特征与全局时间依赖提升识别准确率。
2025-08-02 cs.AI cs.CV
TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
Microsoft Research Asia（微软亚洲研究院）
文本识别是文献数字化的一个长期研究课题。现有的方法通常基于用于图像理解的CNN和用于字符级文本生成的RNN来构建。此外，作为后处理步骤，通常需要另一个语言模型来提高整体准确性。在本文中，我们提出了一个端到端的文本识别方法与预训练的图像Transformer和文本Transformer模型，即TrOCR，它利用Transformer架构的图像理解和单词级文本生成。TrOCR模型简单但有效，可以使用大规模合成数据进行预训练，并使用人工标记的数据集进行微调。实验结果表明，TrOCR模型在印刷体、手写体和场景文本识别任务上的性能优于当前最先进的模型。TrOCR模型和代码可在\url{https://aka.ms/trocr}上公开获得。
2022-09-06 cs.CL cs.CV
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University（启明大学）；Difine
在动作识别中，虽然时空视频和骨架特征的结合可以提高识别性能，但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题，我们提出了时空cRoss（STAR）-Transformer，它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先，从输入的视频和骨架序列，视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌，分别。然后，这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意（FAttn）模块和建议的锯齿形时空注意（ZAttn）模块组成。类似地，连续解码器由FAttn模块和建议的二进制时空注意力（BAttn）模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明，该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University（查尔斯特大学）；University of Western Austrlia（西澳大学）
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中，人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上，同时突出了流行的趋势，适应Transformers的动作识别。由于它们的特殊应用，我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类，基于其架构，模态和预期目标的行动Transformers。在动作Transformers的上下文中，我们探讨了时空数据编码，降维，帧补丁和时空立方体的建设，以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化，以处理较长的序列，通常通过减少在一个单一的注意力操作的令牌的数量。此外，我们还研究了不同的网络学习策略，如自监督和零样本学习，以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后，它提供了一个讨论的挑战，前景，和未来的途径，这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
