Context-Enhanced Memory-Refined Transformer for Online Action Detection
National University of Singapore(新加坡国立大学);Meta Reality Labs(元宇宙现实实验室)
针对现有在线动作检测方法存在的训练-推理不一致问题,提出上下文增强记忆精炼Transformer CMeRT,通过优化帧表征与利用近未来生成提升性能,在多个基准数据集上达到最优水平。
2025-03-24 cs.CV
Memory-and-Anticipation Transformer for Online Action Understanding
Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室)
针对在线动作检测与预期,本文提出记忆-预期 Transformer(MAT),统一建模过去、现在与未来的时序依赖,并在四个基准上显著优于现有方法。
2023-08-15 cs.CV
OadTR: Online Action Detection with Transformers
Huazhong University of Science and Technology(华中科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
最近的在线动作检测方法倾向于应用递归神经网络(RNN)来捕获长范围的时间结构。然而,RNN存在非并行性和梯度消失的问题,因此很难优化。在本文中,我们提出了一个新的编码器-解码器框架的基础上,Transformers,命名为OadTR,以解决这些问题。编码器附加了一个任务令牌,旨在捕捉历史观测之间的关系和全局交互。解码器通过聚集预期的未来剪辑表示来提取辅助信息。因此,OadTR可以通过编码历史信息并同时预测未来上下文来识别当前动作。我们在三个具有挑战性的数据集上广泛评估了拟议的OadTR:HDD,TVSeries和THUMOS 14。实验结果表明,OadTR实现了比当前基于RNN的方法更高的训练和推理速度,并且在mAP和mcAP方面都显着优于最先进的方法。代码可在https://github.com/wangxiang1230/OadTR上获得。
2021-06-21 cs.CV
LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention
Beijing Institute of Technology(北京理工大学);Baidu Research(百度研究院);Inception Institute of Artificial Intelligence(人工智能起源研究所);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);University of Kentucky(肯塔基大学)
现有的基于LiDAR的三维目标检测器通常只关注单帧点云的检测,而忽略了连续帧点云中的时空信息。在本文中,我们提出了一个端到端的在线3D视频对象检测器,点云序列上操作。所提出的模型包括一个空间特征编码组件和时空特征聚合组件。在前一部分中,提出了一种新的柱消息传递网络(PMPNet)编码每个离散点云帧。它通过迭代消息传递自适应地从相邻节点中收集信息,有效地扩大了柱特征的接收域。在后一个组件中,我们提出了一个有注意力的时空Transformer GRU(AST-GRU)聚合的时空信息,这增强了传统的ConvGRU与注意力的记忆门控机制。AST-GRU包含空间Transformer Attention(STA)模块和时间Transformer Attention(TTA)模块,分别用于强调前景对象和对齐动态对象。实验结果表明,所提出的3D视频对象检测器达到了最先进的性能上的大规模nuScenes基准。
2020-04-03 cs.CV
HAT: History-Augmented Anchor Transformer for Online Temporal Action Localization
Northeastern University(东北大学)
针对在线时序动作定位现有方法忽略历史信息的问题,提出HAT框架整合长短期上下文提升锚点特征质量,在第一人称程序性数据集上显著优于SOTA,在通用数据集上性能相当或更优。
2024-08-12 cs.CV
Track-On: Transformer-based Online Point Tracking with Memory
Koç University(科克大学);KUIS AI Center(KUIS人工智能中心);Shanghai Jiao Tong University(上海交通大学)
提出基于Transformer的在线长期点跟踪模型Track-On,利用空间记忆和上下文记忆模块在流媒体场景中实现高精度实时跟踪,在七个数据集上达到SOTA。
2025-01-30 cs.CV
DiffInk: Glyph- and Style-Aware Latent Diffusion Transformer for Text to Online Handwriting Generation
South China University of Technology(华南理工大学)
DiffInk通过结合字形和风格的潜在扩散变换器,实现了高效且准确的完整文本行手写生成。
2026-03-01 cs.CV
TranStable: Towards Robust Pixel-level Online Video Stabilization by Jointing Transformer and CNN
Dalian University of Technology(大连理工大学);Institute for Clarity in Documentation(文档清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康分局);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文提出端到端框架TranStable,结合Transformer与CNN生成像素级变换映射并引入稳定性判别模块,有效解决视频稳定中的失真与过度裁剪问题,实现最先进性能。
2025-01-25 cs.CV
Image Recognition with Online Lightweight Vision Transformer: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology, Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science(计算能力网络与信息安全重点实验室,教育部,山东计算机科学中心,齐鲁大学,山东省计算能力互联网与服务计算重点实验室,山东省计算机科学基础研究中心)
本文综述了在线生成轻量级视觉Transformer用于图像识别的策略,涵盖高效组件设计、动态网络和知识蒸馏,并在ImageNet-1K上评估权衡,提出未来方向。
2025-09-26 cs.CV
MonoATT: Online Monocular 3D Object Detection with Adaptive Token Transformer
Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学)
移动单目3D目标检测(Mono3D)(例如,在车辆、无人机或机器人上)是一项重要但具有挑战性的任务。现有的基于transformer的离线Mono3D模型采用基于网格的视觉令牌,由于可用的计算能力有限,当使用粗糙令牌时,这是次优的。在本文中,我们提出了一个在线Mono3D框架,称为MonoATT,它利用了一种新的视觉Transformer与不同形状和大小的异构令牌,以促进移动Mono3D。MonoATT的核心思想是在利用Transformer增强Mono3D之前,自适应地将更精细的令牌分配给更重要的区域。为此,我们首先使用先验知识来设计一个评分网络,用于选择图像中最重要的区域,然后提出一个令牌聚类和合并网络与注意力机制,逐步合并令牌周围的选定区域在多个阶段。最后,像素级的特征映射重建异构令牌之前,采用SOTA Mono3D检测器作为底层的检测核心。在真实世界的KITTI数据集上的实验结果表明,MonoATT可以有效地提高近距离和远距离物体的Mono3D精度,并保证低延迟。与最先进的方法相比,MonoATT具有最佳性能,并且在KITTI 3D基准测试中排名第一。
2023-03-23 cs.CV
Continual Transformers: Redundancy-Free Attention for Online Inference
Aarhus University(奥胡斯大学)
针对Transformer在线时序推理中因序列重叠导致的计算冗余问题,提出计算顺序等价于原始Transformer Encoder的Continual Transformer Encoder,在保持预测性能的同时将单块和双块架构的浮点运算量分别降低达63倍和2.6倍。
2023-01-24 cs.AI cs.CV
OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer
East China Normal University(华东师范大学);FinVolution Group(FinVolution集团)
OD-DETR通过在线蒸馏稳定DETR训练,利用EMA教师模型在匹配关系、初始查询和辅助查询组三方面指导学生,在不增加参数的情况下显著提升检测性能。
2024-06-09 cs.CV
Online Continual Learning with Contrastive Vision Transformer
The University of Sydney(悉尼大学)
在线连续学习(Online Continuous Learning,CL)研究从无任务边界的在线数据流中学习顺序任务的问题,旨在适应新数据的同时减轻对过去任务的灾难性遗忘。本文提出了一个框架对比视觉Transformer(CVT),它设计了一个基于Transformer架构的焦点对比学习策略,以实现在线CL的更好的稳定性和可塑性权衡。具体而言,我们设计了一个新的外部注意力机制在线CL隐式捕获以前的任务的信息。此外,CVT包含每个类的可学习焦点,可以积累以前课程的知识,以减少遗忘。基于可学习的焦点,我们设计了一个焦点对比损失,以重新平衡新类和旧类之间的对比学习,并巩固以前学习的表征。此外,CVT包含一个双分类器结构,用于解耦学习当前类和平衡所有观察到的类。大量的实验结果表明,我们的方法实现了最先进的性能,甚至更少的参数在线CL基准,并有效地消除了灾难性遗忘。
2022-07-24 cs.AI cs.CV cs.LG
A Transformer Architecture for Online Gesture Recognition of Mathematical Expressions
University of Pisa(比萨大学);University College Dublin(都柏林大学学院)
Transformer架构提供了一个强大的框架,作为一个端到端的模型,用于从对应于手写笔画的在线手写手势中构建表达式树。特别地,注意力机制被成功地用于编码、学习和执行表达式的底层语法,从而创建被正确解码为精确的数学表达式树的潜在表示,从而为消融的输入和看不见的字形提供鲁棒性。第一次,编码器被馈送有可能形成无限大的词汇表的时空数据令牌,其发现在线手势识别之外的应用。一个新的监督数据集的在线手写手势的训练模型提供了通用的手写识别任务,并提出了一个新的度量的输出表达式树的语法正确性的评估。一个适合于边缘推断的小型Transformer模型被成功训练到94%的平均归一化Levenshtein准确度,从而导致94%的预测的有效后缀RPN树表示。
2022-11-04 cs.CL cs.CV
3DMOTFormer: Graph Transformer for Online 3D Multi-Object Tracking
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Bonn(波恩大学);Robert Bosch GmbH(罗伯特·博世有限公司);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出基于边增强图Transformer的在线3D多目标跟踪框架3DMOTFormer,并通过自回归循环训练缓解训练推理分布不匹配,在nuScenes上取得领先AMOTA且可跨检测器泛化。
2023-08-12 cs.CV
DORA: Dynamic Online Reinforcement Agent for Token Merging in Vision Transformers
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥国家科学中心人工智能研究院)
本文提出DORA,一种基于强化学习的在线推理框架,用于动态合并视觉变换器中的令牌。通过将合并过程建模为马尔可夫决策过程,DORA在保持特征保真度的同时提升计算效率,实验证明其在准确率和效率上的显著改进。
2026-05-12 cs.CV
ARGaze: Autoregressive Transformers for Online Egocentric Gaze Estimation
Department of Computer Science, University of Texas at Dallas, Richardson, TX, USA.(德克萨斯大学达拉斯分校计算机科学系);College of Computing, Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院计算机学院);Department of Computer Science, University of Wisconsin-Madison, Madison, WI, USA(威斯康星大学麦迪逊分校计算机科学系);Allen School of Computer Science, University of Washington, USA(华盛顿大学阿伦计算机科学学院)
ARGaze通过自回归变换器模型,利用时间连续性提升在线第一人称注视估计的鲁棒性与准确性。
2026-02-04 cs.CV
FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection
University of Nottingham(诺丁汉大学);Imperial College London(帝国理工学院)
由于其在面部行为分析中的重要性,面部动作单元(AU)检测越来越受到研究界的关注。利用在线知识蒸馏框架,我们提出了AU检测的“FANTrans”方法。我们的模型由卷积和Transformer块的混合网络组成,用于学习每个AU的特征并对AU同现进行建模。该模型使用预先训练的人脸对齐网络作为特征提取器。在通过一个小的可学习的附加卷积子网进行进一步变换之后,每个AU的特征被馈送到Transformer块中以增强它们的表示。由于多个AU经常一起出现,我们提出了一个可学习的注意力下降机制,在Transformer块学习不同AU的功能之间的相关性。我们还设计了一个分类器,通过考虑所有AU的特征来预测AU的存在,以显式地捕获标签依赖性。最后,我们尝试在训练阶段采用在线知识蒸馏,进一步提高了模型的性能。在BP 4D和DISFA数据集上的实验证明了该方法的有效性。
2022-11-11 cs.CV
Transformer-Driven Modeling of Variable Frequency Features for Classifying Student Engagement in Online Learning
Malaviya National Institute of Technology Jaipur(斋浦尔马维亚国家理工学院);Thapar Institute of Engineering and Technology(塔帕尔工程技术学院);SRM University AP(SRM 大学阿普拉分校)
针对在线学习中教师难监控学生参与度的问题,本文提出基于Transformer的EngageFormer架构,通过视频模态提取三视图特征并行处理,在多个数据集上取得优异准确率,部分达SOTA,为相关研究提供基线与参考。
2025-02-15 cs.CV
Exploring Visual Embedding Spaces Induced by Vision Transformers for Online Auto Parts Marketplaces
Baylor University(贝勒大学)
本研究探索视觉Transformer(ViT)生成在线汽车配件市场图像视觉嵌入的能力,通过单模态数据提取嵌入、UMAP降维可视化、K-Means聚类分类,评估其检测非法活动模式的潜力,为相关欺诈检测提供基础。
2025-02-09 cs.CV cs.LG
DORA: Dynamic Online Reinforcement Agent for Token Pruning in Vision Transformers
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
针对视觉Transformer令牌冗余问题,提出DORA,一个学习输入自适应剪枝策略的在线强化智能体,通过分层决策和影子评估,在保持精度的同时显著降低计算量。
2026-09-29 cs.CV
GliTr: Glimpse Transformers with Spatiotemporal Consistency for Online Action Prediction
McGill University(麦吉尔大学);Meta AI
本文提出GliTr模型,在仅观察局部瞥见的资源受限场景下,通过时空一致性目标训练,实现高效在线动作预测,并在SSv2和Jester数据集上取得显著准确率提升。
2023-04-19 cs.CV
Progressive Conditioned Scale-Shift Recalibration of Self-Attention for Online Test-time Adaptation
Department of Electrical and Electronic Engineering, Southern University of Science and Technology(电子工程系,南方科技大学);Pengcheng Lab(鹏城实验室)
本文提出渐进式条件缩放-位移重校准方法,通过在线适应提升自注意力机制在跨领域任务中的性能。
2025-12-14 cs.CV
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories(三菱电机研究实验室)
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控,系统不仅需要准确地描述事件,而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能,但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕,并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时,其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器,可以在事件触发的视频剪辑的早期阶段生成字幕,只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明,我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量,仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
最近,基于变换的方法在视频实例分割(VIS)上取得了令人印象深刻的结果。然而,这些性能最好的方法中的大多数以离线方式运行,即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频,如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型,该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法,并且在UVO和OVIS上的性能大大优于它们。这种方法,称为鲁棒在线视频分割(ROVIS),增强了Mask 2Former图像实例分割模型与跟踪查询,一个轻量级的机制进行跟踪信息从帧到帧,最初介绍了TrackFormer方法的多对象跟踪。我们表明,当与足够强大的图像分割架构相结合时,跟踪查询可以表现出令人印象深刻的准确性,同时不限于短视频。
2022-11-16 cs.CV
PointNet4D: A Lightweight 4D Point Cloud Video Backbone for Online and Offline Perception in Robotic Applications
Tsinghua University(清华大学);University of Bristol(布里斯托大学);The University of Melbourne(墨尔本大学)
PointNet4D是一种轻量级4D点云视频主干网络,通过混合Mamba-Transformer时间融合模块和4DMAP预训练策略,提升机器人应用中的在线和离线感知性能。
2025-12-01 cs.CV
SimOn: A Simple Framework for Online Temporal Action Localization
School of Electrical and Electronic Engineering(电气与电子工程学院)
在线时间动作本地化(On-TAL)旨在从未经修剪的流视频中立即提供动作实例。该模型不允许利用未来帧和任何处理技术来修改过去的预测,这使得On-TAL更具挑战性。在本文中,我们提出了一个简单而有效的框架,称为SimOn,它可以使用流行的Transformer架构以端到端的方式学习预测动作实例。具体地说,该模型将当前帧特征作为查询,将一组过去的上下文信息作为Transformer的键和值。与之前使用模型的一组输出作为过去上下文的工作不同,我们利用过去的视觉上下文和当前查询的可学习上下文嵌入。在THUMOS 14和ActivityNet1.3数据集上的实验结果表明,我们的模型明显优于以前的方法,实现了新的最先进的On-TAL性能。此外,在线检测的行动开始(ODAS)的评估表明,我们的方法在在线设置的有效性和鲁棒性。代码可在https://github.com/TuanTNG/SimOn上获得
2022-11-08 cs.CV
Online hand gesture recognition using Continual Graph Transformers
CESI LINEACT;LICIT-ECO7, ENTPE, Université Gustave Eiffel(古斯塔夫·埃菲尔大学);IMT Nord Europe(北加来海峡高等电信学院);University of Lille(里尔大学)
针对现有基于骨架的动作识别方法多为片段式、不适配实时连续场景的问题,提出融合S-GCN、TGE与持续学习机制的在线识别系统,在SHREC'21上达SOTA准确率且降低假阳性率,适用于多实时交互场景。
2025-02-20 cs.AI cs.CV
A Transformer Based Handwriting Recognition System Jointly Using Online and Offline Features
Indian Statistical Institute, India(印度统计研究所);Manipal University Jaipur, India(贾浦尔曼纳普大学);University of Salford, United Kingdom(萨尔福德大学)
提出一种端到端Transformer网络,通过在共享潜在空间中早期融合离线图像与在线笔划数据,在IAMOn-DB等数据集上实现高达1%的准确率提升,达到SOTA。
2025-06-25 cs.CV cs.LG
InstanceFormer: An Online Video Instance Segmentation Framework
Ludwig Maximilian University of Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学)
最近基于transformer的离线视频实例分割(VIS)方法取得了令人鼓舞的结果,并显着优于在线方法。然而,它们对整个视频的依赖以及由全时空注意力引起的巨大计算复杂性限制了它们在处理长视频等实际应用中的应用。在本文中,我们提出了一个单级变压器为基础的高效的在线VIS框架命名为InstanceFormer,这是特别适合于长和具有挑战性的视频。我们提出了三个新的组件模型的短期和长期的依赖性和时间的连贯性。首先,我们传播先前实例的表示、位置和语义信息来对短期变化进行建模。其次,我们在解码器中提出了一种新的记忆交叉注意,它允许网络在一定的时间窗口内查看更早的实例。最后,我们采用了时间对比损失,在所有帧的实例表示施加的连贯性。记忆注意力和时间一致性对长距离依赖建模特别有益,包括具有挑战性的场景,如遮挡。建议InstanceFormer优于以前的在线基准方法在多个数据集的大幅度提高。最重要的是,InstanceFormer超越了具有挑战性的长数据集(如YouTube-VIS-2021和OVIS)的离线方法。代码可在https://github.com/rajatkoner08/InstanceFormer上获得。
2022-08-22 cs.CV
Adapting Short-Term Transformers for Action Detection in Untrimmed Videos
Nanjing University(南京大学);Inchitech(英智科技);Intel Labs China(英特尔中国实验室);Shanghai AI Lab(上海人工智能实验室)
针对预训练短期ViT难以适配未修剪视频时序动作检测的问题,提出跨片段传播的两层机制构建长视频Transformer,在多个基准上取得有竞争力的检测性能。
2024-04-15 cs.CV
Shuffle Transformer with Feature Alignment for Video Face Parsing
Tencent(腾讯)
这是一个简短的技术报告,介绍了TCParser团队在CVPR 2021的第三人称上下文(PIC)研讨会和挑战赛中的短视频人脸解析跟踪解决方案。在本文中,我们介绍了一个强大的骨干,这是基于交叉窗口的Shuffle Transformer,以提供准确的人脸解析表示。为了进一步获得更精细的分割结果,特别是在边缘上,我们引入了特征对齐聚合(FAA)模块。该方法可以有效地缓解多分辨率特征聚合所带来的特征错位问题。得益于更强的主干和更好的特征聚合,该方法在第三人称上下文(PIC)研讨会和挑战赛的短视频人脸解析赛道中获得了86.9519%的分数,排名第一。
2021-06-16 cs.CV
KV-Tracker: Real-Time Pose Tracking with Transformers
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院伦敦)
KV-Tracker通过基于Transformer的快速缓存机制实现实时姿态跟踪与场景重建,无需深度信息或物体先验,达到27 FPS的高帧率。
2025-12-27 cs.CV
MALT: Multi-scale Action Learning Transformer for Online Action Detection
Southeast University(东南大学);Southeast University Shenzhen Research Institute(东南大学深圳研究院)
针对在线动作检测中多尺度特征提取问题,提出多尺度动作学习Transformer(MALT),通过分层编码器、循环解码器和稀疏注意力帧评分机制,在THUMOS'14和TVSeries数据集上达到最先进性能。
2024-05-31 cs.AI cs.CV
Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition
University of St Andrews(圣安德鲁斯大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
由于微表情是自发的,因此即使试图隐藏它们,它也有助于推断一个人的真实情绪。由于微表情持续时间短、强度低,其识别一直是情感计算中的一个难点。基于手工制作的时空特征的早期工作显示出了一些希望,最近被不同的深度学习方法所取代,这些方法现在竞争最先进的性能。然而,捕获局部和全局时空模式的问题仍然具有挑战性。为此,我们在此提出了一种新的时空Transformer架构--据我们所知,这是第一种纯粹基于Transformer的微表情识别方法(即不使用任何卷积网络)。该架构包括一个学习空间模式的空间编码器,一个时间维度分析的时间聚合器,和一个分类头。对三个广泛使用的自发微表情数据集,即SMIC-HS,CASME II和SAMM的综合评估表明,所提出的方法始终优于现有技术,并且是微表情识别的已发表文献中的第一个框架,以实现未加权F1分数大于0.9的任何上述数据集。
2022-11-23 cs.CV
Online Handwritten Signature Verification Based on Temporal-Spatial Graph Attention Transformer
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China(多模态人工智能系统国家重点实验室(MAIS)、自动化研究所、中国科学院、北京100190,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China(人工智能学院、中国科学院大学、北京100049,中国)
针对签名验证中用户内部差异与伪造带来的精度挑战,提出结合GAT与GRU的TS-GATR方法,通过双图注意力模块建模时空特征,在基准数据集上取得优于现有方法的更低EER。
2025-10-22 cs.AI cs.CV
KnapFormer: An Online Load Balancer for Efficient Diffusion Transformers Training
Adobe(Adobe公司)
KnapFormer通过全局背包问题优化令牌分配,结合序列并行,在扩散变换器训练中实现负载均衡,消除掉队者,加速2-3倍。
2025-08-08 cs.CV cs.DC
Frame forecasting in cine MRI using the PCA respiratory motion model: comparing recurrent neural networks trained online and transformers
The University of Tokyo(东京大学);National Institutes for Quantum and Radiological Science and Technology(量子与辐射科学和技术国家研究所)
本文研究了利用PCA呼吸运动模型在动态MRI中进行帧预测,比较了在线训练的循环神经网络和变换器在处理呼吸运动补偿中的性能差异。
2026-04-15 cs.CV cs.LG cs.NE
Long-Short Temporal Contrastive Learning of Video Transformers
Facebook AI Research(脸书人工智能研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Dartmouth(达特茅斯学院)
视频Transformers最近已经成为视频理解的3D CNN的竞争替代品。然而,由于它们的大量参数和减少的归纳偏差,这些模型需要在大规模图像数据集上进行监督预训练,以实现最佳性能。在这篇论文中,我们通过经验证明,在纯视频数据集上对视频Transformers进行自监督预训练,可以获得与在大规模图像数据集上进行监督预训练相同或更好的动作识别结果,即使是像ImageNet-21 K这样的大规模图像数据集。由于基于transformer的模型在捕获扩展时间跨度上的依赖关系方面是有效的,因此我们提出了一个简单的学习过程,该过程迫使模型将同一视频的长期视图与短期视图相匹配。我们的方法,名为长短时间对比学习(LSTCL),使视频Transformers学习一个有效的剪辑级表示通过预测从较长的时间范围内捕获的时间上下文。为了证明我们的研究结果的一般性,我们使用两种不同的视频Transformer架构,包括增强时空注意力的Swin Transformer的改进变体,在三种不同的自监督对比学习框架(MoCo v3,BYOL,SimSiam)下实现并验证我们的方法。我们进行了彻底的消融研究,并表明LSTCL在多个视频基准上实现了具有竞争力的性能,并代表了基于监督图像的预训练的令人信服的替代方案。
2022-03-31 cs.AI cs.CV
Friends Across Time: Multi-Scale Action Segmentation Transformer for Surgical Phase Recognition
Blue River Technology(蓝河科技);Blue Grotto Labs, LLC(蓝洞实验室有限责任公司)
提出 MS-AST 与 MS-ASCT,通过多尺度时间自注意力和交叉注意力建模手术视频时空关系,在 Cholec80 的在线与离线阶段识别中取得 95.26% 和 96.15% 的新 SOTA。
2024-01-22 cs.CV cs.RO
Efficient Unsupervised Shortcut Learning Detection and Mitigation in Transformers
Goethe Universität(法兰克福歌德大学);Philipps-Universität(马尔堡菲利普大学);German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
针对模型依赖非预期特征的捷径学习问题,提出一种可同时检测与缓解Transformer中捷径学习的无监督框架,在多数据集上提升准确率且效率高、标注需求低。
2025-06-16 cs.CV cs.LG
Hyper-Decision Transformer for Efficient Online Policy Adaptation
Carnegie Mellon University(卡内基梅隆大学);University of Montreal(蒙特利尔大学);Mila(米拉人工智能研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出超决策Transformer(HDT),通过超网络根据少量演示初始化适应模块,仅微调0.5%参数即可高效适应新任务,并在无专家动作设置下显著超越现有基线。
2023-04-17 cs.AI cs.CV cs.LG
Long-term Leap Attention, Short-term Periodic Shift for Video Classification
Singapore Management University(新加坡管理大学);Zhejiang Lab(之江实验室);University of Science and Technology of China(中国科学技术大学)
视频Transformer自然地招致比静态视觉Transformer更重的计算负担,因为在当前关注二次复杂度$(T^2N^2)$的情况下,前者处理比后者长$T$倍的序列。现有的作品将时间轴视为空间轴的简单扩展,专注于通过通用池化或局部窗口化来缩短时空序列,而不利用时间冗余。然而,视频自然包含相邻帧之间的冗余信息;因此,我们可能会以扩张的方式抑制对视觉相似帧的关注。基于这一假设,我们提出了LAPS,一个长期的"\textbf{\textit{Leap Attention}}"(LA),短期的"\textbf{\textit{Periodic Shift}}"(\textit{P} -Shift)模块的视频Transformers,与$(2TN^2)$的复杂性。具体来说,“LA”将长期帧分组成对,然后通过注意力重构每个离散对。"\textit{P} -Shift“在时间相邻者之间交换特征以面对短期动态的损失。通过用LAPS替换普通的2D注意力,我们可以将静态的Transformer适配为视频的,没有额外的参数和可忽略的计算开销($\sim$ 2.6\%)。在标准Kinetics-400基准测试上的实验表明,我们的LAPS Transformer在CNN和Transformer SOTA之间的精度、FLOP和参数方面可以实现有竞争力的性能。我们在\sloppy \href{https:/…
2022-07-23 cs.CV cs.MM
Vision Transformers for Mobile Applications: A Short Survey
Cohere for AI Community(Cohere AI社区);ML Collective;IIT Delhi(印度理工学院德里分校);UC Berkeley(加州大学伯克利分校)
本文综述了面向移动端部署的小型视觉Transformer架构,分析其通过修改结构、结合CNN或稀疏化注意力来平衡精度与推理延迟,为移动端ViT选型提供参考。
2023-05-30 cs.AI cs.CV
SeqOT: A Spatial-Temporal Transformer Network for Place Recognition Using Sequential LiDAR Data
Beijing Institute of Technology(北京理工大学);National University of Defense Technology(国防科技大学)
位置识别是自主车辆实现闭环或全局定位的重要组成部分。在本文中,我们解决了基于机载LiDAR传感器获得的顺序3D LiDAR扫描的位置识别问题。我们提出了一个基于变换的网络SeqOT利用激光雷达数据生成的序列范围图像提供的时间和空间信息。它使用多尺度Transformers以端到端的方式为每个LiDAR范围图像序列生成全局描述符。在在线操作过程中,我们的SeqOT通过匹配当前查询序列和存储在地图中的描述符来找到相似的地方。我们评估了我们的方法在不同环境中使用不同类型的LiDAR传感器收集的四个数据集。实验结果表明,我们的方法优于最先进的基于激光雷达的位置识别方法,并在不同的环境中推广良好。此外,我们的方法比传感器的帧速率更快地在线操作。我们的方法的实现在https://github.com/BIT-MJY/SeqOT上作为开源发布。
2022-09-16 cs.CV cs.RO
PINN-Cast: Exploring the Role of Continuous-Depth NODE in Transformers and Physics Informed Loss as Soft Physical Constraints in Short-term Weather Forecasting
University of New South Wales(新南威尔士大学)
本文提出连续深度Transformer编码器,结合Neural ODE动态和物理信息损失,提升短期天气预报的准确性与物理一致性。
2026-04-30 cs.CV cs.LG
Long-Short Transformer: Efficient Transformers for Language and Vision
NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院);University of Maryland, College Park(马里兰大学学院市分校)
Transformers在语言和视觉领域都取得了成功。然而,将它们缩放到长序列(诸如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制具有关于输入序列长度的二次时间和存储器复杂度。在本文中,我们提出了长-短Transformer(transformer-LS),一个有效的自我注意力机制建模长序列的线性复杂度的语言和视觉任务。它聚合了一种新的具有动态投影的长距离注意力来模拟远距离相关性,并聚合了一种短期注意力来捕获细粒度的局部相关性。我们提出了一个双重标准化策略来解释两个注意力机制之间的规模失配。transformer-LS可以应用于自回归和双向模型,而不会增加复杂性。我们的方法在语言和视觉领域的多个任务上优于最先进的模型,包括长距离Arena基准测试,自回归语言建模和ImageNet分类。例如,Transformer-LS在enwik 8上实现了0.97的测试BPC,使用的参数数量比以前的方法少了一半,同时速度更快,并且能够处理3倍于相同硬件上的全注意力版本的长序列。在ImageNet上,它可以获得最先进的结果(例如,仅在224 x224 ImageNet-1 K上训练的中等大小的55.8M模型可以获得Top-1准确率(84.1%),同时在高分辨率图像上更具可扩展性。源代码和模型在https://github.com/NVIDIA/transformer-ls上发布。
2021-12-07 cs.CL cs.CV cs.LG
Modeling Image Virality with Pairwise Spatial Transformer Networks
Massachusetts Institute of Technology(麻省理工学院);Indian Institute of Technology Delhi(印度理工学院德里分校)
对病毒式传播和在线信息扩散的研究是计算社会科学中迅速获得关注的一个主题。计算机视觉和社会网络分析研究也集中在理解内容和信息扩散在使内容病毒化方面的影响,先前的方法没有像其他传统分类任务那样表现得很好。在本文中,我们提出了一种新的成对重新制定的病毒性预测问题的属性预测任务,并开发了一种新的算法,使用成对神经网络在线媒体上的图像病毒性建模。我们的模型提供了对负责促进病毒式传播的特征的重要见解,并在预测方面平均提高了12%,超过了现有的最先进水平。我们还研究了外部类别监督对相对属性预测的影响,并观察到在多个属性学习数据集上的预测准确性有所提高。
2017-09-22 cs.CV cs.SI
Short Range Correlation Transformer for Occluded Person Re-Identification
College of Automation and Artificial Intelligence, Nanjing University of Posts and Telecommunications(南京邮电大学自动化与人工智能学院)
被遮挡人的再识别是计算机视觉的一个具有挑战性的研究领域,面临着特征表示效率低、识别准确率低等问题。卷积神经网络更注重于局部特征的提取,对遮挡行人的特征提取比较困难,效果不理想。最近,视觉Transformer被引入到重识别领域,并取得了最先进的成果,通过构建补丁序列之间的全局特征的关系。但视觉Transformer在提取局部特征方面的性能不如卷积神经网络。因此,我们设计了一个基于部分特征变换的人物再识别框架PFT。提出的PFT利用三个模块,以提高效率的视觉Transformer。(1)修补全维度增强模块。我们设计了一个与补丁序列大小相同的可学习张量,它是全维的,并深深嵌入补丁序列中,以丰富训练样本的多样性。(2)融合和重建模块。我们提取得到的补丁序列的不太重要的部分,并将其与原始补丁序列融合,重建原始补丁序列。(3)空间切片模块。从空间方向对序列进行切片和分组,有效地提高了序列的短程相关性。在遮挡和整体重识别数据集上的实验结果表明,所提出的PFT网络实现了卓越的性能一致,优于最先进的方法。
2022-01-04 cs.AI cs.CV
PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting
Sun Yat-Sen University(中山大学)
降水临近预报是对未来短时间内降雨强度的预报,主要依靠雷达回波序列的预报。虽然卷积神经网络(CNN)和递归神经网络(RNN)被广泛用于生成雷达回波帧,但是它们遭受感应偏差(即,平移不变性和局部性)和序列性。近年来,基于transformer的方法由于Transformer结构的巨大潜力而受到广泛关注,而忽略了短期相关性和自回归特性。在本文中,我们提出了一个变种的Transformer命名补丁与三维时间卷积Transformer网络(PTCT),其中原始帧被分割成多个补丁,以消除电感偏差的约束和三维时间卷积是用来捕捉短期的依赖性有效。训练结束后,采用自回归的方法进行PTCT的推理,以保证生成的雷达回波帧的质量。为了验证我们的算法,我们进行了实验上的两个雷达回波数据集:雷达回波广州和HKO-7。实验结果表明,PTCT实现国家的最先进的(SOTA)性能相比,现有的方法。
2022-06-03 cs.CV cs.MM
GLSFormer: Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos
Johns Hopkins University(约翰斯·霍普金斯大学);Wilmer Eye Institute, Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院威尔默眼科研究所);Malone Center for Engineering in Healthcare, Johns Hopkins University(约翰斯·霍普金斯大学马龙医疗工程中心)
针对现有手术步骤识别方法未兼顾时空特征联合建模与长程信息的问题,提出带门控时间注意力的GLSFormer,在两个白内障数据集上性能优于现有最优方法。
2023-07-20 cs.CV cs.LG
Action Transformer: A Self-Attention Model for Short-Time Pose-Based Human Action Recognition
Politecnico di Torino(都灵理工大学);PIC4SeR, Politecnico di Torino Interdepartmental Centre for Service Robotics(都灵理工大学跨部门服务机器人中心 PIC4SeR);Newcastle University(纽卡斯尔大学)
纯粹基于注意力的深度神经网络已经在多个领域取得了成功,它依赖于设计师提供的最低限度的架构先验。在人类动作识别(HAR)中,注意力机制主要采用在标准卷积层或递归层之上,提高了整体泛化能力。在这项工作中,我们引入了Action Transformer(AcT),这是一种简单的、完全自我注意的架构,它的性能始终优于混合了卷积层、递归层和注意层的更复杂的网络。为了限制计算和能量请求,基于先前的人类动作识别研究,所提出的方法利用小时间窗口上的2D姿态表示,为准确和有效的实时性能提供低延迟解决方案。此外,我们开源了一个新的大规模数据集MPOSE2021,试图为实时,短时HAR建立一个正式的训练和评估基准。所提出的方法在MPOSE2021上进行了广泛的测试,并与几种最先进的架构进行了比较,证明了AcT模型的有效性,并为HAR的未来工作奠定了基础。
2022-01-10 cs.CV cs.LG