Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
本文提出LDF-VFI方法,通过自回归扩散变换器建模整个视频序列,结合跳连采样策略和稀疏注意力机制,提升视频帧插值的时序一致性和重建质量。
2026-03-30 cs.CV
3DGesPolicy: Phoneme-Aware Holistic Co-Speech Gesture Generation Based on Action Control
The University of Osaka(大阪大学);Osaka Electro-Communication University(大阪电讯大学);Osaka University(大阪大学)
3DGesPolicy通过基于动作控制的框架,结合音素感知和多模态信号融合,实现了更自然且高度语音对齐的整体语义手势生成。
2026-01-26 cs.AI cs.CV cs.LG
Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction
School of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);School of Software Technology, Dalian University of Technology(大连理工大学软件学院);School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院)
本文提出整体动态频率 Transformer,利用频率注意力、动态前馈网络与 Laplacian 金字塔统一低光增强、曝光校正和多曝光融合,并在主流基准上达到最先进性能。
2024-08-03 cs.CV
Holi-DETR: Holistic Fashion Item Detection Leveraging Contextual Information
Department of CSEE, Handong Global University General Graduate School(Handong Global大学电子工程系);School of CSEE, Handong Global University(Handong Global大学电子工程学院)
本文提出Holi-DETR,通过整合三种上下文信息提升服装检测性能,实验显示在AP指标上优于传统方法。
2025-12-29 cs.AI cs.CV
Towards Holistic Surgical Scene Understanding
Center for Research and Formation in Artificial Intelligence, Universidad de los Andes(安第斯大学人工智能研究与培训中心);Fundación Santafé de Bogotá(波哥大圣菲基金会);University of Washington(华盛顿大学)
针对现有手术基准多聚焦单一任务的问题,提出含PSI-AVA数据集与TAPIR模型的整体手术场景理解框架,利用多层级标注提升性能,验证了其推动相关研究的价值。
2024-01-26 cs.AI cs.CV
DiffusionBench: On Holistic Evaluation of Diffusion Transformers
Australian National University(澳大利亚国立大学);Canva Research(Canva研究院)
提出NanoGen统一框架,训练21个潜在扩散模型后发现ImageNet与文本到图像生成的方法排名无强相关性,因此建立DiffusionBench基准,建议同时评估两项任务。
2026-06-24 cs.CV
Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出MoME框架与HTL策略,通过类标记和时空标记提升多模态学习的专家细化与知识传递,验证了在驾驶员行为识别任务中优于单模态和多模态基线的方法。
2026-04-07 cs.CV
One-stage Action Detection Transformer
Alibaba Group(阿里巴巴集团)
在这项工作中,我们介绍了我们的解决方案,EPIC-KITCHENS-100 2022行动检测的挑战。提出了一级动作检测Transformer(OADT)模型来描述视频片段的时间连接。借助OADT,可以同时识别类别和时间边界。在集成了多个从不同特征训练的OADT模型后,我们的模型可以达到21.28\%的动作mAP,并在动作检测挑战的测试集上排名第一。
2022-06-21 cs.AI cs.CV
ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation
Huazhong University of Science and Technology(华中科技大学);Xiaomi EV(小米汽车)
ORION提出一种结合QT-Former、LLM和生成式规划器的整体端到端自动驾驶框架,通过对齐推理与动作空间实现统一优化,在Bench2Drive上以77.74 DS和54.62% SR大幅超越SOTA。
2025-03-25 cs.CV
HopaDIFF: Holistic-Partial Aware Fourier Conditioned Diffusion for Referring Human Action Segmentation in Multi-Person Scenarios
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Beijing Institute of Technology(北京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Hunan University(湖南大学);Shanghai AI Lab(上海人工智能实验室);HEBUST
针对现有动作分割方法难以适配多人场景的问题,该研究构建了首个指代人体动作分割数据集RHAS133,并提出HopaDIFF框架,通过跨输入门注意力xLSTM和傅里叶条件提升性能,取得了当前最优结果。
2025-10-03 cs.CV cs.LG cs.MM
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University(启明大学);Difine
在动作识别中,虽然时空视频和骨架特征的结合可以提高识别性能,但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题,我们提出了时空cRoss(STAR)-Transformer,它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先,从输入的视频和骨架序列,视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌,分别。然后,这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意(FAttn)模块和建议的锯齿形时空注意(ZAttn)模块组成。类似地,连续解码器由FAttn模块和建议的二进制时空注意力(BAttn)模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明,该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction
Xidian University(西安电子科技大学);Intellifusion(云天励飞);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
随着深度学习模型在实际应用中的广泛和深入采用,越来越需要对神经网络本身的表示进行建模和学习。这些模型可用于估计不同神经网络架构的属性,例如准确性和延迟,而无需运行实际的训练或推理任务。在本文中,我们提出了一个神经架构表示模型,可用于整体估计这些属性。具体来说,我们首先提出了一个简单而有效的标记器编码的操作和神经网络的拓扑信息到一个单一的序列。然后,我们设计了一个多级融合Transformer,从转换后的序列中构建一个紧凑的矢量表示。为了提高模型训练的效率,本文进一步提出了一种信息流一致性增强策略,并相应设计了一种架构一致性损失策略,与以往的随机增强策略相比,该策略以较少的增强样本带来了更多的好处。在NAS-Bench-101、NAS-Bench-201、DARTS搜索空间和NNLQP上的实验结果表明,该框架可以用于预测细胞结构和整个深度神经网络的延迟和精度属性,并取得了良好的性能。代码可在https://github.com/yuny220/NAR-Former上获得。
2023-03-23 cs.AI cs.CV
Feature Completion Transformer for Occluded Person Re-identification
Peking University(北京大学)
针对遮挡行人重识别中遮挡区域特征干扰匹配的问题,提出 Feature Completion Transformer (FCFormer),通过遮挡实例增强、双流架构和特征补全解码器隐式补全遮挡语义信息,并辅以交叉困难三元组损失和特征补全一致性损失,在五个数据集上显著优于现有方法。
2024-03-23 cs.CV
AudCast: Audio-Driven Human Video Generation by Cascaded Diffusion Transformers
DCST, Tsinghua University(清华大学智能驾驶实验室);Baidu Inc.(百度公司);S-Lab, Nanyang Technological University(南洋理工大学S实验室);Zhongguancun Laboratory(中关村实验室);University of Science and Technology of China(中国科学技术大学)
提出 AudCast 框架,通过级联的整体人体 DiT 与区域细化 DiT,由参考图像和音频生成唇形准确、手势自然且细节高保真的整体人体视频。
2025-03-25 cs.CV cs.GR cs.MM
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University(复旦大学)
图像修补在近年来取得了显著的进展。然而,如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络(CNN)的有限感受野,一些特定的方法只能处理规则的纹理,而失去整体结构。另一方面,基于注意力的模型可以学习更好的长距离依赖性,用于结构恢复,但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题,我们建议利用一个额外的结构恢复,以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度,以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成,并具有零初始化的残差加法。此外,掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
Xidian University(西安电子科技大学)
在基于机器人的动作识别任务中,捕捉关节之间的依赖关系是至关重要的。Transformer在模拟重要节理的相关性方面显示出巨大的潜力。然而,现有的基于变换器的方法不能捕获帧之间的不同关节的相关性,该相关性是非常有用的,因为相邻帧之间的不同身体部位(例如“跳远”中的手臂和腿)一起移动。针对这一问题,提出了一种新的时空元组Transformer(STTFormer)方法。将骨架序列分成若干部分,并对每个部分中包含的若干连续帧进行编码。在此基础上,提出了一种时空元组自注意模型,用于捕捉连续帧中不同关节之间的关系。此外,在非相邻帧之间引入特征聚合模块,以增强区分相似动作的能力。与现有的方法相比,该方法在两个大规模数据集上取得了更好的性能。
2022-01-08 cs.AI cs.CV
Activity Graph Transformer for Temporal Action Localization
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
我们引入活动图Transformer,一个端到端的可学习模型的时间动作本地化,接收视频作为输入,并直接预测一组出现在视频中的动作实例。检测和定位未修剪视频中的动作实例需要对视频中的多个动作实例进行推理。在文献中的主导范例处理视频时间要么提出行动区或直接产生帧级检测。然而,当动作实例具有非顺序依赖性和/或非线性时间排序(诸如重叠动作实例或动作实例在视频过程中的重新出现)时,视频的顺序处理是有问题的。在这项工作中,我们捕捉这种非线性的时间结构的推理的视频作为非连续的实体的形式的图形。我们在具有挑战性的数据集上评估了我们的模型:THUMOS 14,Charades和EPIC-Kitchen-100。我们的研究结果表明,我们提出的模型优于国家的最先进的一个相当大的保证金。
2021-01-28 cs.AI cs.CV
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon(亚马逊);University of South Florida(南佛罗里达大学)
虽然视频动作识别多年来一直是一个活跃的研究领域,但zero-shot动作识别直到最近才开始获得关注。在这项工作中,我们提出了一种新的端到端训练的Transformer模型,该模型能够有效地捕获长距离时空依赖性,与使用3D-CNN的现有方法相反。此外,为了解决一个常见的模糊性,在现有的作品类,可以被认为是以前看不见的,我们提出了一个新的实验设置,满足零样本学习的前提下,通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上,所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得:https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
Action Quality Assessment with Temporal Parsing Transformer
Durham University(杜伦大学);Shanghai AI Laboratory(上海人工智能实验室);University of Warwick(华威大学);Baidu Inc.(百度公司)
动作质量评估(AQA)对于动作理解和解决任务非常重要,由于细微的视觉差异,任务提出了独特的挑战。现有的最先进的方法通常依赖于整体视频表示的分数回归或排名,这限制了泛化以捕获细粒度的类内变化。为了克服上述限制,我们提出了一个时间解析Transformer分解的整体功能到时间部分级表示。具体来说,我们利用一组可学习的查询来表示特定操作的原子时间模式。我们的解码过程将帧表示转换为固定数量的时间排序的部分表示。为了获得质量分数,我们采用了最先进的对比回归的基础上的部分表示。由于现有的AQA数据集不提供时间部分级别的标签或分区,我们提出了两个新的损失函数的交叉注意响应的解码器:排名损失,以确保可学习的查询,以满足时间顺序的交叉注意和稀疏损失,以鼓励部分表示更具歧视性。大量的实验表明,我们提出的方法优于以前的工作在三个公共AQA基准相当大的利润。
2022-07-19 cs.CV
Visual Anagrams Reveal Hidden Differences in Holistic Shape Processing Across Vision Models
Dept. of Psychology & Kempner Institute(心理学系及凯普勒研究所);Harvard University(哈佛大学)
本研究通过构型形状分数揭示视觉模型在整体形状处理中的差异,表明应整合局部纹理与全局构型信息以提升模型鲁棒性。
2025-11-24 cs.AI cs.CV
Vision Transformers for Action Recognition: A Survey
Charles Sturt University(查尔斯特大学);University of Western Austrlia(西澳大学)
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中,人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上,同时突出了流行的趋势,适应Transformers的动作识别。由于它们的特殊应用,我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类,基于其架构,模态和预期目标的行动Transformers。在动作Transformers的上下文中,我们探讨了时空数据编码,降维,帧补丁和时空立方体的建设,以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化,以处理较长的序列,通常通过减少在一个单一的注意力操作的令牌的数量。此外,我们还研究了不同的网络学习策略,如自监督和零样本学习,以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后,它提供了一个讨论的挑战,前景,和未来的途径,这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
PanoContext-Former: Panoramic Total Scene Understanding with a Transformer
Alibaba Group(阿里巴巴集团);Hong Kong University of Science and Technology(香港科技大学)
提出PanoContext-Former,利用深度先验和Transformer上下文模块从单张全景图联合恢复房间布局、物体边界框与形状,并构建真实数据集,实验表现优于现有方法。
2023-06-05 cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
图卷积网络(GCN)已经成为基于卷积的动作识别的主要方法。然而,他们仍然遭受两个问题,即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计,以解决第一个问题,但他们还没有充分探讨后者。在这项工作中,我们设计了一个解开时空Transformer(DSTT)块,以克服上述限制的GCN在三个步骤:(i)功能解开时空分解;(ii)全球时空关注捕捉相关性在全球范围内;和(iii)本地信息增强利用更多的本地信息。在此基础上,我们提出了一种新的架构,命名为分层图卷积骨架Transformer(HGCT),以利用GCN的互补优势(即,局部拓扑、时间动态和层次)和Transformer(即,全球背景和动态注意力)。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Pose Matters: Evaluating Vision Transformers and CNNs for Human Action Recognition on Small COCO Subsets
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
本研究在COCO三类别子集上 benchmark 人体动作识别模型,发现二分类ViT准确率达90%远超其他模型,且能定位姿态相关区域,证明了Transformer表征的数据效率和可解释性技术的价值。
2025-06-13 cs.AI cs.CV
Dark Transformer: A Video Transformer for Action Recognition in the Dark
Central Queensland University(中央昆士兰大学)
本文提出Dark Transformer,通过视频Transformer的时空自注意力机制学习跨域知识,在InFAR、XD145和ARID等基准上实现了低光环境动作识别的最先进性能。
2025-11-07 cs.CV
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
Video Action Transformer Network
DeepMind(深度思维);University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍的动作Transformer模型识别和本地化的人的行动,在视频剪辑。我们重新利用变形金刚风格的体系结构来聚合来自我们试图对其行为进行分类的人周围的时空上下文的特征。我们表明,通过使用高分辨率,个人特定的,类不可知的查询,该模型自发地学习跟踪个人,并从其他人的行为中提取语义上下文。此外,它的注意力机制学会强调手和脸,这通常是关键的区别一个行动-所有没有明确的监督,除了框和类标签。我们在Atomic Visual Actions(AVA)数据集上训练和测试我们的Action Transformer网络,仅使用原始RGB帧作为输入,其性能远远优于最先进的网络。
2019-05-17 cs.CV
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Evaluating Transformers for Lightweight Action Recognition
University of Sheffield(谢菲尔德大学);Speechmatics
在视频动作识别中,Transformers始终达到最先进的精度。然而,对于硬件资源有限的普通研究人员来说,许多模型过于重量级。在这项工作中,我们探讨了轻量级动作识别的视频Transformers的局限性。我们在3个大规模数据集和10个硬件设备上对13个视频Transformers和基线进行了基准测试。我们的研究是第一个在多个设备上深入评估动作识别模型的效率,并在相同条件下训练各种视频Transformers。我们将当前的方法分为三类,并表明增强卷积骨架的复合Transformers在轻量级动作识别方面最好,尽管缺乏准确性。同时,仅注意力模型需要更多的运动建模能力,而独立的注意力块模型目前会产生太多的延迟开销。我们的实验得出结论,目前的视频Transformers还不能与传统的卷积基线相媲美的轻量级动作识别,并且需要解决前面提到的缺点来弥合这一差距。复制我们实验的代码将公开提供。
2021-12-07 cs.CV
Two-Stream temporal transformer for video action classification
Department of Computer Science, University of York, York YO10 5GH, UK(约克大学计算机科学系)
本文提出双流时间转换器模型,通过提取时空信息和光流特征,实现视频动作的高效分类。
2026-01-20 cs.AI cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Multi-View Dynamic Facial Action Unit Detection
Universidad de los Andes(洛斯安第斯大学)
我们提出了一种新的卷积神经网络方法来解决多视角动态人脸动作单元检测的细粒度识别问题。我们利用最近在大规模对象识别方面的进展,通过制定预测人脸静态图像中特定动作单元的存在或不存在的任务作为整体分类。然后,我们通过考虑单独动作单元的共享和独立表示以及用于组合颜色和运动信息的不同CNN架构来探索我们方法的设计空间。然后,我们转向FERA 2017挑战赛的新设置,其中我们提出了我们方法的多视图扩展,该方法首先预测拍摄视频的视点,然后评估针对该特定视点训练的动作单元检测器的集合。我们的方法是整体的,高效的和模块化的,因为新的行动单位可以很容易地包括在整个系统中。我们的方法明显优于FERA 2017挑战赛的基线,在F1指标上绝对提高了14%。此外,它与FERA 2017挑战赛的获胜者相比也毫不逊色。代码源可在https://github.com/BCV-Uniandes/AUNets上获得。
2018-08-20 cs.CV
Transformer-based Action recognition in hand-object interacting scenarios
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院(UNIST))
本报告介绍了ECCV 2022人体、手和活动(HBHA)的第二名解决方案,该解决方案来自以自我为中心和多视角相机挑战赛:动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架,估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
2022-10-20 cs.CV
ActionFormer: Localizing Moments of Actions with Transformers
Nanjing University(南京大学);Paradigm Inc(第四范式公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
基于自注意力的Transformer模型在图像分类和目标检测方面取得了令人印象深刻的结果,最近在视频理解方面也取得了令人印象深刻的结果。受此成功的启发,我们研究了Transformer网络在视频中的时间动作定位中的应用。为此,我们提出了一个简单而强大的模型来识别动作的时间,并在一个Single Shot识别其类别,而不使用行动建议或依赖于预定义的锚窗口。该算法将多尺度特征表示与局部自注意力相结合,并使用轻量级解码器对每个时刻进行分类,并估计相应的动作边界。我们表明,这种精心策划的设计结果在以前的作品的重大改进。在没有额外功能的情况下,在THUMOS 14上,TIOU=0.5时,TIOFormer实现了71.0%的mAP,比最佳先验模型高出14.1个绝对百分点。此外,ECOFFORMER在ActivityNet 1.3(平均mAP为36.6%)和EPIC-Kitchen 100(平均mAP比之前的作品增加13.5%)上表现出强劲的结果。我们的代码可在http://github.com/happyharrycn/actionformer_release上获得。
2022-08-28 cs.CV
Vision Transformer for Action Units Detection
Chonnam National University(全南国立大学)
面部动作单元检测(FAU)代表了一个细粒度的分类问题,涉及识别人脸上的不同单元,如面部动作编码系统所定义的。在本文中,我们提出了一个简单而有效的视觉Transformer为基础的方法来解决行动单位(AU)的检测任务的背景下,在野外的情感行为分析(ABAW)的竞争。我们采用视频视觉Transformer(ViViT)网络来捕获视频中的时间面部变化。此外,为了减小视觉Transformer模型的巨大尺寸,我们用CNN主干(Regnet)替换ViViT特征提取层。我们的模型优于ABAW 2023挑战赛的基线模型,结果有14%的显着差异。此外,所取得的成绩与上一届ABAW 2022挑战赛的前三名球队相当。
2023-03-20 cs.CV
Towards Holistic Surgical Scene Graph
Department of Surgery, Samsung Medical Center, Seoul 06351, Republic of Korea(首尔大学医院外科部);Kyung Hee University, Yongin 17104, Republic of Korea(庆熙大学)
针对手术场景图缺少工具-动作-目标组合与操作者手身份的问题,提出 Endoscapes-SG201 数据集和 SSG-Com 方法,并验证其对下游手术理解任务的显著提升。
2025-07-24 cs.CV
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
随着近年来视觉Transformer研究的兴起,它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中,我们提出了经验的结果,训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说,我们探索视频视觉Transformer的训练技术,如增强,分辨率以及初始化等。使用我们的训练配方,单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能,比原始论文中报道的性能高出3.4%。我们发现,视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是,即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此,我们结合视频视觉Transformer和一些卷积视频网络,并提出我们的解决方案,EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
MVTOP: Multi-View Transformer-based Object Pose-Estimation
MVTec Software GmbH(MVTec软件公司);Technical University of Munich(慕尼黑技术大学)
MVTOP通过多视图早期融合解决单视图无法解决的姿态歧义问题,利用视线线模型实现多视图几何建模,优于现有单视图和多视图方法。
2026-08-06 cs.CV
Future Transformer for Long-term Action Anticipation
POSTECH(浦项科技大学);NCSOFT(NCSoft公司)
从视频中预测未来动作的任务对于现实世界中与他人交互的智能体至关重要。在预测遥远未来的行动时,我们人类通常会考虑整个行动序列的长期关系,即,不仅观察到过去的行动,而且还观察到未来的潜在行动。本着类似的精神,我们提出了一个端到端的注意力模型的行动预期,被称为未来的Transformer(FUTR),利用全球注意力在所有输入帧和输出令牌预测一分钟长的未来行动序列。与以前的自回归模型不同,所提出的方法学习预测并行解码中的整个未来动作序列,从而实现更准确和快速的长期预测推断。我们在两个标准基准上评估我们的方法,用于长期行动预测,早餐和50沙拉,实现最先进的结果。
2022-05-27 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务,提出两阶段级联Transformer架构CascadeFormer,结合掩码预训练与级联微调,在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD Explore Academy(京东探索研究院);The Hong Kong Polytechnic University(香港理工大学)
最近的高性能人-对象交互(HOI)检测技术受到基于变换器的对象检测器(即,DETR)。然而,他们中的大多数直接映射参数交互查询到一组HOI预测通过香草Transformer在一个阶段的方式。这使得丰富的内部或内部交互结构未得到充分利用。在这项工作中,我们设计了一种新的变压器式HOI检测器,即,用于HOI检测的结构感知Transformer over Interaction Proposals(STIP)。这种设计将HOI集合预测的过程分解为两个后续阶段,即,首先执行交互建议生成,然后通过结构感知的Transformer将非参数交互建议转换为HOI预测。结构感知的Transformer通过额外编码交互提议之间的整体语义结构以及每个交互提议中的人/物体的局部空间结构来升级香草Transformer,以加强HOI预测。在V-COCO和HICO-DET基准上进行的大量实验证明了STIP的有效性,并且与最先进的HOI检测器相比,报告了优越的结果。源代码可从\url{https://github.com/zyong812/STIP}获得。
2022-06-13 cs.AI cs.CV cs.MM
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
Transformer网络在对长距离上下文信息进行建模方面是有效的,并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成(TAPG)任务分为两个主要的子任务:边界预测和建议置信度预测,它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系,本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer,它由边界Transformer和建议Transformer组成。具体而言,边界Transformer捕获长期的时间依赖性以预测精确的边界信息,并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验,结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器,我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
Co-training Transformer with Videos and Images Improves Action Recognition
USC(南加州大学);Google Brain(谷歌大脑);Apple AI(苹果人工智能);Google Research(谷歌研究院)
在学习动作识别时,模型通常会在图像对象识别(如ImageNet)上进行预训练,然后在视频目标动作识别上进行微调。这种方法已经取得了良好的经验性能,特别是与最近的变压器为基础的视频架构。虽然最近许多作品旨在设计更先进的Transformer架构的动作识别,较少的努力已经取得了如何训练视频Transformers。在这项工作中,我们探讨了几种培训模式,并提出了两个发现。首先,视频Transformers受益于对不同视频数据集和标签空间(例如,Kinetics关注的是外观,而SomethingSomething关注的是运动)。其次,通过进一步与图像(如单帧视频)进行共同训练,视频Transformers可以学习更好的视频表示。我们将这种方法称为Co-training Videos and Images for Action Recognition(CoVeR)。特别是,在基于TimeSFormer架构的ImageNet-21 K上进行预训练时,CoVeR将Kinetics-400 Top-1准确度提高了2.4%,Kinetics-600提高了2.3%,SomethingSomething-v2提高了2.3%。在遵循先前最先进技术的大规模图像数据集上进行预训练时,CoVeR在Kinetics-400(87.2%)、Kinetics-600(87.9%)、Kinetics-700(79.8%…
2021-12-14 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University(南洋理工大学)
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小,因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率,我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架:1)用于学习潜在时间语义的基于视觉的编码器,以及2)多模态视频-文本交叉编码器,以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明,我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联,与CNN视觉模型相比,具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization
The City College, City University of New York(纽约城市大学城市学院)
本文提出POTLoc,通过自训练生成伪标签并结合Transformer与时序特征金字塔,仅用点级标注实现连续动作结构建模,在THUMOS'14和ActivityNet-v1.2上超越现有方法。
2024-06-05 cs.CV
An Efficient Spatio-Temporal Pyramid Transformer for Action Detection
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);RMIT University(皇家墨尔本理工大学)
动作检测的任务旨在推导出动作类别和定位的开始和结束时刻为每个动作实例在一个长的,未经修剪的视频。虽然视觉Transformer已经推动了视频理解的最新进展,但由于长视频片段序列上的极其昂贵的自我关注,设计用于动作检测的有效架构并非易事。为此,我们提出了一个有效的分层时空金字塔Transformer(STPT)的动作检测,建立在这样一个事实,即早期的自我注意层的Transformers仍然集中在本地模式。具体来说,我们建议使用本地窗口注意编码丰富的本地时空表示在早期阶段,而应用全局注意模块捕捉长期的时空依赖性在后期阶段。通过这种方式,我们的STPT可以编码本地性和依赖性,大大减少了冗余,提供了一个有前途的准确性和效率之间的权衡。例如,仅使用RGB输入,所提出的STPT在THUMOS 14上实现了53.6%的mAP,超过了I3D+AFSD RGB模型10%以上,并且与使用额外流特征的最先进AFSD相比表现良好,GFLOP减少了31%,这是一种有效且高效的端到端基于Transformer的动作检测框架。
2022-07-21 cs.CV
Multi-modal Multi-label Facial Action Unit Detection with Transformer
University of Electronic Science and Technology of China(中国电子科技大学)
面部动作编码系统是面部表情分析的一种重要方法,本文介绍了我们参加2022年第三届情感行为分析(ABAW)竞赛的情况。提出了一种基于人脸识别器的人脸动作单元检测模型。具体来说,我们首先训练了一个多模态模型来提取音频和视觉特征。在此基础上,提出了一个动作单元关联模块来学习各个动作单元标签之间的关系,并对动作单元检测结果进行细化。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-03-28 cs.CV
ASFormer: Transformer for Action Segmentation
Peking University(北京大学)
用于动作分割任务的算法通常使用时间模型来预测在一分钟长的日常活动的每帧处发生什么动作。最近的研究表明,Transformer在建模序列数据中元素之间的关系方面具有潜力。然而,当直接将Transformer应用于动作分割任务时,存在几个主要问题,例如在小训练集下缺乏归纳偏差,在处理长输入序列时的不足,以及解码器架构在利用多个动作片段之间的时间关系来细化初始预测方面的限制。为了解决这些问题,我们设计了一个高效的基于transformer的动作分割任务模型,命名为ASFormer,有三个显着的特点:(i)我们显式地引入了本地连接归纳先验,因为功能的高局部性。它将假设空间限制在一个可靠的范围内,并且有利于动作分割任务以较小的训练集学习适当的目标函数。(ii)我们应用了一个预定义的分层表示模式,有效地处理长输入序列。(iii)我们仔细设计了解码器,以完善编码器的初始预测。在三个公共数据集上的实验证明了该方法的有效性。代码可在\url{https://github.com/ChinaYi/ASFormer}上获得。
2021-10-16 cs.CV
HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers
Korea University(高丽大学)
时间动作定位(TAL)是识别视频中的一组动作的任务,其涉及定位开始和结束帧并对每个动作实例进行分类。现有的方法已经解决了这个任务,通过使用预定义的锚窗口或启发式自底向上的边界匹配策略,这是推理时间的主要瓶颈。此外,主要挑战是由于缺乏全局上下文信息而无法捕获长期动作。在本文中,我们提出了一种新的无锚框架,被称为HTNet,预测一组<开始时间,结束时间,类>三元组从视频的基础上Transformer架构。粗边界的预测后,我们通过一个背景特征采样(BFS)模块和分层Transformers,这使我们的模型,以聚合全局上下文信息,并有效地利用视频中的内在语义关系,细化它。我们展示了我们的方法如何定位准确的动作实例,并在两个TAL基准数据集上实现最先进的性能:THUMOS 14和ActivityNet 1.3。
2022-07-21 cs.CV
Higher Order Recurrent Space-Time Transformer for Video Action Prediction
NVIDIA AI Technology Center(英伟达人工智能技术中心);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
赋予视觉代理预测能力是实现大规模视频智能的关键一步。这方面的主要建模范例是序列学习,主要通过LSTM实现。前馈Transformer架构已经取代了语言处理ML应用中的循环模型设计,也部分取代了计算机视觉。在本文中,我们研究了视频预测任务的变压器式架构的竞争力。要做到这一点,我们提出了HORST,一种新的高阶递归层设计,其核心元素是一个时空分解的视频自我注意。HORST在“某物-某物”早期动作识别和“史诗-奇趣”动作预测方面达到了最先进的竞争性能,显示了我们归因于自我注意的周期性高阶设计的预测能力的证据。
2021-09-21 cs.CV
A Multi-Modal Transformer Network for Action Detection
University of Virginia(弗吉尼亚大学)
本文提出一种多模态Transformer网络,通过新型多模态注意力机制和摄像机运动失真校正算法增强动作特征,在THUMOS14和ActivityNet上取得领先性能,并构建了小学课堂视频数据集进行验证。
2023-05-31 cs.CV
Recurrent Transformer Variational Autoencoders for Multi-Action Motion Synthesis
University of Bonn(波恩大学);Amazon(亚马逊)
本文研究了任意长度的多动作人体运动序列的合成问题。现有的方法已经掌握了单动作场景中的运动序列生成,但未能推广到多动作和任意长度的序列。我们填补了这一空白,提出了一种新的有效的方法,利用表现力的经常性Transformers和生成丰富的条件变分自编码器。所提出的迭代方法是能够生成平滑和逼真的人体运动序列与任意数量的动作和帧,而这样做在线性空间和时间。我们训练和评估所提出的方法对PROX和Charades数据集,在那里我们增加PROX与地面实况动作标签和Charades与人类网格注释。实验评估表明,显着改善FID分数和语义一致性指标相比,国家的最先进的。
2022-06-27 cs.CV
Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
时间动作建议生成(TAPG)是视频理解中一项基本而又具有挑战性的任务,特别是在时间动作检测中。以往的研究主要集中在捕获局部时间上下文,能够很好地定位具有清晰框架和边界的简单动作实例。然而,它们通常在复杂的场景中失败,其中感兴趣的动作涉及不相关的帧和背景杂波,并且局部时间上下文变得不那么有效。为了处理这些问题,我们提出了一个增强的Transformer与自适应图网络(ATAG),利用远程和本地的时间上下文TAPG。具体来说,我们通过增加片段动作性损失和前端模块增强了vanilla Transformer,提高了其捕获长距离依赖关系和学习噪声动作实例鲁棒特征的能力,并提出了一种自适应图卷积网络(GCN),通过挖掘相邻特征之间的位置信息和差异来构建局部时间上下文。这两个模块的特征携带了丰富的视频语义信息,并融合有效的顺序建议生成。在两个具有挑战性的数据集,THUMOS 14和ActivityNet1.3上进行了大量的实验,结果表明,我们的方法优于最先进的TAPG方法。我们的代码将很快发布。
2021-03-30 cs.CV
Transformers in Action: Weakly Supervised Action Segmentation
Technische Universität München(慕尼黑工业大学);Google(谷歌)
视频动作分割任务经常在较弱的监督形式下进行探索,例如转录监督,其中动作列表比密集的帧标签更容易获得。在这个公式中,任务提出了各种挑战的序列建模方法,由于强调动作转换点,长序列长度,和帧上下文,使任务以及Transformers。考虑到使Transformers能够线性扩展的发展,我们通过我们的架构展示了它们如何应用于提高基于RNN的等效模型的动作对齐精度,其中注意力机制专注于突出的动作过渡区域。此外,鉴于最近的重点推理时间的成绩单选择,我们提出了一个补充的成绩单嵌入方法,以选择成绩单更快地在推理时间。此外,我们随后演示了这种方法如何也可以提高整体分割性能。最后,我们在基准数据集上评估了我们提出的方法,以更好地理解Transformers的适用性以及转录本选择在这个视频驱动的弱监督任务中的重要性。
2022-01-20 cs.CV cs.LG