SOAP: Enhancing Spatio-Temporal Relation and Motion Information Capturing for Few-Shot Action Recognition
Southeast University（东南大学）；Tongji University（同济大学）；Nanjing Normal University（南京师范大学）
本文提出SOAP架构，通过融合时空特征与多帧帧元组提升少样本动作识别性能，实现更全面的运动信息捕捉，优于传统方法。
2026-03-24 cs.AI cs.CV
A Closer Look at Spatiotemporal Convolutions for Action Recognition
Facebook Research（Facebook研究院）；Dartmouth College（达特茅斯学院）
在本文中，我们讨论了几种形式的时空卷积的视频分析，并研究其对动作识别的影响。我们的动机源于这样的观察，即应用于视频单个帧的2D CNN在动作识别中仍然表现出色。在这项工作中，我们经验性地证明了在残余学习的框架内，3D CNN相对于2D CNN的准确性优势。此外，我们还证明了将3D卷积滤波器分解为单独的空间和时间分量在准确性方面具有显着优势。我们的实证研究导致了一个新的时空卷积块“R（2+1）D”的设计，它产生了CNN，实现了与Sports-1 M，Kinetics，UCF 101和HMDB 51的最新技术相当或更好的结果。
2018-04-12 cs.CV
Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；University of Central Florida（中佛罗里达大学）；Linköping University（林雪平大学）
本文提出 Video-FocalNet，通过时空焦点调制架构结合卷积与逐元素乘法高效建模局部和全局上下文，在多个视频识别基准上以更低计算成本超越现有 Transformer 方法。
2023-10-27 cs.AI cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb（萨格勒布大学）；Graz University of Technology（格拉茨技术大学）
本文提出了结合时空外观（STA）描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符，适用于构建任意时空现象的部分表示。由于迭代细化的可能性，它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别，使用两种不同的算法计算流量：Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明，我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Efficient Human Vision Inspired Action Recognition using Adaptive Spatiotemporal Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Reality Labs Research（Meta现实实验室）
利用视频中的时空冗余的自适应采样对于具有有限计算和电池资源的可穿戴设备上的始终在线动作识别至关重要。常用的固定采样策略是不感知上下文的，并且可能对视觉内容进行欠采样，从而对计算效率和准确性产生不利影响。受人类视觉感知机制中的中心凹视觉和前注意处理概念的启发，我们引入了一种新的自适应时空采样方案来实现高效的动作识别。我们的系统以低分辨率预扫描全局场景上下文，并决定跳过或请求显著区域的高分辨率特征以进行进一步处理。我们在EPIC-KITCHENS和UCF-101数据集上验证了该系统的动作识别能力，并表明与最先进的基线相比，我们提出的方法可以大大加快推理速度，并具有可容忍的准确性损失。源代码可在https://github.com/knmac/adaptive_spatiotemporal上获得。
2022-07-14 cs.CV
Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven（鲁汶大学）
识别人类行为从根本上说是一个时空推理问题，并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设，在这项工作中，我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置，但仍不清楚（i）精心制作的基于时空布局的方法可以识别人类行为的程度，以及（ii）如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别，其中我们提倡在时空布局上使用多头注意力（已被证明对空间推理有效），即，对象边界框的配置。我们评估不同的方案，以注入视频外观信息的系统，并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上，我们演示了（i）如何扩展多头注意力用于基于时空布局的动作识别，（ii）如何通过与基于布局的模型融合来提高基于外观的模型的性能，（iii）即使在非合成背景杂乱的视频数据集上，基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
图卷积网络（GCN）已经成为基于卷积的动作识别的主要方法。然而，他们仍然遭受两个问题，即邻域约束和纠缠时空特征表示。大多数研究都集中在改进图拓扑的设计，以解决第一个问题，但他们还没有充分探讨后者。在这项工作中，我们设计了一个解开时空Transformer（DSTT）块，以克服上述限制的GCN在三个步骤：（i）功能解开时空分解;（ii）全球时空关注捕捉相关性在全球范围内;和（iii）本地信息增强利用更多的本地信息。在此基础上，我们提出了一种新的架构，命名为分层图卷积骨架Transformer（HGCT），以利用GCN的互补优势（即，局部拓扑、时间动态和层次）和Transformer（即，全球背景和动态注意力）。HGCT是轻量级和计算效率。定量分析表明了HGCT的优越性和良好的解释性。
2022-01-10 cs.AI cs.CV
Spatiotemporal Action Recognition in Restaurant Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别是对视频中的动作进行定位和分类的任务。我们的项目将此任务应用于分析餐厅工作人员准备食物的视频片段，其潜在应用包括自动结账和库存管理。这些视频与研究人员习惯的标准化数据集截然不同，因为它们涉及小对象，快速动作和众所周知的不平衡数据类。我们探索两种方法。第一种方法涉及熟悉的对象检测器You Only Look Once，另一种方法应用最近提出的动作识别模拟，You Only Watch Once。首先，我们使用卷积LSTM设计并实现了一种新颖的、经常性的YOLO修改，并探索了这种网络训练中的各种微妙之处。在第二部分中，我们研究了YOWO三维卷积捕捉我们独特数据集的时空特征的能力
2020-08-25 cs.AI cs.CV cs.LG
Spatiotemporal Filtering for Event-Based Action Recognition
National University of Singapore（新加坡国立大学）；Singapore Institute for Neurotechnology（新加坡神经技术研究所）
在本文中，我们解决了具有挑战性的问题，动作识别，使用基于事件的相机。为了识别大多数手势动作，通常需要更高的时间精度来采样视觉信息。动作是由运动定义的，因此，当使用基于事件的相机时，通常不需要重新采样整个场景。神经形态，基于事件的相机已经提出了一种替代视觉信息采集异步时间编码像素强度的变化，通过时间上精确的尖峰（10微秒分辨率），使他们很好地装备动作识别。然而，存在其他挑战，这是固有的基于事件的成像器，如较高的信噪比，和时空稀疏的信息。一种选择是将事件数据转换为帧，但这可能导致显著的时间精度损失。在这项工作中，我们引入时空滤波的尖峰事件域，作为一种替代方式的通道时空信息通过一个卷积神经网络。滤波器是局部时空权重矩阵，以无监督的方式从尖峰事件数据中学习。我们发现，适当的时空滤波显着提高了CNN的性能，超越了最先进的基于事件的DVS手势数据集。在我们新记录的动作识别数据集上，与生成时空滤波器的其他标准方法相比，我们的方法显示出显着的改进。
2019-03-17 cs.CV
Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征，而这种相似性可能会受到一些失真的影响，这些失真可以建模为空间和时间仿射变换的组合。在这项工作中，我们提出了一个新的功能称为时空双仿射微分不变（STDADI）。此外，为了提高神经网络的泛化能力，提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上，它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
STSM: Spatio-Temporal Shift Module for Efficient Action Recognition
传统时空网络的建模、计算代价和准确性是视频动作识别中最集中的三个研究课题。传统的2D卷积计算量小，但不能捕捉时间关系;基于3D卷积的卷积神经网络（CNN）模型可以获得较好的性能，但计算量大，参数量大。在本文中，我们提出了一个即插即用的时空转换模块（STSM），这是一个通用的模块，既有效又高性能。具体地，在将STSM插入到其他网络中之后，可以在不增加计算次数和参数的情况下提高网络的性能。特别是，当网络是2D CNN时，我们的STSM模块允许网络学习有效的时空特征。我们对所提出的模块进行了广泛的评估，进行了大量的实验来研究其在视频动作识别中的有效性，并在kinetics-400和Something-Something V2数据集上取得了最先进的结果。
2021-12-05 cs.CV
STM: SpatioTemporal and Motion Encoding for Action Recognition
Zhejiang University（浙江大学）；SenseTime Group Limited（商汤集团有限公司）
时空特征和运动特征是视频动作识别的两个重要信息，二者相互补充。最近的最先进的方法采用3D CNN流来学习时空特征，并采用另一个流来学习运动特征。在这项工作中，我们的目标是有效地编码这两个功能在一个统一的二维框架。为此，我们首先提出了一个STM块，其中包含一个逐行时空模块（CSTM），以呈现时空特征和逐行运动模块（CMM），以有效地编码运动特征。然后，我们将ResNet架构中的原始残差块替换为STM块，通过引入非常有限的额外计算成本来形成简单而有效的STM网络。大量的实验表明，所提出的STM网络在时间相关数据集（即，Something-Something v1 & v2和Jester）和场景相关数据集（即，Kinetics-400、UCF-101和HMDB-51），同时对时空和运动特征进行编码。
2019-08-16 cs.CV
Towards To-a-T Spatio-Temporal Focus for Skeleton-Based Action Recognition
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
图卷积网络（GCN）已被广泛用于基于动作识别的高阶动态依赖模型。大多数现有的方法没有显式地嵌入高阶时空重要性关节的空间连接拓扑结构和强度，他们没有直接的目标，他们的注意力模块，以共同学习何时和何处集中在动作序列。为了解决这些问题，我们提出了To-a-T时空焦点（STF），一个基于时间序列的动作识别框架，利用时空梯度来关注相关的时空特征。首先，我们提出了STF模块与学习的梯度强制和实例相关的邻接矩阵模型的高阶时空动力学。其次，我们提出了三个损失条款上定义的基于梯度的时空焦点，明确指导分类何时何地看，区分混淆类，并优化堆叠STF模块。STF在NTU RGB+D 60、NTU RGB+D 120和Kinetics Skeleton 400数据集上，在所有15种设置中，在不同的视图、主题、设置和输入模式下，都优于最先进的方法，STF在稀缺数据和数据集移动设置上也显示出更好的准确性。
2022-02-04 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务，用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝（RGB）输入视频的人体动作识别系统，并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上，增加了采样模块和归一化模块，提高了模型的性能，从而实现了对人体动作的识别。此外，我们建立了一个新的数据集，具有类似的背景和歧视性的行动，人类关键点预测和行为识别。为了获得更好的结果，我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
Spatio-temporal Action Recognition: A Survey
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
动作识别或动作检测的任务涉及分析视频并确定正在执行的动作或运动。这些视频的主要主题主要是人类执行某些动作。然而，这一要求可以放宽，以推广到其他主题，如动物或机器人。应用程序的范围可以从人机交互到自动视频编辑建议之间的任何地方。当我们考虑时空动作识别时，我们处理动作定位。该任务不仅涉及确定正在执行什么动作，而且还涉及在所述视频中何时何地执行该动作。本文旨在调查试图解决这一任务的方法和算法，对它们进行全面的比较，探索可用于该问题的各种数据集，并确定最有前途的方法。
2019-01-27 cs.CV
Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition
Singapore University of Technology and Design（新加坡科技设计大学）；Monash University（莫纳什大学）；Lancaster University（兰卡斯特大学）；ByteDance（字节跳动）；Harbin Institute of Technology（哈尔滨工业大学）
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为了解决这个问题，我们从人类视觉系统中获得灵感，该系统包含大脑中专门用于处理特定任务的专门区域。我们设计了一个新的动态时空专门化（DSTS）模块，它由专门的神经元，只激活的样本是高度相似的子集。在训练过程中，这种损失迫使专门的神经元学习有区别的细粒度差异，以区分这些相似的样本，从而提高细粒度识别。此外，时空特化方法进一步优化了特化神经元的架构，以捕获更多的空间或时间细粒度信息，从而更好地处理视频中的大范围时空变化。最后，我们设计了一个上下游学习算法来优化模型在训练过程中的动态决策，从而提高了DSTS模块的性能。我们在两个广泛使用的细粒度动作识别数据集上获得了最先进的性能。
2022-09-03 cs.CV
Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues
Delhi Technological University（德里理工大学）
视频中的动作存在大量的类内差异和类间相似性，这使得视频中的动作识别具有很大的挑战性。在本文中，我们提出了一种新的基于卷积神经网络的部分时空CNN RIAC网络的三维人体动作识别框架，以部分方式可视化动作动态，并通过应用加权后期融合机制来利用每个部分进行动作识别。基于部分骨架的运动动力学有助于突出骨架的局部特征，这是通过将完整骨架划分为五个部分来执行的，例如头部到脊柱、左腿、右腿、左手、右手。RIAFNet架构受到InceptionV 4架构的极大启发，该架构统一了基于ResNet和Inception的时空特征表示概念，并实现了迄今为止最高的top-1准确度。为了提取和学习用于动作识别的显著特征，使用注意力驱动的残差，其增强残差分量的性能以用于有效的基于3D卷积的时空动作表示。通过对UT Kinect Action 3D、Florence 3D action Dataset和MSR Daily 3D数据集等三个具有挑战性的数据集进行广泛的实验，评估了所提出的框架的鲁棒性，这些数据集始终证明了我们方法的优越性
2019-12-02 cs.CV
Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition
Ewha Womans University（成均馆大学）
提出相似性体积聚合（SimVA）框架，通过构建密集的4D时空相似性体积并融合空间聚合、运动感知调制和Mamba时序聚合，保留局部补丁和细粒度时空线索，实现开放词汇动作识别。
2026-11-04 cs.CV
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
The Hong Kong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba（阿里巴巴达摩院）
基于变换器的方法最近在基于2D图像的视觉任务上取得了很大的进步。然而，对于基于3D视频的任务，如动作识别，直接应用时空Transformers的视频数据将带来沉重的计算和内存负担，由于补丁的数量大大增加和自注意计算的二次复杂度。如何高效地对视频数据的3D自注意力建模一直是Transformers面临的巨大挑战。在本文中，我们提出了一个时间补丁移位（TPS）的方法，有效的3D自我注意力建模Transformers基于视频的动作识别。TPS在时间维度上移动具有特定镶嵌模式的部分斑块，从而将香草空间自注意操作转换为时空操作，并且几乎没有额外的成本。因此，我们可以使用与2D自我注意力几乎相同的计算和内存成本来计算3D自我注意力。TPS是一个即插即用的模块，可以插入到现有的2D Transformer模型，以增强时空特征学习。所提出的方法在Something-something V1 & V2、Diving-48和Kinetics 400上实现了具有竞争力的性能，同时在计算和内存成本上更有效。TPS的源代码可以在https://github.com/MartinXM/TPS上找到。
2022-07-27 cs.AI cs.CV cs.LG
STAR-Net: Action Recognition using Spatio-Temporal Activation Reprojection
University of Waterloo（滑铁卢大学）
虽然深度相机和惯性传感器经常被用于人类动作识别，但这些感测模态在成本或环境约束禁止其使用的许多场景中是不切实际的。因此，最近已经对经由深度卷积神经网络使用低成本、容易获得的RGB相机的人类动作识别产生了兴趣。然而，迄今为止提出的用于动作识别的许多深度卷积神经网络在很大程度上依赖于直接从成像数据学习全局外观线索，导致高度复杂的网络架构，其计算昂贵且难以训练。出于降低网络复杂性和实现更高性能的动机，我们引入了时空激活重投影（STAR）的概念。更具体地说，我们使用3D卷积堆栈在空间和时间上重新投影由人类姿势估计层生成的时空激活。在UTD-MHAD和J-HMDB上的实验结果表明，基于STAR框架（我们称之为STAR-Net）的端到端架构适用于单环境和小规模应用。在UTD-MHAD上，STAR-Net使用更丰富的数据模态（如深度和惯性传感器）优于几种方法。
2019-02-26 cs.CV
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题，提出融合STC模块与DK-GC的STC-Net，自适应建模时空依赖且无额外参数量，在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Correlation Net: Spatiotemporal multimodal deep learning for action recognition
Hiroshima University（广岛大学）；Universitas Brawijaya（布劳爪哇大学）
本文描述了一个网络，捕捉多模态相关性在任意时间戳。所提出的方案作为一个互补的，扩展的多模态卷积神经网络（CNN）的网络。深度CNN的动作识别需要空间流和时间流，但是过拟合减少和融合这两个流仍然是开放的问题。现有的融合方法对两个流进行平均。在这里，我们提出了一个具有香农融合的相关网络，用于学习预训练的CNN。远程视频可以由任意时间上的时空相关性组成，其可以通过从简单的全连接层形成相关性网络来捕获。这种方法被认为是对现有网络融合方法的补充。在UCF-101和HMDB-51数据集上的对比实验验证了多模态相关的重要性。多模态相关提高了视频识别结果的准确性。
2019-12-16 cs.CV
Spatiotemporal Pyramid Network for Video Action Recognition
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
双流卷积网络在视频动作识别任务中表现出强大的性能。其关键思想是通过在空间和时间上融合卷积网络来学习时空特征。然而，它仍然不清楚如何在多个抽象级别的空间和时间结构之间的相关性建模。首先，如果两个视频共享相似的背景，则空间流倾向于失败。第二，如果两个动作在短片段中相似，尽管从长远来看是不同的，那么时间流可能会被愚弄。我们提出了一种新的时空金字塔网络融合的空间和时间的特点，在金字塔结构，使他们可以相互加强。从体系结构的角度来看，我们的网络构成了分层融合策略，可以作为一个整体使用统一的时空损失进行训练。一系列的烧蚀实验支持每个融合策略的重要性。从技术角度来看，我们将时空紧致双线性算子引入到视频分析任务中。该算子能够有效地训练双线性融合操作，该操作可以捕获空间和时间特征之间的全部相互作用。我们的最终网络在标准视频数据集上实现了最先进的结果。
2019-03-04 cs.CV
Spatio-Temporal FAST 3D Convolutions for Human Action Recognition
Utrecht University（乌得勒支大学）
视频输入的有效处理对于识别诸如人类动作之类的时间变化事件是必不可少的。由于水平或垂直方向上的动作通常具有独特的时间特性，我们为具有视频输入的CNN架构引入了一种新的卷积块。我们提出的部分相邻空间和时间（FAST）3D卷积是常规3D卷积的自然分解。每个卷积块由三个顺序卷积操作组成：2D空间卷积，然后分别在水平和垂直方向上进行时空卷积。此外，我们还引入了一个FAST变体，它可以并行处理水平和垂直运动。在具有ResNet架构的基准动作识别数据集UCF-101和HMDB-51上进行的实验表明，FAST 3D卷积块的性能比传统3D卷积一致提高。较低的验证损失表明更好的泛化能力，特别是对于更深的网络。我们还评估了具有类似内存要求的CNN架构的性能，这些架构基于双流网络或3D卷积块。具有FAST 3D卷积的DenseNet-121表现最好，进一步证明了解耦时空卷积的优点。
2019-10-22 cs.CV
Spatio-temporal Aware Non-negative Component Representation for Action Recognition
Laboratory of Image Sciences and Technology, Southeast University（东南大学影像科学与技术实验室）；Ginkgo LLC（银杏有限责任公司）
本文提出了一种新的中级表示的动作识别，命名为时空感知的非负分量表示（STANNCR）。STANNCR是基于动作成分，并结合了时空信息。首先，我们引入了一个时空分布向量（STDV）模型的局部特征位置的分布在一个紧凑和歧视的方式。然后，我们采用非负矩阵分解（NMF）学习的动作组件和编码的视频样本。动作部分考虑了视觉词的相关性，有效地弥补了动作识别中的语义鸿沟。为了将时空线索用于最终表示，STDV被用作NMF的图正则化的一部分。时空信息的融合使STANNCR具有更强的鉴别力，而且与传统的向量拼接方法相比，该方法具有更紧凑的结构。该方法在三个公共数据集上进行了广泛的评估。实验结果证明了STANNCR用于动作识别的有效性。
2016-08-27 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute（海康威视研究院）
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征（C2D），要么与无约束参数联合学习（C3D）。在本文中，我们提出了一种新的神经操作，通过对可学习参数施加权重共享约束来协同编码时空特征。特别是，我们沿着体积视频数据的三个正交视图执行2D卷积，分别学习空间外观和时间运动线索。通过共享不同视图的卷积核，空间和时间特征可以协同学习，从而相互受益。随后通过加权求和来融合互补特征，加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能，并在2018年的Moments in Time Challenge中获得了第一名。此外，基于不同视图的学习系数，我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性，也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences
基于3D骨架序列的动作识别以其快速性和鲁棒性而受到广泛关注。最近提出的基于卷积神经网络（CNN）的方法在学习骨架序列的时空表示方面表现出良好的性能。尽管先前的基于CNN的方法实现了良好的识别精度，但存在两个潜在地限制性能的问题。首先，通过以固定顺序链接关节来生成先前的骨架表示。对应的语义不清，关节间的结构信息丢失。其次，以前的模型没有能力集中在信息关节。注意力机制对于基于骨架的动作识别是非常重要的，因为存在时空关键阶段，而联合预测可能是不准确的。为了解决这两个问题，我们提出了一种新的CNN为基础的骨架动作识别方法。我们首先重新设计的骨架表示与深度优先的树遍历顺序，这增强了骨架图像的语义意义，更好地保留了相关的结构信息。然后，我们提出了一个双分支注意力架构的想法，专注于时空的关键阶段，并过滤掉不可靠的联合预测。首先介绍了一种结构最简单的基本注意力模型。通过改进这两个分支的结构，我们进一步提出了一个全局长序列注意力网络（GLAN）。此外，为了调整内核的时空纵横比，更好地捕捉长期的依赖关系，我们提出了一个子序列注意力网络（SSAN），采取子图像序列作为输入。我们在NTU RGB+D和SBU Kinetic Interaction上的实验结果优于现有技术。该模型在UCF 101和Kinetics的噪声估计姿势上得到了进一步验证。
2018-04-11 cs.CV
Fully-Coupled Two-Stream Spatiotemporal Networks for Extremely Low Resolution Action Recognition
Indiana University, Bloomington（印第安纳大学伯明顿分校）；University of Central Florida（中佛罗里达大学）；Midea Corporate Research Center（美的企业研究中心）
随着摄像头和计算机视觉越来越多地融入我们的日常生活，包括家庭内的智能设备，一个新出现的主要挑战是如何保护人们的隐私。一个潜在的解决方案是捕获和记录执行感兴趣的任务所需的最少量的信息。在本文中，我们提出了一个完全耦合的双流时空架构，用于在极低分辨率（例如，12x16像素）视频。我们提供了一个有效的方法来提取空间和时间特征，并将它们聚合成一个强大的功能表示整个动作视频序列。我们还考虑如何在训练过程中纳入高分辨率视频，以便构建更好的低分辨率动作识别模型。我们对两个公开的数据集进行了评估，显示出对最先进技术的显着改进。
2018-01-11 cs.CV
Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
近年来，出现了许多基于2D或3D卷积神经网络（CNN）的视频动作识别方法，在几个大规模基准数据集上取得了最先进的结果。在本文中，我们进行了深入的比较分析，以更好地了解这些方法之间的差异和取得的进展。为此，我们为2D-CNN和3D-CNN动作模型开发了一个统一的框架，这使我们能够消除花哨的东西，并为公平比较提供共同点。然后，我们进行了一个大规模的分析，涉及300多个动作识别模型的努力。我们的综合分析表明，a）动作识别的效率有了显著的提高，但准确性没有提高; b）2D-CNN和3D-CNN模型在时空表示能力和可转移性方面表现相似。我们的代码可在https://github.com/IBM/action-recognition-pytorch上获得。
2021-03-29 cs.CV
Towards Improving Spatiotemporal Action Recognition in Videos
Carnegie Mellon University（卡内基梅隆大学）
时空动作识别处理视频中动作的定位和分类。受最新的实时对象检测器You Only Watch Once（YOWO）的启发，我们的目标是修改其结构，以提高动作检测精度并减少计算时间。具体来说，我们提出了四种新的方法，试图改善YOWO和解决不平衡的类视频的问题，通过修改的损失函数。我们考虑两个中等大小的数据集来应用我们对YOWO的修改-流行的关节注释人体运动数据库（J-HMDB-21）和由卡内基梅隆大学的初创公司Agot. AI提供的餐厅视频片段的私人数据集。后者涉及小对象的快速移动动作以及不平衡的数据类，使得动作本地化任务更具挑战性。我们在GitHub存储库https://github.com/stoneMo/YOWOv2中实现了我们提出的方法。
2020-12-15 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
STH: Spatio-Temporal Hybrid Convolution for Efficient Action Recognition
Xi’an Jiaotong University（西安交通大学）；Tencent AI Lab（腾讯人工智能实验室）；Australian National University（澳大利亚国立大学）
有效的时空建模是动作识别的关键。现有的方法遭受模型性能和模型复杂性之间的权衡。在本文中，我们提出了一种新的时空混合卷积网络（表示为“STH”），同时编码空间和时间的视频信息与一个小的参数成本。与现有的用不同卷积层顺序或连续提取空间和时间信息的工作不同，我们将输入通道分成多个组，并在一个卷积层中交织空间和时间操作，深度融合了空间和时间线索。这样的设计使得能够进行有效的时空建模并且保持小的模型规模。STH-Conv是一个通用的构建块，可以通过替换传统的2D-Conv块（2D卷积）插入到现有的2D CNN架构中，如ResNet和MobileNet。STH网络在诸如Something-Something（V1和V2）、Jester和HMDB-51等基准数据集上实现了具有竞争力甚至更好的性能。此外，STH具有优于3D CNN的性能，同时保持比2D CNN更小的参数成本。
2020-03-18 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Skeleton-Based Action Recognition with Synchronous Local and Non-local Spatio-temporal Learning and Frequency Attention
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
由于其简洁性和鲁棒性，基于手势的动作识别近年来受到了广泛的关注。大多数现有方法利用本地网络（例如，递归的、卷积的和图卷积网络）来分层地提取时空动态。因此，本地和非本地依赖，其中包含更多的细节和语义分别，异步捕获在不同级别的层。此外，现有的方法仅限于时空域，而忽略了频域中的信息。为了更好地从多个域中提取同步的详细和语义信息，我们提出了一个残余频率注意力（RFA）块，专注于在频域中的判别模式，和一个同步的本地和非本地（SLnL）块，同时捕获的细节和语义在时空域。此外，提出了一种软边缘聚焦损失（SMFL），以优化整个学习过程，自动进行数据选择，并鼓励在分类器的内在边缘。我们的方法在几个大规模数据集上的性能明显优于其他最先进的方法。
2019-06-12 cs.CV
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University（中山大学）
自监督学习通过直接从未标记的数据中构造代理监督信号，在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同，我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中，我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间，包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性，本文提出了两种基于视频的数据增强方法，时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性，而后者的目的是保持空间不变性，以提取动作相关的功能。大量的实验表明，我们的方法实现了实质性的改进相比，国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时，我们在HMDB 51上实现了22%的相对改进，在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
具有时空3D核的卷积神经网络（3D CNN）具有直接从视频中提取时空特征以用于动作识别的能力。虽然3D核函数由于其参数的数量太多而趋于过拟合，但通过使用最近的大型视频数据库，3D CNN得到了极大的改进。然而，3D CNN的架构相对于基于2D的CNN中非常深的神经网络的成功相对较浅，例如残差网络（ResNets）。在本文中，我们提出了一种基于ResNets的3D CNN，以实现更好的动作表示。我们详细描述了我们的3D ResNets的训练过程。我们在ActivityNet和Kinetics数据集上对3D ResNets进行了实验评估。在Kinetics上训练的3D ResNets尽管有大量的模型参数，但没有出现过拟合，并且比相对较浅的网络（如C3D）获得了更好的性能。我们的代码和预训练模型（例如Kinetics和ActivityNet）可在https://github.com/kenshohara/3D-ResNets上公开获取。
2017-08-25 cs.CV
Spatio-Temporal LSTM with Trust Gates for 3D Human Action Recognition
Nanyang Technological University（南洋理工大学）；University of Sydney（悉尼大学）
3D动作识别-基于3D骨架数据的人类动作分析-由于其简洁性，鲁棒性和视图不变表示而变得流行。最近对这个问题的尝试建议开发基于RNN的学习方法来建模时间域中的上下文依赖性。在本文中，我们将这一想法扩展到时空域，分析隐藏的来源的动作相关的信息内的输入数据在这两个域同时进行。受人体骨架图形结构的启发，我们进一步提出了一种更强大的基于树结构的遍历方法。为了处理3D骨架数据中的噪声和遮挡，我们在LSTM中引入了新的门控机制来学习顺序输入数据的可靠性，并相应地调整其对更新存储在存储单元中的长期上下文信息的影响。我们的方法在4个具有挑战性的3D人体动作分析基准数据集上实现了最先进的性能。
2016-07-24 cs.AI cs.CV cs.LG
Spatio-Temporal Pyramid Graph Convolutions for Human Action Recognition and Postural Assessment
University of Washington（华盛顿大学）；Honda Research Institute（本田研究院）
由于人类行为及其与物体和环境的相关交互的识别在各种领域中具有潜在的应用，因此它是计算机视觉中的一个重要问题。最通用的方法可以推广到各种环境，并处理杂乱的背景，遮挡和视点变化。其中，基于从骨架提取特征的图卷积网络的方法已经展示了有前途的性能。在本文中，我们提出了一种新的时空金字塔图卷积网络（ST-PGN）的在线动作识别的人体工程学风险评估，使所有级别的骨架特征层次结构的使用功能。该算法优于在两个通常用于姿势评估的公共基准数据集（TUM和UW-IOM）上测试的最先进的动作识别算法。我们还引入了一个管道，以提高在线动作识别技术的姿势评估方法。最后，将该算法与传统的人体工程学风险指数（REBA）相结合，以证明其在职业安全中对肌肉骨骼疾病评估的潜在价值。
2019-12-07 cs.CV cs.LG
Building a Multi-modal Spatiotemporal Expert for Zero-shot Action Recognition with CLIP
Northwestern Polytechnical University（西北工业大学）
针对CLIP直接微调用于零样本动作识别（ZSAR）时捕捉时空动态的不足，提出基于CLIP的时空动态双元组（STDD）框架，通过视觉侧时空交叉注意力和语义侧动作语义知识图谱增强，在多个基准上超越现有最优方法。
2025-02-09 cs.CV
Deep Spatio-temporal Manifold Network for Action Recognition
University of Central Florida（中佛罗里达大学）；Beihang University（北京航空航天大学）
视频等视觉数据通常是从复杂流形上采样的。我们建议利用流形结构来约束深度动作特征学习，从而最大限度地减少特征空间中的类内变化并缓解过度拟合问题。考虑到流形可以从数据域逐层转移到深层特征，流形先验从顶层被提出到卷积神经网络（CNN）的反向传播学习过程中。由此产生的算法-时空流形网络-解决了有效的交替方向的乘法器和反向传播（ADMM-BP）。我们从理论上表明，STMN重铸的问题，通过嵌入方法在流形上的投影。在两个基准数据集上对所提出的方法进行了评估，显示出对基线的显著改进。
2017-05-09 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer，通过单一注意力模块集成时空建模并引入多尺度池化融合模块，在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中，我们提出了一个端到端的空间和时间的注意力模型，从骨架数据的人类动作识别。我们在具有长短期记忆（LSTM）的递归神经网络（RNN）之上构建我们的模型，它学会选择性地关注输入的每一帧内骨架的区别性关节，并对不同帧的输出给予不同程度的关注。此外，为了确保网络的有效训练，我们提出了一个正则化的交叉熵损失来驱动模型学习过程，并相应地开发了一个联合训练策略。实验结果表明，该模型的有效性，无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Transformer-based Fusion of 2D-pose and Spatio-temporal Embeddings for Distracted Driver Action Recognition
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于Transformer的融合架构，将2D姿态特征作为位置嵌入、时空特征作为编码器主输入，并结合多视角后处理，提升分心驾驶动作的时序定位与分类精度。
2024-03-11 cs.CV
Multi-Temporal Convolutions for Human Action Recognition in Videos
Utrecht University（乌得勒支大学）
时间模式的有效提取对于视频中时变动作的识别至关重要。我们认为，可以改进卷积神经网络（CNN）中使用的固定大小的时空卷积核，以提取在不同时间尺度上执行的信息运动。为了解决这一挑战，我们提出了一种新的时空卷积块，能够提取时空模式在多个时间分辨率。我们提出的多时间卷积（MTConv）块利用两个分支，分别专注于简短和延长的时空模式。所提取的时变特征在第三分支中相对于通过复发细胞的全局运动模式对齐。所提出的块是轻量级的，可以集成到任何3D-CNN架构中。这大大降低了计算成本。在Kinetics、Moments in Time和HACS动作识别基准数据集上进行的大量实验表明，与最先进的技术相比，MTConvs具有竞争力的性能，且计算占用空间显著降低。
2021-03-31 cs.CV
Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition
Carnegie Mellon University（卡内基梅隆大学）
我们解决的问题，产生视频功能的动作识别。空间金字塔及其变体由于其在平衡空间位置编码和空间不变性方面的成功而成为非常流行的特征模型。虽然将空间金字塔扩展到时间域（时空金字塔）似乎很简单，但无约束视频的大时空多样性和由此产生的显着更高的维度表示使其不那么吸引人。本文介绍了时空扩展描述符，一个简单而有效的替代方法，包括时空位置的视频功能。代替仅对运动信息进行编码并将时空位置留在池化阶段表示，位置信息被用作编码步骤的一部分。与固定网格模型相比，该方法避免了过度承诺人工边界的危险，并且其维数相对较低，是一种更有效和高效的位置编码方法。在多个基准数据集上的实验结果表明，尽管该方法简单，但其效果与时空金字塔相当或更好。
2015-10-15 cs.CV
SMV-EAR: Bring Spatiotemporal Multi-View Representation Learning into Efficient Event-Based Action Recognition
Rui Fan（瑞·范）；Weidong Hao（郝伟东）
SMV-EAR提出了一种基于时空多视角表示学习的高效事件基动作识别方法，通过翻译不变的密集转换、双分支动态融合架构和生物启发的时序扭曲增强，提升了识别准确率并降低了计算成本。
2026-01-24 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia（西澳大学）
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声，因此在动作分析中很受欢迎。然而，当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列，充分利用"本地"关节之间的相关性，使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像，并开发了一个基于CNN的框架，用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息，该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外，它们在编码复合语义概念（例如关节的位置和速度）方面是灵活的。所提出的动作识别利用表示在一个分层的方式，首先捕捉骨骼关节与Skeppels之间的微观时间关系，然后利用它们的宏观时间关系，通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构，并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上，我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV
Spatio-Temporal Fusion Networks for Action Recognition
University of Central Florida（中佛罗里达大学）
基于视频的CNN工作集中于融合外观和运动网络的有效方法，但它们通常缺乏利用视频帧上的时间信息。在这项工作中，我们提出了一种新的时空融合网络（STFN），集成了整个视频的外观和运动信息的时间动态。然后，所捕获的时间动态信息被聚合以用于更好的视频级表示，并通过端到端训练来学习。时空融合网络由两组提取时间动态的残差初始块和用于外观和运动特征的融合连接组成。STFN的好处是：（a）它捕获补充数据的局部和全局时间动态，以学习视频范围的信息;（b）它适用于任何视频分类网络，以提高性能。我们探索了各种设计选择STFN和验证网络性能是如何随着消融研究而变化的。我们在两个具有挑战性的人类活动数据集UCF 101和HMDB 51上进行了实验，并使用最佳网络实现了最先进的结果。
2019-06-17 cs.CV
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu, Inc.（百度公司）
对各种时空依赖关系进行建模是在骨架序列中识别人类动作的关键。现有的方法过分依赖于遍历规则或图拓扑的设计来绘制动态关节间的依赖关系，这不足以反映距离较远但重要的关节间的关系。此外，由于局部采用的操作，重要的长程时间信息，因此没有很好地探讨在现有的工作。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新的长短期时空聚合网络，它可以有效地捕捉在时空的方式的长/短距离的依赖关系。我们设计我们的模型到一个纯粹的因式分解架构，可以交替执行空间特征聚合和时间特征聚合。为了提高特征聚合的效果，还设计并采用了一种通道级注意力机制。在三个公共基准数据集上进行了广泛的实验，结果表明，我们的方法可以在空间和时间域中捕获长范围和短范围的依赖关系，比其他最先进的方法产生更高的结果。代码可在https://github.com/tailin1009/LSTA-Net获得。
2021-11-01 cs.CV
Learning Discriminative Spatio-temporal Representations for Semi-supervised Action Recognition
IAIR, Xi’an Jiaotong University（IAIR，西安交通大学）
针对半监督动作识别中标注数据稀缺导致的模糊预测问题，提出统一框架结合自适应对比学习与多尺度时间学习策略，学习判别性时空表示，在多个基准上超越现有方法。
2024-04-25 cs.CV
Survey of Action Recognition, Spotting and Spatio-Temporal Localization in Soccer -- Current Trends and Research Perspectives
NASK - National Research Institute（国家研究 institute）；Faculty of Mathematics and Information Science, Warsaw University of Technology（数学与信息科学学院，华沙技术大学）；Faculty of Physics and Applied Computer Science, AGH University of Science and Technology（物理与应用计算机科学学院，AGH科技大学）
本文综述足球动作场景理解任务，涵盖动作识别、检测与时空定位，重点介绍多模态方法、公开数据源及评估指标，回顾相关技术并指出未来方向，为研究者提供参考。
2023-09-21 cs.AI cs.CV cs.LG
SCD-Net: Spatiotemporal Clues Disentanglement Network for Self-supervised Skeleton-based Action Recognition
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）
本文提出自监督对比学习框架 SCD-Net，通过解耦时空线索并引入带结构约束的掩码策略，在多个基准数据集的下游任务上显著优于现有 SOTA 方法。
2023-09-11 cs.CV
