Directional Temporal Modeling for Action Recognition
Amazon Web Service(亚马逊云服务)
许多当前的活动识别模型使用3D卷积神经网络(例如,I3 D、I3 D-NL)来生成局部时空特征。然而,这样的特征不对剪辑级有序时间信息进行编码。在本文中,我们介绍了一个独立于通道的方向卷积(CIDC)操作,学习局部特征之间的时间演化模型。通过应用多个CIDC单元,我们构建了一个轻量级的网络,该网络可以在多个空间尺度上模拟剪辑级的时间演化。我们的CIDC网络可以连接到任何活动识别骨干网络。我们在四个流行的活动识别数据集上评估了我们的方法,并不断改进最先进的技术。我们进一步可视化了CIDC网络的激活图,并表明它能够专注于框架中更有意义的、与动作相关的部分。
2020-07-21 cs.CV
Skeleton-based Action Recognition via Temporal-Channel Aggregation
基于骨架的动作识别方法受到时空骨架图语义提取的限制。然而,目前的方法有困难,有效地结合从时间和空间图形维度的功能,往往是厚的一边和薄的其他。在本文中,我们提出了一个时间-通道聚合图卷积网络(TCA-GCN),学习空间和时间的拓扑结构动态和有效地聚合拓扑特征在不同的时间和通道维度的动作识别。我们使用时间聚合模块来学习时间维度特征和通道聚合模块来有效地将空间动态通道拓扑特征与时间动态拓扑特征相结合。此外,我们提取多尺度的骨骼特征的时间建模和融合他们的注意力机制。大量的实验表明,我们的模型结果优于NTU RGB+D,NTU RGB+D 120和NW-UCLA数据集上的最先进的方法。
2022-08-08 cs.CV
Temporal Scale and Shift Invariant Automatic Event Recognition using the Mellin Transform
Northwestern University(西北大学)
针对不同播放速度视频的事件识别问题,论文提出借助 Mellin 变换实现时间尺度与平移不变性的方法,显著提升识别准确率并几乎滤除全部无关事件。
2025-02-14 cs.CV
Temporal Reasoning Graph for Activity Recognition
University of Electronic Science and Technology of China(电子科技大学)
尽管活动分析已经取得了巨大的成功,但它仍然存在许多挑战。现有的活动识别研究大多集中在设计有效的结构或视频采样策略上。然而,由于视频中的细粒度动作和长期结构的特性,活动识别被期望推理视频序列之间的时间关系。在本文中,我们提出了一个有效的时间推理图(TRG),同时捕获的外观特征和视频序列之间的时间关系在多个时间尺度。具体来说,我们构建可学习的时间关系图,探索多尺度范围内的时间关系。此外,为了便于多尺度时态关系抽取,我们设计了一个多头时态邻接矩阵来表示多种时态关系。最后,提出了一个多头时序关系聚合器来提取那些通过图卷积的特征的语义含义。在广泛使用的大规模数据集上进行了大量的实验,如Something-Something和Charades,结果表明我们的模型可以达到最先进的性能。进一步的分析表明,时间关系推理与我们的TRG可以提取判别特征的活动识别。
2019-08-27 cs.CV
Multi-Temporal Convolutions for Human Action Recognition in Videos
Utrecht University(乌得勒支大学)
时间模式的有效提取对于视频中时变动作的识别至关重要。我们认为,可以改进卷积神经网络(CNN)中使用的固定大小的时空卷积核,以提取在不同时间尺度上执行的信息运动。为了解决这一挑战,我们提出了一种新的时空卷积块,能够提取时空模式在多个时间分辨率。我们提出的多时间卷积(MTConv)块利用两个分支,分别专注于简短和延长的时空模式。所提取的时变特征在第三分支中相对于通过复发细胞的全局运动模式对齐。所提出的块是轻量级的,可以集成到任何3D-CNN架构中。这大大降低了计算成本。在Kinetics、Moments in Time和HACS动作识别基准数据集上进行的大量实验表明,与最先进的技术相比,MTConvs具有竞争力的性能,且计算占用空间显著降低。
2021-03-31 cs.CV
Vertex Feature Encoding and Hierarchical Temporal Modeling in a Spatial-Temporal Graph Convolutional Network for Action Recognition
Interdisciplinary Centre for Security, Reliability and Trust (SnT)(安全、可靠性与信任跨学科中心(SnT));University of Luxembourg(卢森堡大学)
本文扩展了时空图卷积网络(ST-GCN),引入了两个新的模块,即图顶点特征编码器(GVFE)和扩展的分层时间卷积网络(DH-TCN),用于基于动作的动作识别。一方面,GVFE模块通过将原始骨架数据编码到新的特征空间中来学习用于动作识别的适当顶点特征。另一方面,DH-TCN模块能够使用分层扩张卷积网络捕获短期和长期时间依赖性。在具有挑战性的NTU RGB-D-60和NTU RGB-D 120数据集上进行了实验。所获得的结果表明,我们的方法与最先进的方法竞争,同时使用较少的层数和参数;从而减少了所需的训练时间和内存。
2019-12-20 cs.CV
Dynamic Spatial-temporal Hypergraph Convolutional Network for Skeleton-based Action Recognition
基于骨架的动作识别依赖于时空拓扑信息的提取。超图可以为骨架建立先前的非自然依赖关系。然而,现有的方法只关注空间拓扑的构建,而忽略了时间点的依赖性。本文提出了一种动态时空超图卷积网络(DST-HCN)来捕获时空信息,用于基于动作的动作识别。DST-HCN引入了时间点超图(TPH)来学习时间点的关系。通过多个空间静态超图和动态TPH,我们的网络可以学习更完整的时空特征。此外,我们使用高阶信息融合模块(HIF)来同步融合时空信息。在NTU RGB+D、NTU RGB+D 120和NW-UCLA数据集上的大量实验表明,我们的模型达到了最先进的水平,特别是与超图方法相比。
2023-02-17 cs.CV
Grouped Spatial-Temporal Aggregation for Efficient Action Recognition
时间推理是视频分析的一个重要方面。3D CNN通过以无约束的方式联合探索时空特征显示出良好的性能,但它也增加了大量的计算成本。以前的工作试图通过解耦空间和时间滤波器来降低复杂度。在本文中,我们提出了一种新的分解方法,分解成空间和时间组的特征通道并行。这种分解可以使两个群体分别关注静态和动态线索。我们称之为分组时空聚合(GST)。这种分解是更有效的参数,使我们能够定量分析的空间和时间特征在不同层的贡献。我们验证了我们的模型在几个动作识别任务,需要时间推理,并显示其有效性。
2019-09-28 cs.CV
GaitTAKE: Gait Recognition by Temporal Attention and Keypoint-guided Embedding
University of Washington(华盛顿大学);University of Science and Technology, University of Danang(岘港大学科技大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
步态识别是指根据从远处捕获的视频数据,基于其身体形状和行走方式对人进行识别或识别,广泛应用于犯罪预防,法医鉴定和社会安全。然而,据我们所知,大多数现有的方法使用的外观,姿势和时间特征,而不考虑学习的时间注意力机制的全局和局部信息融合。在本文中,我们提出了一种新的步态识别框架,称为时间注意力和关键点引导嵌入(GaitTAKE),有效地融合了时间注意力的全局和局部外观特征和时间聚合的人体姿势特征。实验结果表明,我们提出的方法实现了一个新的SOTA在步态识别的秩-1准确率为98.0%(正常),97.5%(袋)和92.2%(大衣)的CASIA-B步态数据集上; 90.4%的准确率在OU-MVLP步态数据集。
2022-07-12 cs.CV
Deep-Temporal LSTM for Daily Living Action Recognition
INRIA(法国国家信息与自动化研究所);Toyota Motor Europe(丰田汽车欧洲公司)
在本文中,我们建议通过采用多对多模型进行视频分类来改进RNN的传统使用。我们分析了建模的空间布局和时间编码的日常生活动作识别的重要性。许多RGB方法仅关注从光流获得的短期时间信息。另一方面,基于骨架的方法表明,建模长期骨架进化提高了动作识别的准确性。在这项工作中,我们提出了一种深度时态LSTM架构,它扩展了标准LSTM,并允许更好地编码时态信息。此外,我们建议融合三维骨架几何形状与深层静态外观。我们在公开的CAD 60、MSRDailyActivity 3D和NTU-RGB+D上验证了我们的方法,与最先进的技术相比,实现了具有竞争力的性能。
2018-06-15 cs.CV
TAN: Temporal Aggregation Network for Dense Multi-label Action Recognition
Institution for Advanced Computer Studies(高级计算机研究所);University of Maryland, College Park(马里兰大学帕克分校)
我们提出了时间聚合网络(TAN),它将3D卷积分解为空间和时间聚合块。通过重复堆叠空间和时间卷积,TAN形成了用于捕获视频中的时空信息的深度分层表示。由于我们没有在每一层中应用3D卷积,而是在网络中的每个空间下采样层之后仅应用一次时间聚合块,因此我们显着降低了模型复杂度。在网络的不同分辨率下使用扩张卷积有助于有效地聚合多尺度时空信息。实验表明,我们的模型非常适合密集的多标签动作识别,这是一个具有挑战性的子主题的动作识别,需要预测多个动作标签在每帧。我们在Charades和Multi-THUMOS数据集上的表现分别优于最先进的方法5%和3%。
2018-12-14 cs.CV
Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks
University of Rennes 1(雷恩第一大学);INSERM(法国国家健康与医学研究院);Gazi University(加齐大学)
手术活动的建模和识别是一个有趣的研究问题。虽然最近的一些作品研究了手术活动的自动识别,但这些作品在不同任务和不同数据集上的通用性仍然是一个挑战。我们引入了一种模态,是强大的场景变化,这是能够推断部分信息,如方向和相对空间关系。建议的方式是基于时空图形表示的手术工具在视频中,手术活动识别。为了探索其有效性,我们建模和识别手术手势与建议的方式。我们构建连接手术工具的联合姿态估计的空间图。然后,我们将每个关节连接到连续帧中的对应关节,形成表示关节随时间的轨迹的帧间边缘。然后,我们学习分层时空图表示使用时空图卷积网络(ST-GCN)。我们的实验表明,学习的时空图形表示在手术手势识别中表现良好,即使单独使用。我们用JIGSAWS数据集的缝合任务进行实验,其中手势识别的机会基线为10%。我们的结果表明,平均准确率为68%,这表明有显着的改善。学习的层次时空图表示可以单独使用,级联或作为手术活动识别的补充模式,因此为未来的研究提供了一个基准。据我们所知,我们的论文是第一次使用手术工具的时空图表示,和姿势为基础的骨架表示一般,手术活动识别。
2020-08-13 cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology(国防科技大学)
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题,在流行的时间段网络(TSN)框架的基础上,提出了用于动作识别的信息融合时间变换网络(IF-TTN)。在网络中,信息融合模块(IFM)被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征,形成短期视频描述符。以融合特征为输入,采用时间变换网络(TTN)来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构,因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果:UCF 101和HMDB 51。实证研究表明,我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流,性能与基于流的方法相当,而测试速度提高了10倍。
2019-04-11 cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University(北京航空航天大学)
在本文中,我们首先解决的问题,行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题,提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的,两个新的大规模的视频数据集与扩展的属性定义,基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion Compensation for Action Recognition in the EPIC-Kitchens Dataset
Universidad Autónoma de Madrid(马德里自治大学)
动作识别是当前计算机视觉中最具挑战性的研究领域之一。卷积神经网络(CNN)显著提高了其性能,但依赖于固定大小的时空分析窗口,减少了CNN的时间感受野。在动作识别数据集中,以自我为中心的记录序列已成为重要的相关性,同时带来了额外的挑战:自我运动是不可分割地转移到这些序列。所提出的方法的目的是应付它通过估计这个自我运动或相机运动。该估计用于将视频序列在时间上划分为运动补偿的时间\textit{chunks},其示出了在稳定背景下的动作并允许内容驱动的时间采样。以端到端方式训练的CNN用于从每个\textit{chunk}提取时间特征,这些时间特征是后期融合的。这个过程导致从动作的整个时间范围中提取特征,增加了网络的时间感受野。
2020-08-26 cs.CV
Spatio-temporal Aware Non-negative Component Representation for Action Recognition
Laboratory of Image Sciences and Technology, Southeast University(东南大学影像科学与技术实验室);Ginkgo LLC(银杏有限责任公司)
本文提出了一种新的中级表示的动作识别,命名为时空感知的非负分量表示(STANNCR)。STANNCR是基于动作成分,并结合了时空信息。首先,我们引入了一个时空分布向量(STDV)模型的局部特征位置的分布在一个紧凑和歧视的方式。然后,我们采用非负矩阵分解(NMF)学习的动作组件和编码的视频样本。动作部分考虑了视觉词的相关性,有效地弥补了动作识别中的语义鸿沟。为了将时空线索用于最终表示,STDV被用作NMF的图正则化的一部分。时空信息的融合使STANNCR具有更强的鉴别力,而且与传统的向量拼接方法相比,该方法具有更紧凑的结构。该方法在三个公共数据集上进行了广泛的评估。实验结果证明了STANNCR用于动作识别的有效性。
2016-08-27 cs.CV
OmniCLIP: Adapting CLIP for Video Recognition with Spatial-Temporal Omni-Scale Feature Learning
Zhejiang University(浙江大学)
针对CLIP在视频识别中时空特征捕捉整合不足的问题,提出OmniCLIP框架,通过含并行时间适配器的时空模块和自提示生成器学习全尺度特征,在多类视频识别任务上取得优异性能。
2024-08-12 cs.CV
Long-term Temporal Convolutions for Action Recognition
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心)
典型的人类动作持续几秒钟,并表现出特征的时空结构。最近的方法试图捕捉这种结构,并利用卷积神经网络学习动作表示。然而,这样的表示通常是在几个视频帧的级别上学习的,无法在其完整的时间范围内对动作进行建模。在这项工作中,我们使用具有长期时间卷积(LTC)的神经网络来学习视频表示。我们证明了具有增加的时间范围的LTC-CNN模型提高了动作识别的准确性。我们还研究了不同的低级别表示的影响,如视频像素和光流矢量场的原始值,并证明了高质量的光流估计学习准确的动作模型的重要性。我们报告了两个具有挑战性的人类动作识别基准UCF 101(92.7%)和HMDB 51(67.2%)的最新结果。
2017-06-02 cs.CV
Dynamic texture recognition using time-causal and time-recursive spatio-temporal receptive fields
KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作提出了第一次评估使用时空感受野从最近提出的时间因果时空尺度空间框架作为原语的视频分析。我们提出了一个新的家庭的视频描述符的时空感受野响应的区域统计的基础上,并评估这种方法的动态纹理识别的问题。我们的方法概括了以前使用的方法,联合直方图的感受野响应的基础上,从空间到时空域,从对象识别到动态纹理识别。时间递归公式使计算效率的时间因果识别。实验评估表明竞争力的性能相比,国家的最先进的。特别是,它表明,我们的动态纹理描述符的二进制版本相比,使用不同的原语手工制作或从数据中学习的大范围的类似方法实现了改进的性能。此外,我们的定性和定量的参数选择和使用不同的感受野的调查突出了我们的方法的鲁棒性和灵活性。总之,这些结果支持这个家庭的时间因果时空感受野的描述能力,验证我们的动态纹理识别方法,并指向设计一系列视频分析方法的可能性,这些新的时间因果时空原语的基础上。
2018-06-21 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London(伦敦玛丽女王大学)
本文提出了一种新型的时间注意力关系网络(TARN)来解决少镜头(Few-Shot)和零镜头(zero-shot)动作识别问题。我们网络的核心是一种元学习方法,它学习比较可变时间长度的表示,即不同长度的两个视频(在Few-Shot动作识别的情况下)或视频和语义表示(如单词向量)(在zero-shot动作识别的情况下)。通过对比其他作品中的Few-Shot和zero-shot动作识别,我们a)利用注意力机制,以便执行时间对齐,和b)学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划,并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调,也不需要像记忆网络那样维护额外的表示。实验结果表明,该框架在Few-Shot动作识别方面优于现有技术,在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
Construct Dynamic Graphs for Hand Gesture Recognition via Spatial-Temporal Attention
Rutgers University(罗格斯大学);University of Delaware(特拉华大学);University of Rochester(罗切斯特大学)
提出了一种基于动态图的时空注意力(DG-STA)手势识别方法。其关键思想是首先从手部骨架构建一个全连接图,然后通过在空间和时间域中执行的自注意力机制自动学习节点特征和边缘。我们进一步建议利用联合位置的时空线索,以保证在具有挑战性的条件下的鲁棒识别。此外,一种新的时空掩模被应用到显着减少99%的计算成本。我们进行了广泛的实验基准(DHG-14/28和SHREC'17),并证明了我们的方法相比,国家的最先进的方法的优越性能。源代码可以在https://github.com/yuxiaochen1103/DG-STA上找到。
2019-07-20 cs.CV
Late Temporal Modeling in 3D CNN Architectures with BERT for Action Recognition
Middle East Technical University(中东技术大学)
在这项工作中,我们将3D卷积与后期时间建模相结合,用于动作识别。为此,我们用来自Transformers的双向编码器表示(BERT)层替换3D卷积架构末端的常规时间全局平均池(TGAP)层,以便更好地利用具有BERT的注意力机制的时间信息。我们表明,这种替换提高了许多流行的3D卷积架构的性能,包括ResNeXt,I3 D,SlowFast和R(2+1)D。此外,我们在HMDB 51和UCF 101数据集上提供了最先进的结果,分别具有85.10%和98.69%的top-1准确度。代码是公开的。
2020-09-17 cs.CV
Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences(中国科学院大学)
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征,而这种相似性可能会受到一些失真的影响,这些失真可以建模为空间和时间仿射变换的组合。在这项工作中,我们提出了一个新的功能称为时空双仿射微分不变(STDADI)。此外,为了提高神经网络的泛化能力,提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上,它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
GTM: Gray Temporal Model for Video Recognition
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
数据输入方式在视频动作识别中起着重要的作用。通常,有三种类型的输入:RGB,流和压缩数据。本文提出了一种新的输入方式:灰度流。具体地说,以RGB大小相同的连续3幅灰度图像作为输入,不仅可以跳过视频解码数据到RGB的转换过程,而且可以在零计算和零参数的情况下提高时空建模能力。同时,我们提出了一个一维身份逐层时空卷积(1D-ICSC),它在可控的计算预算(通过参数G & R)内捕获通道特征级的时间关系。最后,我们证实了它的有效性和效率的几个动作识别基准,如动力学,东西,HMDB-51和UCF-101,并取得了令人印象深刻的结果。
2021-10-20 cs.CV
Spatio-Temporal Human Action Recognition Modelwith Flexible-interval Sampling and Normalization
人类动作识别是一项众所周知的计算机视觉和模式识别任务,用于识别一个人实际上正在做的动作。本文提出了一种基于红绿蓝(RGB)输入视频的人体动作识别系统,并设计了相应的识别模块。在基于GRU的时空特征提取算法的基础上,增加了采样模块和归一化模块,提高了模型的性能,从而实现了对人体动作的识别。此外,我们建立了一个新的数据集,具有类似的背景和歧视性的行动,人类关键点预测和行为识别。为了获得更好的结果,我们使用新数据集重新训练姿势模型以获得更好的性能。在我们自己的人类行为识别数据集和一些公共数据集上的实验结果表明了该模型的有效性。
2021-08-12 cs.CV
A Hierarchical Deep Temporal Model for Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
在群体活动识别中,整个活动的时间动态可以基于表示活动的个体人的动态来推断。我们构建了一个基于LSTM(长短期记忆)模型的深度模型来捕捉这些动态。为了利用这些观察结果,我们提出了一个两阶段的深层时间模型的群体活动识别问题。在我们的模型中,一个LSTM模型被设计用于表示序列中个体人的动作动态,另一个LSTM模型被设计用于聚合人类级别的信息以进行整体活动理解。我们在两个数据集上评估我们的模型:集体活动数据集和一个新的排球数据集。实验结果表明,我们提出的模型提高了群体活动识别性能与基线方法相比。
2016-04-05 cs.CV
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb(萨格勒布大学);Graz University of Technology(格拉茨技术大学)
本文提出了结合时空外观(STA)描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符,适用于构建任意时空现象的部分表示。由于迭代细化的可能性,它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别,使用两种不同的算法计算流量:Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明,我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
深度卷积网络在静态图像的视觉识别方面取得了巨大成功。然而,对于视频中的动作识别,相对于传统方法的优势并不明显。本文旨在发现设计视频中动作识别的有效ConvNet架构的原则,并在有限的训练样本下学习这些模型。我们的第一个贡献是时间段网络(TSN),一个新的框架,基于视频的动作识别。该方法基于长程时间结构建模的思想。它结合了稀疏时间采样策略和视频级监督,以实现使用整个动作视频的高效学习。另一个贡献是我们研究了一系列在时间段网络的帮助下在视频数据上学习ConvNets的良好实践。我们的方法在HMDB 51($ 69.4\% $)和UCF 101($ 94.2\% $)数据集上获得了最先进的性能。我们还可视化了学习的ConvNet模型,定性地证明了时间段网络的有效性和提出的良好实践。
2016-08-02 cs.CV
Temporal Shuffling for Defending Deep Action Recognition Models against Adversarial Attacks
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);University of California(加利福尼亚大学)
该研究发现动作识别模型对帧序随机化具有鲁棒性,并利用对抗扰动对时间破坏的敏感性,提出无需额外训练的时间混洗防御方法。
2023-12-07 cs.CV
Learning from Temporal Gradient for Semi-supervised Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance(字节跳动)
半监督视频动作识别往往使深度神经网络即使在标记数据非常有限的情况下也能实现卓越的性能。然而,现有的方法主要是从当前的基于图像的方法(例如,FixMatch)。如果没有专门利用时间动态和固有的多模态属性,他们的结果可能是次优的。为了更好地利用视频中编码的时间信息,本文引入时间梯度作为一种额外的模态,以进行更细致的特征提取。具体地说,我们的方法明确地从时间梯度(TG)中提取细粒度的运动表示,并在不同模态之间施加一致性(即,RGB和TG)。在推理过程中不需要额外的计算和参数,半监督动作识别的性能得到了显著的提高。我们的方法在三个视频动作识别基准上实现了最先进的性能(即,动力学-400,UCF-101和HMDB-51)在几种典型的半监督设置(即,标记数据的不同比率)。
2022-04-23 cs.CV
StNet: Local and Global Spatial-Temporal Modeling for Action Recognition
Baidu Inc.(百度公司);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of Central Florida(中佛罗里达大学);Nanjing University(南京大学)
尽管深度学习在静态图像理解方面取得了成功,但仍不清楚什么是视频时空建模的最有效网络架构。在本文中,与现有的CNN+RNN或纯3D卷积为基础的方法相比,我们探索了一种新的时空网络(StNet)架构,用于视频中的局部和全局时空建模。特别地,StNet将N个连续的视频帧堆叠成具有3N个通道的\emph{super-image},并对超图像应用2D卷积以捕获局部时空关系。为了对全局时空关系进行建模,我们在局部时空特征图上应用时间卷积。具体而言,提出了一种新的时间Xception块在StNet。它采用了一个单独的通道和时间的卷积在视频的特征序列。在Kinetics数据集上进行的大量实验表明,我们的框架在动作识别方面优于几种最先进的方法,并且可以在识别精度和模型复杂度之间取得令人满意的折衷。我们进一步展示了UCF 101数据集上倾斜视频表示的泛化性能。
2018-12-11 cs.CV
Spatial-Temporal Alignment Network for Action Recognition and Detection
Carnegie Mellon University(卡内基梅隆大学);Google Cloud AI(谷歌云人工智能)
本文研究了如何引入视点不变的特征表示,可以帮助动作识别和检测。尽管在过去的十年里,我们见证了动作识别的巨大进步,但如何有效地对大规模数据集的几何变化进行建模仍然是一个具有挑战性和有趣的问题。本文提出了一种新的时空对齐网络(STAN),旨在学习几何不变表示的动作识别和动作检测。STAN模型是非常轻量级和通用的,可以插入到现有的动作识别模型中,如ResNet 3D和SlowFast,额外的计算成本非常低。我们在AVA,Kinetics-400,AVA-Kinetics,Charades和Charades-Ego数据集上广泛测试了我们的STAN模型。实验结果表明,STAN模型在动作检测和动作识别任务中都能持续提高技术水平。我们将发布我们的数据、模型和代码。
2020-12-04 cs.CV
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
The Chinese University of Hong Kong(香港中文大学)
人体骨架的动态特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工绘制的部分或遍历规则,从而导致表达能力有限和泛化困难。在这项工作中,我们提出了一种新的动态骨架模型称为时空图卷积网络(ST-GCN),它超越了以前的方法的限制,自动学习的空间和时间模式的数据。这一公式不仅导致更大的表达能力,而且具有更强的泛化能力。在两个大型数据集上,Kinetics和NTU-RGBD,它比主流方法实现了实质性的改进。
2018-01-25 cs.CV
Improving Automatic Emotion Recognition from speech using Rhythm and Temporal feature
Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院);TU Berlin(柏林工业大学)
本文致力于提高自动情感识别语音节奏和时间特征。到目前为止,自动情感识别的研究大多是基于应用特征,如MFCC,音高和能量或强度。该思想着重于从语言和语音分析中借用节奏特征,并仅基于声学知识将其应用于语音信号。除此之外,我们利用一组时间和响度功能。采用分段单元开始分离有声/无声和无声部分,并在不同的段上探索特征。此后,使用不同的分类器进行分类。在使用IGR过滤器选择顶部特征之后,我们能够在柏林情感数据库上实现80.60%的说话人相关框架的识别率。
2013-03-07 cs.CV
Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition
Renmin University of China(中国人民大学)
针对微表情短暂复杂及现有方法忽视时间依赖或存在冗余的问题,提出ATM-GCN框架,通过自适应时间运动层聚合全局与局部运动特征,在Composite和CAS(ME)^3数据集上取得领先性能。
2024-06-13 cs.CV
GroupFormer: Group Activity Recognition with Clustered Spatial-Temporal Transformer
The Hong Kong Polytechnic University(香港理工大学);Sensetime Research(商汤科技研究院)
群体活动识别是一个关键而又具有挑战性的问题,其核心在于充分挖掘个体之间的时空交互,并生成合理的群体表征。然而,以前的方法要么模型的空间和时间的信息分开,或直接聚合单个功能,形成组功能。为了解决这些问题,我们提出了一种新的群体活动识别网络,称为GroupFormer。它捕获的时空上下文信息联合增强个人和群体表示有效地与聚类时空Transformer。具体来说,我们的GroupFormer有三个吸引人的优点:(1)一个定制的修改Transformer,空间-时间的transformer Transformer,提出了加强个人表示和组表示。(2)该模型对时空依赖关系进行了统一建模,并利用解码器在时空信息之间架起了桥梁。(3)一个集群的注意力机制被用来动态地将个人分为多个集群,以更好地学习活动感知的语义表示。此外,实验结果表明,该框架优于国家的最先进的方法排球数据集和集体活动数据集。代码可在https://github.com/xueyee/GroupFormer上获得。
2021-08-28 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
像素空间增强在许多深度学习领域越来越受欢迎,这是由于其有效性、简单性和低计算成本。然而,用于视频的数据增强仍然是一个未被探索的研究主题,因为大多数作品一直将输入视为静态图像的堆栈,而不是时间上链接的一系列数据。最近,已经表明,在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中,我们提出了一些新的增强这些技术,以加强空间和时间域之间的关系,实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute(海康威视研究院)
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征(C2D),要么与无约束参数联合学习(C3D)。在本文中,我们提出了一种新的神经操作,通过对可学习参数施加权重共享约束来协同编码时空特征。特别是,我们沿着体积视频数据的三个正交视图执行2D卷积,分别学习空间外观和时间运动线索。通过共享不同视图的卷积核,空间和时间特征可以协同学习,从而相互受益。随后通过加权求和来融合互补特征,加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能,并在2018年的Moments in Time Challenge中获得了第一名。此外,基于不同视图的学习系数,我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性,也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Chinese Academy of Sciences(中国科学院)
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中,我们提出了一个端到端的空间和时间的注意力模型,从骨架数据的人类动作识别。我们在具有长短期记忆(LSTM)的递归神经网络(RNN)之上构建我们的模型,它学会选择性地关注输入的每一帧内骨架的区别性关节,并对不同帧的输出给予不同程度的关注。此外,为了确保网络的有效训练,我们提出了一个正则化的交叉熵损失来驱动模型学习过程,并相应地开发了一个联合训练策略。实验结果表明,该模型的有效性,无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Scene Text Recognition with Temporal Convolutional Encoder
Shanghai Key Laboratory of Multidimensional Information Processing(上海市多维信息处理重点实验室);East China Normal University(华东师范大学);Videt Tech Ltd.(Videt科技有限公司)
来自场景图像的文本通常由多个字符组成,并表现出特征序列结构。现有的方法通过编码器捕获具有序列到序列模型的结构以具有视觉表示,然后解码器将特征翻译成标签序列。在本文中,我们研究的文本识别框架,考虑长期的时间依赖性在编码器阶段。我们证明了所提出的时间卷积编码器,增加了连续的程度,提高了文本识别的准确性。我们还研究了卷积块中不同注意力模块对学习准确文本表示的影响。我们在七个数据集上进行了比较,实验证明了我们提出的方法的有效性。
2020-02-16 cs.CV
Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven(鲁汶大学)
识别人类行为从根本上说是一个时空推理问题,并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设,在这项工作中,我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置,但仍不清楚(i)精心制作的基于时空布局的方法可以识别人类行为的程度,以及(ii)如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别,其中我们提倡在时空布局上使用多头注意力(已被证明对空间推理有效),即,对象边界框的配置。我们评估不同的方案,以注入视频外观信息的系统,并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上,我们演示了(i)如何扩展多头注意力用于基于时空布局的动作识别,(ii)如何通过与基于布局的模型融合来提高基于外观的模型的性能,(iii)即使在非合成背景杂乱的视频数据集上,基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
Gesture Recognition with a Skeleton-Based Keyframe Selection Module
KAIST(韩国科学技术院)
我们提出了一个双向连续连接的双路径网络(BCCN)的高效手势识别。BCCN由两条通路组成:(i)关键帧通路和(ii)时间注意通路。关键帧路径使用基于信标的关键帧选择模块进行配置。关键帧通过该路径提取自身的空间特征,时间-注意路径提取时间语义。我们的模型提高了视频中的手势识别性能,并获得了更好的空间和时间属性的激活图。在Chalearn数据集、ETRI-Activity 3D数据集和丰田灵巧家庭数据集上进行了测试。
2021-12-03 cs.CV
TDN: Temporal Difference Networks for Efficient Action Recognition
Nanjing University(南京大学)
时间建模对于视频中的动作识别仍然具有挑战性。为了解决这个问题,本文提出了一种新的视频架构,称为时间差网络(TDN),重点是捕捉多尺度的时间信息,有效的动作识别。我们的TDN的核心是设计一个有效的时间模块(TDM),明确利用时间差算子,并系统地评估其对短期和长期运动建模的影响。为了充分捕捉整个视频的时间信息,我们的TDN建立了一个两级差异建模范式。具体而言,对于局部运动建模,连续帧上的时间差用于为2D CNN提供更精细的运动模式,而对于全局运动建模,跨段的时间差被合并以捕获用于运动特征激励的长程结构。TDN提供了一个简单而有原则的时间建模框架,可以用现有的CNN以很小的额外计算成本进行实例化。我们的TDN在Something-Something V1和V2数据集上呈现出最新的技术水平,并与Kinetics-400数据集上的最佳性能不相上下。此外,我们进行了深入的消融研究,并绘制了我们的TDN的可视化结果,希望提供有见地的分析时间差异建模。我们在https://github.com/MCG-NJU/TDN上发布代码。
2021-04-01 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University(北京航空航天大学)
在本文中,我们提出了一个耦合的时空注意力(CSTA)模型的基于动作识别,其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要,这对模糊和冗余的信息是不鲁棒的。为了解决这个问题,我们首先通过两个子网络分别为不同的关节和帧学习两组权重,这使得模型具有“关注”相对信息部分的能力。然后,我们计算叉积的关节和帧的权重的时空耦合的注意。此外,我们的CSTA机制可以很容易地插入到现有的分层CNN模型(CSTA-CNN),以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明,我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
Spatio-Temporal FAST 3D Convolutions for Human Action Recognition
Utrecht University(乌得勒支大学)
视频输入的有效处理对于识别诸如人类动作之类的时间变化事件是必不可少的。由于水平或垂直方向上的动作通常具有独特的时间特性,我们为具有视频输入的CNN架构引入了一种新的卷积块。我们提出的部分相邻空间和时间(FAST)3D卷积是常规3D卷积的自然分解。每个卷积块由三个顺序卷积操作组成:2D空间卷积,然后分别在水平和垂直方向上进行时空卷积。此外,我们还引入了一个FAST变体,它可以并行处理水平和垂直运动。在具有ResNet架构的基准动作识别数据集UCF-101和HMDB-51上进行的实验表明,FAST 3D卷积块的性能比传统3D卷积一致提高。较低的验证损失表明更好的泛化能力,特别是对于更深的网络。我们还评估了具有类似内存要求的CNN架构的性能,这些架构基于双流网络或3D卷积块。具有FAST 3D卷积的DenseNet-121表现最好,进一步证明了解耦时空卷积的优点。
2019-10-22 cs.CV
Rendezvous in Time: An Attention-based Temporal Fusion approach for Surgical Triplet Recognition
ICube Laboratory(ICube实验室);University of Strasbourg(斯特拉斯堡大学);IHU Strasbourg(斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院);CNRS(法国国家科学研究中心)
针对现有手术动作三元组识别仅依赖单帧特征的问题,提出融合时序注意力的RiT模型,在CholecT45数据集上提升了动词及相关三元组识别效果,预测更平滑。
2023-06-16 cs.CV
Temporal Transformer Networks with Self-Supervision for Action Recognition
Information Engineering College, Capital Normal University(首都师范大学信息工程学院);State Key Lab of Software Development Environment, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Computer Vision Perception Department of ZongMu Technology(纵目科技计算机视觉感知部)
近年来,基于二维卷积网络的视频动作识别得到了广泛的应用,但由于缺乏长距离非线性时间关系建模和反向运动信息建模,现有模型的性能受到严重影响。为了解决这个紧迫的问题,我们介绍了一个惊人的时间Transformer网络与自我监督(TTSN)。我们的高性能TTSN主要由一个时间Transformer模块和一个时间序列自我监督模块组成。简单地说,我们利用有效的时间Transformer模块来模拟非局部帧之间的非线性时间依赖关系,这显着增强了复杂的运动特征表示。我们采用的时间序列自我监督模块前所未有地采用了“随机批量随机通道”的精简策略来反转视频帧的序列,允许从反转的时间维度中鲁棒地提取运动信息表示,并提高了模型的泛化能力。在三个广泛使用的数据集(HMDB 51,UCF 101和Something-something V1)上进行的大量实验最终证明了我们提出的TTSN是有前途的,因为它成功地实现了动作识别的最先进性能。
2021-12-17 cs.CV
Temporal Extension of Scale Pyramid and Spatial Pyramid Matching for Action Recognition
Carnegie Mellon University(卡内基梅隆大学)
历史上,该领域的研究人员花费了大量的精力来创建具有尺度不变性并保留空间位置信息的图像表示。本文提出了在视频表示的动作识别编码等效的时间特性。为了实现时间尺度不变性,我们开发了一种称为时间尺度金字塔(TSP)的方法。为了编码时间信息,我们提出并比较了两种方法,称为时间扩展描述符(TED)和时间分割金字塔(TDP)。我们的目的是提出解决方案,以匹配复杂的行动,有很大的变化,在速度和外观,这是从目前的行动表示失踪。在UCF50、HMDB51、Hollywood2和Olympic Sports四个基准数据集上的实验结果支持了我们的方法,并且显著优于最先进的方法。最值得注意的是,我们在具有挑战性的HMDB51和Hollywood2数据集上实现了65.0%的平均准确度和68.2%的平均精确度,分别比最先进的数据集提高了7.8%和3.9%。
2014-08-29 cs.CV
SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting
Dankook University(檀国大学)
本研究提出 MLLM 引导的 SMART 框架,整合多尺度时间适配器与 CSFormer 模块,在四个手语基准数据集上实现了手语识别与定位任务的性能提升。
2026-09-01 cs.CV
Multi-scale temporal network for continuous sign language recognition
连续手语识别是一个具有挑战性的研究课题,由于缺乏准确的时间序列的手语数据的注释。最近流行的用法是基于“CNN + RNN”的混合模型用于CSLR。然而,在这些工作中提取时间特征时,大多数方法使用固定的时间感受野,不能很好地提取每个手语词的时间特征。为了获得更准确的时间特征,本文提出了一种多尺度时间网络(MSTNet)。该网络主要由三部分组成。Resnet和两个全连接(FC)层构成逐帧特征提取部分。在时域特征提取部分,首先利用多尺度时域块(MST-block)提取不同尺度的时域感受野特征,提高时域建模能力,然后利用Transformers模块对不同尺度的时域特征进行编码,获得更精确的时域特征。最后,提出的多级连接时间分类(CTC)损失部分用于训练,以获得识别结果。多级CTC损失使得CNN能够更好地学习和更新浅层网络参数,并且该方法没有增加参数,可以灵活地嵌入到其他模型中。在两个公开数据集上的实验结果表明,该方法能够在没有任何先验知识的情况下,以端到端的方式有效地提取手语特征,提高了CSL的准确性,取得了较好的效果。
2022-08-16 cs.CV
Rethinking matching-based few-shot action recognition
Czech Technical University in Prague(捷克布拉格技术大学);NAVER LABS Europe(NAVER欧洲实验室)
Few-Shot动作识别,即识别仅给出几个示例的新动作类,受益于结合时间信息。先前的工作要么在表示本身中编码这些信息并在测试时学习分类器,要么获得帧级特征并执行成对时间匹配。我们首先评估了一些基于匹配的方法,使用时空骨干的功能,从文献中缺失的比较,并表明简单的基线和更复杂的方法之间的性能差距显着减少。受此启发,我们提出了倒角++,一个非时间匹配功能,实现了最先进的结果,在Few-Shot动作识别。我们表明,当从时间特征开始时,我们的无参数和可解释的方法可以优于所有其他基于匹配和分类器的方法,用于三个常见数据集上的一次性动作识别,而无需在匹配阶段使用时间信息。项目页面:https://jbertrand89.github.io/matching-based-fsar
2023-03-28 cs.CV
Spatial-Temporal Alignment Network for Action Recognition
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对动作识别中几何变化处理难题,提出轻量通用的时空对齐网络STAN,可低代价嵌入现有模型,在常用数据集上验证了其能持续提升从头训练的SOTA模型性能。
2023-08-19 cs.CV
Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition
Singapore University of Technology and Design(新加坡科技设计大学);Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);ByteDance(字节跳动);Harbin Institute of Technology(哈尔滨工业大学)
细粒度动作识别的目标是成功区分具有细微差异的动作类别。为了解决这个问题,我们从人类视觉系统中获得灵感,该系统包含大脑中专门用于处理特定任务的专门区域。我们设计了一个新的动态时空专门化(DSTS)模块,它由专门的神经元,只激活的样本是高度相似的子集。在训练过程中,这种损失迫使专门的神经元学习有区别的细粒度差异,以区分这些相似的样本,从而提高细粒度识别。此外,时空特化方法进一步优化了特化神经元的架构,以捕获更多的空间或时间细粒度信息,从而更好地处理视频中的大范围时空变化。最后,我们设计了一个上下游学习算法来优化模型在训练过程中的动态决策,从而提高了DSTS模块的性能。我们在两个广泛使用的细粒度动作识别数据集上获得了最先进的性能。
2022-09-03 cs.CV
Video BagNet: short temporal receptive fields increase robustness in long-term action recognition
Delft University of Technology(代尔夫特理工大学);TNO(荷兰应用科学研究组织)
针对大时间感受野的3D卷积动作识别模型易因子动作顺序变化性能下降的问题,提出时间感受野受限的Video BagNet模型,实验验证短感受野可提升长期动作识别对子动作顺序变化的鲁棒性。
2023-08-22 cs.CV