Deepfake Detection using Spatiotemporal Convolutional Networks
University of Michigan（密歇根大学）
更好的生成模型和更大的数据集导致了更逼真的假视频，这些假视频可以欺骗人眼，但会产生深度学习方法可以检测到的时间和空间伪影。目前大多数Deepfake检测方法仅使用单个视频帧，因此无法从时间信息中学习。我们使用Celeb-DF数据集创建了时空卷积方法性能的基准。我们的方法优于最先进的基于帧的检测方法。我们论文的代码可在https://github.com/oidelima/Deepfake-Detection上公开获取。
2020-06-26 cs.CV cs.LG eess.IV
Continual Spatio-Temporal Graph Convolutional Networks
Aarhus University（奥胡斯大学）
基于图的骨架数据推理已经成为一种很有前途的人类动作识别方法。然而，先前的基于图的方法，主要采用整个时间序列作为其输入，设置在线推理的应用程序需要相当大的计算冗余。在本文中，我们通过将时空图卷积神经网络重构为连续推理网络来解决这个问题，该网络可以在时间上执行逐步预测，而无需重复帧处理。为了评估我们的方法，我们创建了一个连续版本的ST-GCN，CoST-GCN，以及两个具有不同自我注意力机制的衍生方法，CoAGCN和CoS-TR。我们研究了用于推理加速的权重转移策略和架构修改，并在NTU RGB+D 60，NTU RGB+D 120和Kinetics Skeleton 400数据集上进行了实验。在保持类似的预测准确性的情况下，我们观察到时间复杂度降低了109倍，硬件加速了26倍，在线推理期间最大分配内存减少了52%。
2023-03-24 cs.CV cs.LG
Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
面部表情是描述人类行为的特定模式和描述人类情绪状态的最有力的方式之一。尽管情感计算在过去十年中取得了令人印象深刻的进步，但用于面部表情识别的自动基于视频的系统仍然不能正确处理个体之间以及跨文化和人口统计方面的面部表情变化。然而，即使对于人类来说，识别面部表情也是一项艰巨的任务。在本文中，我们研究了基于卷积神经网络（CNN）的最先进深度学习架构对于使用野外捕获的长视频序列进行连续情感识别的适用性。这项研究的重点是深度学习模型，允许编码时空关系的视频考虑一个复杂的和多维的情感空间，其中的价值观和唤醒必须预测。我们开发并评估了卷积递归神经网络，它结合了2D-CNN和长短期记忆单元，以及膨胀的3D-CNN模型，这些模型是通过使用特定于应用的视频在微调期间膨胀预训练的2D-CNN模型的权重来构建的。在具有挑战性的SEWA-DB数据集上的实验结果表明，这些架构可以有效地进行微调，以编码来自连续原始像素图像的时空信息，并在这样的数据集上实现最先进的结果。
2021-01-15 cs.CV cs.LG
Spatiotemporal Graph Convolutional Recurrent Neural Network Model for Citywide Air Pollution Forecasting
Seoul National University（首尔国立大学）；Graduate School of Data Science（数据科学研究生院）
本文提出了一种基于图卷积网络的时空循环神经网络模型，用于提升城市空气污染预测的精度和效率。
2025-11-23 cs.CV cs.LG eess.SP
Understanding the Covariance Structure of Convolutional Filters
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
神经网络权重通常从单变量分布随机初始化，即使在卷积等高度结构化的操作中，也仅控制单个权重的方差。最近的受ViT启发的卷积网络，如ConvMixer和ConvNeXt，使用大内核dependency卷积，其学习的滤波器具有显着的结构;这为研究其经验协方差提供了机会。在这项工作中，我们首先观察到这种学习滤波器具有高度结构化的协方差矩阵，此外，我们发现从小型网络计算的协方差可以用于有效地初始化各种不同深度，宽度，补丁大小和内核大小的较大网络，表明协方差结构的模型独立性程度。受这些发现的启发，我们提出了一种用于卷积滤波器的免学习多变量初始化方案，该方案使用其协方差的简单闭合形式构造。使用我们的初始化的模型优于使用传统单变量初始化的模型，并且通常达到或超过从学习的滤波器的协方差初始化的模型的性能;在某些情况下，这种改进可以在根本不训练dependency卷积滤波器的情况下实现。
2022-10-07 cs.AI cs.CV cs.LG
Learning Spatiotemporal Features of Ride-sourcing Services with Fusion Convolutional Network
Southwestern University of Finance and Economics（西南财经大学）；Sichuan University（四川大学）
为了共同预测一个城市所有区域对网约车服务的需求，深度学习方法已经得到了应用，并取得了令人称道的结果。然而，城市地理布局中的局部统计差异使得卷积的空间平稳性假设无效，这限制了CNN在需求预测任务中的性能。在本文中，我们提出了一种名为LC-ST-FCN（局部连接时空全卷积神经网络）的新型深度学习框架，以解决端到端架构（E2 E）中区域级需求预测问题的独特挑战。我们首先采用3D卷积层来融合输入中存在的时空信息，然后将3D卷积层提取的时空特征馈送到后续的2D卷积层。然后，通过局部连接的卷积层来获得每个区域的预测值，这些卷积层放松了参数共享方案。我们在一个叫车服务平台（滴滴出行）的真实数据集上评估了所提出的模型，并观察到与一系列基线模型相比有显著的改进。此外，我们还通过可视化不同类型的卷积层如何转换其输入并捕获有用的特征来说明我们提出的模型的有效性。可视化结果表明，全卷积架构使模型能够更好地定位相关区域。局部连通层在处理局部统计差异和激活有用区域方面起着重要作用。
2020-04-24 cs.CV cs.LG stat.ML
Anomaly detection using prediction error with Spatio-Temporal Convolutional LSTM
The University of Danang, University of Science and Technology（岘港大学科学技术大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种新的视频异常检测方法，其动机是使用时空卷积长短期记忆（convLSTM）进行序列到序列预测和重建的现有架构。在以前的工作异常检测，异常出现在重建或预测的空间局部故障。在五个基准数据集的实验中，我们表明，使用预测提供了优越的性能，使用重建。我们还比较了不同长度的输入/输出序列的性能。总的来说，我们使用预测的结果与基准数据集上的最新技术水平相当。
2022-05-18 cs.CV
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland（马里兰大学）；NVIDIA Research（英伟达研究院）
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用，但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中，我们提出了一个高阶卷积LSTM模型，可以有效地学习这些相关性，以及历史的简洁表示。这是通过一个新的张量训练模块来实现的，该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行，我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此，我们的模型优于现有的方法，但只使用了一小部分参数，包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能，包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
Learning Spatiotemporal Features with 3D Convolutional Networks
Facebook AI Research（脸书人工智能研究院）；Dartmouth College（达特茅斯学院）
我们提出了一种简单而有效的时空特征学习方法，使用在大规模监督视频数据集上训练的深度三维卷积网络（3D ConvNets）。我们的发现有三个方面：1）与2D ConvNets相比，3D ConvNets更适合时空特征学习; 2）在所有层中具有小3x 3x 3卷积核的同构架构是3D ConvNets的最佳性能架构之一;和3）我们学习的功能，即C3 D（卷积3D），一个简单的线性分类器优于国家的，艺术方法在4个不同的基准，并与目前最好的方法在其他2个基准。此外，这些特征是紧凑的：在UCF 101数据集上实现了52.8%的准确率，只有10个维度，并且由于ConvNets的快速推理，计算效率也非常高。最后，它们在概念上非常简单，易于训练和使用。
2015-10-07 cs.CV
Using 3D Convolutional Neural Networks to Learn Spatiotemporal Features for Automatic Surgical Gesture Recognition in Video
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；University Hospital Carl Gustav Carus（卡尔·古斯塔夫·卡鲁斯大学医院）；TU Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心）
自动识别手术手势是彻底了解手术技能的关键一步。可能的应用领域包括自动技能评估、关键手术步骤的术中监测和手术任务的半自动化。仅依赖腹腔镜视频且不需要额外传感器硬件的解决方案尤其具有吸引力，因为它们可以在许多情况下以低成本实现。然而，仅基于视频的手术手势识别是一个具有挑战性的问题，需要有效的手段从视频中提取视觉和时间信息。以前的方法主要依赖于逐帧特征提取器，无论是手工制作的还是学习的，都无法捕获手术视频中的动态。为了解决这个问题，我们建议使用3D卷积神经网络（CNN）从连续的视频帧中学习时空特征。我们评估我们的方法上记录的机器人辅助的bench-top模型，这是从公开的JIGSAWS数据集。我们的方法实现了超过84%的高帧式手术手势识别准确率，优于仅提取空间特征或单独建模空间和低级别时间信息的可比模型。这些结果首次证明了时空CNN在基于视频的手术手势识别中的优势。
2019-07-26 cs.CV cs.LG
Learning from Videos with Deep Convolutional LSTM Networks
University of Illinois（伊利诺伊大学）
本文探讨了使用卷积LSTM来同时学习视频中的空间和时间信息。卷积LSTM的深度网络允许模型在数据的所有空间尺度上访问整个时间信息范围。我们描述了我们的实验，涉及卷积LSTM唇读，证明该模型能够选择性地选择哪些时空尺度是最相关的特定数据集。所提出的深度架构在时空特征发挥重要作用的其他应用中也有希望，而不必专门针对问题中存在的特定时空特征来设计网络。对于Lip Reading in the Wild（LRW）数据集，我们的模型略优于以前的最新技术水平（83.4% vs. 83.0%），并且当模型在Lip Reading Sentences（LRS2）数据集上进行预训练时，将新的最新技术水平设置为85.2%。
2019-04-09 cs.CV cs.LG
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University（西安电子科技大学）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
脉冲神经网络（Spiking neural networks，SNNs）作为一种脑启发模型，具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而，神经形态数据集，如N-MNIST，CIFAR 10-DVS，DVS 128-gesture，需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类，这导致高训练和推理延迟。在这项工作中，我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流，以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性，我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发（Leaky Integrate-and-Fire，LIF）算法，以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST，CIFAR 10-DVS，DVS 128手势数据集的事件流分类任务。实验结果表明，我们提出的方法优于国家的最先进的精度几乎所有的数据集，使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
Feature Map Similarity Reduction in Convolutional Neural Networks
Cranfield University（克兰菲尔德大学）；Centre for Computational Engineering Sciences（计算工程科学中心）；Inria（法国国家信息与自动化技术研究院）；Univ. Bordeaux（波尔多大学）；ESTIA-Institute of Technology（ESTIA技术研究所）
本文提出卷积相似性方法，通过正则化或迭代初始化降低CNN特征图冗余，提升分类精度与收敛速度，并支持更小模型达到同等性能。
2025-05-22 cs.CV cs.LG
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks
在许多机器人和VR/AR应用中，3D视频是现成的输入源（连续的深度图像序列或LIDAR扫描）。然而，这些3D视频通过2D convnets或3D感知算法逐帧处理。在这项工作中，我们提出了4维卷积神经网络的时空感知，可以直接处理这样的三维视频使用高维卷积。为此，我们采用稀疏张量，并提出了广义稀疏卷积，包括所有离散卷积。为了实现广义稀疏卷积，我们为稀疏张量创建了一个开源的自动微分库，为高维卷积神经网络提供了广泛的功能。我们使用该库创建了4D时空卷积神经网络，并在各种3D语义分割基准上对其进行了验证，并提出了用于3D视频感知的4D数据集。为了克服4D空间中的挑战，我们提出了混合内核，广义稀疏卷积的特殊情况，以及在7 D时空色度空间中执行时空一致性的三边固定条件随机场。在实验上，我们表明，只有广义三维稀疏卷积的卷积神经网络可以大大优于2D或2D-3D混合方法。此外，我们还表明，在3D视频上，4D时空卷积神经网络对噪声具有鲁棒性，优于3D卷积神经网络，并且在某些情况下比3D对应物更快。
2019-06-13 cs.AI cs.CV
On the Preservation of Spatio-temporal Information in Machine Learning Applications
Izmir University of Economics（伊兹密尔经济大学）
在传统的机器学习应用中，假设每个数据属性与其他数据属性正交。也就是说，每一对维度都是相互正交的，因此没有维度之间关系的区别。然而，这在自然源自时空配置的真实世界信号中肯定不是这种情况。结果，传统的矢量化过程破坏了关于数据的顺序/位置的所有时空信息，无论它是$1$ D、$2$ D、$3$ D还是$4$ D。在本文中，正交性的问题，首先通过传统的$k$ -图像的手段，其中图像被处理为向量。作为一种解决方案，移位不变的$k$ -手段提出了一种新的框架与稀疏表示的帮助。移位不变的$k$ -手段，卷积字典学习的推广，然后利用作为一个无监督的特征提取方法进行分类。实验表明，与卷积字典学习相比，作为浅层卷积神经网络的模拟的Gabor特征提取提供了更好的性能。卷积逻辑的许多替代品也讨论了时空信息保存，包括时空超复数编码方案。
2020-06-15 cs.CV cs.LG stat.ML
DeepFall -- Non-invasive Fall Detection with Deep Spatio-Temporal Convolutional Autoencoders
University of Toronto（多伦多大学）；Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）
人类跌倒很少发生;然而，从健康和安全的角度来看，检测跌倒非常重要。由于跌倒的罕见性，很难采用监督分类技术来检测它们。此外，在这些高度偏斜的情况下，也难以提取领域特定特征来识别跌倒。在本文中，我们提出了一种新的框架，\textit{DeepFall}，它制定了作为一个异常检测问题的跌倒检测问题。\textit{DeepFall}框架提出了深度时空卷积自动编码器的新用途，以使用非侵入式感测模态从正常活动中学习空间和时间特征。我们还提出了一种新的异常评分方法，结合重建分数的帧在一个时间窗口来检测看不见的下降。我们在三个公开的数据集上测试了\textit{DeepFall}框架，这些数据集是通过非侵入式传感模式、热成像相机和深度相机收集的，与传统的自动编码器方法相比，该框架显示出更好的结果来识别看不见的跌倒。
2020-04-27 cs.CV cs.LG stat.ML
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Traffic Flow Forecasting with Maintenance Downtime via Multi-Channel Attention-Based Spatio-Temporal Graph Convolutional Networks
George Mason University（乔治梅森大学）
交通流预测是智能交通系统管理的核心任务。图结构已经显示出作为建模框架的前景，最近通过图卷积神经网络在时空建模方面的进展，提高了性能或扩展了对交通流的预测范围。然而，最先进的方法的一个主要缺点是它们不能考虑到各种模式的信息，例如维护停机时间对交通流量的影响。这就是我们在本文中要解决的问题。具体来说，我们提出了一种新的模型来预测交通速度的影响下，施工工作。该模型基于强大的基于注意力的时空图卷积架构，但利用各种渠道来整合不同的信息源，明确地建立交通状态之间的时空依赖关系，捕获异构道路网络之间的关系，然后预测交通流量的变化导致的维护停机事件。两个基准数据集和一个新的数据集，我们已经收集了繁华的泰森的角落地区在北弗吉尼亚州的模型进行评估。大量的对比实验和消融研究表明，该模型可以捕捉复杂的和非线性的时空关系，跨运输走廊，优于基线模型。
2021-10-04 cs.AI cs.CV cs.LG
Spatio-Temporal Vegetation Pixel Classification By Using Convolutional Networks
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；University of Campinas（坎皮纳斯大学）；Universidade Estadual Paulista（圣保罗州立大学）；University of Stirling（斯特灵大学）
植物物候学研究依赖于对植物生存周期的长期监测。高分辨率无人驾驶飞行器和近地表技术已被用于植物监测，这就要求创造能够通过时间和空间定位和识别植物物种的方法。然而，由于数据量大，时间数据库中缺少恒定的数据，时间剖面的异质性，植物视觉模式的多样性，以及植物群落中个体边界的定义不明确，这是一项具有挑战性的任务。在这封信中，我们提出了一种新的方法，适用于物候监测，基于卷积网络（ConvNets）进行时空植被像素分类的高分辨率图像。我们进行了系统的评估，使用高分辨率的植被图像数据集与巴西塞拉多生物群系。实验结果表明，该方法是有效的，克服了其他时空像素分类策略。
2019-03-02 cs.CV
Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation
University of Maryland（马里兰大学）；SRI International（SRI国际）
我们提出了一种新的堆叠时空图卷积网络（Stacked-STGCN）用于动作分割，即，预测和定位长视频中的一系列动作。我们扩展了最初为基于动作的动作识别提出的时空图卷积网络（STGCN），以使具有不同特征的节点（例如，场景、演员、物体、动作等），具有不同长度的特征描述符和任意时间边缘连接，以解释通常与复杂活动相关联的大的图形变形。我们进一步将堆叠沙漏架构引入STGCN，以利用编码器-解码器设计的优势，提高泛化性能和定位精度。我们探索了各种描述符，如帧级VGG，段级I3 D，基于RCNN的对象等作为节点描述符，以实现基于综合上下文信息的联合推理的动作分割。我们展示了CAD 120（它提供了预先计算的节点特征和边权重，以便在算法之间进行公平的性能比较）以及更复杂的真实世界活动数据集Charades的结果。我们的Stacked-STGCN在CAD 120上的F1得分和使用VGG功能的Charades上的mAP中的最佳报告结果相比，总体上实现了4.0%的性能改进。
2019-06-02 cs.CV
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）；University of Oulu（奥卢大学）
近年来，自发性面部微表情的识别任务因其在现实世界中的广泛应用而备受关注。大量的手工或学习的功能已被用于各种分类器，并取得了良好的性能识别微表情。然而，由于微表情的细微时空变化，微表情识别仍然具有挑战性。为了充分利用深度学习的优点，本文提出了一种基于深度递归卷积网络的微表情识别方法，该方法捕捉微表情序列的时空变形。具体而言，所提出的深度模型由用于提取视觉特征的几个递归卷积层和用于识别的分类层组成。它通过端到端的方式进行优化，避免了手动特征设计。为了处理序列数据，我们采用了两种类型的跨时间域扩展卷积网络的连接性，其中时空变形分别在面部外观和几何形状的视图中建模。此外，为了克服训练样本有限和不平衡的缺点，我们的深度网络联合使用了时间数据增强策略以及平衡损失。通过在三个自发的微表情数据集上进行实验，我们验证了我们提出的微表情识别方法的有效性相比，国家的最先进的方法。
2019-01-15 cs.CV
Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks
Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）；Lenovo Corporate Research（联想研究院）
视频序列中的人的动作是三维（3D）时空信号，其特征在于所涉及的人和物体的视觉外观和运动动力学。受卷积神经网络（CNN）用于图像分类的成功的启发，最近已经尝试学习3D CNN以识别视频中的人类动作。然而，部分由于训练3D卷积核的高度复杂性以及需要大量的训练视频，仅报告了有限的成功。这促使我们在本文中研究一种新的深度架构，可以更有效地处理3D信号。具体来说，我们提出了因子分解时空卷积网络（FstCN），它将原始的3D卷积核学习分解为在较低层（称为空间卷积层）中学习2D空间核的顺序过程，然后在上层（称为时间卷积层）中学习1D时间核。我们引入了一种新的变换和置换算子，使FstCN中的因子分解成为可能。此外，为了解决序列对齐的问题，我们提出了一个有效的训练和推理策略的基础上采样多个视频剪辑从一个给定的动作视频序列。我们在两个常用的基准数据集（UCF-101和HMDB-51）上测试了FstCN。在不使用辅助训练视频来提高性能的情况下，FstCN优于现有的基于CNN的方法，并实现了与受益于使用辅助训练视频的最新方法相当的性能。
2015-10-02 cs.CV
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes
Hamburg University of Technology（汉堡工业大学）
跟踪和定位目标是计算机辅助手术中的核心问题。光学相干层析成像（OCT）由于其高的空间和时间分辨率，可以用作光学跟踪系统。最近，3D卷积神经网络（CNN）已经显示出使用单个体积OCT图像进行标记对象的姿态估计的有前途的性能。虽然这种方法仅依赖于空间信息，但OCT允许OCT图像体积的时间流以高体积速率捕获对象的运动。在这项工作中，我们系统地将3D CNN扩展到4D时空CNN，以评估附加时间信息对标记对象跟踪的影响。在各种架构中，我们的结果表明，使用OCT体积流并采用4D时空卷积，与使用3D CNN的单体积处理相比，平均绝对误差降低了30%。
2020-07-02 cs.CV eess.IV
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
Universiti Tunku Abdul Rahman（东姑阿都拉曼大学）
我们提出了一种有效的方法来检测视频中的异常。卷积神经网络的最新应用已经显示出卷积层用于目标检测和识别的前景，特别是在图像中。然而，卷积神经网络是有监督的，需要标签作为学习信号。我们提出了一个时空架构的异常检测视频，包括拥挤的场景。我们的体系结构包括两个主要组成部分，一个用于空间特征表示，一个用于学习空间特征的时间演化。在Avenue，Subway和UCSD基准上的实验结果证实，我们的方法的检测精度与最先进的方法相当，速度高达140 fps。
2017-01-06 cs.CV
Depthwise Spatio-Temporal STFT Convolutional Neural Networks for Human Action Recognition
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Osaka University（大阪大学）
传统的3D卷积神经网络（CNN）计算昂贵、内存密集、易于过拟合，并且最重要的是，需要提高其特征学习能力。为了解决这些问题，我们提出了时空短期傅立叶变换（STFT）块，这是一类新的卷积块，可以作为3D卷积层及其变体的替代方案。STFT块由不可训练的卷积层组成，这些卷积层使用STFT内核在多个低频点捕获空间和/或时间局部傅立叶信息，然后是一组用于学习通道相关性的可训练线性权重。STFT块显著降低了3D CNN中的空间-时间复杂度。一般来说，与最先进的方法相比，它们使用的参数少3.5到4.5倍，计算成本少1.5到1.8倍。此外，它们的特征学习能力明显优于传统的3D卷积层及其变体。我们对七个动作识别数据集（包括Something-Something v1和v2、Jester、Diving-48、Kinetics-400、UCF 101和HMDB 51）进行了广泛的评估，结果表明，与最先进的方法相比，基于STFT块的3D CNN具有同等或更好的性能。
2020-07-22 cs.CV
Local Spatiotemporal Convolutional Network for Robust Gait Recognition
School of Mechanical and Electrical Engineering, Osh State University（机械与电子工程学院，奥什州大学）
本文提出LSTCN网络，通过引入GBSP机制和局部时空卷积层，提升步态识别的鲁棒性，有效提取时空特征以应对视频数据复杂性和外部干扰。
2026-05-14 cs.CV
VN-Net: Vision-Numerical Fusion Graph Convolutional Network for Sparse Spatio-Temporal Meteorological Forecasting
Beijing University of Posts and Telecommunications（北京邮电大学）
针对稀疏气象预测，提出VN-Net模型，通过融合时空数值数据与卫星视觉图像，并利用N-GCN、V-LSTM和GCN解码器进行多模态特征提取与预测，在Weather2k数据集上显著优于现有方法。
2024-01-26 cs.CV cs.LG physics.ao-ph
Spatio-Temporal Multi-Subgraph GCN for 3D Human Motion Prediction
Gaoling School of Artificial Intelligence Renmin University of China Beijing, China
本文提出STMS-GCN，通过解耦时空依赖建模并结合多子图与一致性约束机制，提升三维人体运动预测性能。
2024-12-31 cs.CV cs.LG
Mimetic Initialization of MLPs
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过给MLP第一层赋予非零均值来加速训练，首次将仿生初始化应用于通道混合层。
2026-02-06 cs.AI cs.CV cs.LG
DMS-GCN: Dynamic Mutiscale Spatiotemporal Graph Convolutional Networks for Human Motion Prediction
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
人体运动预测在计算机视觉的许多应用领域都是一个重要而又具有挑战性的课题。最近的工作集中在利用递归神经网络（RNN）的时序处理能力，以实现短期预测的平滑和可靠的结果。然而，正如以前的工作所证明的那样，RNN遭受错误积累，导致不可靠的结果。在本文中，我们提出了一个简单的前馈深度神经网络的运动预测，它考虑到时间平滑性和人体关节之间的空间依赖性。我们设计了一个多尺度时空图卷积网络（GCN）来隐式地建立人体运动过程中的时空依赖性，其中不同尺度在训练过程中动态融合。整个模型适用于所有动作，遵循编码器-解码器的框架。该编码器由时间GCN捕获帧之间的运动特征和半自主学习的空间GCN提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN），以保持其广泛的能力。大量的实验表明，我们的方法优于SOTA方法的数据集上的Human3.6M和CMU Mocap，而只需要少得多的参数。代码将在https://github.com/yzg9353/DMSGCN上提供。
2021-12-20 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；Medical Imaging Research Center, Dayananda Sagar Institutions（达亚南达·萨加尔机构医学成像研究中心）；Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心（SCAN））
磁共振指纹（MRF）在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射，由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建，该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法，并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度，并产生定性更有吸引力的地图相比，其他重建方法。此外，与基于字典的方法相比，重建时间显著减少。
2018-07-24 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
A test case for application of convolutional neural networks to spatio-temporal climate data: Re-identifying clustered weather patterns
Rice University（莱斯大学）；University of Pennsylvania（宾夕法尼亚大学）
卷积神经网络（CNN）可以为分类和识别气候和环境数据中的模式提供强大的工具。然而，由于这些数据的固有复杂性，这些数据通常是时空的、混沌的和非平稳的，因此必须针对每个特定的数据集和应用设计/评估CNN算法。首先，CNN是一种有监督的技术，需要一个大的标记数据集。标记需要（人类）专家的时间，再加上这一领域的相关示例数量有限，可能会阻碍使用CNN解决新问题。为了应对这些挑战，我们（1）提出了一种有效的自动标记策略，该策略基于使用无监督聚类算法并评估CNN在重新识别这些聚类方面的性能;（2）使用这种方法在完全耦合的气候模式的输出中标记北美数千个每日大规模天气类型，并显示CNN在重新识别4个聚类状态方面的能力。每个聚类使用$1000$样本或更多样本训练的深度CNN具有$90\%$或更好的准确度。准确度与训练集的大小单调但非线性地成比例，例如，每个聚类使用$3000$训练样本达到$94\%$。结构和超参数对CNN性能的影响进行了研究和讨论。
2018-11-12 cs.CV cs.LG physics.ao-ph
Modeling 4D fMRI Data via Spatio-Temporal Convolutional Neural Networks (ST-CNN)
University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）；Beijing Institute of Big Data Research（北京大数据研究院）
从4D fMRI数据同时建模脑功能网络的时空变化模式一直是认知神经科学和医学图像分析领域的一个重要而具有挑战性的问题。受最近将深度学习应用于功能性大脑解码和编码的成功启发，在这项工作中，我们提出了一种时空卷积神经网络（ST-CNN），用于从训练数据中联合学习目标网络的空间和时间模式，并执行自动的精确功能性网络识别。建议的ST-CNN的评估任务，确定默认模式网络（DMN）从fMRI数据。结果表明，虽然该框架只在一个fMRI数据集上进行训练，但它具有足够的泛化能力，可以从不同的数据人群以及不同的认知任务中识别DMN。进一步的研究结果表明，ST-CNN的优越性能是由联合学习方案驱动的，它捕捉了DMN的时空特性之间的内在关系，并确保了准确的识别。
2018-08-06 cs.CV
STLight: a Fully Convolutional Approach for Efficient Predictive Learning by Spatio-Temporal joint Processing
University of Zurich（苏黎世大学）；Google（谷歌公司）；Sapienza, University of Rome（罗马大学）；Max Planck Society（马克斯·普朗克学会）；Meta
提出STLight全卷积时空预测学习方法，通过时空维度重排和纯卷积框架混合特征，在STL基准上实现SOTA性能并显著提升计算效率。
2024-11-15 cs.CV
Game State and Spatio-temporal Action Detection in Soccer using Graph Neural Networks and 3D Convolutional Networks
Centre for Robotics, MINES Paris - PSL, France（机器人中心，巴黎 Mines - PSL，法国）
针对足球赛事单目视频事件标注成本高、现有时空动作检测方法缺乏比赛上下文理解的问题，提出结合图神经网络与3D CNN融合视觉和比赛状态信息的检测方法，提升了动作检测效果。
2025-02-21 cs.CV
A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video
Guangdong University of Technology（广东工业大学）；Chinese University of Hong Kong（香港中文大学）
时空信息是解决三维位姿估计中遮挡和深度模糊的关键。以前的方法集中在嵌入固定长度的时空信息的时间上下文或本地到全局架构。到目前为止，还没有有效的建议，同时和灵活地捕捉变化的时空序列，并有效地实现实时3D姿态估计。在这项工作中，我们通过注意力机制对局部和全局空间信息进行建模，提高了人体骨骼中运动学约束的学习：姿势、局部运动学连接和对称性。为了适应单帧和多帧的估计，膨胀的时间模型被用来处理不同的骨架序列。此外，重要的是，我们仔细设计了空间语义与时间依赖的交织，以实现协同效应。为此，我们提出了一个简单而有效的图形注意力时空卷积网络（GAST-Net），它由交织的时间卷积和图形注意力块组成。在两个具有挑战性的基准数据集（Human3.6M和HumanEva-I）和YouTube视频上的实验表明，我们的方法有效地减轻了深度模糊和自遮挡，推广到上半身估计，并在2D到3D视频姿态估计上取得了有竞争力的性能。代码、视频和补充信息请访问：\href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}
2020-10-20 cs.CV cs.RO eess.IV
Rice Classification Using Spatio-Spectral Deep Convolutional Neural Network
National Nanotechnology Center, National Science and Technology Development Agency（国家科学技术发展局国家纳米技术中心）；Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；Chulalongkorn University（朱拉隆功大学）
水稻一直是人类粮食供应的主要食物之一。世界各地种植、进口和出口了许多水稻品种。在水稻生产和贸易过程中，可以混合使用不同的水稻品种。大米杂质可能会损害大米进口商和出口商之间的信任，因此需要建立大米品种检查制度。在这项工作中，我们开发了一个非破坏性的水稻品种分类系统，受益于高光谱成像和深度卷积神经网络（CNN）之间的协同作用。该方法使用高光谱成像系统，同时获得互补的空间和光谱信息的水稻种子。然后使用深度CNN从所获取的空间光谱数据确定水稻品种。相对于现有的几种水稻品种分类方法，需要手工设计的功能，所提出的方法自动提取的空间光谱特征的原始传感器数据。实验结果表明，与基于支持向量机的分类方法相比，该方法的平均分类精度提高了11.9%.
2019-06-25 cs.CV
Lane Detection Model Based on Spatio-Temporal Network With Double Convolutional Gated Recurrent Units
Southwest Jiaotong University（西南交通大学）
车道检测是自动驾驶环境感知不可或缺的关键要素之一。已经提出了许多车道检测模型，解决了具有挑战性的条件下的车道检测，包括交叉口合并和分裂，曲线，边界，遮挡和场景类型的组合。然而，车道检测在未来一段时间内仍将是一个悬而未决的问题。能否很好地应对这些具有挑战性的场景极大地影响了车道检测在高级驾驶员辅助系统（ADAS）中的应用。本文提出了一种具有双卷积门控递归单元（ConvGRUs）的时空网络来解决具有挑战性场景中的车道检测问题。这两个ConvGRU具有相同的结构，但在我们的网络中具有不同的位置和功能。一种是用于提取最可能的低层次特征的车道线的信息。提取的特征在与一些块的输出连接后输入到端到端网络的下一层。另一种是以连续帧为输入，对时空驱动信息进行处理。在大规模TuSimple车道标记挑战数据集和无监督LLAMAS数据集上的实验表明，该模型能够有效地检测具有挑战性的驾驶场景中的车道。我们的模型可以优于最先进的车道检测模型。
2021-02-27 cs.CV
Anchor-Based Spatio-Temporal Attention 3D Convolutional Networks for Dynamic 3D Point Cloud Sequences
Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）；University of Cambridge（剑桥大学）
随着测量技术的快速发展，LiDAR和深度相机被广泛应用于3D环境的感知。目前基于学习的机器人感知方法大多集中在图像或视频上，但用于动态3D点云序列的深度学习方法尚未得到充分研究。因此，开发与这些先进仪器兼容的高效准确的感知方法是自动驾驶和服务机器人的关键。提出了一种基于锚点的时空注意力三维卷积运算（ASTA3DConv），用于处理动态三维点云序列。所提出的卷积操作通过在每个点周围设置几个虚拟锚来在每个点周围建立规则的感受野。首先基于时空注意力机制将邻域点的特征聚合到每个锚点上。然后，采用基于锚点的3D卷积将这些锚点的特征聚合到核心点。该方法更好地利用了局部区域内的结构化信息，并从动态三维点云序列中学习时空嵌入特征。基于锚点的时空注意力三维卷积神经网络（ASTA 3DCNN），在提出的ASTA 3DConv的基础上构建了用于分类和分割任务的ASTA 3DCNN，并在动作识别和语义分割任务上进行了评估。在MSRD3D和Synthia数据集上的实验和消融研究表明，该方法对动态3D点云序列具有优越的性能和有效性。我们的方法实现了最先进的性能之间的方法与动态三维点云序列作为输入的MSRD3D和Synthia数据集。
2021-07-29 cs.CV
Validation and generalization of pixel-wise relevance in convolutional neural networks trained for face classification
Stanford University（斯坦福大学）
在科学、治理和更广泛的社会中，越来越多地使用卷积神经网络进行人脸识别，这就迫切需要能够显示这些“黑匣子”决策是如何做出的方法。为了对人类可解释和有用，这种方法应该以一种对输入数据中的随机初始化或虚假相关性鲁棒的方式传达模型的学习分类策略。为此，我们应用分层相关传播（LRP）的分解像素属性方法来解决几类VGG-16模型的决策，这些模型是为人脸识别而训练的。然后，我们量化了这些相关性度量如何随关键模型参数而变化，并在这些参数之间进行推广，例如预训练数据集（ImageNet或VGGFace），微调任务（性别或身份分类）以及模型权重的随机初始化。使用基于相关性的图像掩蔽，我们发现用于人脸分类的相关性地图在随机初始化中通常是稳定的，并且可以在微调任务中推广。然而，在预训练数据集上的泛化能力明显较低，这表明ImageNet和VGGFace训练的模型对人脸信息的采样方式不同，即使它们实现了极高的分类性能。对模型之间的相关性图进行细粒度分析，发现了泛化中的不对称性，这些不对称性指向了选择参数的特定好处，并表明有可能找到一组重要的人脸图像像素，这些像素可以驱动卷积神经网络和任务之间的决策。最后，我们评估了模型决策权重与人类相似性度量的关系，为解释人类和机器之间的人脸识别决策提供了一个新的框架。
2020-06-16 cs.CV cs.LG stat.ML
ExplainFix: Explainable Spatially Fixed Deep Networks
Carnegie Mellon University（卡内基梅隆大学）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；INESC TEC（葡萄牙系统与计算机工程研究所）
深度网络是否有一个不需要学习的初始化？ExplainFix采用了两个设计原则：“固定滤波器”原则，即卷积神经网络的所有空间滤波器权重可以在初始化时固定，永远不会学习;“灵活性”原则，即只需少量网络参数即可。我们贡献了（a）基于视觉模型的解释，（b）速度和准确性的提高，以及（c）深度卷积神经网络的新工具。ExplainFix给出了关键见解，即空间固定网络应该进行引导初始化，空间卷积层往往优先考虑低频，并且大多数网络参数在空间固定模型中是不必要的。ExplainFix模型的空间过滤器内核比完全学习的模型少100倍，匹配或提高了准确性。我们广泛的实证分析证实，ExplainFix保证了更灵活的模型（通过通道修剪，训练速度提高了17\%），匹配或改善了预测性能（跨越13个不同的基线模型，4个架构和2个医学图像数据集），提高了对更大学习率的鲁棒性，以及对不同模型大小的鲁棒性。我们首先证明，最先进的卷积深度网络中的所有空间滤波器都可以在初始化时固定，而不是学习。
2023-03-18 cs.AI cs.CV cs.LG
Large-scale, Fast and Accurate Shot Boundary Detection through Spatio-temporal Convolutional Neural Networks
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Trinity College Dublin, CONNECT Center（都柏林圣三一学院，CONNECT中心）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Simon Fraser University（西蒙弗雷泽大学）
镜头边界检测（SBD）是视频处理的重要预处理步骤。这里，帧的每个片段被分类为尖锐的、渐变的或无过渡的。目前的SBD技术分析手工制作的功能，并试图优化检测精度和处理速度。然而，光流的繁重计算阻止了这一点。为了实现这一目标，我们提出了一种基于时空卷积神经网络（CNN）的SBD技术。由于当前的数据集不够大，无法训练准确的SBD CNN，我们提出了一个新的数据集，包含超过350万帧的急剧和渐进的过渡。使用图像合成模型合成地生成过渡。我们的数据集包含另外70，000帧重要的硬阴性无转换。我们对一个SBD算法进行了迄今为止最大的评估，对真实和合成数据进行了评估，其中包含超过485万帧。与现有技术相比，我们优于溶解渐进检测，产生尖锐检测的竞争性能，并在擦拭方面产生显着改善。此外，我们的速度比最先进的技术快11倍。
2017-07-27 cs.CV
Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Observatory（香港天文台）
降水临近预报的目的是预测局部地区未来较短时间内的降水强度。以前很少有研究从机器学习的角度来研究这个关键而具有挑战性的天气预报问题。在本文中，我们制定了降水临近预报的时空序列预测问题，其中输入和预测目标都是时空序列。通过扩展完全连接的LSTM（FC-LSTM），使其在输入到状态和状态到状态的转换中都具有卷积结构，我们提出了卷积LSTM（ConvLSTM），并使用它来构建降水临近预报问题的端到端可训练模型。实验表明，我们的ConvLSTM网络能够更好地捕捉时空相关性，并且在降水临近预报方面始终优于FC-LSTM和最先进的操作型ROVER算法。
2015-09-19 cs.CV
RAIST: Learning Risk Aware Traffic Interactions via Spatio-Temporal Graph Convolutional Networks
Purdue University（普渡大学）
本文提出基于时空图卷积网络的驾驶框架RAIST，通过建模道路使用者间的时空交互与意图，在战术行为预测的同时提升风险目标识别能力，尤其针对行人和骑行者等脆弱交互对象。
2023-08-06 cs.CV cs.RO
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology（格拉茨技术大学）；University of Oxford（牛津大学）
最近应用卷积神经网络（ConvNets）进行视频中的人类动作识别，提出了不同的解决方案，用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法，以便最好地利用这种时空信息。我们得出以下发现：（i）空间和时间网络可以在卷积层融合，而不是在softmax层融合，而不会损失性能，但可以大幅节省参数;（ii）最好在最后一个卷积层空间融合此类网络比之前更好，并且在类别预测层进行额外融合可以提高准确性;最后（iii）在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究，我们提出了一个新的ConvNet架构的时空融合的视频片段，并评估其性能的标准基准，该架构实现了最先进的结果。
2016-09-26 cs.CV
PFGNet: A Fully Convolutional Frequency-Guided Peripheral Gating Network for Efficient Spatiotemporal Predictive Learning
College of Computer Science, Sichuan University（四川大学计算机科学学院）；Department of Data and Systems Engineering, The University of Hong Kong（香港大学数据与系统工程系）
PFGNet通过像素级频率引导门控动态调节感受野，实现高效的时空预测学习，无需递归或注意力机制，在多个数据集上取得SOTA性能。
2026-04-22 cs.CV
A Multi-task Two-stream Spatiotemporal Convolutional Neural Network for Convective Storm Nowcasting
Ocean University of China（中国海洋大学）
对流风暴临近预报的目标是对强对流风暴和即将发生的对流风暴进行局地预报。在这里，我们考虑对流风暴临近预报问题的机器学习的角度。首先，我们使用逐像素采样的方法来构建临近预报的时空特征，并灵活地调整训练集中正负样本的比例，以减轻类不平衡问题。其次，我们采用了一个简洁的双流卷积神经网络来提取空间和时间线索的临近预报。这简化了网络结构，减少了训练时间要求，并提高了分类精度。双流网络同时使用雷达和卫星数据。在由此产生的双流融合卷积神经网络中，一些参数被输入到单流卷积神经网络中，但它可以学习许多数据的特征。此外，考虑到分类和回归任务的相关性，我们开发了一种多任务学习策略，可以预测这些任务中使用的标签。我们将双流多任务学习集成到单个卷积神经网络中。由于结构紧凑，该网络比现有的递归神经网络更有效，更容易优化。
2021-07-01 cs.CV physics.ao-ph physics.geo-ph
Impact Detection in Fall Events: Leveraging Spatio-Temporal Graph Convolutional Networks and Recurrent Neural Networks Using 3D Skeletons Data
CESI LINEACT；ENSAM（国立高等先进技术学校）
研究针对跌倒事件中的撞击检测难题，利用时空图卷积网络、GRU和BiLSTM层处理3D骨架数据，能精准区分假跌倒与实际撞击，提高精度，在改进数据集上准确率超90%，并公开数据集助力后续研究。
2026-07-29 cs.CV
Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；KAUST（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）
更好地理解行人行为的机器可以更快地建模智能体（如自动驾驶汽车和人类）之间的交互。行人的轨迹不仅受行人本身的影响，还受与周围物体的相互作用的影响。以前的方法通过使用各种聚合方法来模拟这些交互，这些聚合方法集成了不同的学习行人状态。我们提出了社会时空图卷积神经网络（Social-STGCNN），它通过将交互建模为图来替代聚合方法的需要。我们的研究结果表明，最后的位移误差（FDE）和平均位移误差（ADE）的改进，与以前报道的方法相比，参数减少了8.5倍，推理速度快了48倍。此外，我们的模型是数据高效的，并且在ADE度量上超过了先前的最新技术水平，只有20%的训练数据。我们提出了一个核函数嵌入的邻接矩阵内的行人之间的社会互动。通过定性分析，我们表明，我们的模型继承了行人轨迹之间可以预期的社会行为。代码可在https://github.com/abduallahmohamed/Social-STGCNN上获得。
2020-03-24 cs.CV
3D attention mechanism for fine-grained classification of table tennis strokes using a Twin Spatio-Temporal Convolutional Neural Networks
University of Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立高等物理、数学与信息学院）；University of La Rochelle（拉罗谢尔大学）
本文针对乒乓球击球等低类间变异的视频动作识别问题。双流“孪生”卷积神经网络用于RGB数据和光流的3D卷积。动作识别的时间窗口的分类。我们介绍了3D注意模块，并研究其对分类效率的影响。在运动员的表现的研究的背景下，被认为是一个语料库的特殊行动的乒乓球击球。在网络中使用注意力块加快了训练步骤，并将我们的孪生模型的分类分数提高了5%。我们可视化所获得的功能和注意力和球员的动作和位置之间的相关性的影响。分数比较国家的最先进的动作分类方法和建议的方法与注意力块上的语料库。建议的模型与注意块优于以前的模型没有他们和我们的基线。
2020-11-20 cs.CV cs.HC cs.LG
Enhanced Spatio-Temporal Context for Temporally Consistent Robust 3D Human Motion Recovery from Monocular Videos
TCS Research（塔塔咨询服务研究中心）；CVIT, IIIT Hyderabad（印度理工学院海得拉巴分校计算机视觉与图像技术中心）
提出一种从单目视频恢复时间一致3D人体运动的新方法，利用身体感知特征、逐帧初始化与自注意力聚合增强时空上下文，结合LSTM细化参数，在多项指标上超越现有方法。
2023-11-20 cs.CV
Spatiotemporal Residual Networks for Video Action Recognition
Graz University of Technology（格拉茨技术大学）；York University（约克大学）
双流卷积网络（ConvNets）在视频中的人类动作识别方面表现出了强大的性能。最近，残差网络（ResNets）作为一种新技术出现，用于训练极深的体系结构。在本文中，我们将时空ResNets作为这两种方法的组合。我们的新架构通过两种方式引入残差连接，将ResNets推广到时空域。首先，我们注入残余连接的外观和运动路径的双流架构，使两个流之间的时空交互。其次，我们将预训练的图像ConvNets转换为时空网络，方法是为这些网络配备可学习的卷积滤波器，这些卷积滤波器被初始化为时间残差连接，并在时间上对相邻的特征图进行操作。这种方法随着模型深度的增加而缓慢增加时空感受野，并自然地集成了图像ConvNet设计原则。整个模型是端到端训练的，允许对复杂的时空特征进行分层学习。我们使用两个广泛使用的动作识别基准来评估我们的新时空ResNet，它超过了以前的最先进水平。
2016-11-07 cs.CV
