Toward Ergonomic Risk Prediction via Segmentation of Indoor Object Manipulation Actions Using Spatiotemporal Convolutional Networks
University of Washington（华盛顿大学）；Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
自动实时预测操纵物体的人体工程学风险是开发用于物流和制造应用的有效人机协作系统的关键未解决的挑战。我们提出了一个基本的范例，以解决这一挑战，制定的问题之一，从RGB-D相机视频的动作分割。首先使用深度卷积模型从视频帧中学习空间特征，然后将其顺序馈送到时间卷积网络，以将帧语义分割为动作层次，这些动作在人体工程学上是安全的，需要监控或需要立即关注。对于性能评估，除了一个开源的厨房数据集，我们收集了一个新的数据集，包括20个人拿起和放置不同重量的物体，并从橱柜和桌子的位置在不同的高度。结果显示，对于持续时间超过两分钟且包含大量动作的视频，地面实况和预测帧标签之间的F1重叠分数非常高（87-94）。
2019-06-26 cs.CV cs.RO
Anomaly detection using prediction error with Spatio-Temporal Convolutional LSTM
The University of Danang, University of Science and Technology（岘港大学科学技术大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种新的视频异常检测方法，其动机是使用时空卷积长短期记忆（convLSTM）进行序列到序列预测和重建的现有架构。在以前的工作异常检测，异常出现在重建或预测的空间局部故障。在五个基准数据集的实验中，我们表明，使用预测提供了优越的性能，使用重建。我们还比较了不同长度的输入/输出序列的性能。总的来说，我们使用预测的结果与基准数据集上的最新技术水平相当。
2022-05-18 cs.CV
Learning Spatiotemporal Features with 3D Convolutional Networks
Facebook AI Research（脸书人工智能研究院）；Dartmouth College（达特茅斯学院）
我们提出了一种简单而有效的时空特征学习方法，使用在大规模监督视频数据集上训练的深度三维卷积网络（3D ConvNets）。我们的发现有三个方面：1）与2D ConvNets相比，3D ConvNets更适合时空特征学习; 2）在所有层中具有小3x 3x 3卷积核的同构架构是3D ConvNets的最佳性能架构之一;和3）我们学习的功能，即C3 D（卷积3D），一个简单的线性分类器优于国家的，艺术方法在4个不同的基准，并与目前最好的方法在其他2个基准。此外，这些特征是紧凑的：在UCF 101数据集上实现了52.8%的准确率，只有10个维度，并且由于ConvNets的快速推理，计算效率也非常高。最后，它们在概念上非常简单，易于训练和使用。
2015-10-07 cs.CV
A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video
Guangdong University of Technology（广东工业大学）；Chinese University of Hong Kong（香港中文大学）
时空信息是解决三维位姿估计中遮挡和深度模糊的关键。以前的方法集中在嵌入固定长度的时空信息的时间上下文或本地到全局架构。到目前为止，还没有有效的建议，同时和灵活地捕捉变化的时空序列，并有效地实现实时3D姿态估计。在这项工作中，我们通过注意力机制对局部和全局空间信息进行建模，提高了人体骨骼中运动学约束的学习：姿势、局部运动学连接和对称性。为了适应单帧和多帧的估计，膨胀的时间模型被用来处理不同的骨架序列。此外，重要的是，我们仔细设计了空间语义与时间依赖的交织，以实现协同效应。为此，我们提出了一个简单而有效的图形注意力时空卷积网络（GAST-Net），它由交织的时间卷积和图形注意力块组成。在两个具有挑战性的基准数据集（Human3.6M和HumanEva-I）和YouTube视频上的实验表明，我们的方法有效地减轻了深度模糊和自遮挡，推广到上半身估计，并在2D到3D视频姿态估计上取得了有竞争力的性能。代码、视频和补充信息请访问：\href{http://www.juanrojas.net/gast/}{http://www.juanrojas.net/gast/}
2020-10-20 cs.CV cs.RO eess.IV
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks
在许多机器人和VR/AR应用中，3D视频是现成的输入源（连续的深度图像序列或LIDAR扫描）。然而，这些3D视频通过2D convnets或3D感知算法逐帧处理。在这项工作中，我们提出了4维卷积神经网络的时空感知，可以直接处理这样的三维视频使用高维卷积。为此，我们采用稀疏张量，并提出了广义稀疏卷积，包括所有离散卷积。为了实现广义稀疏卷积，我们为稀疏张量创建了一个开源的自动微分库，为高维卷积神经网络提供了广泛的功能。我们使用该库创建了4D时空卷积神经网络，并在各种3D语义分割基准上对其进行了验证，并提出了用于3D视频感知的4D数据集。为了克服4D空间中的挑战，我们提出了混合内核，广义稀疏卷积的特殊情况，以及在7 D时空色度空间中执行时空一致性的三边固定条件随机场。在实验上，我们表明，只有广义三维稀疏卷积的卷积神经网络可以大大优于2D或2D-3D混合方法。此外，我们还表明，在3D视频上，4D时空卷积神经网络对噪声具有鲁棒性，优于3D卷积神经网络，并且在某些情况下比3D对应物更快。
2019-06-13 cs.AI cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
Deepfake Detection using Spatiotemporal Convolutional Networks
University of Michigan（密歇根大学）
更好的生成模型和更大的数据集导致了更逼真的假视频，这些假视频可以欺骗人眼，但会产生深度学习方法可以检测到的时间和空间伪影。目前大多数Deepfake检测方法仅使用单个视频帧，因此无法从时间信息中学习。我们使用Celeb-DF数据集创建了时空卷积方法性能的基准。我们的方法优于最先进的基于帧的检测方法。我们论文的代码可在https://github.com/oidelima/Deepfake-Detection上公开获取。
2020-06-26 cs.CV cs.LG eess.IV
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
University of Arkansas（阿肯色大学）；West Virginia University（西弗吉尼亚大学）
本研究提出自监督时空Transformer方法SPARTAN，通过构建多尺度时空视图的自监督匹配目标，利用无标注视频提升群体活动识别效果，在两个基准数据集上的关键指标显著超越现有最优水平。
2023-08-28 cs.CV
SoGAR: Self-supervised Spatiotemporal Attention-based Social Group Activity Recognition
本文提出SoGAR方法，利用自监督Transformer和不同帧率视图学习时空一致特征，在JRDB-PAR、NBA和Volleyball三个群体活动识别基准上取得最优结果。
2024-11-18 cs.CV
DriveGuard: Robustification of Automated Driving Systems with Deep Spatio-Temporal Convolutional Autoencoder
KIOS Research and Innovation Center of Excellence（KIOS研究与卓越创新中心）；University of Cyprus（塞浦路斯大学）
自动驾驶汽车越来越依赖于摄像头来提供感知和场景理解的输入，这些模型在恶劣条件和图像噪声下对其环境和物体进行分类的能力至关重要。当输入被无意地或通过有针对性的攻击而恶化时，自动驾驶车辆的可靠性就会受到损害。为了减轻这种现象，我们提出了DriveGuard，一个轻量级的时空自动编码器，作为一种解决方案，以鲁棒自动驾驶汽车的图像分割过程。通过首先使用DriveGuard处理摄像头图像，我们提供了一个更通用的解决方案，而不是使用噪声输入重新训练每个感知模型。我们探索了不同自动编码器架构的空间，并在使用真实和合成图像创建的不同数据集上对其进行评估，证明通过利用时空信息与多分量损失相结合，我们显着提高了对不良图像影响的鲁棒性，达到原始模型在干净图像上的5-6%。
2021-11-05 cs.AI cs.CV cs.RO
Spatio-Temporal Vegetation Pixel Classification By Using Convolutional Networks
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；University of Campinas（坎皮纳斯大学）；Universidade Estadual Paulista（圣保罗州立大学）；University of Stirling（斯特灵大学）
植物物候学研究依赖于对植物生存周期的长期监测。高分辨率无人驾驶飞行器和近地表技术已被用于植物监测，这就要求创造能够通过时间和空间定位和识别植物物种的方法。然而，由于数据量大，时间数据库中缺少恒定的数据，时间剖面的异质性，植物视觉模式的多样性，以及植物群落中个体边界的定义不明确，这是一项具有挑战性的任务。在这封信中，我们提出了一种新的方法，适用于物候监测，基于卷积网络（ConvNets）进行时空植被像素分类的高分辨率图像。我们进行了系统的评估，使用高分辨率的植被图像数据集与巴西塞拉多生物群系。实验结果表明，该方法是有效的，克服了其他时空像素分类策略。
2019-03-02 cs.CV
Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation
University of Maryland（马里兰大学）；SRI International（SRI国际）
我们提出了一种新的堆叠时空图卷积网络（Stacked-STGCN）用于动作分割，即，预测和定位长视频中的一系列动作。我们扩展了最初为基于动作的动作识别提出的时空图卷积网络（STGCN），以使具有不同特征的节点（例如，场景、演员、物体、动作等），具有不同长度的特征描述符和任意时间边缘连接，以解释通常与复杂活动相关联的大的图形变形。我们进一步将堆叠沙漏架构引入STGCN，以利用编码器-解码器设计的优势，提高泛化性能和定位精度。我们探索了各种描述符，如帧级VGG，段级I3 D，基于RCNN的对象等作为节点描述符，以实现基于综合上下文信息的联合推理的动作分割。我们展示了CAD 120（它提供了预先计算的节点特征和边权重，以便在算法之间进行公平的性能比较）以及更复杂的真实世界活动数据集Charades的结果。我们的Stacked-STGCN在CAD 120上的F1得分和使用VGG功能的Charades上的mAP中的最佳报告结果相比，总体上实现了4.0%的性能改进。
2019-06-02 cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们解决了一个新的任务，即弱监督的时空接地视频中的自然句子。具体来说，给定一个自然句子和一个视频，我们在视频中定位一个时空管，它在语义上对应于给定的句子，在训练过程中不依赖任何时空注释。首先，从视频中提取一组时空管，称为实例。然后，我们编码这些实例和句子使用我们提出的专注的交互器，可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失，一种新的多样性损失被引入到训练所提出的专注的交互器，以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外，我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集，作为我们任务的基准。大量的实验结果表明，我们的模型优于基线方法。
2019-06-06 cs.CV
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction
Amirkabir University of Technology（阿米卡比尔理工大学）；Chalmers University of Technology（查尔姆斯理工大学）
脉冲神经网络（SNN）由于其基于事件的性质而可以用于低功耗和嵌入式系统（例如新兴的神经形态芯片）中。此外，与传统的人工神经网络（ANN）相比，它们具有计算成本低的优点，同时保留了ANN的属性。然而，卷积脉冲神经网络和其他类型的SNN的层中的时间编码还有待研究。在本文中，我们提供了深入了解时空特征提取的卷积SNN的实验设计，利用这一属性。浅层卷积SNN的性能优于最先进的时空特征提取器方法，例如C3 D、ConvLstm和类似网络。此外，我们提出了一种新的深度尖峰架构来解决现实世界的问题（特别是分类任务），与NMNIST（99.6%），DVS-CIFAR 10（69.2%）和DVS-Gesture（96.7%）以及UCF-101（42.1%）和HMDB-51（21.5%）数据集上的ANN方法相比，该架构具有更好的性能。还值得注意的是，训练过程是基于本文中解释的时空反向传播的变化来实现的。
2021-01-18 cs.CV cs.LG
Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction
The City University of New York（纽约城市大学）；NVIDIA Research（英伟达研究院）
深度神经网络的成功通常需要大量的训练数据进行标记，这是昂贵的，并且在规模上是不可行的，特别是对于视频采集。为了缓解这个问题，在本文中，我们提出了3DRotNet：一种完全自监督的方法，可以从未标记的视频中学习时空特征。将一组旋转应用于所有视频，并将借口任务定义为这些旋转的预测。在完成这项任务时，3DRotNet实际上被训练来理解视频中的语义概念和动作。换句话说，它学习时空视频表示，可以将其转移以改善小数据集中的视频理解任务。我们广泛的实验成功地证明了所提出的框架在动作识别上的有效性，从而使最先进的自监督方法得到了显着的改进。使用来自大型数据集的自监督预训练3DRotNet，与从头开始训练的模型相比，UCF 101和HMDB 51的识别准确率分别提高了20.4%和16.7%。
2019-04-04 cs.CV
Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）；University of Oulu（奥卢大学）
近年来，自发性面部微表情的识别任务因其在现实世界中的广泛应用而备受关注。大量的手工或学习的功能已被用于各种分类器，并取得了良好的性能识别微表情。然而，由于微表情的细微时空变化，微表情识别仍然具有挑战性。为了充分利用深度学习的优点，本文提出了一种基于深度递归卷积网络的微表情识别方法，该方法捕捉微表情序列的时空变形。具体而言，所提出的深度模型由用于提取视觉特征的几个递归卷积层和用于识别的分类层组成。它通过端到端的方式进行优化，避免了手动特征设计。为了处理序列数据，我们采用了两种类型的跨时间域扩展卷积网络的连接性，其中时空变形分别在面部外观和几何形状的视图中建模。此外，为了克服训练样本有限和不平衡的缺点，我们的深度网络联合使用了时间数据增强策略以及平衡损失。通过在三个自发的微表情数据集上进行实验，我们验证了我们提出的微表情识别方法的有效性相比，国家的最先进的方法。
2019-01-15 cs.CV
Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks
Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）；Lenovo Corporate Research（联想研究院）
视频序列中的人的动作是三维（3D）时空信号，其特征在于所涉及的人和物体的视觉外观和运动动力学。受卷积神经网络（CNN）用于图像分类的成功的启发，最近已经尝试学习3D CNN以识别视频中的人类动作。然而，部分由于训练3D卷积核的高度复杂性以及需要大量的训练视频，仅报告了有限的成功。这促使我们在本文中研究一种新的深度架构，可以更有效地处理3D信号。具体来说，我们提出了因子分解时空卷积网络（FstCN），它将原始的3D卷积核学习分解为在较低层（称为空间卷积层）中学习2D空间核的顺序过程，然后在上层（称为时间卷积层）中学习1D时间核。我们引入了一种新的变换和置换算子，使FstCN中的因子分解成为可能。此外，为了解决序列对齐的问题，我们提出了一个有效的训练和推理策略的基础上采样多个视频剪辑从一个给定的动作视频序列。我们在两个常用的基准数据集（UCF-101和HMDB-51）上测试了FstCN。在不使用辅助训练视频来提高性能的情况下，FstCN优于现有的基于CNN的方法，并实现了与受益于使用辅助训练视频的最新方法相当的性能。
2015-10-02 cs.CV
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes
Hamburg University of Technology（汉堡工业大学）
跟踪和定位目标是计算机辅助手术中的核心问题。光学相干层析成像（OCT）由于其高的空间和时间分辨率，可以用作光学跟踪系统。最近，3D卷积神经网络（CNN）已经显示出使用单个体积OCT图像进行标记对象的姿态估计的有前途的性能。虽然这种方法仅依赖于空间信息，但OCT允许OCT图像体积的时间流以高体积速率捕获对象的运动。在这项工作中，我们系统地将3D CNN扩展到4D时空CNN，以评估附加时间信息对标记对象跟踪的影响。在各种架构中，我们的结果表明，使用OCT体积流并采用4D时空卷积，与使用3D CNN的单体积处理相比，平均绝对误差降低了30%。
2020-07-02 cs.CV eess.IV
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
Universiti Tunku Abdul Rahman（东姑阿都拉曼大学）
我们提出了一种有效的方法来检测视频中的异常。卷积神经网络的最新应用已经显示出卷积层用于目标检测和识别的前景，特别是在图像中。然而，卷积神经网络是有监督的，需要标签作为学习信号。我们提出了一个时空架构的异常检测视频，包括拥挤的场景。我们的体系结构包括两个主要组成部分，一个用于空间特征表示，一个用于学习空间特征的时间演化。在Avenue，Subway和UCSD基准上的实验结果证实，我们的方法的检测精度与最先进的方法相当，速度高达140 fps。
2017-01-06 cs.CV
Depthwise Spatio-Temporal STFT Convolutional Neural Networks for Human Action Recognition
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Osaka University（大阪大学）
传统的3D卷积神经网络（CNN）计算昂贵、内存密集、易于过拟合，并且最重要的是，需要提高其特征学习能力。为了解决这些问题，我们提出了时空短期傅立叶变换（STFT）块，这是一类新的卷积块，可以作为3D卷积层及其变体的替代方案。STFT块由不可训练的卷积层组成，这些卷积层使用STFT内核在多个低频点捕获空间和/或时间局部傅立叶信息，然后是一组用于学习通道相关性的可训练线性权重。STFT块显著降低了3D CNN中的空间-时间复杂度。一般来说，与最先进的方法相比，它们使用的参数少3.5到4.5倍，计算成本少1.5到1.8倍。此外，它们的特征学习能力明显优于传统的3D卷积层及其变体。我们对七个动作识别数据集（包括Something-Something v1和v2、Jester、Diving-48、Kinetics-400、UCF 101和HMDB 51）进行了广泛的评估，结果表明，与最先进的方法相比，基于STFT块的3D CNN具有同等或更好的性能。
2020-07-22 cs.CV
Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising
本文提出Frames2Residual框架，通过将自监督训练分为盲时序一致性建模和非盲空间纹理恢复两个阶段，解决视频去噪中时空一致性与空间特异性整合难题，提升去噪效果。
2026-06-29 cs.CV
Local Spatiotemporal Convolutional Network for Robust Gait Recognition
School of Mechanical and Electrical Engineering, Osh State University（机械与电子工程学院，奥什州大学）
本文提出LSTCN网络，通过引入GBSP机制和局部时空卷积层，提升步态识别的鲁棒性，有效提取时空特征以应对视频数据复杂性和外部干扰。
2026-05-14 cs.CV
Supervised learning on graphs of spatio-temporal similarity in satellite image sequences
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
高分辨率卫星图像序列是由与众多和各种现象相关的时空模式组成的多维信号。贝叶斯方法先前已经在（Heas和Datcu，2005）中提出，以使用贝叶斯方法将卫星图像序列中包含的信息编码为图形表示。在此基础上，提出了一种基于时空模式的卫星图像序列语义监督学习方法。它能够识别和概率检索类似的事件。事实上，图形是附加到时空过程的统计模型，而时空过程又描述了所观察到的场景中的物理变化。因此，我们调整了一个参数模型，以表示用户特定的语义附加到时空现象的图形模式之间的相似性类型进行评估。学习步骤是通过用户提供的时空模式的例子附加到积极或/和消极的语义的相似性类型的增量定义。从这些示例中，使用贝叶斯网络和狄利克雷模型来推断概率。这使得能够将用户兴趣链接到图形模式之间的特定相似性模型。根据当前的学习状态，语义后验概率更新的所有可能的图形模式，使类似的时空现象可以识别和检索的图像序列。几个实验上进行的多光谱SPOT图像序列说明所提出的时空识别方法。
2007-09-20 cs.CV
The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning
University of Western Ontario（西安大略大学）
听觉和视觉感知的对比学习在单独研究时非常成功。然而，我们如何整合从这两个领域学到的原则，以实现有效的视听表现，仍然存在重大问题。在本文中，我们提出了一个对比框架，学习视听表示从未标记的视频。在自我监督预训练期间使用的增强的类型和强度对于对比框架充分工作起着至关重要的作用。因此，我们广泛研究适合学习视听表示的时间增强的组成;我们发现不破坏视频的时间一致性的有损时空变换是最有效的。此外，我们表明，这些变换的有效性尺度更高的时间分辨率和更强的变换强度。与仅基于采样的时间增强预训练的自监督模型相比，使用我们的时间增强预训练的自监督模型在AVE数据集上的线性分类器性能上获得了大约6.5%的增益。最后，我们表明，尽管它们很简单，但我们提出的转换在自监督学习框架（SimSiam，MoCoV 3等）和基准视听数据集（AVE）中运行良好。
2021-10-13 cs.CV
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University（中山大学）
自监督学习通过直接从未标记的数据中构造代理监督信号，在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同，我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中，我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间，包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性，本文提出了两种基于视频的数据增强方法，时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性，而后者的目的是保持空间不变性，以提取动作相关的功能。大量的实验表明，我们的方法实现了实质性的改进相比，国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时，我们在HMDB 51上实现了22%的相对改进，在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
Spatiotemporal Graph Convolutional Recurrent Neural Network Model for Citywide Air Pollution Forecasting
Seoul National University（首尔国立大学）；Graduate School of Data Science（数据科学研究生院）
本文提出了一种基于图卷积网络的时空循环神经网络模型，用于提升城市空气污染预测的精度和效率。
2025-11-23 cs.CV cs.LG eess.SP
DMS-GCN: Dynamic Mutiscale Spatiotemporal Graph Convolutional Networks for Human Motion Prediction
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）
人体运动预测在计算机视觉的许多应用领域都是一个重要而又具有挑战性的课题。最近的工作集中在利用递归神经网络（RNN）的时序处理能力，以实现短期预测的平滑和可靠的结果。然而，正如以前的工作所证明的那样，RNN遭受错误积累，导致不可靠的结果。在本文中，我们提出了一个简单的前馈深度神经网络的运动预测，它考虑到时间平滑性和人体关节之间的空间依赖性。我们设计了一个多尺度时空图卷积网络（GCN）来隐式地建立人体运动过程中的时空依赖性，其中不同尺度在训练过程中动态融合。整个模型适用于所有动作，遵循编码器-解码器的框架。该编码器由时间GCN捕获帧之间的运动特征和半自主学习的空间GCN提取关节轨迹之间的空间结构。解码器使用时间卷积网络（TCN），以保持其广泛的能力。大量的实验表明，我们的方法优于SOTA方法的数据集上的Human3.6M和CMU Mocap，而只需要少得多的参数。代码将在https://github.com/yzg9353/DMSGCN上提供。
2021-12-20 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；IWR, Heidelberg University（海德堡大学跨学科科学计算中心）
人体姿势分析目前由深度卷积网络主导，该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要，我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合，作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签，因此我们的方法采用了课程学习的思想，即从最可靠的数据样本开始训练，并逐渐增加难度。为了进一步完善训练过程，我们挖掘了单个视频中的重复姿势，这些姿势提供了可靠的标签，同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征，可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会，利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Self-supervised Representation Learning Framework for Remote Physiological Measurement Using Spatiotemporal Augmentation Loss
The University of Sydney（悉尼大学）
监督式深度学习方法的最新进展使得能够使用面部视频远程测量基于光电体积描记的生理信号。然而，这些监督方法的性能取决于大标记数据的可用性。对比学习作为一种自我监督的方法，最近取得了最先进的性能，学习代表性的数据特征，最大限度地提高互信息之间的不同增强视图。然而，现有的用于对比学习的数据增强技术并没有被设计为从视频中学习生理信号，并且当视频帧之间存在复杂的噪声以及细微的和周期性的颜色或形状变化时，这些技术经常失败。为了解决这些问题，我们提出了一种新的自监督时空学习框架的远程生理信号表示学习，其中缺乏标记的训练数据。首先，我们提出了一个基于地标的空间增强，分裂成几个信息部分的基础上Shafer二色反射模型的人脸，以消除微妙的肤色波动。我们还制定了一个基于稀疏性的时间增强利用Nyquist-Shannon采样定理，有效地捕捉周期性的时间变化，通过模拟生理信号的功能。此外，我们引入了一个受约束的时空损失，生成增强视频剪辑的伪标签。它用于调节训练过程和处理复杂的噪声。我们在3个公共数据集上评估了我们的框架，并证明了比其他自监督方法更优越的性能，并且与最先进的监督方法相比，实现了具有竞争力的准确性。
2021-12-14 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；Medical Imaging Research Center, Dayananda Sagar Institutions（达亚南达·萨加尔机构医学成像研究中心）；Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心（SCAN））
磁共振指纹（MRF）在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射，由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建，该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法，并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度，并产生定性更有吸引力的地图相比，其他重建方法。此外，与基于字典的方法相比，重建时间显著减少。
2018-07-24 cs.CV
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的自我监督的方法，称为视频完形填空程序（VCP），学习丰富的时空表示。VCP首先通过扣留视频剪辑来生成“空白”，然后通过对扣留的剪辑应用时空操作来创建“选项”。最后，它用“选项”填充空白，并通过预测应用于剪辑的操作类别来学习表示。在自监督学习中，VCP既可以作为代理任务，也可以作为目标任务。作为一个代理任务，它将丰富的自我监督表示转换为视频剪辑操作（选项），这增强了灵活性，降低了表示学习的复杂性。作为目标任务，它可以以统一和可解释的方式评估学习的表示模型。使用VCP，我们训练时空表示模型（3D-CNN），并将这些模型应用于动作识别和视频检索任务。在常用基准测试上的实验表明，训练后的模型优于最先进的自监督模型，具有显著的优势。
2020-01-02 cs.CV
DD-GCN: Directed Diffusion Graph Convolutional Network for Skeleton-based Human Action Recognition
Hohai University（河海大学）
针对现有GCN方法忽略关节物理依赖与同步时空相关性的问题，该研究提出DD-GCN，通过有向扩散图、活动划分策略与时空同步编码器提升表征能力，在三个公开数据集上取得了动作识别的SOTA性能。
2023-08-24 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Global-Scale Self-Supervised Spatiotemporal Learning for NDVI Time-Series Reconstruction
针对遥感中NDVI时间序列重建的成对数据获取难题，提出GloSSR框架，结合双向Transformer与ConvLSTM等技术，在MODIS数据上实现了更优的重建效果，可用于大规模环境监测。
2026-08-04 cs.CV
Modeling 4D fMRI Data via Spatio-Temporal Convolutional Neural Networks (ST-CNN)
University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）；Beijing Institute of Big Data Research（北京大数据研究院）
从4D fMRI数据同时建模脑功能网络的时空变化模式一直是认知神经科学和医学图像分析领域的一个重要而具有挑战性的问题。受最近将深度学习应用于功能性大脑解码和编码的成功启发，在这项工作中，我们提出了一种时空卷积神经网络（ST-CNN），用于从训练数据中联合学习目标网络的空间和时间模式，并执行自动的精确功能性网络识别。建议的ST-CNN的评估任务，确定默认模式网络（DMN）从fMRI数据。结果表明，虽然该框架只在一个fMRI数据集上进行训练，但它具有足够的泛化能力，可以从不同的数据人群以及不同的认知任务中识别DMN。进一步的研究结果表明，ST-CNN的优越性能是由联合学习方案驱动的，它捕捉了DMN的时空特性之间的内在关系，并确保了准确的识别。
2018-08-06 cs.CV
Learning Spatiotemporal Features of Ride-sourcing Services with Fusion Convolutional Network
Southwestern University of Finance and Economics（西南财经大学）；Sichuan University（四川大学）
为了共同预测一个城市所有区域对网约车服务的需求，深度学习方法已经得到了应用，并取得了令人称道的结果。然而，城市地理布局中的局部统计差异使得卷积的空间平稳性假设无效，这限制了CNN在需求预测任务中的性能。在本文中，我们提出了一种名为LC-ST-FCN（局部连接时空全卷积神经网络）的新型深度学习框架，以解决端到端架构（E2 E）中区域级需求预测问题的独特挑战。我们首先采用3D卷积层来融合输入中存在的时空信息，然后将3D卷积层提取的时空特征馈送到后续的2D卷积层。然后，通过局部连接的卷积层来获得每个区域的预测值，这些卷积层放松了参数共享方案。我们在一个叫车服务平台（滴滴出行）的真实数据集上评估了所提出的模型，并观察到与一系列基线模型相比有显著的改进。此外，我们还通过可视化不同类型的卷积层如何转换其输入并捕获有用的特征来说明我们提出的模型的有效性。可视化结果表明，全卷积架构使模型能够更好地定位相关区域。局部连通层在处理局部统计差异和激活有用区域方面起着重要作用。
2020-04-24 cs.CV cs.LG stat.ML
STLight: a Fully Convolutional Approach for Efficient Predictive Learning by Spatio-Temporal joint Processing
University of Zurich（苏黎世大学）；Google（谷歌公司）；Sapienza, University of Rome（罗马大学）；Max Planck Society（马克斯·普朗克学会）；Meta
提出STLight全卷积时空预测学习方法，通过时空维度重排和纯卷积框架混合特征，在STL基准上实现SOTA性能并显著提升计算效率。
2024-11-15 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
卷积稀疏编码（CSC）是一种成熟的图像表示模型，特别适用于图像复原任务。在这项工作中，我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性，该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标，以鼓励最终的字典元素是有区别的。实验结果表明，使用监督卷积学习有两个关键优势。首先，我们在字典中学习更多语义相关的过滤器，其次，我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
Skip-Clip: Self-Supervised Spatiotemporal Representation Learning by Future Clip Order Ranking
Canadian Institute for Advanced Research（加拿大高等研究院）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）；Apple Inc（苹果公司）
深度神经网络需要收集和注释大量数据才能成功训练。为了缓解标注瓶颈，我们提出了一种新的自监督表示学习方法时空特征提取的视频。我们引入了Skip-Clip，一种利用视频中的时间相干性的方法，通过训练一个深度模型来进行未来的剪辑顺序排名，该模型以上下文剪辑为条件，作为视频未来预测的替代目标。我们表明，使用我们的方法学习的功能是可推广的，并强烈转移到下游任务。对于UCF 101数据集上的动作识别，我们比随机初始化获得了51.8%的改进，并且优于使用膨胀的ImageNet参数初始化的模型。Skip-Clip还实现了与最先进的自我监督方法竞争的结果。
2019-10-28 cs.CV
Contrastive Spatio-Temporal Pretext Learning for Self-supervised Video Representation
Department of Electrical Engineering, City University of Hong Kong（香港城市大学电机工程系）；AI Technology Center, OVB, Tencent（腾讯公司OVB人工智能技术中心）
时空表示学习对于视频自监督表示至关重要。近年来的研究主要采用对比学习和托词任务。然而，这些方法通过在潜在空间中通过特征相似性来区分采样实例来学习表示，而忽略了学习表示的中间状态，这限制了整体性能。在这项工作中，考虑到采样实例的相似程度作为中间状态，我们提出了一种新的借口任务-时空重叠率（STOR）预测。它源于人类能够区分视频在空间和时间上的重叠率的观察。该任务鼓励模型区分两个生成的样本的STOR以学习表示。此外，我们采用联合优化相结合的借口任务与对比学习，以进一步加强时空表示学习。我们还研究了所提出的方案中的每个组件的相互影响。大量的实验表明，我们提出的STOR任务可以同时支持对比学习和借口任务。联合优化方案可以显著提高视频理解中的时空表示。该代码可在https://github.com/Katou2/CSTP上获得。
2021-12-19 cs.CV
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland（马里兰大学）；NVIDIA Research（英伟达研究院）
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用，但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中，我们提出了一个高阶卷积LSTM模型，可以有效地学习这些相关性，以及历史的简洁表示。这是通过一个新的张量训练模块来实现的，该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行，我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此，我们的模型优于现有的方法，但只使用了一小部分参数，包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能，包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
TubeRMC: Tube-conditioned Reconstruction with Mutual Constraints for Weakly-supervised Spatio-Temporal Video Grounding
TubeRMC通过引入互约束的管状重建方法，在弱监督条件下提升空间-时间视频定位的准确性和一致性。
2025-11-20 cs.CV
Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；South China University of Technology（华南理工大学）；University of Oxford（牛津大学）
我们解决了没有人类注释标签的视频表示学习的问题。虽然以前的努力通过使用视频数据设计新颖的自监督任务来解决这个问题，但学习的特征仅仅是逐帧的，这不适用于时空特征占主导地位的许多视频分析任务。在本文中，我们提出了一种新的自我监督的方法来学习时空特征的视频表示。受双流方法在视频分类中的成功的启发，我们提出通过沿着空间和时间维度回归运动和外观统计来学习视觉特征，仅给出输入视频数据。具体来说，我们提取统计概念（快速运动区域和相应的主导方向，时空颜色多样性，主导颜色等）。从空间和时间域的简单模式中。与之前人类甚至很难解决的难题不同，所提出的方法符合人类固有的视觉习惯，因此很容易回答。我们进行了广泛的实验与C3D验证我们所提出的方法的有效性。实验结果表明，该方法可以显着提高C3D的性能时，应用于视频分类任务。代码可在https://github.com/laura-wang/video_repres_mas上获得。
2019-04-07 cs.CV
STPro: Spatial and Temporal Progressive Learning for Weakly Supervised Spatio-Temporal Grounding
BITS Pilani（毕拉尼理工学院）；University of Central Florida（中佛罗里达大学）
本文针对弱监督时空视频定位任务提出STPro渐进式学习框架，通过子动作时间课程学习与拥挤度引导空间课程学习两个模块，有效解决了组合动作理解与复杂场景适应问题，在多个基准数据集上取得最优性能。
2025-04-05 cs.CV
Game State and Spatio-temporal Action Detection in Soccer using Graph Neural Networks and 3D Convolutional Networks
Centre for Robotics, MINES Paris - PSL, France（机器人中心，巴黎 Mines - PSL，法国）
针对足球赛事单目视频事件标注成本高、现有时空动作检测方法缺乏比赛上下文理解的问题，提出结合图神经网络与3D CNN融合视觉和比赛状态信息的检测方法，提升了动作检测效果。
2025-02-21 cs.CV
Rice Classification Using Spatio-Spectral Deep Convolutional Neural Network
National Nanotechnology Center, National Science and Technology Development Agency（国家科学技术发展局国家纳米技术中心）；Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；Chulalongkorn University（朱拉隆功大学）
水稻一直是人类粮食供应的主要食物之一。世界各地种植、进口和出口了许多水稻品种。在水稻生产和贸易过程中，可以混合使用不同的水稻品种。大米杂质可能会损害大米进口商和出口商之间的信任，因此需要建立大米品种检查制度。在这项工作中，我们开发了一个非破坏性的水稻品种分类系统，受益于高光谱成像和深度卷积神经网络（CNN）之间的协同作用。该方法使用高光谱成像系统，同时获得互补的空间和光谱信息的水稻种子。然后使用深度CNN从所获取的空间光谱数据确定水稻品种。相对于现有的几种水稻品种分类方法，需要手工设计的功能，所提出的方法自动提取的空间光谱特征的原始传感器数据。实验结果表明，与基于支持向量机的分类方法相比，该方法的平均分类精度提高了11.9%.
2019-06-25 cs.CV
Lane Detection Model Based on Spatio-Temporal Network With Double Convolutional Gated Recurrent Units
Southwest Jiaotong University（西南交通大学）
车道检测是自动驾驶环境感知不可或缺的关键要素之一。已经提出了许多车道检测模型，解决了具有挑战性的条件下的车道检测，包括交叉口合并和分裂，曲线，边界，遮挡和场景类型的组合。然而，车道检测在未来一段时间内仍将是一个悬而未决的问题。能否很好地应对这些具有挑战性的场景极大地影响了车道检测在高级驾驶员辅助系统（ADAS）中的应用。本文提出了一种具有双卷积门控递归单元（ConvGRUs）的时空网络来解决具有挑战性场景中的车道检测问题。这两个ConvGRU具有相同的结构，但在我们的网络中具有不同的位置和功能。一种是用于提取最可能的低层次特征的车道线的信息。提取的特征在与一些块的输出连接后输入到端到端网络的下一层。另一种是以连续帧为输入，对时空驱动信息进行处理。在大规模TuSimple车道标记挑战数据集和无监督LLAMAS数据集上的实验表明，该模型能够有效地检测具有挑战性的驾驶场景中的车道。我们的模型可以优于最先进的车道检测模型。
2021-02-27 cs.CV
Continual Spatio-Temporal Graph Convolutional Networks
Aarhus University（奥胡斯大学）
基于图的骨架数据推理已经成为一种很有前途的人类动作识别方法。然而，先前的基于图的方法，主要采用整个时间序列作为其输入，设置在线推理的应用程序需要相当大的计算冗余。在本文中，我们通过将时空图卷积神经网络重构为连续推理网络来解决这个问题，该网络可以在时间上执行逐步预测，而无需重复帧处理。为了评估我们的方法，我们创建了一个连续版本的ST-GCN，CoST-GCN，以及两个具有不同自我注意力机制的衍生方法，CoAGCN和CoS-TR。我们研究了用于推理加速的权重转移策略和架构修改，并在NTU RGB+D 60，NTU RGB+D 120和Kinetics Skeleton 400数据集上进行了实验。在保持类似的预测准确性的情况下，我们观察到时间复杂度降低了109倍，硬件加速了26倍，在线推理期间最大分配内存减少了52%。
2023-03-24 cs.CV cs.LG
Self-supervised ControlNet with Spatio-Temporal Mamba for Real-world Video Super-resolution
Jiangnan University（江南大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）
本文提出一种结合自监督ControlNet与时空Mamba的真实世界视频超分辨率框架，通过全局时空注意力、对比学习特征提取和三阶段训练策略抑制伪影并提升感知质量。
2025-06-01 cs.CV
Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
面部表情是描述人类行为的特定模式和描述人类情绪状态的最有力的方式之一。尽管情感计算在过去十年中取得了令人印象深刻的进步，但用于面部表情识别的自动基于视频的系统仍然不能正确处理个体之间以及跨文化和人口统计方面的面部表情变化。然而，即使对于人类来说，识别面部表情也是一项艰巨的任务。在本文中，我们研究了基于卷积神经网络（CNN）的最先进深度学习架构对于使用野外捕获的长视频序列进行连续情感识别的适用性。这项研究的重点是深度学习模型，允许编码时空关系的视频考虑一个复杂的和多维的情感空间，其中的价值观和唤醒必须预测。我们开发并评估了卷积递归神经网络，它结合了2D-CNN和长短期记忆单元，以及膨胀的3D-CNN模型，这些模型是通过使用特定于应用的视频在微调期间膨胀预训练的2D-CNN模型的权重来构建的。在具有挑战性的SEWA-DB数据集上的实验结果表明，这些架构可以有效地进行微调，以编码来自连续原始像素图像的时空信息，并在这样的数据集上实现最先进的结果。
2021-01-15 cs.CV cs.LG
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University（西安电子科技大学）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
脉冲神经网络（Spiking neural networks，SNNs）作为一种脑启发模型，具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而，神经形态数据集，如N-MNIST，CIFAR 10-DVS，DVS 128-gesture，需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类，这导致高训练和推理延迟。在这项工作中，我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流，以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性，我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发（Leaky Integrate-and-Fire，LIF）算法，以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST，CIFAR 10-DVS，DVS 128手势数据集的事件流分类任务。实验结果表明，我们提出的方法优于国家的最先进的精度几乎所有的数据集，使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
Spatio-Temporal Action Localization in a Weakly Supervised Setting
Oxford Brookes University（牛津布鲁克斯大学）
使计算系统能够定位基于视频的内容中的动作具有多种应用。传统上，这样的问题是在完全监督的设置中处理的，其中提供在感兴趣的动作周围具有完整的逐帧注释的视频剪辑用于训练。然而，在这种情况下，实现充分的泛化所需的数据要求是禁止的。在这项工作中，我们通过在弱监督设置中铸造问题来规避这个问题，即，通过将视频视为未标记的视频段的标记的“集合”。首先，我们应用无监督分割，以利用每个视频的基本结构。随后，使用卷积神经网络从所得视频片段中提取RGB特征。最后，采用多实例学习（MIL）来预测视频片段级别的标签，从而固有地执行时空动作检测。与以前的工作相比，我们使用不同的MIL配方，其中每个视频片段的标签是连续的，而不是离散的，从而使所得的优化函数易于处理。此外，我们利用一个集分裂技术的正则化。考虑多个性能指标的UCF-Sports数据集上的实验结果支持我们的方法的有效性。
2019-05-06 cs.CV
