Predictive Coding for Dynamic Vision : Development of Functional Hierarchy in a Multiple Spatio-Temporal Scales RNN Model
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了一种新的递归神经网络模型，预测多时空尺度RNN（P-MSTRNN），它可以生成以及识别动态视觉模式的预测编码框架。该模型的特点是施加在神经元动力学的多个时空尺度，通过充分的时空层次开发，通过学习样本。该模型进行了评估，通过进行实验学习的一组全身人体运动模式，这是通过以下层次定义的运动语法。对训练模型的分析阐明了动态神经活动中发展的时空层次类型，以及如何通过使用误差最小化原则来实现运动模式的鲁棒生成和识别。
2017-03-17 cs.CV
Spatio-Temporal Context Learning with Temporal Difference Convolution for Moving Infrared Small Target Detection
针对红外运动小目标检测因目标特征弱、背景复杂导致的挑战，提出TDCNet网络，通过TDC重参数化模块融合时间差分与3D卷积，并结合TDC引导的时空注意力机制，在相关数据集上实现了最先进的检测性能。
2025-11-16 cs.CV
Spatio-temporal Gait Feature with Global Distance Alignment
Northwestern Polytechnical University（西北工业大学）
步态识别是一种重要的识别技术，因为步态不易伪装，并且不需要合作来识别主体。然而，许多现有的方法是不够的，在保持时间信息和细粒度的信息，从而降低其歧视。当识别具有相似行走姿势的受试者时，该问题更加严重。本文尝试从有效提取时空步态特征和合理细化提取特征两个方面来提高时空步态特征的区分度。因此，我们的方法被提出，它包括时空特征提取（SFE）和全球距离对齐（GDA）。SFE采用时间特征融合（TFF）和细粒度特征提取（FFE）技术，有效地从原始轮廓中提取时空特征。GDA使用大量的未标记的步态数据在现实生活中作为一个基准，细化提取的时空特征。GDA可以使提取的特征具有较低的类间相似度和较高的类内相似度，从而提高特征的区分度。在mini-OUMVLP和CASIA-B上的大量实验证明，我们有比一些国家的最先进的方法更好的结果。
2022-08-12 cs.CV
Continuous Token-Level Spatio-Temporal Context Modeling for Visual Object Tracking
Xi’an Jiaotong University（西安交通大学）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
针对现有跟踪方法离散采样偏离时空连续性导致性能下降的问题，提出TLCTrack框架，通过MUA、SSTC和TSTB模块实现连续令牌级时空上下文建模，在五个基准上超越现有最先进跟踪器。
2026-09-09 cs.CV
Spatio-temporal Video Re-localization by Warp LSTM
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）
由于Web上用户生成的视频的大量涌现，有效地找到用户想要的视频内容的需求正在增加。现有的基于关键字或基于内容的视频检索方法通常确定视频中发生了什么，但不能确定何时何地。在本文中，我们作出回答的问题，何时何地制定一个新的任务，即时空视频重定位。具体地，给定查询视频和参考视频，时空视频重定位旨在定位参考视频中的小块，使得小块在语义上对应于查询。为了准确定位参考视频中所需的tubelet，我们提出了一种新的warp LSTM网络，它可以长时间传播时空信息，从而捕获相应的长期依赖关系。时空视频重定位的另一个问题是缺乏正确标记的视频数据集。因此，我们重新组织AVA数据集中的视频，形成一个新的数据集的时空视频重定位研究。大量的实验结果表明，该模型在时空视频重定位任务上取得了优于设计基线的性能。
2019-05-10 cs.CV
A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation
Nankai University（南开大学）；Tianjin University（天津大学）
针对骨骼动作分割中时空耦合建模导致的长序列过度平滑与关节差异被忽略问题，本文提出DeST框架，通过分组自适应交互和关节独立时间建模提升性能并降低计算复杂度。
2023-12-10 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统：修剪动作识别，视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba Group（阿里巴巴集团）；University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们考虑一个新的任务，时空视频接地多形式的句子（STVG）。给定一个未修剪的视频和一个描述对象的陈述/疑问句，STVG的目标是定位查询对象的时空管。STVG有两个具有挑战性的设置：（1）我们需要从未修剪的视频中定位时空对象管，其中对象可能只存在于视频的很小一段中;（2）我们处理多形式的句子，包括带有明确对象的陈述句和带有未知对象的疑问句。现有的方法不能解决STVG任务，由于无效的管预生成和缺乏对象关系建模。因此，我们提出了一种新的时空图推理网络（STGRN）的这项任务。首先，我们建立了一个时空区域图，以捕捉与时间对象动态的区域关系，其中包括隐式和显式的空间子图在每帧和跨帧的时间动态子图。然后，我们将文本线索到图和开发的多步跨模态图推理。接下来，我们介绍了一个时空定位器与动态选择方法直接检索时空管管没有管预生成。此外，我们贡献了一个大规模的视频接地数据集VidSTG视频关系数据集VidOR的基础上。大量的实验证明了该方法的有效性。
2020-03-24 cs.CV
Supervised learning on graphs of spatio-temporal similarity in satellite image sequences
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
高分辨率卫星图像序列是由与众多和各种现象相关的时空模式组成的多维信号。贝叶斯方法先前已经在（Heas和Datcu，2005）中提出，以使用贝叶斯方法将卫星图像序列中包含的信息编码为图形表示。在此基础上，提出了一种基于时空模式的卫星图像序列语义监督学习方法。它能够识别和概率检索类似的事件。事实上，图形是附加到时空过程的统计模型，而时空过程又描述了所观察到的场景中的物理变化。因此，我们调整了一个参数模型，以表示用户特定的语义附加到时空现象的图形模式之间的相似性类型进行评估。学习步骤是通过用户提供的时空模式的例子附加到积极或/和消极的语义的相似性类型的增量定义。从这些示例中，使用贝叶斯网络和狄利克雷模型来推断概率。这使得能够将用户兴趣链接到图形模式之间的特定相似性模型。根据当前的学习状态，语义后验概率更新的所有可能的图形模式，使类似的时空现象可以识别和检索的图像序列。几个实验上进行的多光谱SPOT图像序列说明所提出的时空识别方法。
2007-09-20 cs.CV
SpaceVLLM: Endowing Multimodal Large Language Model with Spatio-Temporal Video Grounding Capability
University of Science and Technology of China（中国科学技术大学）；Renmin University of China（中国人民大学）
SpaceVLLM通过时空感知查询和查询引导空间解码器解决多模态大语言模型的时空视频定位难题，并构建Uni-STG数据集，在11个基准上取得最先进性能。
2025-04-11 cs.CV
Learning to track for spatio-temporal action localization
Inria（法国国家信息与自动化研究所）；NYU（纽约大学）
我们提出了一种有效的方法，时空的动作定位在现实的视频。该方法首先在帧级检测提案，并使用静态和运动CNN特征的组合对其进行评分。然后，它使用检测跟踪方法在整个视频中跟踪高分提案。我们的跟踪器同时依赖于实例级和类级检测器。使用时空运动直方图（轨道级别的描述符）结合CNN特征对轨道进行评分。最后，我们使用滑动窗口的方法在轨道水平上进行时间定位的行动。我们提出了时空定位的UCF-Sports，J-HMDB和UCF-101动作定位数据集上的实验结果，其中我们的方法在mAP中分别以15%，7%和12%的幅度优于最先进的方法。
2015-09-27 cs.CV
Towards To-a-T Spatio-Temporal Focus for Skeleton-Based Action Recognition
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
图卷积网络（GCN）已被广泛用于基于动作识别的高阶动态依赖模型。大多数现有的方法没有显式地嵌入高阶时空重要性关节的空间连接拓扑结构和强度，他们没有直接的目标，他们的注意力模块，以共同学习何时和何处集中在动作序列。为了解决这些问题，我们提出了To-a-T时空焦点（STF），一个基于时间序列的动作识别框架，利用时空梯度来关注相关的时空特征。首先，我们提出了STF模块与学习的梯度强制和实例相关的邻接矩阵模型的高阶时空动力学。其次，我们提出了三个损失条款上定义的基于梯度的时空焦点，明确指导分类何时何地看，区分混淆类，并优化堆叠STF模块。STF在NTU RGB+D 60、NTU RGB+D 120和Kinetics Skeleton 400数据集上，在所有15种设置中，在不同的视图、主题、设置和输入模式下，都优于最先进的方法，STF在稀缺数据和数据集移动设置上也显示出更好的准确性。
2022-02-04 cs.CV
Shifted Chunk Transformer for Spatio-Temporal Representational Learning
Kuaishou Technology（快手科技）
时空表示学习在动作识别、视频对象分割、动作预测等领域得到了广泛的应用。以前的时空表示学习方法主要采用ConvNet或顺序模型，例如，LSTM，学习帧内和帧间特征。最近，Transformer模型已经成功地主导了自然语言处理（NLP），图像分类等的研究。然而，纯粹的Transformer为基础的时空学习可以是昂贵的内存和计算，从一个微小的补丁提取细粒度的功能。为了解决训练困难和增强时空学习，我们构建了一个转移组块Transformer与纯自我注意块。利用NLP中最近的高效Transformer设计，这个移位块Transformer可以从局部小块到全局视频剪辑学习分层时空特征。我们转移的自我注意力也可以有效地模拟复杂的帧间方差。此外，我们建立了一个剪辑编码器的基础上Transformer模型的长期时间依赖性。我们进行了彻底的消融研究，以验证我们的移位块Transformer中的每个组件和超参数，它在Kinetics-400，Kinetics-600，UCF 101和HMDB 51上的表现优于以前的最先进方法。
2021-10-29 cs.CV
Spatio-temporal Features for Generalized Detection of Deepfake Videos
DUniversum（3D宇宙）；University of Amsterdam（阿姆斯特丹大学）
对于deepfake检测，视频级检测器还没有像图像级检测器那样广泛地探索，图像级检测器不利用时间数据。在本文中，我们的经验表明，现有的图像和序列分类方法推广到新的操作技术差。为此，我们提出了由3D CNN建模的时空特征，以扩展泛化能力来检测新类型的deepfake视频。我们发现，空间特征学习不同的deepfake方法特定属性，而时空特征捕获deepfake方法之间的共享属性。我们提供了一个深入的分析顺序和时空视频编码器如何利用时间信息使用DFDC数据集arXiv：2006.07397。因此，我们揭示了我们的方法捕获了deepfake视频中的局部时空关系和不一致性，而现有的序列编码器对此漠不关心。通过在FaceForensics++ arXiv：1901.08971和Deeper Forensics arXiv：2001.03024数据集上进行的大规模实验，我们表明我们的方法在泛化能力方面优于现有方法。
2020-10-22 cs.CV
Spatio-Temporal Action Detection with Cascade Proposal and Location Anticipation
在这项工作中，我们解决了时间上未修剪的视频中的时空动作检测问题。这是一个重要的和具有挑战性的任务，因为在时间和空间空间中找到准确的人类行为对于分析大规模视频数据非常重要。为了解决这个问题，我们提出了一个级联的建议和位置预测（CPLA）模型的帧级动作检测。我们的模型有几个突出点：（1）级联区域建议网络（casRPN）用于动作建议生成，并表现出更好的定位精度相比，单区域建议网络（RPN）;（2）动作时空分布是通过位置预测网络（LAN），因此帧级动作检测不是独立进行的。然后通过解决链接分数最大化问题来链接帧级检测，并在时间上修剪成时空动作管。我们证明了我们的模型在具有挑战性的UCF 101和LIRIS-HARL数据集上的有效性，两者都达到了最先进的性能。
2017-07-31 cs.CV
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University（延世大学）
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题，提出融合STC模块与DK-GC的STC-Net，自适应建模时空依赖且无额外参数量，在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Multi-stage Factorized Spatio-Temporal Representation for RGB-D Action and Gesture Recognition
Dalian Maritime University（大连海事大学）；Massey University（梅西大学）；Macau University of Science and Technology（澳门科技大学）；Amazon Prime Video（亚马逊Prime Video）
针对RGB-D动作和手势识别中细粒度运动差异捕捉难、高度集成时空建模优化困难及冗余信息问题，提出多阶段分解时空架构MFST，通过CDC-Stem和分层时空分解阶段构建稳健表示，在多个数据集上优于现有方法。
2023-09-11 cs.CV
Autoregressive Queries for Adaptive Tracking with Spatio-TemporalTransformers
Guangxi Normal University（广西师范大学）；Wuzhou University（梧州学院）；Harbin Institute of Technology（哈尔滨工业大学）；Xiamen University（厦门大学）
提出AQATrack，利用自回归查询和时空变换器有效融合时空信息，无需大量手工组件，在六个主流跟踪基准上显著提升性能。
2024-03-15 cs.CV
Left ventricle quantification through spatio-temporal CNNs
FICH-UNL（拉普拉塔国立大学计算学院）；CONICET（阿根廷国家科学与技术研究理事会）
心血管疾病是全球主要的死亡原因之一。已知心脏左心室（LV）量化是用于识别和诊断此类病理的最重要任务之一。在本文中，我们提出了一种结合3D时空卷积的深度学习方法，以从心脏MR序列执行直接左心室量化。我们不是独立地分析切片，而是通过3D卷积核来处理时间相邻切片的堆栈，这些卷积核融合了时空信息，将心脏的时间动态结合到学习的模型中。我们表明，与单层模型相比，通过时空卷积将这些信息合并到标准LV量化架构中提高了预测的准确性，实现了所有心脏指数的竞争结果，并显著打破了现有技术（Xue等人，2018年，MedIA）用于心脏相位估计。
2018-08-23 cs.CV
STFCN: Spatio-Temporal FCN for Semantic Video Segmentation
Malek-Ashtar University of Technology（马雷克-阿什塔尔理工大学）；Iran University of Science and Technology（伊朗科技大学）；Auckland University of Technology（奥克兰理工大学）；National Ilan University（国立宜兰大学）
本文提出了一种新的方法，涉及到语义视频分割的空间和时间特征。当前对卷积神经网络（CNN）的研究表明，CNN提供了先进的空间特征，支持图像和视频分析的解决方案的非常好的性能，特别是对于语义分割任务。我们调查如何涉及时间特征也有很好的效果分割视频数据。我们提出了一个基于递归神经网络的长短期记忆（LSTM）架构的模块，用于解释视频帧随时间的时间特性。我们的系统将视频的帧作为输入，并产生相应大小的输出;为了分割视频，我们的方法结合了三个组件的使用：首先，使用CNN提取帧的区域空间特征;然后，使用LSTM添加时间特征;最后，通过对时空特征进行反卷积，我们产生逐像素预测。我们的关键见解是构建时空卷积网络（时空CNN），该网络具有用于语义视频分割的端到端架构。我们完全适应了一些已知的卷积网络架构（如FCN-AlexNet和FCN-VGG 16），并将卷积扩展到我们的时空CNN中。我们的时空CNN实现了最先进的语义分割，如Camvid和NYUDv 2数据集所示。
2016-09-02 cs.CV
ACTrack: Adding Spatio-Temporal Condition for Visual Object Tracking
Lenovo Research（联想研究院）
针对视觉目标跟踪中时空关系建模不足及训练成本高的问题，提出ACTrack框架，通过冻结预训练骨干并附加轻量网络建模时空关系，在多个基准上实现训练效率与跟踪性能的平衡。
2024-02-27 cs.CV
Dynamic texture recognition using time-causal and time-recursive spatio-temporal receptive fields
KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作提出了第一次评估使用时空感受野从最近提出的时间因果时空尺度空间框架作为原语的视频分析。我们提出了一个新的家庭的视频描述符的时空感受野响应的区域统计的基础上，并评估这种方法的动态纹理识别的问题。我们的方法概括了以前使用的方法，联合直方图的感受野响应的基础上，从空间到时空域，从对象识别到动态纹理识别。时间递归公式使计算效率的时间因果识别。实验评估表明竞争力的性能相比，国家的最先进的。特别是，它表明，我们的动态纹理描述符的二进制版本相比，使用不同的原语手工制作或从数据中学习的大范围的类似方法实现了改进的性能。此外，我们的定性和定量的参数选择和使用不同的感受野的调查突出了我们的方法的鲁棒性和灵活性。总之，这些结果支持这个家庭的时间因果时空感受野的描述能力，验证我们的动态纹理识别方法，并指向设计一系列视频分析方法的可能性，这些新的时间因果时空原语的基础上。
2018-06-21 cs.CV
Spatio-Temporal Context for Action Detection
Apple（苹果公司）
动作检测在视频理解中起着关键作用，因此近年来对动作检测的研究也越来越多。事实证明，对行为者与其背景之间的互动（空间或时间）进行建模对于这项任务至关重要。虽然最近的作品使用空间特征与聚合的时间信息，这项工作提出使用非聚合的时间信息。该方法的主要贡献是引入了两个交叉注意块，有效地对场景中的空间关系进行建模，并捕捉短距离的时间交互。在AVA数据集上的实验表明，该方法能够有效地对场景中相关元素之间的时空关系进行建模，优于其他方法，这些方法通过+0.31 mAP来模拟参与者与其上下文的交互。
2021-06-29 cs.CV
Spatio-Temporal Feedback Control of Small Target Motion Detection Visual System
University of Lincoln（林肯大学）；Guangzhou University（广州大学）
反馈对于动物视觉系统中的运动感知至关重要，其空间和时间动态通常由周围环境的运动模式形成。然而，这种时空反馈尚未被深入探讨，在设计神经网络，以检测小的运动目标，覆盖只有一个或几个像素的图像，而呈现非常有限的视觉功能。在本文中，我们解决小目标运动检测问题，通过开发一个视觉系统与时空反馈回路，并进一步揭示其在抑制假阳性背景运动，同时提高网络响应小目标的重要作用。具体来说，所提出的视觉系统是由两个互补的子网络。第一个子网络的目的是提取空间和时间的运动模式的杂乱背景的神经元集成编码。第二个子网络用于捕获小目标的运动信息，并整合来自第一个子网络的时空反馈信号以抑制背景误报。实验结果表明，提出的时空反馈视觉系统在识别复杂动态环境中的运动小目标方面比现有方法更具竞争力。
2022-11-18 cs.CV
Modeling Spatio-Temporal Human Track Structure for Action Localization
Inria Paris（巴黎法国国立信息学及其自动化研究院）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Inria Grenoble（格勒诺布尔法国国立信息学及其自动化研究院）；LJK（让·库隆实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；National Research University Higher School of Economics（高等经济大学）
本文讨论了视频中人类动作的时空定位问题。为了在时间上定位动作，我们提出了一个递归定位网络（RecLNet），旨在对人轨迹水平上的动作的时间结构进行建模。我们的模型被训练为同时识别和定位动作类的时间，是基于两层门控递归单元（GRU）分别适用于两个流，即外观和光流流。当与最先进的人检测和跟踪一起使用时，我们的模型被证明可以大大提高视频中的时空动作定位。所示的增益主要是由于改进的时间定位。我们评估我们的方法在最近的两个数据集的时空动作定位，UCF 101 -24和DALY，展示了显着的改进的最先进的。
2018-06-28 cs.CV
Spatio-temporal Graph-RNN for Point Cloud Prediction
University College of London（伦敦大学学院）
在本文中，我们提出了一个端到端的学习网络来预测点云序列中的未来帧。作为主要的新颖性，初始层学习点云的拓扑信息作为几何特征，形成代表性的时空邻域。本模块后面是多个Graph-RNN单元。每个细胞学习点动态（即，RNN状态）通过与时空相邻点联合处理每个点。我们测试了网络的性能与MINST数据集的移动数字，合成人体运动和JPEG动态人体数据集。仿真结果表明，我们的方法优于基线的忽略几何特征信息。
2021-02-22 cs.CV
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
Multi-branch Spatio-Temporal Graph Neural Network For Efficient Ice Layer Thickness Prediction
Lehigh University（里海大学）
提出多分支时空图神经网络，结合GraphSAGE和时间卷积，从顶层冰层厚度预测深层厚度，在准确性和效率上优于现有融合模型。
2024-11-06 cs.CV cs.LG
Spatio-Temporal Graph Complementary Scattering Networks
Shanghai Jiao Tong University（上海交通大学）
时空图信号分析在包括手部/身体姿势动作识别在内的广泛应用中具有重要影响。时空图卷积网络（ST-GCN）利用其强大的学习能力获得了巨大的经验成功，但这些方法需要大量高质量的训练数据，缺乏理论解释。为了解决这个问题，时空图散射变换（ST-GST）提出了一个理论上可解释的框架，然而，这种方法的经验性能受到完全数学设计的限制。为了从这两个方面受益，本文提出了一种新的互补机制，将时空图散射变换和神经网络有机地结合起来，形成了时空图互补散射网络（ST-GCSN）。其实质是利用数学设计的图小波与修剪技术，以涵盖主要信息，并使用可训练的网络，以捕捉补充信息。手部动作识别的实验结果表明，所提出的ST-GCSN优于ST-GCN和ST-GST。
2021-10-23 cs.CV eess.SP
STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering
Institute of Computing Technology, Chinese Academy of Sciences, ICT（中国科学院计算技术研究所）；University of Chinese Academy of Sciences, UCAS（中国科学院大学）；The University of Queensland（昆士兰大学）；University of California, Merced（加州大学梅尔塞德斯分校）
针对3DGS动态重建中的时空纠缠问题，提出即插即用模块STDR，通过时空掩码、分离变形场和一致性正则化联合解耦时空模式，显著提升了合成与真实基准上的重建质量与一致性。
2025-05-28 cs.CV cs.GR
STARK: Spatio-Temporal Attention for Representation of Keypoints for Continuous Sign Language Recognition
RKMVERI
本文提出STARK网络，通过时空注意力机制减少参数量，提升连续手语识别性能。
2026-03-17 cs.CL cs.CV
4D Spatio-Temporal Deep Learning with 4D fMRI Data for Autism Spectrum Disorder Classification
Hamburg University of Technology（汉堡工业大学）
自闭症谱系障碍（ASD）与行为和沟通问题有关。通常，功能性磁共振成像（fMRI）用于检测和表征与疾病相关的大脑变化。最近，机器学习方法已被用来揭示新的模式，试图从时空fMRI图像分类ASD。通常，这些方法集中于时间或空间信息处理。相反，我们提出了一种用于ASD分类的4D时空深度学习方法，我们从空间和时间数据中联合学习。我们采用了4D卷积神经网络和卷积递归模型，其性能优于之前的方法，F1得分为0.71，而F1得分为0.65。
2020-04-21 cs.CV eess.IV
Time-causal and time-recursive spatio-temporal receptive fields
KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了一个改进的模型和理论的时间因果和时间递归的时空感受野，高斯感受野在空间域和一阶积分器或等效截断指数滤波器耦合级联在时间域的组合的基础上。与以前的时空尺度空间制剂的非增强局部极值或尺度不变性相比，这些感受野是基于不同的尺度空间公理随着时间的推移，通过确保非创建新的局部极值或零交叉与时间尺度的增加。具体地说，扩展提出了关于（i）参数化的中间时间尺度水平，（ii）分析所产生的时间动态，（iii）转移的理论，以离散实现，（iv）计算用于时空特征检测的尺度归一化的时空导数表达式，以及（v）外侧膝状体核（LGN）和初级视觉皮层（V1）中的感受野的计算建模在生物视觉中。我们表明，通过分布的中间时间尺度水平根据对数分布，我们获得更快的时间响应特性（较短的时间延迟）相比，一个均匀的分布。具体地，这些内核非常迅速地收敛到一个极限内核，该内核在时间尺度上具有真正的自相似尺度不变特性，从而允许在时间尺度的变化上具有真正的尺度不变性，尽管底层的时间尺度-空间表示是基于离散化的时间尺度参数。我们展示了如何尺度归一化的时间导数可以定义为这些时间因果的尺度空间内核，以及如何组成的理论可以用于计算基本类型的尺度归一化的时空导数表达式的计算效率的方式。
2015-12-07 cs.CV q-bio.NC
Spatio-temporal Tendency Reasoning for Human Body Pose and Shape Estimation from Videos
在本文中，我们提出了一个时空趋势推理（STR）网络恢复人体姿态和形状从视频。以前的方法集中在如何扩展3D人体数据集和基于时间的学习，以提高准确性和时间平滑。与它们不同的是，我们的STR旨在通过时间和空间趋势在无约束的环境中学习准确和自然的运动序列，并充分挖掘现有视频数据的时空特征。为此，我们的STR分别在时间和空间维度上学习特征的表示，以专注于更鲁棒的时空特征表示。更具体地说，有效的时间建模，我们首先提出了一个时间趋势推理（TTR）模块。TTR在视频序列中构造了一种时间维的层次化残差连接表示，以有效地推理时间序列的趋势，并保持人类信息的有效传播。同时，为了增强空间表示，我们设计了一个空间趋势增强（STE）模块，以进一步学习激发人体运动信息表示中的空间时频域敏感特征。最后，我们引入集成策略来集成和细化时空特征表示。在大规模实验可用数据集上的广泛实验结果表明，我们的STR在三个数据集上与最先进的STR保持竞争力。我们的代码可在https://github.com/Changboyang/STR.git上获得。
2022-10-10 cs.AI cs.CV
STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition
Keimyung University（启明大学）；Difine
在动作识别中，虽然时空视频和骨架特征的结合可以提高识别性能，但需要一个单独的模型和平衡的跨模态数据的特征表示。为了解决这些问题，我们提出了时空cRoss（STAR）-Transformer，它可以有效地表示两个交叉模态特征作为一个可识别的向量。首先，从输入的视频和骨架序列，视频帧被输出为全局网格令牌和骨架被输出为联合地图令牌，分别。然后，这些令牌被聚合成多类令牌并输入到STAR-transformer中。STAR变换器编码器层由完全自注意（FAttn）模块和建议的锯齿形时空注意（ZAttn）模块组成。类似地，连续解码器由FAttn模块和建议的二进制时空注意力（BAttn）模块组成。STAR-transformer通过适当安排FAttn、ZAttn和BAttn模块的配对来学习时空特征的有效多特征表示。在Penn-Action、NTU RGB+D 60和120数据集上的实验结果表明，该方法在性能上比现有方法有了很大的提高.
2022-10-14 cs.AI cs.CV
Spatio-Temporal Electromagnetic Field Shapes and their Logical Processing
本文研究了拓扑调制电磁场的时空信号。数字信息的载体是由场的分离流形和平衡位置组成的拓扑图。信号和开发的硬件，他们的处理在空间-时间域被认为是
2007-01-07 cs.CV physics.comp-ph physics.gen-ph
Spatio-Temporal Sentiment Hotspot Detection Using Geotagged Photos
University of California at Merced（加州大学默塞德分校）
我们使用带有地理标记的照片集对公众情绪进行时空分析。我们开发了一个基于深度学习的分类器，可以预测图像传达的情感。这使我们能够将情感与地点联系起来。我们进行空间热点检测，并表明不同的情绪有不同的空间分布，符合预期。我们还使用照片的捕获时间进行时间分析。我们的时空热点检测正确地识别了特定情绪的新兴集中，对选定位置的逐年分析表明，预测的情绪和已知事件之间存在很强的时间相关性。
2016-09-21 cs.CV cs.CY cs.MM
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
该博士论文围绕视频中的时空视觉注意力建模，提出层次化表示方法，包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Spatio-Temporal Data Mining: A Survey of Problems and Methods
University of Cincinnati（辛辛那提大学）；University of Minnesota（明尼苏达大学）
在气候科学、社会科学、神经科学、流行病学、交通运输、移动健康和地球科学等不同领域，越来越多地收集和研究大量的时空数据。时空数据不同于关系数据，对于关系数据，计算方法在数据采掘社区中开发了几十年，因为除了实际测量/属性之外，空间和时间属性都是可用的。这些属性的存在带来了需要应对的额外挑战。时空数据挖掘方法在数据采掘领域已经研究了十多年。在这篇文章中，我们提出了一个广泛的调查，这个相对年轻的领域的时空数据采掘。我们讨论了不同类型的时空数据和相关的数据采掘问题，在分析这些数据集的上下文中出现的。基于所研究的数据采掘问题的性质，我们将时空数据采掘的文献分为六大类：聚类、预测学习、变化检测、频繁模式挖掘、异常检测和关系挖掘。我们讨论了各种形式的时空数据采掘的问题，在这些类别。
2017-11-17 cs.AI cs.CV cs.DB
Spatio-Temporal Graph Scattering Transform
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
虽然时空图神经网络在处理多个相关时间序列方面取得了巨大的经验成功，但由于缺乏足够的高质量训练数据，它们在某些现实场景中可能不切实际。此外，时空图神经网络缺乏理论解释。为了解决这些问题，我们提出了一个新的数学设计的框架来分析时空数据。我们提出的时空图散射变换（ST-GST）扩展了传统的散射变换的时空域。它执行时空图小波和非线性激活函数的迭代应用，这可以被视为时空图卷积网络的前向传递而无需训练。由于ST-GST中的所有滤波器系数都是数学设计的，因此它适用于训练数据有限的实际情况，并且还允许理论分析，这表明所提出的ST-GST对输入信号和结构的小扰动是稳定的。最后，我们的实验表明：i）ST-GST优于时空图卷积网络，在MSR 3D数据集上的准确性提高了35%; ii）基于可分离时空图的变换比基于联合时空图的变换更好，计算效率更高; iii）ST-GST中的非线性对经验性能至关重要。
2021-02-09 cs.AI cs.CV cs.LG
Referring to Objects in Videos using Spatio-Temporal Identifying Descriptions
University of Maryland（马里兰大学）
本文提出了一个新的课题，即视频时空识别描述的基础。以前的工作表明，现有数据集的潜在偏见，并强调需要一个新的数据创建模式，以更好地建模语言结构。我们引入了一个新的数据汇集计划的基础上的语法约束的表面实现，使我们能够调查的问题接地时空识别描述的视频。然后，我们提出了一个双流模块化的注意力网络，学习和地面的时空识别描述的基础上的外观和运动。我们发现，运动模块有助于地面运动相关的话，也有助于学习的外观模块，因为模块化神经网络解决模块之间的任务干扰。最后，我们提出了一个未来的挑战和需要一个强大的系统所产生的自动视频对象检测器和时间事件本地化取代地面实况视觉注释。
2019-04-08 cs.CL cs.CV cs.LG
Structural-RNN: Deep Learning on Spatio-Temporal Graphs
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Brain Of Things Inc.（Brain Of Things公司）
深度递归神经网络架构虽然在序列建模方面能力非常强，但缺乏直观的高级时空结构。也就是说，虽然计算机视觉中的许多问题本质上都有一个底层的高级结构，并可以从中受益。时空图是一种流行的工具，可以在现实世界的问题中实现这种高级直觉。在本文中，我们提出了一种结合高级时空图的能力和递归神经网络（RNNs）的序列学习成功的方法。我们开发了一种可扩展的方法，用于将任意时空图转换为丰富的RNN混合物，该混合物是前馈的，完全可微的，并且是可联合训练的。所提出的方法是通用的和原则性的，因为它可以用于通过采用一定的一组定义良好的步骤来转换任何时空图。所提出的方法对一组不同的问题，从人体运动建模对象的相互作用的评估，显示出改善了国家的最先进的大幅度。我们希望这种方法能够通过高级时空图和递归神经网络来实现问题制定的新方法。
2016-04-11 cs.CV cs.LG cs.NE
