Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Huawei Cloud（华为云）；Tencent AI Lab（腾讯人工智能实验室）
人体运动预测的目的是根据观察到的人体运动生成未来的运动。由于循环神经网络（RNN）在序列数据建模方面取得了成功，最近的研究利用RNN对观察到的运动序列进行人体骨骼运动建模，并预测未来的人体运动。然而，这些方法没有考虑关节间的空间一致性和骨骼间的时间演化，而这恰恰反映了人体运动在时空空间中的重要特征。为此，我们提出了一种新的关节协同注意循环神经网络（SC-RNN），以捕捉关节之间的空间一致性，和骨骼之间的时间演化，同时在一个关节协同注意特征映射在时空空间。首先，构造一个双关节特征图作为所观察到的运动序列的表示。其次，我们设计了一个新的非线性联合共同注意力（SCA）机制，动态学习这个非线性联合特征映射的非线性联合共同注意力特征映射，它可以细化有用的观察到的运动信息来预测一个未来的运动。第三，GRU的一个变体嵌入SCA协同建模的人体骨骼运动和人体关节运动的时空空间，把人体关节的共同注意力特征映射作为运动上下文。人体运动预测的实验结果表明，该方法优于相关方法。
2019-10-01 cs.CV
A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation
Nankai University（南开大学）；Tianjin University（天津大学）
针对骨骼动作分割中时空耦合建模导致的长序列过度平滑与关节差异被忽略问题，本文提出DeST框架，通过分组自适应交互和关节独立时间建模提升性能并降低计算复杂度。
2023-12-10 cs.CV
Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition
The University of Western Australia（西澳大学）
人体骨骼关节可以很容易地从视频中提取出来以去除背景噪声，因此在动作分析中很受欢迎。然而，当前的骨架表示并不能完全受益于使用CNN的机器学习。我们提出了"Skepxels"的时空表示骨架序列，充分利用"本地"关节之间的相关性，使用二维卷积核的CNN。我们使用Skepxels将骨架视频转换为灵活尺寸的图像，并开发了一个基于CNN的框架，用于使用所得图像进行有效的人类动作识别。Skepxels通过最大化唯一的距离度量来编码关于帧中的骨架关节的丰富的时空信息，该距离度量在骨架图像中使用的不同关节布置上协作地定义。此外，它们在编码复合语义概念（例如关节的位置和速度）方面是灵活的。所提出的动作识别利用表示在一个分层的方式，首先捕捉骨骼关节与Skeppels之间的微观时间关系，然后利用它们的宏观时间关系，通过计算傅立叶时间金字塔的CNN功能的骨架图像。我们使用所提出的方法扩展了Inception-ResNet CNN架构，并在大规模NTU人类活动数据集上将最先进的准确率提高了4.4%。在中等规模的N-UCLA和UTH-MHAD数据集上，我们的方法分别比现有的结果高出5.7%和9.3%。
2018-08-03 cs.CV
MoChat: Joints-Grouped Spatio-Temporal Grounding LLM for Multi-Turn Motion Comprehension and Description
Central South University（中南大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Xinjiang University（新疆大学）
针对现有模型在动作时机识别和多轮交互上的局限，提出多模态大模型MoChat，通过关节分组骨架编码器与LLM嵌入结合实现时空感知，并构建多轮对话数据联合训练，首次实现人体动作的细粒度时空定位。
2024-10-15 cs.CV
MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video
Wuhan University（武汉大学）；Soochow University（苏州大学）；Technical University of Munich（慕尼黑工业大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近的基于变换的解决方案已经被引入到通过全局地考虑所有帧之间的身体关节来学习时空相关性来从2D关键点序列估计3D人体姿势。我们观察到不同关节的运动有很大的不同。然而，以前的方法不能有效地模型的固体帧间对应的每个关节，导致空间-时间相关性的学习不足。我们提出了MixSTE（混合时空编码器），它有一个时间Transformer块来分别模拟每个关节的时间运动和一个空间Transformer块来学习关节间的空间相关性。这两个块交替使用，以获得更好的时空特征编码。此外，网络输出从输入视频的中心帧扩展到整个帧，从而提高了输入和输出序列之间的相干性。在三个基准（Human3.6M、MPI-INF-3DHP和HumanEva）上进行了广泛的实验。结果表明，我们的模型优于国家的最先进的方法，10.9%的P-MPJPE和7.6%的MPJPE。该代码可在https://github.com/JinluZhang1126/MixSTE上获得。
2022-04-25 cs.CV
Distance-Aware Joint Spatio-Temporal Graph Contrastive Learning for Major Depressive Disorder Diagnosis
School of Information Technology and Communication, Griffith University, Australia（信息科技与通信学院，格里菲斯大学，澳大利亚）
针对动态功能连接在重度抑郁症诊断中的噪声、频域信息利用不足及时空分离建模问题，提出基于霍克斯过程先验的联合时空图对比学习框架HWSTCL，通过谱节点描述符、指数距离衰减边权重和核加权对比目标，实现可靠时空表示并提升诊断性能。
2026-05-22 cs.CV
NCSTR: Node-Centric Decoupled Spatio-Temporal Reasoning for Video-based Human Pose Estimation
Griffith University（格里菲斯大学）
本文提出NCSTR框架，通过融合视觉、时间和结构推理，解决视频人体姿态估计中的模糊、遮挡和复杂时空动态问题，通过双分支解耦时空注意力图和节点空间专家融合模块提升姿态估计精度。
2026-03-20 cs.CV
Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences
基于3D骨架序列的动作识别以其快速性和鲁棒性而受到广泛关注。最近提出的基于卷积神经网络（CNN）的方法在学习骨架序列的时空表示方面表现出良好的性能。尽管先前的基于CNN的方法实现了良好的识别精度，但存在两个潜在地限制性能的问题。首先，通过以固定顺序链接关节来生成先前的骨架表示。对应的语义不清，关节间的结构信息丢失。其次，以前的模型没有能力集中在信息关节。注意力机制对于基于骨架的动作识别是非常重要的，因为存在时空关键阶段，而联合预测可能是不准确的。为了解决这两个问题，我们提出了一种新的CNN为基础的骨架动作识别方法。我们首先重新设计的骨架表示与深度优先的树遍历顺序，这增强了骨架图像的语义意义，更好地保留了相关的结构信息。然后，我们提出了一个双分支注意力架构的想法，专注于时空的关键阶段，并过滤掉不可靠的联合预测。首先介绍了一种结构最简单的基本注意力模型。通过改进这两个分支的结构，我们进一步提出了一个全局长序列注意力网络（GLAN）。此外，为了调整内核的时空纵横比，更好地捕捉长期的依赖关系，我们提出了一个子序列注意力网络（SSAN），采取子图像序列作为输入。我们在NTU RGB+D和SBU Kinetic Interaction上的实验结果优于现有技术。该模型在UCF 101和Kinetics的噪声估计姿势上得到了进一步验证。
2018-04-11 cs.CV
Context-Aware Deep Spatio-Temporal Network for Hand Pose Estimation from Depth Images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
手部姿态估计是计算机视觉中的一个基本而又具有挑战性的问题，其目的是从深度图像中估计手部关节的位置。通常，该问题被建模为以数据驱动的方式学习从图像到手关节坐标的映射函数。在本文中，我们提出了上下文感知的深度时空网络（CADNOW），这是一种新的方法，可以联合建模手部姿势估计的时空特性。我们提出的网络能够从图像序列中学习空间信息和时间结构的表示。此外，通过采用自适应融合方法，该模型能够动态加权不同的预测，强调足够的背景。我们的方法是在两个常见的基准测试，实验结果表明，我们提出的方法实现了最好的或第二最好的性能与国家的最先进的方法和运行在60 fps。
2018-10-06 cs.CV
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University（斯坦福大学）
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪（MOT）是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而，大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道，不相交的检测器的输出作为输入到跟踪器。在这项工作中，我们提出了Minkowski Tracker，这是一个稀疏的时空R-CNN，它联合解决了目标检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决，该对象检测器预测跟踪的分配概率。首先，Minkowski Tracker将4D点云作为输入，通过4D稀疏卷积编码器网络生成时空鸟瞰图（BEV）特征图。然后，我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域（ROI）特征。最后，Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明，我们的方法的整体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此，Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能，而无需手动设计运动模型。
2022-08-26 cs.CV
Joint Spatio-Temporal Modeling for the Semantic Change Detection in Remote Sensing Images
Information Engineering University（信息工程大学）；University of Trento（特伦托大学）；Shandong Normal University（山东师范大学）
本文针对遥感图像语义变化检测中变化样本有限、语义信息难以利用的问题，提出SCanFormer显式建模双时相“从—到”语义转变，并结合时空约束引导语义学习，构建SCanNet网络，在两个基准数据集上取得SOTA精度。
2023-04-18 cs.CV
Joint Recognition and Segmentation of Actions via Probabilistic Integration of Spatio-Temporal Fisher Vectors
University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；NICTA（澳大利亚国家信息通信技术中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们提出了一个分层的方法来进行联合分类和分割的多动作识别。一个给定的视频（包含几个连续的动作）通过一系列重叠的时间窗口进行处理。时间窗口中的每个帧通过选择性的低级别时空特征来表示，这些特征有效地捕获相关的局部动态。来自每个窗口的特征被表示为Fisher向量，其捕获一阶和二阶统计量。不是直接对每个Fisher向量进行分类，而是将其转换为类别概率的向量。然后，通过在帧级整合类概率来获得每个帧的最终分类决策，这利用了时间窗口的重叠。实验在两个数据集上进行：s-KTH（KTH数据集的拼接版本，用于模拟多动作）和具有挑战性的CMU-MMAC数据集。在s-KTH上，所提出的方法实现了85.0%的准确率，显著优于最近基于Gestival和Hestival的两种方法，分别获得78.3%和71.2%。在CMU-MMAC上，该方法的准确率为40.9%，优于GMM和HMM方法，分别为33.7%和38.4%。此外，所提出的系统平均比基于GMM的方法快40倍。
2016-10-04 cs.CV
STLight: a Fully Convolutional Approach for Efficient Predictive Learning by Spatio-Temporal joint Processing
University of Zurich（苏黎世大学）；Google（谷歌公司）；Sapienza, University of Rome（罗马大学）；Max Planck Society（马克斯·普朗克学会）；Meta
提出STLight全卷积时空预测学习方法，通过时空维度重排和纯卷积框架混合特征，在STL基准上实现SOTA性能并显著提升计算效率。
2024-11-15 cs.CV
Spatio-temporal MLP-graph network for 3D human pose estimation
Concordia University（康考迪亚大学）
针对现有图卷积方法忽略时间相关性、难以处理遮挡与模糊的问题，提出结合关节混合MLP与加权雅可比图滤波的时空网络，在两个基准上超越最新方法。
2023-08-29 cs.CV
Accelerated Reconstruction of Perfusion-Weighted MRI Enforcing Jointly Local and Nonlocal Spatio-temporal Constraints
Technical University of Munich（慕尼黑工业大学）；GE Global Research（通用电气全球研发中心）；Harvard Medical School（哈佛医学院）
灌注加权磁共振成像（MRI）是一种成像技术，允许通过注射血管内顺磁性造影剂（CA）来测量感兴趣器官中的组织灌注。由于在许多应用中对高时间和空间分辨率的偏好，这种模式可以显著受益于加速的数据采集。在本文中，我们具体解决的问题，重建灌注MR图像系列从一个子集的k空间数据。我们提出的方法是出于观察，灌注成像的时间变化（动态）往往表现出跨不同的空间尺度的相关性。因此，我们提出了一个模型，联合惩罚的基础上获得的时间梯度图像的体素偏差，和补丁之间的时空邻域的整个图像序列的差异。我们验证了我们的方法上的动态磁敏感对比（DSC）-MRI和动态对比增强（DCE）-MRI脑灌注数据集从10个肿瘤患者。与最先进的重建方法相比，我们提供了重建性能和灌注参数估计的广泛分析。临床数据集上的实验结果表明，我们的重建模型可以通过精确估计灌注参数，同时保留空间图像细节和重建完整的灌注时间-强度曲线（TIC），从而实现高达8倍的加速。
2017-08-25 cs.CV
CrossFormer: Cross Spatio-Temporal Transformer for 3D Human Pose Estimation
Canberra University（堪培拉大学）；CSIRO（联邦科学与工业研究组织）；The University of Western Australia（西澳大利亚大学）
三维人体姿态估计可以通过编码身体部位之间的几何依赖关系和强制执行运动学约束来处理。最近，Transformer已被采用来编码空间和时间域中关节之间的长程依赖关系。虽然它们在长距离依赖性方面表现出色，但研究指出需要改进视觉Transformer的局部性。在这个方向上，我们提出了一种新颖的姿态估计Transformer，其特征在于对捕获跨帧的细微变化至关重要的身体关节的丰富表示（即，特征间表示）。具体而言，通过两个新的交互模块;跨关节交互和跨帧交互，该模型显式编码的局部和全局的身体关节之间的依赖关系。所提出的架构在两个流行的3D人体姿态估计数据集Human3.6和MPI-INF-3DHP上实现了最先进的性能。特别是，我们提出的CrossFormer方法分别使用检测到的2D姿势和地面实况设置，与最接近的对应物PoseFormer相比，性能提高了0.9%和0.3%。
2022-03-24 cs.CV
JSTR: Joint Spatio-Temporal Reasoning for Event-based Moving Object Detection
National Key Lab of Multispectral Information Intelligent Processing Technology（多光谱信息智能处理技术国家重点实验室）；School of Artificial Intelligence and Automation（人工智能与自动化学院）；Huazhong University of Science and Technology（华中科技大学）
针对基于事件的运动目标检测中存在的运动目标空间拖尾、结构完整性受损问题，提出联合时空推理方法JSTR，融合空间自适应阈值分割与时间点云柱状结构提取结果，检测准确率提升13%。
2024-03-12 cs.CV
Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia（沃林根大学先进多媒体研究实验室）
本文提出时空关节密度（STJD）度量骨架动静交互，识别主关节引导自监督学习，并设计STJD-CL对比策略与STJD-MP重建方法，在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
束平差联合优化相机的内、外参数和3D点三角剖分以重建静态场景。然而，三角测量约束对于在多个非同步视频中捕获的移动点是无效的，并且光束法平差不是设计用于估计相机之间的时间对准。我们提出了一个时空束平差框架，共同优化四个耦合的子问题：估计相机intrinsics和extrinsics，三角测量静态3D点，以及子帧相机之间的时间对齐和计算动态点的3D轨迹。我们联合优化的关键是在重建管道中仔细整合基于物理的运动先验，并在人类主体的大型运动捕捉语料库上进行验证。我们设计了一个增量重建和对齐算法，严格执行运动之前在时空光束法平差。该算法进一步通过分而治之方案使其更有效，同时仍保持高精度。我们应用该算法来重建三维运动轨迹的人体在动态事件中捕获的多个未校准和不同步的摄像机在野外。为了使重建在视觉上更具可解释性，我们将统计3D人体模型拟合到异步视频流中。与基线相比，拟合明显受益于所提出的时空束调整过程。由于视频以子帧精度对齐，因此我们以比输入视频高得多的时间分辨率重建3D运动。
2020-07-24 cs.CV
Towards To-a-T Spatio-Temporal Focus for Skeleton-Based Action Recognition
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
图卷积网络（GCN）已被广泛用于基于动作识别的高阶动态依赖模型。大多数现有的方法没有显式地嵌入高阶时空重要性关节的空间连接拓扑结构和强度，他们没有直接的目标，他们的注意力模块，以共同学习何时和何处集中在动作序列。为了解决这些问题，我们提出了To-a-T时空焦点（STF），一个基于时间序列的动作识别框架，利用时空梯度来关注相关的时空特征。首先，我们提出了STF模块与学习的梯度强制和实例相关的邻接矩阵模型的高阶时空动力学。其次，我们提出了三个损失条款上定义的基于梯度的时空焦点，明确指导分类何时何地看，区分混淆类，并优化堆叠STF模块。STF在NTU RGB+D 60、NTU RGB+D 120和Kinetics Skeleton 400数据集上，在所有15种设置中，在不同的视图、主题、设置和输入模式下，都优于最先进的方法，STF在稀缺数据和数据集移动设置上也显示出更好的准确性。
2022-02-04 cs.CV
Joint direct estimation of 3D geometry and 3D motion using spatio temporal gradients
University of Granada（格拉纳达大学）；University of Maryland（马里兰大学）
传统的基于图像运动的运动恢复结构方法首先计算光流，然后基于极线约束求解三维运动参数，最后恢复场景的三维几何形状。然而，由于正则化引起的光流中的误差会导致3D运动和结构中的大误差。本文研究了在从运动恢复运动恢复结构流水线的早期阶段避免光流估计是否可以提高性能和一致性，并提出了一种新的仅基于图像梯度（正常流）的直接方法。其主要思想在于重新制定的积极的深度约束，它允许使用众所周知的最小化技术来解决三维运动。然后，细化3D运动估计，并基于深度添加正则化来估计结构。在标准合成数据集和使用三种不同光流算法的真实驾驶基准数据集KITTI上的实验比较表明，该方法在除一种情况外的所有情况下都具有更好的准确性。此外，它优于现有的基于正常流的3D运动估计技术。最后，恢复的3D几何形状也是非常准确的。
2018-05-17 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）通过将骨架序列建模为时空图，在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能，所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力，提出了一种对称的空间注意力，以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接，采用添加剂的空间关注双线性层，我们提出了时空双线性网络（ST-BLN），它不需要使用预定义的邻接矩阵，并允许更灵活的设计模型。实验结果表明，三种模型有效地导致相同的性能。此外，通过利用所提出的ST-BLN提供的灵活性，可以提高模型的效率。
2021-04-22 cs.CV
MASQ: Mask-Aware Spatiotemporal Quantization for Unsupervised Skeleton Action Segmentation
University of Science and Technology of China（中国科学技术大学）
该研究针对无监督骨骼动作分割中空间掩码与离散量化引发的不稳定问题，提出MASQ框架，通过JLSD机制与掩码感知速度损失优化，在三个数据集上实现优于现有方法的帧均值准确率。
2026-09-01 cs.CV
LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition
Newcastle University（纽卡斯尔大学）；Baidu, Inc.（百度公司）
对各种时空依赖关系进行建模是在骨架序列中识别人类动作的关键。现有的方法过分依赖于遍历规则或图拓扑的设计来绘制动态关节间的依赖关系，这不足以反映距离较远但重要的关节间的关系。此外，由于局部采用的操作，重要的长程时间信息，因此没有很好地探讨在现有的工作。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新的长短期时空聚合网络，它可以有效地捕捉在时空的方式的长/短距离的依赖关系。我们设计我们的模型到一个纯粹的因式分解架构，可以交替执行空间特征聚合和时间特征聚合。为了提高特征聚合的效果，还设计并采用了一种通道级注意力机制。在三个公共基准数据集上进行了广泛的实验，结果表明，我们的方法可以在空间和时间域中捕获长范围和短范围的依赖关系，比其他最先进的方法产生更高的结果。代码可在https://github.com/tailin1009/LSTA-Net获得。
2021-11-01 cs.CV
Contrastive Spatio-Temporal Pretext Learning for Self-supervised Video Representation
Department of Electrical Engineering, City University of Hong Kong（香港城市大学电机工程系）；AI Technology Center, OVB, Tencent（腾讯公司OVB人工智能技术中心）
时空表示学习对于视频自监督表示至关重要。近年来的研究主要采用对比学习和托词任务。然而，这些方法通过在潜在空间中通过特征相似性来区分采样实例来学习表示，而忽略了学习表示的中间状态，这限制了整体性能。在这项工作中，考虑到采样实例的相似程度作为中间状态，我们提出了一种新的借口任务-时空重叠率（STOR）预测。它源于人类能够区分视频在空间和时间上的重叠率的观察。该任务鼓励模型区分两个生成的样本的STOR以学习表示。此外，我们采用联合优化相结合的借口任务与对比学习，以进一步加强时空表示学习。我们还研究了所提出的方案中的每个组件的相互影响。大量的实验表明，我们提出的STOR任务可以同时支持对比学习和借口任务。联合优化方案可以显著提高视频理解中的时空表示。该代码可在https://github.com/Katou2/CSTP上获得。
2021-12-19 cs.CV
Bridging Stereo Matching and Optical Flow via Spatiotemporal Correspondence
National Chiao Tung University（国立交通大学）；NEC Laboratories America（NEC美国实验室）
立体匹配和流估计是场景理解的两个基本任务，在三维空间和运动的时间。现有的方法一直集中在无监督的设置，由于有限的资源，以获得大规模的地面实况数据。为了构建一个可自学的目标，相关的任务通常被连接在一起，形成一个联合框架。然而，先前的工作通常为每个任务使用独立的网络，因此不允许跨模型学习共享的特征表示。在本文中，我们提出了一个单一的和原则性的网络，共同学习立体匹配和流量估计的时空对应，与一个新设计的几何连接作为无监督信号的时间相邻的立体声对。我们表明，我们的方法表现良好，对几个国家的最先进的基线，无监督的深度和流量估计的KITTI基准数据集。
2019-05-22 cs.CV
OpenPifPaf: Composite Fields for Semantic Keypoint Detection and Spatio-Temporal Association
EPFL（洛桑联邦理工学院）
许多基于图像的感知任务可以被公式化为检测、关联和跟踪语义关键点，例如，人体姿态估计和跟踪。在这项工作中，我们提出了一个通用的框架，联合检测和形成时空关键点协会在一个单一的阶段，使这第一个实时姿态检测和跟踪算法。我们提出了一种通用的神经网络架构，该架构使用复合场来检测和构建时空姿态，该时空姿态是单个连接的图，其节点是语义关键点（例如，人的身体关节）。对于时间关联，我们引入了时间复合关联字段（TCAF），它需要一个扩展的网络架构和训练方法超越以前的复合字段。我们的实验显示了具有竞争力的准确性，同时在多个公开可用的数据集上（如COCO，CrowdPose和PoseTrack 2017和2018数据集）快了一个数量级。我们还表明，我们的方法可以推广到任何类别的语义关键点，如汽车和动物部位，以提供一个非常适合城市移动性的整体感知框架，如自动驾驶汽车和送货机器人。
2021-09-21 cs.CV
Hyperspectral Imaging and Analysis for Sparse Reconstruction and Recognition
The University of Western Australia（西澳大利亚大学）
本论文提出空间光谱技术用于高光谱影像分析。自适应空间光谱支持和可变曝光高光谱成像被证明可以提高高光谱图像的光谱反射率恢复。新的光谱降维技术已被提出的角度只有光谱和空间-光谱信息的保护。结果表明，联合稀疏和联合组稀疏高光谱图像模型仅使用一小部分波段就能实现较低的重建误差和较高的识别精度。高光谱图像数据库已经开发出来并公开提供，以便在压缩高光谱成像、法医文件分析和光谱反射率恢复方面进行进一步研究。
2014-07-29 cs.CV
Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution
针对全景视频低分辨率与时空失真问题，提出时空失真感知网络STDAN，通过时空连续对齐、交错多帧重建和纬度显著性自适应权重，提升视觉保真度和动态平滑度。
2025-08-05 cs.CV
Target-Aware Spatio-Temporal Reasoning via Answering Questions in Dynamics Audio-Visual Scenarios
Beijing University of Posts and Telecommunications（北京邮电大学）
针对AVQA中时空推理分离、目标利用不足的问题，提出由TSG与JTG组成的目标感知联合定位网络，并通过CSL增强音视频同步，实验证明其优于现有方法。
2023-12-08 cs.CV
Spatio-temporal Video Parsing for Abnormality Detection
Heidelberg University（海德堡大学）
由于所有不规则对象和行为的类的无限大小，视频中的异常检测提出了特别的挑战。因此，没有（或远远不够）异常训练样本可用，我们需要在测试数据中发现异常，而实际上不知道它们是什么。然而，该领域的流行概念是直接搜索独立于另一个的单个异常局部补丁或图像区域。为了解决这个问题，我们提出了一种时空视频解析的视频异常联合检测方法。视频解析的目标是找到一组不可或缺的正常时空对象假设，这些假设共同解释视频的所有前景，同时得到正常训练样本的支持。因此，我们避免直接检测异常，并间接发现它们作为那些假设，这些假设是覆盖前景所需的，而不是用正常样本来解释它们。在图形模型中，通过MAP推理将abbands本地化，并通过将其制定为凸优化问题来有效地解决它。我们通过实验评估了我们的方法在几个具有挑战性的基准集，改善了所有标准基准的最先进的异常分类和本地化方面。
2015-02-22 cs.CV
Spatio-Temporal Multi-Task Learning Transformer for Joint Moving Object Detection and Segmentation
Valeo R&D（法雷奥研发中心）
移动物体对于自动驾驶任务具有特殊的重要性。检测移动对象可以通过分割对象像素而被定位为移动对象分割，或者通过生成移动目标的限界框而被定位为移动目标检测。在本文中，我们提出了一个多任务学习架构，基于Transformers，通过一个网络来共同执行这两个任务。由于运动特征对任务的重要性，整个设置基于时空聚合。我们评估的性能与MTL设置，无论是早期共享的编码器，和后期共享的编码器-解码器Transformers器的单独任务架构。对于后者，我们提出了一种新的联合任务查询解码器Transformer，使我们能够有任务专用头的共享模型。为了评估我们的方法，我们使用KITTI MOD [29]数据集。结果显示，在单个任务网络上，移动目标检测的mAP提高了1.5%，移动对象分割的IoU提高了2%。
2021-06-21 cs.CV cs.LG
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation
Twitter（推特）
卷积神经网络已经实现了实时的【形】精确图像超分辨率。然而，最近从视频超分辨率中的时间相关性中获益的尝试已限于幼稚或低效的架构。在本文中，我们介绍了时空亚像素卷积网络，有效地利用时间冗余，提高重建精度，同时保持实时的【形】速度。具体来说，我们讨论了使用早期融合，缓慢融合和3D卷积的多个连续的视频帧的联合处理。我们还提出了一种新的联合运动补偿和视频超分辨率算法，该算法比竞争方法的效率高出几个数量级，依赖于端到端可训练的快速多分辨率空间Transformer模块。这些贡献提供了更高的准确性和时间上更一致的视频，我们定性和定量地证实。相对于单帧模型，时空网络可以在保持相同质量的同时将计算成本降低30%，或者在类似的计算成本下提供0.2dB的增益。公开数据集上的结果表明，所提出的算法在准确性和效率方面都超过了当前最先进的性能。
2017-04-10 cs.CV
TrajectoryNet: a new spatio-temporal feature learning network for human motion prediction
Beijing University of Posts and Telecommunications（北京邮电大学）；City University of Hong Kong（香港城市大学）；Tsinghua University（清华大学）
人体运动预测是计算机视觉和机器人学中一个越来越受关注的课题。在本文中，我们提出了一个新的二维CNN为基础的网络，TrajectoryNet，预测未来的姿态在轨迹空间。与现有的大多数方法相比，我们的模型侧重于建模的运动动力学与耦合的时空特征，局部-全局空间特征和全局时间同现特征的前一个姿势序列。具体而言，耦合的时空特征描述了隐藏在自然人体运动序列中的空间和时间结构信息，可以通过用卷积滤波器覆盖输入姿势序列的空间和时间维度来挖掘。编码人体不同关节的不同相关性的局部-全局空间特征（例如，一个肢体的关节之间的强相关性，不同肢体的关节之间的弱相关性）通过逐层扩大感受野和我们提出的卷积网络中从较低层到更深层的残余连接来分层捕获。全局时间同现特征表示复杂运动序列中不同连续性同时出现的同现关系，通过将时间信息重新组织为输入张量的深度维，利用TrajectoryNet自动获得。最后，基于捕获的运动动态特征来近似未来的姿态。大量的实验表明，我们的方法在三个具有挑战性的基准测试（例如Human3.6M，G3 D和FNTU）上达到了最先进的性能，这证明了我们所提出的方法的有效性。如果论文被接受，代码将可用。
2020-03-20 cs.CV
Modeling 4D fMRI Data via Spatio-Temporal Convolutional Neural Networks (ST-CNN)
University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）；Beijing Institute of Big Data Research（北京大数据研究院）
从4D fMRI数据同时建模脑功能网络的时空变化模式一直是认知神经科学和医学图像分析领域的一个重要而具有挑战性的问题。受最近将深度学习应用于功能性大脑解码和编码的成功启发，在这项工作中，我们提出了一种时空卷积神经网络（ST-CNN），用于从训练数据中联合学习目标网络的空间和时间模式，并执行自动的精确功能性网络识别。建议的ST-CNN的评估任务，确定默认模式网络（DMN）从fMRI数据。结果表明，虽然该框架只在一个fMRI数据集上进行训练，但它具有足够的泛化能力，可以从不同的数据人群以及不同的认知任务中识别DMN。进一步的研究结果表明，ST-CNN的优越性能是由联合学习方案驱动的，它捕捉了DMN的时空特性之间的内在关系，并确保了准确的识别。
2018-08-06 cs.CV
TaCo: Capturing Spatio-Temporal Semantic Consistency in Remote Sensing Change Detection
Beihang University（北航大学）
TaCo通过引入时空语义联合约束，有效解决遥感变化检测中的语义不一致问题，实现高精度变化识别。
2025-11-25 cs.CV
Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
Xidian University（西安电子科技大学）
在基于机器人的动作识别任务中，捕捉关节之间的依赖关系是至关重要的。Transformer在模拟重要节理的相关性方面显示出巨大的潜力。然而，现有的基于变换器的方法不能捕获帧之间的不同关节的相关性，该相关性是非常有用的，因为相邻帧之间的不同身体部位（例如“跳远”中的手臂和腿）一起移动。针对这一问题，提出了一种新的时空元组Transformer（STTFormer）方法。将骨架序列分成若干部分，并对每个部分中包含的若干连续帧进行编码。在此基础上，提出了一种时空元组自注意模型，用于捕捉连续帧中不同关节之间的关系。此外，在非相邻帧之间引入特征聚合模块，以增强区分相似动作的能力。与现有的方法相比，该方法在两个大规模数据集上取得了更好的性能。
2022-01-08 cs.AI cs.CV
Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields
Computational Brain Science Lab（计算脑科学实验室）；Division of Computational Science and Technology（计算科学与技术系）；KTH Royal Institute of Technology（皇家理工学院）
本文针对视觉感受野模型，证明了一组在空间缩放、仿射、伽利略和时间缩放变换组合下的时空感受野联合协方差性质，并将尺度归一化导数扩展为仿射归一化导数，为不同视角和速度下的时空感受野响应匹配提供了理论基础。
2025-06-17 cs.CV q-bio.NC
Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出部分时空学习框架，通过中心空间掩码和运动注意力时间掩码构建部分骨架序列，利用无负样本三元流结构学习局部关系，在多个数据集上达到SOTA并具鲁棒性。
2023-02-22 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中，我们提出了一个端到端的空间和时间的注意力模型，从骨架数据的人类动作识别。我们在具有长短期记忆（LSTM）的递归神经网络（RNN）之上构建我们的模型，它学会选择性地关注输入的每一帧内骨架的区别性关节，并对不同帧的输出给予不同程度的关注。此外，为了确保网络的有效训练，我们提出了一个正则化的交叉熵损失来驱动模型学习过程，并相应地开发了一个联合训练策略。实验结果表明，该模型的有效性，无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
milliMamba: Specular-Aware Human Pose Estimation via Dual mmWave Radar with Multi-Frame Mamba Fusion
National Yang Ming Chiao Tung University；University of Washington
milliMamba通过双频毫米波雷达和多帧Mamba融合，实现镜面感知的人体姿态估计，提升鲁棒性和精度。
2025-12-23 cs.CV
Joint 3D Object Detection and Tracking Using Spatio-Temporal Representation of Camera Image and LiDAR Point Clouds
Hanyang University（汉阳大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在本文中，我们提出了一个新的联合目标检测和跟踪（JoDT）框架的三维目标检测和跟踪的基础上相机和激光雷达传感器。所提出的方法，被称为3D DetecTrack，使检测器和跟踪器合作，以生成相机和激光雷达数据的时空表示，然后执行3D目标检测和跟踪。检测器通过相机和LiDAR融合获得的空间特征的加权时间聚合来构建时空特征。然后，检测器使用来自直到前一个时间步保持的轨迹片段的信息来重新配置初始检测结果。基于由检测器生成的时空特征，跟踪器使用图神经网络（GNN）将检测到的对象与先前跟踪的对象相关联。我们设计了一个完全连接的GNN，它结合了基于规则的边缘修剪和基于注意力的边缘门控，利用空间和时间对象上下文来提高跟踪性能。在KITTI和nuScenes基准上进行的实验表明，所提出的3D DetecTrack在检测和跟踪性能方面都比基线方法有了显着的改进，并且通过检测器和跟踪器之间的协作，在现有方法中实现了最先进的性能。
2021-12-15 cs.CV cs.LG
Spatio-Temporal Dual Affine Differential Invariant for Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）
人体骨骼的动态特性对于动作识别任务具有重要的信息。对应关节的轨迹之间的相似性是同一动作的指示特征，而这种相似性可能会受到一些失真的影响，这些失真可以建模为空间和时间仿射变换的组合。在这项工作中，我们提出了一个新的功能称为时空双仿射微分不变（STDADI）。此外，为了提高神经网络的泛化能力，提出了一种通道增强方法。在大规模动作识别数据集NTU-RGB+D及其扩展版本NTU-RGB+D 120上，它比以前的最先进的方法取得了显着的改进。
2020-04-21 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
Preterm infants' pose estimation with spatio-temporal features
Università Politecnica delle Marche（马尔凯理工大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University Hospital Ancona（安科纳大学医院）
目的：新生儿重症监护室（NICU）中早产儿的肢体监测对于评估婴儿的健康状况和运动/认知发育至关重要。在这里，我们提出了一种新的方法来早产儿的肢体姿势估计，其特征在于时空信息，以高可靠性从深度视频中检测和跟踪肢体关节。研究方法：使用深度学习框架执行肢体姿势估计，该深度学习框架由分别用于粗略和精确关节定位的检测和回归卷积神经网络（CNN）组成。CNN被实现为通过3D卷积在时间方向上对连接性进行编码。所提出的框架的评估是通过一个全面的研究与16个深度视频采集在实际的临床实践中从16个早产儿（babyPose数据集）。结果如下：当应用于姿势估计时，在所有肢体之间计算的估计姿势和地面真实姿势之间的中位均方根距离为9.06像素，克服了仅基于空间特征的方法（11.27像素）。结论：结果表明，时空特征对姿态估计性能有显著影响，特别是在具有挑战性的情况下（例如，均匀的图像强度）。重要性：本文通过引入用于肢体检测和跟踪的时空特征的使用，以及通过首次研究使用在实际临床实践中获得的深度视频进行肢体姿势估计，显著提高了早产儿健康状况自动评估的最新技术水平。babyPose数据集已作为第一个用于婴儿姿势估计的注释数据集发布。
2020-05-08 cs.CV
Efficient Traffic State Prediction With Dynamic Joint Spatio-Temporal Relation Inference
School of Mathematics and Computer Science, Shantou University（汕头大学数学与计算机科学学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；School of Cyberspace Security, Hainan University（海南大学网络空间安全学院）
提出STEI-PCN纯卷积网络，通过局部因果联合时空图、位置编码和动态边权推理，高效捕获时空依赖，实现多步交通预测，在多个数据集上达到竞争精度且计算成本低。
2026-06-23 cs.AI cs.CV
Local Spatiotemporal Convolutional Network for Robust Gait Recognition
School of Mechanical and Electrical Engineering, Osh State University（机械与电子工程学院，奥什州大学）
本文提出LSTCN网络，通过引入GBSP机制和局部时空卷积层，提升步态识别的鲁棒性，有效提取时空特征以应对视频数据复杂性和外部干扰。
2026-05-14 cs.CV
Spatio-Temporal Encoding and Decoding-Based Method for Future Human Activity Skeleton Synthesis
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）
针对传统未来活动推断方法计算成本高的问题，提出时空编解码的人体活动骨架合成方法，通过序列预处理、编解码结构和含高阶运动学特征的损失函数优化，实现误差更小、参数量更少的未来骨架生成，助力早期活动预测。
2024-07-08 cs.CV
Spatio-Temporal Relation Learning for Video Anomaly Detection
Nanjing University of Science and Technology（南京理工大学）
异常识别高度依赖于对象和场景之间的关系，因为相同/不同场景中的不同/相同对象动作可能导致不同程度的正常和异常。因此，物景关系实际上在异常检测中起着至关重要的作用，但在以前的作品中没有充分探索。在本文中，我们提出了一个时空关系学习（STRL）框架来解决视频异常检测任务。首先，考虑到动态特性的对象以及场景区域，我们构建了一个时空自动编码器（STAE），联合利用空间和时间的演变模式的表示学习。为了更好地提取模式，在STAE模块中设计了两个解码分支，即通过直接预测下一帧来捕获空间线索的外观分支和通过光流预测来建模动态的运动分支。然后，为了更好地具体化对象-场景关系，引入知识图谱嵌入方法，设计了一个关系学习模块来分析和总结正常关系。具体来说，在这个过程中，对象场景关系的可扩展性是通过联合建模对象/场景特征和可优化的对象场景关系映射来测量的。在三个公共数据集上进行了大量的实验，与现有方法相比，该方法具有更好的性能，证明了该方法的有效性。
2022-09-27 cs.CV
Cross-Modal Learning with 3D Deformable Attention for Action Recognition
Keimyung University（启明大学）
针对多模态时空特征融合难题，提出含3D可变形、局部关节步幅和时间步幅注意力的跨模态Transformer，在四个基准上无需预训练即达到SOTA水平并具可解释性。
2023-08-17 cs.CV
DiffPose: SpatioTemporal Diffusion Model for Video-Based Human Pose Estimation
Jilin University（吉林大学）；University of Birmingham（伯明翰大学）
DiffPose将视频人体姿态估计建模为条件热图生成，通过时空表示学习器和基于查找的多尺度特征交互关注关键点区域，在多个PoseTrack基准上取得最优结果，并支持组合多组估计与无需重训练调整迭代步数。
2023-08-05 cs.CV
3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
从单目视频中估计3D姿态仍然是一项具有挑战性的任务，尽管近年来已经取得了重大进展。通常，当目标人相对于训练数据的规模和速度太小/太大或者运动太快/太慢时，现有方法的性能下降。此外，据我们所知，这些方法中的许多方法没有明确地在严重闭塞下设计或训练，使得它们在处理闭塞方面的性能受到损害。针对这些问题，我们引入了一个强大的三维人体姿态估计时空网络。由于视频中的人类可能以不同的尺度出现，并且具有不同的运动速度，因此我们在每个单独的帧中应用多尺度空间特征进行2D关节或关键点预测，并应用多步长时间卷积网络（TCN）来估计3D关节或关键点。此外，我们设计了一个基于身体结构以及肢体运动的时空机器人，以评估预测的姿势是否形成有效的姿势和有效的运动。在训练过程中，我们显式地屏蔽了一些关键点来模拟各种遮挡情况，从轻微到严重的遮挡，这样我们的网络就可以更好地学习，并对各种程度的遮挡变得鲁棒。由于3D地面实况数据有限，我们进一步利用2D视频数据为我们的网络注入半监督学习能力。在公共数据集上的实验验证了该方法的有效性，并且我们的消融研究显示了我们的网络对单个子模块的优势。
2020-04-07 cs.CV
ActionVLAD: Learning spatio-temporal aggregation for action classification
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）
在这项工作中，我们引入了一个新的视频表示的动作分类，聚合本地卷积功能在整个时空范围内的视频。我们通过将最先进的双流网络与可学习的时空特征聚合相结合来做到这一点。由此产生的架构是端到端可训练的全视频分类。我们研究了不同的策略，跨空间和时间的池，并结合来自不同流的信号。我们发现：（i）跨空间和时间联合汇集是重要的，但是（ii）外观和运动流最好被聚合到它们自己的单独表示中。最后，我们表明，我们的表示优于双流基础架构的大幅度（13%相对），以及优于其他基线与HMDB51，UCF101和Charades视频分类基准上的可比基础架构。
2017-04-10 cs.CV
Bridging Time and Space: Decoupled Spatio-Temporal Alignment for Video Grounding
Shanghai Jiao Tong University（上海交通大学）；ZTE Corporation（中兴通讯）
本文提出Bridge-STG框架，通过解耦时空定位并保持语义连贯性，解决视频定位中时空对齐和视觉token冗余问题，实验表明其在多个基准上达到SOTA性能。
2026-04-21 cs.CV
