Probabilistic modeling of lake surface water temperature using a Bayesian spatio-temporal graph convolutional neural network
BFH（伯尔尼应用科技大学）
准确的湖温估算对于解决水文和生态领域的许多问题至关重要。如今，开发物理模型来估计湖泊动态;然而，精确估计湖泊表面温度所需的计算可能过于昂贵。我们建议聚集在一定深度的湖泊温度的模拟，连同一系列的气象特征，以概率估计湖面温度。因此，我们介绍了一个时空神经网络，结合贝叶斯递归神经网络和贝叶斯图卷积神经网络。这项工作表明，所提出的图形模型可以提供均匀的良好性能，覆盖整个湖面，尽管有稀疏的训练数据。将定量结果与最先进的贝叶斯深度学习方法进行比较。开发的架构层的代码以及演示脚本可在https://renkulab.io/projects/das/bstnn上获得。
2021-09-27 cs.AI cs.LG
MegaCRN: Meta-Graph Convolutional Recurrent Network for Spatio-Temporal Modeling
提出MegaCRN，通过元节点库驱动的元图学习器增强GCRN编解码器，以建模时空图流的异质性与非平稳性，并在三个数据集上显著超越现有方法。
2023-04-20 cs.AI cs.LG
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
Multi-graph Spatio-temporal Graph Convolutional Network for Traffic Flow Prediction
North China University of Technology（北方工业大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文针对公路日交通流预测中的数据不平衡和时空因素复杂问题，提出一种多图时空图卷积网络方法，结合数据归一化、多语义图卷积及气象日历特征，在省级高速公路上验证了其优于基线方法的预测精度和业务价值。
2023-08-10 cs.AI cs.LG
A Differential Smoothness-based Compact-Dynamic Graph Convolutional Network for Spatiotemporal Signal Recovery
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；Hanhong College, Southwest University（西南大学含弘学院）
本文提出紧凑动态图卷积网络CDGCN，通过张量M-product统一建模时空模式，并引入差分平滑目标函数抑制噪声，在真实数据集上显著提升时空信号恢复精度。
2024-08-06 cs.LG
A convolution recurrent autoencoder for spatio-temporal missing data imputation
University of California Irvine（加州大学欧文分校）
当传感器在大的地理区域中收集时空数据时，无法避免缺失数据的存在。缺失数据会对数据分析和机器学习算法的性能产生负面影响。在本文中，我们研究了时空问题中缺失数据填补的深度自动编码器。我们提出了一种卷积双向LSTM，用于捕获空间和时间模式。此外，我们分析了自动编码器的时空数据的潜在特征表示，并说明其性能缺失的数据填补。交通流数据用于评估我们的模型。结果表明，所提出的卷积递归神经网络优于国家的最先进的方法。
2019-04-29 cs.LG stat.ML
FasterSTS: A Faster Spatio-Temporal Synchronous Graph Convolutional Networks for Traffic flow Forecasting
Wuhan University of Technology（武汉理工大学）；Zhejiang Sci-Tech University（浙江理工大学）
针对现有交通流预测方法时空建模分离且复杂度高的问题，提出更快速有效的时空同步图卷积网络FasterSTS，以提升预测性能并控制模型复杂度。
2025-01-01 cs.LG
STAG-CN: Spatio-Temporal Apiary Graph Convolutional Network for Disease Onset Prediction in Beehive Sensor Networks
该研究提出STAG-CN模型，通过建模蜂箱间关系来预测疾病发病，利用时空图卷积网络结合物理位置和气候传感器相关性，验证了共享环境响应模式比空间接近性更有效。
2026-05-17 cs.AI cs.LG
Traffic Flow Forecasting with Maintenance Downtime via Multi-Channel Attention-Based Spatio-Temporal Graph Convolutional Networks
George Mason University（乔治梅森大学）
交通流预测是智能交通系统管理的核心任务。图结构已经显示出作为建模框架的前景，最近通过图卷积神经网络在时空建模方面的进展，提高了性能或扩展了对交通流的预测范围。然而，最先进的方法的一个主要缺点是它们不能考虑到各种模式的信息，例如维护停机时间对交通流量的影响。这就是我们在本文中要解决的问题。具体来说，我们提出了一种新的模型来预测交通速度的影响下，施工工作。该模型基于强大的基于注意力的时空图卷积架构，但利用各种渠道来整合不同的信息源，明确地建立交通状态之间的时空依赖关系，捕获异构道路网络之间的关系，然后预测交通流量的变化导致的维护停机事件。两个基准数据集和一个新的数据集，我们已经收集了繁华的泰森的角落地区在北弗吉尼亚州的模型进行评估。大量的对比实验和消融研究表明，该模型可以捕捉复杂的和非线性的时空关系，跨运输走廊，优于基线模型。
2021-10-04 cs.AI cs.CV cs.LG
DisenHCN: Disentangled Hypergraph Convolutional Networks for Spatiotemporal Activity Prediction
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
时空活动预测旨在预测特定位置和时间的用户活动，对于城市规划和移动广告等应用至关重要。现有的基于张量分解或图嵌入的解决方案存在以下两个主要局限性：1）忽略了用户偏好的细粒度相似性; 2）用户建模是纠缠的。在这项工作中，我们提出了一个超图神经网络模型称为DisenHCN弥合上述差距。特别是，我们首先统一到一个异构超图的细粒度用户相似性和用户偏好和时空活动之间的复杂匹配。然后，我们将用户表示分解为不同的方面（位置感知，时间感知和活动感知），并在构建的超图上聚合相应方面的特征，从不同方面捕获高阶关系，并将每个方面的影响分解为最终预测。大量的实验表明，我们的DisenHCN优于国家的最先进的方法14.23%至18.10%的四个真实世界的数据集。进一步的研究也令人信服地验证了我们的DisenHCN中每个组分的合理性。
2022-08-14 cs.AI cs.LG
A Novel Spatiotemporal Coupling Graph Convolutional Network
针对现有动态QoS估计方法无法统一建模时空特征导致精度不足的问题，提出时空耦合图卷积网络SCG，通过广义张量积统一建模时空、结合异质GCN与张量分解、简化结构降低训练难度，在两个大规模QoS数据集上取得了优于现有方法的估计精度。
2024-08-09 cs.AI cs.LG
AST-GCN: Attribute-Augmented Spatiotemporal Graph Convolutional Network for Traffic Forecasting
Central South University（中南大学）；Hisense TransTech Co., Ltd.（海信网络科技股份有限公司）；Zhejiang University（浙江大学）
交通量预测是智能交通领域的一项基础性和挑战性任务。准确的预测不仅依赖于历史交通流信息，还需要考虑各种外部因素的影响，如天气状况、周边POI分布等。近年来，融合图卷积网络和递归神经网络的时空模型成为交通预测的研究热点，并取得了重大进展。然而，很少有作品结合外部因素。因此，基于引入外部因素可以提高时空预测流量的准确性和改善解释性的假设，我们提出了一个属性增强时空图卷积网络（AST-GCN）。我们将外部因素建模为动态属性和静态属性，并设计了一个属性增强单元来编码和集成这些因素到时空图卷积模型中。在真实数据集上的实验表明，与传统的交通预测方法相比，考虑外部信息对交通预测任务的有效性。此外，在不同的属性增强方案和预测水平设置下，AST-GCN的预测精度高于基线。
2020-11-22 cs.LG
Irregular Traffic Time Series Forecasting Based on Asynchronous Spatio-Temporal Graph Convolutional Network
HKUST(GZ)（香港科技大学（广州））；Baidu Research（百度研究院）；HKUST（香港科技大学）；Arizona State University（亚利桑那州立大学）；Baidu Inc.（百度公司）
针对自适应信号导致的不规则交通时间序列预测难题，提出异步时空图卷积网络ASeer，通过异步图扩散、个性化时间编码、可变形时间感知卷积与半自回归预测，有效捕捉异步时空依赖并预测变长序列，在六项指标上优于十二个基线。
2024-08-27 cs.AI cs.LG
Spatio-Temporal Graph Convolutional Networks: Optimised Temporal Architecture
University of Oxford（牛津大学）
本研究提出结合CNN与LSTM时间块的时空图卷积网络新架构，通过理论论证和多数据集实验，实证比较了新模型与现有模型的性能。
2025-01-14 cs.LG stat.ML
ESGCN: Edge Squeeze Attention Graph Convolutional Network for Traffic Flow Forecasting
Yonsei University（延世大学）
针对交通流的动态时空依赖问题，提出ESGCN，通过多尺度节点卷积、边缘注意力GCN、自适应邻接矩阵和节点对比损失提升预测性能。
2023-07-12 cs.AI cs.LG
Incorporating Reachability Knowledge into a Multi-Spatial Graph Convolution Based Seq2Seq Model for Traffic Forecasting
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）
准确的交通状态预测是交通控制和诱导的基础。由于交通数据具有复杂的时空相关性，因此具有很大的挑战性。现有的工作不能很好地执行多步交通预测，涉及未来很长的时间段。当输入步和预测步之间的时间间隔较大时，尤其是当交通数据不充分或有噪声时，时空信息稀释变得严重。为了解决这个问题，我们提出了一种基于多空间图卷积的Seq 2Seq模型。本文的创新点主要体现在三个方面：（1）通过融合多视角特征（时间、位置和交通状态）丰富模型输入的时空信息;（2）基于先验知识和数据驱动知识构建多种空间相关性，以提高模型在数据不足或噪声情况下的性能。(3)设计了一种基于可达性知识的时空注意力机制，产生高层特征，直接输入Seq 2Seq的解码器，以减轻信息稀释。我们的模型在两个真实世界的流量数据集上进行了评估，并取得了比其他竞争对手更好的性能。
2021-08-16 cs.AI cs.LG
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
及时准确的交通预测是城市交通控制和诱导的关键。由于交通流的高度非线性和复杂性，传统的预测方法往往不能满足中长期预测任务的要求，且往往忽略了时空相关性。在本文中，我们提出了一种新的深度学习框架，时空图卷积网络（STGCN），以解决交通领域的时间序列预测问题。我们没有应用常规的卷积和递归单元，而是将问题公式化在图上，并使用完整的卷积结构构建模型，这可以用更少的参数实现更快的训练速度。实验表明，我们的模型STGCN有效地捕捉全面的时空相关性，通过建模多尺度的交通网络，并始终优于各种现实世界的交通数据集的最先进的基线。
2018-07-12 cs.LG stat.ML
ST-HCSS: Deep Spatio-Temporal Hypergraph Convolutional Neural Network for Soft Sensing
Monash University Malaysia（莫纳什大学马来西亚分校）
针对工业传感器时序数据的复杂高阶关联建模问题，提出ST-HCSS深度时空超图卷积软测量框架，在无先验结构时学习超图并融合门控时序与超图卷积，性能优于现有方法。
2025-01-02 cs.AI cs.LG eess.SP
Spatio-Temporal Sparsification for General Robust Graph Convolution Networks
Central South University（中南大学）
图神经网络（GNN）因其在各种图结构数据上的成功应用而引起越来越多的关注。然而，最近的研究表明，对抗攻击正在威胁GNN的功能。虽然已经提出了许多工作，以防止对抗攻击从不同的角度来看，他们中的大多数可以是强大的攻击，只有在特定的情况下。为了解决这种鲁棒泛化的不足，我们提出通过在GNN隐藏节点表示上应用时空稀疏化（称为ST稀疏）来防御对GNN的对抗攻击。ST-Sparse在精神上类似于Dropout正则化。通过对GCN作为目标GNN模型的深入实验评估，我们发现ST-Sparse的优点如下：（1）ST-Sparse在大多数情况下表现出防御性能的改善，因为它可以有效地提高鲁棒精度，最高可提高6%;（2）ST-Sparse通过与现有的防御方法相结合，展示了其强大的泛化能力，类似于将Dropout集成到各种深度学习模型中作为标准正则化技术;（3）ST-Sparse在干净数据集上也表现出普通的泛化能力，（ST-Sparse与原GCN的融合）的性能甚至优于原GCN，而其他三种代表性的防御方法都不如原GCN。
2021-03-23 cs.AI cs.LG
G-PARC: Graph-Physics Aware Recurrent Convolutional Neural Networks for Spatiotemporal Dynamics on Unstructured Meshes
School of Data Science, University of Virginia（数据科学学院，弗吉尼亚大学）；University of Virginia（弗吉尼亚大学）；Department of Engineering Systems and Environment, University of Virginia（工程系统与环境系，弗吉尼亚大学）；Department of Mechanical and Aerospace Engineering, University of Virginia（机械与航空航天工程系，弗吉尼亚大学）；University of Iowa（爱荷华大学）
G-PARC通过在无结构图上使用移动最小二乘核近似空间导数，提升了对非均匀时空离散化、移动网格及非线性基准的建模能力，比现有方法更高效且参数更少。
2026-04-16 cs.AI cs.LG
Deepfake Detection using Spatiotemporal Convolutional Networks
University of Michigan（密歇根大学）
更好的生成模型和更大的数据集导致了更逼真的假视频，这些假视频可以欺骗人眼，但会产生深度学习方法可以检测到的时间和空间伪影。目前大多数Deepfake检测方法仅使用单个视频帧，因此无法从时间信息中学习。我们使用Celeb-DF数据集创建了时空卷积方法性能的基准。我们的方法优于最先进的基于帧的检测方法。我们论文的代码可在https://github.com/oidelima/Deepfake-Detection上公开获取。
2020-06-26 cs.CV cs.LG eess.IV
Spatiotemporal Recurrent Convolutional Networks for Traffic Prediction in Transportation Networks
Beihang University（北京航空航天大学）；China FAW R&D Center（中国一汽研发中心）
近几十年来，大规模交通网络流量预测已成为一个重要而具有挑战性的课题。受运动预测领域知识的启发，其中对象的未来运动可以基于先前的场景来预测，我们提出了一种网络网格表示方法，该方法可以保留交通网络的精细尺度结构。网络范围内的流量速度被转换成一系列的静态图像，并输入到一个新的深度架构，即时空递归卷积网络（SRCN），用于流量预测。所提出的SRCN继承了深度卷积神经网络（DCNN）和长短期记忆（LSTM）神经网络的优点。网络范围内流量的空间依赖性可以由DCNN捕获，时间动态可以由LSTM学习。在具有278个链路的北京交通网络上进行的实验表明，SRCN在短期和长期交通预测方面都优于其他基于深度学习的算法。
2017-05-07 cs.LG
Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging
McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
时空克里格法是时空数据分析中的一个重要应用，旨在根据观测信号恢复/内插未采样/未观测位置的信号。时空克里金法的主要挑战是如何有效地建模和利用数据中的时空依赖性。最近，图神经网络（GNNs）在时空克里金任务中表现出了巨大的潜力。然而，标准GNN通常需要精心设计的邻接矩阵和特定的聚合函数，这对于一般应用/问题来说是不灵活的。为了解决这个问题，我们提出了SATCN -空间聚合和时间卷积网络-一个通用的和灵活的框架来执行时空克里格为各种时空数据集，而不需要模型规范。具体来说，我们提出了一种新的空间聚合网络（SAN）的灵感来自主邻域聚合，它使用多个聚合功能，以帮助一个节点收集不同的信息，从它的邻居。为了排除来自未采样节点的信息，一个屏蔽策略，防止未采样的传感器发送消息到他们的邻居被引入到SAN。我们通过时间卷积网络捕获时间依赖性，这使得我们的模型能够处理不同大小的数据。为了使SATCN可推广到看不见的节点，甚至看不见的图结构，我们采用归纳策略训练SATCN。我们对三个真实世界的时空数据集进行了广泛的实验，包括交通速度和气候记录。我们的研究结果表明，SATCN优于传统的和基于GNN的克里金模型。
2021-09-24 cs.LG
Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction
Amirkabir University of Technology（阿米卡比尔理工大学）；Chalmers University of Technology（查尔姆斯理工大学）
脉冲神经网络（SNN）由于其基于事件的性质而可以用于低功耗和嵌入式系统（例如新兴的神经形态芯片）中。此外，与传统的人工神经网络（ANN）相比，它们具有计算成本低的优点，同时保留了ANN的属性。然而，卷积脉冲神经网络和其他类型的SNN的层中的时间编码还有待研究。在本文中，我们提供了深入了解时空特征提取的卷积SNN的实验设计，利用这一属性。浅层卷积SNN的性能优于最先进的时空特征提取器方法，例如C3 D、ConvLstm和类似网络。此外，我们提出了一种新的深度尖峰架构来解决现实世界的问题（特别是分类任务），与NMNIST（99.6%），DVS-CIFAR 10（69.2%）和DVS-Gesture（96.7%）以及UCF-101（42.1%）和HMDB-51（21.5%）数据集上的ANN方法相比，该架构具有更好的性能。还值得注意的是，训练过程是基于本文中解释的时空反向传播的变化来实现的。
2021-01-18 cs.CV cs.LG
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University（奥胡斯大学）
图卷积网络（GCN）在基于骨架的人体动作识别中非常成功，其中骨架序列被建模为图。然而，该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络，这导致高计算复杂性并限制其在低计算场景中的应用。在本文中，我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明，该方法具有竞争力，甚至更好的分类性能与国家的最先进的方法相比，具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Bayesian Spatio-Temporal Graph Convolutional Network for Traffic Forecasting
University of Science and Technology of China（中国科学技术大学）
在交通预测中，图卷积网络（GCN）将交通流建模为时空图，取得了令人瞩目的性能。然而，现有的基于GCN的方法，抽象地定义的图形结构的物理拓扑结构的道路网络，忽略了潜在的依赖关系的图形结构上的交通数据。并且定义的图结构是确定性的，缺乏对不确定性的研究。本文提出了一种用于流量预测的贝叶斯时空图卷积网络（BSTGCN）。我们的网络中的图结构是以端到端的方式从道路网络和交通数据的物理拓扑中学习的，它发现了对交通流之间关系的更准确描述。此外，提出了一种参数生成模型来表示图的结构，从而增强了GCN的泛化能力。我们验证了我们的方法在两个真实世界的数据集上的有效性，实验结果表明，BSTGCN达到优越的性能相比，国家的最先进的方法。
2020-10-15 cs.GR cs.LG
Conditional Local Convolution for Spatio-temporal Meteorological Forecasting
Center of Artificial Intelligence for Research and Innovation, Westlake University（西湖大学人工智能研究与创新中心）；Eco-Environmental Research Laboratory, Westlake University（西湖大学生态环境研究实验室）；Zhejiang University（浙江大学）
由于时间动态的高度非线性以及空间域中复杂的位置特征模式，时空预测具有挑战性，特别是在天气预报等领域。在气象学中，为了处理传感器空间位置的不规则分布，通常使用图卷积来建模空间相关性。在这项工作中，提出了一种新的基于图的卷积模拟气象流捕捉当地的空间模式。基于位置特征模式的光滑性假设，我们提出了条件局部卷积，其节点局部空间上的共享核由前馈网络近似，坐标的局部表示由水平映射到圆柱切空间作为其输入。地方坐标系统一标准的建立，维护了地理上的方向性。我们进一步提出了距离和方向的缩放条款，以减少不规则的空间分布的影响。卷积被嵌入到递归神经网络架构中，以模拟时间动态，从而产生条件局部卷积递归网络（CLCRN）。我们的模型在真实世界的天气基准数据集上进行了评估，实现了最先进的性能，并有明显的改进。对局部模式可视化、模型框架选择、水平图的优势等问题进行了深入分析。
2021-12-11 cs.LG
HAGCN : Network Decentralization Attention Based Heterogeneity-Aware Spatiotemporal Graph Convolution Network for Traffic Signal Forecasting
利用图卷积网络（GCN）构建时空网络已成为预测交通信号的最流行方法之一。然而，当使用GCN进行交通速度预测时，传统方法通常将传感器之间的关系假设为齐次图，并使用传感器积累的数据来学习邻接矩阵。然而，传感器之间的空间相关性并没有被指定为一个，而是从不同的视角被不同地定义。为此，我们的目标是研究交通信号数据中固有的异构特性，以各种方式学习传感器之间的隐藏关系。具体来说，我们设计了一种方法来构建一个异构图的每个模块划分为静态和动态模块的传感器之间的空间关系。我们提出了一种基于网络分散注意力的异构感知图卷积网络（HAGCN）方法，该方法通过考虑异构图中每个通道的重要性来聚合相邻节点的隐藏状态。在真实流量数据集上的实验结果验证了该方法的有效性，与现有模型相比，预测性能提高了6.35%，达到了最新水平。
2022-09-05 cs.LG
Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis
Delft University of Technology（代尔夫特理工大学）
设计和分析时空网络数据的学习模型对于预测、异常检测和多智能体协调等任务具有重要意义。图卷积神经网络（GCNN）是一种从时不变网络数据中学习的成熟方法。图卷积操作提供了一种原则性的方法来聚合多分辨率信息。然而，将卷积原理学习和相应分析扩展到时空域是具有挑战性的，因为时空数据具有更多的内在依赖性。因此，需要更高的灵活性来联合捕获空间和时间依赖性，以学习有意义的高阶表示。在这里，我们利用产品图来表示数据中的时空依赖关系，并引入图-时间卷积神经网络（GTCNN）作为辅助学习的原则架构。所提出的方法可以与任何类型的产品图，我们还介绍了一个参数产品图学习也时空耦合。卷积原理还允许与GCNN类似的数学易处理性。特别地，稳定性结果表明GTCNN对空间扰动是稳定的，但在可辨别性和鲁棒性之间存在隐含的权衡;即，模型越复杂，稳定性越差。基准数据集上的大量数值结果证实了我们的发现，并显示GTCNN与最先进的解决方案相比毫不逊色。我们预计GTCNN将成为更复杂模型的起点，这些模型将实现良好的性能，但也从根本上扎根。
2022-06-30 cs.LG
Spatiotemporal Graph Convolutional Recurrent Neural Network Model for Citywide Air Pollution Forecasting
Seoul National University（首尔国立大学）；Graduate School of Data Science（数据科学研究生院）
本文提出了一种基于图卷积网络的时空循环神经网络模型，用于提升城市空气污染预测的精度和效率。
2025-11-23 cs.CV cs.LG eess.SP
Towards Spatio-temporal Sea Surface Temperature Forecasting via Static and Dynamic Learnable Personalized Graph Convolution Network
Beijing University of Posts and Telecommunications（北京邮电大学）
针对海表温度预测中动态时空依赖建模不足的问题，本文提出SD-LPGC，用两个图学习层分别刻画长期稳定与短期演化模式，并通过个性化卷积融合，实验达到最先进性能。
2023-04-12 cs.AI cs.LG physics.ao-ph
Convolutional Spiking-based GRU Cell for Spatio-temporal Data
针对现有脉冲GRU无法捕捉时空数据细粒度局部依赖的问题，提出融合卷积运算、脉冲神经元时序精度与GRU门控机制的CS-GRU单元，在多类基准上实现了精度与效率的双重提升。
2025-10-29 cs.LG
Spatio-Temporal Pyramid Graph Convolutions for Human Action Recognition and Postural Assessment
University of Washington（华盛顿大学）；Honda Research Institute（本田研究院）
由于人类行为及其与物体和环境的相关交互的识别在各种领域中具有潜在的应用，因此它是计算机视觉中的一个重要问题。最通用的方法可以推广到各种环境，并处理杂乱的背景，遮挡和视点变化。其中，基于从骨架提取特征的图卷积网络的方法已经展示了有前途的性能。在本文中，我们提出了一种新的时空金字塔图卷积网络（ST-PGN）的在线动作识别的人体工程学风险评估，使所有级别的骨架特征层次结构的使用功能。该算法优于在两个通常用于姿势评估的公共基准数据集（TUM和UW-IOM）上测试的最先进的动作识别算法。我们还引入了一个管道，以提高在线动作识别技术的姿势评估方法。最后，将该算法与传统的人体工程学风险指数（REBA）相结合，以证明其在职业安全中对肌肉骨骼疾病评估的潜在价值。
2019-12-07 cs.CV cs.LG
Causally-guided Regularization of Graph Attention Improves Generalizability
MIT（麻省理工学院）；Twitter Cortex（推特Cortex）；Twitter（推特）
图注意力网络估计节点邻居的关系重要性，以聚合局部邻域的相关信息用于预测任务。然而，推断的注意力容易受到训练数据中的虚假相关性和连通性的影响，从而阻碍了模型的推广。我们介绍CAR，这是一个用于图注意力网络的通用正则化框架。CAR体现了一种因果推理方法，以可扩展的方式将注意力机制与主动干预对图连接性的因果影响对齐。CAR与各种图形注意力架构兼容，我们表明它系统地提高了各种节点分类任务的泛化能力。我们的消融研究表明，CAR在与预测最相关的图结构方面进行了磨练（例如，同质性），并且比替代方法更有效。最后，我们还表明，CAR通过强调指向因果假设的节点-邻居关系来增强注意力权重的可解释性。对于社交媒体网络大小的图，CAR引导的图重新布线方法可以使我们将图卷积方法的可扩展性与更高的图注意力性能相结合。
2023-03-01 cs.LG
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland（马里兰大学）；NVIDIA Research（英伟达研究院）
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用，但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中，我们提出了一个高阶卷积LSTM模型，可以有效地学习这些相关性，以及历史的简洁表示。这是通过一个新的张量训练模块来实现的，该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行，我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此，我们的模型优于现有的方法，但只使用了一小部分参数，包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能，包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations
University of Notre Dame（圣母大学）；Lawrence Livermore National Laboratories（劳伦斯利弗莫尔国家实验室）
缺失数据的插补是一项在许多工程和科学应用中起着至关重要作用的任务。这种缺失的数据通常出现在实验观测中，原因是传感器的限制或后处理转换误差。其他时候，它们来自于计算机模拟中的数值和算法约束。风暴潮的数值模拟就是其中的一个实例，也是本文的应用重点。模拟数据对应于感兴趣的地理域内的多个保存点上的时间序列浪涌预测，从而产生时空插补问题，其中浪涌点在空间和时间上高度相关，并且缺失值区域在结构上随机分布。最近，诸如神经网络方法的机器学习技术已经被开发并用于缺失数据填补任务。生成对抗网络（GANs）和基于GAN的技术作为无监督机器学习方法特别受到关注。在这项研究中，通过应用卷积神经网络而不是完全连接的层来更好地捕获数据的相关性并促进从相邻浪涌点的学习，从而提高了生成对抗性填补网络（GAIN）的性能。对研究数据特别需要的方法的另一个调整是将点的坐标视为附加特征，以通过卷积层为模型提供更多信息。我们将我们提出的方法命名为卷积生成对抗性填补网络（Conv-GAIN）。通过考虑风暴潮数据所需的改进和适应，评估所提出的方法的性能，并与原始GAIN和其他一些技术进行比较。结果表明，Conv-GAIN具有更好的性能比替代方法的研究数据。
2021-11-26 cs.AI cs.CE cs.LG
Continual Spatio-Temporal Graph Convolutional Networks
Aarhus University（奥胡斯大学）
基于图的骨架数据推理已经成为一种很有前途的人类动作识别方法。然而，先前的基于图的方法，主要采用整个时间序列作为其输入，设置在线推理的应用程序需要相当大的计算冗余。在本文中，我们通过将时空图卷积神经网络重构为连续推理网络来解决这个问题，该网络可以在时间上执行逐步预测，而无需重复帧处理。为了评估我们的方法，我们创建了一个连续版本的ST-GCN，CoST-GCN，以及两个具有不同自我注意力机制的衍生方法，CoAGCN和CoS-TR。我们研究了用于推理加速的权重转移策略和架构修改，并在NTU RGB+D 60，NTU RGB+D 120和Kinetics Skeleton 400数据集上进行了实验。在保持类似的预测准确性的情况下，我们观察到时间复杂度降低了109倍，硬件加速了26倍，在线推理期间最大分配内存减少了52%。
2023-03-24 cs.CV cs.LG
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University（西安电子科技大学）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
脉冲神经网络（Spiking neural networks，SNNs）作为一种脑启发模型，具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而，神经形态数据集，如N-MNIST，CIFAR 10-DVS，DVS 128-gesture，需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类，这导致高训练和推理延迟。在这项工作中，我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流，以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性，我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发（Leaky Integrate-and-Fire，LIF）算法，以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST，CIFAR 10-DVS，DVS 128手势数据集的事件流分类任务。实验结果表明，我们提出的方法优于国家的最先进的精度几乎所有的数据集，使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
Graph-Free Learning in Graph-Structured Data: A More Efficient and Accurate Spatiotemporal Learning Perspective
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Laboratory（上海人工智能实验室）
时空学习是近年来的一个研究热点，其目的是从收集到的时空数据中提取时空相关性。考虑到时空数据固有的图结构，最近的工作集中在利用图卷积网络（GCN）的空间依赖捕获聚合顶点特征的指导下的邻接矩阵。本文通过广泛深入的实验，全面分析了现有的时空图学习模型，发现作为提高图学习性能关键的邻接矩阵提取策略设计并不理想。同时，基于这些实验，我们还发现，聚合本身是更重要的，而不是如何聚合的顶点。在此基础上，提出了一种新的基于层归一化的无图空间学习模型，用于时空图学习中空间相关性的捕获。所提出的GFS模块可以很容易地插入到现有的模型中，以取代所有的图卷积组件。严格的理论证明表明，GFS的时间复杂度明显优于图卷积运算。大量的实验验证了GFS在处理图结构数据，特别是超大规模图数据时，在效率和学习效果方面的优越性。
2023-01-30 cs.LG
Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis
Stanford University（斯坦福大学）；SRI International（斯坦福国际研究院）
静息态功能磁共振成像（rs-fMRI）的血氧水平依赖（BOLD）信号记录了大脑内在功能网络的时间动态。然而，现有的应用于rs-fMRI的深度学习方法要么忽略了网络中不同大脑区域之间的功能依赖性，要么丢弃了大脑活动的时间动态信息。为了克服这些缺点，我们建议在时空图的背景下制定功能连接网络。我们训练一个时空图卷积网络（ST-GCN）的BOLD时间序列的短的子序列建模的非平稳性质的功能连接。同时，该模型学习ST-GCN中图边缘的重要性，以深入了解有助于预测的功能连接性。在分析人类连接组项目（HCP，N= 1，091）和国家酒精和青少年神经发育联盟（NCANDA，N=773）的rs-fMRI时，ST-GCN在基于BOLD信号预测性别和年龄方面比常见方法更准确。此外，根据神经科学文献，对我们模型的预测有显著贡献的大脑区域和功能连接是重要的标记。
2021-06-29 cs.LG stat.ML
Graph-Time Convolutional Neural Networks
Delft University of Technology（代尔夫特理工大学）
时空数据可以表示为图上的过程，该过程显式或隐式地捕获它们的空间关系。如何利用这种结构来学习表示是使用图形时的关键挑战之一。在本文中，我们表示的时空关系，通过产品图和发展的第一原理图-时间卷积神经网络（GTCNN）。GTCNN是一种组合架构，每一层都包括一个图时间卷积模块、一个图时间池化模块和一个非线性。我们通过遵循卷积运算符的移位和求和原理来开发一个图时间卷积滤波器，以在乘积图上学习更高级别的特征。乘积图本身是参数化的，因此我们也可以从数据中学习时空耦合。我们开发了一个零垫池，保留了空间图（关于数据的先验），同时减少了活动节点的数量和参数。合成和真实数据的实验结果证实了不同的组件，并与基线和国家的最先进的解决方案进行比较。
2021-03-02 cs.AI cs.LG cs.NE
On the Preservation of Spatio-temporal Information in Machine Learning Applications
Izmir University of Economics（伊兹密尔经济大学）
在传统的机器学习应用中，假设每个数据属性与其他数据属性正交。也就是说，每一对维度都是相互正交的，因此没有维度之间关系的区别。然而，这在自然源自时空配置的真实世界信号中肯定不是这种情况。结果，传统的矢量化过程破坏了关于数据的顺序/位置的所有时空信息，无论它是$1$ D、$2$ D、$3$ D还是$4$ D。在本文中，正交性的问题，首先通过传统的$k$ -图像的手段，其中图像被处理为向量。作为一种解决方案，移位不变的$k$ -手段提出了一种新的框架与稀疏表示的帮助。移位不变的$k$ -手段，卷积字典学习的推广，然后利用作为一个无监督的特征提取方法进行分类。实验表明，与卷积字典学习相比，作为浅层卷积神经网络的模拟的Gabor特征提取提供了更好的性能。卷积逻辑的许多替代品也讨论了时空信息保存，包括时空超复数编码方案。
2020-06-15 cs.CV cs.LG stat.ML
Variational Mode-Driven Graph Convolutional Network for Spatiotemporal Traffic Forecasting
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出VMGCN框架，先用VMD将非平稳时空交通数据分解为可解释模式，再通过注意力增强GCN学习模式内与模式间依赖，在LargeST上实现短期和长期预测精度提升。
2025-07-21 cs.LG
Convolutional Long Short-Term Memory (convLSTM) for Spatio-Temporal Forecastings of Saturations and Pressure in the SACROC Field
National Energy Technology Laboratory（国家能源技术实验室）；University of Utah（犹他大学）；Energy & Geoscience Institute, University of Utah（犹他大学能源与地球科学研究所）
提出基于 convLSTM 的机器学习架构预测 SACROC 油田多孔介质时空参数，使用 30 年数据训练独立模型预测油气水饱和度与压力，实验结果表现良好。
2022-10-15 cs.LG eess.IV
Hypergraph-based multi-scale spatio-temporal graph convolution network for Time-Series anomaly detection
Edinburgh Parallel Computing Center（爱丁堡并行计算中心）；University of Edinburgh（爱丁堡大学）
针对高维复杂多变量时间序列异常检测中数据规模大、缺标签的挑战，提出基于超图的时空图卷积模型STGCN_Hyper，结合超图结构学习、多尺度TCN与无监督检测器，在多项指标上优于现有基线。
2024-10-29 cs.LG
3D Graph Convolutional Networks with Temporal Graphs: A Spatial Information Free Framework For Traffic Forecasting
Peking University（北京大学）；Hangzhou Dianzi University（杭州电子科技大学）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
时空预测在许多应用领域特别是交通领域中起着重要的作用。然而，由于道路网络具有复杂的时空相关性和高度的非线性动态性，交通预测任务仍然具有挑战性。现有的工作要么表现出沉重的训练成本或未能准确地捕捉时空模式，也忽略了遥远的道路之间的相关性，共享相似的模式。在本文中，我们提出了一种新的深度学习框架来克服这些问题：3D时间图卷积网络（3D-TGCN）。我们的模型的两个新的组件。(1)我们不是基于空间信息构建道路图，而是通过比较每条道路的时间序列之间的相似性来学习道路图，从而提供了一个无空间信息的框架。(2)我们提出了一种新颖的3D图卷积模型，以更准确地建模时空数据。实证结果表明，3D-TGCN可以优于最先进的基线。
2019-03-03 cs.LG stat.ML
DeepFall -- Non-invasive Fall Detection with Deep Spatio-Temporal Convolutional Autoencoders
University of Toronto（多伦多大学）；Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）
人类跌倒很少发生;然而，从健康和安全的角度来看，检测跌倒非常重要。由于跌倒的罕见性，很难采用监督分类技术来检测它们。此外，在这些高度偏斜的情况下，也难以提取领域特定特征来识别跌倒。在本文中，我们提出了一种新的框架，\textit{DeepFall}，它制定了作为一个异常检测问题的跌倒检测问题。\textit{DeepFall}框架提出了深度时空卷积自动编码器的新用途，以使用非侵入式感测模态从正常活动中学习空间和时间特征。我们还提出了一种新的异常评分方法，结合重建分数的帧在一个时间窗口来检测看不见的下降。我们在三个公开的数据集上测试了\textit{DeepFall}框架，这些数据集是通过非侵入式传感模式、热成像相机和深度相机收集的，与传统的自动编码器方法相比，该框架显示出更好的结果来识别看不见的跌倒。
2020-04-27 cs.CV cs.LG stat.ML
Spatiotemporal Weather Data Predictions with Shortcut Recurrent-Convolutional Networks: A Solution for the Weather4cast challenge
Federal Office of Meteorology and Climatology MeteoSwiss（瑞士联邦气象与气候局）
本文介绍了作者在Weather 4cast 2021挑战赛第一阶段使用的神经网络模型，其目标是预测基于卫星的天气数据图像的时间演变。该网络基于编码器-预测器架构，利用门控递归单元（GRU）、残差块和具有类似于U-Net的快捷方式的收缩/扩展架构。还介绍了利用残差块代替卷积的GRU变体。模型的预测和评价指标的例子。这表明，该模型可以保留第一次预测的输入的尖锐特征，而后来的预测变得更加模糊，以反映增加的不确定性。
2021-11-03 cs.LG physics.ao-ph
Hybrid Spatio-Temporal Graph Convolutional Network: Improving Traffic Prediction with Navigation Data
Alibaba Group（阿里巴巴集团）
本文提出混合时空图卷积网络H-STGCN，通过从在线导航引擎获取即将到来的交通量并将其转换为等效行程时间，结合图卷积捕获空间依赖性，显著提升了交通预测精度，尤其在非周期性拥堵预测上表现优异。
2020-06-23 cs.LG stat.ML
DDP-GCN: Multi-Graph Convolutional Network for Spatiotemporal Traffic Forecasting
Seoul National University（首尔大学）
交通速度预测是交通系统中的核心问题之一。为了更准确地预测，最近的研究开始不仅使用时间速度模式，而且通过图卷积网络使用道路网络上的空间信息。尽管道路网络是高度复杂的，由于其非欧和方向的特点，以前的方法主要集中在建模的空间依赖性使用的距离。在本文中，我们确定了两个基本的空间依赖关系，在交通预测除了距离，方向和位置关系，设计基本图形元素作为基本的积木。使用构建块，我们建议DDP-GCN（距离，方向和位置关系图卷积网络）将这三种空间关系纳入深层神经网络。我们用两个大规模的真实世界数据集对所提出的模型进行了评估，并发现在高度复杂的城市网络中进行长期预测的积极改进。对于通勤时间来说，改善幅度可能会更大，但对于短期预测来说，改善幅度也可能有限。
2022-09-25 cs.LG eess.SP
Learning from Videos with Deep Convolutional LSTM Networks
University of Illinois（伊利诺伊大学）
本文探讨了使用卷积LSTM来同时学习视频中的空间和时间信息。卷积LSTM的深度网络允许模型在数据的所有空间尺度上访问整个时间信息范围。我们描述了我们的实验，涉及卷积LSTM唇读，证明该模型能够选择性地选择哪些时空尺度是最相关的特定数据集。所提出的深度架构在时空特征发挥重要作用的其他应用中也有希望，而不必专门针对问题中存在的特定时空特征来设计网络。对于Lip Reading in the Wild（LRW）数据集，我们的模型略优于以前的最新技术水平（83.4% vs. 83.0%），并且当模型在Lip Reading Sentences（LRS2）数据集上进行预训练时，将新的最新技术水平设置为85.2%。
2019-04-09 cs.CV cs.LG
Efficient and Scalable Physics-Guided Fully Convolutional Spatiotemporal Learning for 3D Microstructure Evolution Prediction
Florida Institute of Technology（佛罗里达理工学院）
本研究提出物理引导的全卷积时空框架，直接多帧预测3D微观结构演化，结合Cahn-Hilliard残差正则化，实现高精度（结构相似性>0.97）和超30倍加速，无需额外推理成本。
2026-09-30 cs.LG
Convolutional Graph Auto-encoder: A Deep Generative Neural Architecture for Probabilistic Spatio-temporal Solar Irradiance Forecasting
图结构数据上的机器学习对于包括异常检测和动态网络分析在内的各种应用来说是一项重要且无所不在的任务。本文引入了一种深度生成模型来捕获任意图的节点对应的连续概率密度。与判别模式识别领域的所有学习公式相比，我们提出了一种可扩展的生成优化/算法，理论上证明可以捕获图的节点处的分布。我们的模型能够从每个节点上学习的概率密度中生成样本。这种概率数据生成模型，即卷积图自动编码器（CGAE），是基于谱图卷积的局部一阶近似、深度学习和变分贝叶斯推理而设计的。我们应用我们的CGAE一个新的问题，时空概率太阳辐照度预测。在美国北部各州的广阔区域内的多个太阳辐射测量站点被建模为无向图。使用我们提出的模型，未来的辐照度的分布给定的历史辐射观测估计每个站点/节点。国家太阳辐射数据库的数值结果显示国家的最先进的性能概率辐射预测的可靠性，清晰度和连续排名的概率得分方面的地理分布的辐照度数据。
2018-09-10 cs.LG stat.ML
Spatio-Temporal Graph Convolutional Networks for EV Charging Demand Forecasting Using Real-World Multi-Modal Data Integration
University of Tennessee（田纳西大学）
本文提出时空预测框架TW-GCN，融合图卷积网络与时序模型，结合真实交通、天气和充电数据预测田纳西州电动汽车充电需求，发现3小时中期预测效果最佳且1DCNN表现最优。
2025-11-07 cs.LG
