Deep Inferential Spatial-Temporal Network for Forecasting Air Pollution Concentrations
University of Delaware(特拉华大学);PingAn Technology(平安科技);South China University of Technology(华南理工大学)
空气污染对人类健康和世界经济发展构成严重威胁。为了满足日益增长的对空气污染准确预测的需求,我们提出了一种深度推理时空网络来处理复杂的非线性时空相关性。我们预测三种空气污染物(即,PM2.5、PM10和O3)的混合深度学习模型,该模型由推理预测器(对没有空气污染读数的区域进行推理)、空间预测器(使用CNN捕获空间相关性)和时间预测器(使用具有简化注意力机制的序列到序列模型捕获时间关系)组成。我们提出的模型考虑了历史空气污染记录和历史气象数据。我们评估我们的模型上的一个大规模的数据集,包含空气污染记录的35个监测站和网格气象数据在北京,中国。我们的模型在SMAPE和RMSE方面优于其他最先进的方法。
2018-09-11 cs.LG stat.AP
LiveProBench: Can Streaming Video Models Really Interact Like Humans?
Beihang University(北京航空航天大学);Alibaba(阿里巴巴)
针对流式视频模型缺乏主动交互评估的问题,提出ProactiveBench基准,以一秒间隔无提示评估模型,发现多数系统过早响应多于遗漏,揭示时间决策差距。
2026-09-23 cs.LG
Interpretable Crowd Flow Prediction with Spatial-Temporal Self-Attention
University of Macau(澳门大学);Shanghai Jiaotong University(上海交通大学)
人群流量预测作为城市管理系统的重要组成部分,在智能城市计算领域得到了越来越多的研究。预测人群流量最具挑战性的部分是测量复杂的时空依赖性。当前方法中采用的普遍解决方案是通过各种架构(例如,CNN/GCN、LSTM)。然而,这种策略有两个缺点:(1)复杂的依赖关系也被分割,因此部分隔离;(2)时空特征在通过不同的架构时被转换为潜在的表示,使得难以解释预测的人群流。为了解决这些问题,我们提出了一个时空自注意力网络(STSAN)与ST编码门,计算整个时空表示与位置和时间编码,从而避免划分的依赖关系。此外,我们开发了一个多方面的注意力机制,适用于缩放的点积注意时空信息和措施的注意力权重,明确表示的依赖关系。交通和移动数据的实验结果表明,所提出的方法减少了16%和8%的流入和流出RMSE的出租车纽约市数据集相比,SOTA基线。
2020-02-22 cs.IR cs.LG eess.IV
Preserving Dynamic Attention for Long-Term Spatial-Temporal Prediction
University of Macau(澳门大学);Joint AI and Future Network Research Institute, BNU (Zhuhai) & UIC(北京师范大学(珠海)-北师港浸大联合人工智能与未来网络研究院);Shanghai Jiaotong University(上海交通大学)
城市数据采掘系统越来越需要有效的长期预测。许多实际应用,如事故预防和资源预分配,需要较长的准备时间。然而,挑战来了,因为长期预测是高度误差敏感的,这在预测具有复杂和动态时空相关性的城市现象时变得更加关键。具体来说,由于有价值的相关性的数量是有限的,大量的不相关特征会引入噪声,从而引发增加的预测误差。此外,在每个时间步之后,误差都可以穿过相关性并到达每次未来预测的时空位置,从而导致显着的误差传播。为了解决这些问题,我们提出了一个动态切换注意力网络(DSAN)与一个新的多空间注意力(MSA)机制,明确衡量输入和输出之间的相关性。为了滤除不相关的噪声并减轻错误传播,DSAN通过在有噪声的输入上应用自注意来动态地提取有价值的信息,并且通过实现开关-注意力机制将每个输出直接桥接到净化的输入。通过对两个时空预测任务的大量实验,我们证明了DSAN在短期和长期预测方面的优越性。
2020-06-16 cs.IR cs.LG
Are High-Degree Representations Really Unnecessary in Equivariant Graph Neural Networks?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学耿丽人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室);Laboratories, Huawei Technologies, Shanghai(华为技术有限公司上海2012实验室)
本文通过理论分析证明固定低阶表示的等变GNNs会退化为零函数,并提出高阶版本HEGNN以增强表达能力,实验验证其在对称结构和复杂数据集上的有效性。
2025-10-15 cs.LG
Spatial-Temporal Fusion Graph Neural Networks for Traffic Flow Forecasting
Peking University(北京大学)
交通流的时空数据预测是一个具有挑战性的任务,因为不同道路之间的复杂的空间依赖性和动态的时间模式的趋势。现有的框架通常利用给定的空间邻接图和复杂的机制来建模空间和时间的相关性。然而,有限的表示给定的空间图结构与不完整的相邻连接可能会限制有效的时空依赖学习这些模型。为了克服这些局限性,本文提出了时空融合图神经网络(STFGNN)的交通流预测。SFTGNN可以有效地学习隐藏的时空依赖性,通过一种新的融合操作的各种空间和时间的图形,这是由数据驱动的方法产生的。同时,通过将该融合图模块和一种新的门控卷积模块集成到一个统一的层中,SFTGNN可以处理长序列。在几个公共交通数据集上的实验结果表明,我们的方法比其他基线一致地实现了最先进的性能。
2021-03-06 cs.AI cs.LG
On the Inclusion of Spatial Information for Spatio-Temporal Neural Networks
Universidad Nacional de Educación a Distancia — UNED(西班牙国家远程教育大学)
当面对时空回归时,为模型提供关于空间维度的任何可用先验信息是明智的。例如,通常基于空间接近性、邻接性或相关性来定义神经网络的架构。如果空间信息不可用或在模型中引入空间信息的成本太高,一个常见的替代方案是将其作为模型的额外步骤进行学习。虽然使用现有的空间知识,给定或学习,可能是有益的,在这项工作中,我们质疑这一原则,通过比较空间不可知的神经网络与最先进的模型。我们的研究结果表明,在大多数情况下,并不真正需要典型的包含先验空间信息。为了验证这一违反直觉的结果,我们对与可持续移动性和空气质量相关的10个不同数据集进行了彻底的实验,证实了我们对现实世界问题的结论,这些问题对公共卫生和经济有直接影响。
2020-10-02 cs.LG stat.ML
Forecasting Transportation Network Speed Using Deep Capsule Networks with Nested LSTM Models
Beihang University(北京航空航天大学);University of Washington(华盛顿大学)
对复杂交通网络进行准确可靠的交通量预测,对现代交通管理具有重要意义。道路连接的复杂空间依赖性和交通状态的动态时间模式使其特别具有挑战性。为了应对这些挑战,我们提出了一种新的胶囊网络(CapsNet)来提取交通网络的空间特征,并利用嵌套LSTM(NLSTM)结构来捕获交通序列数据中的分层时间依赖关系。通过依次连接CapsNet和NLSTM,提出了一个网络级流量预测框架。在文献综述的基础上,本文首次将CapsNet和NLSTM应用于交通预测领域。在北京市278个路段的交通网络上进行的实验表明,该框架具有捕获复杂时空交通模式的能力,优于多种最先进的交通预测基线模型。通过对实验结果的可视化和定量评价,分别论证了CapsNet和NLSTM的优越性和可行性。
2018-11-01 cs.LG stat.ML
STR-GODEs: Spatial-Temporal-Ridership Graph ODEs for Metro Ridership Prediction
Peking University(北京大学)
地铁客流预测一直受到各国政府和研究人员的广泛关注。最近的工作集中在设计复杂的图卷积递归网络架构,以捕获空间和时间模式。这些工作很好地提取了空间维的信息,但时间维的局限性仍然存在。我们将神经ODE算法扩展到图网络,并提出了STR-GODEs网络,它可以有效地学习空间,时间和乘客量的相关性,而不受时间轴上将数据划分为相等大小的间隔的限制。在学习空间关系和时间相关性的同时,我们修改了GODE-RNN单元,以获得乘客特征和隐藏状态。在GODESolve中加入了乘客信息及其隐藏状态,以减少预测中长时间序列引起的误差积累。在两个大规模数据集上进行的大量实验证明了该模型的有效性和鲁棒性。
2021-07-11 cs.LG
Adaptive Hybrid Spatial-Temporal Graph Neural Network for Cellular Traffic Prediction
China Mobile Research Institute(中国移动研究院)
蜂窝业务量预测是智能通信网中不可缺少的一部分。然而,由于频繁的用户移动性和复杂的网络调度机制,蜂窝业务往往继承复杂的时空模式,使得预测令人难以置信的挑战。虽然最近的先进算法,如基于图的预测方法已被提出,他们经常模型的空间依赖性的基础上静态或动态图,并忽略了共存的多种空间相关性引起的流量生成。同时,一些研究工作缺乏对蜂窝业务模式多样性的考虑,导致预测结果不理想。在本文中,我们提出了一种新的深度学习网络架构,自适应混合时空图神经网络(AHSTGNN),以解决蜂窝流量预测问题。首先,我们应用自适应混合图学习来学习蜂窝塔之间的复合空间相关性。其次,我们实现了一个时间卷积模块与多周期的时间数据输入,以捕捉非线性的时间依赖性。此外,我们引入了一个额外的时空自适应模块来克服蜂窝塔的异构性。我们在两个真实世界的蜂窝流量数据集上的实验表明,AHSTGNN的性能明显优于最先进的技术,说明了我们的时空蜂窝流量预测方法的优越可扩展性。
2023-02-28 cs.AI cs.LG cs.NI
Fragment and Integrate Network (FIN): A Novel Spatial-Temporal Modeling Based on Long Sequential Behavior for Online Food Ordering Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
针对现有方法缺乏丰富时空表示和只能处理有限长度行为的问题,提出片段与整合网络(FIN),通过片段网络提取多个子序列并建模,整合网络利用时空交互构建整合序列,在饿了么部署后CTR提升5.7%,RPM提升7.3%。
2023-08-30 cs.IR cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology(南方科技大学);The University of Tokyo(东京大学);University of Technology Sydney(悉尼科技大学)
针对交通预测中捕捉复杂时空模式的难题,本研究提出时空自适应嵌入组件,搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA,验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
RTFN: Robust Temporal Feature Network
Southwest Jiaotong University(西南交通大学);China University of Mining and Technology(中国矿业大学)
时间序列分析在各种应用中起着至关重要的作用,例如,医疗保健,天气预报,灾害预报等。然而,通过特征网络获得足够的形状仍然具有挑战性。为此,我们提出了一种新的鲁棒时间特征网络(RTFN),它包含时间特征网络和注意力LSTM网络。时间特征网络用于从输入数据中提取基本特征,而注意力LSTM网络用于捕获复杂的形状和关系以丰富特征。在实验中,我们将RTFN嵌入到监督结构中作为特征提取网络,嵌入到无监督聚类中作为编码器。结果显示,基于RTF的监督结构在85个数据集中的40个数据集中获胜,基于RTF的无监督聚类在UCR2018档案中的11个数据集中的4个数据集中表现最好。
2020-12-29 cs.LG stat.ML
3D Graph Convolutional Networks with Temporal Graphs: A Spatial Information Free Framework For Traffic Forecasting
Peking University(北京大学);Hangzhou Dianzi University(杭州电子科技大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
时空预测在许多应用领域特别是交通领域中起着重要的作用。然而,由于道路网络具有复杂的时空相关性和高度的非线性动态性,交通预测任务仍然具有挑战性。现有的工作要么表现出沉重的训练成本或未能准确地捕捉时空模式,也忽略了遥远的道路之间的相关性,共享相似的模式。在本文中,我们提出了一种新的深度学习框架来克服这些问题:3D时间图卷积网络(3D-TGCN)。我们的模型的两个新的组件。(1)我们不是基于空间信息构建道路图,而是通过比较每条道路的时间序列之间的相似性来学习道路图,从而提供了一个无空间信息的框架。(2)我们提出了一种新颖的3D图卷积模型,以更准确地建模时空数据。实证结果表明,3D-TGCN可以优于最先进的基线。
2019-03-03 cs.LG stat.ML
Automated Dilated Spatio-Temporal Synchronous Graph Modeling for Traffic Prediction
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);National University of Defense Technology(国防科技大学);Beijing Jiaotong University(北京交通大学)
由于交通网络的复杂时空相关性,准确的交通预测是智能交通系统中一项具有挑战性的任务。许多现有的作品利用复杂的时间建模方法,结合图卷积网络(GCN)捕捉短期和长期的时空依赖性。然而,这些设计复杂的分离模块限制了时空表示学习的有效性和效率。此外,大多数以前的工作采用固定的图构造方法来表征全局时空关系,这限制了模型对不同时间段甚至不同数据场景的学习能力。为了克服这些限制,我们提出了一个自动扩张的时空同步图网络,名为Auto-DSTSGN的流量预测。具体来说,我们设计了一个自动膨胀时空同步图(Auto-DSTSG)模块,通过以递增的顺序堆叠具有膨胀因子的更深层来捕获短期和长期的时空相关性。此外,我们提出了一个图结构搜索方法,自动构建时空同步图,可以适应不同的数据场景。在四个真实数据集上的大量实验表明,与现有方法相比,我们的模型可以实现约10%的改进。源代码可在https://github.com/jinguangyin/Auto-DSTSGN上获得。
2022-07-22 cs.LG
Temporal Graph Network Embedding with Causal Anonymous Walks Representations
HSE University(高等经济大学);University of Ljubljana(卢布尔雅那大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sber AI Lab(Sber人工智能实验室)
图机器学习中的许多任务,例如链接预测和节点分类,通常通过使用表示学习来解决,其中网络中的每个节点或边通过嵌入进行编码。虽然静态图中存在大量的网络嵌入,但当分析动态(即时态)网络时,任务变得更加复杂。本文提出了一种新的基于时态图网络的动态网络表示学习方法,该方法通过提取因果匿名路径,使用高度自定义的消息生成函数。为了评估,我们提供了一个基准管道的时间网络嵌入的评估。这项工作为涉及节点分类和链接预测的图机器学习问题的每个可用设置中的时态网络表示学习提供了第一个全面的比较框架。所提出的模型优于国家的最先进的基线模型。这项工作还证明了它们之间的差异的基础上评估在各种转导/感应边缘/节点分类任务。此外,我们展示了我们的模型在现实世界的下游图机器学习任务中的适用性和优越性能,该任务由欧洲顶级银行之一提供,涉及基于交易数据的信用评分。
2021-08-24 cs.LG
Learning The Sequential Temporal Information with Recurrent Neural Networks
XRVision Research and Development center(XRVision研发中心)
递归神经网络是处理自然语言、声音、时间序列数据等序列数据的最有效和最有前途的人工神经网络算法之一。与传统的前馈网络不同,递归网络具有固有的反馈回路,允许存储时间上下文信息并将信息的状态传递给整个事件序列。这有助于在许多重要任务中实现最先进的性能,例如语言建模、股票市场预测、图像描述、语音识别、机器翻译和对象跟踪等,然而,训练完全连接的RNN和管理梯度流是一个复杂的过程。许多研究都是针对上述局限性进行的。本文旨在提供有关递归神经元的简要细节,它的变化和训练全递归神经网络的行程和技巧。这项审查工作是作为我们的IPO工作室软件模块“多目标跟踪”的一部分进行的。
2018-07-08 cs.CV cs.LG stat.ML
STLGRU: Spatio-Temporal Lightweight Graph GRU for Traffic Flow Prediction
Sungkyunkwan University(成均馆大学);University of California, Riverside(加州大学河滨分校);Cornell University(康奈尔大学)
为解决交通流预测中模型内存消耗大且难以同时捕捉时空依赖的问题,提出轻量级模型STLGRU,通过记忆增强注意力与门控机制同步学习时空关系,在减少参数与内存占用的同时实现了最先进的预测性能和计算效率。
2024-02-19 cs.LG
Residual Memory Networks: Feed-forward approach to learn long temporal dependencies
Brno University of Technology(布尔诺理工大学)
训练深度递归神经网络(RNN)架构由于增加的网络复杂性而变得复杂。这破坏了使用深度RNN学习高阶抽象。在前馈网络的情况下,训练深层结构是简单和快速的,而学习长期的时间信息是不可能的。在本文中,我们提出了一个残留的记忆神经网络(RMN)架构,使用深前馈层具有残留和时间延迟的连接模型的短期依赖。剩余连接通过实现不受阻碍的梯度流和时间延迟单元捕获具有共享权重的时间信息,为构建更深层次的网络铺平了道路。RMN中的层的数量表示分层处理深度和时间深度。与深度递归网络相比,训练RMN的计算复杂性显著降低。RMN进一步扩展为双向RMN(BRMN),以捕获过去和未来的信息。在AMI语料库上的实验分析证实了RMN学习长期信息和层次信息的能力。识别性能的RMN训练300小时的总机语料库进行了比较,与各种国家的最先进的LVCSR系统。结果表明,RMN和BRMN相对于LSTM和BLSTM网络获得了6%和3.8%的相对改进。
2018-08-06 cs.CL cs.LG stat.ML
Adaptive Learning Method of Recurrent Temporal Deep Belief Network to Analyze Time Series Data
Prefectural University of Hiroshima(广岛县立大学);Hiroshima City University(广岛市立大学)
深度学习具有分层网络架构来表示输入模式的复杂特征。这种结构是众所周知的,代表更高的学习能力相比,一些传统的模型,如果最佳的网络结构中的最佳参数集被发现。我们一直在开发的自适应学习方法,可以发现最佳的网络结构在深度信念网络(DBN)。该学习方法可以在学习阶段用每个受限玻尔兹曼机中的最优隐层神经元数目和DBN中的最优层数来构造网络结构。该学习方法的网络结构可以根据大数据集的给定输入模式自组织。在本文中,我们嵌入自适应学习方法的递归时态RBM和DBN的自生成层。为了验证该方法的有效性,实验结果表明,该方法的分类能力比传统方法有较大提高。
2018-07-11 cs.LG cs.NE stat.ML
Fast Transient Stability Prediction Using Grid-informed Temporal and Topological Embedding Deep Neural Network
本文提出TTEDNN模型,利用电网信息邻接矩阵融合结构与电气参数,从早期暂态动态时序数据中提取时空和拓扑特征,实现快速准确的暂态稳定预测,并在IEEE 39和118节点系统中验证了其最优鲁棒性和迁移能力。
2022-01-23 cs.LG cs.SY eess.SY