Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time Series Prediction
Hangzhou Dianzi University（杭州电子科技大学）
随着工业系统变得越来越复杂，从监控到我们的健康的所有监测传感器变得越来越普遍，多变量时间序列预测在我们社会的平稳运行中占据重要地位。具有注意力的递归神经网络有助于扩展预测窗口，这是这项任务的最新技术。然而，我们认为它们的消失梯度，短记忆和串行架构使RNN从根本上不适合复杂数据的长期预测。时间卷积网络（TCN）不受梯度问题的影响，并且支持并行计算，使其成为更合适的选择。此外，它们比RNN具有更长的记忆，尽管存在一些不稳定性和效率问题。因此，我们提出了一个框架，称为PSTA-TCN，它结合了一个并行的时空注意力机制，以提取动态的内部相关性与堆叠TCN骨干提取功能，从不同的窗口大小。该框架充分利用并行计算，大大减少了训练时间，同时大幅提高了准确性，稳定的预测窗口比现状长13倍。
2022-03-02 cs.AI cs.LG
ChemTime: Rapid and Early Classification for Multivariate Time Series Classification of Chemical Sensors
Worcester Polytechnic Institute（伍斯特理工学院）；U.S. Army DEVCOM Soldier Center（美国陆军DEVCOM士兵中心）
针对化学电阻传感器阵列的化学检测需求，该研究调研相关分类方法，提出新型ChemTime多变量时间序列分类方法，在保证轻量设备性能的同时实现快速早期分类与高精度。
2023-12-15 cs.LG q-bio.QM
Transformer-based Multivariate Time Series Anomaly Localization
KIOS Research and Innovation Center of Excellence（KIOS研究与创新中心）；Department of Electrical and Computer Engineering, University of Cyprus（电子与计算机工程系）；Department of Mathematics and Statistics, University of Cyprus（数学与统计学系）
本文提出基于Transformer的多变量时间序列异常定位模型，通过改进自注意力机制提升定位性能，并引入STAS和SFAS度量标准以增强异常检测的准确性。
2025-04-03 cs.LG
Machine Learning-based vs Deep Learning-based Anomaly Detection in Multivariate Time Series for Spacecraft Attitude Sensors
Airbus Defence and Space GmbH（空中客车防务与航天有限公司）；Delft University of Technology（代尔夫特理工大学）
本文比较了机器学习与深度学习方法在航天器姿态传感器多变量时间序列卡滞值检测中的性能、可解释性与泛化能力，为航天器FDIR提供AI新方案。
2024-09-26 cs.AI cs.LG
SEA++: Multi-Graph-based High-Order Sensor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（新加坡南洋理工大学电气与电子工程学院）；School of Computer Science and Engineering, Nanyang Technological University, Singapore（新加坡南洋理工大学计算机科学与工程学院）
针对多变量时间序列无监督域自适应（MTS-UDA）中传感器分布差异被忽略的问题，提出SEA和SEA++方法，通过内特征对齐和外特征对齐在局部和全局传感器级别减少域差异，并在公共数据集上达到最先进性能。
2023-11-17 cs.AI cs.LG
Graph-Guided Network for Irregularly Sampled Multivariate Time Series
Harvard University（哈佛大学）；University of Ljubljana（卢布尔雅那大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
在许多领域，包括医疗保健，生物学和气候科学，时间序列是不规则采样的，连续读数之间的时间间隔不同，在不同的时间点观察到的变量（传感器）的不同子集。在这里，我们介绍RAINDROP，一个图神经网络，它嵌入不规则采样和多变量时间序列，同时也学习传感器的动态纯粹从观测数据。RAINDROP将每个样本表示为一个单独的传感器图，并使用新的消息传递操作符对传感器之间的时变依赖关系进行建模。它估计潜在的传感器图结构，并利用该结构与附近的观察结果来预测未对准的读数。这个模型可以被解释为一个图神经网络，它通过图发送消息，这些图被优化用于捕获传感器之间的时变依赖关系。我们使用RAINDROP对时间序列进行分类，并在三个医疗保健和人类活动数据集上解释时间动态。RAINDROP的性能比最先进的方法高出11.4%（绝对F1得分），包括使用固定离散化和集合函数处理不规则采样的技术。RAINDROP在各种设置中显示出优越性，包括具有挑战性的传感器离开设置。
2022-03-16 cs.AI cs.LG
GARNN: An Interpretable Graph Attentive Recurrent Neural Network for Predicting Blood Glucose Levels via Multivariate Time Series
Institute of Health Informatics, University College London（伦敦大学学院健康信息学研究所）；Department of Psychiatry, University of Oxford（牛津大学精神病学系）；Department of Diabetes & Endocrinology, University College London Hospitals（伦敦大学学院医院糖尿病与内分泌科）；Centre for Bio-Inspired Technology（仿生技术中心）
本文提出可解释的图注意力循环神经网络GARNN，通过图注意力机制对多元时间序列建模以预测血糖，在四个数据集上优于十二种基线方法，并具备高质量时间可解释性，有望改善糖尿病护理。
2024-02-26 cs.AI cs.LG
A Synthetic Multivariate Refrigerator Time-Series Dataset for Predictive Maintenance
Université de Sherbrooke（舍布鲁克大学）
该研究构建了一个包含27台冰箱、706万行数据的合成多元时间序列数据集，用于支持故障预测、退化分析及跨配置学习。
2026-09-22 cs.LG
MGADN: A Multi-task Graph Anomaly Detection Network for Multivariate Time Series
Tianjin University（天津大学）
时间序列的异常检测，特别是多变量时间序列（多传感器时间序列）的异常检测，一直是人们关注的焦点。虽然现有的方法已经取得了很大的进展，但仍有一些具有挑战性的问题需要解决。首先，包括神经网络在内的现有方法仅关注时间戳方面的关系。确切地说，他们只想知道过去的数据如何影响未来的数据。然而，一个传感器有时会干扰其他传感器，例如风速可能导致温度下降。其次，时间序列异常检测的模型主要有两类：预测模型和重构模型。预测模型善于学习及时表示，但面对稀疏异常时能力不足。重建模型则相反。因此，如何有效地获得时间戳和传感器之间的关系成为我们的主要课题。我们的方法使用GAT，这是源于图神经网络，以获得传感器之间的连接。LSTM用于及时获取关系。我们的方法也被设计为双头计算预测损失和重建损失通过VAE（变分自动编码器）。为了充分利用两种模型的优点，在模型中采用了多任务优化算法。
2022-11-27 cs.AI cs.LG
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
National University of Singapore（新加坡国立大学）
给定高维时间序列数据（例如，传感器数据），我们如何检测异常事件，如系统故障和攻击？更具挑战性的是，我们如何以一种捕获复杂的传感器间关系的方式来做到这一点，并检测和解释偏离这些关系的异常情况？最近，深度学习方法已经能够改进高维数据集中的异常检测;然而，现有方法没有显式地学习变量之间现有关系的结构，或者使用它们来预测时间序列的预期行为。我们的方法结合了结构学习方法与图神经网络，另外使用注意力权重来提供检测到的异常的可解释性。在两个真实传感器数据集上进行的实验表明，我们的方法比基线方法更准确地检测异常，准确地捕获传感器之间的相关性，并允许用户推断检测到异常的根本原因。
2021-06-13 cs.AI cs.LG
Graph-Aware Contrasting for Multivariate Time-Series Classification
Institute for Infocomm Research, A*STAR（新加坡A*STAR资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡A*STAR前沿人工智能研究中心）；Nanyang Technological University（南洋理工大学）
针对多元时间序列分类中现有对比学习方法忽略空间一致性的问题，提出图感知对比方法，通过节点和边增强及多层级图对比提取鲁棒特征，并引入多窗口时间对比，在多个任务上达到最先进性能。
2024-01-10 cs.LG
Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data
HSE University（高等经济大学）；AIRI（人工智能研究所）；NITU MISIS（国立研究型技术大学莫斯科国立钢铁合金学院）
及时检测化学工艺过程中的异常，以及最早检测故障原因，显著降低工业工厂的生产成本。通过大量不同的传感器接收关于工艺过程状态和生产设备运行的数据。为了更好地预测过程和设备的行为，不仅需要单独考虑每个传感器中信号的行为，还需要考虑它们之间的相关性和隐藏关系。基于图的数据表示有助于解决这一问题。图形节点可以表示为来自不同传感器的数据，并且边可以显示这些数据对彼此的影响。在这项工作中，应用图神经网络在化工过程中的故障诊断问题的可能性进行了研究。提出在图神经网络的训练过程中构造一个图。这允许在传感器之间的依赖性事先未知的情况下对数据进行训练模型。在这项工作中，几种方法获得邻接矩阵被认为是，以及他们的质量进行了研究。还提出了在一个模型中使用多个邻接矩阵。我们展示了田纳西州伊士曼过程数据集的故障诊断任务的最先进的性能。所提出的图神经网络优于递归神经网络的结果。
2022-10-20 cs.AI cs.LG
Data Augmentation of Multivariate Sensor Time Series using Autoregressive Models and Application to Failure Prognostics
本文提出基于时变自回归过程的非平稳多元传感器时间序列数据增强方法，利用 CMAPSS 数据集和 AutoML 预测方案验证其可在数据稀缺场景下显著提升故障预测性能。
2024-10-24 cs.LG math.ST stat.ME
Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting
McGill University（麦吉尔大学）
时间序列预测是一个长期的研究课题，在许多领域都有重要的应用。从传感器网络收集的现代时间序列（例如，能量消耗和交通流量）通常是大规模的和不完整的，具有相当大的破坏和缺失值，使得难以执行准确的预测。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架来建模多元时间序列数据。LATC的关键是将原始多变量时间序列矩阵（例如，传感器$\times$时间点）到三阶张量结构（例如，传感器$\times$一天中的时间$\times$一天），这允许我们将时间序列的固有节奏和季节性建模为全局模式。利用张量结构，我们可以将时间序列预测和缺失数据填补问题转化为一个通用的低秩张量补全问题。除了最小化张量秩，我们还集成了一个新的自回归范数的原始矩阵表示到目标函数。这两个组成部分发挥不同的作用。低秩结构使我们能够有效地捕捉所有三个维度的全球一致性和趋势（即，传感器之间的相似性、不同日期的相似性以及当前时间与历史上的同一天）。自回归范数可以更好地模拟局部时间趋势。我们在三个真实数据集上的数值实验表明，在缺失数据插补和滚动预测任务中，LATC中全局和局部趋势的集成具有优越性。
2020-06-18 cs.LG stat.ML
KANS: Knowledge Discovery Graph Attention Network for Soft Sensing in Multivariate Industrial Processes
University of Twente（特文特大学）；Wright State University（莱特州立大学）
针对工业多变量过程的非线性、动态性和非欧依赖问题，提出KANS框架，通过无监督图结构学习与图注意力表征学习实现无需预定义拓扑的高精度、可解释软测量。
2025-01-02 cs.AI cs.LG cs.SY
Lightweight Multi-System Multivariate Interconnection and Divergence Discovery
Centre for Artificial Intelligence Research (CAIR) University of Agder, Norway（人工智能研究中心（CAIR）大学阿格德，挪威）；Baylor University, USA（贝勒大学，美国）；University of Rochester, USA（罗切斯特大学，美国）；University of Alabama, USA（阿拉巴马大学，美国）；University of Virginia, USA（弗吉尼亚大学，美国）；Brown University, USA（布朗大学，美国）
本文提出轻量级互连与差异发现机制LIDD，通过多元相似性热图和信息检索识别多系统环境中的异常行为，并在CMS强子量能器读出系统上验证了其聚类一致性与根因估计能力。
2024-04-12 cs.LG cs.SY eess.SY
Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；Nanyang Technological University（南洋理工大学）
针对多元时间序列数据中现有GNN方法无法捕获不同时间戳下不同传感器间相关性的问题，提出全连接时空图神经网络（FC-STGNN），通过衰减图构建和移动池化GNN层有效捕获时空依赖，在多个数据集上表现优异。
2024-01-10 cs.LG
Anomaly Detection with Generative Adversarial Networks for Multivariate Time Series
National University of Singapore（新加坡国立大学）；ST Electronics (Info Security) Pte Ltd.（新科电子（信息安全）私人有限公司）
今天的网络物理系统（CPS）是大型的，复杂的，并附有网络传感器和执行器，是网络攻击的目标。传统的检测技术无法处理CPS的日益动态和复杂的性质。另一方面，联网的传感器和致动器产生大量的数据流，可以连续监视入侵事件。无监督机器学习技术可用于对系统行为进行建模，并将异常行为分类为可能的攻击。在这项工作中，我们提出了一种新的生成对抗网络为基础的异常检测（GAN-AD）方法，这种复杂的网络CPS。我们在GAN中使用LSTM-RNN来捕获CPS正常工作条件下传感器和执行器的多变量时间序列的分布。而不是单独对待每个传感器和执行器的时间序列，我们同时考虑到它们之间潜在的潜在相互作用的CPS中的多个传感器和执行器的时间序列建模。为了利用我们的GAN的生成器和递归，我们将GAN训练的递归与生成器重建数据和实际样本之间的残差一起部署，以检测复杂CPS中可能的异常。我们使用GAN-AD来区分复杂的六阶段安全水处理（SWaT）系统的正常工作条件和异常攻击情况。实验结果表明，该策略能够有效地识别各种攻击引起的异常，与现有方法相比，具有较高的检测率和较低的误报率。
2019-01-15 cs.LG stat.ML
Continual Learning for Multivariate Time Series Tasks with Variable Input Dimensions
TCS Research（塔塔咨询服务公司研究院）
我们考虑一系列相关的多变量时间序列学习任务，例如从多传感器数据的时间序列中预测机器的不同实例的故障，或者从多个可穿戴传感器中对不同个体的活动识别任务。我们专注于在这种环境中出现的两个未充分探索的实际挑战：（i）每个任务可能具有不同的传感器子集，即，提供对基础“系统”的不同部分观察。这种限制可能是由于不同的制造商在前一种情况下，和人们穿着或多或少的测量设备在后者（ii）我们不允许存储或重新访问数据从一个任务，一旦它已被观察到在任务级别。这可能是出于对人的隐私考虑，或者是机器所有者的法律限制。尽管如此，我们希望（a）利用完成任务的经验提高后续任务的性能，以及（b）继续在过去的任务中表现得更好，例如，在从随后观察到的机器中学习之后，更新模型并改进甚至第一台机器上的预测。我们注意到，现有的持续学习方法不考虑由于跨任务可用的传感器的不同子集而产生的输入维度的可变性，并且难以适应这种可变输入维度（VID）任务。在这项工作中，我们解决了现有方法的这一缺点。为此，我们学习特定于任务的生成模型和分类器，并使用它们来增强目标任务的数据。由于任务之间的输入维度不同，我们提出了一种新的条件模块的基础上图神经网络，以帮助一个标准的递归神经网络。我们评估了所提出的方法在三个公开可用的数据集上的有效性，这些数据集对应于两个活动识别任务（分类）和一个统计任务（回归）。
2022-03-14 cs.LG
Latent Temporal Flows for Multivariate Analysis of Wearables Data
University of Virginia（弗吉尼亚大学）；Apple（苹果公司）
越来越多地使用来自可穿戴设备的传感器信号作为生理数据的丰富来源，这引发了人们对开发健康监测系统以识别个人健康状况变化的兴趣。事实上，传感器信号的机器学习模型已经实现了各种各样的医疗保健相关应用，包括异常的早期检测、生育跟踪和药物不良反应预测。然而，这些模型可能无法解释底层传感器信号的相关高维性质。在本文中，我们介绍了潜在的时间流，多变量时间序列建模的方法，适合这种设置。我们假设一组序列是由一个未观测到的时变低维特征向量的多变量概率模型生成的。Latent Temporal Flows通过深度自动编码器映射同时恢复观察到的序列到低维潜在表示的转换，并通过归一化流估计时间条件概率模型。使用来自苹果心脏和运动研究（AH&MS）的数据，我们展示了对这些具有挑战性的信号的预测性能。此外，通过分析我们的模型学习的二维和三维表示，我们表明，我们可以识别参与者的$\text{VO}_2\text{max}$，一个主要指标和心肺健康的总结，只使用较低级别的信号。最后，我们表明，所提出的方法始终优于国家的最先进的多步预测基准（实现至少$10\%$性能的改善）在几个真实世界的数据集，同时享受提高计算效率。
2022-10-14 cs.LG eess.SP
Dataset: Rare Event Classification in Multivariate Time Series
ProcessMiner, Inc.（ProcessMiner公司）
从纸浆和造纸工业提供真实世界的数据集。该数据集来自多变量时间序列过程。该数据包含行业中常见的罕见断纸事件。数据包含以规则时间间隔（x）的传感器读数和事件标签（y）。这些数据的主要目的被认为是建立一个分类模型，用于早期预测罕见事件。然而，它也可以用于多变量时间序列数据探索和建立其他监督和无监督模型。
2019-05-31 cs.LG stat.ML
Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection
在这项工作中，我们提出了GLUE（图形偏差网络与本地不确定性估计），最近提出的图形偏差网络（GDN）的基础上。GLUE不仅可以自动学习变量之间的复杂依赖关系，并使用它们来更好地识别异常行为，还可以量化其预测的不确定性，使我们能够解释数据中的变化，并具有更多可解释的异常检测阈值。两个真实世界数据集上的结果告诉我们，优化负高斯对数似然是合理的，因为GLUE的预测结果与GDN相当，实际上优于向量自回归基线，这是重要的，因为GDN直接优化了MSE损失。总之，我们的实验表明，GLUE在异常检测方面与GDN具有竞争力，并具有不确定性估计的额外好处。我们还表明，GLUE学习有意义的传感器嵌入集群相似的传感器在一起。
2021-12-07 cs.AI cs.LG
Sensor selection on graphs via data-driven node sub-sampling in network time series
Université de Bordeaux（波尔多大学）
本文研究了在时间序列网络中选择最佳采样集的问题，以使未观测到的传感器的信号恢复具有最小的重构误差。这个问题的动机是应用程序中的时间相关的图形信号收集冗余网络。在这种情况下，人们可能希望仅使用传感器的子集来预测底层图中整个节点集合上的数据流。一个典型的应用是减少可能具有有限电池供应的传感器网络中的功耗的可能性。我们提出并比较了各种数据驱动的策略，以关闭固定数量的传感器或等效地选择一组采样节点。我们还将我们的方法与现有的文献中的传感器选择从多变量数据（可能）的底层图形结构。我们的方法结合了多变量时间序列分析，图形信号处理，高维统计学习和深度学习的工具。为了说明我们的方法的性能，我们报告了不同城市自行车共享网络的真实数据分析的数值实验。
2020-04-24 cs.LG stat.ML
SERT: A Transfomer Based Model for Spatio-Temporal Sensor Data with Missing Values for Environmental Monitoring
Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；Maynooth University（梅努斯大学）；University of León（莱昂大学）；Dublin City University（都柏林城市大学）
针对环境监测中传感器时空数据存在缺失、形成多变量未对齐稀疏时间序列的问题，提出SERT和SST-ANN两种无需插补即可处理缺失数据的多变量时空预测模型，实验显示其性能达到或优于现有最优水平。
2023-06-09 cs.AI cs.LG
MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）；ST Electronics (Info Security) Pte Ltd（新科电子（信息安全）私人有限公司）
网络传感器和执行器在许多现实世界的系统，如智能建筑，工厂，发电厂和数据中心中的流行产生了大量的多变量时间序列数据，这些系统。丰富的传感器数据可以通过异常检测持续监测入侵事件。然而，传统的基于阈值的异常检测方法是不够的，由于这些系统的动态复杂性，而监督机器学习方法是无法利用大量的数据，由于缺乏标记的数据。另一方面，当前的无监督机器学习方法还没有充分利用系统中的多个变量（传感器/致动器）之间的时空相关性和其他依赖性来检测异常。在这项工作中，我们提出了一种无监督的多变量异常检测方法的基础上生成的对抗生成对抗网络（GANs）。我们提出的MAD-GAN框架不是独立地处理每个数据流，而是同时考虑整个变量集，以捕获变量之间的潜在相互作用。我们还充分利用生成器和生成器产生的GAN，使用一种新的异常分数称为DR分数检测异常的歧视和重建。我们已经使用从现实世界CPS收集的两个最近的数据集测试了我们提出的MAD-GAN：安全水处理（SWaT）和水分配（WADI）数据集。我们的实验结果表明，所提出的MAD-GAN是有效的报告异常所造成的各种网络入侵相比，在这些复杂的现实世界的系统。
2019-01-15 cs.LG stat.ML
Federated Variational Learning for Anomaly Detection in Multivariate Time Series
Air Force Research Laboratory（空军研究实验室）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）
网络化传感器和执行器产生的高维多变量时间序列数据的异常检测一直是一个具有挑战性的任务。除了这种时间序列的高度非线性、复杂性和动态性之外，缺乏标记数据阻碍了以监督的方式进行数据开发，从而阻止了对异常现象的准确检测。另一方面，在网络边缘收集的数据往往是隐私敏感的，并且数量很大，这可能会阻碍在主服务器上进行集中训练。为了解决这些问题，我们提出了一个无监督的时间序列异常检测框架，以联邦的方式持续监控网络中互连设备的行为，并对异常事件发出警报，以便在发生意外后果之前采取对策。具体而言，我们将分布在边缘的训练数据保留以学习基于卷积门控递归单元（ConvGRU）模型的共享变分自编码器（VAE），其联合捕获多变量时间序列数据中的特征和时间依赖性，用于表示学习和下游异常检测任务。三个真实世界的网络传感器数据集上的实验说明了我们的方法比其他国家的最先进的模型的优势。我们还进行了广泛的实验，以证明我们的检测框架下的非联邦和联邦设置的整体性能和检测延迟的有效性。
2021-08-29 cs.LG
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover（莱布尼茨汉诺威大学）
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务，例如在状态监测的上下文中，但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中，我们提出了一种无监督的特征提取使用自动编码器网络，专门解决数据库的异构性，并减少了标记的训练数据的量相比，现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
A Multivariate Statistical Framework for Detection, Classification and Pre-localization of Anomalies in Water Distribution Networks
Institute of Computer Science and Information Technologies, National Technical University "Kharkiv Polytechnic Institute"（计算机科学与信息科技研究所，国家技术大学"Kharkiv 工程学院"）；Informatics Institute, University of Amsterdam（信息学院，阿姆斯特丹大学）；Bernoulli Institute, University of Groningen（伯努利研究所，格罗宁根大学）
本文提出SICAMS框架，通过多元统计分析实现水供网络中异常的检测、分类和预定位，利用T²统计量评估系统健康状态并估计水损失。
2025-12-17 cs.LG
Graph Spectral Embedding for Parsimonious Transmission of Multivariate Time Series
Geometric Data Analytics, Inc.（几何数据分析公司）；Duke University（杜克大学）
我们提出了一个图频谱表示的时间序列数据，1）是简约地编码到用户要求的分辨率; 2）是无监督的和性能的数据约束的情况下; 3）捕获事件和事件的过渡结构内的时间序列;和4）具有近线性的计算复杂度在信号长度和环境维度。这种表示，我们称之为拉普拉斯事件信号分割（LESS），可以计算任意维度的时间序列和起源于任意类型的传感器。因此，源自异构类型的传感器的时间序列可以被压缩到受约束的通信环境所要求的水平，然后在公共中心处被融合。在没有明确分区或概率建模的情况下总结了数据的时间动态。作为一个证明的原则，我们将这种技术应用于高维小波系数计算的自由口语数字数据集，以产生一个内存有效的表示，是可解释的。由于其无监督和非参数的性质，LESS表示在数字分类任务中仍然表现出色，尽管没有标签和有限的数据。
2019-10-10 cs.LG stat.ML
Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks
The Swiss AI Lab IDSIA, Università della Svizzera italiana（瑞士人工智能实验室IDSIA，瑞士意大利语区大学）；Politecnico di Milano（米兰理工大学）
处理缺失值和不完整的时间序列是一项劳动密集型，繁琐，不可避免的任务，当处理来自现实世界的应用程序的数据。有效的时空表示将允许插补方法通过利用来自不同位置的传感器的信息来重建缺失的时间数据。然而，标准方法在捕获互连传感器网络内存在的非线性时间和空间依赖性方面存在不足，并且没有充分利用可用的（并且通常是强的）关系信息。值得注意的是，大多数基于深度学习的最先进的插补方法没有明确地对关系方面进行建模，并且在任何情况下都没有利用能够充分表示结构化时空数据的处理框架。相反，图神经网络最近作为处理具有关系归纳偏差的序列数据的表达和可扩展工具而流行起来。在这项工作中，我们提出了第一个评估的图神经网络的背景下，多变量时间序列插补。特别是，我们介绍了一种新的图神经网络架构，名为GRIN，其目的是在重建丢失的数据在不同渠道的多元时间序列通过学习时空表示通过消息传递。实证结果表明，我们的模型优于国家的最先进的方法在相关的现实世界的基准与平均绝对误差的改善往往高于20%的插补任务。
2022-02-10 cs.AI cs.LG
HFN: Heterogeneous Feature Network for Multivariate Time Series Anomaly Detection
National University of Defense Technology（国防科技大学）；National SuperComputing Center in Tianjin（国家超级计算天津中心）；Lancaster University（兰卡斯特大学）
对工业设备或计算机系统的网络或物理攻击可能造成巨大损失。因此，基于监测数据，特别是多变量时间序列数据的快速、准确的异常检测具有重要意义。作为MTS数据异常检测的关键步骤，不同变量之间的关系学习已经被许多方法所探索。然而，现有的方法大多没有考虑变量之间的异质性，即不同类型的变量（连续数值变量，离散分类变量或混合变量）可能具有不同的和独特的边缘分布。本文提出了一种基于异构特征网络（HFN）的MTS半监督异常检测框架，从大量未标记的时间序列数据中学习异构结构信息以提高异常检测的准确性，并利用注意力系数对检测到的异常进行解释。具体而言，首先将传感器嵌入生成的嵌入相似度子图与传感器值生成的特征值相似度子图相结合，构建时间序列异构图，充分利用变量间丰富的异构互信息。然后，预测模型包含节点和信道的关注度进行联合优化，以获得更好的时间序列表示。该方法融合了异构图结构学习（HGSL）和表示学习的最新技术。在实际应用中的4个传感器数据集上的实验表明，该方法比基线方法更准确地检测到异常，从而为异常的快速定位提供了基础。
2022-11-02 cs.AI cs.CR cs.LG
Maximising Weather Forecasting Accuracy through the Utilisation of Graph Neural Networks and Dynamic GNNs
天气预报是应对全球气候变化的重要任务。天气预报需要分析异构气象传感器生成的多变量数据。这些传感器包括地面传感器、无线电探空仪和安装在卫星上的传感器等，为了分析这些传感器产生的数据，我们使用基于图神经网络（GNNs）的天气预报模型。GNN是基于图学习的模型，在许多机器学习方法中表现出强大的经验性能。在这项研究中，我们研究了使用GNNs和传统的基于机器学习的模型进行天气预报的性能。
2023-02-08 cs.LG
Handling Variable-Dimensional Time Series with Graph Neural Networks
TCS Research（TCS研究院）
物联网（IoT）技术的几个应用涉及从多个传感器捕获数据，从而产生多传感器时间序列。现有的基于神经网络的用于这种多传感器或多变量时间序列建模的方法假定传感器的输入维度或数量是固定的。这种方法在实际环境中可能会遇到困难，其中相同设备或设备的不同实例，例如移动设备，可穿戴设备，发动机等，带有安装的传感器的不同组合。我们考虑从这样的多传感器时间序列训练神经网络模型，其中时间序列由于在时间序列的每个源处的传感器的不同子集的可用性或安装而具有不同的输入维度。我们提出了一种新的神经网络架构，适合zero-shot迁移学习，允许强大的推断多变量时间序列与以前看不见的可用尺寸或传感器在测试时的组合。通过用“调节向量”调节基于核心神经网络的时间序列模型的层来实现这种组合泛化，所述“调节向量”携带每个时间序列的传感器的可用组合的信息。通过经由图神经网络汇总与时间序列中的可用传感器相对应的所学习的“传感器嵌入向量”的集合来获得该条件向量。我们在公开的活动识别和设备特征数据集上评估了所提出的方法，并表明所提出的方法与深度门控递归神经网络基线相比具有更好的泛化能力。
2020-07-20 cs.LG eess.SP stat.ML
SFFDD: Deep Neural Network with Enriched Features for Failure Prediction with Its Application to Computer Disk Driver
提出了一种结合新的特征推导方法的分类技术，用于预测具有多变量时间序列传感器数据的系统或设备的故障。我们把多变量时间序列传感器数据作为图像进行可视化和计算。失败遵循与根本原因密切相关的各种模式。对原始传感器数据应用不同的预定义变换，以更好地表征故障模式。为了进一步提高分类器的性能，在特征提取的基础上，采用了集成方法。此外，提出了一种通用的深度神经网络算法架构，以较少的人工特征工程处理多种类型的数据。将该方法应用于计算机磁盘驱动器故障的早期预测，以提高存储系统的可用性，避免数据丢失。智能特征的引入大大提高了分类精度。
2021-09-20 cs.LG stat.ML
Deep Convolutional Autoencoder for Assessment of Drive-Cycle Anomalies in Connected Vehicle Sensor Data
Michigan Technological University（密歇根理工大学）；New York University School of Medicine（纽约大学医学院）；Ford Motor Company（福特汽车公司）
提出一种全卷积自编码器，通过重建混合动力车动力总成多元传感器时序数据来无监督检测驾驶循环异常，实验证明其优于传统异常检测器和其他深度学习方法。
2024-09-09 cs.LG cs.NE
A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data
University of Notre Dame（圣母大学）；NEC Laboratories America, Inc.（NEC美国实验室公司）；Columbia University（哥伦比亚大学）
如今，多变量时间序列数据越来越多地收集在各种现实世界系统中，例如，发电厂、可穿戴设备等。多元时间序列中的异常检测和诊断是指识别特定时间步长中的异常状态并查明根本原因。然而，构建这样的系统是具有挑战性的，因为它不仅需要捕获每个时间序列中的时间依赖性，而且还需要对不同时间序列对之间的相互关联进行编码。此外，该系统应该对噪声具有鲁棒性，并根据不同事件的严重程度为操作员提供不同级别的异常评分。尽管已经开发了许多无监督的异常检测算法，但很少有人能够共同应对这些挑战。在本文中，我们提出了一个多尺度卷积递归编码器-解码器（MSCRED），进行异常检测和诊断的多变量时间序列数据。具体而言，MSCRED首先构造多尺度（分辨率）特征矩阵，以表征不同时间步长中的多个级别的系统状态。随后，给定的签名矩阵，卷积编码器被用来编码传感器间（时间序列）的相关性和基于注意力的卷积长短期记忆（ConvLSTM）网络被开发来捕获的时间模式。最后，基于对传感器间相关性和时间信息进行编码的特征图，卷积解码器被用于重构输入签名矩阵，并且残余签名矩阵被进一步用于检测和诊断异常。基于合成数据集和真实电厂数据集的广泛实证研究表明，MSCRED可以优于最先进的基线方法。
2018-11-20 cs.LG stat.ML
Low-Rank and Structured Sparse Tensor Decomposition for Anomaly Detection in Multivariate Functional Data
Georgia Institute of Technology（佐治亚理工学院）
针对多元函数数据异常检测，提出ES-CP和FG-Lasso两种无监督稀疏张量分解方法，通过低秩CP分解和结构化稀疏惩罚，在模拟与锻造案例中显著提升检测与定位性能。
2026-10-07 cs.LG stat.AP stat.CO
LFZip: Lossy compression of multivariate floating-point time series data via improved prediction
Stanford University（斯坦福大学）；Siemens Corporation（西门子公司）
随着物联网设备和传感器的增长，时间序列数据压缩正在成为一个重要问题。由于这些数据集中存在噪声，有损压缩通常可以提供显著的压缩增益，而不会影响下游应用程序的性能。在这项工作中，我们提出了一个错误有界的有损压缩器，LFZip，多变量浮点时间序列数据，提供保证重建用户指定的最大绝对误差。压缩器基于预测-量化-熵编码器框架，并且受益于使用线性模型和神经网络的改进预测。我们评估的压缩机上的几个时间序列数据集，它优于现有的最先进的误差有界有损压缩机。代码和数据可在https://github.com/shubhamchandak94/LFZip上获得
2020-01-13 cs.LG eess.SP
Effective Abnormal Activity Detection on Multivariate Time Series Healthcare Data
Imperial College London（伦敦帝国理工学院）；University of York（约克大学）
针对多变量时间序列医疗数据中异常模式多样且难以察觉的挑战，提出基于残差的异常检测方法Rs-AD，在真实步态数据集上实现0.839的F1分数。
2023-09-11 cs.AI cs.LG
Fast and Robust Video-Based Exercise Classification via Body Pose Tracking and Scalable Multivariate Time Series Classifiers
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学）；Dublin City University（都柏林城市大学）；Output Sports Limited（Output体育有限公司）
技术进步促进了基于机器学习的应用在体育科学中的使用。物理治疗师、体育教练和运动员积极寻求采用最新技术，以进一步提高性能并避免受伤。虽然可穿戴传感器非常受欢迎，但它们的使用受到电池电量和传感器校准的限制，特别是对于需要将多个传感器放置在身体上的用例。因此，人们对体育科学中基于视频的数据采集和分析重新产生了兴趣。本文提出了一种基于视频的体育课习题分类方法。我们专注于流行的军事新闻演习，在那里的执行是用视频摄像机使用移动终端，如移动电话，目标是将执行分为不同的类型。由于视频记录需要大量的存储和计算，因此该用例需要减少数据，同时保持分类准确性并实现快速预测。为此，我们提出了一种名为BodyMTS的方法，通过使用身体姿势跟踪将视频转换为时间序列，然后使用多变量时间序列分类器进行训练和预测。我们分析了BodyMTS的准确性和鲁棒性，并表明它对由视频质量或姿态估计因素引起的不同类型的噪声具有鲁棒性。我们将BodyMTS与最先进的深度学习方法进行了比较，这些方法直接从视频中对人类活动进行分类，并表明BodyMTS达到了类似的准确性，但减少了运行时间和模型工程工作量。最后，我们讨论了在此应用程序中使用BodyMTS的一些实际方面，即在降低数据质量和大小的情况下的准确性和鲁棒性。我们表明，BodyMTS达到了87%的平均准确率，这是显着高于人类领域专家的准确性。
2022-10-02 cs.CV cs.LG
M$^2$AD: Multi-Sensor Multi-System Anomaly Detection through Global Scoring and Calibrated Thresholding
MIT（麻省理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Amazon（亚马逊）
提出M$^2$AD框架，通过深度模型残差结合高斯混合模型和伽马校准进行全局评分，实现多系统多变量时间序列的无监督异常检测，平均性能提升21%，并在亚马逊130个资产上验证。
2025-04-21 cs.AI cs.LG
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加，因为当前的传感器设备被开发为具有更高的分辨率，并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析（MVA）领域下。本文对主成分分析（PCA）、偏最小二乘（PLS）、典型相关分析（CCA）和正交归一化PLS（OPLS）等方法进行了统一处理，并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系，并介绍了一些最近的发展，以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性，我们分析了它们在公开数据集基准中的性能，并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
Multivariate Time Series Classification with WEASEL+MUSE
Humboldt University of Berlin（柏林洪堡大学）
多变量时间序列（MTS）是指多个相互连接的传感器记录数据随时间的变化。处理这种高维数据对于每个分类器来说至少有两个方面的挑战：首先，MTS不仅由单个特征值表征，而且还由不同维度中特征的相互作用表征。其次，这通常会增加大量不相关的数据和噪音。我们提出了新的MTS分类器WEASEL+MUSE，它解决了这两个挑战。WEASEL+MUSE首先使用应用于MTS的每个维度的滑动窗口方法构建多变量特征向量，然后提取每个窗口和维度的离散特征。特征向量随后被馈送通过特征选择，去除非区别性特征，并由机器学习分类器进行分析。WEASEL+MUSE的新颖之处在于它通过将上下文信息编码到每个特征中来从MTS中提取和过滤多变量特征的特定方式。尽管如此，得到的特征集很小，但对于MTS分类非常有区别和有用。基于20个MTS数据集的流行基准测试，我们发现WEASEL+MUSE是最准确的分类器之一，与最先进的技术相比。WEASEL+MUSE的出色鲁棒性基于运动手势识别数据得到进一步证实，它开箱即用，达到了与特定领域方法相似的精度。
2018-08-17 cs.LG
Multivariate Time Series Classification: A Deep Learning Approach
Corant GmbH / Air-Q company（Corant有限公司 / Air-Q公司）
本文利用气体传感器多元时间序列数据，比较FCN、LSTM及循环自编码器在监督与半监督分类中的表现，以确定最适合环境占用检测的方法。
2023-07-05 cs.LG
Graph Neural Networks for Multivariate Time Series Regression with Application to Seismic Data
Tilburg University（蒂尔堡大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；Istituto Nazionale di Geofisica e Vulcanologia（意大利国家地球物理与火山学研究所）；Università degli Studi Roma Tre（罗马第三大学）；Swiss Seismological Service (SED) at ETH Zurich（苏黎世联邦理工学院瑞士地震服务中心）；Osnabrück University（奥斯纳布吕克大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
随着深度学习的发展，机器学习在分析时间序列方面显示出巨大的潜力。然而，在许多情况下，可以潜在地改进预测的附加信息是可用的。这对于来自以下方面的数据至关重要：传感器网络包含有关传感器位置的信息。然后，这种空间信息可以通过图形结构建模来利用，以及顺序（时间序列）信息。最近在使深度学习适应图形方面取得的进展在各种任务中显示出了潜力。然而，这些方法在很大程度上并不适用于时间序列任务。大多数尝试基本上都是围绕着小序列长度的时间序列预测进行的。通常，这些架构不太适合回归或分类任务，其中要预测的值不严格取决于最近的值，而是取决于时间序列的整个长度。我们提出了TISER-GCN，一种新的图神经网络架构的处理，特别是，这些长时间序列的多元回归任务。我们提出的模型进行了测试，在两个地震数据集包含地震波形，其目标是预测最大强度测量的地面震动在每个地震站。我们的研究结果表明，我们的方法取得了可喜的成果-与最佳性能基线相比，平均MSE降低了16.3%。此外，我们的方法只需要一半的输入大小就可以匹配基线分数。结果进行了深入讨论，额外的消融研究。
2022-10-31 cs.LG
Learning Behavioral Representations from Wearable Sensors
USC Information Sciences Institute（南加州大学信息科学研究所）；University of Washington（华盛顿大学）
从可穿戴式传感器连续收集生理数据能够对个体行为进行时间表征。了解个人的行为模式和心理状态之间的关系可以帮助确定改善生活质量的策略。分析生理数据的一个挑战是从时间传感器信号中提取潜在的行为状态并对其进行解释。在这里，我们使用非参数贝叶斯方法对来自多个人的传感器数据进行建模，并发现他们共享的动态行为。我们将这种方法应用于从医院工作人员佩戴的传感器收集的数据，并表明学习状态可以将参与者聚类为有意义的群体，并更好地预测他们的认知和心理状态。该方法提供了一种从多变量传感器信号中学习可解释的紧凑行为表示的方法。
2020-07-04 cs.LG eess.SP stat.ML
Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data
Stanford University（斯坦福大学）
多变量时间序列的子序列聚类是发现时态数据中重复模式的有效工具。一旦发现了这些模式，看似复杂的数据集就可以被解释为只有少量状态或集群的时间序列。例如，来自健身跟踪应用的原始传感器数据可以被表达为选择的几个动作的时间轴（即，走、坐、跑）。然而，发现这些模式是具有挑战性的，因为它需要同时分割和聚类的时间序列。此外，解释产生的聚类是困难的，特别是当数据是高维的。在这里，我们提出了一种新的基于模型的聚类方法，我们称之为Toeplitz逆协方差聚类（TICC）。TICC方法中的每个聚类由相关网络或马尔可夫随机场（MRF）定义，表征该聚类的典型子序列中不同观测之间的相互依赖性。基于这种图形表示，TICC同时分段和聚类的时间序列数据。我们通过交替最小化，使用期望最大化（EM）算法的变化来解决TICC问题。我们推导出封闭形式的解决方案，有效地解决了两个由此产生的子问题，在一个可扩展的方式，通过动态规划和交替方向的乘法器（ADMM），分别。我们通过将TICC与一系列合成实验中的几个最先进的基线进行比较来验证我们的方法，然后在汽车传感器数据集上演示如何使用TICC来学习现实场景中的可解释集群。
2018-05-15 cs.LG cs.SI math.OC
Efficient pattern-based anomaly detection in a network of multivariate devices
University of Antwerp（安特卫普大学）；Tilburg University（蒂尔堡大学）
提出可扩展的两步异常检测方法BAD，先恢复实体关系，再基于序列模式嵌入检测，在9个基准上F1达0.78，优于基线3%且快一个数量级。
2023-05-07 cs.AI cs.LG cs.NI
STRGCN: Capturing Asynchronous Spatio-Temporal Dependencies for Irregular Multivariate Time Series Forecasting
College of Computer Science, Nankai University（南开大学计算机科学学院）
STRGCN通过将不规则多元时间序列建模为全连接图并结合分层“三明治”结构，在不进行预对齐的情况下直接捕获异步时空依赖，在四个公开数据集上取得最先进精度与高效资源表现。
2025-05-07 cs.LG
Multivariate Time Series Anomaly Detection in Industry 5.0
University of Ferrara（费拉拉大学）；Bonfiglioli S.P.A.（邦菲利奥利股份公司）
针对工业5.0环境下多变量时间序列异常检测面临的海量数据、噪声及标签问题，提出结合嵌入模型与机器学习的框架，在真实工厂数据下验证其抗噪性能优于传统自编码器。
2025-03-20 cs.LG
PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback
IAV GmbH（IAV公司）；Utrecht University（乌得勒支大学）
我们提出了PSEUDo，一种自适应特征学习技术，用于探索多轨道序列数据中的视觉模式。我们的方法设计的主要重点是克服当前基于深度学习的系统中不经济的再训练要求和不灵活的表示学习。由于传感器和数据存储的增加，多轨道时间序列数据以前所未有的规模生成。这些数据集包含有价值的模式，就像在神经营销中，研究人员试图将来自生理传感器的多变量序列数据中的模式与产品和服务的购买行为联系起来。但是，缺乏地面实况和高方差使自动模式检测不可靠。我们的进步是基于一种新的查询感知的局部敏感的哈希技术，以创建一个基于特征的多变量时间序列窗口的表示。最重要的是，我们的算法具有次线性训练和推理时间。我们甚至可以完成10，000个不同的64轨时间序列的建模和比较，每个时间序列在0.8秒内具有100个时间步长（典型的EEG数据集）。这种性能增益允许底层模式相似性模型的快速相关反馈驱动的自适应，并使用户能够逐渐修改速度与准确性的权衡。我们通过定量性能比较和定性视觉质量比较，证明了PSEUDo在效率，准确性和可操控性方面的优越性，以最先进的算法在该领域。此外，我们展示了PSEUDo的可用性，通过案例研究，展示了我们的视觉模式检索概念在一个大型气象数据集。我们发现，我们的自适应模型可以准确地捕捉用户的相似性的概念，并允许在大型多变量时间序列数据集的可理解的探索性视觉模式检索。
2021-05-10 cs.AI cs.DS cs.LG
A textual transform of multivariate time-series for prognostics
GE Global Research（通用电气全球研究院）
早期故障的预测或早期检测是基于状态和预防性维护的重要工业挑战。由于多个相互作用的组件，不受控制的环境因素和可观测性约束，基于物理的方法来建模故障进展是不可行的。此外，这样的方法来识别不推广到新的领域。因此，领域不可知的数据驱动的机器学习方法是理想的。损伤进展是一个依赖于路径的过程，明确建模的时间模式是准确估计当前的损伤状态和其进展导致总故障的关键。在本文中，我们提出了一种新的数据驱动的方法，采用一种新的文本表示的多变量时间传感器观测预测未来的健康状态的监测设备在其生命的早期。这种表示使我们能够利用从文本挖掘的建模，预测和理解的领域不可知的方式遇险模式很好地理解的概念。该方法已被部署，并成功地测试了大规模的多变量时间序列数据从商用飞机发动机。我们报告的实验，众所周知的公开可用的基准数据集和模拟数据集。所提出的方法被证明是优越的预测精度，预测和可解释性的前置时间。
2017-09-19 cs.LG stat.ML
IMUDiffusion: A Diffusion Model for Multivariate Time Series Synthetisation for Inertial Motion Capturing Systems
Research Group Biomechatronics Ulm University of Applied Sciences（生物机械学研究组 奥尔姆应用科学大学）
IMUDiffusion是一种专为惯性运动捕捉系统设计的扩散模型，通过生成合成数据提升人类活动分类器性能，显著提高宏F1分数。
2024-11-05 cs.LG
SAGDFN: A Scalable Adaptive Graph Diffusion Forecasting Network for Multivariate Time Series Forecasting
Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology(Shenzhen)（哈尔滨工业大学（深圳））；NCS Pte Ltd（NCS私人有限公司）；DAMO Academy, Alibaba group（阿里巴巴达摩院）
针对现有时空图神经网络在大规模多变量时间序列预测中可扩展性差、性能受限的问题，提出无需空间先验知识的SAGDFN，可适配数千节点数据集，在大规模数据集上性能显著优于现有最优方法。
2024-06-18 cs.LG
