Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction
Maastricht University（马斯特里赫特大学）
时间序列预测（单变量和多变量）是一个高复杂性的问题，因为必须在输入中检测不同的模式，从高频到低频。在本文中，我们提出了一个新的模型，利用卷积层的特征提取，一个经常性的编码器和线性自回归组件的时间序列预测。我们激励模型，我们测试和比较它对广泛使用的现有架构的基线单变量和多变量时间序列。所提出的模型似乎优于基线，在几乎每一种情况下的多变量时间序列数据集，在某些情况下，甚至有50%的改善，这表明这种混合架构在复杂的时间序列的优势。
2019-03-06 cs.LG stat.ML
Multivariate Time Series Classification using Dilated Convolutional Neural Network
Xsensor Technology Corp（Xsensor科技公司）；University of Alberta（阿尔伯塔大学）
多元时间序列分类是机器学习领域的一个重要研究课题。特征提取是分类任务中的一个主要步骤。传统方法采用手工制作的特征进行分类，而卷积神经网络（CNN）能够自动提取特征。本文将扩张卷积神经网络用于多变量时间序列分类。为了部署扩张的CNN，将多变量时间序列转换为类似图像的样式，并应用扩张和跨步卷积的堆栈来同时提取时间序列中变量的特征。我们在两个人类活动识别时间序列上评估了我们的模型，发现为时间序列提取的自动特征可以像手工制作的特征一样有效。
2019-05-05 cs.LG stat.ML
Generalised Network Autoregressive Processes and the GNAR package
本文介绍了GNAR软件包，该软件包拟合、预测和模拟了一类功能强大的新广义网络自回归过程。这些过程由多变量时间序列以及提供变量间关系信息的真实或推断网络组成。GNAR模型将给定变量和时间的时间序列的值与同一变量和相邻变量的较早值联系起来，并由网络结构控制是否包含。GNAR包旨在适应这种新模型，同时使用标准ts对象和igraph包以便于使用。
2019-12-10 stat.ME
ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models
Beijing Institute of Technology（北京理工大学）
多变量时间序列预测因其在智能交通、人工智能等方面的广泛应用而受到广泛关注。生成模型在时间序列建模中取得了令人印象深刻的结果，因为它们可以建模数据分布并考虑噪声。然而，由于生成模型的函数形式的限制或对超参数的敏感性，许多现有的工作不能被广泛使用。在本文中，我们提出了ScoreGrad，一个基于连续能量生成模型的多变量概率时间序列预测框架。ScoreGrad由时间序列特征提取模块和基于条件随机微分方程的分数匹配模块组成。该预测可以通过迭代求解逆时矩来实现。据我们所知，ScoreGrad是第一个用于时间序列预测的基于连续能量的生成模型。此外，ScoreGrad在六个真实世界的数据集上实现了最先进的结果。超参数和采样器类型对性能的影响也进行了探讨。代码可在https://github.com/yantijin/ScoreGradPred上获得。
2021-06-18 cs.LG stat.ML
Causal Patterns: Extraction of multiple causal relationships by Mixture of Probabilistic Partial Canonical Correlation Analysis
在本文中，我们提出了一个混合的概率部分典型相关分析（MPPCCA），提取两个多元时间序列的因果模式。因果模式是指两个元素之间相互作用的信号模式，它们具有多种类型的相互因果关系，而不是同时相关的混合物或元素之间不存在因果关系。在多变量统计中，部分典型相关分析（PCCA）在减去第三个多变量的影响后评估两个多变量之间的相关性。PCCA可以计算Granger因果指数（它测试一个时间序列是否可以从另一个时间序列预测），但不适用于包含多个偏典型相关的数据。在介绍了MPPCCA，我们提出了一个期望最大化（EM）算法估计的参数和潜变量的MPPCCA。MPPCCA可以在没有任何监督信号的情况下从数据序列中提取多个偏典型相关，从而将数据分割为聚类。然后在合成数据实验中对该方法进行了评价。在合成数据集上，我们的方法比现有的方法更准确地估计了多重偏典型相关。为了确定该方法可检测的模式类型，还在真实数据集上进行了实验。该方法估计运动捕捉数据中的通信模式。MP-PCCA适用于各种类型的信号，如脑信号，人类交流和非线性复杂多体系统。
2017-12-12 stat.ME stat.ML
MTHetGNN: A Heterogeneous Graph Embedding Framework for Multivariate Time Series Forecasting
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测通过分析历史时间序列来预测未来趋势，可以有效地帮助决策。MTS中变量之间的复杂关系，包括静态、动态、可预测和潜在的关系，使得挖掘MTS的更多特征成为可能。复杂关系的建模不仅是刻画潜在依赖和建模时态依赖的必要条件，也给MTS预测任务带来了巨大的挑战。然而，现有的方法主要集中在建模MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，称为通过异构图神经网络进行多变量时间序列预测（MTHetGNN）。为了刻画变量之间的复杂关系，MTHetGNN设计了关系嵌入模块，将每个变量看作一个图节点，每种边表示一种特定的静态或动态关系。同时，时间嵌入模块引入时间序列的特征提取，其中涉及卷积神经网络（CNN）滤波器与不同的感知尺度。最后，采用异构图嵌入模块来处理两个模块生成的复杂结构信息。来自现实世界的三个基准数据集被用来评估所提出的MTHetGNN。综合实验表明，MTHetGNN在MTS预测任务中取得了较好的效果。
2021-12-15 cs.LG stat.ML
MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry
Paul Wurth S.A.（保尔沃斯公司）
在当前时代，越来越多的机器学习模型被生成用于工业过程的自动化。为此，使用每个单个资产的历史数据来训练机器学习模型，从而导致基于资产的模型的开发。为了将机器学习模型提升到更高的学习能力水平，领域自适应为从组合在一起的多个资产中提取相关模式打开了大门。在这项研究中，我们专注于将特定的基于资产的历史数据（源域）转换为对应于一个参考资产（目标域）的数据，从而创建训练域不变通用机器学习模型所需的多资产全局数据集。本研究旨在将领域自适应应用于炼铁工业，特别是通过收集来自不同高炉的数据来创建领域不变数据集。高炉数据具有多变量时间序列的特征。多元时间序列数据的领域自适应在文献中尚未得到广泛的研究。我们提出了MTS-CycleGAN，基于CycleGAN的多变量时间序列数据的算法。据我们所知，这是CycleGAN首次应用于多变量时间序列数据。我们的贡献是在CycleGAN架构中集成了一个基于长短期记忆（LSTM）的自动编码器（AE），用于生成器和一个堆叠的基于LSTM的编码器，以及专用的扩展特征提取机制。MTS-CycleGAN使用两个人工数据集进行验证，嵌入反映高炉过程的变量之间的复杂时间关系。MTS-CycleGAN成功地学习了两个人工多变量时间序列数据集之间的映射，允许从源数据集到目标人工高炉数据集的有效转换。
2020-07-15 cs.LG stat.ML
Network Time Series Models for Multivariate Volatility Forecasting
University of Bath（巴斯大学）
提出基于网络的广义异质自回归（GNHAR）模型，通过格兰杰因果检验或关联指数推断的有向图纳入截面溢出效应，实现简洁的多变量波动率预测。
2026-06-02 stat.ME
Causal and Local Correlations Based Network for Multivariate Time Series Classification
School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院）；Shandong Provincial Key Laboratory for Distributed Computer Software Novel Technology（山东省分布式计算机软件新技术重点实验室）
针对现有多元时间序列分类方法忽略维度空间相关性与特征局部相关性的问题，本研究提出CaLoNet，通过因果建模维度成对空间相关性得图结构、关系提取网络融合局部相关性得长期依赖特征并整合入图神经网络，在UEA数据集上取得与最优方法相当的性能。
2024-11-27 cs.AI cs.LG stat.ME
tsflex: flexible time series processing & feature extraction
IDLab, Ghent University - imec（根特大学-imec IDLab）
时间序列处理和特征提取是传统机器学习流水线中的关键且时间密集的步骤。现有的软件包在其适用性方面受到限制，因为它们不能处理不规则采样或异步数据，并且对数据格式做出强有力的假设。此外，这些包不关注执行速度和内存效率，导致相当大的开销。我们提出了$\texttt{tsflex}$，一个用于时间序列处理和特征提取的Python工具包，它专注于性能和灵活性，具有广泛的适用性。该工具箱利用与序列索引相同数据类型的窗口步幅参数，并在所有操作中维护序列索引。$\texttt{tsflex}$是灵活的，因为它支持（1）多变量时间序列，（2）多窗口步长配置，（3）与其他软件包的处理和功能集成，同时（4）不对数据采样规律、序列对齐和数据类型进行假设。其他功能包括多处理、详细的执行日志记录、分块序列和序列化。基准测试表明，与类似的软件包相比，$\texttt{tsflex}$速度更快，内存效率更高，同时在使用上更宽容和灵活。
2021-12-22 cs.LG eess.SP stat.ML
Combining Statistical Features and Deep Encodings for Rehearsal-Based Class-Incremental Time Series Classification
atlanTTic – ICLAB, Universidade de Vigo（atlanTTic–ICLAB，维戈大学）；Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)（加利西亚电信技术中心（GRADIANT））；Universidade de Vigo（维戈大学）
提出一种双流特征提取管道（结合预训练冻结基础模型的深度时间嵌入特征与统计特征），用于多变量时间序列的类增量持续学习，在五个基准数据集上实现了有竞争力的平均准确率和低遗忘率。
2026-06-02 cs.LG stat.ML
Joint segmentation of multivariate time series with hidden process regression for human activity recognition
Université de Toulon（土伦大学）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（国立高等工程技术学院）；University Paris-Est Créteil (UPEC)（巴黎东克雷泰伊大学（UPEC））；IFSTTAR（法国交通与安全科学技术研究所）
人类活动识别问题是理解和预测人类行为的核心，特别是在对人类的辅助服务的前景中，例如健康监测，幸福，安全，因此，越来越需要建立能够考虑人类活动随时间变化的精确模型（动态模型）而不是静态模型，静态模型在这样的动态背景下可能具有一些限制。在本文中，活动识别的问题进行了分析，通过分割的多维时间序列的加速度测量数据在三维空间中使用的身体佩戴加速度传感器。所提出的自动时间分割模型是一个特定的统计潜在的过程模型，它假设所观察到的加速序列是由隐藏的（未观察到的）活动序列。更具体地说，所提出的方法基于一个特定的多元回归模型，该模型包含一个隐藏的离散逻辑过程，该过程控制着随着时间的推移从一种活动切换到另一种活动。该模型是在无监督的情况下通过专用的期望最大化（EM）算法最大化数据对数似然来学习的。我们将其应用于现实世界中的自动人类活动识别问题，并通过与其他方法（包括著名的监督静态分类器和标准隐马尔可夫模型（HMM））进行比较来评估其性能。所得到的结果是非常令人鼓舞的，并表明，所提出的方法是相当有竞争力的，即使它在一个完全无监督的方式工作，不需要一个特征提取预处理步骤。
2013-12-25 cs.LG stat.ML
Improved Forecasting for Multivariate Time Series using GNAR models with General Inverse Distance Weights
Imperial College London（帝国理工学院）；Curtin University（科廷大学）；Terra Motion Limited（Terra Motion有限公司）
该研究针对多变量时间序列预测问题，提出带广义逆距离权重的GNAR模型（GNARID），引入可调指数参数优化距离惩罚，经理论验证和模拟、真实数据集实验，证实其预测性能优于传统GNAR模型。
2026-10-15 stat.ME
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加，因为当前的传感器设备被开发为具有更高的分辨率，并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析（MVA）领域下。本文对主成分分析（PCA）、偏最小二乘（PLS）、典型相关分析（CCA）和正交归一化PLS（OPLS）等方法进行了统一处理，并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系，并介绍了一些最近的发展，以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性，我们分析了它们在公开数据集基准中的性能，并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
The Accuracy Smoothness Dilemma in Prediction: a Novel Multivariate M-SSA Forecast Approach
本文提出了一种多变量M-SSA方法，通过整合符号准确性、MSE和符号变化频率，解决预测中的准确性与平滑性权衡问题，并在预测、nowcasting和平滑等领域展示其应用价值。
2026-02-14 econ.EM stat.ME
Applying non-negative matrix factorization with covariates to multivariate time series data as a vector autoregression model
本研究提出NMF-VAR框架，结合非负矩阵分解与向量自回归建模多元时间序列，通过低秩结构降维保解释力，在三类真实数据集上验证其能有效捕捉模式且提升可扩展性与透明度。
2025-09-04 stat.ME
FAConvLSTM: Factorized-Attention ConvLSTM for Efficient Feature Extraction in Multivariate Climate Data
University of Maryland, Baltimore County（马里兰大学巴尔的摩县）
FAConvLSTM通过因子化注意力机制和轻量级设计，提升多变量气候数据处理的效率和物理可解释性。
2026-01-16 cs.LG
Knowledge Extraction with Interval Temporal Logic Decision Trees
University of Ferrara（费拉拉大学）；University of Parma（帕尔马大学）
本文提出 Temporal C4.5 算法及其实现 Temporal J48，将经典决策树 C4.5 扩展到未离散化的多变量时间序列，通过区间时序逻辑 HS 提取时序决策树，并在公共数据集上验证其优于经典时序分类方法。
2023-05-26 cs.AI cs.LG
Level Set Restricted Voronoi Tessellation for Large scale Spatial Statistical Analysis
由于规模、复杂性和遮挡，多变量体积数据的空间统计分析可能具有挑战性。拓扑分割、特征提取和统计摘要方面的进展有助于克服这些挑战。这项工作介绍了一种新的空间统计分解方法的基础上水平集，连接组件，和一个新的变化的限制质心Voronoi镶嵌，更适合空间统计分解和并行效率。由此产生的数据结构组织功能到一个连贯的嵌套层次结构，以支持灵活和高效的核心外区域的兴趣提取。接下来，我们提供了一个高效的并行实现。最后，基于该方法设计了一个交互式可视化系统，并将其应用于湍流燃烧数据。该组合方法通过将相空间统计与空间特征相联系的多层次细节，利用自上而下的方法实现了大规模数据的交互式空间统计分析工作流。
2022-08-15 cs.HC stat.ME
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
Regularized Multivariate Analysis Framework for Interpretable High-Dimensional Variable Selection
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多变量分析（MVA）包括一系列用于特征提取的公知方法，其利用表示数据的输入变量之间的相关性。大多数此类方法所享有的一个重要属性是所提取的特征之间的不相关性。最近，MVA方法的正则化版本出现在文献中，主要是为了获得解的可解释性。在这些情况下，解决方案不再能够以封闭的方式获得，并且经常使用依赖于两个步骤的迭代的更复杂的优化方法。本文提出了一种替代方法来有效地解决这个迭代问题。这种方法的主要新颖之处在于保留了原始方法的几个属性，最显着的是所提取的特征的不相关性。在此框架下，我们提出了一种新的方法，利用l-21范数进行变量选择过程中的特征提取过程。不同问题的实验结果证实了所提出的配方与现有技术配方相比的优点。
2021-12-22 cs.LG
Satellite-based feature extraction and multivariate time-series prediction of biotoxin contamination in shellfish
NOVA School of Science and Technology (NOVA FCT)（新里斯本大学科学与技术学院（NOVA FCT））；IPMA - Instituto Português do Mar e da Atmosfera（葡萄牙海洋与大气研究所（IPMA））；NOVA Laboratory for Computer Science and Informatics (NOVA LINCS)（新里斯本大学计算机科学与信息学实验室（NOVA LINCS））；Center for Mathematics and Applications (NOVA Math)（新里斯本大学数学与应用中心（NOVA Math））；NOVA Research & Development Unit for Mechanical and Industrial Engineering (UNIDEMI)（新里斯本大学机械与工业工程研发单元（UNIDEMI））
本研究利用Sentinel-3卫星影像和贝类生物毒素污染数据，通过自编码器提取特征并结合人工神经网络进行多变量时间序列预测，验证了卫星数据整合可有效提升贝类毒素污染的预测能力。
2023-11-25 cs.LG
Channel masking for multivariate time series shapelets
Universität Hildesheim（希尔德斯海姆大学）
时间序列的形状特征是具有区分性的子序列，其与时间序列的相似性可用于时间序列分类。初始shapelet提取算法通过完全枚举所有可能的数据子序列来搜索shapelet。单变量时间序列的shapelet研究提出了一种称为shapelet学习的机制，该机制将shapelet参数化，并在优化过程中与预测模型一起学习。由于存在噪声通道，导致过拟合，将此方法简单扩展到多变量时间序列不会产生很好的结果。在本文中，我们提出了一个多变量时间序列的shapelet学习计划，其中我们引入通道掩码折扣噪声通道，并作为一个隐式正则化。
2017-11-02 cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Classification of multivariate weakly-labelled time-series with attention
Monash University（莫纳什大学）
这项研究确定了弱标记多变量时间序列分类（TSC）中的一个空白，其中最先进的TSC模型表现不佳。弱标记时间序列是包含噪声和显著冗余的时间序列。针对这一缺陷，本文提出了一种利用上下文相关性的方法，从以前的一致性，以提高分类精度。为了实现这一目标，在CNN-LSTM架构中，结合TSC的顶级CNN模型（FCN和ResNet），对最先进的Attention算法进行了实验。注意力是一种流行的上下文提取策略，在现代序列到序列任务中具有出色的性能。本文展示了如何注意力算法可以用于改进的weakenlabelledTSC通过评估模型的多变量EEG时间序列数据集上获得使用一个商业aerosptiv耳机从参与者进行各种活动，而驾驶。这些时间序列被分割成子序列，并标记为允许监督TSC。
2021-09-17 cs.LG
Instance Explainable Temporal Network For Multivariate Timeseries
AVLab
虽然深度网络已经被广泛采用，但它们的缺点之一是它们的黑盒性质。机器学习中一个特别困难的问题是多变量时间序列（MVTS）分类。MVTS数据出现在许多应用中，并且由于传感器和物联网设备的爆炸性增长而变得越来越普遍。在这里，我们提出了一种新的网络（IETNet），它可以识别每个推理实例的分类决策中的重要通道。此功能还可以识别和删除非预测变量，否则会导致过拟合和/或不准确的模型。IETNet是一个端到端的网络，它将时间特征提取、变量选择和联合变量交互结合到一个单一的学习框架中。IETNet利用一维卷积的时间特征，一个新的通道门层的变量类分配使用的注意力层执行跨通道推理和执行分类目标。为了深入了解学习到的时间特征和通道，我们提取了感兴趣区域的注意力图沿时间和通道。该网络的可行性证明通过一个多变量的时间序列数据从N体模拟和航天器传感器数据。
2020-08-02 cs.CV cs.LG stat.ML
FilterTS: Comprehensive Frequency Filtering for Multivariate Time Series Forecasting
College of Computer Science, Nankai University（南开大学计算机科学学院）；Tianjin Media Computing Center（天津媒体计算中心）
FilterTS通过动态跨变量滤波和静态全局滤波在频率域建模多元时间序列，将时域卷积转为频域乘法，在八个数据集上显著提升预测精度与计算效率。
2025-05-07 cs.LG
Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Informative Time Intervals
The Pennsylvania State University（宾夕法尼亚州立大学）
时间序列数据在各种现实世界的应用中很普遍，它需要可信和可解释的模型，以便人们理解并完全信任人工智能解决方案所做的决策。我们考虑从多变量时间序列数据建立可解释的分类器的问题。理解这种预测模型的一个关键标准涉及阐明和量化时变输入变量对分类的贡献。因此，我们引入了一种新的，模块化的，基于卷积的特征提取和注意力机制，同时识别的变量，以及确定分类器输出的时间间隔。我们提出了广泛的实验结果与几个基准数据集，表明所提出的方法优于国家的最先进的基线方法对多变量时间序列分类任务。我们的案例研究的结果表明，所提出的方法确定的变量和时间间隔是有意义的，相对于现有的领域知识。
2020-11-23 cs.LG
MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；University of Connecticut（康涅狄格大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对多元时间序列预测中多粒度相关性难以同时学习的问题，提出MGCP网络，通过自适应傅里叶神经算子和图卷积网络提取细、中粒度特征，并利用对抗训练优化粗粒度预测，显著提升了预测性能。
2024-05-30 cs.LG
TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
Imperial College London（帝国理工学院）；Loughborough University（拉夫堡大学）
多变量时间序列数据的有效异常检测与诊断对于现代工业应用具有重要意义。然而，建立一个能够快速准确地查明异常观测的系统是一个具有挑战性的问题。这是由于缺乏异常标签，高数据波动性和现代应用中超低推理时间的需求。尽管用于异常检测的深度学习方法最近有所发展，但只有少数方法可以解决所有这些挑战。在本文中，我们提出了TranAD，一个基于深度Transformer网络的异常检测和诊断模型，该模型使用基于注意力的序列编码器，利用数据中更广泛的时间趋势知识快速进行推理。TranAD使用基于焦点分数的自调节来实现鲁棒的多模态特征提取和对抗训练以获得稳定性。此外，与模型无关的元学习（MAML）允许我们使用有限的数据训练模型。对六个公开数据集的广泛实证研究表明，TranAD可以通过数据和时间有效的训练在检测和诊断性能方面优于最先进的基线方法。具体而言，与基线相比，TranAD将F1分数提高了17%，将训练时间减少了99%。
2022-05-14 cs.LG
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover（莱布尼茨汉诺威大学）
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务，例如在状态监测的上下文中，但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中，我们提出了一种无监督的特征提取使用自动编码器网络，专门解决数据库的异构性，并减少了标记的训练数据的量相比，现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
Deep Distance Measurement Method for Unsupervised Multivariate Time Series Similarity Retrieval
本文提出DDMM方法，通过学习时间序列中状态的微小差异提升相似性检索准确性，实验显示其在造纸厂数据集上优于现有方法，并在工业应用中有效。
2026-03-13 cs.LG
Multivariate Time Series Forecasting with Transfer Entropy Graph
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测是许多领域的基本问题。准确的预测结果可以有效地帮助决策。迄今为止，已经提出了许多MTS预测方法，并得到了广泛的应用。然而，这些方法假设单个变量的预测值受到所有其他变量的影响，这忽略了变量之间的因果关系。为了解决上述问题，本文提出了一种新的端到端深度学习模型，称为具有神经格兰杰因果关系的图神经网络（CauGNN）。为了刻画变量之间的因果信息，我们在模型中引入了神经格兰杰因果图。每个变量被视为一个图节点，每条边代表变量之间的因果关系。此外，使用具有不同感知尺度的卷积神经网络（CNN）滤波器进行时间序列特征提取，用于生成每个节点的特征。最后，采用图神经网络（GNN）对MTS生成的图结构进行预测。来自现实世界的三个基准数据集被用来评估所提出的CauGNN。综合实验表明，该方法在MTS预测任务中取得了较好的效果。
2021-12-14 cs.LG eess.SP
MPTSNet: Integrating Multiscale Periodic Local Patterns and Global Dependencies for Multivariate Time Series Classification
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出MPTSNet网络，通过傅里叶变换提取多尺度周期片段，并利用PeriodicBlock融合CNN局部模式与注意力全局依赖，在UEA基准上超越21个基线方法，提升多元时间序列分类精度。
2025-03-07 cs.LG
TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification
Harbin Institute of Technology（哈尔滨工业大学）；State Grid Shanghai Municipal Electric Power Company（国网上海市电力公司）
针对现有多变量时间序列分类方法忽略维度间隐藏依赖、缺乏时序动态特征提取的问题，提出TodyNet时序动态图神经网络，搭配可学习时序图池化层，端到端联合学习，在26个UEA基准数据集上性能超越现有深度学习方法。
2023-04-11 cs.LG
FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting
Institute of Advanced Technology, USTC（中国科学技术大学先进技术研究院）；Department of Automation, USTC（中国科学技术大学自动化系）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对多元时间序列预测中Mamba模型无法关注变量间关系的问题，提出结合fast-attention与Mamba的FMamba框架，在保持低计算开销的同时实现了最先进的预测性能。
2024-07-20 cs.LG
Multivariate Time-Series Anomaly Detection based on Enhancing Graph Attention Networks with Topological Analysis
Beihang University（北京航空航天大学）；Shantou University（汕头大学）；North China Electric Power University（华北电力大学）
本文提出TopoGDN模型，通过多尺度时间卷积模块和融入图拓扑的增强图注意力网络，从细粒度视角分析多变量时间序列的时间与特征维度，在四个数据集上显著优于基线模型。
2024-08-23 cs.AI cs.LG
cs-net: structural approach to time-series forecasting for high-dimensional feature space data with limited observations
Boston University（波士顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Dartmouth College（达特茅斯学院）
近年来，基于深度学习的方法已被引入解决时间序列预测相关问题。这些新方法在单变量和低维多变量时间序列预测任务中表现出令人印象深刻的性能。然而，当这些新方法被用来处理高维多变量预测问题时，它们的性能受到实际训练时间和合理的GPU内存配置的高度限制。在本文中，灵感来自希尔伯特空间中的基础的变化，我们提出了一个灵活的数据特征提取技术，擅长高维多变量预测任务。我们的方法最初是为美国国家科学基金会（NSF）的威胁检测算法（ATD）2022挑战而开发的。使用注意力机制和卷积神经网络（CNN）架构实现，我们的方法表现出很好的性能和兼容性。我们在GDELT数据集上训练的模型在ATD sprint系列中获得了第一名和第二名，并有望用于其他时间序列预测数据集。
2022-12-05 cs.LG eess.SP
AMAD: AutoMasked Attention for Unsupervised Multivariate Time Series Anomaly Detection
Northwestern Polytechnical University（西北工业大学）
针对无监督多元时间序列异常检测中关联假设受限的问题，提出AMAD模型，结合自动掩码注意力与注意力混合模块，辅以最大-最小训练和局部-全局对比学习，实现稳健且通用的异常检测，性能媲美最先进基准。
2025-04-25 cs.AI cs.LG
Neuroimaging Feature Extraction using a Neural Network Classifier for Imaging Genetics
University of Victoria（维多利亚大学）；Simon Fraser University（西蒙弗雷泽大学）
针对神经影像与遗传数据高维度问题，提出基于神经网络分类器的神经影像特征提取方法，结合多元贝叶斯组稀疏回归模型进行遗传关联，用于阿尔茨海默病预测。
2022-07-08 cs.CV cs.LG q-bio.QM
Journey into Automation: Image-Derived Pavement Texture Extraction and Evaluation
School of Civil Engineering, Central South University（中南大学土木工程学院）
本文提出基于路面图像的自动化纹理提取与MTD评估方法，通过低成本3D数据采集、改进图像处理及GBT多变量预测，实现R²=0.9858且现场误差低于10%。
2025-01-05 cs.CV cs.LG
An information-geometric approach to feature extraction and moment reconstruction in dynamical systems
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Swiss Data Science Center, ETH Zürich and EPFL（苏黎世联邦理工学院与洛桑联邦理工学院瑞士数据科学中心）
我们提出了一个降维框架的特征提取和时刻重建动力系统的操作空间上的概率测度引起的系统的观测值，而不是直接在原始数据空间的观测值本身在更传统的方法。我们的方法是基于这样一个事实，即轨道的动力系统诱导概率测度的可测空间定义的（部分）观察系统。我们为这些概率测度的空间配备一个发散，即，概率分布之间的距离，并使用该发散来定义核积分算子。该算子的本征函数创建了捕获动力系统的不同时间尺度的函数的正交基。我们的一个主要结果表明，动力学相关的概率测度的矩的演化可以与原动力系统上的时间平均算子有关。利用这一结果，我们表明，矩可以扩大的特征函数的基础上，从而开辟了途径的时刻的非参数预测。如果概率测度的集合本身是一个流形，我们可以另外用黎曼度量装备统计流形，并使用信息几何的技术。我们提出了应用于2-torus和Lorenz 63系统上的遍历动力系统，并在一个真实世界的例子中表明，少量的本征向量就足以重建大气时间序列的矩（这里是前四个矩），即，实时多变量马登-朱利安振荡指数。
2020-04-05 cs.LG math.DS stat.ML
Unsupervised Multivariate Time-Series Transformers for Seizure Identification on EEG
BioSensics LLC（BioSensics有限责任公司）；Brown University（布朗大学）；University of Southern California（南加州大学）
癫痫是最常见的神经系统疾病之一，通常通过癫痫发作观察到。癫痫发作通常通过脑电图（EEG）记录进行监测，这是由于其常规和低成本的收集。EEG的随机性使得通过由训练有素的专家进行的手动检查来识别癫痫发作是一项繁琐的工作，这促使了自动识别的使用。关于自动识别的文献主要集中在监督学习方法上，该方法需要包含癫痫发作的EEG片段的专家标签，这是很难获得的。出于这些观察，我们提出癫痫发作识别作为一个无监督的异常检测问题。为此，我们采用了第一个无监督的基于变换的模型对原始EEG进行癫痫发作识别。我们训练一个自动编码器，涉及一个Transformer编码器通过一个无监督的损失函数，结合一个新的掩蔽策略，独特的多变量时间序列数据，如EEG。训练采用不包含任何癫痫发作的EEG记录，而癫痫发作是根据推理时的重建错误来识别的。我们评估我们的方法在三个公开的基准EEG数据集区分癫痫发作与非癫痫发作窗口。我们的方法导致癫痫发作识别性能明显优于监督学习同行，高达16%的召回率，9%的准确率和9%的受试者工作特征曲线（AUC）下的面积，在高度不平衡的数据上建立了特别的优势。通过准确的癫痫发作识别，我们的方法可以促进广泛访问和早期检测癫痫的发展，而不需要昂贵的标签收集或手动特征提取。
2023-01-03 cs.AI cs.LG eess.SP
Combining Machine Learning Classifiers for Stock Trading with Effective Feature Extraction
Brac University（布拉卡大学）
本文提出一种动态选择约30个关键特征并结合四个分类器集成学习的股票交易方法，在2011至2019年间实现54.35%的利润，证明加权分类器混合优于单一预测器。
2023-08-11 cs.CE cs.LG q-fin.TR
DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series
Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学）；Department of Computer Science, University of Oxford（计算机科学系，牛津大学）；IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）；Squirrel Ai Learning（Squirrel Ai Learning公司）；School of ICT, Griffith University（信息科技学院，格里菲斯大学）
针对时间序列异常检测中标记数据稀缺及跨域异常类别不一致的问题，提出结合无监督域自适应与对比学习的DACAD模型，通过异常注入、双对比损失和中心熵分类器，实现跨域知识迁移与高效异常检测。
2025-09-07 cs.AI cs.LG
Dynamic Relational Priming Improves Transformer in Multivariate Time Series
Department of Computer Science, Southern Methodist University, Dallas TX USA（计算机科学系，南方 Methodist 大学，德克萨斯州达拉斯）
提出动态关系先验注意力机制（prime attention），通过为每个token对动态调整表示，有效捕捉多变量时间序列中异构的通道间依赖关系，在保持相同计算复杂度下提升预测精度达6.5%。
2026-10-26 cs.AI cs.LG
Evolutionary Ensemble Learning for Multivariate Time Series Prediction
RMIT University（皇家墨尔本理工大学）；Swinburne University of Technology（斯威本科技大学）
多变量时间序列（MTS）预测在金融、能源和交通等许多领域中起着关键作用，其中每个单独的时间序列对应于从特定数据源（所谓的通道）收集的数据。构建MTS预测模型（PM）的典型流水线包括在所有可用通道中选择通道的子集，从所选通道提取特征，以及基于所提取的特征构建PM，其中每个组件涉及某些优化任务，即，通道、特征提取（FE）方法和PM的选择以及所选FE方法和PM的配置。因此，追求最佳预测性能对应于通过解决所有涉及的优化问题来优化流水线。这是一个不平凡的任务，由于广阔的解决方案空间。不同于大多数现有的工作，在优化某些组件的管道，我们提出了一种新的进化集成学习框架，以整体的方式优化整个管道。在该框架中，一个特定的管道被编码为一个候选解决方案和一个多目标的进化算法被施加在不同的人口规模，以产生多个帕累托最优集（POS）。最后，选择性集成学习的目的是选择最佳的子集的解决方案从POS和组合，以产生最终的预测，通过使用贪婪的顺序选择和最小二乘法。我们实现了所提出的框架，并评估了我们在两个现实世界的应用程序，即，用电量预测和空气质量预测。与最先进的技术的性能比较表明了所提出的方法的优越性。
2021-08-22 cs.AI cs.LG cs.NE
Hierarchical Self-Supervised Representation Learning Framework for Multivariate Time Series Grounded in ECG Analysis
Research Institute of Basic Sciences, Seoul National University（首尔大学基础科学研究院）
提出ER-JEPA，一种轻量级自监督学习框架，通过层次化联合嵌入预测架构对多变量时间序列进行表征学习，在心电图数据上实现高效预训练和下游任务最优性能。
2026-07-24 cs.LG eess.SP
On Multi-entity, Multivariate Quickest Change Point Detection
Department of Electrical and Computer Engineering, Tufts University（电气与计算机工程系，塔夫茨大学）；Department of Computer Science, Tufts University（计算机科学系，塔夫茨大学）
针对传统传感方法不可行的人群监测场景，提出多实体多元时间序列在线变化点检测框架，通过个体偏离常态（IDfN）与系统范围异常分数（SWAS）结合CUSUM检测变化，无需标记数据，还提供新数据集填补空白。
2025-09-22 cs.LG eess.SP stat.AP
Prototype-Guided Classification Sub-Task Decoupling Framework: Enhancing Generalization and Interpretability for Multivariate Time Series
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出PDFTime框架，通过多阶段决策过程解耦时间序列分类任务，提升模型的泛化能力和可解释性，实现了在UEA和UCR基准测试中的最优性能。
2026-05-21 cs.AI cs.LG
A Statistical Approach for Modeling Irregular Multivariate Time Series with Missing Observations
University of Southern California（南加州大学）
本文提出通过提取时间无关的汇总统计量来处理不规则多变量时间序列中的缺失值，通过计算四个关键特征并结合标准分类器，在四个生物医学数据集上取得最佳性能，同时降低计算复杂度。
2026-02-23 cs.AI cs.LG
