Infinite Mixtures of Multivariate Gaussian Processes
East China Normal University(华东师范大学)
本文提出了一个新的模型称为多元高斯过程的无限混合,它可以用来学习向量值函数,并应用于多任务学习。混合模型作为单一多元高斯过程的扩展,具有建模多模态数据和降低多元高斯过程计算立方复杂度的优点。采用Dirichlet过程先验知识从训练数据中自动推断混合物组分的数量(可能是无限的),采用马尔可夫链蒙特卡罗抽样技术进行参数和潜变量推断。多元回归的初步实验结果表明,所提出的模型的可行性。
2013-07-26 cs.LG stat.ML
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种集成TFT和VAE的可视化分析框架,通过降维技术将复杂时间序列映射至2D潜在空间,直观探索电网事件特征,提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
MA-VAE: Multi-head Attention-based Variational Autoencoder Approach for Anomaly Detection in Multivariate Time-series Applied to Automotive Endurance Powertrain Testing
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Leiden University(莱顿大学)
本文提出基于多头注意力的变分自编码器MA-VAE,用于汽车动力总成测试的多变量时间序列异常检测,在无标签数据上训练即可实现低假阳性率并检测多数异常,同时解决旁路现象并实现窗口到连续时间序列的映射。
2024-09-19 cs.AI cs.LG cs.SY
TeVAE: A Variational Autoencoder Approach for Discrete Online Anomaly Detection in Variable-state Multivariate Time-series Data
Mercedes-Benz AG(梅赛德斯-奔驰集团);Leiden University(莱顿大学)
针对汽车测试中人工评估受限、真实多变量时间序列数据复杂的问题,提出TeVAE模型,能基于无标签数据低误报检测异常、避免绕过现象、支持窗口重映射,在工业数据集上实现6%误报率与65%异常检出率,且小数据集适用但需复杂阈值估计。
2025-11-12 cs.AI cs.CE cs.LG
Multivariate Temporal Autoencoder for Predictive Reconstruction of Deep Sequences
Altum Intelligence(Altum Intelligence(阿尔图姆智能))
时间序列序列预测和建模已被证明是现实世界数据集的一项具有挑战性的工作。两个关键问题是数据的多维性和形成潜在输出信号的独立维度的相互作用,以及预测模型内部的多维时间数据的表示。本文提出了一种多分支深度神经网络方法来解决上述问题,通过使用循环自动编码器分支对数据窗口的潜在状态向量表示进行建模,随后将训练的潜在向量表示馈送到模型的预测器分支中。该模型此后被称为多变量时间自动编码器(MvTAe)。本文中的框架利用了一个合成的多变量时态数据集,其中包含的维度相结合,以创建一个隐藏的输出目标。
2020-10-07 cs.LG
Federated Learning for Multivariate Time Series Anomaly Detection in Industrial Automation
Josef Ressel Centre for Intelligent and Secure Industrial Automation(乔塞夫·雷斯尔智能与安全工业自动化中心);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);Department of Artificial Intelligence and Human Interfaces(人工智能与人机接口部门);Paris Lodron University of Salzburg(萨尔茨堡巴黎洛登大学)
本文针对联邦学习范式下多变量时间序列异常检测的数据集挑战,引入一个具有循环动态特性的数据集,并评估了多种MTSAD方法。
2026-05-26 cs.LG
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University(北京交通大学)
由于当今IT监控系统的维度和复杂性的增加,在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题,即在正常样本上进行训练,并在异常输入上产生显著的重建误差。然而,在实践中,由于神经网络的强大功能,自编码器可以很好地重建异常。此外,这些方法对于识别非点异常(例如,上下文异常和集体异常)可能是无效的,因为它们仅利用逐点重建目标。为了解决上述问题,我们提出了MemAAE(\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}),一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务,重建和预测,与共享的网络架构,我们表明,通过多个任务检测异常获得优越的性能,而不是单任务训练。此外,引入压缩记忆模块来保存正常模式,避免对异常输入的意外泛化。通过广泛的实验,MemAAE在四个公共数据集上的总体F1得分为0.90,显著优于最佳基线0.02。
2021-10-15 cs.LG
Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction
Maastricht University(马斯特里赫特大学)
时间序列预测(单变量和多变量)是一个高复杂性的问题,因为必须在输入中检测不同的模式,从高频到低频。在本文中,我们提出了一个新的模型,利用卷积层的特征提取,一个经常性的编码器和线性自回归组件的时间序列预测。我们激励模型,我们测试和比较它对广泛使用的现有架构的基线单变量和多变量时间序列。所提出的模型似乎优于基线,在几乎每一种情况下的多变量时间序列数据集,在某些情况下,甚至有50%的改善,这表明这种混合架构在复杂的时间序列的优势。
2019-03-06 cs.LG stat.ML
Multivariate Scientific Data Compression with Learned Cross-Variable Latent Decorrelation and Autoregressive Entropy Modeling
University of Florida(佛罗里达大学)
该研究提出CAESAR-LDAR压缩器,通过正交变换与自回归先验结合,在多元科学数据压缩中实现优异率失真性能,为多元科学压缩提供了实用设计原则。
2026-09-01 cs.LG
L-GTA: Latent Generative Modeling for Time Series Augmentation
Faculdade de Engenharia da Universidade do Porto(葡萄牙波尔图大学工程学院);Fraunhofer Portugal AICOS(德国弗劳恩霍夫葡萄牙AICOS研究所);University of Coimbra(科英布拉大学);Dalhousie University(达尔豪斯大学)
研究针对时间序列分析中的数据增强问题,提出基于变分自编码器、双向LSTM和时间自注意力的L-GTA模型,通过定义等变性目标学习潜在表示并应用可控扰动,实验表明该模型在多方面优于其他方法,能有效降低预测误差。
2026-07-09 cs.AI cs.LG
Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting
Zalando Research(扎兰多研究院)
在这项工作中,我们提出了\texttt{TimeGrad},一个自回归模型的多变量概率时间序列预测的样本从数据分布在每个时间步估计其梯度。为此,我们使用扩散概率模型,一类与分数匹配和基于能量的方法密切相关的潜变量模型。我们的模型通过优化数据可能性的变分界限来学习梯度,并在推理时使用Langevin采样通过马尔可夫链将白噪声转换为感兴趣的分布样本。我们的实验表明,所提出的自回归去噪扩散模型是新的国家的最先进的多元概率预测方法在现实世界的数据集与成千上万的相关维度。我们希望这种方法是一个有用的工具,为从业者在这一领域的未来研究奠定了基础。
2021-02-02 cs.AI cs.LG
Grouped Convolutional Neural Networks for Multivariate Time Series
Ulsan National Institute of Science and Technology(蔚山科学技术院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
分析多变量时间序列数据对于自动控制、故障诊断和异常检测等应用具有重要意义。其中一个关键挑战是从动态变化的多变量输入中自动学习潜在特征。在视觉识别任务中,卷积神经网络(CNN)已经成功地学习了具有空间域上的共享参数的广义特征提取器。然而,当给定高维多变量时间序列时,设计适当的CNN模型结构变得具有挑战性,因为内核可能需要扩展到输入体积的全维。为了解决这个问题,我们提出了两种用于深度CNN模型的结构学习算法。我们的算法利用多个时间序列的协方差结构将输入量划分为组。第一种算法通过对单个输入序列进行聚类来显式地学习组CNN结构。第二种算法从误差反向传播中隐式地学习组CNN结构。在两个真实世界数据集的实验中,我们证明了我们的CNN组优于现有的基于CNN的回归方法。
2018-05-31 cs.LG
Anomaly Detection for Multivariate Time Series on Large-scale Fluid Handling Plant Using Two-stage Autoencoder
Toshiba Corporation(东芝公司)
本文重点研究了具有动态组件的大型流体处理工厂(如发电厂、水处理厂和化工厂)中多变量时间序列数据的异常检测,这些工厂同时观察到来自各种物理现象的信号。在这些工厂中,鉴于熟练工程师人数减少和人力短缺,对异常检测技术的需求正在增加,以降低运营和维护成本。然而,考虑到高维信号的复杂行为和对可解释性的需求,这些技术构成了一个重大挑战。我们介绍了一个两阶段自动编码器(TSAE)作为一种异常检测方法适用于这样的工厂。这是一种简单的自动编码器架构,使异常检测更具有可解释性和更准确性,其中基于植物信号可以分离为两个几乎没有相互关联的行为的前提下,信号以逐步的方式分离为长期和短期分量,并且两个分量独立训练,以提高对正常信号的推断能力。通过对两个公开的水处理系统数据集的实验,我们已经证实了高检测性能,前提的有效性,以及模型行为的预期,即,TSAE的技术有效性。
2022-05-20 cs.LG
MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
University of Science and Technology of China(中国科学技术大学);Institute of Advanced Technology, University of Science and Technology of China(中国科学技术大学先进技术研究院);Jiaxing University(嘉兴学院)
大规模自监督预训练Transformer架构显著提升了自然语言处理(NLP)和计算机视觉(CV)中各种任务的性能。然而,利用预训练好的Transformer处理多变量时间序列的研究还比较缺乏,尤其是针对自监督学习的时间序列掩蔽问题的研究更是空白。与语言和图像处理不同,时间序列的信息密度增加了研究的难度。挑战进一步与无效的先前补丁嵌入和掩模方法。本文针对多元时间序列的数据特点,提出了一种补丁嵌入方法,并提出了一种基于掩码自编码器(MAE)的自监督预训练方法MTSMAE,该方法与无需预训练的监督学习相比,可以显著提高学习性能。在不同领域、不同特征的多变量时间序列数据集上的实验结果表明,该方法的性能明显优于目前最好的方法。
2022-10-04 cs.AI cs.LG
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting
IBM Research(IBM研究院)
高维多变量时间序列的概率预测是一个众所周知的具有挑战性的任务,无论是在计算负担和分布建模。大多数以前的工作要么做简单的分布假设或放弃建模交叉系列的相关性。一个有前途的工作线利用可扩展矩阵分解进行潜在空间预测,但仅限于线性嵌入,无法建模分布,并且在使用深度学习预测时无法进行端到端的训练。我们介绍了一种新的时间潜在自动编码器方法,该方法能够对多变量时间序列进行非线性因式分解,并使用时间深度学习潜在空间预测模型进行端到端学习。通过施加概率潜在空间模型,输入序列的复杂分布通过解码器建模。大量的实验表明,我们的模型在许多流行的多变量数据集上实现了最先进的性能,对于几个标准指标,增益有时高达$50\%$。
2021-01-25 cs.AI cs.LG cs.NE
MVAR: MultiVariate AutoRegressive Air Pollutants Forecasting Model
Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);Tongji University(同济大学);Fudan University(复旦大学)
针对单一污染物预测忽略相互作用的问题,提出MVAR模型,通过多变量自回归训练范式和气象耦合空间Transformer模块,实现120小时长期预测,并构建华北75城市综合数据集验证其优于现有方法。
2025-07-16 cs.CV cs.LG
AutoMixer for Improved Multivariate Time-Series Forecasting on Business and IT Observability Data
IBM Research(IBM研究院)
针对BizITObs多变量时序中有用与噪声通道交互难以解耦的问题,提出结合AutoEncoder通道压缩预训练与TSMixer微调的AutoMixer基础模型,将Biz-KPI预测准确率持续提升11%至15%。
2023-11-02 cs.AI cs.LG
Recurrent Auto-Encoder With Multi-Resolution Ensemble and Predictive Coding for Multivariate Time-Series Anomaly Detection
Korea University(高丽大学)
由于大规模的时间序列数据在实际应用中很容易被发现,因此多元时间序列异常检测在各个行业中发挥着重要作用。它可以通过基于时间序列数据预防故障和检测异常来提高生产率并降低维护成本。然而,多变量时间序列异常检测是具有挑战性的,因为真实世界的时间序列数据表现出复杂的时间依赖性。对于这项任务,关键是要学习一个丰富的表示,有效地包含正常行为的非线性时间动态。在这项研究中,我们提出了一个无监督的多变量时间序列异常检测模型RAE-MEPC学习信息正常表示的基础上,多分辨率集成和预测编码。我们引入多分辨率集成编码来捕获输入时间序列的多尺度依赖性。编码器分层地聚合从具有不同编码长度的子编码器提取的时间特征。根据这些编码特征,重构解码器基于多分辨率系综解码来重构输入时间序列,其中较低分辨率信息有助于解码具有较高分辨率输出的子解码器。预测编码被进一步引入以鼓励模型学习时间序列的时间依赖性。在真实世界基准数据集上的实验表明,该模型在多变量时间序列异常检测方面优于基准模型。
2022-02-21 cs.AI cs.LG
Multivariate Time Series Classification using Dilated Convolutional Neural Network
Xsensor Technology Corp(Xsensor科技公司);University of Alberta(阿尔伯塔大学)
多元时间序列分类是机器学习领域的一个重要研究课题。特征提取是分类任务中的一个主要步骤。传统方法采用手工制作的特征进行分类,而卷积神经网络(CNN)能够自动提取特征。本文将扩张卷积神经网络用于多变量时间序列分类。为了部署扩张的CNN,将多变量时间序列转换为类似图像的样式,并应用扩张和跨步卷积的堆栈来同时提取时间序列中变量的特征。我们在两个人类活动识别时间序列上评估了我们的模型,发现为时间序列提取的自动特征可以像手工制作的特征一样有效。
2019-05-05 cs.LG stat.ML
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA(东北大学)
本文提出双掩码自编码器DMAE,通过重建掩码值与教师引导的潜在表示估计及特征对齐约束,实现无监督多元时间序列表示学习,并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Anomaly Detection in Multivariate Non-stationary Time Series for Automatic DBMS Diagnosis
Pohang University of Science and Technology(浦项科技大学)
随着大数据系统中统计量和事件度量的不断增加,数据库管理系统中的异常检测变得越来越困难。在本文中,我提出了一个自动DBMS诊断系统,检测异常期间与异常DB统计指标,并发现因果事件的期间。利用深度编码器的重构误差和统计过程控制方法检测异常时间段。使用事件和异常统计度量之间的时间序列相似性度量来发现相关事件。在使用DBMS度量数据训练深度自动编码器之后,从包含异常的其他DBMS研究异常检测的功效。实验结果表明了该模型的有效性,尤其是批量时间归一化层。提出的模型用于发布自动DBMS诊断报告,以确定DBMS配置和SQL调优。
2017-10-09 cs.LG stat.AP stat.ML
HIFI: Anomaly Detection for Multivariate Time Series with High-order Feature Interactions
University of Electronic Science and Technology of China(电子科技大学);Aalborg University(奥尔堡大学)
对复杂系统的监控产生了大量的多变量时间序列数据,这些数据的异常检测对于维护系统的正常运行具有重要意义。尽管近年来出现了大量的多变量时间序列异常检测算法,但大多数算法都忽略了多变量之间的相关性建模,这往往会导致异常检测效果不佳。在这项工作中,我们提出了一种新的异常检测模型的多元时间序列与\underline{HI}高阶\underline{F}特征\underline{I}相互作用(HIFI)。具体而言,HIFI自动构建多元特征交互图,并利用图卷积神经网络实现高阶特征交互,其中,利用注意力机制对长期时间依赖性进行建模,并利用变分编码技术提高模型性能和鲁棒性。在三个公开的数据集上进行的大量实验表明,与最先进的方法相比,我们的框架具有优越性。
2021-06-11 cs.LG
Multivariate Feature Selection and Autoencoder Embeddings of Ovarian Cancer Clinical and Genetic Data
Universidad Rey Juan Carlos(胡安卡洛斯国王大学);Hospital HM Sanchinarro(HM Sanchinarro医院);Fundación Investigación HM Hospitales(HM医院研究基金会)
本研究结合自编码器与信息变量标识符(IVI)方法,分析卵巢癌临床与基因数据,发现手术类型、新辅助化疗及特定基因突变与疾病进展高度相关,为患者分层和个性化治疗提供了新生物标志物潜力。
2025-01-27 cs.LG
Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting
McGill University(麦吉尔大学)
时间序列预测是一个长期的研究课题,在许多领域都有重要的应用。从传感器网络收集的现代时间序列(例如,能量消耗和交通流量)通常是大规模的和不完整的,具有相当大的破坏和缺失值,使得难以执行准确的预测。在本文中,我们提出了一个低秩自回归张量完成(LATC)框架来建模多元时间序列数据。LATC的关键是将原始多变量时间序列矩阵(例如,传感器$\times$时间点)到三阶张量结构(例如,传感器$\times$一天中的时间$\times$一天),这允许我们将时间序列的固有节奏和季节性建模为全局模式。利用张量结构,我们可以将时间序列预测和缺失数据填补问题转化为一个通用的低秩张量补全问题。除了最小化张量秩,我们还集成了一个新的自回归范数的原始矩阵表示到目标函数。这两个组成部分发挥不同的作用。低秩结构使我们能够有效地捕捉所有三个维度的全球一致性和趋势(即,传感器之间的相似性、不同日期的相似性以及当前时间与历史上的同一天)。自回归范数可以更好地模拟局部时间趋势。我们在三个真实数据集上的数值实验表明,在缺失数据插补和滚动预测任务中,LATC中全局和局部趋势的集成具有优越性。
2020-06-18 cs.LG stat.ML
Multivariate Time Series Anomaly Detection via Dual-Branch Reconstruction and Autoregressive Flow-based Residual Density Estimation
Zhejiang University(浙江大学);Zhejiang Sci-Tech University(浙江理工大学)
本文提出DBR-AF框架,通过双分支重建和自回归流模块解决多变量时间序列异常检测中的过拟合和误判问题,实验表明其在多个基准数据集上表现优异。
2026-03-29 cs.AI cs.LG
DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation
FEMTO-ST Institute(FEMTO-ST研究所);UBFC(勃艮第-弗朗什-孔泰大学);CNRS(法国国家科学研究中心)
广播式自动相关监视协议是空中监视的最新强制性进展之一。虽然它支持对空中不断增加的飞机进行跟踪,但它也引入了必须缓解的网络安全问题,例如,虚假数据注入攻击,攻击者发出虚假的监视信息。最近可用于获取飞行跟踪记录的数据源和工具使研究人员能够创建数据集并开发能够检测途中轨迹中此类异常的机器学习模型。在这方面,我们提出了一种新的多元异常检测模型,称为判别式自动编码器(DAE)。它使用基于常规LSTM的自动编码器的基线,但具有多个解码器,每个解码器在训练期间获取特定飞行阶段(例如爬升,巡航或下降)的数据。为了说明DAE的效率,使用真实的异常以及逼真的异常创建了评估数据集,并对DAE以及文献中的三种异常检测模型进行了评估。实验结果表明,DAE在检测精度和速度上都取得了较好的效果。数据集、模型实施和评价结果可在一个在线储存库中查阅,从而能够复制并便利今后的实验。
2021-09-08 cs.AI cs.LG
CASA: CNN Autoencoder-based Score Attention for Efficient Multivariate Long-term Time-series Forecasting
Department of Mathematical Sciences(数学科学系);Research Institute of Mathematics(数学研究所);Interdisciplinary Program in Artificial Intelligence(人工智能跨学科项目)
本文提出CASA机制,通过CNN自编码器得分注意力降低内存占用,以模型无关方式改进Transformer,在多元长期时间序列预测中最多降低77.7%计算资源并取得最优性能。
2025-05-04 cs.AI cs.LG
Wasserstein multivariate auto-regressive models for modeling distributional time series
Université Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LJK研究中心);Institut de Mathématiques de Bordeaux, Université de Bordeaux(波尔多数学研究所、波尔多大学)
本文提出基于Wasserstein空间的多变量自回归模型,用于分析分布时间序列,通过稀疏结构学习时间依赖图。
2026-01-19 cs.LG stat.ML
TSGym: Design Choices for Deep Multivariate Time-Series Forecasting
AI Lab, Shanghai University of Finance and Economics(上海财经大学金融学院人工智能实验室);Ant Group(蚂蚁集团);MoE Key Laboratory of Interdisciplinary Research of Computation and Economics(计算与经济学交叉学科关键实验室)
TSGym通过细粒度组件选择与自动化模型构建,系统分解深度多元时间序列预测方法,提升模型迁移性与分布偏移鲁棒性,并在实验中显著超越现有MTSF和AutoML方法。
2025-09-21 cs.LG
TimeAutoML: Autonomous Representation Learning for Multivariate Irregularly Sampled Time Series
Tongji University(同济大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);NEC Laboratories America(美国电气股份有限公司美洲实验室)
多变量时间序列(MTS)数据在不同领域变得越来越普遍,例如,物联网系统、健康信息学和5G网络。为了获得MTS数据的有效表示,不仅必须考虑这些数据的不可预测的动态和高度可变的长度,而且还必须解决MTS的采样率的不规则性。现有的参数方法依赖于手动超参数调整,并且可能花费大量的劳动力。因此,期望自动且有效地学习表示。为此,我们提出了一个自主的表示学习方法的多元时间序列(TimeAutoML)不规则的采样率和可变长度。与以前的工作相反,我们首先提出了一个表示学习流水线,其中配置和超参数优化是全自动的,并且可以针对各种任务进行定制,例如,接下来,开发了一种阴性样本生成方法和一个辅助分类任务,并将其集成到TimeAutoML中,以增强其表示能力。对真实世界数据集的广泛实证研究表明,所提出的TimeAutoML在各种任务上的性能都大大优于竞争方法。事实上,它在所有85个UCR数据集中的78个数据集上实现了所有比较算法中最好的异常检测性能,在AUC得分方面获得了高达20%的性能提升。
2020-10-04 cs.AI cs.LG stat.ML
Data Augmentation of Multivariate Sensor Time Series using Autoregressive Models and Application to Failure Prognostics
本文提出基于时变自回归过程的非平稳多元传感器时间序列数据增强方法,利用 CMAPSS 数据集和 AutoML 预测方案验证其可在数据稀缺场景下显著提升故障预测性能。
2024-10-24 cs.LG math.ST stat.ME
Towards efficient deep autoencoders for multivariate time series anomaly detection
Institute of Electronics(电子学研究所);AGH-UST(AGH科技大学);Institute of Computer Science(计算机科学研究所);Department of Computer Science(计算机科学系);American University(美利坚大学)
针对深度自编码器在实时多元时间序列异常检测中的资源约束问题,提出结合剪枝与线性、非线性量化的压缩方法,在保持检测性能的同时实现80%至95%的模型压缩。
2024-03-04 cs.AI cs.LG
Supervised Multivariate Learning with Simultaneous Feature Auto-grouping and Dimension Reduction
Florida State University(佛罗里达州立大学);Peking University(北京大学)
现代高维方法通常采用“赌稀疏性”原则,而在监督多元学习中,统计学家可能面临大量非零系数的“密集”问题。本文提出了一种新的聚类降秩学习(CRL)框架,该框架采用两个联合矩阵正则化来自动分组构建预测因子的特征。CRL比低秩建模更易于解释,并且放松了变量选择中严格的稀疏性假设。在本文中,新的信息理论的限制,揭示了寻求集群的内在成本,以及从多维学习的祝福。此外,一个有效的优化算法,它执行子空间学习和聚类保证收敛。所得到的固定点估计,虽然不一定是全局最优的,享受所需的统计精度超出了标准的似然设置在某些正则条件。此外,一种新的信息准则,以及它的无标度形式,提出了聚类和秩选择,并有严格的理论支持,而无需假设无限的样本量。大量的仿真和真实数据实验证明了所提出的方法的统计精度和可解释性。
2022-02-09 cs.LG math.ST stat.ME
Modelling Data Dispersion Degree in Automatic Robust Estimation for Multivariate Gaussian Mixture Models with an Application to Noisy Speech Processing
Concordia University(康考迪亚大学)
具有前缀截断部分的修剪方案已知为通过减轻离群值的影响来提高统计模型(诸如多变量高斯混合模型(MG-Mixture Model,MG-Mixture))在小规模测试中的鲁棒性的方法。然而,当该方法应用于真实世界的数据时,例如噪声语音处理,很难知道去除离群值的最佳截止部分,并且有时也会去除有用的数据样本。本文提出了一种基于测量训练数据离散度(DD)的新方法,以避免这一问题,从而实现对MGbits的自动鲁棒估计。采用两种不同的测度对DD模型进行了研究。对于每一个,我们从理论上证明,DD的数据样本的背景下,MGC 10近似服从一个特定的(卡方或卡方)分布。所提出的方法进行评估,在现实世界中的应用程序与一个中等规模的说话人识别任务。实验表明,该方法可以显着提高说话人识别传统GMM训练方法的鲁棒性。
2014-05-19 cs.CL cs.LG stat.ML
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover(莱布尼茨汉诺威大学)
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务,例如在状态监测的上下文中,但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中,我们提出了一种无监督的特征提取使用自动编码器网络,专门解决数据库的异构性,并减少了标记的训练数据的量相比,现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
An Attention-based ConvLSTM Autoencoder with Dynamic Thresholding for Unsupervised Anomaly Detection in Multivariate Time Series
Western University(韦仕敦大学);National Research Council Canada(加拿大国家研究委员会)
由于智能制造中的复杂系统产生了大量的多变量时间序列数据,因此需要改进异常检测框架,以降低系统操作员的操作风险和监控负担。然而,构建这样的框架是具有挑战性的,因为足够大量的有缺陷的训练数据通常不可用,并且框架需要捕获跨不同时间步长的时间和上下文依赖性,同时对噪声是鲁棒的。本文提出了一种无监督的基于注意力的卷积长短期记忆(ConvLSTM)动态保持自编码器(ACLAE-DT)框架,用于多变量时间序列的异常检测和诊断。该框架首先对数据进行预处理和丰富,然后通过捕获时间序列对之间的相互关联来构建特征图像,以表征不同时间步长的系统状态。然后,构造的特征图像被馈送到基于注意力的ConvLSTM自动编码器,其目的是对构造的特征图像进行编码并捕获时间行为,然后对压缩的知识表示进行解码以重建输入的特征图像。然后计算重建误差,并进行基于几何的动态阈值机制,以检测和诊断异常。对实际制造数据进行的评估结果表明,在不同的实验设置下,所提出的方法的性能优势超过了最先进的方法。
2022-01-23 cs.LG cs.SE stat.ML
AMAD: AutoMasked Attention for Unsupervised Multivariate Time Series Anomaly Detection
Northwestern Polytechnical University(西北工业大学)
针对无监督多元时间序列异常检测中关联假设受限的问题,提出AMAD模型,结合自动掩码注意力与注意力混合模块,辅以最大-最小训练和局部-全局对比学习,实现稳健且通用的异常检测,性能媲美最先进基准。
2025-04-25 cs.AI cs.LG
Model-Based Policy Search for Automatic Tuning of Multivariate PID Controllers
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出基于模型的策略搜索框架,用于自动调优多变量PID控制器,通过数据驱动的方法解决复杂系统的控制器调优问题。
2017-03-08 cs.LG cs.RO cs.SY
Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows
Zalando Research(Zalando研究院)
时间序列预测通常是科学和工程问题的基础,并使决策成为可能。随着数据集大小的不断增加,扩大预测的一个简单解决方案是假设交互时间序列之间的独立性。然而,建模统计依赖性可以提高准确性,并能够分析交互作用效应。深度学习方法非常适合这个问题,但多变量模型通常假设一个简单的参数分布,并且不能扩展到高维。在这项工作中,我们通过自回归深度学习模型对时间序列的多变量时间动态进行建模,其中数据分布由条件归一化流表示。这种组合保留了自回归模型的功能,例如外推到未来的良好性能,以及作为通用高维分布模型的流量灵活性,同时保持计算上的易处理性。我们表明,它提高了许多现实世界的数据集与几千个相互作用的时间序列的标准指标的最先进的。
2021-01-14 cs.LG stat.ML
Ensemble neuroevolution based approach for multivariate time series anomaly detection
AGH University of Science and Technology(AGH科技大学)
多变量时间序列异常检测是故障预防领域中一个非常常见的问题。快速预防意味着更低的维修成本和损失。新型工业系统中传感器的数量使得异常检测过程对人类来说非常困难。自动检测异常过程的算法在现代故障预防系统中至关重要。因此,许多机器和深度学习模型被设计来解决这个问题。大多数情况下,它们是基于自动编码器的架构,具有一些生成对抗元素。在这项工作中,一个框架,其中包括神经进化方法,以提高新的和已知的模型的异常检测分数。该方法采用演化策略对集成模型进行进化,每个模型作用于一个数据传感器子集。神经进化的下一个目标是优化架构和超参数,如窗口大小、层数、层深度等。所提出的框架表明,可以在合理的时间和完全自动化的模式下提升大多数异常检测深度学习模型。测试在SWAT和WADI数据集上运行。据我们所知,这是第一种使用神经进化策略以内置的全自动方式构建集成深度学习异常检测模型的方法。
2021-08-08 cs.AI cs.LG
A Causal-based Framework for Multimodal Multivariate Time Series Validation Enhanced by Unsupervised Deep Learning as an Enabler for Industry 4.0
Paul Wurth S.A.(保罗沃思股份公司)
多模态多变量时间序列的高级概念验证框架定义了从单变量上下文定义到自动编码器从异构数据(图像、时间序列、声音等)学习的多模态抽象上下文表示的多级上下文异常检测。与工业过程相关。框架的每一级都适用于历史数据和/或实时数据。最终层次是基于因果发现来识别观测数据中的因果关系,以排除有偏见的数据来训练机器学习模型,并为领域专家提供在数据样本所代表的底层过程中发现未知因果关系的方法。一个长短期记忆自动编码器成功地评估多变量时间序列,以验证与高炉的多个资产的抽象上下文的学习表示。确定了一个研究路线图,将因果发现和表示学习相结合,作为应用于过程工业的无监督根本原因分析的推动者。
2020-08-05 cs.LG stat.ML
AltTS: A Dual-Path Framework with Alternating Optimization for Multivariate Time Series Forecasting
School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院);University of Chicago, USA(芝加哥大学)
AltTS 提出一种双路径框架,通过交替优化解耦自回归和跨关系建模,提升多变量时间序列预测的长期内预测性能。
2026-02-12 cs.AI cs.LG
Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection
在这项工作中,我们提出了GLUE(图形偏差网络与本地不确定性估计),最近提出的图形偏差网络(GDN)的基础上。GLUE不仅可以自动学习变量之间的复杂依赖关系,并使用它们来更好地识别异常行为,还可以量化其预测的不确定性,使我们能够解释数据中的变化,并具有更多可解释的异常检测阈值。两个真实世界数据集上的结果告诉我们,优化负高斯对数似然是合理的,因为GLUE的预测结果与GDN相当,实际上优于向量自回归基线,这是重要的,因为GDN直接优化了MSE损失。总之,我们的实验表明,GLUE在异常检测方面与GDN具有竞争力,并具有不确定性估计的额外好处。我们还表明,GLUE学习有意义的传感器嵌入集群相似的传感器在一起。
2021-12-07 cs.AI cs.LG
Multivariate Physics-Informed Convolutional Autoencoder for Anomaly Detection in Power Distribution Systems with High Penetration of DERs
Lane Department of Computer Science and Electrical Engineering, West Virginia University(计算机科学与电气工程系,西弗吉尼亚大学)
尽管深度学习模型在分析网络物理事件下的系统条件方面取得了不懈的进展,但由于数据可用性问题、数据采集成本以及缺乏对训练窗口之外的数据的解释和外推,它们在电力系统领域的能力有限。此外,分布式能源(DER),如风能和太阳能发电的集成增加了电力系统的复杂性和非线性。因此,迫切需要一种可解释的和可靠的方法来增加电力系统运营商的信心和他们的态势感知,以做出可靠的决策。这导致了物理信息神经网络(PINN)模型的发展,使其成为更可解释,更可靠和更强大的模型,其中基本的原则性定律被集成到神经网络模型的训练过程中,以实现更好的性能。本文提出了一种多变量物理信息卷积自动编码器(PIConvAE)模型,用于检测具有不平衡配置和高DER渗透率的配电系统中的网络异常。物理定律通过定制的损失函数集成,该函数将基础基尔霍夫电路定律嵌入自动编码器的训练过程中。在两个不平衡的配电网,IEEE 123总线系统和真实世界的馈线在河滨,CA的多变量PIConvAE模型的性能进行评估。结果表明,所提出的方法在检测两个系统中的各种网络异常的特殊性能。此外,该模型的有效性进行了评估,在数据稀缺的情况下,不同的训练数据比率。最后,将该模型的性能与现有的机器学习模型进行比较,其中PIConvAE模型以相当高的检测指标超过其他模型。
2024-06-05 cs.AI cs.LG cs.SY
MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry
Paul Wurth S.A.(保尔沃斯公司)
在当前时代,越来越多的机器学习模型被生成用于工业过程的自动化。为此,使用每个单个资产的历史数据来训练机器学习模型,从而导致基于资产的模型的开发。为了将机器学习模型提升到更高的学习能力水平,领域自适应为从组合在一起的多个资产中提取相关模式打开了大门。在这项研究中,我们专注于将特定的基于资产的历史数据(源域)转换为对应于一个参考资产(目标域)的数据,从而创建训练域不变通用机器学习模型所需的多资产全局数据集。本研究旨在将领域自适应应用于炼铁工业,特别是通过收集来自不同高炉的数据来创建领域不变数据集。高炉数据具有多变量时间序列的特征。多元时间序列数据的领域自适应在文献中尚未得到广泛的研究。我们提出了MTS-CycleGAN,基于CycleGAN的多变量时间序列数据的算法。据我们所知,这是CycleGAN首次应用于多变量时间序列数据。我们的贡献是在CycleGAN架构中集成了一个基于长短期记忆(LSTM)的自动编码器(AE),用于生成器和一个堆叠的基于LSTM的编码器,以及专用的扩展特征提取机制。MTS-CycleGAN使用两个人工数据集进行验证,嵌入反映高炉过程的变量之间的复杂时间关系。MTS-CycleGAN成功地学习了两个人工多变量时间序列数据集之间的映射,允许从源数据集到目标人工高炉数据集的有效转换。
2020-07-15 cs.LG stat.ML
Quantum Autoencoder for Multivariate Time Series Anomaly Detection
Fraunhofer Institute for Applied and Integrated Security (AISEC)(弗劳恩霍夫应用与集成安全研究所(AISEC));SAP SE(SAP公司)
本文提出了一种基于量子自编码器的框架,专门用于企业级多变量时间序列异常检测,展示了其在数据压缩和异常检测中的竞争力。
2026-05-19 cs.CR cs.LG quant-ph
Feature Programming for Multivariate Time Series Prediction
University of Northwestern(西北大学)
本研究提出多变量时间序列的可编程特征工程概念与框架,基于自旋气体动力学Ising模型的细粒度视角构建简约算子实现自动化特征生成,在多类含噪数据集上验证了方法有效性。
2023-06-09 cs.LG stat.ML
IMTS is Worth Time $\times$ Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Deep Perception Technology, JITRI(JITRI深度感知技术研究所)
针对不规则多变量时间序列预测中缺失数据严重的问题,提出VIMTS框架,通过将视觉掩码自编码器适配至IMTS数据,结合等间隔特征补丁、跨通道依赖补全与由粗到细技术,实现了卓越的预测与少样本性能。
2025-05-30 cs.AI cs.CV cs.LG
On the Usage of Generative Models for Network Anomaly Detection in Multivariate Time-Series
IE–FING, UDELAR(乌拉圭共和国大学工程学院信息工程系);AIT Austrian Institute of Technology(奥地利技术研究院)
尽管多年来探索了许多用于异常检测的尝试和方法,但是数据通信网络中的罕见事件的自动检测仍然是一个复杂的问题。在本文中,我们介绍了Net-GAN,一种新的方法来检测网络异常的时间序列,使用递归神经网络(RNN)和生成对抗网络(GAN)。与传统上专注于单变量测量的最新技术不同,Net-GAN通过RNN利用时间依赖性来检测多变量时间序列中的异常。Net-GAN发现基线、多变量数据的潜在分布,而不对其性质进行任何假设,为检测复杂、难以建模的网络监控数据中的异常提供了一种强大的方法。我们进一步利用生成模型背后的概念来构思Net-VAE,这是一种基于变分自动编码器(VAE)的Net-GAN网络异常检测的补充方法。我们在不同的监控场景中评估了Net-GAN和Net-VAE,包括物联网传感器数据中的异常检测和网络测量中的入侵检测。生成模型是一种很有前途的网络异常检测方法,特别是当考虑到复杂性和不断增长的时间序列监测在运营网络。
2020-10-16 cs.AI cs.LG cs.NI
Forecasting Foreign Exchange Rate: A Multivariate Comparative Analysis between Traditional Econometric, Contemporary Machine Learning & Deep Learning Techniques
Birla Institute of Technology and Science, Pilani(博拉理工与科学大学皮拉尼分校)
在当今的全球经济中,准确预测宏观经济参数,如外汇汇率或至少正确估计趋势,对任何未来投资都至关重要。近年来,使用基于计算智能的技术来预测宏观经济变量已被证明是非常成功的。本文试图提出一种多变量时间序列方法来预测汇率(美元/印度卢比),同时比较三种多变量预测建模技术的性能:向量自回归(传统计量经济学技术),支持向量机(现代机器学习技术)和递归神经网络(现代深度学习技术)。我们使用1994年4月至2018年12月美国和印度几个宏观经济变量的月度历史数据来预测美元兑印度卢比的外汇汇率。结果清楚地表明,SVM和RNN(长短期记忆)的当代技术优于广泛使用的传统自回归方法。具有长短期记忆(LSTM)的RNN模型提供了最高的准确率(97.83%),其次是SVM模型(97.17%)和VAR模型(96.31%)。最后,我们提出了一个简短的分析相关性和相互依赖的变量用于预测。
2020-02-19 cs.LG econ.EM q-fin.ST
Deep Generative Modeling for Financial Time Series with Application in VaR: A Comparative Review
Wells Fargo(富国银行)
本文比较多种深度生成模型在金融时间序列与 VaR 建模中的表现,提出 Encoder-Decoder CGAN、Conditional TimeVAE 及评估框架,发现 HS、GARCH 和 CWGAN 表现最佳。
2024-01-18 cs.LG q-fin.CP q-fin.RM