AUTOSHAPE: An Autoencoder-Shapelet Approach for Time Series Clustering
Hong Kong Baptist University（香港浸会大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
时间序列形状是最近发现的有效的时间序列聚类（TSC）的歧视性的顺序。形状图便于解释聚类。因此，TSC的主要挑战是发现高质量的可变长度形状来区分不同的聚类。在本文中，我们提出了一种新的autoencoder-shapelet方法（AUTOSHAPE），这是第一个研究，以利用autoencoder和shapelet确定shapelet在无监督的方式。一个自动编码器是专门设计来学习高质量的形状。更具体地说，为了指导潜在的表示学习，我们采用最新的自监督损失来学习不同变量的可变长度shapelet候选（时间序列连续性）的统一嵌入，并提出多样性损失来选择统一空间中的区别性嵌入。我们引入重建损失来恢复原始时间序列空间的形状，以进行聚类。最后，我们采用Davies Bouldin索引（DBI）来通知AUTOSHAPE学习过程中的聚类性能。我们在AUTOSHAPE上进行了大量的实验。为了评估单变量时间序列（UTS）的聚类性能，我们使用UCR存档数据集将AUTOSHAPE与15种代表性方法进行了比较。为了研究多变量时间序列（MTS）的性能，我们使用5种竞争方法在30个UEA存档数据集上评估AUTOSHAPE。实验结果表明，AUTOSHAPE是所有方法中最好的一种。我们解释集群的形状，并可以得到有趣的直觉集群在两个UTS的案例研究和一个MTS的案例研究，分别。
2022-08-18 cs.AI cs.LG
Detection of Anomalies in Multivariate Time Series Using Ensemble Techniques
Harokopio University of Athens（雅典哈罗科皮奥大学）
本文针对多元时间序列异常检测中异常仅涉及少量特征的问题，提出基于特征装袋和PCA嵌套旋转的集成方法，并结合逻辑回归半监督组合策略，在SKAB数据集上显著提升了检测准确率。
2023-08-06 cs.LG stat.ML
Feature Selection for Multivariate Time Series via Network Pruning
Dartmouth College（达特茅斯学院）
近年来，在各种领域中，多变量时间序列（MTS）数据的数量不断增加，通常由诸如可穿戴设备之类的大系列传感器生成。这导致了MTS数据的新学习方法的发展，其中深度学习模型主导了最新的进展。先前的文献主要集中在设计新的网络架构，用于在MTS中建模时间依赖性。然而，较少研究的挑战与MTS数据的高维性相关。在本文中，我们提出了一种新的神经组件，即神经特征选择（NFS），作为MTS数据中特征选择的端到端解决方案。具体而言，NFS基于分解卷积设计，包括两个模块：首先MTS内的每个特征流（对应于MTS的单变量序列的流）由时间CNN独立处理;然后聚合CNN组合处理后的流以产生用于其他下游网络的输入。我们在四个真实世界的MTS数据集上评估了所提出的NFS模型，发现它在提供特征选择的好处的同时，实现了与最先进的方法相当的结果。我们的论文还强调了与使用最近的基于自动编码器的方法相比，NFS的特征选择的鲁棒性和有效性。
2021-10-21 cs.AI cs.LG
CALAD: Channel-Aware contrastive Learning for multivariate time series Anomaly Detection
Department of Industrial Engineering, Inha University, Incheon, Republic of Korea（韩国Inha大学工业工程系）
提出CALAD框架，通过估计信道相关性指导对比样本构建，结合对比学习和辅助重构头，实现信道感知的多元时间序列异常检测，在分布漂移场景下优于现有方法。
2026-05-22 cs.AI cs.LG
Variational Heteroscedastic Volatility Model
University College London（伦敦大学学院）；Humboldt Universität zu Berlin（柏林洪堡大学）
我们提出了变分异方差波动率模型（VHVM）-一个端到端的神经网络架构，能够建模异方差行为的多元金融时间序列。VHVM利用深度学习几个领域的最新进展，即序列建模和表示学习，来模拟不同资产回报之间的复杂时间动态。VHVM的核心包括一个用于捕获资产之间关系的变分自动编码器，以及一个用于对这些依赖关系的时间演化进行建模的递归神经网络。VHVM的输出是协方差矩阵形式的时变条件波动率。我们证明了VHVM对现有方法的有效性，如广义自回归条件异方差（GARCH）和随机波动率（SV）模型在广泛的多变量外币（FX）数据集。
2022-04-11 cs.AI cs.LG q-fin.ST
Phase-Type Variational Autoencoders for Heavy-Tailed Data
Université Paris Saclay, Lab. MICS, CentraleSupélec, Gif-sur-Yvette, France（巴黎萨克雷大学，MICS实验室，CentraleSupélec，法国吉夫-sur-依夫）
提出Phase-Type变分自编码器（PH-VAE），通过将解码器分布建模为潜在条件相位型分布（连续时间马尔可夫链的吸收时间），灵活适应重尾行为，在合成和真实基准上优于高斯、Student-t和极值VAE解码器。
2026-05-26 cs.AI cs.LG stat.ML
Multivariate Temporal Autoencoder for Predictive Reconstruction of Deep Sequences
Altum Intelligence（Altum Intelligence（阿尔图姆智能））
时间序列序列预测和建模已被证明是现实世界数据集的一项具有挑战性的工作。两个关键问题是数据的多维性和形成潜在输出信号的独立维度的相互作用，以及预测模型内部的多维时间数据的表示。本文提出了一种多分支深度神经网络方法来解决上述问题，通过使用循环自动编码器分支对数据窗口的潜在状态向量表示进行建模，随后将训练的潜在向量表示馈送到模型的预测器分支中。该模型此后被称为多变量时间自动编码器（MvTAe）。本文中的框架利用了一个合成的多变量时态数据集，其中包含的维度相结合，以创建一个隐藏的输出目标。
2020-10-07 cs.LG
Rotary Masked Autoencoders are Versatile Learners
University of Trieste（特里埃斯特大学）；Abdus Salam International Centre for Theoretical Physics (ICTP)（阿布杜斯·萨拉姆国际理论物理学中心（ICTP））；Scuola Internazionale Superiore di Studi Avanzati (SISSA)（国际先进研究高等学院（SISSA））；University of Nova Gorica（诺瓦戈里察大学）；INFN – National Institute for Nuclear Physics（意大利国家核物理研究所（INFN））；ICSC - Centro Nazionale di Ricerca in High Performance Computing（高性能计算国家研究中心（ICSC））；Imperial College London（伦敦帝国理工学院）
RoMAE通过旋转位置嵌入实现多维连续位置学习，无需时间序列特化架构，在多种模态上表现优异，超越专门时间序列架构。
2026-05-12 cs.LG
CASA: CNN Autoencoder-based Score Attention for Efficient Multivariate Long-term Time-series Forecasting
Department of Mathematical Sciences（数学科学系）；Research Institute of Mathematics（数学研究所）；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）
本文提出CASA机制，通过CNN自编码器得分注意力降低内存占用，以模型无关方式改进Transformer，在多元长期时间序列预测中最多降低77.7%计算资源并取得最优性能。
2025-05-04 cs.AI cs.LG
Ti-MAE: Self-Supervised Masked Time Series Autoencoders
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Huawei Technologies Ltd.（华为技术有限公司）
多变量时间序列预测在各种应用和场景中越来越受欢迎。最近，对比学习和基于transformer的模型在许多长期序列预测任务中取得了良好的性能。然而，在现有的方法中仍然存在一些问题。首先，对比学习的训练范式与下游预测任务不一致，导致预测结果不准确。第二，现有的基于变换器的模型，诉诸于历史时间序列数据中的相似模式来预测未来值，通常会引起严重的分布偏移问题，并且与自监督方法相比，不能充分利用序列信息。为了解决这些问题，我们提出了一个新的框架，名为Ti-MAE，其中输入的时间序列被假定为遵循一个完整的分布。具体来说，Ti-MAE随机屏蔽嵌入的时间序列数据，并学习自动编码器在点级别重建它们。Ti-MAE采用掩模建模（而不是对比学习）作为辅助任务，在现有的表示学习和基于生成式变换器的方法之间架起了桥梁，在保持原始时间序列数据利用率的同时，减少了上下游预测任务之间的差异。在几个公开的真实世界数据集上的实验表明，我们的掩码自动编码框架可以直接从原始数据中学习强表示，从而在时间序列预测和分类任务中获得更好的性能。
2023-01-21 cs.LG
Networked Time Series Imputation via Position-aware Graph Enhanced Variational Autoencoders
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对网络化时间序列（NTS）中图结构动态变化且存在缺失值的问题，提出PoGeVon模型，利用变分自编码器（VAE）结合基于带重启随机游走（RWR）的节点位置嵌入，通过多任务学习的3阶段解码器相互插补时间序列与图结构缺失值，实现了比基线更优的插补效果。
2023-06-26 cs.AI cs.LG
Disentangled Variational Autoencoder based Multi-Label Classification with Covariance-Aware Multivariate Probit Model
Cornell University（康奈尔大学）
多标签分类是一个具有挑战性的任务，预测存在和不存在的多个目标，涉及表示学习和标签相关性建模。我们提出了一种新的多标签分类框架，多变量概率变分自编码器（MPVAE），有效地学习潜在的嵌入空间以及标签相关性。MPVAE分别为标签和特征学习和对齐两个概率嵌入空间。MPVAE的解码器从嵌入空间中获取样本，并通过学习共享协方差矩阵，在多变量Probit模型下对输出目标的联合分布进行建模。我们表明，MPVAE优于现有的国家的最先进的方法在各种应用领域，使用公共的真实世界的数据集。MPVAE进一步示出在噪声设置下保持稳健。最后，我们通过一个鸟类观测数据集的案例研究证明了学习协方差的可解释性。
2020-07-12 cs.LG stat.ML
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University（北京交通大学）
由于当今IT监控系统的维度和复杂性的增加，在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题，即在正常样本上进行训练，并在异常输入上产生显著的重建误差。然而，在实践中，由于神经网络的强大功能，自编码器可以很好地重建异常。此外，这些方法对于识别非点异常（例如，上下文异常和集体异常）可能是无效的，因为它们仅利用逐点重建目标。为了解决上述问题，我们提出了MemAAE（\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}），一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务，重建和预测，与共享的网络架构，我们表明，通过多个任务检测异常获得优越的性能，而不是单任务训练。此外，引入压缩记忆模块来保存正常模式，避免对异常输入的意外泛化。通过广泛的实验，MemAAE在四个公共数据集上的总体F1得分为0.90，显著优于最佳基线0.02。
2021-10-15 cs.LG
Generating Multivariate Load States Using a Conditional Variational Autoencoder
Delft University of Technology（代尔夫特理工大学）
对于电力系统的规划和操作工具的校准，在大范围的代表性场景中分析系统性能是必不可少的。当可用的历史数据有限时，生成模型是一个很有前途的解决方案，但建模高维依赖性是具有挑战性的。提出了一种基于条件变分自编码（CVAE）神经网络的多变量负荷状态生成模型。超越常见的CVAE实现，该模型包括在给定的潜在向量下输出样本的随机变化，并共同优化该输出可变性的参数。结果表明，这提高了所生成的数据的统计特性。使用单变量和多变量性能度量来评估生成的多变量负载的质量。欧洲网络的发电充裕度的案例研究被用来说明模型的能力，以产生现实的尾部分布。实验结果表明，该生成器优于其他数据生成机制。
2022-12-14 cs.LG cs.SY eess.SY
Towards efficient deep autoencoders for multivariate time series anomaly detection
Institute of Electronics（电子学研究所）；AGH-UST（AGH科技大学）；Institute of Computer Science（计算机科学研究所）；Department of Computer Science（计算机科学系）；American University（美利坚大学）
针对深度自编码器在实时多元时间序列异常检测中的资源约束问题，提出结合剪枝与线性、非线性量化的压缩方法，在保持检测性能的同时实现80%至95%的模型压缩。
2024-03-04 cs.AI cs.LG
PAC-Bayes Bounds for Multivariate Linear Regression and Linear Autoencoders
Kent State University（肯特州立大学）；Auburn University（阿伯丁大学）
本文提出多变量线性回归和线性自编码器的PAC-Bayes界，通过理论分析提升计算效率，并验证其在推荐系统中的有效性。
2025-12-15 cs.LG stat.ML
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种集成TFT和VAE的可视化分析框架，通过降维技术将复杂时间序列映射至2D潜在空间，直观探索电网事件特征，提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
Fast and scalable neuroevolution deep learning architecture search for multivariate anomaly detection
AGH University of Science and Technology（AGH科技大学）；American University（美利坚大学）
神经进化是可用于在训练期间学习最佳架构的方法之一。它使用进化算法来生成人工神经网络的拓扑结构及其参数。主要的好处是它是可扩展的，可以是完全或部分非梯度方法。在这项工作中，提出了一种改进的神经进化技术，它采用了多级优化。该方法采用演化策略对基于Bagging技术的集成模型进行进化，使用遗传算子优化单个异常检测模型，减少训练数据集以加快搜索过程并进行非梯度微调。多变量异常检测作为一个无监督学习任务的情况下，所提出的方法进行了测试研究。单模型优化基于变异和交叉算子，专注于寻找最佳窗口大小、层数、层深度、超参数等，以提高新模型和已知模型的异常检测分数。所提出的框架及其协议表明，有可能在合理的时间范围内找到可以提升所有已知的多元异常检测深度学习架构的架构。工作集中在改进的多层次神经进化异常检测方法。主要的修改是在混合组和单模型演化，非梯度微调和投票机制的方法。所提出的框架可以用作任何不同的无监督任务，其中可以使用自动编码器架构的有效学习网络架构方法。测试在SWAT、WADI、MSL和SMAP数据集上运行，所提出的方法发展了在其他深度学习模型中获得最佳分数的架构。
2022-08-27 cs.AI cs.NE
TeVAE: A Variational Autoencoder Approach for Discrete Online Anomaly Detection in Variable-state Multivariate Time-series Data
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Leiden University（莱顿大学）
针对汽车测试中人工评估受限、真实多变量时间序列数据复杂的问题，提出TeVAE模型，能基于无标签数据低误报检测异常、避免绕过现象、支持窗口重映射，在工业数据集上实现6%误报率与65%异常检出率，且小数据集适用但需复杂阈值估计。
2025-11-12 cs.AI cs.CE cs.LG
Multivariate Variational Autoencoder
Faculty of Engineering and Natural Sciences（工程与自然科学学院）；Işık University（伊西克大学）
MVAE通过引入全协方差扩展，提升VAE在潜在表示校准和聚类方面的性能，实现更准确的重建和更稳定的潜在空间结构。
2025-12-01 cs.CV cs.LG
Multivariate Physics-Informed Convolutional Autoencoder for Anomaly Detection in Power Distribution Systems with High Penetration of DERs
Lane Department of Computer Science and Electrical Engineering, West Virginia University（计算机科学与电气工程系，西弗吉尼亚大学）
尽管深度学习模型在分析网络物理事件下的系统条件方面取得了不懈的进展，但由于数据可用性问题、数据采集成本以及缺乏对训练窗口之外的数据的解释和外推，它们在电力系统领域的能力有限。此外，分布式能源（DER），如风能和太阳能发电的集成增加了电力系统的复杂性和非线性。因此，迫切需要一种可解释的和可靠的方法来增加电力系统运营商的信心和他们的态势感知，以做出可靠的决策。这导致了物理信息神经网络（PINN）模型的发展，使其成为更可解释，更可靠和更强大的模型，其中基本的原则性定律被集成到神经网络模型的训练过程中，以实现更好的性能。本文提出了一种多变量物理信息卷积自动编码器（PIConvAE）模型，用于检测具有不平衡配置和高DER渗透率的配电系统中的网络异常。物理定律通过定制的损失函数集成，该函数将基础基尔霍夫电路定律嵌入自动编码器的训练过程中。在两个不平衡的配电网，IEEE 123总线系统和真实世界的馈线在河滨，CA的多变量PIConvAE模型的性能进行评估。结果表明，所提出的方法在检测两个系统中的各种网络异常的特殊性能。此外，该模型的有效性进行了评估，在数据稀缺的情况下，不同的训练数据比率。最后，将该模型的性能与现有的机器学习模型进行比较，其中PIConvAE模型以相当高的检测指标超过其他模型。
2024-06-05 cs.AI cs.LG cs.SY
An Attention-based ConvLSTM Autoencoder with Dynamic Thresholding for Unsupervised Anomaly Detection in Multivariate Time Series
Western University（韦仕敦大学）；National Research Council Canada（加拿大国家研究委员会）
由于智能制造中的复杂系统产生了大量的多变量时间序列数据，因此需要改进异常检测框架，以降低系统操作员的操作风险和监控负担。然而，构建这样的框架是具有挑战性的，因为足够大量的有缺陷的训练数据通常不可用，并且框架需要捕获跨不同时间步长的时间和上下文依赖性，同时对噪声是鲁棒的。本文提出了一种无监督的基于注意力的卷积长短期记忆（ConvLSTM）动态保持自编码器（ACLAE-DT）框架，用于多变量时间序列的异常检测和诊断。该框架首先对数据进行预处理和丰富，然后通过捕获时间序列对之间的相互关联来构建特征图像，以表征不同时间步长的系统状态。然后，构造的特征图像被馈送到基于注意力的ConvLSTM自动编码器，其目的是对构造的特征图像进行编码并捕获时间行为，然后对压缩的知识表示进行解码以重建输入的特征图像。然后计算重建误差，并进行基于几何的动态阈值机制，以检测和诊断异常。对实际制造数据进行的评估结果表明，在不同的实验设置下，所提出的方法的性能优势超过了最先进的方法。
2022-01-23 cs.LG cs.SE stat.ML
Anomaly Detection for Multivariate Time Series on Large-scale Fluid Handling Plant Using Two-stage Autoencoder
Toshiba Corporation（东芝公司）
本文重点研究了具有动态组件的大型流体处理工厂（如发电厂、水处理厂和化工厂）中多变量时间序列数据的异常检测，这些工厂同时观察到来自各种物理现象的信号。在这些工厂中，鉴于熟练工程师人数减少和人力短缺，对异常检测技术的需求正在增加，以降低运营和维护成本。然而，考虑到高维信号的复杂行为和对可解释性的需求，这些技术构成了一个重大挑战。我们介绍了一个两阶段自动编码器（TSAE）作为一种异常检测方法适用于这样的工厂。这是一种简单的自动编码器架构，使异常检测更具有可解释性和更准确性，其中基于植物信号可以分离为两个几乎没有相互关联的行为的前提下，信号以逐步的方式分离为长期和短期分量，并且两个分量独立训练，以提高对正常信号的推断能力。通过对两个公开的水处理系统数据集的实验，我们已经证实了高检测性能，前提的有效性，以及模型行为的预期，即，TSAE的技术有效性。
2022-05-20 cs.LG
Topological Data Analysis for High-Dimensional Dynamic Process Monitoring
Department of Chemical & Biological Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校化学与生物工程系）；ExxonMobil Technology and Engineering（埃克森美孚技术与工程）
提出结合拓扑数据分析和机器学习的方法，将多变量时间序列表示为流形，用拓扑描述符总结结构，并用神经常微分方程学习拓扑结构动态演化，实现高效事件检测。
2026-06-19 cs.LG cs.SY eess.SY
Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
Department of Physics Emory University（埃默里大学物理系）；Departments of Physics and Biology Initiative in Theory and Modeling of Living Systems Emory University（埃默里大学物理与生物学理论与活体系统建模研究所）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出深度变分多元信息瓶颈统一框架，推广多种变分降维方法，扩展beta-DVCCA并提出DVSIB新方法，实验验证其在多视图表示学习上的性能优势，为定制损失函数奠定基础。
2025-09-02 cond-mat.stat-mech cs.IT cs.LG
Autoencoder Based Iterative Modeling and Multivariate Time-Series Subsequence Clustering Algorithm
Technische Universität Berlin（柏林工业大学）；IAV GmbH（IAV有限公司）
本文提出一种基于RNN自编码器迭代训练的算法，用于多变量时间序列的变点检测与子序列聚类，结合基于曲率的相似性度量，在八个数据集上优于七种基线算法。
2022-09-23 cs.LG eess.SP
MA-VAE: Multi-head Attention-based Variational Autoencoder Approach for Anomaly Detection in Multivariate Time-series Applied to Automotive Endurance Powertrain Testing
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Leiden University（莱顿大学）
本文提出基于多头注意力的变分自编码器MA-VAE，用于汽车动力总成测试的多变量时间序列异常检测，在无标签数据上训练即可实现低假阳性率并检测多数异常，同时解决旁路现象并实现窗口到连续时间序列的映射。
2024-09-19 cs.AI cs.LG cs.SY
Deep Spatiotemporal Clustering: A Temporal Clustering Approach for Multi-dimensional Climate Data
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对高维时空数据聚类仅侧重空间或时间特征的问题，提出无监督深度学习算法 DSC，利用集成 CNN-RNN 的自编码器与 Student's t-distribution 聚类层联合优化聚类与重建损失，在多维气候数据集上优于现有方法及多种变体。
2023-09-13 cs.LG
Multivariate Feature Selection and Autoencoder Embeddings of Ovarian Cancer Clinical and Genetic Data
Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；Hospital HM Sanchinarro（HM Sanchinarro医院）；Fundación Investigación HM Hospitales（HM医院研究基金会）
本研究结合自编码器与信息变量标识符（IVI）方法，分析卵巢癌临床与基因数据，发现手术类型、新辅助化疗及特定基因突变与疾病进展高度相关，为患者分层和个性化治疗提供了新生物标志物潜力。
2025-01-27 cs.LG
Quantum Autoencoder for Multivariate Time Series Anomaly Detection
Fraunhofer Institute for Applied and Integrated Security (AISEC)（弗劳恩霍夫应用与集成安全研究所（AISEC））；SAP SE（SAP公司）
本文提出了一种基于量子自编码器的框架，专门用于企业级多变量时间序列异常检测，展示了其在数据压缩和异常检测中的竞争力。
2026-05-19 cs.CR cs.LG quant-ph
Variational Autoencoded Multivariate Spatial Fay-Herriot Models
University of Missouri（密苏里大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；U.S. Census Bureau（美国人口普查局）
针对传统空间Fay-Herriot模型计算资源需求高、高维多元场景扩展性差的问题，提出两种结合变分自编码器学习空间随机效应的方法，可复用预训练模型、大幅提升计算效率，并在加州普查区的美国社区调查数据上验证了有效性。
2025-03-18 cs.LG stat.ML
Auto-Encoding Total Correlation Explanation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
无监督学习的进步使得能够从复杂的分布中重建和生成样本，但这种成功被所学习的表示的不可理解性所破坏。我们提出了一个信息理论的方法来表征解纠缠和依赖的表示学习使用多变量互信息，也称为总相关。全相关解释（CorEx）的原则已经在各种领域中成功地应用了无监督学习，但有一些限制性的假设。在这里，我们放宽这些限制，通过引入一个灵活的变分下限的CorEx。令人惊讶的是，我们发现，这个下限是等价的变分自编码器（VAE）在一定条件下。VAE的这种信息论观点加深了我们对分层VAE的理解，并激发了一种新的算法AnchorVAE，该算法通过信息最大化使潜在代码更具可解释性，并能够生成更丰富，更真实的样本。
2018-02-16 cs.LG stat.ML
Autoencoder based Anomaly Detection and Explained Fault Localization in Industrial Cooling Systems
Vienna University of Technology（维也纳工业大学）；Austrian Institute of Technology（奥地利技术研究所）；Hauser（豪瑟）；Siemens Technology（西门子科技）
由于数据维数高、传感器记录不一致以及缺乏标签，大型工业冷却系统中的异常检测非常具有挑战性。这些系统中的自动异常检测的现有技术通常依赖于专家知识和阈值。然而，数据被视为孤立和复杂的，多变量关系被忽视。在这项工作中，我们提出了一个基于自动编码器的端到端的工作流程，适用于大型工业冷却系统中的多变量时间序列数据的异常检测，包括解释故障定位和基于专家知识的根本原因分析。我们使用总重建误差（包括所有传感器信号的自动编码器重建误差）的阈值来识别系统故障。对于故障定位，我们计算单个重建误差（每个传感器信号的自动编码器重建误差），使我们能够识别对总重建误差贡献最大的信号。通过查找表提供专家知识，从而能够对受影响的子系统进行根本原因分析和分配。我们在一个冷却系统单元中展示了我们的发现，该单元包括34个传感器，使用4重交叉验证方法，并根据领域专家提供的阈值自动创建标签。使用4重交叉验证，我们的F1分数为0.56，而自动编码器结果显示出比自动创建的标签（CS为0.62）更高的一致性分数（CS为0.92）--这表明异常是以非常稳定的方式识别的。主要异常由自动编码器发现，并自动创建标签，并记录在日志文件中。此外，所解释的故障定位以非常一致的方式突出了主要异常的最受影响的组件。
2022-10-14 cs.AI cs.LG
Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting
School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Department of Computer Science, Tongji University（同济大学计算机科学系）；University of Technology Sydney（悉尼科技大学）；DataX Research Centre, School of Computing, Macquarie University（麦考瑞大学计算学院DataX研究中心）
本文提出时序条件变分自编码器TCVAE，通过时序Hawkes注意力、门控注意力机制和条件连续归一化流建模多元时间序列的动态分布依赖，有效应对分布漂移，在六个真实数据集上验证了其优越的鲁棒性和预测性能。
2024-04-02 cs.LG
Anomaly Detection in Multivariate Non-stationary Time Series for Automatic DBMS Diagnosis
Pohang University of Science and Technology（浦项科技大学）
随着大数据系统中统计量和事件度量的不断增加，数据库管理系统中的异常检测变得越来越困难。在本文中，我提出了一个自动DBMS诊断系统，检测异常期间与异常DB统计指标，并发现因果事件的期间。利用深度编码器的重构误差和统计过程控制方法检测异常时间段。使用事件和异常统计度量之间的时间序列相似性度量来发现相关事件。在使用DBMS度量数据训练深度自动编码器之后，从包含异常的其他DBMS研究异常检测的功效。实验结果表明了该模型的有效性，尤其是批量时间归一化层。提出的模型用于发布自动DBMS诊断报告，以确定DBMS配置和SQL调优。
2017-10-09 cs.LG stat.AP stat.ML
Deep Convolutional Autoencoder for Assessment of Drive-Cycle Anomalies in Connected Vehicle Sensor Data
Michigan Technological University（密歇根理工大学）；New York University School of Medicine（纽约大学医学院）；Ford Motor Company（福特汽车公司）
提出一种全卷积自编码器，通过重建混合动力车动力总成多元传感器时序数据来无监督检测驾驶循环异常，实验证明其优于传统异常检测器和其他深度学习方法。
2024-09-09 cs.LG cs.NE
Reconstruction-based LSTM-Autoencoder for Anomaly-based DDoS Attack Detection over Multivariate Time-Series Data
Massey University（梅西大学）；Central Queensland University（中央昆士兰大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
针对传统方法无法检测未见过的 DDoS 攻击问题，提出基于重构的 LSTM-AE 模型，通过学习流量时序相关性并利用重构误差识别异常，在反射型 DDoS 攻击检测中准确率超 99%。
2023-04-21 cs.CR cs.LG
Deep Clustering of Tabular Data by Weighted Gaussian Distribution Learning
Tennessee State University（田纳西州立大学）
针对表格数据异构特征带来的聚类挑战，提出无监督深度聚类框架G-CEALS，通过迭代更新聚类权重学习多元高斯分布参数，在16个数据集上优于9种SOTA方法及传统K-means、GMM。
2024-05-17 cs.AI cs.LG
Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data
Swiss Federal Institute of Aquatic Science and Technology, Eawag（瑞士联邦水生科学技术研究院（Eawag））；ETH Zurich（苏黎世联邦理工学院）
由于废水系统中来自现场传感器的数据量不断增加，因此有必要自动识别异常行为并确保高数据质量。提出了一种基于深度自动编码器的污水系统现场监测数据异常检测方法。自动编码器架构基于1D卷积神经网络（CNN）层，其中在数据的时间轴上对输入执行卷积。然后基于解码级的重构误差执行异常检测。该方法在污水处理过程监测数据的多变量时间序列上进行了验证。我们讨论的结果和复杂的时间序列标记异常的挑战。我们建议，我们提出的方法可以支持领域专家在识别异常。
2020-03-06 cs.LG eess.SP stat.ML
Dimension Reduction for time series with Variational AutoEncoders
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；University of Toulouse（图卢兹大学）；Liebherr Aerospace Toulouse（利勃海尔航空航天图卢兹公司）；University Toulouse 3（图卢兹第三大学）
在这项工作中，我们探索降维技术的单变量和多变量时间序列数据。我们特别进行小波分解和卷积变分自编码器之间的降维比较。我们表明，变分自编码器是一个很好的选择，为降低维数的高维数据，如心电图。我们在现实世界中，公开可用的ECG数据集上进行这些比较，该数据集具有很大的可变性，并使用重建误差作为度量。然后，我们探索这些模型的鲁棒性与噪声数据是否用于训练或推理。这些测试旨在反映现实世界的时间序列数据中存在的问题，VAE对这两种测试都是鲁棒的。
2022-04-23 cs.LG math.ST stat.TH
Generative Machine Learning for Multivariate Equity Returns
Bloomberg（彭博社）
本研究使用条件重要性加权自编码器和条件归一化流等现代机器学习方法，解决 S&P 500 成分股 500 维联合分布建模问题，并展示了其在合成数据生成、风险分析及投资组合优化等金融领域的广泛应用。
2023-11-21 cs.LG q-fin.ST
Ensemble Visualization With Variational Autoencoder
Institute of Medical Technology, Peking University Health Science Center（北京大学健康科学中心医学技术研究所）；National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出一种基于变分自编码器（VAE）的数据集合可视化新方法，通过无监督学习将空间特征转换至潜在空间并构建多元标准高斯分布，支持置信区间解析计算与密度估计，在天气预报集合上验证了其有效性与通用性。
2025-09-16 cs.LG
Causal Representation Meets Stochastic Modeling under Generic Geometry
Courant Institute of Mathematics（库朗数学科学研究所）；University of Michigan（密歇根大学）
MUTATE通过时间自适应转换模块，实现了对连续时间随机点过程的可识别因果表示学习，应用于基因组突变和神经元尖峰触发机制的研究。
2026-02-04 cs.LG math.AG
Synthetic data for ratemaking: imputation-based methods vs adversarial networks and autoencoders
Department of Actuarial Science, Faculty of Business and Economics, University of Lausanne（卢塞恩大学商学院精算科学系）；Institute of Mathematics and Statistics, Faculty of Science and Technology, University of Tartu（塔尔图大学科学与技术学院数学与统计学研究所）
本文比较了基于填补的方法与对抗网络和自编码器在合成数据生成中的表现，发现基于MICE的方法在生成高质量表格数据方面具有较低的实现复杂性。
2026-09-29 cs.LG stat.AP stat.ML
Unsupervised Multivariate Time-Series Transformers for Seizure Identification on EEG
BioSensics LLC（BioSensics有限责任公司）；Brown University（布朗大学）；University of Southern California（南加州大学）
癫痫是最常见的神经系统疾病之一，通常通过癫痫发作观察到。癫痫发作通常通过脑电图（EEG）记录进行监测，这是由于其常规和低成本的收集。EEG的随机性使得通过由训练有素的专家进行的手动检查来识别癫痫发作是一项繁琐的工作，这促使了自动识别的使用。关于自动识别的文献主要集中在监督学习方法上，该方法需要包含癫痫发作的EEG片段的专家标签，这是很难获得的。出于这些观察，我们提出癫痫发作识别作为一个无监督的异常检测问题。为此，我们采用了第一个无监督的基于变换的模型对原始EEG进行癫痫发作识别。我们训练一个自动编码器，涉及一个Transformer编码器通过一个无监督的损失函数，结合一个新的掩蔽策略，独特的多变量时间序列数据，如EEG。训练采用不包含任何癫痫发作的EEG记录，而癫痫发作是根据推理时的重建错误来识别的。我们评估我们的方法在三个公开的基准EEG数据集区分癫痫发作与非癫痫发作窗口。我们的方法导致癫痫发作识别性能明显优于监督学习同行，高达16%的召回率，9%的准确率和9%的受试者工作特征曲线（AUC）下的面积，在高度不平衡的数据上建立了特别的优势。通过准确的癫痫发作识别，我们的方法可以促进广泛访问和早期检测癫痫的发展，而不需要昂贵的标签收集或手动特征提取。
2023-01-03 cs.AI cs.LG eess.SP
Dynamic Reward Scaling for Multivariate Time Series Anomaly Detection: A VAE-Enhanced Reinforcement Learning Approach
School of Computer Science Portland State University Portland, Oregon, United States（计算机科学学院波特兰州立大学波特兰俄勒冈州美国）
针对多元时间序列异常检测中高维、标注少、传感器依赖弱的问题，本文提出融合VAE、LSTM-DQN、动态奖励与主动学习的强化学习框架DRSMT，在两个基准上取得优于基线的检测效果。
2025-11-15 cs.AI cs.LG
No Scale Left Behind: Multi-Scale Autoencoder with Bi-directional Attention for Time Series Anomaly Detection
提出MSCAD，一种基于并行自编码器分支和双向跨尺度注意力的半监督时间序列异常检测框架，在TSB-AD基准上显著超越现有方法。
2026-09-30 cs.AI cs.LG
On Disentanglement in Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）
复杂的多变量时间序列出现在许多领域，从计算机视觉到机器人或医学。通常，我们感兴趣的是产生我们所观察的高维数据的独立潜在因素。虽然已经引入了许多模型来学习这种分解的表示，但只有很少的模型试图明确地利用顺序数据的结构。我们研究了高斯过程变分自编码器的解纠缠特性，这是一类最近推出的模型，在时间序列数据的不同任务中取得了成功。我们的模型利用时间结构的数据建模每个潜在的通道与GP之前，并采用结构化的变分分布，可以捕捉依赖关系的时间。我们证明了我们的方法对国家的最先进的无监督和弱监督的解纠缠方法的基准任务的竞争力。此外，我们提供的证据表明，我们可以学习现实世界的医疗时间序列数据有意义的解开表示。
2021-02-10 cs.LG stat.ML
DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting
The University of Hong Kong（香港大学）；Vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）
针对多变量时间序列预测中通道依赖策略易引入无关变量致性能下降的问题，提出结合通道依赖与独立策略优势的DGCformer，经图卷积自编码器分组变量并搭配前后掩码自注意力，在8个数据集上表现优于现有最优模型。
2024-05-14 cs.LG
Latent Structural Similarity Networks for Unsupervised Discovery in Multivariate Time Series
Independent Researcher（独立研究者）；University of Cambridge（剑桥大学）
本文提出了一种用于多变量时间序列无监督发现的潜在结构相似性网络，通过无监督学习构建实体间关系图，展示潜在相似性对网络结构的影响。
2026-01-15 cs.LG
PhaseNet++: Phase-Aware Frequency-Domain Anomaly Detection for Industrial Control Systems via Phase Coherence Graphs
Department of CSE IIITDM Kancheepuram Chennai, India（计算机科学与工程系IIITDM坎切浦拉姆钦奈印度）
本文提出PhaseNet++，通过相位一致性图网络在频域中检测工业控制系统异常，利用相位信息提升检测性能，实验表明其在SWaT基准测试中取得高F1分数和ROC-AUC值。
2026-04-30 cs.AI cs.LG
A Bi-LSTM Autoencoder Framework for Anomaly Detection -- A Case Study of a Wind Power Dataset
West Virginia University（西弗吉尼亚大学）
异常是指偏离正常和同质事件的数据点或事件，可能包括欺诈活动、网络渗透、设备故障、流程更改或其他重大但不常见的事件。及时发现此类事件可以防止财务、信息和人力资源方面的潜在损失。随着计算能力的提高和大数据集的可用性，异常检测已成为一个主要的研究领域。其中，时间序列中的异常检测最近得到了更多的关注，由于时间维所施加的复杂性。本文提出了一种结合双向长短期记忆（Bi-LSTM）架构和自动编码器的时间序列异常检测框架。由两个单向LSTM网络组成的Bi-LSTM网络可以从两个方向分析时间序列数据，从而有效地发现隐藏在序列数据中的长期依赖关系。同时，自动编码器机制有助于建立最佳阈值，超过该阈值的事件可以被分类为异常。为了证明所提出的框架的有效性，它被应用到一个真实世界的多变量时间序列数据集收集的风电场。Bi-LSTM Autoencoder模型实现了96.79%的分类准确率，优于更常用的LSTM Autoencoder模型。
2023-03-17 cs.LG
Ensemble neuroevolution based approach for multivariate time series anomaly detection
AGH University of Science and Technology（AGH科技大学）
多变量时间序列异常检测是故障预防领域中一个非常常见的问题。快速预防意味着更低的维修成本和损失。新型工业系统中传感器的数量使得异常检测过程对人类来说非常困难。自动检测异常过程的算法在现代故障预防系统中至关重要。因此，许多机器和深度学习模型被设计来解决这个问题。大多数情况下，它们是基于自动编码器的架构，具有一些生成对抗元素。在这项工作中，一个框架，其中包括神经进化方法，以提高新的和已知的模型的异常检测分数。该方法采用演化策略对集成模型进行进化，每个模型作用于一个数据传感器子集。神经进化的下一个目标是优化架构和超参数，如窗口大小、层数、层深度等。所提出的框架表明，可以在合理的时间和完全自动化的模式下提升大多数异常检测深度学习模型。测试在SWAT和WADI数据集上运行。据我们所知，这是第一种使用神经进化策略以内置的全自动方式构建集成深度学习异常检测模型的方法。
2021-08-08 cs.AI cs.LG
Generating Contextual Load Profiles Using a Conditional Variational Autoencoder
Delft University of Technology（代尔夫特理工大学）
在电力系统规划和安全评估中，尤其是在历史数据不足的情况下，具有相似分布和相关性的发电系统状态是必不可少的。在本文中，我们描述了一个生成模型的工业和商业客户的负载配置文件，基于条件变分自编码器（CVAE）神经网络架构，这是具有挑战性的，由于高度可变的性质，这样的配置文件。生成的上下文负载配置文件以一年中的月份和与电网的典型功率交换为条件。此外，代的质量进行了视觉和统计评估。实验结果表明，我们提出的CVAE模型可以捕捉历史负荷曲线的时间特征，并生成“现实”的数据，具有令人满意的单变量分布和多变量依赖关系。
2022-12-13 cs.LG cs.SY eess.SY
