Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection---Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
时间序列数据广泛存在，异常点检测是数据采掘的一个基本问题，有着广泛的应用。现有的基于自动编码器的方法在具有挑战性的现实世界数据上提供了最先进的性能，但容易受到离群值的影响，并且表现出较低的可解释性。为了解决这两个限制，我们提出了鲁棒的和可解释的无监督自动编码器框架，使用自动编码器将输入时间序列分解为干净的时间序列和离群值时间序列。由于干净的时间序列可以用易于理解的模式（如趋势和周期性）更好地解释，因此可解释性得到了改善。我们通过事后可解释性分析和实证研究对此进行了深入研究。此外，由于离群值是迭代地从干净的时间序列中分离出来的，我们的方法对离群值提供了更好的鲁棒性，这反过来又提高了准确性。我们在五个真实世界的数据集上评估了我们的方法，并报告了在鲁棒性和可解释性方面对最先进方法的改进。这是“Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection”的扩展版本，将出现在IEEE ICDE 2022中。
2022-04-07 cs.DB cs.LG
CEPAE: Conditional Entropy-Penalized Autoencoders for Time Series Counterfactuals
Novartis（诺华）；Novartis Barcelona Supercomputing Center（诺华巴塞罗那超级计算中心）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
CEPAE通过条件熵惩罚机制提升时间序列反事实推断的准确性，适用于金融、医疗等领域的决策分析。
2026-02-17 cs.LG
VELC: A New Variational AutoEncoder Based Model for Time Series Anomaly Detection
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
异常检测是一个经典但值得研究的问题，已经提出了许多基于深度学习的异常检测算法，通常可以取得比传统方法更好的检测结果。针对模型的可重构性和异常分值的计算，提出了一种基于变分自编码器模型（VAE）的时间序列异常检测方法。为了提高模型的重构能力，防止模型不能很好地重构异常样本，我们在VAE的隐空间中加入了一个约束网络，迫使VAE产生与训练样本相似的新隐变量。为了能够在两个特征空间中计算异常分数，我们训练重新编码器以将生成的数据转换到新的潜在空间。为了更好地处理时间序列，我们使用LSTM作为VAE框架的编码器和解码器部分。几个基准测试的实验结果表明，我们的方法优于国家的最先进的异常检测方法。
2020-04-15 cs.LG stat.ML
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题，提出变分混合图自编码器（VMGAE），利用图结构优势捕捉数据关系并生成高斯混合嵌入，实验表明其显著优于现有技术，在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Denoising autoencoder with modulated lateral connections learns invariant representations of natural images
Aalto University（阿尔托大学）；ZenRobotics Ltd.（ZenRobotics有限公司）
编码器和解码器之间的适当的横向连接示出，以允许去噪自动编码器（dAE）的更高层专注于不变表示。在常规的自动编码器中，详细的信息需要通过最高层进行传输，但从编码器到解码器的横向连接减轻了这种压力。结果表明，抽象的不变特征可以被翻译为详细的重建时，不变的功能被允许调制的横向连接的强度。三个dAE结构与调制和添加剂的横向连接，并没有横向连接进行了比较，在实验中使用真实世界的图像。实验证明，向模型中添加调制横向连接1）提高了输入的概率模型的准确性，如通过去噪性能所测量的; 2）导致其不变性程度向更高层增长更快的表示;以及3）支持形成不同的不变池。
2015-03-31 cs.CV cs.LG cs.NE
Autowarp: Learning a Warping Distance from Unlabeled Time Series Using Sequence Autoencoders
Stanford University（斯坦福大学）
测量未标记时间序列轨迹之间的相似性是医学、天文学、金融和计算机视觉等领域的一个重要问题。由于轨迹中噪声的复杂性质（例如，不同的采样率或离群值），通常不清楚使用什么是适当的度量。领域专家通常手工制作或手动选择一个特定的指标，如动态时间规整（DTW），以应用于他们的数据。在本文中，我们提出了Autowarp，这是一种端到端算法，可以优化和学习一个良好的度量，给出未标记的轨迹。我们定义了一个灵活的和可微的家庭的翘曲指标，其中包括常见的指标，如DTW，欧几里德，编辑距离。然后，Autowarp利用序列自动编码器的表示能力来优化该扭曲距离家族的成员。输出是一个易于解释的度量，并且可以从相对较少的轨迹中鲁棒地学习。在不同领域的系统实验中，我们表明Autowarp通常优于手工制作的轨迹相似性度量。
2018-10-23 cs.LG stat.ML
Using Autoencoders and AutoDiff to Reconstruct Missing Variables in a Set of Time Series
KEB Automation KG（KEB自动化股份两合公司）；Helmut-Schmidt-University Hamburg（汉堡赫尔穆特·施密特大学）；University of Kassel（卡塞尔大学）
针对机器学习黑箱模型输入输出特征组合固定的问题，提出基于训练后自编码器与自动微分的时间序列缺失变量重构方法，无需重训即可调整特征组合，在强非线性电气元件数据集上验证了单变量及多变量缺失场景的有效性。
2023-08-21 cs.AI cs.LG stat.ML
PAC-Bayesian Reconstruction Guarantees for Time Series Variational Autoencoders
LPSM, Sorbonne Université（索邦大学 LPSM）；EDF R&D（法国电力集团研发部）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
本研究针对时间序列变分自编码器泛化保证有限的问题，开发了适用于马尔可夫隐变量结构的PAC-贝叶斯框架，该框架的保证不随轨迹长度增长，且所需假设限制较小。
2026-09-07 cs.LG stat.ML
Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data
Swiss Federal Institute of Aquatic Science and Technology, Eawag（瑞士联邦水生科学技术研究院（Eawag））；ETH Zurich（苏黎世联邦理工学院）
由于废水系统中来自现场传感器的数据量不断增加，因此有必要自动识别异常行为并确保高数据质量。提出了一种基于深度自动编码器的污水系统现场监测数据异常检测方法。自动编码器架构基于1D卷积神经网络（CNN）层，其中在数据的时间轴上对输入执行卷积。然后基于解码级的重构误差执行异常检测。该方法在污水处理过程监测数据的多变量时间序列上进行了验证。我们讨论的结果和复杂的时间序列标记异常的挑战。我们建议，我们提出的方法可以支持领域专家在识别异常。
2020-03-06 cs.LG eess.SP stat.ML
Learning compressed representations of blood samples time series with missing data
UiT the Arctic University of Norway（挪威北极大学）
随时间收集的临床测量结果自然表示为多变量时间序列（MTS），其中通常包含缺失数据。自动编码器可以学习MTS的低维向量表示，其保留重要的数据特征，但不能显式地处理丢失的数据。在这项工作中，我们提出了一个新的框架，结合了自动编码器的时间序列聚类内核（TCK），内核，占MTS中的缺失模式。通过内核对齐，我们将TCK纳入自动编码器中，以在存在丢失数据的情况下改进学习的表示。我们认为MTS的分类问题与缺失值，代表血液样本的手术部位感染的患者。使用我们的方法，而不是使用标准的自动编码器，我们学习可以更好地分类的低维表示。
2017-10-20 cs.LG cs.NE stat.ML
Applying Quantum Autoencoders for Time Series Anomaly Detection
Zurich University of Applied Sciences（苏黎世应用科技大学）
该研究将量子自编码器应用于时间序列异常检测，通过重构误差分析和潜在表示分析两种技术，在模拟和真实量子硬件上均验证了其相比经典深度学习自编码器参数量更少、训练迭代次数更少且性能更优的优势。
2024-10-09 cs.AI cs.ET cs.LG
Hybrid Variational Autoencoder for Time Series Forecasting
Deakin University（迪肯大学）；University of New South Wales（新南威尔士大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
提出混合变分自编码器（HyVAE），通过变分推断联合学习时间序列的局部模式与时间动态，在四个真实数据集上优于对比方法和仅学习单一方面的变体。
2023-03-13 cs.LG
Dimension Reduction for time series with Variational AutoEncoders
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；University of Toulouse（图卢兹大学）；Liebherr Aerospace Toulouse（利勃海尔航空航天图卢兹公司）；University Toulouse 3（图卢兹第三大学）
在这项工作中，我们探索降维技术的单变量和多变量时间序列数据。我们特别进行小波分解和卷积变分自编码器之间的降维比较。我们表明，变分自编码器是一个很好的选择，为降低维数的高维数据，如心电图。我们在现实世界中，公开可用的ECG数据集上进行这些比较，该数据集具有很大的可变性，并使用重建误差作为度量。然后，我们探索这些模型的鲁棒性与噪声数据是否用于训练或推理。这些测试旨在反映现实世界的时间序列数据中存在的问题，VAE对这两种测试都是鲁棒的。
2022-04-23 cs.LG math.ST stat.TH
Invariant Representations from Adversarially Censored Autoencoders
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Northeastern University（东北大学）
我们将条件变分自编码器（VAE）与对抗性审查相结合，以学习从滋扰/敏感变化中解脱出来的不变表示。在这种方法中，对抗网络试图从表示中恢复滋扰变量，VAE被训练来防止这种情况。调节解码器的滋扰变量，使清洁分离的表示，因为它们重新组合的模型学习和数据重建。我们表明，这种自然的方法在理论上是有根据的信息理论的论点。实验表明，该方法在保持模型学习性能的同时实现了不变性，并在风格转换和生成采样任务中获得了视觉上的改善。
2018-05-21 cs.IT cs.LG math.IT
Time Series Generation with Masked Autoencoder
The Hong Kong University of Science and Technology（香港科技大学）；Beijing Normal University（北京师范大学）
本文证明了带外推器的掩码自编码器（ExtraMAE）是一种可扩展的自监督时间序列生成模型。ExtraMAE随机屏蔽原始时间序列的一些补丁，并通过恢复被屏蔽的补丁来学习时间动态。我们的方法有两个核心设计。首先，ExtraMAE是自我监督的。监控允许ExtraMAE有效和高效地捕获原始时间序列的时间动态。其次，ExtraMAE提出了一个外推器来解开解码器的两个工作：恢复潜在表示并将其映射回特征空间。这些独特的设计使ExtraMAE在时间序列生成方面始终显著优于最先进的（SoTA）基准。轻量级架构还使ExtraMAE快速且可扩展。ExtraMAE在时间序列分类、预测和插补等各种下游任务中表现出色。作为一种自我监督的生成模型，ExtraMAE允许明确管理合成数据。我们希望本文将开创一个新的时代的时间序列生成与自监督模型。
2022-05-19 cs.LG
Continuous-time Autoencoders for Regular and Irregular Time Series Imputation
Yonsei University（延世大学）
针对时间序列插补需求，该研究基于神经控制微分方程（NCDEs）提出连续时间自编码器（CTA），以连续隐路径编码实现插补，在4个数据集19个基线上几乎均取得最优性能。
2024-06-24 cs.IR cs.LG
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University（北京交通大学）
由于当今IT监控系统的维度和复杂性的增加，在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题，即在正常样本上进行训练，并在异常输入上产生显著的重建误差。然而，在实践中，由于神经网络的强大功能，自编码器可以很好地重建异常。此外，这些方法对于识别非点异常（例如，上下文异常和集体异常）可能是无效的，因为它们仅利用逐点重建目标。为了解决上述问题，我们提出了MemAAE（\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}），一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务，重建和预测，与共享的网络架构，我们表明，通过多个任务检测异常获得优越的性能，而不是单任务训练。此外，引入压缩记忆模块来保存正常模式，避免对异常输入的意外泛化。通过广泛的实验，MemAAE在四个公共数据集上的总体F1得分为0.90，显著优于最佳基线0.02。
2021-10-15 cs.LG
Indoor environment data time-series reconstruction using autoencoder neural networks
RWTH Aachen University（亚琛工业大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Politecnico di Milano（米兰理工大学）
随着建筑物中安装的仪表数量的增加，可以用于开发数据驱动模型以支持和优化建筑物操作的数据时间序列的数量也在增加。然而，建立数据集的特点往往是错误和缺失值，这是考虑，最近的研究，在所提出的模型的性能的主要限制因素。出于解决建筑运营中缺失数据问题的需要，本文提出了一种数据驱动的方法来填补这些空白。在这项研究中，三个不同的自动编码器神经网络的训练，以重建缺失的短期室内环境数据时间序列在德国亚琛的办公楼收集的数据集。这包括在2014年至2017年期间对84个不同房间进行为期四年的监测活动。该模型适用于从房间自动化获得的不同时间序列，例如室内空气温度、相对湿度和$CO_{2}$数据流。结果表明，所提出的方法优于经典的数值方法，它们导致重建相应的变量，平均RMSE分别为0.42 °C，1.30%和78.41 ppm。
2021-01-21 cs.LG stat.ML
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover（莱布尼茨汉诺威大学）
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务，例如在状态监测的上下文中，但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中，我们提出了一种无监督的特征提取使用自动编码器网络，专门解决数据库的异构性，并减少了标记的训练数据的量相比，现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
DIVA: Domain Invariant Variational Autoencoders
University of Amsterdam（阿姆斯特丹大学）；TNO（荷兰应用科学研究组织）
我们考虑域泛化的问题，即，如何学习表示给定的数据从一组域，推广到数据从以前看不见的域。我们提出了域不变变分自动编码器（DIVA），一个生成模型，通过学习三个独立的潜在子空间，一个域，一个类，一个用于任何残留变化来解决这个问题。我们强调，由于我们模型的生成性质，我们还可以从已知或以前看不见的领域中合并未标记的数据。据我们所知，这在域泛化设置中还没有完成过。这种特性在标记数据稀缺的医学成像等领域非常理想。我们在旋转的MNIST基准和疟疾细胞图像数据集上对我们的模型进行了实验评估，其中我们表明：（i）学习的子空间确实是相互补充的，（ii）我们改进了这项任务的最新工作，（iii）合并未标记的数据可以进一步提高性能。
2019-10-07 cs.LG stat.ML
Clustering Time Series Data through Autoencoder-based Deep Learning Models
Georgia Institute of Technology（佐治亚理工学院）；Texas Tech University（得克萨斯理工大学）；University of Debrecen（德布勒森大学）
机器学习，特别是深度学习算法是数据分析的新兴方法。这些技术已经将传统的基于数据采掘的分析从根本上转变为基于学习的模型，在该模型中，现有的数据集连同它们的聚类标签（即，训练集）被学习以构建监督学习模型并预测未见过数据的聚类标签（即，测试集）。特别地，深度学习技术能够捕获和学习给定数据集中的隐藏特征，从而为聚类和标记问题构建更准确的预测模型。然而，主要问题是时间序列数据通常是未标记的，因此基于监督学习的深度学习算法不能直接适用于解决这些特殊和复杂类型数据集的聚类问题。为了解决这个问题，本文介绍了一个两阶段的方法聚类时间序列数据。首先，引入一种新的技术来利用这些特性（例如，波动性），以便创建标签，从而能够将问题从无监督学习转换为监督学习。其次，构建基于自动编码器的深度学习模型来学习和建模时间序列数据的已知和隐藏特征以及它们创建的标签，以预测看不见的时间序列数据的标签。本文报告了一个案例研究，其中金融和股票的时间序列数据选择70个股票指数聚类成不同的群体，使用介绍的两阶段程序。实验结果表明，该方法对未知时间序列数据的聚类和标签预测准确率达到87.5%.
2020-04-11 cs.LG stat.ML
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University（波特兰州立大学）
本文提出将深度强化学习、变分自编码器与主动学习结合，并引入LSTM网络，以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限，实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Reconstruct Anomaly to Normal: Adversarial Learned and Latent Vector-constrained Autoencoder for Time-series Anomaly Detection
时间序列的异常检测是一个被广泛研究的问题，具有重要的实际应用价值。近年来，异常检测算法大多基于深度学习生成模型，并使用重构误差来检测异常。在训练阶段通过重构正态数据来捕捉正态数据的分布，然后计算测试数据的重构误差来进行异常检测。然而，大多数方法在训练阶段只使用正常数据，不能保证异常数据的重建过程。因此，异常数据有时也可以很好地重建，重建误差很小，导致异常遗漏。这些算法没有充分利用时间序列数据中数据点的邻域信息。本文提出了一种基于异常重构为正态的RAN算法，并将其应用于无监督的时间序列异常检测。为了使正常数据的重建误差最小化，异常数据的重建误差最大化，我们不仅要保证正常数据的重建效果好，而且要尽量使异常数据的重建与正常数据的分布一致，这样异常数据的重建误差会更大。我们通过引入“模仿异常数据”并将专门设计的潜在向量约束自动编码器与编码器相结合来构建对手网络来实现这一想法。在ECG诊断等不同场景的时间序列数据集上进行的大量实验也表明，RAN可以检测到有意义的异常，并且在AUC-ROC方面优于其他算法。
2020-10-14 cs.LG stat.ML
On Disentanglement in Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）
复杂的多变量时间序列出现在许多领域，从计算机视觉到机器人或医学。通常，我们感兴趣的是产生我们所观察的高维数据的独立潜在因素。虽然已经引入了许多模型来学习这种分解的表示，但只有很少的模型试图明确地利用顺序数据的结构。我们研究了高斯过程变分自编码器的解纠缠特性，这是一类最近推出的模型，在时间序列数据的不同任务中取得了成功。我们的模型利用时间结构的数据建模每个潜在的通道与GP之前，并采用结构化的变分分布，可以捕捉依赖关系的时间。我们证明了我们的方法对国家的最先进的无监督和弱监督的解纠缠方法的基准任务的竞争力。此外，我们提供的证据表明，我们可以学习现实世界的医疗时间序列数据有意义的解开表示。
2021-02-10 cs.LG stat.ML
Variational Augmented Invertible Koopman Autoencoder for probabilistic time series forecasting
Helmholtz-Zentrum Hereon（赫尔姆霍兹海洋研究中心）；IMT Atlantique（IMT大西洋）；Lab-STICC, UMR CNRS 6285（Lab-STICC，法国国家科研中心联合实验室6285）；LRE EPITA；Université Grenobles Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）；Institut Universitaire de France（法国大学研究院）
提出VAIKAE模型，通过高斯潜在嵌入和归一化流实现概率时间序列预测，并引入不确定性感知的数据同化策略，在长期预测基准上验证了有效性。
2026-09-30 cs.LG
Identifying Stochasticity in Time-Series with Autoencoder-Based Content-aware 2D Representation: Application to Black Hole Data
Indian Institute of Science Bangalore（班加罗尔印度科学学院）
提出一种基于自编码器、融合时频特征的内容感知2D LSS表示，用于判别时间序列随机性，并在黑洞GRS 1915+105数据上验证有效。
2023-04-23 astro-ph.IM cs.CV cs.LG
An Attention-based ConvLSTM Autoencoder with Dynamic Thresholding for Unsupervised Anomaly Detection in Multivariate Time Series
Western University（韦仕敦大学）；National Research Council Canada（加拿大国家研究委员会）
由于智能制造中的复杂系统产生了大量的多变量时间序列数据，因此需要改进异常检测框架，以降低系统操作员的操作风险和监控负担。然而，构建这样的框架是具有挑战性的，因为足够大量的有缺陷的训练数据通常不可用，并且框架需要捕获跨不同时间步长的时间和上下文依赖性，同时对噪声是鲁棒的。本文提出了一种无监督的基于注意力的卷积长短期记忆（ConvLSTM）动态保持自编码器（ACLAE-DT）框架，用于多变量时间序列的异常检测和诊断。该框架首先对数据进行预处理和丰富，然后通过捕获时间序列对之间的相互关联来构建特征图像，以表征不同时间步长的系统状态。然后，构造的特征图像被馈送到基于注意力的ConvLSTM自动编码器，其目的是对构造的特征图像进行编码并捕获时间行为，然后对压缩的知识表示进行解码以重建输入的特征图像。然后计算重建误差，并进行基于几何的动态阈值机制，以检测和诊断异常。对实际制造数据进行的评估结果表明，在不同的实验设置下，所提出的方法的性能优势超过了最先进的方法。
2022-01-23 cs.LG cs.SE stat.ML
Unsupervised Time-Series Signal Analysis with Autoencoders and Vision Transformers: A Review of Architectures and Applications
The University of Akron（阿克伦大学）
本文综述了自编码器与视觉Transformer在无监督时间序列信号分析中的架构、应用及趋势，指出混合架构与自监督学习的优势，并总结可解释性、可扩展性和领域泛化等挑战，为信号智能模型发展提供路线图。
2025-06-02 cs.AI cs.CV cs.LG
MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
University of Science and Technology of China（中国科学技术大学）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）；Jiaxing University（嘉兴学院）
大规模自监督预训练Transformer架构显著提升了自然语言处理（NLP）和计算机视觉（CV）中各种任务的性能。然而，利用预训练好的Transformer处理多变量时间序列的研究还比较缺乏，尤其是针对自监督学习的时间序列掩蔽问题的研究更是空白。与语言和图像处理不同，时间序列的信息密度增加了研究的难度。挑战进一步与无效的先前补丁嵌入和掩模方法。本文针对多元时间序列的数据特点，提出了一种补丁嵌入方法，并提出了一种基于掩码自编码器（MAE）的自监督预训练方法MTSMAE，该方法与无需预训练的监督学习相比，可以显著提高学习性能。在不同领域、不同特征的多变量时间序列数据集上的实验结果表明，该方法的性能明显优于目前最好的方法。
2022-10-04 cs.AI cs.LG
AUTOSHAPE: An Autoencoder-Shapelet Approach for Time Series Clustering
Hong Kong Baptist University（香港浸会大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
时间序列形状是最近发现的有效的时间序列聚类（TSC）的歧视性的顺序。形状图便于解释聚类。因此，TSC的主要挑战是发现高质量的可变长度形状来区分不同的聚类。在本文中，我们提出了一种新的autoencoder-shapelet方法（AUTOSHAPE），这是第一个研究，以利用autoencoder和shapelet确定shapelet在无监督的方式。一个自动编码器是专门设计来学习高质量的形状。更具体地说，为了指导潜在的表示学习，我们采用最新的自监督损失来学习不同变量的可变长度shapelet候选（时间序列连续性）的统一嵌入，并提出多样性损失来选择统一空间中的区别性嵌入。我们引入重建损失来恢复原始时间序列空间的形状，以进行聚类。最后，我们采用Davies Bouldin索引（DBI）来通知AUTOSHAPE学习过程中的聚类性能。我们在AUTOSHAPE上进行了大量的实验。为了评估单变量时间序列（UTS）的聚类性能，我们使用UCR存档数据集将AUTOSHAPE与15种代表性方法进行了比较。为了研究多变量时间序列（MTS）的性能，我们使用5种竞争方法在30个UEA存档数据集上评估AUTOSHAPE。实验结果表明，AUTOSHAPE是所有方法中最好的一种。我们解释集群的形状，并可以得到有趣的直觉集群在两个UTS的案例研究和一个MTS的案例研究，分别。
2022-08-18 cs.AI cs.LG
GAETS: A Graph Autoencoder Time Series Approach Towards Battery Parameter Estimation
ML Collective（机器学习联盟）；National Institute of Science Education and Research, Bhubaneswar（布巴内斯瓦尔国家科学教育与研究学院）；Homi Bhabha National Institute, Mumbai（孟买霍米·巴巴国立研究所）；M S Ramaiah Institute of Technology（M S Ramaiah理工学院）
锂离子电池正在推动正在进行的交通电气化革命。锂离子电池具有较高的能量密度和良好的电化学性能，使其成为电动汽车的首选能源。精确估计电池参数（充电容量、电压等）对于估计电动汽车的可用里程至关重要。基于图的估计技术使我们能够理解支撑它们的变量依赖关系，以改进估计。本文将图神经网络用于电池参数估计，提出了一种独特的图自编码时间序列估计方法。已知电池测量中的变量在感兴趣的变量内以某种相关性彼此具有潜在关系。我们使用基于非线性版本NOTEARS的图形自动编码器，因为这允许我们在学习结构时执行梯度下降（而不是将其视为组合优化问题）。所提出的架构优于最先进的图形时间序列（GTS）架构的电池参数估计。我们称之为GAETS（Graph AutoEncoder Time Series）。
2022-08-19 cs.LG cs.SY eess.SY
Causal Recurrent Variational Autoencoder for Medical Time Series Generation
University of Florida（佛罗里达大学）；UiT - The Arctic University of Norway（挪威北极圈大学）
我们提出了因果循环变分自编码器（CR-VAE），一种新的生成模型，能够从多变量时间序列x学习格兰杰因果图，并将潜在的因果机制纳入其数据生成过程。与经典的递归VAE不同，我们的CR-VAE使用多头解码器，其中第$p$头负责生成$\mathbf{x}$的第$p$维（即，$\mathbf{x}^p$）。通过对（解码器的）权重施加稀疏诱导惩罚并鼓励特定的权重集为零，我们的CR-VAE学习稀疏邻接矩阵，该矩阵对所有变量对之间的因果关系进行编码。由于这个因果矩阵，我们的解码器严格遵守格兰杰因果关系的基本原则，从而使数据生成过程透明。我们开发了一个两阶段的方法来训练总体目标。经验上，我们评估我们的模型在合成数据和两个真实世界的人脑数据集，分别涉及，脑电图（EEG）信号和功能磁共振成像（fMRI）数据的行为。我们的模型在定性和定量方面始终优于最先进的时间序列生成模型。此外，它还发现了一个忠实的因果图与现有的基于格兰杰因果关系的因果推理方法相似或更高的准确性。CR-VAE代码可在https://github.com/hongmingli1995/CR-VAE上公开获取。
2023-01-16 cs.LG eess.SP
LSTM-Autoencoder based Anomaly Detection for Indoor Air Quality Time Series Data
Massey University（梅西大学）；Central Queensland University（中央昆士兰大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
室内空气质量与人体健康密切相关，因此室内空气质量异常检测成为一个重要的研究领域。然而，IAQ区域中的异常检测中的传统的基于统计学和浅机器学习的方法不能检测涉及跨若干数据点的相关性的观察的异常（即，通常称为长期依赖性）。我们提出了一种混合深度学习模型，该模型将LSTM与Autoencoder相结合，用于IAQ中的异常检测任务，以解决这个问题。在我们的方法中，LSTM网络由多个LSTM单元组成，这些单元相互协作，以学习时间序列中数据的长期依赖性。Autoencoder根据对所有时间序列中的每个数据评估的重建丢失率来识别最佳阈值。我们的实验结果，基于达尼丁CO2时间序列数据集，通过在新西兰的学校的真实世界的部署，证明了一个非常高的和强大的准确率（99.50%），优于其他类似的模型。
2022-04-14 cs.CR cs.LG
A semi-supervised autoencoder framework for joint generation and classification of breathing
Delft University of Technology（代尔夫特理工大学）
生物医学信号的主要问题之一是患者特定数据的有限量以及记录诊断和治疗目的所需的足够数量的样本所需的大量时间。在这项研究中，我们提出了一个框架，同时生成和分类生物医学时间序列的基础上修改的对抗自动编码器（AAE）算法和一维卷积。我们的工作是基于呼吸时间序列，具有特定的动机，以捕捉呼吸运动在放射治疗肺癌治疗。首先，我们探讨了使用变分自编码器（VAE）和AAE算法对个体患者的呼吸进行建模的可能性。我们扩展了AAE算法，允许联合半监督分类和生成不同类型的信号。为了简化建模任务，我们引入了一个前处理和后处理压缩算法，将多维时间序列转换为包含时间和位置值的向量，通过一个额外的神经网络转换回时间序列。通过在训练过程中加入少量标记样本，我们的模型在对来自与训练集完全不同的数据集的呼吸基线偏移不规则性进行分类方面优于其他纯判别网络。据我们所知，所提出的框架是第一种将这种类型的生物医学数据的生成和分类统一在单个模型中的方法，从而能够在单个框架内实现标记样本的计算机辅助诊断和增强。
2021-03-25 cs.LG eess.SP
Aneurysm Growth Time Series Reconstruction Using Physics-informed Autoencoder
Jiacheng Wu（独立研究者）
本文提出一种物理信息自编码器方法，直接从患者参数重建动脉瘤生长时间序列，通过神经网络学习映射，并利用物理先验约束提升含噪数据下的重建精度。
2025-10-05 cs.LG q-bio.QM stat.AP
Innovations Autoencoder and its Application in One-class Anomalous Sequence Detection
Cornell University（康奈尔大学）
本文提出创新序列自编码器（IAE），利用因果卷积神经网络提取非高斯过程的创新序列，并将其应用于模型未知的单类异常序列检测问题。
2021-07-15 cs.LG stat.ML
AVATAR: Adversarial Autoencoders with Autoregressive Refinement for Time Series Generation
Utah State University（犹他州立大学）
AVATAR框架将对抗自编码器与自回归学习结合，通过监督损失、分布损失和联合训练机制，同时学习时间序列的概率分布与时间条件依赖，在多个数据集上显著提升生成数据的质量和实用性。
2025-01-03 cs.AI cs.LG
Ti-MAE: Self-Supervised Masked Time Series Autoencoders
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Huawei Technologies Ltd.（华为技术有限公司）
多变量时间序列预测在各种应用和场景中越来越受欢迎。最近，对比学习和基于transformer的模型在许多长期序列预测任务中取得了良好的性能。然而，在现有的方法中仍然存在一些问题。首先，对比学习的训练范式与下游预测任务不一致，导致预测结果不准确。第二，现有的基于变换器的模型，诉诸于历史时间序列数据中的相似模式来预测未来值，通常会引起严重的分布偏移问题，并且与自监督方法相比，不能充分利用序列信息。为了解决这些问题，我们提出了一个新的框架，名为Ti-MAE，其中输入的时间序列被假定为遵循一个完整的分布。具体来说，Ti-MAE随机屏蔽嵌入的时间序列数据，并学习自动编码器在点级别重建它们。Ti-MAE采用掩模建模（而不是对比学习）作为辅助任务，在现有的表示学习和基于生成式变换器的方法之间架起了桥梁，在保持原始时间序列数据利用率的同时，减少了上下游预测任务之间的差异。在几个公开的真实世界数据集上的实验表明，我们的掩码自动编码框架可以直接从原始数据中学习强表示，从而在时间序列预测和分类任务中获得更好的性能。
2023-01-21 cs.LG
HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
Samsung Research America（三星美国研究院）
可穿戴传感器提供了丰富的生理时间序列，但其预测效用的原理仍不清楚。我们假设时间分辨率是表示学习的基本轴，不同的临床和行为结果依赖于不同尺度的结构。为了测试这个分辨率假设，我们引入HiMAE（分层掩码自编码器），这是一个自监督框架，它将掩码自编码与分层卷积编码器解码器相结合。HiMAE产生多分辨率嵌入，能够系统评估哪些时间尺度携带预测信号，将分辨率从超参数转换为可解释性探针。在分类、回归和生成基准测试中，HiMAE始终优于最先进的基础模型，这些模型可以缩小规模，但数量级更小。HiMAE是一个高效的表示学习器，足够紧凑，可以完全在手表上运行，在智能手表类CPU上实现亚毫秒级的推理，实现真正的边缘推理。总之，这些贡献定位HiMAE作为一个有效的自监督学习方法和可穿戴健康的规模敏感结构的发现工具。
2025-10-28 cs.AI cs.LG eess.SP
Anomaly Detection of Wind Turbine Time Series using Variational Recurrent Autoencoders
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习中心与SCAI）
风力涡轮机叶片中的冰积累会导致它们描述异常旋转或根本不旋转，从而影响发电和功率输出。在这项工作中，我们调查的问题，在风力涡轮机的冰积累，它作为多变量时间序列的异常检测框架。我们的方法集中在两个主要部分：第一，使用变分递归自动编码器（VRAE）学习时间序列的低维表示，第二，使用无监督聚类算法将学习的表示分类为正常（无冰积累）或异常（冰积累）。我们已经评估了我们的方法在一个自定义的风力涡轮机时间序列数据集上，对于两类问题（一个正常类与一个异常类），我们在测试数据上获得了高达96 $\%$的分类精度。对于多类问题（一个正常类与多个异常类），我们提出了一个定性分析的低维学习的潜在空间，提供洞察我们的方法来解决这样的问题的能力。代码复制这项工作可以在这里找到https://github.com/agrija9/Wind-Turbines-VRAE-Paper。
2021-12-05 cs.LG
Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对不规则采样时间序列，提出异方差时间变分自编码器（HeTVAE），通过新颖输入层、时间VAE和异方差输出层，实现更优的概率插值及可变不确定性建模。
2024-11-05 cs.AI cs.LG
Data-driven reduced order models using invariant foliations, manifolds and autoencoders
University of Bristol（布里斯托尔大学）
本文提出利用不变叶状结构及其不动叶（不变流形）从离线数据中识别物理系统的降阶模型，通过压缩张量多项式逼近高维函数并校正非线性坐标畸变，证明该方法优于 Koopman 本征函数和自编码器。
2023-04-26 cs.LG math.DS physics.data-an
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
A Bi-LSTM Autoencoder Framework for Anomaly Detection -- A Case Study of a Wind Power Dataset
West Virginia University（西弗吉尼亚大学）
异常是指偏离正常和同质事件的数据点或事件，可能包括欺诈活动、网络渗透、设备故障、流程更改或其他重大但不常见的事件。及时发现此类事件可以防止财务、信息和人力资源方面的潜在损失。随着计算能力的提高和大数据集的可用性，异常检测已成为一个主要的研究领域。其中，时间序列中的异常检测最近得到了更多的关注，由于时间维所施加的复杂性。本文提出了一种结合双向长短期记忆（Bi-LSTM）架构和自动编码器的时间序列异常检测框架。由两个单向LSTM网络组成的Bi-LSTM网络可以从两个方向分析时间序列数据，从而有效地发现隐藏在序列数据中的长期依赖关系。同时，自动编码器机制有助于建立最佳阈值，超过该阈值的事件可以被分类为异常。为了证明所提出的框架的有效性，它被应用到一个真实世界的多变量时间序列数据集收集的风电场。Bi-LSTM Autoencoder模型实现了96.79%的分类准确率，优于更常用的LSTM Autoencoder模型。
2023-03-17 cs.LG
TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
TimeMAE通过解耦掩码自编码器和语义单元提升，提升时间序列自监督表示的性能，尤其在数据稀缺和迁移学习场景中表现优异。
2026-02-27 cs.LG
Learning Subject-Invariant Representations from Speech-Evoked EEG Using Variational Autoencoders
KU Leuven（鲁汶大学）
脑电图（EEG）是了解大脑如何处理语音的有力方法。为此，线性模型最近被深度神经网络取代，并产生了有希望的结果。在相关的EEG分类领域，它表明，明确建模主体不变的功能，提高了模型的泛化跨学科和效益的分类精度。在这项工作中，我们适应因式分解层次变分自编码器，利用并行EEG记录相同的刺激。我们将EEG建模为两个解纠缠的潜在空间。主题和内容潜在空间上的主题准确率分别达到98.96%和1.60%，而二进制内容分类实验分别达到51.51%和62.91%。
2022-07-01 cs.LG eess.AS
Data-Space Inversion Using a Recurrent Autoencoder for Time-Series Parameterization
Stanford University（斯坦福大学）
数据空间反演（DSI）和相关程序代表了适用于地下流环境中数据同化的一系列方法。这些方法不同于基于模型的技术，因为它们仅提供感兴趣的量（时间序列）的后验预测，而不是具有校准参数的后验模型。DSI方法需要首先对先前的地质认识进行大量的流动模拟。给定观测数据，可以直接生成后验预测。DSI在贝叶斯设置中操作，并提供数据向量的后验样本。在这项工作中，我们开发和评估一种新的方法DSI的数据参数化。参数化减少了反演中要确定的变量的数量，并保持了数据变量的物理特性。新的参数化使用循环自动编码器（RAE）进行降维，并使用长短期记忆（LSTM）网络来表示流速时间序列。RAE为基础的参数化相结合的集合平滑与多个数据同化（ESMDA）的后代。结果提出了一个2D通道化系统和一个3D多高斯模型的两相流和三相流。通过与参考拒绝抽样（RS）结果进行比较，对RAE程序以及现有DSI处理进行评估。新的DSI方法被证明是一贯优于现有的方法，在统计协议与RS结果。该方法还示出，以准确地捕获派生的量，这是直接在DSI考虑的变量计算。这就需要正确捕捉变量之间的相关性和协方差，并证明这些关系的准确性。基于RAE的参数化在DSI中显然是有用的，并且它也可以在其他地下流问题中找到应用。
2020-05-07 cs.LG stat.ML
An Attention Free Conditional Autoencoder For Anomaly Detection in Cryptocurrencies
CREST-IP Paris（CREST-巴黎理工学院）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）
本文针对含噪加密货币时间序列异常检测，提出在条件自编码器中加入 Attention-Free LSTM 层的 AF-CA，相较 LSTM Autoencoder 提升了解释能力与异常检测效果。
2023-04-20 cs.AI cs.LG
Interpreting Outliers in Time Series Data through Decoding Autoencoder
University of Mannheim（曼海姆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
针对制造业时间序列数据，该研究利用自编码器压缩数据并进行异常检测，通过应用XAI技术、提出AEE融合解释方法及定量评估技术，实现了异常值的定性与定量解释。
2025-02-03 cs.AI cs.LG
Physics-Informed Domain-Invariant Feature Learning with Autoencoder-Driven Gaussian Clustering for Robust Non-line-of-Sight Scenarios
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）
针对非视距下射频干扰波达角估计性能下降问题，提出融合物理约束的混合学习框架，结合自编码器高斯聚类提取域不变特征，提升低样本下跨场景AoA估计精度。
2026-07-07 cs.LG eess.SP stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation（电装公司）；Toyohashi University of Technology（丰桥技术科学大学）
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而，在时间序列分析中，大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法，目前还没有得到广泛的讨论。在本文中，我们提出了一种新的聚类算法，侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明，该算法不仅对相移、幅度和信号长度的变化具有鲁棒性，而且基于变分贝叶斯方法的特性，提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
Shiraz University（设拉子大学）
本文提出一种结合注意力机制与自编码器的混合模型，用于时间序列无监督在线异常检测，通过潜在空间预测及误差一阶统计矩分析提升检测准确率。
2024-01-06 cs.AI cs.LG eess.SP
Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning
Bayer AG（拜耳公司）；Freie Universität Berlin（柏林自由大学）
最近，在将深度神经网络应用于图结构数据方面取得了巨大成功。然而，大多数工作都集中在节点或图级监督学习上，例如节点，链接或图分类或节点级无监督学习（例如节点聚类）。尽管其广泛的可能的应用，图级无监督学习还没有得到太多的关注。这可能主要归因于图的高表示复杂性，其可以由n表示！等价邻接矩阵，其中n是节点数。在这项工作中，我们解决这个问题，提出了一个置换不变的变分自编码器的图形结构化数据。我们提出的模型间接地学习匹配输入和输出图的节点排序，而不施加特定的节点排序或执行昂贵的图匹配。我们证明了我们提出的模型在各种图重建和生成任务上的有效性，并评估了提取的表示对下游图级分类和回归的表达能力。
2021-12-14 cs.LG
