MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Unsupervised Time-Series Signal Analysis with Autoencoders and Vision Transformers: A Review of Architectures and Applications
The University of Akron（阿克伦大学）
本文综述了自编码器与视觉Transformer在无监督时间序列信号分析中的架构、应用及趋势，指出混合架构与自监督学习的优势，并总结可解释性、可扩展性和领域泛化等挑战，为信号智能模型发展提供路线图。
2025-06-02 cs.AI cs.CV cs.LG
Regularized Autoencoders via Relaxed Injective Probability Flow
Google Research（谷歌研究院）
基于可逆流的生成模型是学习生成样本的有效方法，同时允许易于处理的似然计算和推理。然而，可逆性要求限制了模型具有与输入相同的潜在维度。这带来了巨大的架构、内存和计算成本，使得它们比其他类型的生成模型（例如变分自编码器（VAE））更难扩展。我们提出了一个基于概率流的生成模型，它取消了对模型的双射性要求，只假设注入性。这也提供了正则化自编码器（RAE）的另一个视角，我们的最终目标类似于RAE，具有特定的正则化器，这些正则化器是通过下界概率流目标导出的。我们经验证明了所提出的模型的承诺，改善VAE和AE的样本质量。
2020-02-20 cs.LG stat.ML
Variational Autoencoders with Normalizing Flow Decoders
National Chiao Tung University（国立交通大学）
最近提出的归一化流模型，如辉光已被证明能够生成高质量，高维图像与相对较快的采样速度。然而，由于它们固有的限制性结构，它们必须非常深，以便有效地进行训练。在本文中，我们建议结合辉光与底层的变分自编码器，以抵消这个问题。我们证明了我们提出的模型在图像质量和测试可能性方面与Glow具有竞争力，同时需要更少的训练时间。
2020-04-12 cs.LG stat.ML
Shape optimization in laminar flow with a label-guided variational autoencoder
Stanford University（斯坦福大学）；TU Munich（慕尼黑工业大学）
流体动力学中的计算设计优化通常需要数值求解非线性偏微分方程。在这项工作中，我们探讨了贝叶斯优化方法，以最大限度地减少物体的阻力系数在层流的基础上预测阻力直接从物体的形状。联合训练一个架构，该架构结合了将形状映射到潜在表示的变变分自编码器器和高斯过程回归，使我们能够在我们考虑的二维的情况下生成改进的形状。
2017-12-10 cs.CE cs.LG
Power Flow Feasibility Assessment Using Variational Graph Autoencoders
Agència de Gestió d’Ajuts Universitaris i de Recerca (AGAUR)（加泰罗尼亚大学与研究资助管理局（AGAUR））；Departament de Recerca i Universitats of the Generalitat de Catalunya（加泰罗尼亚自治区研究与大学部）
研究利用变分图自动编码器检测潮流解可行性的问题，核心方法是提出VGAE，主要贡献为用IEEE 118节点系统评估AI驱动求解器所提供解的有效性。
2026-07-13 cs.LG cs.SY eess.SY
Convolutional autoencoders for the reconstruction of three-dimensional interfacial multiphase flows
Department of Mechanical Engineering, Stanford University（斯坦福大学机械工程系）；Department of Engineering Mechanics, KTH Royal Institute of Technology（皇家理工学院工程力学系）
本文研究了卷积自编码器在三维界面多相流重建中的应用，发现适度扩散的界面表示在精度与结构保留间取得最佳平衡。
2025-12-26 cs.CE cs.LG physics.flu-dyn
Variational Autoencoder with Normalizing flow for X-ray spectral fitting
Department of Physics & Astronomy University of Southampton（物理与天文学系 英国南安普顿大学）；Laboratoire d’astrophysique EPFL（天体物理学实验室 EPFL）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密松天体物理中心）
本文提出一种基于变分自编码器和归一化流的模型，用于高效X射线光谱拟合，实现快速且精确的光谱重建。
2026-01-12 cs.LG
Physics-aware Reduced-order Modeling of Transonic Flow via $β$-Variational Autoencoder
Seoul National University（首尔国立大学）
基于自动编码器的降阶建模（ROM）最近引起了极大的关注，由于其能够捕捉潜在的非线性特征。然而，两个关键的缺点严重破坏了它的可扩展性，各种物理应用：纠缠，因此无法解释的潜在变量（LV）和盲目确定潜在的空间维度。在这方面，本研究提出的物理感知ROM只使用可解释的和信息密集型的LV提取的$β$变分自动编码器，这被称为物理感知LV在本文中。为了提取这些LV，他们的独立性和信息强度定量审查在一个二维跨音速流基准问题。然后，深入研究了物理感知LV的物理意义，并证实了通过适当的超参数$β$，它们实际上对应于训练数据集的生成因子，马赫数和迎角。据作者所知，我们的工作是第一个实际证实，$β$ -变分自动编码器可以自动提取的物理生成因子在应用物理领域。最后，物理感知ROM，它只利用物理感知的LV，与传统的ROM进行了比较，并成功地验证了其有效性和效率。
2022-06-09 cs.LG physics.flu-dyn
Generative Inverse Design: From Single Point Optimization to a Diverse Design Portfolio via Conditional Variational Autoencoders
Faculty of Electrical Engineering, Universiti Teknologi Malaysia（电子工程学院，马来西亚技术大学）
本文提出基于条件变分自编码器的生成式逆向设计框架，将单点优化转为多样化设计组合生成，在翼型降噪中生成256个设计，77.2%优于SBO基线，支持多准则决策。
2025-10-03 cs.AI cs.LG
NAE: Normalizing AutoEncoder
该研究针对流自编码器的训练损失次优问题，提出归一化自编码器（NAE），采用条件损失对齐梯度，在多类基准任务上实现了最先进的生成性能。
2026-08-13 cs.LG
Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）；Stanford Stroke Center（斯坦福中风中心）；Institute for Biomedical Engineering（生物医学工程研究所）
我们表明，高质量，多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标，就所生成的合成脑图像的质量和多样性，我们提出了两个网络，内省变分自编码器和基于样式的GAN，有资格在医疗领域的数据增强，其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题，也称为Kullback-Leibler（KL）项消失问题，其中后验很容易崩溃到先验，并且模型将忽略生成任务中的潜在代码。为了解决这个问题，我们引入了一个改进的Wasserstein变分自编码器（WAE）与黎曼规范化流（RNF）的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中，这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离，因此不强制后验匹配先验分布。实验结果表明，该模型避免了KL在一系列数据集上的消失，在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析，我们证明了我们的模型学习了尊重潜在空间几何的潜在分布，并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
Peek Inside the Closed World: Evaluating Autoencoder-Based Detection of DDoS to Cloud
USC/ISI（南加州大学信息科学研究所）；Microsoft（微软）
基于机器学习的异常检测（ML-based AD）在实验室中已经成功检测到DDoS事件。然而，已发表的基于ML的AD的评估仅使用了有限的数据，并且对它为什么有效提供了最少的见解。为了解决对真实世界数据的有限评估，我们将现有的ML-AD模型autoencoder应用于从主要云提供商的5个云IP捕获的57个DDoS攻击事件。我们表明，我们的模型检测到几乎所有的恶意流量为2的4个云IP攻击（至少99.99%）和检测大多数恶意流量（94.75%和91.37%）的其余2个IP。我们的模型还保持了接近零的误报对所有5个IP的良性流量。我们的主要贡献是提高我们的理解，为什么基于ML的AD的作品在一些恶意流量，而不是其他人。我们用特征归因和反事实解释来解释我们的检测结果。我们表明，我们的模型在检测允许列出的功能异常（只有少数良性值）的恶意流量比拒绝列出的功能异常（大多数是良性值）的流量更好，因为我们的模型更有可能学习允许列出的功能正确的正常性。然后，我们证明了我们的模型在检测无序特征异常（其值之间没有顺序）的恶意流方面比有序特征异常的流更好，因为即使不完全正常，我们的模型仍然可以检测到无序特征的异常，具有高召回率。最后，我们总结了我们在生产中应用基于自动编码器的AD时所学到的知识的含义：使用嘈杂的真实世界数据进行训练是可能的，自动编码器可以可靠地检测到真实世界中代表性良好的无序特征的异常，并且基于自…
2020-06-21 cs.LG cs.NI
Parameterization of Forced Isotropic Turbulent Flow using Autoencoders and Generative Adversarial Networks
Delhi Technological University（德里理工大学）
自动编码器和生成神经网络模型最近在流体力学中得到了普及，因为它们的自发性和低处理时间，而不是高保真CFD模拟。在流体力学的应用中，通过使用编码器压缩输入的高维数据以将输入空间映射到较低维的潜在空间，自动编码器被用作模型阶次降低工具。然而，生成模型，如变分自动编码器（VAE）和生成对抗网络（GANs）被证明是有效的，在生成具有高“随机性”的混沌模型，如湍流的解决方案。在这项研究中，强制各向同性湍流流产生的参数化成一些基本的统计特性。模型根据对这些特征的依赖性对预模拟数据进行训练，然后通过改变这些参数来影响流量生成。沿着生成器模型（如解码器和生成器）推送的隐向量包含独立的条目，这些条目可用于创建具有相似属性的不同输出。使用基于神经网络的体系结构消除了对经典的基于网格的Navier-Stoke方程估计的依赖，这在许多CFD软件中是突出的。
2021-07-08 cs.LG physics.flu-dyn
CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving
University of Michigan（密歇根大学）
预测道路智能体在不同环境中的随机行为是自动驾驶的一个挑战性问题。为了更好地理解场景上下文并在不同环境中自适应地产生道路智能体的各种可能的未来状态，预测模型应该是概率的，多模态的，上下文驱动的和通用的。我们通过超网络（CVAE-H）提出了条件化变分自编码器;一种条件VAE，广泛利用超网络并为预测任务等高维问题执行生成任务。我们首先评估CVAE-H简单的生成实验表明，CVAE-H是概率，多模态，上下文驱动，和一般。然后，我们证明了所提出的模型有效地解决了自动驾驶预测问题，在各种环境中产生准确的预测道路代理。
2022-01-24 cs.AI cs.LG cs.RO
Prior Flow Variational Autoencoder: A density estimation model for Non-Intrusive Load Monitoring
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
非侵入式负载监测（NILM）是一种计算技术，用于根据单个仪表测量的整个消耗量来估计逐个设备的电力负载。在本文中，我们提出了一种基于深度神经网络的条件密度估计模型，该模型将条件变分自编码器与条件可逆归一化流模型相结合，以估计单个设备的电力需求。所得到的模型称为先验流变分自编码器，或者为简单起见称为PFVAE。因此，不是每个设备具有一个模型，而是所得到的模型负责一次逐个设备地估计功率需求。我们训练和评估我们提出的模型在一个公开的数据集组成的电力需求的措施，位于巴西的家禽饲料厂。该模型的质量进行评估，通过比较获得的归一化解聚误差（NDE）和信号聚合误差（SAE）与以前的工作值在同一数据集上。我们的建议取得了极具竞争力的结果，对于属于数据集的八台机器中的六台，我们观察到NDE从28%到81%，SAE从27%到86%的持续改进。
2021-06-27 cs.AI cs.CV cs.LG
Uncovering Hidden Leptonic Correlations with Flow Matching and Autoencoders
Kyushu University（九州大学）；Kyoto University（京都大学）；Quantum and Spacetime Research Institute (QuaSR), Kyushu University（九州大学量子与时空研究所（QuaSR））
本研究结合流匹配与自编码器，对I型 seesaw 机制的 Yukawa 矩阵和 Majorana 质量做全局搜索，揭示了轻子领域中涉及中微子质量与 CP 相位的新非线性关联，为阐明质量等级和混合模式起源提供了线索。
2026-08-18 cs.LG hep-ph hep-th
Multiscale Graph Neural Network Autoencoders for Interpretable Scientific Machine Learning
Argonne National Laboratory（阿贡国家实验室）；Carnegie Mellon University（卡内基梅隆大学）
这项工作的目标是解决基于自动编码器的模型中的两个限制：潜在空间可解释性和与非结构化网格的兼容性。这是在这里完成的一个新的图神经网络（GNN）的自动编码架构的发展与演示复杂的流体流动的应用。为了解决可解释性的第一个目标，GNN自动编码器通过自适应图缩减过程在编码阶段实现节点数量的减少。这种简化过程基本上相当于流场条件节点采样和传感器识别，并以所谓的屏蔽场的形式产生适合流场重建任务的可解释的潜图表示。这些屏蔽字段允许用户（a）可视化给定潜图在物理空间中的活动位置，以及（b）根据域中不稳定流特征（例如，再循环区、剪切层）的时间演变来解释潜图连通性的时间演变。为了解决非结构化网格兼容性的目标，自动编码架构利用了一系列的多尺度消息传递（MMP）层，每个模型在不同的长度尺度的节点邻域之间的信息交换。MMP层通过可学习的粗化操作增强了标准的单尺度消息传递，允许解码器更有效地从掩蔽字段中的识别区域重建流场。使用非结构化快照数据进行分析的潜图产生的自动编码器的各种模型设置的大涡模拟在一个面向后的步骤（BFS）流配置与OpenFOAM为基础的流动求解器在高雷诺数。
2023-02-17 cs.LG physics.flu-dyn
AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；HUN-REN-BME Information Systems Research Group（HUN-REN-BME信息系统研究组）；CUJO LLC（CUJO有限责任公司）
本文提出基于自编码器的IP流记录压缩方法AutoFlow，在实现1.313倍数据缩减的同时保持99.27%的多类流量分类准确率，有效提升了网络监控的存储与处理效率。
2025-01-31 cs.LG cs.NI
$β$-Variational autoencoders and transformers for reduced-order modelling of fluid flows
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Spanish National Institute for Aerospace Technology (INTA)（西班牙国家航空航天技术研究院）；Illinois Institute of Technology（伊利诺伊理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出结合$β$-VAE与Transformer的方法，为混沌流体流动学习紧凑且近似正交的降阶模型，在二维粘性流动数据上验证，能更高效地捕捉动态，优于其他预测模型。
2023-11-15 cs.LG physics.flu-dyn
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis
Université Paris Cité（巴黎西岱大学）；INRIA（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）；Centre de Recherche des Cordeliers（科德利耶研究中心）
提出一种多模态变分自编码器，结合 Deep Canonical Correlation Analysis 嵌入与 Normalizing Flows，并采用 Product of Experts 推断单一模态，提升跨模态生成的连贯性与多样性。
2023-05-19 cs.LG stat.ML
LVADNet3D: A Deep Autoencoder for Reconstructing 3D Intraventricular Flow from Sparse Hemodynamic Data
Florida Institute of Technology, USA（佛罗里达理工学院）
本文提出三维卷积自编码器LVADNet3D，从稀疏速度向量重建LVAD支持心脏的全分辨率心室内流场，并通过CFD合成数据集验证其优于UNet3D。
2025-09-21 cs.LG
AE-Flow: AutoEncoder Normalizing Flow
Amazon Alexa AI（亚马逊 Alexa AI）
本文提出AE-Flow，一种在归一化流训练中引入重构损失监督的范式，无需平行数据，通过结合NLL与重构损失，在语音转换中提升说话人相似度、自然度和可懂度，优于最先进基线。
2023-12-27 cs.LG cs.SD eess.AS
Polytopic Autoencoders with Smooth Clustering for Reduced-order Modelling of Flows
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）；Otto von Guericke University Magdeburg（奥托·冯·格里克马格德堡大学）
本研究提出一种含轻量非线性编码器、凸组合解码器和平滑聚类网络的多面体自编码器架构，可保证重构状态在多面体内，为流动降阶建模提供了更优的降阶效果。
2024-01-19 cs.CV cs.LG math.DS
Flow Autoencoders are Effective Protein Tokenizers
California Institute of Technology（加州理工学院）；OpenAI（开放人工智能公司）；Howard Hughes Medical Institute（霍华德·休斯医学研究院）
本研究提出基于流匹配损失的扩散自编码器Kanzi作为蛋白质结构分词器，简化了分词器设计，以更小的模型规模和训练成本实现了更优的重建效果，且基于其训练的自回归生成模型性能优于同类token级生成模型。
2025-09-30 cs.LG q-bio.BM
Conditional Flow Variational Autoencoders for Structured Sequence Prediction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
预测环境和交互代理的未来状态是自主智能体在现实世界中成功运行所需的关键能力。基于潜变量模型的结构化序列预测的先前工作对潜变量施加了单峰标准高斯先验。这导致了强烈的模型偏差，这使得完全捕获未来状态分布的多模态具有挑战性。在这项工作中，我们介绍了条件流变分自编码器（CF-VAE）使用我们的新的条件规范化流之前捕获复杂的多模态条件分布有效的结构化序列预测。此外，我们提出了两个新的正则化方案，稳定训练和处理后验崩溃的稳定训练和更好地适应目标数据分布。我们在三个多模态结构化序列预测数据集- MNIST Sequences，Stanford Drone和HighD -上的实验表明，所提出的方法在不同的评估指标上获得了最先进的结果。
2020-08-18 cs.CV cs.LG stat.ML
Data-driven identification of nonlinear dynamical systems with LSTM autoencoders and Normalizing Flows
Michigan Technological University（密歇根理工大学）
本研究提出一种基于 LSTM 自编码器和 Normalizing Flows 的深度学习框架，用于非线性动力系统的数据驱动辨识，在 Duffing、Lorenz 及流体流动等案例中有效实现了时间特征提取与系统参数关联。
2025-03-05 cs.LG
SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems
National University of Singapore（新加坡国立大学）；Tencent AI for Life Science Lab（腾讯生命科学人工智能实验室）
研究针对小分子、晶体和蛋白质跨域生成管道分散问题，提出单架构流匹配自动编码器SinAE，用普通Transformer编码器和解码器，将重建负担转移到迭代流匹配解码器，实现跨域近无损重建，在生成基准测试中表现出色。
2026-07-15 cs.LG
Quasi-symplectic Langevin Variational Autoencoder
Inria Sophia Antipolis（索菲亚·安提波利斯法国国家信息与自动化研究所）；University Côte d’Azur（蔚蓝海岸大学）
变分自编码器（VAE）是神经学习研究中一个非常流行和研究的生成模型。为了将VAE应用于处理大规模数据集的实际任务中，需要处理低方差证据下限（ELBO）的困难。马尔可夫链蒙特卡罗（MCMC）是一种有效的方法来收紧ELBO近似的后验分布和汉密尔顿变分自动编码器（HVAE）是一种有效的MCMC启发的方法来构建一个低方差ELBO，是服从重新参数化技巧。HVAE适应的哈密顿动态流到变分推断，显着提高后验估计的性能。在这项工作中，我们提出了一个Langevin动态流为基础的推理方法，通过Langevin动态，这是一种基于MCMC的方法类似于HVAE的推理过程中的梯度信息。具体地说，我们采用了一个准辛积分，以应付在朴素朗之万流的海森计算的禁止问题。我们展示了所提出的框架与其他基于梯度流的方法的理论和实际有效性。
2021-05-27 cs.AI cs.LG stat.ML
Deep Neural Networks for Nonlinear Model Order Reduction of Unsteady Flows
University of Tehran（德黑兰大学）
非定常流体系统是一种非线性的高维动力学系统，在时间和空间上可能表现出多种复杂的现象。流体流动的降阶建模（ROM）是近十年来的一个活跃的研究课题，其主要目标是将复杂流动分解为一组对未来状态预测和控制最重要的特征，通常使用降维技术。在这项工作中，介绍了一种新的数据驱动技术的基础上的权力的深度神经网络的降阶建模的非定常流体流动。自动编码器网络用于非线性降维和特征提取，作为奇异值分解（SVD）的替代方案。然后，提取的特征被用作长短期记忆网络（LSTM）的输入，以预测未来时刻的速度场。将所提出的自动编码器-LSTM方法与基于动态模式分解（DMD）和本征正交分解（POD）的非侵入式降阶模型进行了比较。此外，自动编码器DMD算法的降阶建模，它使用的自动编码器网络的降维，而不是SVD秩截断。结果表明，自动编码器-LSTM方法是相当能够预测流体流动演变，其中使用自动编码器-LSTM相比于其他模型获得更高的决定系数值$R^{2}$。
2020-10-02 cs.LG physics.comp-ph physics.flu-dyn
DoS and DDoS Mitigation Using Variational Autoencoders
Oslo Metropolitan University（奥斯陆城市大学）；University of Oslo（奥斯陆大学）；University of Granada（格拉纳达大学）
在过去十年中，DoS和DDoS攻击的规模和数量一直在增长，现有的解决方案通常效率低下。与其他类型的恶意网络攻击相比，DoS和DDoS攻击更具挑战性。由于它们能够将自己伪装成合法流量，因此开发在数据包或流级别检测这些类型的攻击的方法已被证明是一项艰巨的任务。在本文中，我们探讨了变分自编码器作为区分正常和恶意流量的智能安全解决方案中的一个组件的潜力。提出了两种基于变分自编码器从网络业务流中学习潜在表示的方法。第一种方法采用基于从流量跟踪中学习的变分自编码器获得的潜在编码的分类器。第二种方法是一种异常检测方法，其中使用变分自编码器来学习唯一合法流量的抽象特征表示。然后，通过依赖于变分自编码器的重构损失来滤除异常。这两种方法都在具有相似特征空间的两个独立数据集上进行了彻底的测试。结果表明，这两种方法都是有前途的，与基于异常的方法相比，基于分类器的方法略有优势。%，第一种方法能够在训练和验证数据上以高精度成功地检测各个业务流，在测试数据上稍微不太成功。对于第二种方法，变分自编码器将需要进一步的调整，以便能够从网络业务流中充分滤除异常。
2021-05-14 cs.CR cs.LG cs.NI
Enhancing Traffic Flow Prediction using Outlier-Weighted AutoEncoders: Handling Real-Time Changes
Eindhoven University of Technology（埃因霍温理工大学）
针对交通异常和实时变化，提出OWAM框架，利用自编码器检测异常并生成相关性分数加权邻近传感器数据，实现高效准确的实时交通流预测。
2023-12-27 cs.LG
Spatio-temporal video autoencoder with differentiable memory
Department of Engineering University of Cambridge（剑桥大学工程系）
我们描述了一种新的时空视频自动编码器，基于一个经典的空间图像自动编码器和一个新的嵌套时间自动编码器。时间编码器由可微分视觉记忆表示，该可微分视觉记忆由卷积长短期记忆（LSTM）单元组成，这些单元整合了随时间的变化。在这里，我们的目标运动变化和时间解码器使用一个强大的光流预测模块与图像采样器作为内置的反馈回路。该架构是端到端差异化的。在每个时间步，系统接收视频帧作为输入，基于当前观察和LSTM存储器状态预测光流作为密集变换图，并将其应用于当前帧以生成下一帧。通过最小化预测的下一帧和对应的地面真实下一帧之间的重建误差，我们训练整个系统以提取对运动估计有用的特征，而无需任何监督努力。我们提出了一个直接应用所提出的框架，在弱监督语义分割的视频标签传播使用光流。
2016-09-01 cs.CV cs.LG
A Physics-Informed Vector Quantized Autoencoder for Data Compression of Turbulent Flow
Duke University（杜克大学）
分析来自湍流模拟的大规模数据是内存密集型的，需要大量资源。这一重大挑战凸显了对数据压缩技术的需求。在这项研究中，我们应用基于矢量量化的物理深度学习技术，从三维湍流模拟中生成离散的低维数据表示。深度学习框架由卷积层组成，并结合了对流的物理约束，例如保持速度梯度的不可压缩性和全局统计特性。使用统计、基于比较的相似性和基于物理的度量来评估模型的准确性。训练数据集由不可压缩、统计稳定、各向同性湍流的直接数值模拟产生。这种有损数据压缩方案的性能进行评估，不仅与看不见的数据从静止的，各向同性的湍流，但也与衰减的各向同性湍流的数据，和泰勒-格林涡流。将压缩比（CR）定义为原始数据大小与压缩数据大小之比，结果表明，我们的基于矢量量化的模型可以提供均方误差（MSE）为$O(10^{-3})$的CR $=85$，以及忠实地再现流的统计数据的预测，除了在非常小的尺度上有一些损失。与最近基于传统自动编码器的研究相比，在连续空间中进行压缩，我们的模型将CR提高了$30$ %以上，并将MSE降低了一个数量级。我们的压缩模型是一个有吸引力的解决方案的情况下，需要快速，高质量和低开销的编码和解码的大数据。
2022-01-12 cs.LG physics.flu-dyn
Convolutional autoencoder for the spatiotemporal latent representation of turbulence
Delft University of Technology（代尔夫特理工大学）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出三维多尺度卷积自编码器，用于高效获取具有极端事件的湍流降阶潜在表示，其自由度少于本征正交分解的10%，并能准确重建极端事件相关状态。
2023-06-20 cs.LG nlin.CD physics.flu-dyn
Physics-informed Autoencoders for Lyapunov-stable Fluid Flow Prediction
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
除了在计算机视觉和自然语言处理方面取得引人注目的成功外，神经网络还为科学问题提供了一套新兴的技术。然而，这种数据驱动的模型通常忽略了所考虑的科学系统的物理见解。除此之外，一个基于物理学的模型公式应该具有一定程度的稳定性或鲁棒性或良好的条件（输入的微小变化不会导致输出的剧烈变化），这是潜在科学问题的特征。我们研究是否有可能包括物理信息先验知识来提高模型质量（例如，泛化性能、对参数调整的敏感性、或存在噪声数据时的鲁棒性）。在这种程度上，我们专注于一个平衡的稳定性，一个动态系统可以有一个最基本的属性，通过李雅普诺夫分析的镜头。对于流体流动预测的原型问题，我们表明，保持李雅普诺夫稳定性的模型提高了泛化误差，降低了预测的不确定性。
2019-05-26 cs.LG physics.comp-ph
Listening to the city, attentively: A Spatio-Temporal Attention Boosted Autoencoder for the Short-Term Flow Prediction Problem
University of Milano-Bicocca（米兰比可卡大学）
近年来，研究和预测替代流动性（例如，共享服务）模式在城市环境中变得越来越重要，因为关于当前和未来车辆流量的准确和及时的信息可以成功地提高运输服务的质量和可用性。在当前的疫情危机期间，这一需求加剧，促使政策制定者和普通公民寻求符合社交距离的城市交通服务，如电动自行车和踏板车共享服务。然而，由于城市交通模式的非线性空间和时间依赖性，预测不同城市地区的进出车辆数量具有挑战性。在这项工作中，我们提出了STREED-Net，这是一种新型的深度学习网络，具有多注意力（空间和时间）机制，可以有效地捕获和利用移动数据中复杂的空间和时间模式。报告了使用真实数据进行彻底实验分析的结果，表明所提出的模型提高了这项任务的最新水平。
2021-08-18 cs.AI cs.LG
Quantum Autoencoders for Learning Quantum Channel Codes
Cisco Quantum Lab（思科量子实验室）
本文提出基于参数化量子电路与灵活噪声模型的量子自编码器框架，用于学习和评估经典、纠缠辅助及量子通信场景下的量子信道编码。
2023-07-13 cs.IT cs.LG math.IT
On interpretability and proper latent decomposition of autoencoders
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；Delft University of Technology（代尔夫特理工大学）
湍流的动力学倾向于在统计稳定状态下仅占据相空间的一部分。从动力系统的观点来看，这部分是吸引子。湍流吸引子的知识至少有两个目的：（i）我们可以获得对湍流的物理洞察（吸引子的形状和几何形状是什么？），以及（ii）它提供了最小数量的自由度以精确地描述湍流动力学。自动编码器能够计算最佳潜在空间，这是动态的低阶表示。如果经过适当的训练和正确的设计，自动编码器可以学习湍流吸引子的近似，如Doan，Racha和Magri（2022）所示。在本文中，我们从理论上解释了自动编码器的变换。首先，我们注意到潜空间是一个曲线坐标的弯曲流形，可以用黎曼几何的简单工具进行分析。其次，我们刻画了隐空间的几何性质。我们从数学上推导出度量张量，它提供了流形的数学描述。第三，我们提出了一种方法-适当的潜在分解（PLD）-推广适当的正交分解的湍流的autocoder潜在空间。这种分解在弯曲的潜在空间中找到主导方向。这项理论工作为解释自动编码器和创建湍流的降阶模型提供了计算机会。
2022-12-02 cs.LG physics.flu-dyn
Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder
本文针对 MoE-SAE 中专家缺乏专业化、特征冗余的问题，提出 Multiple Expert Activation 和 Feature Scaling 两种机制，显著降低重建误差与特征冗余，兼顾 LLM 可解释性与计算效率。
2025-11-07 cs.AI cs.LG
Multi-modal anticipation of stochastic trajectories in a dynamic environment with Conditional Variational Autoencoders
The University of Hull（赫尔大学）；University of Sunderland（桑德兰大学）
预测附近车辆的短期运动提出了一个固有的挑战性问题，因为它们可能的未来运动的空间并不严格限于一组单一的轨迹。最近提出的技术，证明合理的结果主要集中在预测一个固定数量的确定性预测，或分类在各种各样的轨迹，以前产生的使用，例如动态模型。本文的重点是解决与所讨论的任务相关的不确定性，利用生成模型的随机性，以产生一组不同的合理路径方面的履带车辆。更具体地说，我们建议考虑到多模态的问题，使用条件变分自编码器（C-VAE）的条件代理的过去的运动，以及光栅化的场景上下文与胶囊网络（CapsNet）编码。此外，我们还展示了采用最小N（MoN）成本函数的优势，该函数测量了地面实况和N个生成的样本之间的距离，并试图最大限度地减少最接近样本的损失，从而有效地实现更多样化的预测。我们在一个公开的数据集上对我们的网络进行了检查，并表明我们的方法在许多情况下都优于这些技术，同时显着减少了可训练参数的数量，并允许对任意数量的不同轨迹进行采样。
2021-03-05 cs.AI cs.LG
Greedy Hierarchical Variational Autoencoders for Large-Scale Video Prediction
Stanford University（斯坦福大学）
一个推广到不同场景的视频预测模型将使智能代理（如机器人）能够通过模型规划来执行各种任务。然而，虽然现有的视频预测模型在小数据集上产生了有希望的结果，但在大型和多样化的数据集上训练时，它们会受到严重的欠拟合。为了解决这一不合适的挑战，我们首先观察到，训练更大视频预测模型的能力通常会受到GPU或TPU内存限制的瓶颈。同时，深层潜变量模型可以通过捕获未来观测的多级随机性来产生更高质量的预测，但这种模型的端到端优化非常困难。我们的关键见解是，分层自动编码器的贪婪和模块化优化可以同时解决内存限制和大规模视频预测的优化挑战。我们介绍了贪婪分层变分自编码器（GHVAE），一种通过对分层自编码器的每一级进行贪婪训练来学习高保真视频预测的方法。与最先进的模型相比，GHVAE在四个视频数据集上的预测性能提高了17-55%，在实际机器人任务上的成功率提高了35-40%，并且可以通过简单地添加更多模块来单调地提高性能。
2021-06-19 cs.AI cs.CV cs.LG
Modelling spatiotemporal turbulent dynamics with the convolutional autoencoder echo state network
University of Cambridge（剑桥大学）；Delft University of Technology（代尔夫特理工大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
湍流的时空动力学是混沌的，难以预测。这使得精确和稳定的降阶模型的设计具有挑战性。本文的首要目标是提出一个非线性分解的湍流状态的降阶表示的动态。我们将湍流问题分为空间问题和时间问题。首先，我们计算潜在空间，它是湍流动力学所处的流形（即，它是湍流吸引子的数值近似）。潜在空间是通过一系列非线性滤波操作找到的，这些操作由卷积自动编码器（CAE）执行。CAE提供了空间上的分解。其次，我们预测的时间演化的湍流状态的潜空间，这是由回声状态网络（ESN）。ESN提供了时间上的分解。第三，通过组装CAE和ESN，我们得到一个自治的动力系统：卷积自动编码器回声状态网络（CAE-ESN）。这是湍流的降阶模型。我们在二维流动上测试了CAE-ESN。我们表明，经过训练，CAE-ESN（i）发现湍流的潜在空间表示，其自由度小于物理空间的自由度的1%;（ii）在准周期和湍流状态下都能准确地预测时间和统计上的流动;（iii）对不同的流动状态具有鲁棒性（雷诺数）;（iv）预测湍流所需的计算时间比求解控制方程少1%。这项工作开辟了新的可能性，非线性分解和降阶建模的湍流的数据。
2022-11-22 cs.LG nlin.CD physics.flu-dyn
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute（Astera研究所）；UC Berkeley（加州大学伯克利分校）；UCL（伦敦大学学院）；Goodfire AI（Goodfire AI公司）；CSHL（冷泉港实验室）
本文提出BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为自然梯度流，通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习，在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
A Critical Assessment of Pattern Comparisons Between POD and Autoencoders in Intraventricular Flows
Center for Computational Simulation (CCS)（计算模拟中心（CCS））；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保罗森工程与应用科学学院）；Harvard University（哈佛大学）
本文批判性评估了POD与不同AE变体在室内心脏流动中模式比较的性能，揭示了AEs在特定潜在空间配置下可再现POD-like结构，但需谨慎选择模式以确保物理意义的表示。
2025-12-22 cs.LG physics.flu-dyn
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）；KU Leuven（荷语鲁汶大学）；Alan Turing Institute（艾伦·图灵研究所）
提出将条件变分自编码器与归一化流结合的条件流VAE，用于可控合成解剖虚拟人群，在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Decoder Decomposition for the Analysis of the Latent Space of Nonlinear Autoencoders With Wind-Tunnel Experimental Data
Imperial College London（帝国理工学院）；The Alan Turing Institute（阿兰·图灵研究所）；Politecnico di Torino（都灵理工大学）
针对非线性自编码器难以解释的问题，提出解码器分解后处理方法，通过合成数据与风洞实验验证其可关联潜变量与流动相干结构、实现潜变量排序选择，助力自编码器的设计与解释。
2024-04-25 cs.LG physics.flu-dyn
Doubly Stochastic Adversarial Autoencoder
Cylance（Cylance公司）
任何自动编码器网络都可以通过对其隐藏代码向量施加任意先验分布而变成生成模型。变分自编码器（VAE）[2]使用KL发散惩罚来施加先验，而对抗自动编码器（AAE）[1]使用{ \it生成对抗网络} GAN [3]。GAN将{ \it采样}算法的复杂性与极小极大博弈中{ \it搜索}纳什均衡的复杂性进行了交换。这种极大极小架构在数据示例和流经生成器和对手的梯度的帮助下进行训练。AAE的一个直接修改是用最大平均差异（MMD）检验代替对手[4-5]。这种替换导致了一种新型的概率自动编码器，这也是我们的论文中讨论。我们提出了一种新的概率自动编码器中的对手AAE被替换为空间的{ \it随机}功能。该替换引入了新的随机性源，其可以被认为是用于鼓励{ \it探索}的连续控制。这可以防止对手过于接近生成器，从而导致生成的样本更加多样化。
2018-07-19 cs.LG stat.ML
Physics-integrated generative modeling using attentive planar normalizing flow based variational autoencoder
University of Central Punjab（中央旁遮普大学）
本研究提出一种物理集成变分自编码器，利用平面归一化流学习后验分布，并在编码器中引入缩放点积注意力以增强对噪声的鲁棒性，实验表明其提升了重建质量与抗噪能力。
2024-04-18 cs.AI cs.LG stat.ML
Data-Space Inversion Using a Recurrent Autoencoder for Time-Series Parameterization
Stanford University（斯坦福大学）
数据空间反演（DSI）和相关程序代表了适用于地下流环境中数据同化的一系列方法。这些方法不同于基于模型的技术，因为它们仅提供感兴趣的量（时间序列）的后验预测，而不是具有校准参数的后验模型。DSI方法需要首先对先前的地质认识进行大量的流动模拟。给定观测数据，可以直接生成后验预测。DSI在贝叶斯设置中操作，并提供数据向量的后验样本。在这项工作中，我们开发和评估一种新的方法DSI的数据参数化。参数化减少了反演中要确定的变量的数量，并保持了数据变量的物理特性。新的参数化使用循环自动编码器（RAE）进行降维，并使用长短期记忆（LSTM）网络来表示流速时间序列。RAE为基础的参数化相结合的集合平滑与多个数据同化（ESMDA）的后代。结果提出了一个2D通道化系统和一个3D多高斯模型的两相流和三相流。通过与参考拒绝抽样（RS）结果进行比较，对RAE程序以及现有DSI处理进行评估。新的DSI方法被证明是一贯优于现有的方法，在统计协议与RS结果。该方法还示出，以准确地捕获派生的量，这是直接在DSI考虑的变量计算。这就需要正确捕捉变量之间的相关性和协方差，并证明这些关系的准确性。基于RAE的参数化在DSI中显然是有用的，并且它也可以在其他地下流问题中找到应用。
2020-05-07 cs.LG stat.ML
Variational autoencoders with latent high-dimensional steady geometric flows for dynamics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出VAE-DLM方法，在潜在空间中引入稳态几何流，通过物理信息方法求解高维流，增强潜在表示的表达能力，在PDE型数据上降低OOD误差15%-35%。
2026-06-17 cs.LG math.DG stat.CO
A convolution recurrent autoencoder for spatio-temporal missing data imputation
University of California Irvine（加州大学欧文分校）
当传感器在大的地理区域中收集时空数据时，无法避免缺失数据的存在。缺失数据会对数据分析和机器学习算法的性能产生负面影响。在本文中，我们研究了时空问题中缺失数据填补的深度自动编码器。我们提出了一种卷积双向LSTM，用于捕获空间和时间模式。此外，我们分析了自动编码器的时空数据的潜在特征表示，并说明其性能缺失的数据填补。交通流数据用于评估我们的模型。结果表明，所提出的卷积递归神经网络优于国家的最先进的方法。
2019-04-29 cs.LG stat.ML
