Are We Using Autoencoders in a Wrong Way?
Istituto di Scienza e Tecnologie dell’Informazione Alessandro Faedo, CNR（意大利国家研究委员会亚历山德罗·法埃多信息科学与技术研究所）
本文重新审视自编码器标准训练，通过修改潜在空间形状且不加显式正则化，强制重建同类别分布的另一观测，并探索随机样本重建下的潜在空间行为。
2023-09-04 cs.AI cs.CV cs.LG
CardiCat: a Variational Autoencoder for High-Cardinality Tabular Data
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对高基数混合类型表格数据生成难题，提出变分自编码器CardiCat，采用正则化双编码器-解码器嵌入层替代独热编码，实现紧凑参数化，在更小参数空间下生成高质量合成数据。
2025-01-28 cs.LG stat.ML
Correlating Variational Autoencoders Natively For Multi-View Imputation
African Institute for Mathematical Sciences, South Africa（非洲数学科学研究所，南非）
针对同源多视图数据的潜空间相关性，提出带非零相关结构联合先验的多视图VAE方法，通过潜空间条件分布实现缺失视图补全，且支持端到端学习。
2024-11-05 cs.LG stat.ML
Stochastic embeddings of dynamical phenomena through variational autoencoders
Universidad San Pablo CEU（圣巴勃罗CEU大学）；CiTIUS, Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学CiTIUS研究所）
在观测到的变量数小于动态自由度的情况下，系统识别是一个重要的挑战。在这项工作中，我们解决这个问题，通过使用识别网络，以增加所观察到的空间维数在相空间的重建。相空间被迫具有由随机微分方程（Stochastic Differential Equation，简称SDD）描述的近似马尔可夫动力学，这也有待发现。为了从随机数据中进行鲁棒学习，我们使用贝叶斯范式，并将先验值放在漂移和扩散项上。为了处理学习后验的复杂性，引入了一组对真实后验的平均场变分近似，从而实现有效的统计推断。最后，解码器网络被用来获得合理的重建的实验数据。这种方法的主要优点是，由此产生的模型是统计物理学的范式内解释。我们的验证表明，这种方法不仅恢复了一个状态空间，类似于原来的，但它也能够合成新的时间序列捕捉实验数据的主要属性。
2020-10-13 cs.LG physics.comp-ph
NVAE: A Deep Hierarchical Variational Autoencoder
NVIDIA（英伟达）
规范化流、自回归模型、变分自编码器（VAE）和基于深度能量的模型是深度生成学习的竞争性基于可能性的框架。其中，VAE具有快速易处理的采样和易于访问的编码网络的优点。然而，它们目前的表现优于其他模型，如正常化流量和自回归模型。虽然大多数VAE的研究都集中在统计挑战上，但我们探索了仔细设计分层VAE神经架构的正交方向。我们提出了新的VAE（NVAE），一个深层次的VAE图像生成使用深度可分离卷积和批量归一化。NVAE配备有正态分布的残差参数化，并且其训练通过谱正则化来稳定。我们表明，NVAE在MNIST、CIFAR-10、CelebA 64和CelebA HQ数据集上的非自回归似然模型中取得了最先进的结果，并为FFHQ提供了强有力的基线。例如，在CIFAR-10上，NVAE将最先进的每维从2.98位提升到2.91位，并在CelebA HQ上生成高质量的图像。据我们所知，NVAE是第一个成功应用于最大为256 $\times$ 256像素的自然图像的VAE。源代码可在https://github.com/NVlabs/NVAE上获得。
2021-01-08 cs.CV cs.LG stat.ML
Uncertainty-Autoencoder-Based Privacy and Utility Preserving Data Type Conscious Transformation
Kansas State University（堪萨斯州立大学）；Louisiana State University（路易斯安那州立大学）
我们提出了一个对抗性学习框架，在两种类型的条件下处理隐私-效用权衡问题：数据类型无知和数据类型感知。在数据类型感知的条件下，隐私机制提供了一个独热编码的分类特征，代表一个类，而在数据类型无知的条件下，分类变量表示的分数的集合，一个为每个类。我们使用一个神经网络架构组成的一个发电机和一个编码器，其中发电机由一个编码器-解码器对，和编码器由一个对手和一个公用事业提供商。与以前的研究考虑这种架构，利用自动编码器（AE），而不引入任何随机性，或变分自编码器（VAE）的基础上学习的潜在表示，然后被迫进入高斯假设，我们提出的技术引入随机性，并删除高斯假设的限制，对潜在变量，只专注于端到端的随机映射的输入到私有化数据。我们在不同的数据集上测试我们的框架：MNIST，FashionMNIST，UCI Adult和美国人口普查人口统计数据，提供了广泛的可能的私人和公用事业属性。我们同时使用多个对手来测试我们的隐私机制--有些是从地面真实数据中训练出来的，有些是从我们的隐私机制生成的扰动数据中训练出来的。通过比较分析，我们的研究结果表明，更好的隐私和效用保证比现有的作品在类似的，数据类型的无知的条件下，即使后者被认为是在其原来的限制性单对手模型。
2022-05-04 cs.CR cs.LG
Variational Autoencoder for Generating Broader-Spectrum prior Proposals in Markov chain Monte Carlo Methods
Department One（部门一）；Department Two（部门二）；National Laboratory for Scientific Computing（国家科学计算实验室）；Department of Mathematical Sciences, The University of Texas at Dallas（数学科学系，德克萨斯大学达拉斯分校）
本文提出用变分自编码器为马尔可夫链蒙特卡罗方法生成更广谱的先验提议，以替代依赖协方差先验知识的KLE方法，并通过地下水流动反演实验验证其在精度、鲁棒性和计算效率上的优势。
2025-06-16 cs.LG stat.ML
Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；Petrobras Research and Development Center（巴西石油公司研发中心）
本文针对相历史拟合中集成平滑器受高斯假设限制的问题，系统比较了七种深度生成网络参数化方法，并提出两种支持基于距离局部化的策略，以提升大规模河道化相历史拟合的适用性。
2020-05-08 cs.LG eess.IV stat.ML
Latent diffusion models for parameterization and data assimilation of facies-based geomodels
本文提出利用潜扩散模型对基于岩性地质体进行参数化与数据同化，通过变分自编码器和U-Net实现降维与去噪，生成与参考模型一致的地质体实现。
2026-03-12 cs.AI cs.CE cs.CV
Joint Multimodal Learning with Deep Generative Models
The University of Tokyo（东京大学）
我们研究了可以双向交换多种模态的深度生成模型，例如，从对应的文本生成图像，反之亦然。最近，一些研究在深度生成模型上处理多种模态，例如变分自动编码器（VAE）。然而，这些模型通常假设模态被迫具有条件关系，即，我们只能在一个方向上产生模式。为了实现我们的目标，我们应该提取一个联合表示，它在所有模式中捕获高级概念，并通过它我们可以双向交换它们。如本文所述，我们提出了一种联合多模态变分自动编码器（JMVAE），其中所有模态都独立地以联合表示为条件。换句话说，它对模态的联合分布进行建模。此外，为了能够正确地从剩余的模态中生成缺失的模态，我们开发了一种额外的方法JMVAE-kl，该方法通过减少JMVAE的编码器和相应模态的准备网络之间的分歧来训练。我们的实验表明，我们提出的方法可以获得适当的联合表示从多个模态，它可以生成和重建他们比传统的VAE更正确。我们进一步证明了JMVAE可以双向生成多种模态。
2016-11-07 cs.LG stat.ML
Discrete Variational Autoencoding via Policy Search
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Robotics Institute Germany (RIG)（德国机器人研究所）
本文提出了一种基于策略搜索的离散VAE训练框架，利用非参数编码器的自然梯度提升编码器性能，实现高效高维数据重建。
2026-02-11 cs.AI cs.LG cs.RO
Generative Modeling for Atmospheric Convection
University of California at Irvine（加州大学欧文分校）；Columbia University（哥伦比亚大学）
虽然云解析模式可以明确地模拟小尺度风暴形成和形态的细节，但由于缺乏计算资源，这些细节往往被气候模式忽略。在这里，我们探索生成建模的潜力，以廉价地重新创建小规模的风暴，通过设计和实施变分自动编码器（VAE），执行结构复制，降维，高分辨率的垂直速度场的聚类。在全球约6*10^6个样本的训练下，VAE成功地重建了对流的空间结构，对对流组织状态进行了无监督聚类，并识别了异常风暴活动，证实了生成建模在气候模式中为对流随机参数化提供动力的潜力。
2020-10-24 cs.LG physics.ao-ph physics.comp-ph
Can VAEs Generate Novel Examples?
Northeastern University（东北大学）
深度生成模型的一个隐含目标是，这些模型应该能够生成以前在训练数据中看不到的新示例。在本文中，我们调查在何种程度上这一属性持有广泛采用的变分自编码器（VAE）架构。VAE使对数边际似然的下限最大化，这意味着当提供有充分表达的解码器时，它们原则上将过拟合训练数据。在无限容量解码器的限制下，最佳生成模型是训练数据上的均匀混合。更一般地，最佳解码器应该输出训练数据中的示例的加权平均，其中权重的大小由潜在空间中的接近度确定。这导致以下假设：对于足够高容量的编码器和解码器，VAE解码器将根据潜在空间中的坐标执行最近邻匹配。为了验证这一假设，我们研究了MNIST数据集的泛化。我们既考虑了对以前看到的类的新示例的泛化，也考虑了对从训练集中保留的类的泛化。在这两种情况下，我们发现，重建密切接近最近的邻居高维参数化。然而，当推广到看不见的类时，低维参数化提供了明显的优势。
2018-12-22 cs.LG stat.ML
Reduced-Order Surrogates for Forced Flexible Mesh Coastal-Ocean Models
DTU（技术大学）
本文提出一种灵活的Koopman自动编码器，结合气象强迫和边界条件，对比其与POD代理模型的性能，展示高精度和高效能的降阶方法。
2026-04-21 cs.AI cs.CE cs.LG
Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
School of Electrical Engineering and Robotics（电气工程与机器人学学院）；Queensland University of Technology（昆士兰理工大学）
本文针对高维潜在空间中VAE随机采样解码效果差的问题，提出用超球面坐标参数化潜在变量以压缩潜在分布、降低稀疏性，从而提升VAE的生成能力。
2025-07-21 cs.LG
Latent Convolutional Models
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））；Samsung AI Center（三星人工智能中心）
我们提出了一种新的自然图像的潜在模型，可以在大规模数据集上学习。学习过程为训练数据集中的每个图像提供潜在嵌入，以及将潜在空间映射到图像空间的深度卷积网络。经过训练后，新模型为各种图像复原任务（例如大孔修复、超分辨率和彩色化）提供了强大且通用的图像先验。为了对高分辨率的自然图像进行建模，我们的方法使用了非常高维的潜在空间（比以前的潜在图像模型高一到两个数量级）。为了解决这种高维问题，我们使用具有特殊流形结构（卷积流形）的潜在空间，该结构由特定架构的ConvNet参数化。在实验中，我们将学习的潜在模型与自动编码器学习的潜在模型、生成对抗网络的高级变体以及使用更简单的潜在空间参数化的强大基线系统进行了比较。我们的模型在一系列恢复任务中优于竞争方法。
2018-11-02 cs.CV cs.LG
Stochastic Latent Transformer: Efficient Modelling of Stochastically Forced Zonal Jets
University of Cambridge（剑桥大学）
针对随机偏微分方程降阶建模需求，提出由随机强迫Transformer与平移等变自编码器构成的SLT方法，在纬向急流系统中实现五个数量级加速，可高效探索自发转变事件的概率统计问题。
2023-12-18 cs.LG physics.ao-ph physics.flu-dyn
KPI-Conditioned Generative Design of Automotive Hood Inner Panels: A Two-Stage Retrieval-Generation Pipeline with Surrogate-Based Performance Estimation
本研究提出一种基于代理模型性能估计的两阶段检索-生成流水线，用于解决汽车引擎盖内板满足KPI要求的逆向设计问题，该流水线基于公开资源构建并作为交互式工具部署，揭示了代理模型误差与类内信号比值对流水线有效性的关键影响。
2026-08-25 cs.LG
On the Diffusibility of High-Dimensional Latents
Cornell University（康奈尔大学）；Adobe；Virginia Tech（弗吉尼亚理工大学）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
本文发现表示自编码器微调后虽重建更好但有效维度降低，标准速度预测需拟合正交噪声致效率低下，改用x0预测聚焦信号流形，在多个强重建编码器上持续提升文生图性能。
2026-09-24 cs.CV cs.LG
From Vessel Trajectories to Safety-Critical Encounter Scenarios: A Generative AI Framework for Autonomous Ship Digital Testing
本文提出一种数据驱动框架，将大规模AIS轨迹转化为结构化安全关键性遭遇场景，结合生成轨迹建模与自动化遭遇配对，提升场景生成的可扩展性与真实性。
2026-08-04 cs.LG
Friction on Demand: A Generative Framework for the Inverse Design of Metainterfaces
École centrale de Lyon LTDS, UMR 5513（Lyon中央理工学院LTDS，UMR 5513）；Univ. Gustave Eiffel, Inria COSYS-SII, I4S Rennes, France（Gustave Eiffel大学，Inria COSYS-SII，I4S Rennes，法国）
本文提出基于变分自编码器的生成式框架，从目标摩擦定律逆向设计表面形貌，在2亿样本上训练实现免仿真的高效候选生成，并分析准确性、吞吐量与多样性的权衡。
2025-10-27 cs.LG cs.SY eess.SY
Stochastic Deep Learning: A Probabilistic Framework for Modeling Uncertainty in Structured Temporal Data
University of Essex（埃塞克斯大学）
本文提出随机潜在微分推断框架，通过整合随机微分方程与深度生成模型，提升结构时间数据中不确定性建模的精度与稳定性。
2026-01-08 cs.LG econ.EM math.ST
Score-based Generative Modeling in Latent Space
NVIDIA（英伟达）
基于分数的生成模型（SGM）最近在样本质量和分布覆盖率方面表现出令人印象深刻的结果。然而，它们通常直接应用于数据空间，并且通常需要数千个网络评估来进行采样。在这里，我们提出了基于潜在分数的生成模型（LSGM），这是一种在潜在空间中训练SGM的新方法，依赖于变分自动编码器框架。从数据转移到潜在空间，使我们能够训练更具表现力的生成模型，将SGM应用于非连续数据，并在更小的空间中学习更平滑的SGM，从而减少网络评估和更快的采样。为了能够以可扩展和稳定的方式训练LSGM端到端，我们（i）引入适合LSGM设置的新的分数匹配目标，（ii）提出一种新的得分函数参数化，使SGM能够专注于目标分布相对于简单正态分布的不匹配，以及（iii）分析推导出用于训练目标方差减小的多种技术。LSGM在CIFAR-10上获得了2.10的最新FID分数，优于该数据集上所有现有的生成结果。在CelebA-HQ-256上，LSGM在采样质量上与之前的SGM相当，而在采样时间上则超过它们两个数量级。在对二值图像建模时，LSGM在二值化的OMNIGLOT数据集上实现了最先进的似然性。我们的项目页面和代码可以在https://nvlabs.github.io/LSGM上找到。
2021-12-02 cs.LG stat.ML
DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents
University of California, Irvine（加州大学欧文分校）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；Google Research（谷歌研究院）
扩散概率模型已被证明可以在几个有竞争力的图像合成基准上生成最先进的结果，但缺乏低维、可解释的潜在空间，并且生成速度很慢。另一方面，标准的变分自编码器（VAE）通常可以访问低维潜在空间，但表现出较差的样本质量。我们提出了DiffuseVAE，一个新的生成框架，集成VAE扩散模型框架内，并利用这一点来设计新的条件参数化扩散模型。我们表明，由此产生的模型装备扩散模型与低维VAE推断的潜在代码，可用于下游任务，如可控合成。所提出的方法还改进了标准无条件DDPM/DDIM模型中表现出的速度与质量权衡（例如，在CelebA-HQ-128基准上使用T=10个反向过程步骤，FID为16.47 vs 34.36），而无需针对这样的目标进行显式训练。此外，该模型的合成质量与标准图像合成基准（如CIFAR-10和CelebA-64）上的最先进模型相当，同时优于大多数现有的基于VAE的方法。最后，我们表明，所提出的方法表现出内在的推广到不同类型的噪声在调理信号。为了重现性，我们的源代码在https://github.com/kpandey008/DiffuseVAE上公开。
2022-11-29 cs.CV cs.LG
Online learning in idealized ocean gyres
School of Mathematics and Maxwell Institute for Mathematical Sciences, The University of Edinburgh（爱丁堡大学数学学院与麦克斯韦数学科学研究所）
本文通过在线学习方法，构建端到端可微的动力学求解器，用于数据驱动的涡旋参数化，以解决理想化海洋环流中的湍流问题。
2024-12-20 physics.ao-ph physics.flu-dyn
Goldilocks mixing in oceanic shear-induced turbulent overturns
我们提出了一个新的物理动机的参数化，基于索普和Ozmidov尺度的比例，不可逆的湍流通量系数$Γ_{\mathcal M}= {\mathcal M}/ε$，即不可逆率${\mathcal M}$在分层流中的背景势能增加，由于宏观运动的湍流动能耗散率的比例。我们的参数化涵盖了所有三个关键阶段（至关重要的是，在时间上）的剪切诱导分层湍流生命周期：初始，“热”的增长阶段，中间大力强迫阶段，和最后的“冷”的tetralization衰减阶段。涵盖所有三个阶段使我们能够突出中间阶段的重要性，我们称之为“金发姑娘”阶段，因为它显然是最佳的（因此既不太热也不太冷，但刚刚好）平衡，其中从背景剪切到湍流混合的能量传递是最有效的。$Γ_{\mathcal M}$在此阶段接近1/3，我们证明，这似乎与持续湍流$\sim 0.2-0.25$的临界或边际Richardson数的调整有关。
2021-08-11 physics.flu-dyn
Disentangling discrete and continuous spectra of tidally forced internal waves in shear flow
Research Institute for Applied Mechanics, Kyushu University（九州大学应用力学研究所）；CNRS, ENS de Lyon, Laboratoire de Physique（法国国家科学研究中心、里昂高等师范学校、物理实验室）
本文研究了剪切流中潮汐强迫内波的能量转换机制，通过分析发现离散谱和连续谱在能量转换中的不同作用，提出了新的能量转换率公式。
2026-03-02 physics.ao-ph physics.flu-dyn
On the Equality of the ELBO to a Sum of Entropies at Stationary Points of Learning
University of Oldenburg（奥尔登堡大学）
本研究证明了对于一大类指数族生成模型，变分下界（ELBO）在学习的所有不动点处等于三项熵之和，前提条件宽松，涵盖标准高斯VAE等众多模型，为理解无监督学习收敛特性提供了理论支撑。
2026-09-03 cs.IT cs.LG math.IT
Turbulence closure with small, local neural networks: Forced two-dimensional and $β$-plane flows
本研究使用仅含O(1000)参数的2层CNN，对高雷诺数β平面二维湍流的SGS通量进行参数化，在16倍降尺度下获得稳定在线解，揭示了SGS应力的弱非局部依赖性。
2023-04-11 nlin.CD physics.comp-ph physics.flu-dyn
Revealing the state space of turbulence using machine learning
尽管湍流的表面复杂性，确定一个更简单的描述的基础动力系统仍然是一个根本的挑战。正如霍普夫在1948年所设想的那样，利用某种有效的表示法来捕捉湍流如何在相空间中的不稳定状态（简单不变解）之间蜿蜒流动，这是实现这一目标的最好希望，尽管识别这些状态存在固有的困难。在这里，我们通过证明深度卷积自动编码器可以识别与表征湍流吸引子的简单不变解密切相关的二维湍流的低维表示，向这一目标迈出了重要的一步。为了建立这一点，我们开发了潜傅立叶分析，将流嵌入分解成一组正交的潜傅立叶模式，这些模式解码成类似于简单不变解的物理上有意义的模式。通过分析$Re=40$的湍流Kolmogorov流（在大尺度下被迫在2D环面上流动），突出了这种方法的实用性，其中，在间歇性突发之间，流动驻留在不稳定状态的附近，并且是非常低维的。到个人的潜在傅立叶波数的投影揭示了简单的不变的解决方案，组织静态和爆裂的动态系统的方式无法访问以前的方法。
2020-09-17 physics.flu-dyn
