Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London（伦敦大学学院）；Faculty（学院）
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而，基于变分自编码器（VAE）训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的，非基于似然的框架，用于训练具有吸引人的理论属性的生成模型，原则上允许分布之间更容易的训练收敛。在这项工作中，我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构，而不需要高度定制的模型和推理网络。我们表明，我们的方法使生成模型能够充分利用其深层的潜在层次结构，避免了VAE的众所周知的“潜在变量崩溃”问题;因此，提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Learning disentangled representations with the Wasserstein Autoencoder
University College London（伦敦大学学院）；Faculty（学院）
无纠缠表征学习无疑受益于目标函数手术。然而，为了在重建保真度与解纠缠之间进行权衡，仍然需要微妙的调谐平衡行为。在以前成功惩罚潜变量中的总相关性的基础上，我们提出了TCWAE（总相关性Wasserstein自动编码器）。在WAE范式中工作自然能够分离总相关项，从而提供对学习表示的解纠缠控制，同时在选择重建成本时提供更大的灵活性。我们提出了两种使用不同KL估计的变体，并对具有已知生成因子的数据集进行了广泛的定量比较，显示了相对于最先进技术的竞争结果。我们进一步研究了在具有未知生成因素的更困难的数据集上的解纠缠和重建之间的权衡，其中WAE范式在重建方面的灵活性提高了重建。
2020-10-07 cs.CV cs.LG stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park（马里兰大学帕克分校数学系与科学计算与数学建模中心）
虽然变分自编码器在若干任务中已经成功，但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器，其中一个额外的先验编码器网络学习数据流形的嵌入，保留了数据的拓扑和几何属性，从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的，测地线生成的样本位于数据流形上，因此与欧几里得插值相比更真实。为此，我们引入了一个基于图形的算法，探索数据流形和插值沿网络测地线在潜在的空间，最大限度地提高密度的样本沿路径，同时最大限度地减少总能量。我们使用的3D螺旋数据显示，与传统的自动编码器不同，先验编码的几何基础的数据，并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集，以展示学习数据表示在离群值生成，潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation
University of Waterloo（滑铁卢大学）；ByteDance AI Lab（字节跳动人工智能实验室）
变分自编码器（VAE）在潜在空间上施加概率分布（通常为高斯分布），并且惩罚后验和先验之间的Kullback-Leibler（KL）发散。在NLP中，由于KL崩溃为零的问题，VAE非常难以训练。人们必须以精心设计的方式实现各种语法学，如KL权重退火和字丢弃，以成功地训练文本VAE。在本文中，我们建议使用Wasserstein自动编码器（WAE）的概率句子生成，编码器可以是随机的或确定性的。我们从理论上和经验表明，在原来的WAE，随机编码的高斯分布往往成为一个Dirac-delta函数，我们提出了一个变体的WAE，鼓励随机性的编码器。实验结果表明，WAE学习的潜在空间具有VAE的连续性和平滑性，同时获得更高的BLEU分数用于句子重建。
2019-04-12 cs.CL cs.LG stat.ML
Drug-Drug Interaction Prediction with Wasserstein Adversarial Autoencoder-based Knowledge Graph Embeddings
Fuzhou University（福州大学）；Brown University（布朗大学）
药物之间的相互作用可能引发非预期不良事件。获取更丰富、更全面的药物相互作用（DDI）信息是公共卫生和药物开发的关键任务之一。最近，几种知识图谱嵌入方法在DDI领域受到越来越多的关注，因为它们能够将药物和相互作用投影到低维特征空间中以用于预测链接和分类三联体。然而，现有的方法只适用于一个均匀的随机模式来构建负样本。因此，这些样本通常过于简单，无法训练有效的模型。在本文中，我们提出了一个新的知识图谱嵌入框架，通过引入基于Wasserstein距离和Gumbel-Softmax松弛的对抗性自编码器（AAE），用于药物相互作用任务。在我们的框架中，自动编码器被用来生成高质量的阴性样本，自动编码器的隐藏向量被认为是一个合理的候选药物。之后，神经网络学习药物的嵌入和基于正负三联体的相互作用。同时，为了解决传统生成模型在离散表示上的梯度消失问题，利用Gumbel-Softmax松弛和Wasserstein距离对嵌入模型进行稳定的训练。我们经验评估我们的方法上的两个任务，链接预测和DDI分类。实验结果表明，我们的框架可以获得显着的改善，并明显优于竞争对手的基线。
2020-10-16 cs.CY cs.LG stat.ML
Learning Autoencoders with Relational Regularization
Duke University（杜克大学）；Infinia ML Inc.（Infinia ML公司）
提出了一种新的算法框架，用于学习数据分布的自编码器。我们最小化模型和目标分布之间的差异，在可学习的潜在先验上使用\emph{relational regularization}。这种正则化惩罚了潜在先验与其相应的后验之间的融合Gromov-Wasserstein（FGW）距离，允许人们灵活地学习与生成模型相关的结构化先验分布。此外，它有助于多个自动编码器的联合训练，即使它们具有异构的架构和无与伦比的潜在空间。我们实现了两个可扩展的算法的框架，使其适用于概率和确定性的自动编码器。我们的关系正则化自动编码器（RAE）优于现有的方法，$e.g.$，变分自编码器，Wasserstein自动编码器，及其变种，生成图像。此外，我们针对自动编码器的关系协同训练策略在合成和现实世界的多视图学习任务中都取得了令人鼓舞的结果。代码在https://github.com/HongtengXu/上。
2020-06-26 cs.LG stat.ML
Gromov-Wasserstein Autoencoders
Hokkaido University（北海道大学）
基于变分自编码器（VAE）的生成模型通过合并元先验（被认为有利于下游任务的一般前提）来提供灵活的表示学习。然而，合并的元先验通常涉及自组织模型偏离原始似然架构，导致其训练中的不期望的变化。在本文中，我们提出了一种新的表示学习方法，Gromov-Wasserstein自动编码器（GWAE），它直接匹配的潜在和数据分布使用变分自动编码方案。GWAE模型不是基于可能性的目标，而是最小化可训练先验和给定数据分布之间的Gromov-Wasserstein（GW）度量。GW度量度量即使具有不同维度的分布之间的距离结构导向的差异，这提供了潜在空间和数据空间之间的直接度量。通过限制先验族，我们可以将元先验引入潜在空间而不改变它们的目标。与基于VAE的模型的实证比较表明，GWAE模型工作在两个突出的元先验，解纠缠和集群，其GW目标不变。
2023-02-24 cs.CV cs.LG
Symmetric Wasserstein Autoencoders
National Research Council Canada（加拿大国家研究委员会）
利用最优传输的框架，我们引入了一个新的生成自动编码器家族，具有可学习的先验知识，称为对称Wasserstein自动编码器（SWAE）。我们建议对称匹配的联合分布的观测数据和潜在的表示引起的编码器和解码器。由此产生的算法共同优化的数据和潜在空间的建模损失与数据空间中的损失，导致去噪效果。通过对数据和潜在表示的对称处理，该算法隐式地保持了数据在潜在空间中的局部结构。为了进一步提高潜在表示的质量，我们在目标中加入了重建损失，这对生成和重建都有很大的好处。我们的经验表明，优越的性能SWAE的国家的最先进的生成自动编码器的分类，重建和生成。
2021-06-24 cs.AI cs.CV cs.LG
Conditional Sampling via Wasserstein Autoencoders and Triangular Transport
Department of Aeronautics & Astronautics, University of Washington, Seattle（华盛顿大学西雅图分校航空与航天系）；Department of Applied Mathematics, University of Washington, Seattle（华盛顿大学西雅图分校应用数学系）；Department of Mathematics, University of Washington, Seattle（华盛顿大学西雅图分校数学系）
本文提出条件Wasserstein自编码器(CWAEs)，通过利用条件和条件变量中的低维结构进行条件模拟。核心思想是修改Wasserstein自编码器以使用三角形解码器并施加适当的潜在变量独立性假设。
2026-10-28 cs.LG math.OC
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题，也称为Kullback-Leibler（KL）项消失问题，其中后验很容易崩溃到先验，并且模型将忽略生成任务中的潜在代码。为了解决这个问题，我们引入了一个改进的Wasserstein变分自编码器（WAE）与黎曼规范化流（RNF）的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中，这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离，因此不强制后验匹配先验分布。实验结果表明，该模型避免了KL在一系列数据集上的消失，在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析，我们证明了我们的模型学习了尊重潜在空间几何的潜在分布，并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
S2WTM: Spherical Sliced-Wasserstein Autoencoder for Topic Modeling
Indian Association for the Cultivation of Science（印度科学培养协会）
本文提出S2WTM模型，通过单位超球面先验与球面切片-Wasserstein距离对齐后验分布，缓解VAE-NTM的后验坍缩问题，从而生成更连贯多样的主题并提升下游任务性能。
2025-07-16 cs.AI cs.CL cs.LG
Topic Modeling with Wasserstein Autoencoders
Amazon（亚马逊）；Amazon Web Services（亚马逊云科技）；Compass Inc（Compass公司）
我们在Wasserstein自编码器（WAE）框架中提出了一种新的神经主题模型。与现有的变分自编码器为基础的模型，我们直接执行狄利克雷先验的潜在文档主题向量。我们利用潜在空间的结构并应用合适的内核来最小化最大平均偏差（MMD）来执行分布匹配。我们发现MMD在匹配高维Dirichlet分布方面比生成对抗网络（GAN）有更好的表现。我们进一步发现，在训练过程中将随机性纳入编码器输出会导致更连贯的主题。为了衡量所产生的主题的多样性，我们提出了一个简单的主题唯一性度量。结合广泛使用的一致性度量NPMI，我们提供了一个更全面的主题质量评估。在几个真实数据集上的实验表明，我们的模型比现有的主题模型产生更好的主题。
2019-12-06 cs.AI cs.IR cs.LG
Stacked Wasserstein Autoencoder
University of Kansas（堪萨斯大学）
在复杂的流形，如自然图像，近似分布在概念上是有吸引力的。使用变分自编码器和生成对抗网络训练的深度潜变量模型现在是表示学习的关键技术。然而，这是很难统一这两个模型的精确潜变量推理和并行重建和采样，部分原因是潜变量下的正则化，以匹配一个简单的显式先验分布。这些方法容易过于简化，只能表征真实分布的少数模式。基于最近提出的Wasserstein自动编码器（WAE），采用新的正则化作为最佳传输。本文提出了一种堆叠式Wasserstein自编码器（SWAE）来学习深层潜变量模型。SWAE是一个分层模型，它在两个阶段放松最优运输约束。在第一阶段，SWAE灵活地学习表示分布，即，编码的先验;并且在第二阶段，在正则化下用潜变量模型来近似编码表示分布，以鼓励潜分布匹配显式先验。该模型允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。定量和定性的结果表明，优越的性能SWAE相比，国家的最先进的方法在忠实的重建和生成质量。
2019-10-04 cs.CV cs.LG
A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文从统计学习理论角度分析Wasserstein自编码器，证明在合适网络架构下其期望超额风险收敛速率仅依赖数据内在维度而非高维特征维度，为低维结构数据上的应用提供了理论保证。
2024-02-24 cs.LG math.ST stat.ML
Joint Wasserstein Autoencoders for Aligning Multimodal Embeddings
TU Darmstadt（达姆施塔特工业大学）
学习多模态（例如图像和文本）的联合嵌入的关键挑战之一是确保跨数据集推广的连贯的跨模态语义。我们建议通过联合高斯正则化的潜在表示来解决这个问题。基于Wasserstein自编码器（WAE）对每个域中的输入进行编码，我们将潜在嵌入强制为类似于两个域之间共享的高斯先验，确保图像和文本的编码语义表示的兼容连续性。语义对齐是通过匹配的图像-文本对的监督来实现的。为了展示我们的半监督表示的好处，我们将其应用于跨模态检索和短语本地化。由于潜在空间的语义连续性，我们不仅实现了最先进的准确性，而且在数据集之间具有更好的泛化能力。
2019-09-14 cs.CL cs.CV cs.LG
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Disentangled Recurrent Wasserstein Autoencoder
PCG, Tencent（腾讯PCG）；NEC Laboratories America（NEC美国实验室）；Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；Texas A&M University（德克萨斯A&M大学）
学习解纠缠表示导致可解释的模型，并促进具有风格转移的数据生成，这已经在无监督学习框架中对静态数据（例如图像）进行了广泛研究。然而，只有少数作品探索了无监督的解开顺序表示学习，由于生成顺序数据的挑战。在本文中，我们提出了经常性的Wasserstein自动编码器（R-WAE），一个新的框架生成建模的序列数据。R-WAE将输入序列的表示分解为静态和动态因素（即，时不变和时变部分）。我们的理论分析表明，R-WAE最小化模型分布和序列数据分布之间的Wasserstein距离的惩罚形式的上界，同时最大化输入数据和不同的解开的潜在因素之间的互信息，分别。这优于（循环的）VAE，其不显式地强制输入数据与解纠缠的潜在表示之间的互信息最大化。当序列数据中的动作数量作为弱监督信息时，R-WAE被扩展为学习动作的分类潜在表示以改善其解纠缠。在各种数据集上的实验表明，我们的模型在定量和定性的解纠缠和无条件视频生成方面优于其他具有相同设置的基线。
2021-01-19 cs.AI cs.LG
Wasserstein Autoencoders for Collaborative Filtering
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
推荐系统在文献中已经研究了很长时间。最近，用户的隐式反馈，如“点击”或“浏览”被认为是能够提高推荐性能。因此，已经进行了一些尝试来解决这个问题。其中，变分自编码器（VAE）方法已经取得了优越的性能。然而，编码的潜变量的分布重叠很多，这可能会限制其推荐能力。为了应对这一挑战，本文试图扩展Wasserstein自动编码器（WAE）的协同过滤。特别地，通过引入两个额外的损失项来重新设计自适应WAE的损失函数：（1）潜在变量的分布和假设的地面真值分布之间的互信息损失，以及（2）引入L1正则化损失以限制编码的潜在变量是稀疏的。设计了两种不同的代价函数来度量隐式反馈数据与其重新生成的数据之间的距离。实验评估三个广泛采用的数据集，即，ML-20M，Netflix和LASTFM。选择基准方法和最先进的方法（Mult-DAE、Mult-VAE、CDAE和Slim）进行性能比较。在评价标准Recall@1、Recall@5和NDCG@10方面，所提出的方法的性能优于所比较的方法，这证明了所提出的方法的有效性。
2019-04-06 cs.IR cs.LG
GAN pretraining for deep convolutional autoencoders applied to Software-based Fingerprint Presentation Attack Detection
University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）
随着越来越多地使用指纹进行认证，对确定指纹呈现攻击的可靠系统的需求也在增长。这项工作提出了一种新的方法，单类分类的基于软件的指纹呈现附着检测。所描述的方法利用Wasserstein GAN来将迁移学习应用于深度卷积自动编码器。通过这样做，自动编码器可以在LivDet2021 Dermatitis传感器数据集上进行预训练和微调，只有1122个真正的训练样本。在不使用任何表示攻击样本的情况下，该模型的平均分类错误率出错率为16.79%。实现用于预训练自动编码器权重的Wasserstein GAN还可以用于生成逼真的人工指纹补丁。对不同的自动编码器架构和超参数进行了广泛的测试，得出了粗略的架构指南以及可用于未来工作的多种实现。
2021-05-21 cs.LG
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Gaussian mixture models with Wasserstein distance
University College London（伦敦大学学院）；ASI Data Science（ASI数据科学）；Alan Turing Institute（艾伦·图灵研究所）
具有离散和连续潜变量的生成模型受到许多现实世界数据集结构的高度激励。然而，它们在训练中表现出微妙之处，通常表现在离散的潜在存在中。在本文中，我们证明了当使用Wasserstein自动编码器的最优传输框架时，这种模型更适合训练。我们发现我们的离散潜变量在训练时被模型充分利用，而无需对目标函数进行任何修改或进行显著的微调。我们的模型生成的样本与其他方法相当，而使用相对简单的神经网络，因为离散的潜在变量进行了大量的描述性负担。此外，离散潜伏期提供了对发电的显著控制。
2018-06-12 cs.LG stat.ML
Sinkhorn AutoEncoders
University of Amsterdam（阿姆斯特丹大学）；Deeptrace；Google Brain（谷歌大脑）；DeepMind（深度思考）；École Polytechnique（巴黎综合理工学院）；Sony CSL（索尼计算机科学实验室）
最优传输为学习生成式自动编码模型提供了最大似然的替代方案。我们表明，最小化生成器和真实数据分布之间的p-Wasserstein距离相当于编码器聚合后验和潜在空间中的先验之间的p-Wasserstein距离的无约束最小-最小优化，加上重建误差。我们还确定了其权衡超参数的作用作为发电机的容量：它的Lipschitz常数。此外，我们证明，优化编码器在任何类的通用逼近器，如确定性神经网络，是足以来任意接近最佳。因此，我们宣传这个框架，它适用于任何度量空间和先验，作为当前生成式自动编码目标的最佳点。然后，我们介绍了Sinkhorn自动编码器（SAE），它近似和最小化的p-Wasserstein距离在潜在的空间通过反向传播通过Sinkhorn算法。SAE直接作用于样本，即它将聚合后验建模为隐式分布，无需重新参数化梯度估计技巧。因此，SAE能够以最小的适应性与不同的度量空间和先验一起工作。我们展示了SAE的灵活性潜在的空间与不同的几何形状和先验，并与其他方法的基准数据集进行比较。
2019-07-16 cs.CV cs.LG stat.ML
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Gaussian AutoEncoder
Jagiellonian University（雅盖隆大学）
生成式自动编码器需要在潜在空间中选择概率分布，通常是多变量高斯分布。原始的变分自编码器（VAE）在编码器中使用随机性-导致有问题的失真，并且在不同输入的潜在空间中重叠。结果证明是不必要的：我们可以替代地使用具有附加正则化器的确定性编码器来确保潜在空间中的样本分布接近所需。原始方法（WAE）使用Wasserstein度量，需要与随机样本进行比较，并使用任意选择的核。后来CWAE通过平均高斯平滑样本在所有一维投影上的$L_2$距离，最终导出了一个非随机的解析公式。然而，这些任意选择的正则化子不会导致高斯分布。本文提出了正则化器直接优化经验分布函数与其所需CDF之间的一致性的方法，例如高斯分布的半径和距离，或坐标方式，以直接吸引AutoEncoder潜在空间中的此分布。我们还可以利用这种一般方法吸引不同的分布，例如，$[0,1]^D$超立方体或环面上的潜在空间均匀分布将允许数据压缩而无需熵编码，码字附近的增加的密度将优化所需的量化。
2019-01-14 cs.LG stat.ML
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology（香港科技大学）；Clova AI Research, NAVER（NAVER Clova AI研究）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）
变分自编码器~（VAE）在数据驱动的对话建模中显示出了希望。然而，大多数VAE会话模型将潜在变量上的近似后验分布与简单先验（诸如标准正态分布）相匹配，从而将所生成的响应限制为相对简单的（例如，单峰）范围。在本文中，我们提出了DialogWAE，一个专门为对话建模而设计的条件Wasserstein自动编码器~（WAE）。与在潜在变量上施加简单分布的VAE不同，DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说，我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络，并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明，DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Cramer-Wold AutoEncoder
我们提出了一种新的生成模型，Cramer-Wold自动编码器（CWAE）。遵循WAE，我们直接鼓励潜在空间的正常性。我们的论文还使用了最近的想法切片WAE（SWAE）模型，它使用一维投影作为一种方法来验证两个分布的接近。关键的新成分是在密度空间中引入了一个新的（Cramer-Wold）度量，它取代了SWAE中使用的Wasserstein度量。我们发现，高斯混合物之间的Cramer-Wold度量给出了一个简单的解析公式，这导致在去除必要的采样估计的成本函数在WAE和SWAE模型。因此，在大大简化优化过程的同时，CWAE产生的样本与其他SOTA模型的感知质量相匹配。
2019-07-02 cs.AI cs.LG stat.ML
Variance Constrained Autoencoding
Victoria University of Wellington（惠灵顿维多利亚大学）
最新的基于自动编码器的生成模型具有编码器-解码器结构，并学习具有可从中采样的预定义分布的潜在表示。以随机方式实现这些模型的编码器网络提供了一种自然和常见的方法来避免过拟合并执行平滑的解码器功能。然而，我们表明，对于随机编码器，同时试图强制执行分布约束和最小化输出失真导致生成和重建质量的降低。此外，在执行解纠缠时，试图强制执行潜在的分布约束是不合理的。因此，我们提出了方差约束自动编码器（VCAE），它只对潜在分布执行方差约束。我们的实验表明，VCAE提高了Wasserstein自动编码器和变分自编码器在MNIST和CelebA上的重建和生成质量。此外，我们表明，VCAE配备了一个总的相关性惩罚项执行等效于FactorVAE在学习解纠缠表示的3D-双曲，而更有原则的方法。
2020-05-08 cs.LG stat.ML
node2coords: Graph Representation Learning with Wasserstein Barycenters
Swiss Data Science Center (SDSC), EPFL/ETHZ（瑞士数据科学中心（SDSC），洛桑联邦理工学院/苏黎世联邦理工学院）；Signal Processing Laboratory (LTS4), EPFL（信号处理实验室（LTS4），洛桑联邦理工学院）
为了执行网络分析任务，需要在图结构中捕获最相关信息的表示。然而，现有的方法不学习可以以简单的方式解释并且对图结构的扰动具有鲁棒性的表示。在这项工作中，我们解决这两个限制，提出node2coords，一个表示学习算法的图形，同时学习低维空间和坐标的节点在该空间。跨越低维空间的模式揭示了图中最重要的结构信息。节点的坐标揭示了它们的局部结构与图结构模式的接近程度。为了通过考虑底层图来测量这种接近度，我们建议使用Wasserstein距离。我们介绍了一个自动编码器，采用线性层的编码器和一个新的Wasserstein重心层的解码器。捕捉节点的局部结构的节点连接描述符通过编码器来学习图结构模式的小集合。在解码器中，节点连接描述符被重构为图结构模式的Wasserstein重心。节点的连通性描述符的重心表示的最佳权重对应于该节点在低维空间中的坐标。实验结果表明，用node2coords学习的表示是可解释的，导致节点嵌入对图结构的扰动是稳定的，并且与最先进的节点分类方法相比，实现了竞争力或优越的结果。
2021-01-03 cs.LG stat.ML
Learning Graphon Autoencoders for Generative Graph Modeling
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Tencent AI Lab（腾讯人工智能实验室）
图子是一种非参数模型，它可以生成任意大小的图，并且可以很容易地从图中导出。基于此模型，我们提出了一个新的算法框架称为\textit{graphon autoencoder}，建立一个可解释和可扩展的图生成模型。该框架将观察到的图作为函数空间中的诱导图子，并通过聚合切布雪夫图子过滤器的编码器导出其潜在表示。线性图子分解模型作为解码器，利用潜在表示来重建诱导图子（以及相应的观察图）。我们开发了一个有效的学习算法来学习编码器和解码器，最小化模型和数据分布之间的Wasserstein距离。该算法以不同图子条件下的图分布的KL散度为基础距离，得到了一个奖励增强的极大似然估计。图子自动编码器提供了一种新的图形表示和生成方法，具有良好的通用性和可移植性。
2021-05-29 cs.LG cs.SI stat.ML
Towards Unsupervised Causal Representation Learning via Latent Additive Noise Model Causal Autoencoders
Nara Institute of Science and Technology（奈良科学技术大学）；Kyoto University（京都大学）；Ateneo de Manila University（马尼拉大学）
本文提出LANCA模型，通过加性噪声模型作为归纳偏置，实现无监督因果发现，优于现有方法在合成和真实环境中的表现。
2025-12-15 cs.LG stat.ML
Adversarially Regularized Autoencoders
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；Harvard University（哈佛大学）
使用变分自编码器或生成对抗网络训练的深层潜变量模型现在是连续结构表示学习的关键技术。然而，将类似的方法应用于离散结构，如文本序列或离散图像，已被证明更具挑战性。在这项工作中，我们提出了一种灵活的方法来训练离散结构的深层潜变量模型。我们的方法是基于最近提出的Wasserstein自动编码器（WAE），它将对抗性自动编码器（AAE）形式化为最优传输问题。我们首先扩展这个框架来建模离散序列，然后进一步探索不同的学习先验针对一个可控的表示。这种逆向正则化自动编码器（ARAE）允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。最后，我们表明，潜在的表示可以被训练来执行不对齐的文本风格转移，与现有的方法相比，在自动/人工评估方面都有改进。
2018-06-29 cs.CL cs.LG cs.NE
Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE
Salesforce AI Research（赛富时人工智能研究院）
Wasserstein自动编码器（WAE）表明，匹配两个分布相当于最小化一个简单的自动编码器（AE）的潜在空间匹配预先指定的先验分布的约束下的损失。这种潜在的空间分布匹配是WAE的核心组成部分，也是一项具有挑战性的任务。在本文中，我们建议使用对比学习框架，已被证明是有效的自我监督表示学习，作为一种手段来解决这个问题。我们这样做是利用这样一个事实，即对比学习目标优化潜在的空间分布是均匀的单位超球体，可以很容易地从采样。我们表明，使用对比学习框架来优化WAE损失实现更快的收敛速度和更稳定的优化相比，现有的流行算法WAE。这也反映在CelebA和CIFAR-10数据集上的FID评分以及CelebA-HQ数据集上的真实生成图像质量中。
2023-02-15 cs.CV cs.LG
APo-VAE: Text Generation in Hyperbolic Space
Duke University（杜克大学）；Microsoft Corporation（微软公司）
自然语言通常表现出固有的层次结构，这种结构与复杂的语法和语义根深蒂固。然而，大多数最先进的深度生成模型只在欧几里得向量空间中学习嵌入，而没有考虑语言的这种结构属性。在本文中，我们研究了文本生成在双曲潜在空间学习连续层次表示。提出了一种对抗性Poincare变分自编码器（APo-VAE），其中隐变量的先验和变分后验均通过包裹正态分布定义在Poincare球上.通过采用KL散度的原始-对偶公式，引入对抗学习过程来增强鲁棒模型训练。语言建模和对话响应生成任务中的大量实验表明，所提出的APo-VAE模型在欧几里得潜在空间中的VAE上具有获胜的有效性，这要归功于其在双曲空间中捕获潜在语言层次结构的卓越能力。
2021-07-14 cs.LG stat.ML
Wasserstein Wormhole: Scalable Optimal Transport Distance with Transformers
Sloan Kettering Institute（斯隆凯特琳研究所）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Tri-Institutional Training Program in Computational Biology and Medicine（三机构计算生物学与医学培训项目）；Weill Cornell Medicine（威尔康奈尔医学院）；Columbia University（哥伦比亚大学）；Yale University（耶鲁大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本文提出Wasserstein Wormhole，一种基于transformer的自编码器，将经验分布嵌入潜在空间使欧氏距离近似最优传输距离，实现线性时间计算，并支持重心估计等操作，提升了OT方法的可扩展性与可解释性。
2024-06-04 cs.CG cs.LG q-bio.GN
Bures-Wasserstein Importance-Weighted Evidence Lower Bound: Exposition and Applications
The University of Sydney Business School（悉尼大学商学院）；School of Mathematics, The University of Edinburgh（爱丁堡大学数学学院）
研究在布雷斯 - 瓦瑟斯坦空间中优化重要性加权证据下界（IW - ELBO），推导其瓦瑟斯坦梯度并投影到该空间以用于高斯变分推理，证明其梯度估计器稳定性良好，实验显示该框架比其他基线有更优近似性能。
2026-07-14 cs.LG stat.CO stat.ME
Adversarial Jamming for Autoencoder Distribution Matching
Imperial College London（伦敦帝国学院）
本文提出利用对抗性干扰作为辅助目标，实现自编码器潜在空间中高斯分布的匹配。
2025-12-02 cs.IT cs.LG math.IT
Generative Distribution Embeddings: Lifting autoencoders to the space of distributions for multiscale representation learning
GDE通过提升自编码器到分布空间，实现多尺度表示学习，应用于计算生物学多个关键问题，展现更强性能。
2026-02-20 cs.LG q-bio.QM stat.ML
Convergence Analysis of Flow Matching in Latent Space with Transformers
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了基于ODE的生成模型的理论收敛保证，特别是流匹配。我们使用预训练的自编码器网络将高维原始输入映射到低维潜在空间，其中Transformer网络被训练以预测从标准正态分布到目标潜在分布的变换的速度场。我们的误差分析表明，这种方法的有效性，通过估计ODE流产生的样本的分布收敛到目标分布的Wasserstein-2距离下温和和实用的假设。此外，我们证明了任意光滑函数可以有效地近似的Transformer网络与Lipschitz连续性，这可能是独立的利益。
2024-04-28 cs.LG stat.ML
Comparison of Representation Learning Techniques for Tracking in time resolved 3D Ultrasound
Institute for Robotics and Cognitive Systems, Universität zu Lübeck（吕贝克大学机器人与认知系统研究所）
3D超声（3DUS）由于其能够在不使用电离辐射的情况下实时提供体积图像，因此在放射治疗中的目标跟踪方面变得更加有趣。它可能用于跟踪而不使用基准点。为此，用于学习有意义的表示的方法将有助于识别表示空间（r-空间）中不同时间帧中的解剖结构。在这项研究中，3DUS补丁减少到一个128维的r空间使用传统的自动编码器，变分自动编码器和切片wasserstein自动编码器。在r空间中，基于肝脏图像数据集，研究并比较了分离不同超声斑块以及识别相似斑块的能力。提出了两种在r空间中评估跟踪能力的度量方法。它示出了具有不同的解剖结构的超声补丁可以区分和组相似的补丁可以在r-空间中聚类。结果表明，所调查的自编码器有不同程度的可用性在三维超声目标跟踪。
2022-01-10 cs.CV cs.LG eess.IV
Unscented Autoencoder
Robert Bosch GmbH（罗伯特·博世有限公司）；Research Center for Information Technology (FZI)（信息技术研究中心（FZI））
本文将无迹变换引入 VAE，用确定性 sigma 点表示逐样本后验，并以 Wasserstein 度量替代 KL 散度，提出训练方差更低、重建质量和 FID 更具竞争力的 Unscented Autoencoder。
2023-06-08 cs.AI cs.CV cs.LG
GGBall: Graph Generative Model on Poincaré Ball
Westlake University（西湖大学）；National University of Defense Technology（国防科技大学）
GGBall提出了一种基于双曲几何的图生成模型，结合了超几何向量量化自编码器和黎曼流匹配先验，有效提升了复杂拓扑层次结构的生成能力。
2026-02-19 cs.LG
$β$-Variational autoencoders and transformers for reduced-order modelling of fluid flows
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Spanish National Institute for Aerospace Technology (INTA)（西班牙国家航空航天技术研究院）；Illinois Institute of Technology（伊利诺伊理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出结合$β$-VAE与Transformer的方法，为混沌流体流动学习紧凑且近似正交的降阶模型，在二维粘性流动数据上验证，能更高效地捕捉动态，优于其他预测模型。
2023-11-15 cs.LG physics.flu-dyn
Topological Autoencoders++: Fast and Accurate Cycle-Aware Dimensionality Reduction
University Claude Bernard Lyon 1（克莱尔贝恩大学 Lyon 1分校）；CNRS（国家科学研究中心）；Sorbonne University（索邦大学）
该研究针对高维数据循环模式可视化需求，在TopoAE基础上提出TopoAE++方法，通过级联失真惩罚项实现1维持续同调的平面嵌入，搭配快速Rips滤过持续同计算法，兼顾拓扑准确性与视觉效果。
2025-10-03 cs.CG cs.GR cs.LG
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam（阿姆斯特丹大学）
针对残差量化在欧几里得空间忽视层次结构的问题，提出几何感知双曲残差量化，通过前向聚合与后向梯度路由提升稳定性，在层次任务中优于双曲基线，但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
Latent Style-based Quantum Wasserstein GAN for Drug Design
本文提出一种基于量子的GAN架构，通过噪声编码和梯度惩罚提升药物设计中的生成能力，利用变分自动编码器在潜在空间中表示分子结构，并在量子模拟器和真实量子硬件上验证性能。
2026-10-30 cs.AI cs.LG q-bio.BM
Geometric Priors for Scientific Generative Models in Inertial Confinement Fusion
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在本文中，我们开发了一个Wasserstein自动编码器（WAE）与超球先验多模数据在惯性约束聚变的应用。与典型的超球面生成模型不同，它需要从von Mis Fisher等分布中进行计算效率低下的采样，我们从正态分布中采样，然后在生成器之前进行投影层。最后，为了确定生成的样本的有效性，我们利用数据集中模态之间的已知关系作为科学约束，并研究所提出的模型的不同属性。
2021-11-24 cs.CV cs.LG
Sampling From Autoencoders' Latent Space via Quantization And Probability Mass Function Concepts
PSL University（巴黎文理研究大学）；ÉNS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）
本研究针对自编码器生成模型隐空间采样生成逼真图像的问题，提出结合概率质量函数与量化的训练后采样算法，优化了时间复杂度，在多数据集上的图像生成效果优于高斯混合模型采样方法。
2023-08-21 cs.AI cs.CV cs.LG
One Size does not Fit All: Heterogeneous Latent Space Alignment for Unsupervised Domain Adaptation
Duke University（杜克大学）；National Technical University of Athens（雅典国家技术大学）
提出ADualVUOT框架，结合双编码器VAE与连续归一化流增强潜在表达，利用非平衡最优传输（GGW距离）对齐域，并引入对抗增强提升鲁棒性，在医学图像分割中优于现有方法。
2026-06-23 cs.LG
Cloud Model Characteristic Function Auto-Encoder: Integrating Cloud Model Theory with MMD Regularization for Enhanced Generative Modeling
提出云模型特征函数自编码器（CMCFAE），将云模型先验与MMD正则化集成于WAE框架，提升重建质量、潜在空间结构和样本多样性，在多个数据集上优于现有模型。
2025-08-06 cs.AI cs.LG
