Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation
University of Waterloo（滑铁卢大学）；ByteDance AI Lab（字节跳动人工智能实验室）
变分自编码器（VAE）在潜在空间上施加概率分布（通常为高斯分布），并且惩罚后验和先验之间的Kullback-Leibler（KL）发散。在NLP中，由于KL崩溃为零的问题，VAE非常难以训练。人们必须以精心设计的方式实现各种语法学，如KL权重退火和字丢弃，以成功地训练文本VAE。在本文中，我们建议使用Wasserstein自动编码器（WAE）的概率句子生成，编码器可以是随机的或确定性的。我们从理论上和经验表明，在原来的WAE，随机编码的高斯分布往往成为一个Dirac-delta函数，我们提出了一个变体的WAE，鼓励随机性的编码器。实验结果表明，WAE学习的潜在空间具有VAE的连续性和平滑性，同时获得更高的BLEU分数用于句子重建。
2019-04-12 cs.CL cs.LG stat.ML
Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights
Indian Statistical Institute（印度统计研究所）
本文从统计学角度将 WAE 建模为神经网络诱导变换下的并发密度估计问题，给出实际误差的确定性上界，并分析对抗条件下随机误差传播及大样本性质与模型韧性。
2023-12-11 cs.LG stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park（马里兰大学帕克分校数学系与科学计算与数学建模中心）
虽然变分自编码器在若干任务中已经成功，但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器，其中一个额外的先验编码器网络学习数据流形的嵌入，保留了数据的拓扑和几何属性，从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的，测地线生成的样本位于数据流形上，因此与欧几里得插值相比更真实。为此，我们引入了一个基于图形的算法，探索数据流形和插值沿网络测地线在潜在的空间，最大限度地提高密度的样本沿路径，同时最大限度地减少总能量。我们使用的3D螺旋数据显示，与传统的自动编码器不同，先验编码的几何基础的数据，并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集，以展示学习数据表示在离群值生成，潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
递归变分自编码器已广泛用于语言建模和文本生成任务。这些模型通常面临一个困难的优化问题，也称为Kullback-Leibler（KL）项消失问题，其中后验很容易崩溃到先验，并且模型将忽略生成任务中的潜在代码。为了解决这个问题，我们引入了一个改进的Wasserstein变分自编码器（WAE）与黎曼规范化流（RNF）的文本建模。RNF将潜在变量转换到一个尊重输入空间几何特征的空间中，这使得后验不可能崩溃为无信息的先验。Wasserstein目标直接最小化边缘分布和先验分布之间的距离，因此不强制后验匹配先验分布。实验结果表明，该模型避免了KL在一系列数据集上的消失，在语言建模、似然近似和文本生成等任务中具有更好的性能。通过对潜在空间的一系列实验和分析，我们证明了我们的模型学习了尊重潜在空间几何的潜在分布，并且能够生成更加多样化的句子。
2019-04-22 cs.CL cs.LG
S2WTM: Spherical Sliced-Wasserstein Autoencoder for Topic Modeling
Indian Association for the Cultivation of Science（印度科学培养协会）
本文提出S2WTM模型，通过单位超球面先验与球面切片-Wasserstein距离对齐后验分布，缓解VAE-NTM的后验坍缩问题，从而生成更连贯多样的主题并提升下游任务性能。
2025-07-16 cs.AI cs.CL cs.LG
Inferential Wasserstein Generative Adversarial Networks
Purdue University（普渡大学）
生成式对抗网络（GANs）对许多问题和应用都有影响，但存在训练不稳定的问题。Wasserstein GAN（WGAN）利用瓦瑟斯坦距离来避免GANs的最小最大两人训练中的警告，但具有其他缺陷，例如模式崩溃和缺乏检测收敛的度量。我们介绍了一种新的推理Wasserstein GAN（iW GAN）模型，这是一个原则性的框架融合自动编码器和WGAN。iWGAN模型通过迭代原始对偶优化过程联合学习编码器网络和生成器网络。编码器网络将观察到的样本映射到潜在空间，生成器网络将样本从潜在空间映射到数据空间。我们建立的推广误差界的iWGAN理论证明其性能。在极大似然估计的框架下，我们进一步提供了一个严格的概率解释我们的模型。iWGAN具有明确的停止标准，与其他自动编码器GANs相比具有许多优势。实验结果表明，该方法大大减轻了模式崩溃的症状，加快了收敛速度，并能对每个样本进行质量检验。我们通过获得基准数据集的竞争力和稳定的性能来说明iWGAN的能力。
2021-09-13 cs.LG stat.ML
Topic Modeling with Wasserstein Autoencoders
Amazon（亚马逊）；Amazon Web Services（亚马逊云科技）；Compass Inc（Compass公司）
我们在Wasserstein自编码器（WAE）框架中提出了一种新的神经主题模型。与现有的变分自编码器为基础的模型，我们直接执行狄利克雷先验的潜在文档主题向量。我们利用潜在空间的结构并应用合适的内核来最小化最大平均偏差（MMD）来执行分布匹配。我们发现MMD在匹配高维Dirichlet分布方面比生成对抗网络（GAN）有更好的表现。我们进一步发现，在训练过程中将随机性纳入编码器输出会导致更连贯的主题。为了衡量所产生的主题的多样性，我们提出了一个简单的主题唯一性度量。结合广泛使用的一致性度量NPMI，我们提供了一个更全面的主题质量评估。在几个真实数据集上的实验表明，我们的模型比现有的主题模型产生更好的主题。
2019-12-06 cs.AI cs.IR cs.LG
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology（香港科技大学）；Clova AI Research, NAVER（NAVER Clova AI研究）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）
变分自编码器~（VAE）在数据驱动的对话建模中显示出了希望。然而，大多数VAE会话模型将潜在变量上的近似后验分布与简单先验（诸如标准正态分布）相匹配，从而将所生成的响应限制为相对简单的（例如，单峰）范围。在本文中，我们提出了DialogWAE，一个专门为对话建模而设计的条件Wasserstein自动编码器~（WAE）。与在潜在变量上施加简单分布的VAE不同，DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说，我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络，并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明，DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Stacked Wasserstein Autoencoder
University of Kansas（堪萨斯大学）
在复杂的流形，如自然图像，近似分布在概念上是有吸引力的。使用变分自编码器和生成对抗网络训练的深度潜变量模型现在是表示学习的关键技术。然而，这是很难统一这两个模型的精确潜变量推理和并行重建和采样，部分原因是潜变量下的正则化，以匹配一个简单的显式先验分布。这些方法容易过于简化，只能表征真实分布的少数模式。基于最近提出的Wasserstein自动编码器（WAE），采用新的正则化作为最佳传输。本文提出了一种堆叠式Wasserstein自编码器（SWAE）来学习深层潜变量模型。SWAE是一个分层模型，它在两个阶段放松最优运输约束。在第一阶段，SWAE灵活地学习表示分布，即，编码的先验;并且在第二阶段，在正则化下用潜变量模型来近似编码表示分布，以鼓励潜分布匹配显式先验。该模型允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。定量和定性的结果表明，优越的性能SWAE相比，国家的最先进的方法在忠实的重建和生成质量。
2019-10-04 cs.CV cs.LG
A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文从统计学习理论角度分析Wasserstein自编码器，证明在合适网络架构下其期望超额风险收敛速率仅依赖数据内在维度而非高维特征维度，为低维结构数据上的应用提供了理论保证。
2024-02-24 cs.LG math.ST stat.ML
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
DAG-WGAN: Causal Structure Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
组合搜索空间对从数据中学习因果关系提出了重大挑战。最近，该问题已被公式化为具有非循环约束的连续优化框架，允许探索深度生成模型，以更好地捕获数据样本分布，并支持发现忠实表示底层数据分布的有向非循环图（DAG）。然而，到目前为止，还没有研究通过生成模型研究使用Wasserstein距离进行因果结构学习。本文提出了一种新的模型DAG-WGAN，它结合了基于Wasserstein的对抗性损失，自动编码器架构以及非循环约束。DAG-WGAN同时学习因果结构，并通过利用Wasserstein距离度量的优势来提高其数据生成能力。与其他模型相比，该模型具有很好的可扩展性，可以处理连续和离散数据。我们的实验已经评估了DAG-WGAN对国家的最先进的，并证明了其良好的性能。
2022-04-01 cs.LG stat.ML
Wasserstein Autoencoders for Collaborative Filtering
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
推荐系统在文献中已经研究了很长时间。最近，用户的隐式反馈，如“点击”或“浏览”被认为是能够提高推荐性能。因此，已经进行了一些尝试来解决这个问题。其中，变分自编码器（VAE）方法已经取得了优越的性能。然而，编码的潜变量的分布重叠很多，这可能会限制其推荐能力。为了应对这一挑战，本文试图扩展Wasserstein自动编码器（WAE）的协同过滤。特别地，通过引入两个额外的损失项来重新设计自适应WAE的损失函数：（1）潜在变量的分布和假设的地面真值分布之间的互信息损失，以及（2）引入L1正则化损失以限制编码的潜在变量是稀疏的。设计了两种不同的代价函数来度量隐式反馈数据与其重新生成的数据之间的距离。实验评估三个广泛采用的数据集，即，ML-20M，Netflix和LASTFM。选择基准方法和最先进的方法（Mult-DAE、Mult-VAE、CDAE和Slim）进行性能比较。在评价标准Recall@1、Recall@5和NDCG@10方面，所提出的方法的性能优于所比较的方法，这证明了所提出的方法的有效性。
2019-04-06 cs.IR cs.LG
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Conditional Lagrangian Wasserstein Flow for Time Series Imputation
Soochow University（苏州大学）；Aalborg University（奥尔堡大学）
本文提出条件拉格朗日Wasserstein流（CLWF）用于时间序列插补，通过最小化动能学习速度，并利用去噪自编码器估计势函数梯度以降低采样方差，性能优于现有扩散模型方法。
2025-05-07 cs.LG stat.ML
Learning Autoencoders with Relational Regularization
Duke University（杜克大学）；Infinia ML Inc.（Infinia ML公司）
提出了一种新的算法框架，用于学习数据分布的自编码器。我们最小化模型和目标分布之间的差异，在可学习的潜在先验上使用\emph{relational regularization}。这种正则化惩罚了潜在先验与其相应的后验之间的融合Gromov-Wasserstein（FGW）距离，允许人们灵活地学习与生成模型相关的结构化先验分布。此外，它有助于多个自动编码器的联合训练，即使它们具有异构的架构和无与伦比的潜在空间。我们实现了两个可扩展的算法的框架，使其适用于概率和确定性的自动编码器。我们的关系正则化自动编码器（RAE）优于现有的方法，$e.g.$，变分自编码器，Wasserstein自动编码器，及其变种，生成图像。此外，我们针对自动编码器的关系协同训练策略在合成和现实世界的多视图学习任务中都取得了令人鼓舞的结果。代码在https://github.com/HongtengXu/上。
2020-06-26 cs.LG stat.ML
Primal-Dual Wasserstein GAN
我们介绍了原始-对偶Wasserstein GAN，一种新的学习算法，用于建立基于原始和对偶公式的最优运输（OT）问题的数据分布的潜变量模型。我们利用原始公式来学习灵活的推理机制，并在数据分布和生成模型之间创建最佳近似耦合。为了学习生成模型，我们使用的对偶制定和训练的解码器通过一个批评网络，这是正则化的近似耦合从原始的。与以前的方法，违反各种属性的最佳评论家，我们正规化的标准和方向的梯度的评论家功能。我们的模型在模式覆盖和潜在结构方面共享了自动编码模型的许多理想属性，同时避免了它们不理想的平均属性，例如在对真实图像建模时无法捕获清晰的视觉特征。我们比较我们的算法与其他几个生成建模技术，利用瓦瑟斯坦距离的弗雷歇初始距离（FID）和初始分数（IS）。
2018-05-24 cs.LG stat.ML
Vector Quantized Wasserstein Auto-Encoder
Monash University（莫纳什大学）；Vinai；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；University of Oxford（牛津大学）
本文从生成视角提出向量量化Wasserstein自编码器，通过最小化WS距离学习离散表示，连接聚类理论，在码本利用率和图像重建/生成上优于VQ-VAE变体。
2023-06-17 cs.LG
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dupage Medical Group（杜佩奇医疗集团）
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题，分析切片Wasserstein距离的投影复杂度，提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离，可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Causality Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde（思克莱德大学）
由于组合搜索空间，从数据中学习因果结构的传统方法面临重大挑战。最近，这个问题已经被制定成一个连续的优化框架与无环约束学习有向无环图（DAG）。这样的框架允许利用深度生成模型进行因果结构学习，以更好地捕捉数据样本分布和DAG之间的关系。然而，到目前为止，还没有研究在因果结构学习的背景下使用Wasserstein距离进行实验。我们的模型名为DAG-WGAN结合了Wasserstein的对抗损失与自动编码器架构中的非循环约束。它同时学习因果结构，同时提高其数据生成能力。我们比较了DAG-WGAN与其他不涉及Wasserstein度量的模型的性能，以确定其对因果结构学习的贡献。根据我们的实验，我们的模型在高基数数据下表现得更好。
2022-06-03 cs.AI cs.LG stat.ME
Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；Purdue University（普渡大学）
提出LWGAN框架融合Wasserstein自编码器与GAN，自适应学习数据流形内在维数，理论证明估计一致性并给出泛化误差上界，实验验证其能准确识别维数并生成高质量合成数据。
2024-09-27 cs.AI cs.LG stat.ME
GAN pretraining for deep convolutional autoencoders applied to Software-based Fingerprint Presentation Attack Detection
University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）
随着越来越多地使用指纹进行认证，对确定指纹呈现攻击的可靠系统的需求也在增长。这项工作提出了一种新的方法，单类分类的基于软件的指纹呈现附着检测。所描述的方法利用Wasserstein GAN来将迁移学习应用于深度卷积自动编码器。通过这样做，自动编码器可以在LivDet2021 Dermatitis传感器数据集上进行预训练和微调，只有1122个真正的训练样本。在不使用任何表示攻击样本的情况下，该模型的平均分类错误率出错率为16.79%。实现用于预训练自动编码器权重的Wasserstein GAN还可以用于生成逼真的人工指纹补丁。对不同的自动编码器架构和超参数进行了广泛的测试，得出了粗略的架构指南以及可用于未来工作的多种实现。
2021-05-21 cs.LG
Convergence Analysis for General Probability Flow ODEs of Diffusion Models in Wasserstein Distances
本文首次在精确分数估计和对数凹分布假设下，利用同步耦合分析技术，证明了一般概率流ODE采样器在2-Wasserstein距离下的非渐近收敛性及迭代复杂度。
2025-02-15 cs.LG math.PR stat.ML
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Towards Diverse Paraphrase Generation Using Multi-Class Wasserstein GAN
Tsinghua University（清华大学）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Xiamen University（厦门大学）；Department of Communication Engineering, Xiamen University（厦门大学通信工程系）；Key Laboratory of Digital Fujian on IoT Communication, Architecture and Security Technology, Xiamen University（厦门大学福建省数字物联网通信、架构与安全技术重点实验室）
释义生成是自然语言处理中一项重要而又具有挑战性的任务。在这项工作中，我们提出了一个深度生成模型来生成具有多样性的释义。我们的模型是基于一个编码器-解码器架构。一个额外的代码转换器被用来将一个句子转换成它的释义潜码。转码器以一个显式的模式嵌入变量为条件，通过对模式嵌入变量进行采样，可以生成不同的释义。我们使用Wasserstein GAN来对齐真实和生成的释义样本的分布。我们对Wasserstein GAN提出了一个多类扩展，它允许我们的生成模型从正样本和负样本中学习。在Wasserstein距离中，所生成的释义分布被强制向正实分布靠拢，并被推离负分布。我们在两个数据集中测试了我们的模型，包括自动度量和人工评估。结果表明，我们的模型可以生成流畅和可靠的释义样本，优于最先进的结果，同时也提供了合理的可变性和多样性。
2019-09-30 cs.CL cs.LG
Illegible Text to Readable Text: An Image-to-Image Transformation using Conditional Sliced Wasserstein Adversarial Networks
从古文字记录图像中自动识别文字是谱学领域的一个重要课题。然而，诸如变化的噪声条件、消失的文本和手写的变化等关键挑战使得识别任务变得困难。我们通过开发一个手写到机器打印的条件生成对抗网络（HW 2 MP-GAN）模型来解决这个问题，该模型将手写识别制定为文本图像到文本图像的翻译问题，其中给定的图像（通常是难以辨认的形式）被转换为另一个图像，接近其机器打印形式。该模型由三个部分组成，包括一个发生器，单词级和字符级的歧视。该模型在HW 2 MP-GAN中集成了切片Wasserstein距离（SWD）和U-Net架构，以实现更高质量的图像到图像转换。我们的实验表明，HW 2 MP-GAN在Frechet手写距离（FHD）方面优于最先进的基线cGAN模型近30，平均Levenshtein距离为0.6，IAM数据库上图像到图像翻译的单词准确率为39%。此外，与IAM数据库上的基线手写识别模型相比，HW 2 MP-GAN将手写识别单词的准确性提高了1.3%。
2019-10-11 cs.CV cs.LG eess.IV
On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
Conditional Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯撒斯劳滕大学）
本文提出条件 Sig-WGAN 框架，将路径签名与 WGAN 结合，用条件 Sig-W1 度量作为判别器，以显式表示避免昂贵训练，在时间序列生成任务上显著优于现有基准。
2023-10-11 cs.LG stat.ML
Generative Adversarial Source Separation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems（Adobe系统公司）
生成式声源分离方法，如非负矩阵分解（NMF）或自动编码器，依赖于输出概率密度的假设。生成对抗网络（GANs）可以学习数据分布，而无需对输出密度进行参数假设。我们在语音声源分离实验中表明，用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF，用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
实际环境深度的实时估计是各种自主系统任务（如定位、障碍物检测和位姿估计）的重要模块。在机器学习的最后十年中，深度学习方法在计算机视觉任务中的广泛部署产生了从简单RGB模态中进行逼真深度合成的成功方法。虽然这些模型大多依赖于成对的深度数据或视频序列和立体图像的可用性，但缺乏以无监督方式进行单图像深度合成的方法。因此，在这项研究中，生成神经网络领域的最新进展被用于完全无监督的单图像深度合成。更确切地说，实现了两个用于RGB到深度和深度到RGB传输的周期一致性生成器，并使用Wasserstein-1距离同时优化。为了确保所提出的方法的可扩展性，我们将模型应用到一个自我采集的工业数据集以及著名的纽约大学深度v2数据集，它允许与现有的方法进行比较。在这项研究中观察到的成功表明，在现实世界的应用中，不成对的单图像深度估计的潜力很大。
2022-07-08 cs.CV cs.LG eess.IV
Fisher Auto-Encoders
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
它已被证实，费舍尔分歧是更强大的模型的不确定性比传统的Kullback-Leibler（KL）分歧。这激发了一类新的鲁棒生成式自动编码器（AE）的设计，称为Fisher自动编码器。我们的方法是通过最小化观测数据和潜变量的难处理的联合分布与假设/建模的联合分布之间的Fisher发散来设计Fisher AE。与基于KL的变分AE（VAE）相比，Fisher AE可以精确地量化真实和基于模型的后验分布之间的距离。提供了MNIST和celebA数据集的定性和定量结果，证明了Fisher AE与其他AE（如VAE和Wasserstein AE）相比在稳健性方面的竞争性能。
2020-10-23 cs.LG stat.ML
Variance Constrained Autoencoding
Victoria University of Wellington（惠灵顿维多利亚大学）
最新的基于自动编码器的生成模型具有编码器-解码器结构，并学习具有可从中采样的预定义分布的潜在表示。以随机方式实现这些模型的编码器网络提供了一种自然和常见的方法来避免过拟合并执行平滑的解码器功能。然而，我们表明，对于随机编码器，同时试图强制执行分布约束和最小化输出失真导致生成和重建质量的降低。此外，在执行解纠缠时，试图强制执行潜在的分布约束是不合理的。因此，我们提出了方差约束自动编码器（VCAE），它只对潜在分布执行方差约束。我们的实验表明，VCAE提高了Wasserstein自动编码器和变分自编码器在MNIST和CelebA上的重建和生成质量。此外，我们表明，VCAE配备了一个总的相关性惩罚项执行等效于FactorVAE在学习解纠缠表示的3D-双曲，而更有原则的方法。
2020-05-08 cs.LG stat.ML
Deep Generative Models for Distribution-Preserving Lossy Compression
ETH Zürich（苏黎世联邦理工学院）；Google AI Perception（谷歌人工智能感知部）；Google Brain（谷歌大脑）
提出并研究了保分布有损压缩问题。受最近的进展，在极端的图像压缩，允许保持伪影的重建，即使在非常低的比特率，我们建议优化率失真权衡的约束下，重建的样本遵循分布的训练数据。由此产生的压缩系统恢复了频谱的两端：一方面，在零比特率下，它学习数据的生成模型，而在足够高的比特率下，它实现了完美的重建。此外，对于中间比特率，它在学习训练数据的生成模型和完美地重建训练样本之间平滑地插值。我们研究了几种方法来近似解决所提出的优化问题，包括一种新的组合Wasserstein GAN和Wasserstein自动编码器，并提出了一个广泛的理论和经验表征的压缩系统。
2018-10-28 cs.LG stat.ML
Learning disentangled representations with the Wasserstein Autoencoder
University College London（伦敦大学学院）；Faculty（学院）
无纠缠表征学习无疑受益于目标函数手术。然而，为了在重建保真度与解纠缠之间进行权衡，仍然需要微妙的调谐平衡行为。在以前成功惩罚潜变量中的总相关性的基础上，我们提出了TCWAE（总相关性Wasserstein自动编码器）。在WAE范式中工作自然能够分离总相关项，从而提供对学习表示的解纠缠控制，同时在选择重建成本时提供更大的灵活性。我们提出了两种使用不同KL估计的变体，并对具有已知生成因子的数据集进行了广泛的定量比较，显示了相对于最先进技术的竞争结果。我们进一步研究了在具有未知生成因素的更困难的数据集上的解纠缠和重建之间的权衡，其中WAE范式在重建方面的灵活性提高了重建。
2020-10-07 cs.CV cs.LG stat.ML
Modeling the Biological Pathology Continuum with HSIC-regularized Wasserstein Auto-encoders
University of Toronto（多伦多大学）；Vector Institute；University of Tokyo（东京大学）
基于图像的生物医学数据建模的一个关键挑战是识别区分正常和病理的趋势和特征。在许多情况下，成像对象的形态随着其偏离常态而呈现连续变化，因此可以训练生成模型来对该形态连续体进行建模。此外，给定与形态变化中的某些趋势相关的边信息，潜变量模型可以被正则化，使得其潜表示反映该边信息。在这项工作中，我们使用Wasserstein自动编码器来模拟这种病理连续体，并应用Hilbert-Schmitt独立准则（HSIC）来加强某些潜在特征与所提供的边信息之间的依赖性。我们的实验表明，该模型可以提供解开和可解释的潜在表示，也产生一个连续的形态变化，对应于边信息的变化。
2019-01-20 cs.CV cs.LG stat.ML
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于生成对抗网络（GAN）、对抗自动编码器及其变体的教程和调查论文。我们从解释对抗学习和普通GAN开始。然后，我们解释了条件GAN和DCGAN。介绍了模式崩溃问题，介绍了解决模式崩溃问题的各种方法，包括minibatch GAN、unrolled GAN、BourGAN、mixture GAN、D2 GAN和Wasserstein GAN。然后，解释了GAN中的最大似然估计以及f-GAN、对抗变分贝叶斯和贝叶斯GAN。然后，我们涵盖了GAN，InfoGAN，GRAN，LSGAN，基于能量的GAN，Cat GAN、MMD GAN、LapGAN、渐进式GAN、三重GAN、LAG、GMAN、Ada GAN、CoGAN、逆GAN、双GAN、ALI，SA GAN、Few-Shot GAN、SinGAN、以及GAN的插值和评价。然后，我们介绍了GAN的一些应用，如图像到图像的翻译（包括PatchGAN，CycleGAN，DeepFaceDrawing，模拟GAN，交互式GAN），文本到图像的翻译（包括StackGAN），以及混合图像特征（包括FineGAN和MixNMatch）。最后，我们解释了基于对抗学习的自动编码器，包括对抗自动编码器，PixelGAN和隐式自动编码器。
2021-11-26 cs.CV cs.LG eess.IV
Latent Style-based Quantum Wasserstein GAN for Drug Design
本文提出一种基于量子的GAN架构，通过噪声编码和梯度惩罚提升药物设计中的生成能力，利用变分自动编码器在潜在空间中表示分子结构，并在量子模拟器和真实量子硬件上验证性能。
2026-10-30 cs.AI cs.LG q-bio.BM
Drug-Drug Interaction Prediction with Wasserstein Adversarial Autoencoder-based Knowledge Graph Embeddings
Fuzhou University（福州大学）；Brown University（布朗大学）
药物之间的相互作用可能引发非预期不良事件。获取更丰富、更全面的药物相互作用（DDI）信息是公共卫生和药物开发的关键任务之一。最近，几种知识图谱嵌入方法在DDI领域受到越来越多的关注，因为它们能够将药物和相互作用投影到低维特征空间中以用于预测链接和分类三联体。然而，现有的方法只适用于一个均匀的随机模式来构建负样本。因此，这些样本通常过于简单，无法训练有效的模型。在本文中，我们提出了一个新的知识图谱嵌入框架，通过引入基于Wasserstein距离和Gumbel-Softmax松弛的对抗性自编码器（AAE），用于药物相互作用任务。在我们的框架中，自动编码器被用来生成高质量的阴性样本，自动编码器的隐藏向量被认为是一个合理的候选药物。之后，神经网络学习药物的嵌入和基于正负三联体的相互作用。同时，为了解决传统生成模型在离散表示上的梯度消失问题，利用Gumbel-Softmax松弛和Wasserstein距离对嵌入模型进行稳定的训练。我们经验评估我们的方法上的两个任务，链接预测和DDI分类。实验结果表明，我们的框架可以获得显着的改善，并明显优于竞争对手的基线。
2020-10-16 cs.CY cs.LG stat.ML
Wasserstein multivariate auto-regressive models for modeling distributional time series
Université Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LJK研究中心）；Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所、波尔多大学）
本文提出基于Wasserstein空间的多变量自回归模型，用于分析分布时间序列，通过稀疏结构学习时间依赖图。
2026-01-19 cs.LG stat.ML
Closed-form Expressions for Maximum Mean Discrepancy with Applications to Wasserstein Auto-Encoders
AT&T Labs（AT&T实验室）
最大平均离散度（MMD）在统计学和机器学习中有许多应用，最近作为Wasserstein自动编码器（WAE）中的惩罚。在本文中，我们计算封闭形式的表达式估计高斯核MMD之间的一个给定的分布和标准的多元正态分布。该公式揭示了与Henze-Zirkler检验的Baringhaus-Henze-Epps-Pulley（BHEP）统计量的联系，并提供了关于MMD的进一步见解。我们引入MMD的标准化版本作为WAE训练目标的惩罚，允许MMD值的更好的可解释性和不同超参数设置的更多兼容性。接下来，我们建议在代码层使用一种批处理规范化版本;这具有使内核宽度选择更容易，减少训练工作量和防止聚合代码分布中的离群值的好处。我们的合成和真实数据的实验表明，分析公式改善了常用的MMD的随机逼近，并证明代码规范化提供了显着的好处时，训练WAE。
2020-06-02 cs.LG stat.ME stat.ML
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.（HRL实验室有限责任公司）；Télécom ParisTech（巴黎高等电信学院）；University of Virginia（弗吉尼亚大学）
Wasserstein距离及其变化，例如，切片-Wasserstein（SW）距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质，同时计算起来要简单得多，因此被用于各种应用，包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后，我们利用广义Radon变换定义一个新的家庭的概率测度的距离，我们称之为广义切片Wasserstein（GSW）距离。我们还表明，类似的SW距离，GSW距离可以扩展到最大GSW（最大GSW）的距离。然后，我们提供的条件下，GSW和max-GSW距离确实是距离。最后，我们比较了几个生成建模任务，包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Visualization of AE's Training on Credit Card Transactions with Persistent Homology
自动编码器是用于降维的最流行的神经网络架构之一。它们由两部分组成：编码器，它将模型分布映射到一个潜在的流形和解码器，它将潜在的流形映射到一个重建的分布。然而，已知自动编码器在潜在流形中引起混乱分散的数据分布，从而导致不完整的重建分布。目前的距离测量无法检测到这个问题，因为它们不能识别数据流形的形状，即它们的拓扑特征，以及应该分析流形的尺度。我们提出了Wasserstein自动编码器的持久同源性，称为PHom-WAE，这是一种评估和测量生成模型数据分布的新方法。PHom-WAE最小化真实分布和重构分布之间的Wasserstein距离，并使用持续同调，研究不同空间分辨率下空间的拓扑特征，以比较潜在流形和重构分布的性质。我们的实验强调了Wasserstein自动编码器与变异自动编码器（另一种生成模型）相比具有持久同源性的潜力。实验是在真实世界的数据集上进行的，对于传统的距离测量和自动编码器来说特别具有挑战性。PHom-WAE是第一个为Wasserstein自动编码器提出拓扑距离度量（瓶颈距离）的方法，用于在信用卡交易的背景下比较高质量的解码样本。
2019-08-12 cs.LG stat.ML
Gaussian mixture models with Wasserstein distance
University College London（伦敦大学学院）；ASI Data Science（ASI数据科学）；Alan Turing Institute（艾伦·图灵研究所）
具有离散和连续潜变量的生成模型受到许多现实世界数据集结构的高度激励。然而，它们在训练中表现出微妙之处，通常表现在离散的潜在存在中。在本文中，我们证明了当使用Wasserstein自动编码器的最优传输框架时，这种模型更适合训练。我们发现我们的离散潜变量在训练时被模型充分利用，而无需对目标函数进行任何修改或进行显著的微调。我们的模型生成的样本与其他方法相当，而使用相对简单的神经网络，因为离散的潜在变量进行了大量的描述性负担。此外，离散潜伏期提供了对发电的显著控制。
2018-06-12 cs.LG stat.ML
Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance
Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；ENS Cachan（卡尚高等师范学校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；University of Oxford（牛津大学）
最小期望距离估计（MEDE）算法已被广泛用于具有难处理的似然函数的概率模型，并且由于其在隐式生成建模（例如Wasserstein生成对抗网络，Wasserstein自编码器）中的使用，它们已变得越来越流行。从计算最优传输中产生的切片-瓦瑟斯坦（SW）距离由于其简单性和计算优势已成为MEDE中的流行选择。虽然有几项研究已经报道了经验的成功与SW生成建模，这种估计的理论属性尚未建立。在这项研究中，我们调查的渐近性质的估计，通过最小化SW。我们首先表明，在SW收敛意味着弱收敛的概率测度在一般Wasserstein空间。然后，我们证明了通过最小化SW（以及SW的近似版本）获得的估计量是渐近一致的。最后我们证明了一个中心极限定理，它刻画了估计量的渐近分布，并建立了$\sqrt{n}$的收敛速度，其中$n$表示观测数据点的个数.我们说明了我们的理论在合成数据和神经网络上的有效性。
2020-03-24 cs.LG stat.ML
Sinkhorn AutoEncoders
University of Amsterdam（阿姆斯特丹大学）；Deeptrace；Google Brain（谷歌大脑）；DeepMind（深度思考）；École Polytechnique（巴黎综合理工学院）；Sony CSL（索尼计算机科学实验室）
最优传输为学习生成式自动编码模型提供了最大似然的替代方案。我们表明，最小化生成器和真实数据分布之间的p-Wasserstein距离相当于编码器聚合后验和潜在空间中的先验之间的p-Wasserstein距离的无约束最小-最小优化，加上重建误差。我们还确定了其权衡超参数的作用作为发电机的容量：它的Lipschitz常数。此外，我们证明，优化编码器在任何类的通用逼近器，如确定性神经网络，是足以来任意接近最佳。因此，我们宣传这个框架，它适用于任何度量空间和先验，作为当前生成式自动编码目标的最佳点。然后，我们介绍了Sinkhorn自动编码器（SAE），它近似和最小化的p-Wasserstein距离在潜在的空间通过反向传播通过Sinkhorn算法。SAE直接作用于样本，即它将聚合后验建模为隐式分布，无需重新参数化梯度估计技巧。因此，SAE能够以最小的适应性与不同的度量空间和先验一起工作。我们展示了SAE的灵活性潜在的空间与不同的几何形状和先验，并与其他方法的基准数据集进行比较。
2019-07-16 cs.CV cs.LG stat.ML
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度，构建适定的连续时间生成流，以稳健学习低维流形上的分布，并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Wasserstein Dictionary Learning: Optimal Transport-based unsupervised non-linear dictionary learning
本文提出了一种新的概率单纯形中直方图的非线性字典学习方法。该方法利用了最优传输理论，在这个意义上，我们的目标是使用所谓的位移插值（又名）重建直方图。Wasserstein重心）;这些原子本身是概率单形中的合成直方图。我们的方法同时估计这样的原子，并且对于每个数据点，可以最佳地将其重建为这样的原子的最佳运输重心的权重向量。我们的方法在计算上是易于处理的，这要归功于在通常的最优运输问题中添加了熵正则化，从而产生了一种高效、并行且易于区分的近似方案。原子和权重都是使用基于梯度的下降方法学习的。通过自动微分的广义Sinkhorn迭代，熵平滑产生的重心。由于其配方依赖于Wasserstein重心，而不是通常的矩阵产品之间的字典和代码，我们的方法允许原子和输入数据的重建之间的非线性关系。我们说明了它的应用程序在几个不同的图像处理设置。
2018-03-15 cs.GR math.OC stat.ML
Adversarial Networks and Autoencoders: The Primal-Dual Relationship and Generalization Bounds
Australian National University（澳大利亚国立大学）；Data61；University of Sydney（悉尼大学）
自从引入生成对抗网络（GANs）和变分自编码器（VAE）以来，关于生成建模的文献已经出现了压倒性的复苏。GANs令人印象深刻但难以捉摸的经验性能导致了许多GAN-VAE混合动力的兴起，希望GAN级别的性能和VAE的额外好处，例如用于特征减少的编码器，这是GANs所不提供的。最近，Wasserstein自动编码器（WAE）被提出，实现了与GANs相似的性能，但目前还不清楚两者是否有本质上的不同，或者可以进一步改进为一个统一的模型。在这项工作中，我们研究了$f$ -GAN和WAE模型，并取得了两个主要发现。首先，我们发现$f$ -GAN和WAE目标参与了一个原始-对偶关系，并在一些假设下是等价的，这使我们能够解释WAE的成功。其次，等价结果使我们能够，第一次，证明泛化界的自动编码器模型，这是一个相关的问题，当谈到生成模型的理论分析。此外，我们表明，WAE目标是相关的其他统计量，如$f$的分歧，特别是上界的瓦瑟斯坦距离，然后让我们利用现有的高效（正则化）的最佳运输求解器。因此，我们的研究结果提出了GANs和Autoencoder模型之间的第一个原始-对偶关系，评论了泛化能力，并朝着统一这些模型迈出了一步。
2019-04-26 cs.LG stat.ML
From optimal transport to generative modeling: the VEGAN cookbook
我们研究无监督生成建模的最佳运输（OT）问题之间的真实（但未知）的数据分布$P_X$和潜变量模型分布$P_G$。我们表明，OT问题可以等效地写在概率编码器，这是约束匹配后验和先验分布的潜在空间。当放松时，该约束优化问题导致惩罚最优运输（POT）目标，其可以通过从$P_X$和$P_G$采样使用随机梯度下降来有效地最小化。我们表明，2-瓦瑟斯坦距离的POT与对抗性自动编码器（AAE）中所采用的目标一致（Makhzani等人，2016），为作者已知的AAE提供了第一个理论依据。我们还将POT与其他流行技术进行了比较，如变分自动编码器（VAE）（Kingma和Welling，2014）。我们的理论结果包括（a）更好地理解VAE生成的图像的常见模糊性，以及（b）在1-瓦瑟斯坦距离的Wasserstein GAN（Arjovsky和Bottou，2017）和POT之间建立二元性。
2017-05-22 stat.ML
Sliced Wasserstein Generative Models
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在生成式建模中，Wasserstein距离（WD）已成为衡量生成数据分布与真实数据分布之间差异的有用度量。不幸的是，它是具有挑战性的近似WD的高维分布。相比之下，切片Wasserstein距离（SWD）将高维分布分解为多个一维边缘分布，因此更容易近似。在本文中，我们介绍了新的近似的原始和双重SWD。与传统的SWD近似方法不同，我们不使用大量的随机投影，而是提出以端到端的深度学习方式用少量的参数化正交投影来近似SWD。作为我们的SWD近似的具体应用，我们设计了两种类型的可微SWD块来装备现代生成框架-自动编码器（AE）和生成对抗网络（GAN）。在实验中，我们不仅展示了所提出的生成模型在标准图像合成基准上的优越性，而且还展示了以无监督方式生成具有挑战性的高分辨率图像和视频的最新性能。
2019-04-15 cs.CV stat.ML
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling
MIT（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们研究了生成建模方法的收敛性，该方法首先使用去噪自动编码器（DAE）或去噪分数匹配（DSM）估计分布的得分函数，然后采用Langevin扩散进行采样。我们表明，DAE和DSM提供高斯平滑人口密度的分数的估计，使我们能够应用经验过程的机器。我们克服了只依赖于$L^2$边界的分数估计误差的挑战，并提供有限样本界之间的瓦瑟斯坦距离的法律的总体分布和法律的抽样方案。然后，我们将我们的结果应用于arXiv：1907.05600的同伦方法，并为其经验成功提供理论依据。
2022-10-11 cs.LG math.PR stat.ML
Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders
University of Maryland College Park（马里兰大学帕克分校）；IBM Research（IBM研究院）
在所有机器学习应用中，检测出分布外（OOD）样本至关重要。深度生成建模已经成为一种主要的范式，可以对没有标签的复杂数据分布进行建模。然而，先前的工作已经表明，与训练它们的数据分布相比，生成模型倾向于为OOD样本分配更高的可能性。首先，我们提出了对抗性镜像自动编码器（AMA），这是对抗性自动编码器的一个变体，它在镜像中使用镜像Wasserstein损失来执行更好的语义级重建。我们还提出了一个潜在的空间正则化学习一个紧凑的流形分布样本。AMA的使用产生更好的特征表示，提高异常检测性能。其次，我们提出了一种替代措施的异常得分，以取代重建为基础的度量，这是传统上使用的生成模型为基础的异常检测方法。我们的方法优于当前国家的最先进的方法异常检测几个OOD检测基准。
2021-01-03 cs.LG stat.ML
