Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds
Heidelberg University（海德堡大学）
本文提出一种基于因子分解离散测度子流形上连续归一化流的离散分布生成模型，通过嵌入元单纯形与数据驱动平均逼近非因子分解分布，并利用测地线流匹配实现高效训练，避免了传统离散化问题。
2024-02-12 cs.LG stat.ML
Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold
Song Liu School of Mathematics University of Bristol United Kingdom（索恩·刘 布里斯托大学数学学院）；Leyang Wang Department of Computer Science University College London United Kingdom（雷杨·王 伦敦大学学院计算机科学系）；Yakun Wang School of Mathematics University of Bristol United Kingdom（亚坤·王 布里斯托大学数学学院）
本研究将时变生成模型的演化投影到指数族流形上，采用自然梯度下降训练，提出无需MCMC的KL散度自然梯度近似方法及带闭式更新的粒子版本算法，经实验验证有效并开源了代码。
2025-06-13 cs.LG stat.ML
Encoder-Powered Generative Adversarial Networks
Seoul National University（首尔国立大学）
我们提出了一个编码器驱动的生成对抗网络（EncGAN），它能够学习数据的多流形结构和抽象特征。与传统的基于解码器的GANs不同，EncGAN使用编码器对流形结构进行建模，并反转编码器以生成数据。这种独特的方案使所提出的模型能够从平滑结构建模中排除离散特征，并在不受断开阻碍的情况下学习多流形数据。此外，由于EncGAN需要单个潜在空间来承载所有流形的信息，因此它构建了潜在空间中流形之间共享的抽象特征。为了有效的计算，我们使用一个简单的正则化器来制定EncGAN，并在数学上证明了它的有效性。我们还通过实验证明，EncGAN成功地学习了MNIST，3D-chair和UT-Zap 50 k数据集的多流形结构和抽象特征。我们的分析表明，即使源数据偏离训练分布，学习的抽象特征也会被解开，并进行良好的风格转换。
2019-06-03 cs.LG stat.ML
Geometry-Aware Generative Autoencoders for Warped Riemannian Metric Learning and Generative Modeling on Data Manifolds
Yale University（耶鲁大学）；New York University（纽约大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出几何感知生成自编码器GAGA，通过结合流形学习与生成建模，学习扭曲黎曼度量以刻画数据流形几何，实现均匀采样、测地线生成和群体插值，在单细胞轨迹推断上比现有最优方法提升30%。
2025-04-07 cs.LG math.DG stat.ML
Manifold-Aligned Generative Transport
School of Statistics, University of Minnesota（统计学系，明尼苏达大学）
MAGT通过流形对齐生成传输方法，在单次前向传递中实现高效生成，提升生成样本的保真度和流形集中度，同时比扩散模型更快。
2026-09-10 cs.LG stat.ML
On the Need for Topology-Aware Generative Models for Manifold-Based Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；SRI International（斯坦福国际研究院）；XaiPient（赛派恩特）
机器学习（ML）算法或模型，特别是深度神经网络（DNN），在几个领域显示出了巨大的前景。然而，研究人员最近证明，ML算法，特别是DNN，容易受到对抗性样本（导致错误分类的轻微扰动样本）的影响。对抗性示例的存在阻碍了ML算法在安全关键领域（如安全）的部署。在文献中有几种对抗性例子的辩护。其中一类重要的防御是基于流形的防御，其中样本在分类之前被“拉回”到数据流形中。这些防御依赖于数据位于比输入空间更低维度的流形中的假设。这些防御使用生成模型来近似输入分布。在本文中，我们调查了以下问题：在流形为基础的防御中使用的生成模型需要拓扑感知？我们认为答案是肯定的，我们提供了理论和经验证据来支持我们的主张。
2020-02-17 cs.CR cs.LG stat.ML
Discriminative Estimation of Total Variation Distance: A Fidelity Auditor for Generative Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种判别式估计总变差距离的方法，通过贝叶斯风险与TV距离的关系实现生成数据保真度审计，并证明高斯分布分离度影响估计精度，实验验证了有效性。
2024-05-24 cs.LG stat.ML
On the estimation of the Wasserstein distance in generative models
Graz University of Technology（格拉茨工业大学）；Austrian Institute of Technology（奥地利技术研究所）
生成对抗网络（GANs）已被用于对基于样本的数据集的潜在概率分布进行建模。GANs因训练困难和对任意超参数的依赖而闻名。GAN文献中的一个最近的改进是使用Wasserstein距离作为损失函数，从而导致Wasserstein生成对抗网络（WGAN）。以此为基础，我们展示了各种方法，其中Wasserstein距离估计生成建模的任务。此外，在训练这样的模型的秘密显示和总结在这项工作的最后。在适用的情况下，我们将当前的工作扩展到不同的算法，不同的成本函数和不同的正则化方案，以改进生成模型。
2019-10-02 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Manifold Percolation: from generative model to Reinforce learning
Department of Statistics University of Warwick（统计系 华威大学）
本文提出通过连续渗透分析高维数据流形，将拓扑相变与生成模型结合，通过可微损失函数提升生成和决策任务的稳定性与保真度。
2025-12-03 cs.LG stat.ML
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University（雪城大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）
尽管人们对生成对抗网络（GANs）的兴趣越来越大，但从理论和实践的角度来看，训练GANs仍然是一个具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的方法来利用独特的几何形状的真实数据，特别是流形信息。更具体地说，我们设计了一种方法来正则化GAN训练，通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外，我们从理论上证明，在任何类别的GANs（包括DCGAN和Wasserstein GAN）中添加此正则化项会导致在泛化，平衡存在和稳定性方面的性能改善。初步实验表明，提出的流形正则化有助于避免模式坍塌，并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Score-based generative models learn manifold-like structures with constrained mixing
DeepMind
该研究通过线性近似和局部特征子空间分析，发现基于分数的生成模型在流形内使用非保守场混合样本，同时保持流形外法向去噪，从而灵活维持数据分布的流形类结构。
2023-11-16 cs.CV cs.LG stat.ML
A likelihood approach to nonparametric estimation of a singular distribution using deep generative models
Pohang University of Science and Technology（浦项科技大学）；Sungshin Women’s University（诚信女子大学）；Seoul National University（首尔国立大学）；University of Notre Dame（圣母大学）
我们研究了使用深度生成模型的奇异分布的非参数估计的似然方法的统计特性。更具体地说，深度生成模型用于对被假设为集中在一些低维结构周围的高维数据进行建模。估计这种低维结构（如低维流形）上支持的分布是具有挑战性的，因为它相对于环境空间中的勒贝格测度具有奇异性。在所考虑的模型中，由于奇异性，通常的似然方法可能无法一致地估计目标分布。我们证明了一个新的和有效的解决方案存在扰动的数据与实例噪声，这导致一致的估计的基础分布与理想的收敛速度。我们还描述了可以通过深度生成模型有效估计的分布类。这个类是足够普遍的，以包含各种结构化分布，如产品分布，经典光滑分布和分布上的低维流形支持。我们的分析提供了一些见解，如何深入生成模型可以避免非参数分布估计的维数灾难。我们进行了全面的仿真研究和实际数据分析，经验证明，所提出的数据扰动技术显着提高估计性能。
2023-03-28 cs.LG stat.ML
Riemannian Score-Based Generative Modelling
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；University of Oxford（牛津大学）
基于得分的生成模型（SGM）是一类功能强大的生成模型，具有显著的经验性能。基于分数的生成建模（SGM）包括一个“噪声”阶段，其中扩散被用来逐渐添加高斯噪声到数据中，以及一个生成模型，它需要一个“去噪”过程，通过近似扩散的时间反演来定义。现有的SGM假设数据支持在欧几里得空间上，即具有平坦几何形状的流形。在许多领域，如机器人，地球科学或蛋白质建模，数据往往是自然描述的分布生活在黎曼流形和目前的SGM技术是不合适的。我们在这里介绍黎曼基于得分的生成模型（RSGMs），一类生成模型扩展SGMs到黎曼流形。我们展示了我们的方法在各种流形上，特别是地球和气候科学球形数据。
2022-11-22 cs.LG math.PR stat.ML
Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds
School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）
该研究提出ILDM框架，将概率降维与未知流形几何感知扩散结合，通过混合扩散与近似去噪得分匹配方法，在三类数据集上实现生成质量提升，降低了FID和LPIPS分数。
2026-08-06 cs.LG stat.ML
PHom-GeM: Persistent Homology for Generative Models
University of Luxembourg（卢森堡大学）；BCEE
生成式神经网络模型，包括生成对抗网络（GAN）和自动编码器（AE），是用于生成对抗数据的最流行的神经网络模型之一。GAN模型由产生合成数据的生成器和区分生成器的输出和真实数据的鉴别器组成。AE由一个编码器和一个解码器组成，编码器将模型分布映射到一个隐流形上，解码器将隐流形映射到一个重建的分布上。然而，生成模型在训练过程中会引起混乱分散的重建分布，因此会产生不完整的对抗分布。目前的距离测量无法解决这个问题，因为它们不能确认数据流形的形状，即其拓扑特征，以及应该分析流形的尺度。我们提出了生成模型的持久同源性，PHom-GeM，一种新的方法来评估和测量生成模型的分布。PHom-GeM最小化真实分布和重建分布之间的目标函数，并使用持续同源性，研究不同空间分辨率下空间的拓扑特征，以比较真实分布和生成分布的性质。我们的实验强调了与Wasserstein AE和变异AE相比，Wasserstein GAN具有持久同源性的潜力。实验是在一个真实世界的数据集上进行的，对于传统的距离测量和生成神经网络模型来说，这是一个特别具有挑战性的问题。PHom-GeM是第一个提出拓扑距离度量（瓶颈距离）的方法，用于在信用卡交易的背景下比较对抗样本的生成模型。
2019-05-23 cs.LG stat.ML
Analyzing Generative Models by Manifold Entropic Metrics
Heidelberg University（海德堡大学）
本文提出一组基于独立机制原理的信息论评估指标，用于客观量化生成模型表征的解耦程度，并在EMNIST上比较归一化流与β-VAE，揭示了不同架构和训练过程收敛到解耦表征的归纳偏置排序。
2025-04-07 cs.LG stat.ML
Disconnected Manifold Learning for Generative Adversarial Networks
Rutgers University（罗格斯大学）；Verisk Analytics（Verisk分析公司）
自然图像可能位于不相交流形的并集上，而不是一个全局连接的流形上，这可能会给常见的生成对抗网络（GANs）的训练带来一些困难。在这项工作中，我们首先证明了单生成器GANs无法正确地对不连通流形上支持的分布进行建模，并研究了样本质量、模式丢弃和局部收敛如何受到影响。接下来，我们将展示如何使用一组生成器来解决这个问题，为这种多生成器GANs的成功提供新的见解。最后，我们解释了所造成的严重问题，考虑一个固定的先验以上的发电机的集合，并提出了一种新的方法来学习的先验和推断所需的发电机数量没有任何监督。我们提出的修改可以应用于任何其他GAN模型之上，以实现对不连通流形上支持的分布的学习。我们进行了几个实验来说明GANs的上述缺点，其在实践中的后果，以及我们提出的修改在缓解这些问题方面的有效性。
2019-01-10 cs.CV cs.LG stat.ML
Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
Layer 6 AI
基于可能性或显式的深度生成模型使用神经网络来构建灵活的高维密度。这个公式直接与流形假设相矛盾，流形假设认为观测数据位于嵌入高维环境空间的低维流形上。在本文中，我们研究了在这种维度不匹配的情况下，最大似然训练的病理。我们正式证明，退化的最优实现，其中流形本身的学习，但不是它的分布，我们称之为流形过拟合的现象。我们提出了一类两步的程序，包括一个降维步骤，其次是最大似然密度估计，并证明他们恢复的数据生成分布在非参数制度，从而避免歧管过拟合。我们还表明，这些程序使密度估计的流形上学习的隐式模型，如生成对抗网络，从而解决了这些模型的一个主要缺点。最近提出的几种方法是我们的两步程序的实例;因此，我们统一，扩展，并在理论上证明了一大类模型。
2022-11-28 cs.AI cs.LG stat.ME
Joint Manifold Learning and Density Estimation Using Normalizing Flows
University of Tehran（德黑兰大学）
基于流形假设，真实世界的数据通常位于低维流形上，而作为基于可能性的生成模型的归一化流由于其结构约束而无法找到该流形。因此，出现了一个有趣的问题：$\textit{"Can we find sub-manifold(s) of data in normalizing flows and estimate the density of the data on the sub-manifold(s)?"}$。在本文中，我们介绍了两种方法，即每像素惩罚对数似然和分层训练，回答上述问题。我们提出了一种单步方法，用于联合流形学习和密度估计，通过将流归一化为流形和非流形部分而获得的变换空间进行分离。这是通过用于学习数据的子流形的每像素惩罚似然函数完成的。规范化流假设转换后的数据是高斯化的，但这种强加的假设不一定是真的，特别是在高维中。为了解决这个问题，采用分层训练方法来改善子流形上的密度估计。结果验证了所提出的方法的优越性，同时流形学习和密度估计使用归一化流生成的图像质量和似然性。
2022-06-07 cs.LG stat.ML
Universality Theorems for Generative Models
尽管生成模型在实践中非常成功，但这种现象背后的理论才刚刚开始赶上实践。在这项工作中，我们解决的问题的普遍性生成模型：这是真的，神经网络可以近似任何数据流形任意？我们提供了一个积极的回答这个问题，并表明，在温和的假设下的激活函数，人们总是可以找到一个前馈神经网络的潜在空间映射到一组位于指定的Hausdorff距离所需的数据流形。我们还证明了类似的定理的情况下，多类生成模型和循环生成模型，训练映射样本从一个流形到另一个，反之亦然。
2020-12-13 cs.AI cs.LG stat.ML
Manifold-valued Image Generation with Wasserstein Generative Adversarial Nets
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；VISICS KU Leuven（比利时鲁汶大学VISICS）
自然图像的生成式建模是机器学习最基本的问题之一。然而，很少有现代生成模型，包括Wasserstein生成对抗网（WGAN），在现实世界应用中经常遇到的流形值图像上进行研究。为了填补这一空白，本文首先阐述了流形值图像的生成问题，并利用三个典型的例子：色调-饱和度-值（HSV）彩色图像生成，色度-亮度（CB）彩色图像生成和扩散张量（DT）图像生成。对于所提出的生成建模问题，我们引入了一个最优传输定理，推导出完整流形上数据分布的新Wasserstein距离，使我们能够在WGAN框架下实现一个易于处理的目标。此外，我们推荐了三个基准数据集，分别是CIFAR-10 HSV/CB彩色图像，ImageNet HSV/CB彩色图像，UCL DT图像数据集。在这三个数据集上，我们通过实验证明了所提出的流形感知WGAN模型可以生成比其竞争对手更合理的流形值图像。
2019-01-03 cs.CV stat.ML
Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
National University of Singapore（国立新加坡大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）；Agency for Science, Technology and Research (A ⋆ \star STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）
本文研究了在光滑流形上基于分数布朗运动的生成模型的内在Wasserstein速率，证明了在满足一定条件的流形上，变差保持的SGM估计器能达到特定的样本指数，且分析了分数近似在不同噪声 regime 下的表现。
2026-05-15 cs.LG stat.ML
Evaluating the Disentanglement of Deep Generative Models through Manifold Topology
Stanford University（斯坦福大学）
学习解纠缠表示被认为是提高生成模型的泛化性、鲁棒性和可解释性的基本任务。然而，测量解纠缠一直具有挑战性和不一致性，通常依赖于特定的外部模型或特定于特定的数据集。为了解决这个问题，我们提出了一种方法来量化解纠缠，只使用生成模型，通过测量学习表示中的条件子流形的拓扑相似性。这种方法展示了无监督和监督的变体。为了说明我们方法的有效性和适用性，我们在多个数据集上对几个最先进的模型进行了经验评估。我们发现，我们的方法排名模型类似于现有的方法。我们在https://github.com/stanfordmlgroup/disentanglement上公开我们的代码。
2021-03-17 cs.CV cs.LG stat.ML
Deep Directed Generative Models with Energy-Based Probability Estimation
Université de Montréal（蒙特利尔大学）
训练基于能量的概率模型面临着显然难以处理的和，其蒙特卡罗估计需要从训练的内环中的估计概率分布中采样。这可以通过马尔可夫链蒙特卡罗方法近似地实现，但是可能仍然面临一个巨大的障碍，即难以在具有急剧集中的概率的模式之间混合。鉴于MCMC过程通常是基于数学考虑从给定的能量函数导出的，并且需要任意长的时间来获得良好的和不同的样本，我们建议训练深度定向生成模型（而不是马尔可夫链），以便其采样分布近似匹配正在训练的能量函数。受生成对抗网络的启发，所提出的框架涉及训练表示估计概率分布的双重视图的两个模型：能量函数（将输入配置映射到标量能量值）和生成器（将噪声向量映射到生成的配置），两者都由深度神经网络表示。
2016-06-10 cs.LG stat.ML
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究院（INRS-EMT））
在这项工作中，我们介绍了一个两步的框架生成建模的时态数据。具体而言，生成对抗网络（GANs）设置用于生成移动对象的合成场景。为此，我们提出了一个两步训练方案，其中：首先训练静态帧的生成器。然后，训练一个递归模型，目标是为先前训练的帧生成器提供一系列输入，从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而，为了避免GANs中已知的训练不稳定性，使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明，通过采用这种方法，经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形，从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
The Riemannian Geometry of Deep Generative Models
University of Utah（犹他大学）；IBM Research AI（IBM人工智能研究院）
深度生成模型学习从低维潜在空间到高维数据空间的映射。在一定的正则性条件下，这些模型参数化数据空间中的非线性流形。在本文中，我们研究这些生成流形的黎曼几何。首先，我们开发了高效的算法计算测地线曲线，它提供了一个内在的概念点之间的距离流形。其次，我们开发了一个算法的平行平移的切向量沿路径上的流形。我们展示了如何并行翻译可以用来生成类比，即，以将一个数据点中的改变传送到另一个数据点的语义上类似的改变。我们在真实图像数据上的实验表明，深度生成模型学习的流形虽然是非线性的，但令人惊讶地接近零曲率。实际的含义是，在潜在的空间中的线性路径密切近似的测地线上生成的流形。然而，对这种现象的进一步调查是必要的，以确定是否有其他架构或数据集，其中曲率发挥更突出的作用。我们相信，使用本文开发的工具探索深层生成模型的黎曼几何，将是理解这些模型学习的高维非线性空间的重要一步。
2017-11-21 cs.CV cs.LG stat.ML
Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections
Layer 6 AI
本文首次从流形假设视角综述深度生成模型，证明高维似然数值不稳定性不可避免，并揭示基于自编码器表示的DGMs近似最小化Wasserstein距离，解释了潜在扩散模型的优越性。
2024-09-25 cs.AI cs.LG stat.ML
Moser Flow: Divergence-based Generative Modeling on Manifolds
Weizmann Institute of Science（魏茨曼科学研究学院）；Facebook AI Research（Facebook人工智能研究院）；UCLA（加利福尼亚大学洛杉矶分校）
我们有兴趣学习生成模型，通过流形描述复杂的几何形状，如球体，环面和其他隐式表面。现有的（欧几里德）生成模型的当前扩展仅限于特定的几何形状，并且通常遭受高计算成本。我们介绍Moser流（MF），一类新的生成模型的连续规范化流（CNF）的家庭。MF还通过变量变化公式的解产生CNF，然而与其他CNF方法不同，其模型（学习）密度被参数化为源（先验）密度减去神经网络（NN）的发散。散度是一个局部的线性微分算子，易于在流形上近似和计算。因此，与其他CNF不同，MF不需要在训练期间通过ODE求解器调用或反向传播。此外，将模型密度显式表示为NN的散度而不是ODE的解有助于学习高保真度密度。理论上，我们证明了MF构成一个普遍的密度逼近适当的假设下。从经验上讲，我们第一次展示了使用流动模型从一般曲面采样，并在密度估计，样本质量和训练复杂性方面取得了显着改善，超过现有的CNFs对具有挑战性的合成几何形状和现实世界的基准，从地球和气候科学。
2021-11-02 cs.AI cs.LG stat.ML
Manifold regularization with GANs for semi-supervised learning
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
生成对抗网络是一种强大的生成模型，能够对自然图像的流形进行建模。我们利用这个属性来执行流形正则化，通过使用Monte Carlo近似来近似拉普拉斯范数的变体，该近似可以很容易地用GAN计算。当被纳入半监督特征匹配GAN时，我们在CIFAR-10和SVHN基准上实现了基于GAN的半监督学习的最新结果，其方法比竞争方法更容易实现。我们还发现流形正则化提高了生成图像的质量，并且受到用于近似正则化器的GAN的质量的影响。
2018-07-11 cs.LG stat.ML
Manifold Hypothesis in Data Analysis: Double Geometrically-Probabilistic Approach to Manifold Dimension Estimation
流形假设指出，高维空间中的数据点实际上位于低得多的维度的流形附近。在许多情况下，这一假设得到了经验验证，并用于增强无监督和半监督学习。在这里，我们提出了新的方法来检查流形假设和基本流形维数估计。为了做到这一点，我们同时使用两种非常不同的方法-一种是几何方法，另一种是概率方法-并检查它们是否给出相同的结果。我们的几何方法是一个众所周知的盒计数算法Minkowski维数计算稀疏数据的修改。概率方法是新的。虽然它利用了标准的最近邻距离，但它与以前在这种情况下使用的方法不同。该方法具有鲁棒性强、速度快、数据预处理简单等优点。在真实数据集上的实验表明，基于两种方法相结合的方法是强大和有效的。
2021-07-08 cs.LG stat.ML
Density estimation on smooth manifolds with normalizing flows
Technical University of Denmark（丹麦技术大学）
我们提出了一个框架，学习拓扑非平凡流形上的概率分布，利用规范化流。目前的方法主要集中在与欧几里得空间同胚的流形上，在学习的模型上强制强结构先验，或者使用不容易扩展到高维的操作。相比之下，我们的方法通过将多个局部模型“粘合”在一起来学习数据流形上的分布，从而定义数据流形的开放覆盖。我们证明了我们的方法对已知流形的合成数据的效率，以及未知拓扑的高维流形，其中我们的方法具有更好的样本效率和竞争力或优越的性能对基线在一些任务。
2022-07-09 cs.LG stat.ML
Generative Particle Variational Inference via Estimation of Functional Gradients
Oregon State University（俄勒冈州立大学）；Horizon Robotics（Horizon Robotics（地平线机器人））
最近，基于粒子的变分推理（ParVI）方法已经获得了兴趣，因为它们可以避免变分推理中常见的任意参数假设。然而，许多ParVI方法不允许从后验任意采样，并且少数允许这样采样的方法遭受次优性。本文提出了一种从后验分布中学习近似采样的新方法。我们构造了一个神经采样器，该神经采样器是用经验采样分布和目标分布之间的KL发散的函数梯度来训练的，假设梯度位于再生核希尔伯特空间内。我们的生成ParVI（GPVI）方法保持了ParVI方法的渐近性能，同时提供了生成采样器的灵活性。通过精心构建的实验，我们表明GPVI优于以前的生成ParVI方法，如摊销SVGD，并与ParVI以及黄金标准方法（如Hamiltonian Monte Carlo）竞争，以拟合精确已知和难以处理的目标分布。
2021-08-10 cs.LG stat.ML
Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks
Georgia Tech（佐治亚理工学院）
生成对抗网络（GANs）在无监督学习中取得了巨大的成功。尽管其显著的经验性能，有有限的理论研究的统计特性的GANs。本文提供了GANs的近似和统计保证，用于估计在Hölder空间中具有密度的数据分布。我们的主要结果表明，如果正确选择生成器和神经网络架构，GANs是强差异度量（如Wasserstein-1距离）下数据分布的一致估计器。此外，当数据分布呈现低维结构时，我们表明GANs能够捕获数据中未知的低维结构，并具有快速的统计收敛性，这是免费的环境维数灾难。我们对低维数据的分析建立在具有Lipschitz连续性保证的神经网络的通用近似理论之上，这可能是独立的兴趣。
2022-07-21 cs.LG stat.ML
Generative Bayesian Filtering for State Estimation
Northwestern University（西北大学）
研究动态系统状态估计问题，提出生成式贝叶斯滤波框架GBF，用预训练条件生成模型取代简单观测模型，经贝叶斯预测-更新递归及转化，实验证明其提升了状态估计的准确性与鲁棒性。
2026-07-24 cs.LG stat.ML
arfpy: A python package for density estimation and generative modeling with adversarial random forests
Leibniz Institute for Prevention Research and Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；University of Bremen（不来梅大学）；University of Copenhagen（哥本哈根大学）
本文介绍arfpy，一个Python包，实现了对抗随机森林（ARF）方法，用于密度估计和生成建模，特别适用于表格数据，具有低调参需求和计算资源消耗，并提供用户友好的接口。
2023-11-13 cs.LG stat.ML
Manifold Density Estimation via Generalized Dequantization
Yale University（耶鲁大学）；York University（约克大学）
密度估计是描述给定观测值分布的一种重要方法。许多现有的研究密度估计的情况下，其中的数据位于欧几里德空间集中。然而，某些类型的数据不能很好地建模，假设它们的底层几何是欧几里得的。相反，将此类数据建模为位于具有某种已知结构的{ \it流形}上可能是有用的。例如，某些类型的数据可能已知位于球体的表面上。研究了流形上密度的估计问题。我们提出了一种方法，灵感来自文献的“反量化”，我们解释通过镜头的坐标变换的环境欧几里德空间和光滑的感兴趣的流形。使用规范化流的方法，我们将这种方法应用到光滑流形结构的去量化，以模拟球体，环面和正交群上的密度。
2021-07-09 cs.LG stat.ML
Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows
Layer 6 AI
规范化流是生成模型，其通过从简单的基础分布到复杂的目标分布的可逆变换来提供易处理的密度估计。然而，这种技术不能直接对未知低维流形上支持的数据进行建模，这在现实世界的领域（如图像数据）中很常见。最近试图弥补这一局限性，引入了几何复杂性，击败了规范化流的核心好处：精确的密度估计。我们恢复这个好处与共形嵌入流，一个框架，用于设计流，学习流形与易处理的密度。我们认为，组成一个标准的流与可训练的共形嵌入是最自然的方式来建模流形支持的数据。为此，我们提出了一系列的共形构建块，并将它们应用于实验与合成和现实世界的数据，以证明流量可以模拟流形支持的分布，而不会牺牲易于处理的可能性。
2021-11-11 cs.LG stat.ML
Implicit Manifold Learning on Generative Adversarial Networks
本文提出了一种生成对抗网络（GANs）中的隐式流形学习方法，通过研究学习分布的支持度如何与实际数据分布的支持度$\mathcal{M}_{r}$完美匹配，将学习分布建模为一个子流形$\mathcal{M}_θ$。我们发现，优化詹森-香农发散迫使$\mathcal{M}_θ$完美匹配$\mathcal{M}_{r}$，而优化瓦瑟斯坦距离没有。另一方面，通过比较Jensen-Shannon发散和瓦瑟斯坦距离（$W_1$和$W_2^2$）的原始形式的梯度，我们推测Wasserstein $W_2^2$可能具有理想的性质，如减少模式崩溃。因此，有趣的是设计新的距离，从两个距离中继承最好的。
2017-10-30 stat.ML
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology（香港科技大学）
本文考虑了双向生成建模的一般$f$ -发散公式，其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法，这种配方，其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中，我们表明，不同的分歧诱导类似的算法在梯度评估，除了不同的缩放。因此，本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究，证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Generative Adversarial Nets from a Density Ratio Estimation Perspective
生成对抗网络（GANs）是成功的深度生成模型。GANs基于两个玩家的极大极小博弈。然而，在原始动机中导出的目标函数被改变以在学习生成器时获得更强的梯度。我们提出了一种新的算法，重复密度比估计和f-散度最小化。我们的算法为理解GANs提供了一个新的视角，并且能够利用在密度比估计研究中获得的多个观点，例如什么样的发散是稳定的，相对密度比是有用的。
2016-11-09 stat.ML
GANosaic: Mosaic Creation with Generative Texture Manifolds
Zalando Research（Zalando 研究院）
提出了一种新的基于卷积神经网络的纹理拼接框架。我们的方法被称为GANoetching和执行生成纹理模型，它允许将内容图像转换成马赛克表现出底层纹理流形的视觉特性的潜在噪声空间中的优化。为了表示该流形，我们使用最先进的生成对抗方法进行纹理合成，该方法可以从数据中学习富有表现力的纹理表示，并生成具有非常高分辨率的马赛克图像。这种完全卷积模型生成平滑（没有任何可见边界）的马赛克图像，这些图像局部变形和混合不同的纹理。此外，我们开发了一种新的类型的可微统计正则化适合优化的PSGAN模型的先验噪声空间。
2017-12-01 cs.CV stat.ML
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度，构建适定的连续时间生成流，以稳健学习低维流形上的分布，并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Riemannian generative decoder
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
本文提出黎曼生成解码器，无需编码器即可在任意黎曼流形上学习潜变量，简化约束并提升质量，在三个案例中验证了其几何一致性与可解释性。
2025-10-14 cs.LG q-bio.QM stat.ML
A Generative Framework for Personalized Learning and Estimation: Theory, Algorithms, and Privacy
University of California, Los Angeles（加州大学洛杉矶分校）
联邦学习的一个显著特征是（本地）客户端数据可能具有统计异质性。这种异质性激发了个性化学习的设计，其中通过协作来训练个体（个性化）模型。已经有各种个性化的方法在文献中提出，看似非常不同的形式和方法，从使用一个单一的全球模型的局部正则化和模型插值，使用多个全球模型的个性化聚类等，在这项工作中，我们开始与生成框架，可能会统一几个不同的算法，以及建议新的算法。我们将我们的生成框架应用于个性化估计，并将其与经典的经验贝叶斯方法相结合。我们在这个框架下开发私人个性化的估计。然后，我们使用我们的生成框架的学习，它统一了几个已知的个性化FL算法，并提出了新的，我们提出并研究了一个新的算法AdaPeD的基础上的知识蒸馏，它在数值上优于几个已知的算法。我们还为个性化学习方法开发隐私，保证用户级隐私和组成。我们数值评估的性能以及隐私的估计和学习问题，证明我们所提出的方法的优点。
2022-07-05 cs.CR cs.LG stat.ML
Lie PCA: Density estimation for symmetric manifolds
University of North Carolina Wilmington（北卡罗来纳大学威尔明顿分校）；The Ohio State University（俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University（俄亥俄州立大学转化数据分析研究所）；Western Washington University（西华盛顿大学）
我们介绍了一个扩展的局部主成分分析学习对称流形。特别地，我们使用谱方法来近似对应于基础流形的对称群的李代数。我们推导出我们的方法的样本复杂性的各种流形，然后将其应用到各种数据集，以提高密度估计。
2020-09-13 cs.LG math.OC stat.ML
BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University（耶鲁大学）
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法，无需可逆网络，通过样本特定后验构建自适应提议并利用桥接采样估计密度，在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
MMGAN: Generative Adversarial Networks for Multi-Modal Distributions
Institute for Informatics（信息学研究所）；LMU Munich（慕尼黑大学）
在过去的几年里，生成对抗网络（GANs）已经显示出显着的生成性能，特别是在图像合成。不幸的是，它们还以具有不稳定的训练过程而闻名，并且可能会丢失异构输入数据的数据分布的部分。在本文中，我们提出了一种新的GAN扩展多模态分布学习（MM GAN）。在我们的方法中，我们将潜在空间建模为高斯混合模型，其中多个聚类是指观察空间中断开的数据流形的数量，并包括聚类网络，该网络将每个数据流形与一个高斯聚类相关联。因此，训练更加稳定。此外，MMGAN允许根据潜在空间中的学习数据流形对真实数据进行聚类。通过一系列的基准实验，我们表明，MMGAN优于竞争国家的最先进的模型在聚类性能。
2019-11-15 cs.CV cs.LG stat.ML
Score-Based Generative Models Detect Manifolds
Universität Potsdam（波茨坦大学）；Institut für Mathematik（数学研究所）
基于分数的生成模型（SGM）需要近似中间分布的分数$\nabla \log p_t$以及前向过程的最终分布$p_T$。这些近似值的影响的理论基础仍然缺乏。我们找到精确的条件下，SGMs能够产生样本的底层（低维）数据流形$\mathcal{M}$。这保证了SGM能够生成“正确类型的样本”。例如，将$\mathcal{M}$作为面部图像的子集，我们找到SGM稳健地产生面部图像的条件，即使这些图像的相对频率可能不准确地表示真实的数据生成分布。此外，这种分析是理解SGM泛化特性的第一步：将$\mathcal{M}$作为所有训练样本的集合，我们的结果提供了SGM何时记忆其训练数据的精确描述。
2022-10-15 cs.LG cs.NA math.NA
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Forward Operator Estimation in Generative Models with Kernel Transfer Operators
Carnegie Mellon University（卡内基梅隆大学）；Butlr（Butlr公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用显式密度建模的生成模型（例如，变分自编码器、基于流的生成模型）涉及找到从已知分布（例如高斯分布）到未知输入分布的映射。这通常需要搜索一类非线性函数（例如，可由深度神经网络表示）。虽然在实践中是有效的，但是相关的运行时/内存成本可能会迅速增加，通常是应用程序中所需性能的函数。我们提出了一个更便宜（和更简单）的战略，以估计这种映射的基础上，适应已知的结果，在内核传输运营商。我们表明，我们的配方能够实现高效的分布近似和采样，并提供了令人惊讶的良好的经验性能，与强大的基线相比，但具有显着的运行时间节省。我们表明，该算法也表现良好，在小样本量的设置（在脑成像）。
2021-12-01 cs.CV cs.LG stat.ML
Max-Affine Spline Insights into Deep Generative Networks
Rice University（莱斯大学）；UTLN（土伦大学）
我们将一大类生成深度网络（GDN）与样条算子连接起来，以获得它们的属性，限制和新的机会。通过对生成流形的特征空间划分、维数和棱角性的刻画，将流形维数和逼近误差与样本量联系起来。每个区域的流形仿射子空间定义了一个局部坐标基，我们提供了必要和充分的条件，这些基向量与解纠缠。我们还推导出映射到生成的流形上的输出概率密度的潜在空间密度，这使得计算关键的统计数据，如香农熵。这一发现也使计算的GDN的可能性，这提供了一个新的机制，模型比较，以及提供一个质量测量（生成）的样本下学习的分布。我们证明了低熵和/或多峰分布如何不自然地由DGN建模，并且是训练不稳定性的原因。
2020-02-26 cs.CG cs.CV cs.LG
Generative Interest Estimation for Document Recommendations
Hasso Plattner Institute（哈索·普拉特纳研究院）
文档的分布式表示学习已经推动了自然语言处理任务的发展，并且最近被成功地应用于推荐系统领域。在本文中，我们提出了一种新的基于内容的推荐系统的基础上学习表示和用户兴趣的生成模型。我们的方法工作原理如下：首先，我们学习文本文档语料库的表示。然后，我们捕捉用户的兴趣作为一个生成模型的空间中的文档表示。特别是，我们为每个用户的兴趣分布建模为高斯混合模型（GMM）。可以通过从用户的生成模型中采样来直接获得推荐。使用潜在语义分析（LSA）作为比较，我们计算和探索的美味书签数据集，推荐系统的标准基准的文档表示。然后，我们在这两个空间中进行密度估计，并表明学习表示在预测性能方面优于LSA。
2017-11-28 cs.CL cs.IR cs.LG
Risk Management with Feature-Enriched Generative Adversarial Networks (FE-GAN)
University College London（伦敦大学学院）
本文研究FE-GAN在金融风险管理中的应用，通过纳入前期数据衍生的额外输入序列增强GAN架构，评估WGAN和Tail-GAN，结果显示其显著提升VaR和ES估计性能，Tail-GAN在ES估计中更优。
2024-11-23 cs.LG q-fin.RM stat.ML
