Training Deep Energy-Based Models with f-Divergence Minimization
Stanford University（斯坦福大学）
基于能量的深度模型（EBM）在分布参数化方面非常灵活，但由于难以处理的配分函数而具有计算挑战性。它们通常通过最大似然进行训练，使用对比发散来近似数据和模型分布之间的KL发散的梯度。虽然KL发散有许多理想的属性，但其他f发散在训练隐式密度生成模型（如生成对抗网络）方面表现出了优势。在本文中，我们提出了一个通用的变分框架称为f-EBM训练EBM使用任何所需的f-发散。我们引入了相应的优化算法，并利用非线性动力系统理论证明了其局部收敛性。实验结果证明了f-EBM优于对比发散，以及使用KL以外的f-发散训练EBM的好处。
2020-07-21 cs.LG stat.ML
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows
LAMSADE, CNRS（法国国家科学研究中心LAMSADE实验室）；Université Paris-Dauphine-PSL（巴黎第九大学（巴黎多菲纳大学））
提出 PR-divergences 训练框架，将用户指定的精确率-召回率权衡转化为 $f$-散度最小化，并提升 BigGAN 在 ImageNet 上的精确率或召回率。
2023-11-01 cs.LG
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
Learning Implicit Generative Models by Teaching Explicit Ones
Tsinghua University（清华大学）
隐式生成模型由于没有定义显式密度函数而难以训练。生成对抗网络（GANs）提供了一个极小极大框架来训练这样的模型，但是由于JS发散的性质，它可能会遭受模式坍塌。本文提出了一种通过教学学习（LBT）方法来学习隐式模型，该方法通过优化GANs中的KL发散而不是JS发散来避免模式坍塌问题。在LBT中，引入辅助密度估计来拟合隐模型的分布，而隐模型教导密度估计来匹配数据分布。LBT被表示为一个双层优化问题，其最优生成器与真实数据分布相匹配。LBT可以自然地与GANs集成，以获得享受免费好处的混合LBT-GAN。最后，我们提出了一种带展开的随机梯度上升算法来解决具有挑战性的学习问题。实验结果证明了该方法的有效性。
2020-06-24 cs.LG stat.ML
The Information Dynamics of Generative Diffusion
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
本文从信息论、动力学和热力学角度探讨生成扩散模型，揭示生成带宽由分数函数发散率决定，通过轨迹分支和生成分岔现象，建立受控噪声诱导对称破缺过程。
2026-03-26 cs.AI cs.LG stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Deep Generative Learning via Variational Gradient Flow
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一个通用框架，通过概率空间上的\textbf{V}变量\textbf{Gr} adient Fl \textbf{ow}（VGrow）来学习深度生成模型。渐近收敛到目标分布的演化分布由向量场控制，该向量场是它们之间的$f$ -散度的第一变分的负梯度。我们通过残差映射的无限小时间合成证明了演化分布与前推分布一致，残差映射是单位映射沿向量场的扰动。向量场取决于前推分布和目标分布的密度比，这可以从二元分类问题中一致地学习。我们提出的VGrow方法与其他流行的方法，如VAE，GAN和基于流的方法，已经在这个框架中建立了联系，获得了深度生成学习的新见解。我们还评估了几个常用的分歧，包括Kullback-Leibler，Jensen-Shannon，Jeffrey分歧以及我们新发现的“logD”分歧，它作为logD技巧GAN的目标函数。在基准数据集上的实验结果表明，VGrow可以以稳定和高效的方式生成高保真图像，与最先进的GANs相比具有竞争力的性能。
2019-05-04 cs.LG stat.ML
Asymptotic Statistical Analysis of $f$-divergence GAN
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）
生成对抗网络（GANs）在数据生成方面取得了巨大的成功。然而，其统计特性尚未完全了解。在本文中，我们考虑的统计行为的一般$f$ -发散制定的GAN，其中包括Kullback-Leibler分歧是密切相关的最大似然原理。我们证明了，对于正确指定的参数生成模型，在适当的正则性条件下，具有相同类的所有$f$ -发散GANs都是渐近等价的。此外，通过适当地选择局部最优估计，它们渐近地等价于最大似然估计。对于错误指定的生成模型，具有不同$f$ -发散的GANs {收敛到不同的估计器}，因此不能直接比较。然而，研究表明，对于一些常用的$f$ -分歧，原始$f$ -GAN并不是最佳的，因为当原始$f$ -GAN公式中的鉴别器训练被逻辑斯谛回归取代时，可以实现更小的渐进方差。由此产生的估计方法被称为对抗梯度估计（AGE）。实验结果支持了该理论，并证明了在模型误设定情况下AGE优于原始$f$ -GANs。
2022-09-14 cs.LG math.ST stat.ML
Approximation and Convergence Properties of Generative Adversarial Learning
University of California, San Diego（加州大学圣迭戈分校）；Google Brain（谷歌大脑）
生成对抗网络（GAN）通过生成器和代理之间的“两人游戏”联合优化目标函数来近似目标数据分布。尽管他们的经验成功，但是，两个非常基本的问题，他们可以近似的目标分布仍然没有答案。首先，它是不知道如何限制的逼近族影响的近似质量。其次，虽然已经提出了一些不同的目标函数，我们不明白什么时候收敛到全局最小的目标函数导致收敛到目标分布下的各种概念的分布收敛。在本文中，我们解决这些问题，在一个广泛的和统一的设置，通过定义一个概念的对抗分歧，包括一些最近提出的目标函数。我们表明，如果目标函数是一个对抗性的分歧与一些额外的条件，然后使用一个限制性的moment匹配的效果。此外，我们表明，目标函数是严格的对抗性分歧，收敛的目标函数意味着弱收敛，从而推广了以前的结果。
2017-05-24 cs.LG stat.ML
On Divergence Measures for Training GFlowNets
本文研究了用于训练GFlowNets的分歧度度量，设计了统计高效的梯度估计器，并验证了最小化这些分歧度能有效提升收敛速度。
2024-10-21 cs.AI cs.LG stat.ML
Midpoint Generative Models
AXXX, Russia（俄罗斯AXXX）；Applied AI Institute, Russia（俄罗斯应用人工智能研究所）；Kandinsky Lab, Russia（俄罗斯康德斯基实验室）
提出中点生成模型（MGM），利用流匹配的对称性定义中点散度，并通过变分目标训练单步生成模型，在性能上与现有方法竞争。
2026-06-08 cs.LG
Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology (MIT), Cambridge, Massachusetts, USA（电气工程与计算机科学系，麻省理工学院（MIT），剑桥，马萨诸塞州，美国）
提出Score-of-Mixture Training (SMT)框架，通过最小化$α$-skew Jensen-Shannon散度并估计混合分布得分来训练单步生成模型，支持从零开始训练与预训练扩散模型蒸馏，实验证明其在CIFAR-10和ImageNet 64x64上表现优异。
2025-07-14 cs.AI cs.LG stat.ML
A Unified f-divergence Framework Generalizing VAE and GAN
Stanford University（斯坦福大学）
开发深度生成模型，灵活地结合不同的概率距离度量是一个重要的研究领域。在这里，我们开发了一个统一的数学框架的f-发散生成模型，f-GM，它结合了VAE和f-GAN，并使易于处理的学习与一般的f-发散。f-GM允许实验者在不改变网络结构或学习过程的情况下灵活地设计f-散度函数。f-GM联合建模三个组件：生成器，推理网络和密度估计器。因此，它同时使采样，后验推理的潜在变量以及评估的可能性的任意数据。f-GM属于编码器-解码器GANs类：我们的密度估计器可以被解释为在潜在代码和观察空间的联合空间中的样本之间扮演一个角色。我们证明了f-GM自然简化为标准VAE和f-GAN作为特殊情况，并说明了不同的编码器-解码器GAN架构之间的连接。f-GM与通用网络架构和优化器兼容。我们利用它来实验性地探索f发散的不同选择的影响-例如模式崩溃和图像清晰度。
2022-05-11 cs.LG stat.ML
Robustness and Structure Preservation in Flow-Based Generative Models via Wasserstein Path-Space Divergences
Department of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Division of Applied Mathematics（应用数学系）；Brown University（布朗大学）
本文首次理论分析了分数基于生成模型在学习具有对称性的分布时的性能保障，并比较了数据增强与添加等价诱导偏差的效果。
2026-06-28 cs.LG math.PR stat.ML
Convergence of the Inexact Langevin Algorithm in KL Divergence with Application to Score-based Generative Models
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Department of Computer Science, Yale University（耶鲁大学计算机科学系）
本文研究了在KL散度下近似兰格-恩算法的收敛性，基于分数生成模型的应用，提出了稳定偏置收敛保证，并探讨了如何获得可证明准确的分数估计器。
2026-03-28 cs.LG math.ST stat.TH
First Order Generative Adversarial Networks
Zalando Research（扎兰多研究院）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）
GANs擅长学习高维分布，但它们可以在与目标的最陡下降方向不对应的方向上更新生成器参数。有问题的更新方向的突出示例包括Goodfellow的原始GAN和WGAN-GP中使用的更新方向。为了正式描述一个最佳的更新方向，我们引入了一个理论框架，它允许推导的发散和相应的方法来确定更新方向的要求，这些要求保证无偏的小批量更新的最陡下降的方向。我们提出了一种新的分歧，近似Wasserstein距离，同时规范化的评论家的一阶信息。与伴随的更新方向一起，该发散满足无偏最陡下降更新的要求。我们验证了我们的方法，一阶GAN，在CelebA，LSUN和CIFAR-10上生成图像，并在十亿字语言生成任务上设定了一个新的艺术状态。代码重现实验是可用的。
2018-06-07 cs.LG stat.ML
Assessing Generative Models via Precision and Recall
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
生成建模的最新进展导致了对作为模型比较手段的统计分歧的研究的兴趣增加。常用的评估方法，如Frechet起始距离（FID），与样品的感知质量密切相关，并且对模式下降敏感。然而，这些指标无法区分不同的故障情况，因为它们只产生一维分数。我们提出了一个新的定义的精度和召回的分布，解开分歧成两个独立的维度。所提出的概念是直观的，保留了理想的属性，并自然导致一个有效的算法，可用于评估生成模型。我们将这个概念与总变化以及最近的评估指标，如初始分数和FID。为了证明所提出的方法的实际效用，我们对生成对抗网络和变分自动编码器的几种变体进行了实证研究。在一组广泛的实验中，我们表明，所提出的度量是能够解开所生成的样本的质量从目标分布的覆盖范围。
2018-10-28 cs.LG stat.ML
Statistical Inference for Generative Model Comparison
Marshall School of Business, University of Southern California, USA（美国南加州大学马歇尔商学院）；Department of Mathematical Science, New Jersey Institute of Technology, USA（美国新泽西理工学院数学科学系）；School of Statistics, Beijing Normal University, People’s Republic of China（中国北京师范大学统计学院）
研究如何比较不同生成模型与测试样本潜在分布的接近程度，核心方法是用KL散度衡量距离并扩展到条件生成模型，利用Edgeworth展开处理有限数据，在模拟及图像文本数据集上有有效覆盖率且结论有统计置信度。
2026-07-24 cs.LG stat.ML
Beta Diffusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Beta扩散，一种结合去掩蔽与去噪的乘性生成模型，适用于有限范围数据，并利用KL散度上界（KLUBs）优化，实验验证其有效性。
2023-12-25 cs.AI cs.LG stat.CO
Non-saturating GAN training as divergence minimization
Google（谷歌）
非饱和生成对抗网络（GAN）训练被广泛使用，并不断取得突破性成果。然而，到目前为止，这种方法缺乏强有力的理论依据，与诸如f-GANs和Wasserstein GANs等替代方案相比，它们的动机是近似发散最小化。在本文中，我们证明了非饱和GAN训练实际上近似最小化了特定的f-发散。我们开发了一般的理论工具来比较和分类f-发散，并使用这些来表明，新的f-发散是定性类似于反向KL。这些结果有助于解释高样本质量，但差的多样性，经常观察到经验时，使用该方案。
2020-10-15 cs.LG stat.ML
Dual Discriminator Generative Adversarial Nets
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
本文提出了一种新的方法来解决生成对抗网络（GAN）中遇到的模式坍塌问题。我们的想法很直观，但被证明是非常有效的，特别是在解决GAN的一些关键限制方面。本质上，它将Kullback-Leibler（KL）和反向KL发散合并到一个统一的目标函数中，从而利用这些发散的互补统计特性来有效地使估计的密度在捕获多模时多样化。我们将我们的方法称为双反生成对抗网（D2 GAN），与GAN不同，它有两个鉴别器;与生成器一起，它也具有极大极小游戏的类比，其中一个鉴别器奖励来自数据分布的样本的高分，而另一个鉴别器，相反，有利于来自生成器的数据，生成器产生数据来欺骗两个鉴别器。理论分析表明，在给定最大鉴别器的情况下，优化D2 GAN的生成器可以最大限度地减小数据分布与生成器生成的数据所诱导的分布之间的KL和反向KL偏差，从而有效地避免模式崩溃问题。我们在合成和真实世界的大规模数据集（MNIST，CIFAR-10，STL-10，ImageNet）上进行了广泛的实验，我们尽了最大的努力将我们的D2 GAN与最新的最先进的GAN变体进行了全面的定性和定量评估。实验结果表明，我们的方法在生成高质量和多样化的样本方面具有竞争力和优越的性能，并且我们的方法能够扩展到ImageNet数据库。
2017-09-12 cs.LG stat.ML
A Unifying View of Variational Generative Wasserstein Flows
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、Palaiseau，法国）
本文提出生成式Wasserstein流（GWF）的统一理论框架，将多种现有生成模型视为f-散度目标的参数化JKO方案实例，并扩展至积分概率度量与最大均值差异，推导新算法并阐明与GAN的联系。
2026-05-29 cs.CV cs.LG
A Variational Perspective on Generative Flow Networks
University of Amsterdam（阿姆斯特丹大学）；Linköping University（林雪平大学）
生成流网络（generative flow networks，GFN）是一类用于复合对象的序贯抽样的模型，它近似于根据能量函数或奖励定义的目标分布。GFN通常使用流匹配或轨迹平衡目标来训练，其匹配轨迹上的前向和后向转换模型。在这项工作中，我们定义变分目标GFNs的Kullback-Leibler（KL）之间的分歧的前向和后向分布。我们表明，变分推断在GFNs是相当于最小化的轨迹平衡目标时，从前向模型的轨迹采样。我们通过优化反向和正向库尔贝克-莱布勒散度的凸组合来推广这种方法。这种见解表明，变分推断方法可以用作定义用于训练生成流网络的更一般的目标族的手段，例如，通过结合通常用于变分推断的控制变量，以减少轨迹平衡目标的梯度的方差。我们评估我们的研究结果和性能的建议变目标数值比较，它的轨迹平衡目标上的两个合成任务。
2022-10-14 cs.LG stat.ML
A Gaussian Perspective for Distributional Discrepancy in Generative Diffusion Models
本文提出一种解析方法量化优化生成扩散模型的分布差异，针对多元高斯源推导闭合演化轨迹和KL散度，通过变分法最小化主导项得到切线律噪声调度，并证明高斯源的极值性质，最后利用解析KL散度优化预训练模型的时间离散化策略。
2026-06-29 cs.IT cs.LG math.IT
Improving Flow Matching by Aligning Flow Divergence
Department of Mathematics, University of Utah, Salt Lake City, UT, USA（犹他大学数学系）；Imaging (SCI) Institute, Salt Lake City, UT, USA（成像（SCI）研究所）；Computer Science Division, 240 Argonne National Laboratory, Lemont, IL, USA（计算机科学部，阿贡国家实验室）
本文提出了一种新的流匹配方法，通过同时匹配流及其发散性来提升生成模型的性能。
2026-01-31 cs.AI cs.LG cs.NA
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Variational f-divergence Minimization
University College London（伦敦大学学院）；London School of Economics（伦敦政治经济学院）
本文提出一种结合Spread Divergence的变分方法，使得任意f-散度均可用于训练广泛的潜变量模型，扩展了非似然训练准则的适用范围。
2024-12-14 cs.LG stat.ML
Composite Functional Gradient Learning of Generative Adversarial Models
RJ Research Consulting（RJ研究咨询公司）；Tencent AI Lab（腾讯人工智能实验室）
本文首先提出了一种不依赖于传统极大极小公式的生成对抗方法理论。它表明，利用强的梯度，可以学习好的生成器，使得真实数据和生成数据的分布之间的库尔贝克-莱布勒散度在每个函数梯度步骤之后改善，直到它收敛到零。在此基础上，提出了一种新的稳定的生成式对抗方法。从这个新的角度对原始的GAN也提供了一个理论上的见解。图像生成实验表明了该方法的有效性。
2018-06-08 cs.LG stat.ML
$(f,Γ)$-Divergences: Interpolating between $f$-Divergences and Integral Probability Metrics
TRIPODS Institute for Theoretical Foundations of Data Science（TRIPODS 数据科学理论基础研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
我们开发了一个严格的和一般的框架，用于构建信息理论的分歧，submanned两个$f$ -分歧和积分概率距离（IPM），如$1$ -瓦瑟斯坦距离。我们证明在哪些假设下，这些分歧，以下简称为$(f,Γ)$ -分歧，提供了一个概念的“距离”之间的概率测度，并表明它们可以表示为一个两阶段的质量再分配/质量运输过程。$(f,Γ)$ -发散继承了IPM的特征，如比较非绝对连续分布的能力，以及$f$ -发散的特征，即严格的变分表示和控制重尾分布的能力，以特定选择$f$。当组合时，这些特征建立具有用于估计、统计学习和不确定性量化应用的改进属性的发散。以统计学习为例，我们展示了它们在训练生成对抗网络（GANs）时的优势，这些网络具有重尾、非绝对连续的样本分布。我们还显示了改进的性能和稳定性梯度惩罚Wasserstein GAN在图像生成。
2021-09-15 cs.LG stat.ML
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
A solvable generative model with a linear, one-step denoiser
Harvard University（哈佛大学）
本文提出基于线性去噪器的可解单步扩散模型，推导KL散度公式，发现数据集大小达数据维度时KL开始单调下降，并解释高扩散步数提升质量的原因。
2025-08-06 cs.CV cs.LG
Learning GANs and Ensembles Using Discrepancy
Google Research（谷歌研究院）；CIMS（库朗数学科学研究所）；New York University（纽约大学）
生成对抗网络（GANs）基于最小化两个分布之间的分歧来生成数据。因此，这种分歧的选择至关重要。我们认为，发散必须考虑到假设集和损失函数在随后的学习任务中使用，其中由GAN生成的数据用于训练。考虑结构信息对于推导泛化保证也很重要。因此，我们建议使用的差异措施，这是最初介绍的密切相关的问题，领域自适应，并精确地考虑到假设集和损失函数。我们表明，差异承认训练GANs的有利属性，并证明明确的泛化保证。我们提出了有效的算法，使用差异的两个任务：直接训练GAN，即DGAN，和混合以前训练的生成模型，即ED GAN。我们在玩具示例和几个基准数据集上的实验表明，DGAN与其他GANs具有竞争力，并且ED GAN优于现有的GAN集成，如Ada GAN。
2019-11-06 cs.LG stat.ML
Fortifying Fully Convolutional Generative Adversarial Networks for Image Super-Resolution Using Divergence Measures
Electronics and Communication Sciences Unit (ECSU), Dolby Laboratories, India（电子与通信科学单元（ECSU），多利贝实验室，印度）；Statistics and Mathematics Unit (SMU), Indian Statistical Institute, Kolkata, India（统计与数学单元（SMU），印度统计研究所，加尔各答，印度）
提出基于全卷积生成对抗网络的超分辨率生成器SuRGe，用可学习凸权重组合不同深度卷积特征，采用JS和GW损失辅助生成器，用带梯度惩罚的Wasserstein损失训练判别器，在多数据集上性能优于28种方法。
2026-07-07 cs.CV cs.LG eess.IV
Stabilizing Training of Generative Adversarial Networks through Regularization
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
基于生成对抗网络（GANs）的深度生成模型已经展示了令人印象深刻的样本质量，但为了工作，它们需要仔细选择架构，参数初始化和超参数的选择。这种脆弱性部分是由于模型分布和数据分布之间的维度不匹配或非重叠支持，导致它们的密度比和相关的f-散度不确定。我们克服了这一基本限制，并提出了一种新的正则化方法，具有低计算成本，产生一个稳定的GAN训练过程。我们证明了这种正则化的有效性在几个架构上训练的共同基准图像生成任务。我们的正则化将GAN模型转化为深度学习的可靠构建块。
2017-11-07 cs.LG stat.ML
Regularizing Generative Adversarial Networks under Limited Data
Google Research（谷歌研究院）；University of California Merced（加州大学默塞德分校）；Waymo；Yonsei University（延世大学）
近年来，生成对抗网络（GANs）取得了快速发展。然而，GAN模型的成功取决于大量的训练数据。本文提出了一种正则化方法，用于在有限的数据上训练鲁棒的GAN模型。我们从理论上证明了正则化损失和称为LeCam发散的f发散之间的联系，我们发现在有限的训练数据下更鲁棒。在多个基准数据集上的大量实验表明，所提出的正则化方案1）提高了泛化性能，并在有限的训练数据下稳定了GAN模型的学习动态，2）补充了最近的数据增强方法。当只有ImageNet基准测试的有限训练数据可用时，这些属性有助于训练GAN模型以实现最先进的性能。
2021-04-07 cs.CV cs.LG
Annealed Generative Adversarial Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）
我们引入了一个新的对抗训练框架，其中目标分布在均匀分布和数据分布之间退火。我们假设了一个猜想，即在非参数制度下的连续退火学习是稳定的，而不管目标函数中的发散措施，并提出了一个算法，称为GAN-GAN，在推论。在这个框架中，生成网络的初始支持是整个环境空间的事实结合退火是平衡极小极大博弈的关键。在我们对合成数据、MNIST和CelebA的实验中，具有固定退火时间表的M-GAN-GAN是稳定的，并且没有遭受模式崩溃。
2017-05-21 cs.LG stat.ML
Generative Adversarial Mapping Networks
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
生成对抗网络（GANs）在生成照片般逼真的图像方面表现出令人印象深刻的性能。它们通过最小化真实图像分布与生成数据分布之间的一定距离度量来拟合生成模型。已有多种距离度量方法，如Jensen-Shannon散度、$f$ -散度和Wasserstein距离，选择合适的距离度量方法对生成网络的训练非常重要。在本文中，我们选择使用最大平均差异（MMD）作为距离度量，这有几个很好的理论保证。事实上，生成矩匹配网络（GMMN）（Li，Swersky，and Zemel 2015）是这样一种生成模型，其仅包含一个生成器网络$G$，该生成器网络通过直接最小化真实分布和生成分布之间的MMD来训练。然而，它无法在具有挑战性的基准数据集（如CIFAR-10和LSUN）上生成有意义的样本。为了改进GMMN，我们建议增加一个额外的网络$F$，称为映射器。$F$将真实数据分布和生成数据分布从原始数据空间映射到特征表示空间$\mathcal{R}$，并且它被训练以最大化$\mathcal{R}$中的两个映射分布之间的MMD，而生成器$G$试图最小化MMD。我们称这种新模型为生成对抗映射网络（GAMN）。我们证明了对抗映射器$F$可以帮助$G$更好地捕获底层数据分布。我们还表明，GAMN显着优于GMMN，也优于或与其他国家的最先进的GAN基于MNIST，CIFAR-10和LSUN-Bedrooms数据集的方法。
2017-09-28 cs.LG
Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation
Rochester Institute of Technology（罗切斯特理工学院）
已有几种基于可扩展样本的方法来计算两个分布之间的KullbackLeibler（KL）散度，并已被应用于大规模机器学习模型中。虽然它们被发现是不稳定的，但问题的理论根源尚不清楚。在本文中，我们研究了一种基于生成对抗网络的方法，该方法使用神经网络来估计KL散度。我们认为，在这种情况下，估计的高波动是不控制的复杂性的结果？函数空间。我们首先在再生核希尔伯特空间（RKHS）中构建一个新的子空间，为这个问题提供了一个理论基础和补救措施。这使我们能够利用样本复杂度和均值嵌入，从理论上将KL估计的误差概率界与RKHS中的K-S复杂度联系起来。基于这一理论，我们然后提出了一个可扩展的方法来控制的复杂性的KL散度的可靠估计的卷积。我们支持我们提出的理论和方法，通过控制实验来控制RKHS的复杂性。
2021-09-04 cs.LG stat.ML
The Inductive Bias of Restricted f-GANs
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络是一种新的统计推断方法，已经取得了很大的经验成功;然而，导致这种成功的因素仍然不清楚。在这项工作中，我们试图分析生成对抗性学习-即，作为生成器和生成器之间的游戏结果的统计推断-以了解它与经典的统计推断解决方案（如最大似然推断和矩量法）的区别。具体来说，我们提供了一种由一种简单形式的生成对抗学习（称为限制性f-GAN）推断的分布的理论表征-其中，f-GAN是给定函数类中的函数，生成器诱导的分布被限制在预先指定的分布类中，目标类似于f-发散的变分形式。我们的结果的一个结果是，对于线性KL-GAN-也就是说，当k是某个特征空间上的线性函数并且f对应于KL发散时-由最佳生成器引起的分布既不是最大似然法，也不是矩量法，而是两者的有趣组合。
2018-09-12 cs.LG stat.ML
Learning Energy-Based Generative Models via Potential Flow: A Variational Principle Approach to Probability Density Homotopy Matching
Monash University Malaysia（墨尔本大学马来西亚分校）
本文提出变分势流贝叶斯（VPFB）框架，通过变分损失匹配流驱动密度同伦，无需隐式MCMC采样，实现稳健高效的基于能量的生成建模，并在图像生成等任务中表现优异。
2025-04-22 cs.LG
Least $k$th-Order and Rényi Generative Adversarial Networks
The Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
我们研究了使用参数化的信息论测度族来推广生成对抗网络（GANs）的损失函数，以提高性能。首先引入了一种新的发电机损失函数，称为最小$k$ th阶GAN（L $k$ GAN），通过使用具有$k \geq 1$的$k$ th阶绝对误差失真度量来推广最小二乘GANs（LSGAN）（当$k=2$时恢复LSGAN损失函数）。它表明，最小化这个广义损失函数下（无约束）的最佳的最小化的$k$第阶Pearson-Vajda分歧是等价的。另一种新的GAN生成器损失函数接下来根据具有阶$α>0$，$α\neq 1$的Rényi交叉熵泛函被提出。结果表明，这种Rényi为中心的广义损失函数，它可证明减少到原来的GAN损失函数$α\to1$，保持平衡点所满足的原始GAN的基础上的Jensen-Rényi分歧，一个自然的扩展Jensen-Shannon分歧。实验结果表明，提出的损失函数，应用于MNIST和CelebA数据集，在DCGAN和StyleGAN架构下，分别通过参数$k$和$α$提供的额外自由度赋予性能优势。更具体地说，实验表明，通过Fréchet Inception Distance（FID）评分和训练稳定性测量，生成的图像质量有所改善。虽然它在本研究中被应用于GANs，但所提出的方法是通用的，可以用于信息论在深度学习中的其他应用，例如，人工智能中的公平或隐私问题。
2021-03-11 cs.IT cs.LG math.IT
Generalized Dual Discriminator GANs
International Institute of Information Technology, Hyderabad（国际信息科技学院，海得拉巴）
本文提出 D2 α-GAN 并将其推广为广义双判别器 GAN，证明其极小极大目标等价于 f-散度与反向 f-散度组合的最小化，并通过二维合成实验验证优势。
2025-07-23 cs.IT cs.LG math.IT
StAD: Stein Amortized Divergence for Fast Likelihoods with Diffusion and Flow
Institute of Astronomy（天文研究所）；Kavli Institute for Cosmology, University of Cambridge, Cambridge, UK（剑桥大学卡文迪许实验室，剑桥，英国）；Research Computing Services, University of Cambridge, Cambridge, UK（剑桥大学研究计算服务）；The Oskar Klein Centre, Department of Physics, Stockholm University, Stockholm, SE（斯德哥尔摩大学物理系奥斯卡·克莱因中心）；Cavendish Laboratory, Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系卡文迪许实验室）
本文提出StAD方法，利用Langevin-Stein算子预测和学习PF-ODE的散度，无需计算雅可比矩阵，提升了似然预测的效率和稳定性。
2026-05-15 astro-ph.IM cs.LG stat.ML
$f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning
Worcester Polytechnic Institute（伍斯特理工学院）；University of Minnesota（明尼苏达大学）
模仿学习（IL）的目的是从专家示范中学习一种策略，最大限度地减少学习者和专家行为之间的差异。已经提出了各种模仿学习算法，其具有不同的预定分歧以量化差异。这自然产生了以下问题：给定一组专家演示，哪种分歧可以更准确地恢复专家策略，并具有更高的数据效率？在这项工作中，我们提出了$f$ -GAIL，一个新的生成对抗模仿学习（GAIL）模型，自动学习的差异措施，从$f$分歧家庭以及能够产生专家般的行为的政策。与具有各种预定义偏差度量的IL基线相比，$f$ -GAIL在六个基于物理的控制任务中学习到更好的策略和更高的数据效率。
2020-11-19 cs.AI cs.LG stat.ML
Rates of convergence for density estimation with generative adversarial networks
本文研究原始 GAN 的非渐近性质，证明 JS 散度预言不等式，并在非参数密度估计中得到接近极小极大最优的收敛速率。
2024-01-25 math.ST stat.ML stat.TH
Information Theoretic Structured Generative Modeling
University of Florida（佛罗里达大学）；UiT - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）；Xi’an Jiaotong University（西安交通大学）
Rényi的信息提供了一个理论基础，为易处理和数据有效的非参数密度估计，基于成对评估的再生核希尔伯特空间（RKHS）。本文将这一框架扩展到参数概率建模，其动机是雷尼的信息可以估计在封闭形式的高斯混合。基于这种特殊的连接，提出了一种新的生成模型框架，称为结构化生成模型（SGM），使直接优化成为可能，因为成本是尺度不变的，避免了高梯度方差，同时对绝对连续性施加较少的限制，这在参数信息论优化中是一个巨大的优势。该实现采用由附加到单个白噪声源的正交归一化输入驱动的单个神经网络，该单个白噪声源适于学习无限高斯混合模型（IMoG），该IMoG提供低维度的经验上易处理的模型分布。为了训练SGM，我们提供了三个新的变分成本函数，基于Rényi的二阶熵和发散，实现最小化交叉熵，最小化变分表示的$f$ -发散，最大化的证据下限（条件概率）。我们测试的框架估计的互信息和比较的结果与互信息神经估计（MINE），密度估计，条件概率估计马尔可夫模型以及训练对抗网络。我们的初步结果表明，SGM显着提高了MINE估计的数据效率和方差，传统和变分高斯混合模型，以及生成对抗网络的性能。
2022-03-07 cs.IT cs.LG math.IT
Learning Generative Models using Denoising Density Estimators
CSEM（瑞士电子与微技术中心）；University of Maryland（马里兰大学）；ETHZ（苏黎世联邦理工学院）
学习概率模型，可以估计给定样本集的密度，并从该密度生成样本，是无监督机器学习的基本挑战之一。我们引入了一个新的生成模型的基础上去噪密度估计（DDE），这是标量函数参数化的神经网络，有效地训练代表核密度估计的数据。利用DDE，我们的主要贡献是一种新的技术，通过直接最小化KL发散来获得生成模型。我们证明，我们的算法获得生成模型是保证收敛到正确的解决方案。我们的方法不需要特定的网络架构，在规范化流程，也不使用常微分方程求解器在连续规范化流程。实验结果表明，在生成模型训练中，密度估计和竞争性能有了很大的改善。
2020-06-09 cs.CV cs.LG stat.ML
Manifold Topology Divergence: a Framework for Comparing Data Manifolds
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；CNRS（法国国家科学研究中心）；Paris University（巴黎大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））
该研究提出基于Cross-Barcode的流形拓扑散度MTop-Divergence框架，用于比较数据流形、评估深度生成模型，可检测多种生成缺陷，扩展性好且领域无关。
2021-10-28 cs.AI cs.CV cs.LG
Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling
School of Information Technology, Monash University Malaysia（马来西亚莫纳什大学信息技术学院）
本文提出变分势流（VAPO）框架，通过学习势能函数引导先验样本密度演化逼近数据似然同伦，无需MCMC采样，在CIFAR-10和CelebA上取得有竞争力的FID分数。
2024-07-21 cs.AI cs.LG cs.NE
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Quantitatively Evaluating GANs With Divergences Proposed for Training
Janelia Research Campus, HHMI（霍华德·休斯医学研究所珍妮莉亚研究园区）；AIFounded Inc.（人工智能基金会公司）；University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
生成对抗网络（GANs）在近似高维输入数据样本的复杂分布方面非常有效，并且在理论和应用方面都在理解和改进GAN性能方面取得了实质性进展。然而，我们目前缺乏定量的模型评估方法。正因为如此，虽然提出了许多GAN变体，但我们对其相对能力的了解相对较少。在本文中，我们使用通常仅用于训练的发散和距离函数来评估各种类型的GANs的性能。我们观察到各种建议指标的一致性，有趣的是，测试时间指标不支持使用相同训练时间标准的网络。我们还将所提出的指标与人类感知分数进行比较。
2018-04-28 cs.LG
