Bridging Explicit and Implicit Deep Generative Models via Neural Stein Estimators
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
有两种类型的深层生成模型：显式和隐式。前者定义了一个明确的密度形式，允许似然推断;而后者的目标是从随机噪声到生成的样本的灵活变换。虽然这两类生成模型在许多应用中显示出强大的功能，但单独使用时，它们都有各自的局限性和缺点。为了充分利用这两种模型并实现相互补偿，我们提出了一种新的联合训练框架，该框架通过Stein差异将显式（未归一化）密度估计器和隐式样本生成器连接起来。我们表明，我们的方法1）通过内核Sobolev范数惩罚和Moreau-Yosida正则化诱导新的相互正则化，2）稳定训练动态。实验结果表明，与训练单个对应样本相比，该方法可以帮助密度估计器更准确地识别数据模式，并引导生成器输出更高质量的样本。当训练样本被污染或有限时，新方法也显示出有希望的结果。
2021-10-26 cs.LG stat.ML
Geometrical Insights for Implicit Generative Modeling
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；Inria（法国国家信息与自动化研究所）
隐式生成模型的学习算法可以优化各种衡量数据分布与隐式模型分布差异的标准，包括瓦瑟斯坦距离、能量距离和最大平均离散度标准。仔细观察由这些距离在概率测度空间上所引起的几何，就会发现有趣的差异。特别是，我们可以建立令人惊讶的近似全局收敛保证的$1$ -瓦瑟斯坦距离，即使当参数发生器有一个非凸参数化。
2019-08-21 cs.AI cs.LG stat.ML
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam（阿姆斯特丹大学）
图结构数据的深度生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可微模型，可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN，一个隐式的，无可能性的生成模型的小分子图，避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络（GANs）直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合，以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中，我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串（SMILES）的分子表示和直接生成图形的基于可能性的方法相比都很有利，尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
Asymptotically exact inference in differentiable generative models
许多生成模型可以表示为从一些简单的概率密度中提取的随机输入的可微函数。该框架包括深度生成架构（如变分自动编码器）和大量程序定义的模拟器模型。我们提出了一种方法，用于在这样的模型中进行有效的MCMC推理时，对模型输出的观察条件。对于某些模型，这提供了一种渐进精确的推断方法，否则可能会采用近似贝叶斯计算。我们使用的直觉，推理对应于集成的密度在流形上对应的一组输入与观察到的输出一致。这促使使用哈密顿蒙特卡罗的约束变体，其利用流形的平滑几何形状在与观测完全一致的输入之间连贯地移动。我们通过在不同的模型集执行推理任务来验证该方法。
2017-03-02 stat.CO stat.ML
A Kernelised Stein Statistic for Assessing Implicit Generative Models
University of Oxford（牛津大学）
合成数据生成已成为训练机器学习程序的关键要素，可以解决数据增强、分析隐私敏感数据或可视化代表性样本等任务。因此，必须解决评估这种合成数据生成器的质量问题。由于合成数据的（深度）生成模型通常不允许显式概率分布，因此用于评估模型拟合优度的经典统计程序可能不适用。在本文中，我们提出了一个原则性的程序来评估合成数据生成器的质量。该程序是一个核化的Stein差异（KSD）型测试，它是基于一个非参数的Stein算子的合成数据生成器的兴趣。该算子根据从合成数据生成器获得的样本进行估计，因此即使在模型仅为隐式时也可以应用。与经典测试相比，来自合成数据生成器的样本量可以如所期望的那样大，而生成器旨在模拟的观测数据的大小是固定的。在合成分布和真实数据集上训练生成模型的实验结果表明，与现有方法相比，该方法具有更好的功率性能。
2022-05-31 cs.LG stat.ML
Controlling Dependence in Implicit Generative Models via Spread Mutual Information
University of Oxford（牛津大学）；University of Bristol（布里斯托尔大学）；University of Cambridge（剑桥大学）
本文提出扩散互信息（SMI），通过加权积分噪声水平上的互信息，解决隐式生成模型中依赖控制的密度估计难题，实验表明其有效且竞争力强。
2026-10-08 cs.LG stat.ML
Variational Inference using Implicit Distributions
Twitter（推特）
生成对抗网络（GANs）为我们提供了一个很好的工具，可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布，并且可以对样本对模型参数求导。这些模型是高度表达，我们认为他们可以证明是一样有用的变分推断（VI），因为他们是生成建模。有几篇论文提出了类似GAN的推理算法，然而，与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾，这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次，本文提供了一个框架，用于建立新的算法：根据变分界的方式表示，我们引入先验对比和联合对比的方法，并显示实际的推理算法的基础上，无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Differentiable Learning of Quantum Circuit Born Machine
Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）；CAS Center for Excellence in Topological Quantum Computation, University of Chinese Academy of Sciences（中国科学院大学拓扑量子计算卓越创新中心）
量子线路玻恩机是将经典数据集的概率分布表示为量子纯态的生成模型。量子采样问题的计算复杂性的考虑表明，相比于经典的神经网络，量子线路表现出更强的可表达性。通过对量子比特的投影测量，可以有效地从量子线路中提取样本。然而，与深度学习中领先的隐式生成模型（如生成对抗网络）类似，量子线路无法提供生成样本的可能性，这对训练提出了挑战。我们设计了一个有效的基于梯度的学习算法的量子线路玻恩机通过最小化内核的最大平均差异损失。我们使用深量子线路模拟了条形数据集和高斯混合分布的生成建模。我们的实验表明了电路深度和基于梯度的优化算法的重要性。所提出的学习算法可在近期量子器件上运行，并且可以表现出生成式建模的量子优势。
2018-04-11 cs.LG quant-ph stat.ML
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论上有基础的方法来指导GANs的训练轨迹，方法是用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-03 cs.LG math.DS stat.ML
Learning Implicit Generative Models with Theoretical Guarantees
Xi’an Jiaotong University（西安交通大学）；University of Iowa（爱荷华大学）；Wuhan University（武汉大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
我们提出了一个\textbf{uni} fied \textbf{f}算法，用于\textbf{i}隐式\textbf{ge}生成\textbf{m}建模（UnifiGem），通过集成最佳传输，数值ODE，密度比（密度差）估计和深度神经网络的方法，具有理论保证。首先，将隐式生成学习问题转化为寻找参考分布和目标分布之间的最优传输映射问题，该问题由一个完全非线性的Monge-Ampère方程描述.从测度空间中的梯度流的角度来解释Monge-Ampère方程的无穷小线性化，可以得到连续性方程或McKean-Vlasov方程。然后，我们使用前向欧拉迭代数值求解McKean-Vlasov方程，其中前向欧拉映射取决于当前迭代的分布与底层目标分布之间的密度比（密度差）。我们进一步估计的密度比（密度差）通过深密度比（密度差）拟合，并推导出明确的估计误差的上限。在合成数据集和真实基准数据集上的实验结果支持了我们的理论研究结果，并证明了UnifiGem的有效性。
2020-02-17 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Learning Implicit Generative Models with the Method of Learned Moments
DeepMind（深度心智）
提出了一种用于训练大规模隐式生成模型的矩量法（MoM）算法。在这种情况下，矩估计遇到两个问题：通常很难定义学习模型参数所需的数百万个矩，并且很难确定在指定矩时哪些属性是有用的。为了解决第一个问题，我们引入了矩网络，并将矩定义为网络的隐藏单元和网络输出相对于其参数的梯度。为了解决第二个问题，我们使用渐近理论来强调矩的必要性-即它们应该最小化估计模型参数的渐近方差-并引入一个目标来学习更好的矩。通过这种学习矩方法（MoLM）创建的目标序列可以训练高质量的神经图像采样器。在CIFAR-10上，我们证明了MoLM训练的生成器比使用梯度惩罚正则化和频谱归一化对抗目标训练的生成器实现了更高的初始得分和更低的Frechet初始距离。这些生成器还在CelebA上实现了近乎完美的多尺度结构相似性得分，并可以创建128 x128图像的高质量样本。
2018-06-28 cs.LG stat.ML
Semi-Implicit Graph Variational Auto-Encoders
Texas A&M University（得克萨斯农工大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
提出了半隐式图变分自动编码器（SIG-VAE），以扩展变分图自动编码器（VGAE）对图数据建模的灵活性。SIG-VAE采用分层变分框架来实现相邻节点共享，以更好地生成图依赖结构的建模，以及Bernoulli-Poisson链接解码器。这种分层构造不仅提供了更灵活的生成图模型以更好地捕获真实世界的图属性，而且SIG-VAE自然地导致半隐式分层变分推理，其允许对给定图数据的隐式后验进行忠实建模，其可能表现出重尾、多模式、偏斜和丰富的依赖结构。与VGAE相比，SIG-VAE所导出的图潜在表示更具可解释性，这是由于灵活的半隐式构造所实现的更具表达力的生成模型和更忠实的推理。对各种图形数据的大量实验表明，SIG-VAE在几个不同的图形分析任务上显着优于最先进的方法。
2020-04-22 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Differentiable Physics-informed Graph Networks
University of Southern California（南加州大学）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）
虽然物理学传达了从观察和理论之间的相互作用中建立起来的自然知识，但它在深层神经网络中被认为不那么重要。特别是，很少有工作利用物理行为时，知识是不明确的。在这项工作中，我们提出了一种新的架构称为微分物理知情图网络（DPGN），将隐含的物理知识，这是从领域专家通过通知它在潜在的空间。使用DPGN的概念，我们表明，气候预测任务显着改善。除了实验结果，我们验证了所提出的模块的有效性，并提供DPGN的进一步应用，如归纳学习和多步预测。
2019-02-11 cs.LG stat.ML
CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个对抗训练过程，用于学习给定因果图的因果隐式生成模型。我们表明，如果生成器架构与给定的因果图一致，则对抗训练可以用于学习具有真实观察和干预分布的生成模型。我们考虑了基于给定的二进制标签生成人脸的应用，其中标签之间的依赖结构用因果图来保存。这个问题可以看作是学习图像和标签的因果隐式生成模型。我们设计了一个两阶段的程序来解决这个问题。首先，我们使用与因果图一致的神经网络作为生成器，在二进制标签上训练因果隐式生成模型。我们的经验表明，WassersteinGAN可以用来输出离散标签。随后，我们提出了两种新的条件GAN架构，我们称之为Causal GAN和Causal BEGAN。我们表明，最佳的生成器的CauseGAN，给定的标签，样本从这些标签的条件下的图像分布。然后，与用于标签的经训练的因果隐式生成模型组合的条件GAN是标签和所生成的图像上的因果隐式生成模型。我们表明，所提出的架构可以用于从观察和介入图像分布中进行采样，即使对于数据集中不自然发生的干预也是如此。
2017-09-14 cs.AI cs.IT cs.LG
Encoder-Decoder Generative Adversarial Nets for Suffix Generation and Remaining Time Prediction of Business Process Models
The University of Melbourne（墨尔本大学）
本文提出了一种基于生成对抗网络（GANs）的编码器-解码器架构，该架构以端到端的方式生成活动序列及其时间戳。GANs可以很好地处理图像等可区分的数据。然而，后缀是一系列分类项。为此，我们使用Gumbel-Softmax分布来获得可微连续近似。训练的工作原理是在两个玩家的游戏中让一个神经网络对抗另一个（因此具有“对抗”性质），这导致生成接近地面事实的后缀。从实验评估中可以看出，该方法在预测后缀和相应剩余时间的准确性方面优于基线，尽管使用了朴素的特征编码，并且仅基于控制流和事件完成时间的工程特征。
2020-10-19 cs.LG stat.ML
The Score-Difference Flow for Implicit Generative Modeling
Disney Research（迪士尼研究）
本文提出分数差流作为隐式生成建模的一种新方法，通过最优减少两个分布之间的KL散度，展示了其与去噪扩散模型的等价性，并揭示了生成对抗网络训练中隐含的数据优化子问题与分数差流之间的联系。
2026-05-20 cs.LG stat.ML
Model-based Adversarial Imitation Learning
Technion - Israel Institute of Technology（以色列理工学院）
生成对抗学习是训练生成模型的一种流行的新方法，它在其他相关问题上也被证明是成功的。一般的想法是维护一个oracle $D$，它区分专家的数据分布和生成模型$G$的数据分布。生成模型被训练成通过最大化$D$对其生成的数据进行错误分类的概率来捕获专家的分布。总的来说，该系统是端到端的\emph{differentiable}，并使用基本的反向传播进行训练。这种类型的学习被成功地应用于无模型设置中的政策模仿问题。然而，无模型方法不允许系统是可微的，这需要使用高方差梯度估计。在本文中，我们介绍了基于模型的对抗性模仿学习（MAIL）算法。对抗性模仿学习问题的基于模型的方法。我们展示了如何使用前向模型，使系统完全可微，这使我们能够训练政策使用（随机）梯度的$D$。此外，我们的方法需要相对较少的环境交互，以及更少的超参数来调整。我们在MuJoCo物理模拟器上测试了我们的方法，并报告了超过当前最先进水平的初步结果。
2016-12-07 cs.LG stat.ML
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Autoregressive Quantile Networks for Generative Modeling
DeepMind（深度思维）
我们引入了自回归隐式分位数网络（AIQN），这是一种与常用方法根本不同的生成建模方法，它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进，而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中，我们使用AIQN扩展了PixelCNN模型，并使用Inception score，FID，非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到，AIQN产生了一个高度稳定的算法，提高了感知质量，同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
Learning in Implicit Generative Models
DeepMind
生成对抗网络（GANs）提供了一个算法框架，用于构建具有几个吸引人特性的生成模型：它们不需要指定似然函数，只需要一个生成过程;它们提供了清晰而引人注目的样本;它们允许我们利用我们的知识来构建高度准确的神经网络分类器。在这里，我们发展了对GANs的理解，目的是形成对机器学习这一不断发展的领域的丰富看法-建立与关于这一主题的各种统计思想的联系，其中很多可以通过相互交流思想来获得。我们将GANs构建在隐式生成模型（只指定生成数据的随机过程的模型）中的更广泛的学习算法中，并将这些想法与相关领域的建模问题联系起来，例如计量经济学和近似贝叶斯计算。我们开发了无可能性推理方法，并强调假设检验作为隐式生成模型中学习的原则，使用它我们能够推导出GANs使用的目标函数以及许多其他相关目标。检验的观点将我们的注意力集中在密度比估计的一般问题上。密度比估计有四种方法，其中之一是使用分类器区分真实数据和生成数据的解决方案。其他方法，如发散最小化和矩匹配也已在GAN文献中进行了探索，我们综合这些观点，形成一个理解，它们之间的关系和更广泛的文献，突出未来的探索和交叉授粉的途径。
2017-02-27 cs.LG stat.CO stat.ML
Implicit Manifold Learning on Generative Adversarial Networks
本文提出了一种生成对抗网络（GANs）中的隐式流形学习方法，通过研究学习分布的支持度如何与实际数据分布的支持度$\mathcal{M}_{r}$完美匹配，将学习分布建模为一个子流形$\mathcal{M}_θ$。我们发现，优化詹森-香农发散迫使$\mathcal{M}_θ$完美匹配$\mathcal{M}_{r}$，而优化瓦瑟斯坦距离没有。另一方面，通过比较Jensen-Shannon发散和瓦瑟斯坦距离（$W_1$和$W_2^2$）的原始形式的梯度，我们推测Wasserstein $W_2^2$可能具有理想的性质，如减少模式崩溃。因此，有趣的是设计新的距离，从两个距离中继承最好的。
2017-10-30 stat.ML
Implicit Generative Copulas
TU Darmstadt（达姆施塔特工业大学）
Copula是一个强大的工具，用于建模多元分布，因为它们允许单独估计单变量边缘分布和联合依赖结构。然而，已知的参数copula提供有限的灵活性，特别是在高维，而常用的非参数方法遭受的灾难的维度。一种流行的补救方法是构造一个基于树的条件二元copula层次结构。在本文中，我们提出了一个灵活的，但概念上简单的替代隐式生成神经网络的基础上。关键的挑战是确保估计的copula分布的边缘均匀性。我们通过学习具有未指定边缘但具有所需依赖结构的多变量潜在分布来实现这一点。通过应用概率积分变换，我们可以从高维copula分布中获得样本，而无需依赖于参数假设或需要找到合适的树结构。在金融、物理和图像生成等领域的合成数据和真实数据上的实验证明了该方法的有效性。
2021-11-10 cs.LG q-fin.CP stat.AP
Probabilistic multivariate electricity price forecasting using implicit generative ensemble post-processing
预测不确定性的可靠估计是风险敏感最优决策的关键。在本文中，我们提出了隐式生成集成后处理，多变量概率电价预测的新框架。我们使用一个基于点预测模型集合的无似然隐式生成模型来生成具有一致依赖结构的多变量电价场景，作为联合预测分布的表示。我们的集成后处理方法优于成熟的模型组合基准。这一点在德国日前市场的数据集上得到了证明。由于我们的方法在特定领域的专家模型集合之上工作，因此可以很容易地部署到其他预测任务中。
2020-05-27 econ.EM q-fin.RM q-fin.ST
Generative Latent Implicit Conditional Optimization when Learning from Small Sample
The Hebrew University（希伯来大学）
我们重新审视了长期存在的小样本学习问题，为此，我们提出了一种新的方法，称为GLICO（生成潜在隐式条件优化）。GLICO学习从训练样本到潜在空间的映射以及从潜在空间中的向量生成图像的生成器。与大多数依赖于访问大量未标记数据的最新作品不同，GLICO不需要访问除少量标记点之外的任何其他数据。事实上，GLICO学会了为每个类合成全新的样本，每个类使用5到10个样本，其中只有10个这样的类，而没有任何先验知识。然后，GLICO用于增强小训练集，同时在小样本上训练分类器。为此，我们提出的方法使用球面插值对学习的潜在空间进行采样，并使用训练的生成器生成新的示例。实验结果表明，新的采样集是足够多样的，导致改善图像分类与现有技术相比，当训练的小样本从CIFAR-10，CIFAR-100，和CUB-200。
2020-12-15 cs.CV cs.LG stat.ML
Efficient differentiable quadratic programming layers: an ADMM approach
University of Toronto（多伦多大学）
神经网络架构的最新进展允许将凸优化问题无缝集成为端到端可训练神经网络中的可微层。然而，将中型和大型二次规划集成到深度神经网络架构中是具有挑战性的，因为通过边界点方法精确求解二次规划在变量数量方面具有最坏情况的立方复杂度。在本文中，我们提出了一种替代的网络层架构的基础上的交替方向法的乘法器（ADMM），是能够扩展到一个适度大量的变量的问题。后向微分是通过隐式微分修正定点迭代的残差映射来实现的。仿真结果表明ADMM层的计算优势，这对于中等规模的问题是大约一个数量级的速度比OptNet二次规划层。此外，我们的新的向后通过例程是有效的，从内存和计算的角度来看，在比较的基础上展开的分化或隐式分化的KKT最优性条件的标准方法。最后，我们从投资组合优化的集成预测和优化范例的例子。
2021-12-14 cs.AI cs.LG math.OC
A Characteristic Function Approach to Deep Implicit Generative Modeling
National University of Singapore（新加坡国立大学）
隐式生成模型（IGM），如GANs，已经成为有效的数据驱动模型，用于生成样本，特别是图像。在本文中，我们制定了学习IGM的问题，最小化特征函数之间的期望距离。具体来说，我们最小化的真实和生成的数据分布的特征函数之间的距离下适当选择的加权分布。这种距离度量，我们称之为特征函数距离（CFD），可以（近似）计算线性时间复杂度的样本数，与二次最大平均离散（MMD）。通过用计算流体力学代替GAN评价中的差异度量，我们得到了一个易于实现且对训练稳定的模型。所提出的度量具有理想的理论性质，包括连续性和可微性的发电机参数，和连续性的弱拓扑结构。我们还提出了一种CFD的变体，其中加权分布参数也在训练过程中进行了优化;这消除了手动调整的需要，并导致了相对于CFD的测试能力的提高。我们通过实验证明，我们提出的方法在各种无监督图像生成基准上优于WGAN和MMD-GAN变体。
2020-06-16 cs.LG cs.NE stat.ML
Training Implicit Generative Models via an Invariant Statistical Loss
Universidad Carlos III（卡洛斯三世大学）
本文提出一种无需判别器的隐式生成模型训练方法，通过模型样本变换与均匀分布之间的不变统计损失，先解决一维情形并扩展到多变量和时间序列场景，有效缓解训练不稳定与模式丢失问题。
2024-02-26 cs.AI cs.LG math.ST
Scalable Differentiable Physics for Learning and Control
University of Maryland, College Park（马里兰大学帕克分校）；Intel Labs（英特尔实验室）
微分物理学是一种强大的方法来学习和控制涉及物理对象和环境的问题。虽然已经取得了显着的进展，微分物理求解器的能力仍然有限。我们开发了一个可扩展的框架微分物理，可以支持大量的对象和它们的相互作用。为了适应具有任意几何形状和拓扑结构的对象，我们采用网格作为我们的表示，并利用接触的稀疏性进行可扩展的可微碰撞处理。即使在模拟对象的数量很高时，也可以在局部区域中解决碰撞，以最小化优化变量的数量。进一步加快了非线性约束优化问题的隐式微分算法。实验表明，所提出的框架需要两个数量级的内存和计算相比，最近的粒子为基础的方法。我们进一步验证了反问题和控制方案的方法，在那里它优于无衍生工具和无模型基线至少一个数量级。
2020-07-04 cs.GR cs.LG stat.ML
Implicit Discriminator in Variational Autoencoder
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
最近，生成模型的重点是结合变分自编码器（VAE）和生成对抗网络（GAN）的优点，以获得良好的重建和生成能力。在这项工作中，我们介绍了一种新的混合架构，隐式鉴别变分自编码器（IDVAE），它结合了VAE和GAN，它不需要一个显式的递归网络。IDVAE架构的基本前提是VAE的编码器和GAN的编码器利用共同的特征，因此可以作为共享网络进行训练，而VAE的解码器和GAN的生成器可以组合起来学习单个网络。这导致了具有VAE和GAN两者的属性的简单的两层架构。在真实世界基准数据集上的定性和定量实验表明，IDVAE的性能优于最先进的混合方法。我们通过实验验证了IDVAE可以很容易地扩展到条件设置中，并在复杂数据集上展示了其性能。
2019-09-28 cs.CV cs.LG stat.ML
Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss
Department of Signal Theory and Communications, Carlos III University of Madrid（信号理论与通信系，卡洛斯三世大学）
针对传统隐式生成模型训练不稳定、难捕捉重尾分布特性及高维拓展困难的问题，研究提出基于随机投影和广义帕累托噪声的Pareto-ISL方法，可鲁棒建模多元重尾分布，还可作为GAN预训练技术缓解模式坍缩。
2025-09-04 cs.AI cs.LG stat.CO
Black-Box Optimization with Local Generative Surrogates
Imperial College London（帝国理工学院）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；University of Oxford（牛津大学）
我们提出了一种新的方法，基于梯度优化的黑盒模拟器使用可微的本地代理模型。在物理学和工程学等领域，许多过程都是用不可微的模拟器建模的，具有难以处理的可能性。这些正演模型的优化是特别具有挑战性的，特别是当模拟器是随机的。为了解决这种情况，我们引入了深度生成模型的使用，以在参数空间的局部邻域中迭代地近似模拟器。我们证明，这些本地代理人可以用来近似模拟器的梯度，从而使基于梯度的优化模拟器参数。在模拟器对参数空间的依赖被约束到低维子流形的情况下，我们观察到我们的方法比基线方法更快地达到最小值，包括贝叶斯优化，数值优化和使用得分函数梯度估计的方法。
2020-06-15 cs.LG hep-ex physics.data-an
Trainability barriers and opportunities in quantum generative modeling
本文研究了量子生成模型中 barren plateaus 和指数损失集中对训练的阻碍，探讨了显式与隐式模型的相互作用，并展示了显式损失如KL散度导致新的barren plateaus类型，而隐式MMD损失根据核选择可训练或不可训练。
2026-03-16 cs.LG hep-ex quant-ph
