Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
Inria（法国国家信息与自动化研究所）
本文梳理生成建模中不同技术的高层数学原理，揭示最优传输与薛定谔桥、流匹配等标准方法之间的联系。
2026-06-29 cs.LG stat.ML
DisKO: Deep Koopman Learning in Distribution Space from Unpaired Snapshots
DisKO通过联合学习分布可观测函数、有限维库普曼表示和生成映射，在分布空间中实现深度库普曼学习，在七个基准上达到最优外推性能并显著降低长时程误差累积。
2026-09-29 cs.LG math.DS
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
Knowledge-Based Regularization in Generative Modeling
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）
先验领域知识可以极大地帮助学习生成模型。然而，将先验知识硬编码为特定的模型架构通常成本太高，因此我们通常不得不使用通用模型。在本文中，我们提出了一种方法，将先验知识的特征关系到通用生成模型的学习。为此，我们制定了一个正则化，使边缘的生成模型，以遵循规定的相对依赖的功能。它可以被纳入许多生成模型的现成学习方法中，包括变分自编码器和生成对抗网络，因为它的梯度可以使用标准的反向传播技术计算。通过在多种数据集和生成模型上的实验，我们证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
Autoregressive Quantile Networks for Generative Modeling
DeepMind（深度思维）
我们引入了自回归隐式分位数网络（AIQN），这是一种与常用方法根本不同的生成建模方法，它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进，而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中，我们使用AIQN扩展了PixelCNN模型，并使用Inception score，FID，非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到，AIQN产生了一个高度稳定的算法，提高了感知质量，同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
General Invertible Transformations for Flow-based Generative Modeling
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在本文中，我们提出了一类新的可逆变换的应用程序流为基础的生成模型。我们指出可逆逻辑和可逆神经网络中许多著名的可逆变换都可以从我们的命题导出。接下来，我们提出了两个新的耦合层，它们是基于流的生成模型的重要构建块。在数字数据的实验中，我们介绍了如何将这些新的耦合层可以使用在离散流（IDF），他们取得了更好的结果比标准的耦合层使用在IDF和RealNVP。
2021-07-12 cs.LG stat.ML
Defending Neural Backdoors via Generative Distribution Modeling
Duke University（杜克大学）
神经后门攻击是深度学习面临的一个严重安全威胁，而现有的防御方法能力有限，特别是对于复杂的后门触发器。在这项工作中，我们探索了所有可能的后门触发器的像素值所形成的空间。攻击者用来构建后门模型的原始触发器仅表示空间中的一个点。然后将其推广为有效触发器的分布，所有这些触发器都可以影响后门模型。因此，仅对触发分布的一个点进行建模的先前方法是不够的。获取整个触发器分布，例如，通过生成建模，是有效防御的关键。然而，现有的生成建模技术的图像生成不适用于后门的情况下，触发分布是完全未知的。在这项工作中，我们提出了最大熵阶梯近似器（MESA），一个算法的高维无采样生成建模，并使用它来恢复触发分布。我们还开发了一种防御技术，从后门模型中删除触发器。我们在Cifar 10/100数据集上的实验证明了MESA在建模触发分布方面的有效性和所提出的防御方法的鲁棒性。
2019-11-06 cs.LG stat.ML
Proximal Optimal Transport Modeling of Population Dynamics
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
我们提出了一种新的方法来模拟随着时间的推移而演变的粒子群体的集体动力学。在具有挑战性的科学应用中，特别是单细胞基因组学，通常情况下，测量这些粒子的特征需要破坏它们。因此，只能通过周期性快照来监测粒子群，这些快照是通过对一些粒子进行采样来获得的，这些粒子是为了换取测量而牺牲的。如果我们只能够看到这些快照，我们是否能够为所有其他粒子重建可能的单个轨迹？我们建议将这些轨迹建模为因果Jordan-Kinderlehrer-Otto（JKO）措施流的集体实现：JKO方案假定人口在时间$t+1$采取的新配置是一个权衡改进的配置，在这个意义上说，它降低了能量，同时保持接近（在Wasserstein距离中）在$t$观察到的先前配置。为了只使用快照来学习这样的能量，我们提出了JKOnet，这是一种神经架构，它可以在给定参数能量和点的初始配置的情况下计算（以端到端可微的方式）JKO流。我们证明了良好的性能和鲁棒性的JKOnet拟合过程相比，一个更直接的方法。
2022-02-18 cs.LG
Generative Flow Networks for Discrete Probabilistic Modeling
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
提出了一种新的高维离散数据概率建模算法--基于能量的生成流网络（EB-GFN）。基于生成流网络（GFlowNets）理论，我们通过随机数据构建策略对生成过程进行建模，从而将昂贵的MCMC探索分摊到从GFlowNet采样的固定数量的动作中。我们展示了GFlowNets如何近似执行大块Gibbs采样以在模式之间混合。我们提出了一个框架，共同训练一个GFlowNet的能量函数，使GFlowNet学习从能量分布采样，而能量学习与近似MLE目标与负样本从GFlowNet。我们证明了EB-GFN的各种概率建模任务的有效性。代码可在https://github.com/zdhNarsil/EB_GFN上公开获取。
2022-06-08 cs.LG stat.ML
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science Technology Austria（奥地利科学技术研究所）
本文为分数匹配方法建立了统计样本复杂度界，证明用深度ReLU网络和随机梯度下降可准确估计分数函数，并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Generative Modeling by Inclusive Neural Random Fields with Applications in Image Generation and Anomaly Detection
Tsinghua University（清华大学）
神经随机场（NRF），是指一类使用神经网络来实现随机场中的势函数的生成模型（也称为基于能源的模式）并不是新的，但由于进展缓慢而受到的关注较少。与生成对抗网络（GANs）等各种有向图模型不同，NRF为生成建模提供了一系列有趣的无向图模型。在本文中，我们提出了一种新的方法，包括NRF的方法，学习NRF连续数据（如图像），通过引入包括发散最小化辅助生成器和发展随机梯度采样在增广空间。基于新的方法，具体的包容性NRF模型的开发和深入评估两个重要的生成建模应用程序-图像生成和异常检测。所提出的模型在这两个应用程序中始终改善了最先进的结果。值得注意的是，除了卓越的样本生成之外，我们的包容性NRF方法的另一个好处是，与GANs不同，它可以直接为样本评估提供（非归一化）密度估计。这些贡献和成果，本文显着推进NRFs的学习和应用到一个新的水平，在理论和实证，这是从来没有得到过的。
2020-07-22 cs.LG stat.ML
Permutation Invariant Graph Generation via Score-Based Generative Modeling
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
学习图结构数据的生成模型是具有挑战性的，因为图是离散的、组合的，并且底层数据分布对节点的排序是不变的。然而，大多数现有的生成模型的图是不恒定的选择的顺序，这可能会导致一个不希望的偏差，在学习的分布。为了解决这个困难，我们提出了一个置换不变的方法来建模图，使用最近的框架，基于分数的生成建模。特别地，我们设计了一个置换等变的多通道图神经网络来对输入图处的数据分布的梯度进行建模（也称为，功能）。这种置换等变梯度模型隐含地定义了图的置换不变分布。我们用分数匹配训练这个图神经网络，并用退火的Langevin动力学对其进行采样。在我们的实验中，我们首先证明了这种新的架构在学习离散图算法的能力。对于图生成，我们发现我们的学习方法在基准数据集上取得了比现有模型更好或相当的结果。
2020-03-02 cs.LG stat.ML
Applying Regularized Schrödinger-Bridge-Based Stochastic Process in Generative Modeling
Seoul National University（首尔国立大学）
与深度生成建模中现有的基于函数的模型相比，最近提出的扩散模型通过基于随机过程的方法实现了出色的性能。但由于离散化的时间步长较多，该方法需要较长的采样时间。基于薛定谔桥（SB）的模型试图通过训练分布之间的双向随机过程来解决这个问题。然而，与生成模型（如生成对抗网络）相比，它们的采样速度仍然很慢。由于双向随机过程的训练，它们需要相对较长的训练时间。因此，本研究试图减少所需的时间步长和训练时间，并提出了正则化项到现有的SB模型，使双向随机过程的一致性和稳定性与减少的时间步长。每个正则化项被集成到单个项中，以便在计算时间和内存使用方面实现更有效的训练。将该正则化随机过程应用于各种生成任务，得到了不同分布之间的期望平移，从而证实了基于具有更快采样速度的随机过程的生成建模的可能性。该代码可在https://github.com/KiUngSong/RSB上获得。
2022-08-15 cs.LG stat.ML
Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling
University of Louisiana at Lafayette（路易斯安那州立大学）；Presidency College
本研究提出基于哈密顿力学的辛生成网络SGN，通过辛结构实现隐空间到数据空间的可逆保体积映射，无需雅可比行列式计算即可精确估计似然，并建立了含理论证明、复杂度分析等的完整理论框架，为后续研究与应用奠基。
2025-10-29 cs.LG stat.ML
Score-Based Generative Modeling through Stochastic Differential Equations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
从数据中创建噪声很容易;从噪声中创建数据是生成建模。我们提出了一个随机微分方程（RSDs），通过缓慢注入噪声，将复杂的数据分布平滑地转换为已知的先验分布，以及相应的逆时RSDs，通过缓慢去除噪声，将先验分布转换回数据分布。重要的是，逆时梯度仅取决于扰动数据分布的时间相关梯度场（\aka，分数）。通过利用基于分数的生成建模的进步，我们可以用神经网络准确地估计这些分数，并使用数值解算器来生成样本。我们表明，这个框架封装了以前的方法在基于分数的生成建模和扩散概率建模，允许新的采样程序和新的建模能力。特别是，我们引入了一个预测-校正框架来校正离散逆时模型演化中的错误。我们还推导出一个等价的神经ODE，它从与神经元相同的分布中采样，但另外还可以进行精确的似然计算，并提高采样效率。此外，我们提供了一种新的方法来解决逆问题的分数为基础的模型，类条件生成，图像修补和彩色化的实验证明。结合多个架构改进，我们在CIFAR-10上实现了破纪录的无条件图像生成性能，Inception评分为9.89，FID为2.20，竞争可能性为2.99 bits/dim，并首次从基于得分的生成模型中展示了1024 x 1024图像的高保真生成。
2021-02-10 cs.LG stat.ML
Implicit Generative Modeling for Efficient Exploration
Oregon State University（俄勒冈州立大学）；Horizon Robotics（地平线机器人）
有效的探索仍然是强化学习中具有挑战性的问题，特别是对于那些来自环境的奖励稀疏的任务。探索这种环境的一种常用方法是引入某种“内在”奖励。在这项工作中，我们专注于模型的不确定性估计作为一个内在的奖励，有效的探索。特别是，我们引入了一个隐式生成建模方法来估计贝叶斯不确定性的代理的信念的环境动态。从我们的生成模型中进行的每次随机抽取都是一个神经网络，它将动态函数实例化，因此多次抽取将近似于后验，并且基于该后验的未来预测的方差被用作探索的内在奖励。我们设计了一个基于摊余Stein变分梯度下降的生成模型的训练算法。在实验中，我们将我们的实现与最先进的基于内在奖励的探索方法进行比较，包括两种基于动态模型集成的最新方法。在具有挑战性的探索任务中，我们的隐式生成模型在探索数据效率方面始终优于竞争方法。
2020-07-14 cs.LG stat.ML
Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds
Heidelberg University（海德堡大学）
本文提出一种基于因子分解离散测度子流形上连续归一化流的离散分布生成模型，通过嵌入元单纯形与数据驱动平均逼近非因子分解分布，并利用测地线流匹配实现高效训练，避免了传统离散化问题。
2024-02-12 cs.LG stat.ML
Joint Velocity-Growth Flow Matching for Single-Cell Dynamics Modeling
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院）；LMAM and School of Mathematical Sciences, Peking University（北京大学理学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出联合速度-增长流匹配（VGFM），通过流匹配同时学习单细胞状态转移与质量增长，解决快照数据不配对和不平衡问题，并在合成与真实数据上验证其优于现有单细胞动力学建模方法。
2025-11-08 cs.LG
Input Snapshots Fusion for Scalable Discrete-Time Dynamic Graph Neural Networks
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Pennsylvania State University（宾夕法尼亚州立大学）；Dalian University of Technology（大连理工大学）
针对离散时间动态图中时间边探索不足及现有方法计算成本高的问题，提出SFDyG模型，融合霍克斯过程与图神经网络，实现高效训练并在8个数据集的未来链路预测任务中持续优于现有方法。
2025-02-12 cs.LG
Quality Measures for Dynamic Graph Generative Models
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
针对动态图生成模型评估中静态快照离散化方法的局限性，本文提出一种基于 Johnson-Lindenstrauss 引理的随机投影标量度量方法，有效捕捉动态图非均匀演化特征，克服了传统方法在特征拓扑敏感度与大规模运行时上的不足。
2025-03-03 cs.LG
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology（香港科技大学）
本文考虑了双向生成建模的一般$f$ -发散公式，其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法，这种配方，其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中，我们表明，不同的分歧诱导类似的算法在梯度评估，除了不同的缩放。因此，本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究，证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Generative Code Modeling with Graphs
Microsoft Research（微软研究院）
源代码的生成模型是一个有趣的结构化预测问题，需要对严格的语法和语义约束以及自然的、可能的程序进行推理。我们提出了一个新的模型，这个问题，使用一个图形来表示所生成的输出的中间状态。生成过程将语法驱动的扩展步骤与图形增强和神经消息传递步骤交织在一起。实验评估表明，我们的新模型可以生成语义上有意义的表达式，优于一系列强基线。
2019-04-16 cs.LG cs.PL stat.ML
Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用科学大学魏玛-施维林分校）；Bielefeld University（比勒菲尔德大学）
本文提出一个概率框架，正式定义基于示例的解释，弥合深度生成建模与可解释性文献的鸿沟，以促进沟通、严谨性和研究进展。
2025-09-10 cs.CY cs.LG stat.ML
Deep Generative Modeling with Backward Stochastic Differential Equations
Shanghai AI Laboratory（上海人工智能实验室）
本文提出新型深度生成模型BSDE-Gen，结合倒向随机微分方程与深度神经网络生成高维复杂数据，提供了理论框架、模型架构、MMD损失函数及实验结果。
2023-04-08 cs.LG math.PR stat.ML
Generative Image Modeling Using Spatial LSTMs
University of Tübingen（图宾根大学）
对自然图像的分布进行建模具有挑战性，部分原因是可以扩展到数百个像素的强统计依赖性。递归神经网络已经成功地在许多问题中捕获了长距离依赖关系，但直到最近才找到了用于生成图像模型的方法。在这里，我们介绍了一个经常性的图像模型的基础上，多维长短期记忆单元，特别适合于图像建模，由于其空间结构。我们的模型可扩展到任意大小的图像，并且其可能性在计算上是易于处理的。我们发现，它优于最先进的几个图像数据集的定量比较，并产生有前途的结果时，用于纹理合成和修复。
2015-09-18 cs.CV cs.LG stat.ML
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi（德里印度理工学院）
时态图表示实体之间的动态关系，并且出现在许多现实生活应用中，如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中，我们全面回顾了神经时间依赖图表示学习和生成建模方法，提出了在最近的时间处理图。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
Modeling documents with Generative Adversarial Networks
Aylien Ltd.（Aylien有限公司）
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型，该模型是基于最近提出的基于能量的GAN，而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
KROM: Kernelized Reduced Order Modeling
Department of Computing and Mathematical Sciences, Caltech（计算与数学科学系，加州理工学院）
KROM提出了一种基于核的降阶建模方法，通过经验核适应问题结构，提升非线性PDE求解效率。
2026-02-27 cs.LG cs.NA math.NA
Generative Modeling via Tree Tensor Network States
University of Chicago（芝加哥大学）
在本文中，我们提出了一个密度估计框架的基础上树张量网络状态。所提出的方法包括确定树的拓扑结构与Chow-Liu算法，并获得一个线性方程组，通过素描技术定义的张量网络组件。为了考虑包含循环的图形模型，开发了草图功能的新选择。样本的复杂性保证，并进一步证实了数值实验。
2022-09-03 cs.LG quant-ph stat.ML
Parameter-Conditioned Sequential Generative Modeling of Fluid Flows
Stanford University（斯坦福大学）；Texas A & M University（德克萨斯农工大学）
与模拟流体流动相关联的计算成本可能使得在多个流动条件下运行许多模拟是不可行的。基于生成式建模的概念，我们引入了一种新的方法来学习神经网络模型，能够对流体流动进行有效的参数化模拟。评估其模拟二维和三维流体流动的能力，训练的模型被证明可以在各种流动条件下捕获流场的局部和全局特性。此外，由训练模型生成的流动模拟被示出为比相应的计算流体动力学模拟快几个数量级。
2019-12-14 cs.LG physics.comp-ph stat.ML
Geometrical Insights for Implicit Generative Modeling
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；Inria（法国国家信息与自动化研究所）
隐式生成模型的学习算法可以优化各种衡量数据分布与隐式模型分布差异的标准，包括瓦瑟斯坦距离、能量距离和最大平均离散度标准。仔细观察由这些距离在概率测度空间上所引起的几何，就会发现有趣的差异。特别是，我们可以建立令人惊讶的近似全局收敛保证的$1$ -瓦瑟斯坦距离，即使当参数发生器有一个非凸参数化。
2019-08-21 cs.AI cs.LG stat.ML
Diffusion map particle systems for generative modeling
Massachusetts Institute of Technology（麻省理工学院）
提出扩散映射粒子系统（DMPS），结合扩散映射与LAWGD实现无需离线训练、少调参的生成建模，在中等维度数据上表现更优。
2024-12-18 cs.LG stat.CO stat.ML
A Logic-based Approach to Generatively Defined Discriminative Modeling
Tokyo Institute of Technology（东京工业大学）；Meijo University（名城大学）
条件随机场（CRF）通常是指定的图形模型，但在本文中，我们提出使用概率逻辑程序，并指定他们产生。我们的意图是，首先提供一个统一的方法，CRF复杂的建模，通过使用图灵完备语言和第二，提供一个方便的方式来实现生成判别对机器学习比较生成和判别模型，并选择最好的模型。我们实现了我们的方法作为D-PRISM语言修改PRISM，一个基于逻辑的概率建模语言生成建模，同时利用其动态规划机制，有效的概率计算。我们用逻辑回归、线性链CRF和CRF-CFG测试了D-PRISM，并在经验上证实了它们与生成对应物（即，朴素贝叶斯，HMM和PCFG。我们还介绍了新的CRF模型，CRF-BNC和CRF-LCG。它们分别是贝叶斯网络分类器和概率左角文法的CRF版本，并且易于在D-PRISM中实现。我们的经验表明，他们的表现优于他们的生成同行的预期。
2014-10-15 cs.LG
Trans-Dimensional Generative Modeling via Jump Diffusion Models
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；CNRS ENS Ulm（法国国家科学研究中心巴黎高等师范学院）
本文提出基于跳跃扩散过程的生成模型，通过联合建模状态与维度来处理维度可变数据，并在分子和视频数据集上验证了其在插补和插值任务中的优势。
2023-10-30 cs.CV cs.LG stat.ML
Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings
Toronto Metropolitan University（多伦多都会大学）
该研究构建类别增量学习数学框架，从理论上证明判别式建模因任务混淆无法达到最优，而生成式建模可克服该问题，并据此评估多种主流策略。
2024-10-28 cs.LG
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Symmetry-Aware Generative Modeling through Learned Canonicalization
Mila（米拉）；McGill University（麦吉尔大学）
本文提出通过学习规范化网络生成对称密度，避免传统不变先验与等变生成过程的局限，提升分子建模的样本质量和推理速度。
2026-04-12 cs.LG
Posterior Mean Matching: Generative Modeling through Online Bayesian Inference
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
本文提出基于贝叶斯推断的生成式建模新方法PMM，利用共轭分布对和在线贝叶斯推断迭代细化目标分布，在语言建模和图像生成任务中表现出与现有模型相媲美的性能。
2024-12-19 cs.AI cs.LG stat.ML
Conformal Generative Modeling on Triangulated Surfaces
California Institute of Technology（加州理工学院）
我们提出了共形生成建模，生成建模的框架近似离散三角形网格的2D表面。我们的方法利用离散共形几何的进步，开发一个简单的流形（如球体）的源三角形网格到目标三角形网格的映射。在考虑了网格离散化引起的误差之后，我们可以使用为简单流形开发的任何生成式建模方法作为即插即用的子例程。我们在多个复杂流形和多个生成式建模子程序上展示了我们的框架，我们表明我们的方法可以从样本中学习网格上分布的良好估计，并且还可以同时从同一底层流形的多个不同网格中学习。
2023-03-17 cs.CG cs.LG
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
Generative Modeling with Denoising Auto-Encoders and Langevin Sampling
MIT（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们研究了生成建模方法的收敛性，该方法首先使用去噪自动编码器（DAE）或去噪分数匹配（DSM）估计分布的得分函数，然后采用Langevin扩散进行采样。我们表明，DAE和DSM提供高斯平滑人口密度的分数的估计，使我们能够应用经验过程的机器。我们克服了只依赖于$L^2$边界的分数估计误差的挑战，并提供有限样本界之间的瓦瑟斯坦距离的法律的总体分布和法律的抽样方案。然后，我们将我们的结果应用于arXiv：1907.05600的同伦方法，并为其经验成功提供理论依据。
2022-10-11 cs.LG math.PR stat.ML
Nonparametric Generative Modeling with Conditional Sliced-Wasserstein Flows
Sea AI Lab（Sea人工智能实验室）
本文提出条件切片- Wasserstein 流（CSWF）实现非参数条件生成，并引入图像归纳偏置，在条件和无条件任务上达到与深度参数模型相当的生成性能。
2023-07-25 cs.LG
Modeling Cell Dynamics and Interactions with Unbalanced Mean Field Schrödinger Bridge
LMAM and School of Mathematical Sciences, Peking University（北京大学理学院和数学科学学院）；Center for Quantitative Biology, Peking University（北京大学定量生物学中心）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；NELBDA, Peking University（北京大学NELBDA研究中心）；AI for Science Institute, Beijing（北京人工智能科学研究院）
针对快照数据中细胞动力学建模忽视细胞间相互作用的问题，提出非平衡平均场薛定谔桥框架及深度学习算法CytoBridge，通过显式建模细胞转变、增殖和相互作用，在合成和真实数据上更准确地识别模式并重建发育景观。
2025-10-25 cs.LG math.OC q-bio.QM
Implicit Modeling -- A Generalization of Discriminative and Generative Approaches
Dresden University of Technology（德累斯顿工业大学）
我们提出了一种新的建模方法，是一个泛化的生成和歧视性模型。其核心思想是通过仅指定条件分布来使用联合概率分布的隐式参数化。所提出的方案结合了两个世界的优点-它可以使用强大的复杂的判别模型作为其部分，同时具有更好的泛化能力。我们彻底评估所提出的方法，一个简单的分类任务与人工数据，并说明其优势，为真实的场景上的语义图像分割问题。
2016-12-05 cs.LG
Unsupervised Generative Modeling Using Matrix Product States
Peking University（北京大学）；Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）
生成式建模是从数据中学习联合概率分布，并根据联合概率分布生成样本的一种方法，是机器学习和人工智能领域的一项重要任务。受量子物理概率解释的启发，我们提出了一个生成模型，使用矩阵乘积状态，这是一个张量网络最初提出的描述（特别是一维）纠缠量子态。我们的模型具有类似于密度矩阵重整化群方法的高效学习，该方法允许动态调整张量的维度，并为生成任务提供了一种高效的直接采样方法。我们将我们的方法应用于几个标准数据集的生成建模，包括条形图和条纹图，随机二进制模式和MNIST手写数字，以说明我们的模型相对于流行的生成模型（如Hopfield模型，Boltzmann机和生成对抗网络）的能力，特点和缺点。我们的工作揭示了未来探索量子启发算法的许多有趣方向，这些算法用于无监督机器学习，有望在量子设备上实现。
2018-07-19 cond-mat.stat-mech cs.LG quant-ph
Modeling urbanization patterns with generative adversarial networks
Massachusetts Institute of Technology（麻省理工学院）；Lawrence Berkeley National Laboratory (LBNL)（劳伦斯伯克利国家实验室）；German Aerospace Center (DLR)（德国航空航天中心）；Philips Research U.S.A.（飞利浦美国研究院）；University of California, Berkeley（加州大学伯克利分校）
在这项研究中，我们提出了一种新的方法来模拟超现实的城市模式，使用生成对抗网络训练与全球城市土地利用清单。我们生成了一个合成的城市“宇宙”，它在质量上再现了在全球城市模式中观察到的复杂空间组织，同时能够定量地恢复某些关键的高层次城市空间指标。
2018-01-08 cs.LG
Constrained Generative Modeling with Manually Bridged Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；InvertedAI
本文提出手动桥接扩散模型框架，支持多重约束组合与数据分布适配，理论验证有效，并应用于自动驾驶轨迹初始化建模。
2025-02-27 cs.LG
On Training Sample Memorization: Lessons from Benchmarking Generative Modeling with a Large-scale Competition
National Taiwan University（台湾大学）；Google（谷歌）；Kaggle（卡格尔）
自然图像生成模型的许多最新发展都依赖于以数学为动机的度量，这些度量可以通过记忆真实分布中的小样本或直接训练模型来改进度量来轻松地进行游戏。在这项工作中，我们通过设计和部署生成建模竞赛来严格评估这些指标的可玩性。我们的比赛收到了超过11000提交的模型。参与者之间的竞争使我们能够调查生成建模中的有意和无意记忆。为了检测有意记忆，我们提出了“记忆告知Fréchet起始距离”（MiFID）作为一种新的记忆感知度量和设计基准程序，以确保获奖作品在感知质量方面取得了真正的改善。此外，我们手动检查1000个表现最好的模型的代码，以理解和标记不同形式的记忆。我们的分析表明，无意记忆是一个严重的和常见的问题，在流行的生成模型。这些模型的生成图像和我们的记忆标签以及计算MiFID的代码被发布，以促进未来对基准生成模型的研究。
2021-06-06 cs.LG
Generative Temporal Link Prediction via Self-tokenized Sequence Modeling
Central University of Finance and Economics（中央财经大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；iFLYTEK（科大讯飞）
我们形式化的网络与不断发展的结构作为时态网络，并提出了一个生成的链接预测模型，生成链接序列建模（GLSM），预测未来的链接时态网络。GLSM捕获的时间链接形成模式，从观察到的链接与序列建模框架，并有能力产生新的链接，从潜在的未来链接的概率分布推断。为了避免将每个链路视为唯一令牌而导致的过拟合，我们提出了一种自令牌化机制，将网络中的每个原始链路自动转换为抽象聚合令牌。自标记化无缝集成到序列建模框架中，这使得所提出的GLSM模型具有发现原始链接序列之外的链接形成模式的泛化能力。我们比较GLSM与现有的最先进的方法在五个真实世界的数据集。实验结果表明，GLSM获得未来的积极联系，有效地在一个生成的方式，同时实现最好的性能（2- 10%的改善AUC）在其他替代品。
2020-04-27 cs.IR cs.LG cs.SI
No-Regret Generative Modeling via Parabolic Monge-Ampère PDE
本文提出基于离散抛物型Monge-Ampère偏微分方程的生成建模框架，通过镜像梯度下降步在Brenier映射空间中迭代优化，并通过无遗憾分析建立理论保证，证明在多种步长调度下迭代收敛于最优Brenier映射。
2026-04-01 cs.LG math.OC math.ST
Compositional Generative Modeling from Decentralized Data
Department of Computer Science and Engineering, Michigan State University, East Lansing, MI, USA（计算机科学与工程系，密歇根州立大学，东兰辛，MI，美国）
提出去中心化组合流匹配（DCFM）框架，通过结构约束实现分散数据中生成因子的组合，无需交换原始数据，在条件图像生成、机器人空间规划和医学属性共现建模中显著优于基线。
2026-06-08 cs.LG
Graphite: Iterative Generative Modeling of Graphs
Stanford University（斯坦福大学）
图是关系数据建模的基本抽象。然而，图本质上是离散的和组合的，并且适合于机器学习任务的学习表示提出了统计和计算挑战。在这项工作中，我们提出了Graphite，这是一种使用深度潜变量生成模型对大型图中的节点表示进行无监督学习的算法框架。我们的模型参数化变分自编码器（VAE）与图神经网络，并使用一种新的迭代图细化策略启发低秩近似解码。在各种各样的合成和基准数据集上，Graphite在密度估计、链接预测和节点分类等任务上优于竞争方法。最后，我们推导出图神经网络中的消息传递和平均场变分推断之间的理论联系。
2019-05-15 cs.LG cs.NE cs.SI
Distributionally Robust Optimization via Generative Ambiguity Modeling
Department of Computer Science University of Houston（计算机科学系 休斯顿大学）
本文提出了一种基于生成模型的分布鲁棒优化方法GAS-DRO，通过生成模糊集提升模型在对抗分布下的泛化能力。
2026-02-09 cs.LG
