Learning Deep Generative Models with Doubly Stochastic MCMC
Tsinghua University（清华大学）
我们提出了双随机梯度MCMC，一个简单而通用的方法（近似）贝叶斯推理的深度生成模型（DGMs）在一个崩溃的连续参数空间。该算法在每个MCMC采样步骤中随机抽取一小批数据样本来估计对数后验梯度，并通过神经自适应重要性采样器进一步估计隐变量上的难处理期望，其中建议分布由深度神经网络参数化并联合学习。我们证明了学习各种DGMs在广泛的任务，包括密度估计，数据生成和缺失数据填补的有效性。我们的方法优于许多最先进的竞争对手。
2016-03-07 cs.LG
Benchmarking Stochastic Interpolants for Modeling Physical Systems
Department of Mechanical Engineering（机械工程系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Geophysical Sciences Committee on Computational and Applied Mathematics（地球科学系计算与应用数学委员会）；University of Chicago（芝加哥大学）；LMD/IPSL, CNRS, ENS, Université PSL École Polytechnique, Institut Polytechnique de Paris, Sorbonne Université（LMD/IPSL、CNRS、ENS、Université PSL 工程学院、巴黎理工学院、索邦大学）；Réseau de Transport d’Électricité (RTE)（电力传输网络（RTE））
该研究针对物理系统生成模型多依赖高斯迭代去噪、在PDE等自回归预测中效果有限的问题，提出用随机插值直接学习状态间随机过程，实验验证其采样步骤更少、预测更准，可作为物理模拟的有竞争力基准。
2026-11-11 cs.LG
Finite-Time Convergence Analysis of ODE-based Generative Models for Stochastic Interpolants
IIIS, Tsinghua University（清华大学信息科学研究院）
本文研究了源自随机插值的常微分方程数值实现的有限时间收敛性，为一阶前向欧拉法和二阶 Heun 法建立了全变差距离上的误差界，并通过迭代复杂度分析提供了优化调度以提升计算效率。
2025-08-10 cs.LG
Introduction to Stochastic Differential Equations for Generative Machine Learning: A Variational Perspective
Department of Biology, University of Copenhagen（哥本哈根大学生物系）；Department of Applied Mathematics and Computer Science, Technical University of Denmark（丹麦技术大学应用数学与计算机科学系）；Google DeepMind（谷歌DeepMind）；Technical University of Berlin (TU Berlin)（柏林工业大学）；Technical University of Munich（慕尼黑工业大学）
本文从变分视角出发，介绍常微分和随机微分方程在生成式机器学习中的应用，推导ELBO，并统一讨论扩散模型、分数匹配和流匹配。
2026-07-01 cs.LG
Verlet Flows: Exact-Likelihood Integrators for Flow-Based Generative Models
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
本文提出Verlet流，利用辛积分器启发的Taylor-Verlet积分器在增广状态空间上构建精确似然的连续归一化流，解决了重要性采样中似然近似问题，实验表明其性能与autograd相当且速度更快。
2024-05-05 cs.LG
PI-VEGAN: Physics Informed Variational Embedding Generative Adversarial Networks for Stochastic Differential Equations
Yantai University（烟台大学）
该研究提出新型物理信息神经网络PI-VEGAN，结合自动微分与变分编码器，通过编码器、生成器、判别器交替更新，可有效求解随机微分方程的正、逆及混合问题，相比PI-WGAN具备更优的稳定性与准确性。
2023-07-21 cs.LG
Generalised Flow Maps for Few-Step Generative Modelling on Riemannian Manifolds
University of Oxford（牛津大学）；Harvard University（哈佛大学）；Kempner Institute（凯普纳研究所）；Institute for Artificial Intelligence and Fundamental Interactions, MIT（人工智能与基本相互作用研究所，MIT）；Carnegie Mellon University（卡内基梅隆大学）；AITHYRA（AITHYRA研究所）；Mila（Mila研究所）；Imperial College London（伦敦帝国学院）
本文提出广义流映射（GFM）用于黎曼流形上的少步生成建模，通过自蒸馏方法提升现有生成模型性能。
2026-02-07 cs.LG
Generative Modeling via Kernelized Stochastic Interpolants
CCM, Flatiron Institute, New York, USA（CCM，Flatiron研究所，纽约，美国）；Courant Institute of Mathematical Sciences, New York University, New York, USA（数学科学学院，纽约大学，纽约，美国）
提出一种基于核方法的随机插值生成框架，用线性系统替代神经网络训练，通过求解与数据维度无关的线性系统得到生成SDE的漂移项，并处理扩散系数在t=0处的奇异性，适用于多种特征映射，在金融时间序列、湍流和图像生成中验证有效性。
2026-06-23 cs.LG
StocBench: A Benchmark for Generative Modeling of Stochastic Dynamics
School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）
该研究构建StocBench基准，对比测试多种生成模型与少步方法在随机流体流动概率预测中的性能，明确不同模型在随机与确定性任务、不同推理预算下的表现差异。
2026-08-25 cs.LG
Stochastic Feature Mapping for PAC-Bayes Classification
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
数据分布的概率生成建模可以潜在地利用对判别分类有用的隐藏信息。这一观察激发了将生成模型和判别模型结合起来进行分类的方法的发展。在本文中，我们提出了一种新的方法来耦合生成和歧视性模型在一个统一的框架的基础上PAC-Bayes风险理论。我们首先从一个实际的MAP分类器上生成模型的操作模型参数无关的随机特征映射。然后，我们构造了一个线性随机分类器配备的特征映射，并推导出明确的PAC-Bayes风险界，这种分类器的监督和半监督学习。最小化风险界，使用EM-样的迭代过程，导致一个新的后验隐藏变量（E-步骤）和模型参数的更新规则（M-步骤）。由于采用了特征映射的方法和边界风险的显式形式，使得后验概率的推导总是可行的。导出的后验允许调整生成模型，随后调整特征映射以获得更好的分类。由于特征映射是与模型参数无关的，因此导出的模型参数更新规则与非耦合模型相同。我们的实验表明，数据建模生成模型和判别式分类器之间的耦合，通过在这个框架中的随机特征映射，导致一个一般的分类工具与国家的最先进的性能。
2012-04-16 cs.LG
ODE-free Neural Flow Matching for One-Step Generative Modeling
Baylor University（贝勒大学）
本文提出无微分方程的神经流匹配方法，通过直接学习传输映射实现一步生成，减少推断步骤，提升生成质量。
2026-04-07 cs.LG
Conservative Flows: A New Paradigm of Generative Models
The University of British Columbia（不列颠哥伦比亚大学）；University of Cambridge（剑桥大学）
本文提出一种新的生成模型范式，通过离散随机动力学保持数据分布不变，利用预训练流模型，开发了两种概率保持采样机制，验证了在合成数据集上的优越性。
2026-05-07 cs.LG
Applying Regularized Schrödinger-Bridge-Based Stochastic Process in Generative Modeling
Seoul National University（首尔国立大学）
与深度生成建模中现有的基于函数的模型相比，最近提出的扩散模型通过基于随机过程的方法实现了出色的性能。但由于离散化的时间步长较多，该方法需要较长的采样时间。基于薛定谔桥（SB）的模型试图通过训练分布之间的双向随机过程来解决这个问题。然而，与生成模型（如生成对抗网络）相比，它们的采样速度仍然很慢。由于双向随机过程的训练，它们需要相对较长的训练时间。因此，本研究试图减少所需的时间步长和训练时间，并提出了正则化项到现有的SB模型，使双向随机过程的一致性和稳定性与减少的时间步长。每个正则化项被集成到单个项中，以便在计算时间和内存使用方面实现更有效的训练。将该正则化随机过程应用于各种生成任务，得到了不同分布之间的期望平移，从而证实了基于具有更快采样速度的随机过程的生成建模的可能性。该代码可在https://github.com/KiUngSong/RSB上获得。
2022-08-15 cs.LG stat.ML
Learning Energy-Based Generative Models via Potential Flow: A Variational Principle Approach to Probability Density Homotopy Matching
Monash University Malaysia（墨尔本大学马来西亚分校）
本文提出变分势流贝叶斯（VPFB）框架，通过变分损失匹配流驱动密度同伦，无需隐式MCMC采样，实现稳健高效的基于能量的生成建模，并在图像生成等任务中表现优异。
2025-04-22 cs.LG
Generative Unordered Flow for Set-Structured Data Generation
University of Cambridge（剑桥大学）
本文提出无序流模型，通过函数表示和函数值流匹配学习集合结构数据的概率分布，并结合朗之万动力学与梯度搜索实现逆映射，在多个真实数据集上显著超越基线方法。
2025-06-03 cs.LG
HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations
Harvard University（哈佛大学）；University of Washington（华盛顿大学）；Allen Institute（艾伦研究所）
针对现有随机动力学方程发现方法受维数灾难制约的问题，提出HyperSINDy框架，结合变分编码器、超网络与可训练二值掩码实现稀疏随机控制方程的深度生成建模，可准确恢复真实方程并支持高维系统的不确定性量化。
2023-10-07 cs.LG
Nonparametric Generative Modeling with Conditional Sliced-Wasserstein Flows
Sea AI Lab（Sea人工智能实验室）
本文提出条件切片- Wasserstein 流（CSWF）实现非参数条件生成，并引入图像归纳偏置，在条件和无条件任务上达到与深度参数模型相当的生成性能。
2023-07-25 cs.LG
Generative Flow Networks for Precise Reward-Oriented Active Learning on Graphs
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）
提出 GFlowGNN，将图主动学习建模为生成流过程，通过流节点、流特征和奖励驱动的策略网络实现与奖励成比例的采样，提升探索与迁移性能。
2023-04-24 cs.LG
Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila；Google（谷歌）；CIFAR
在这项工作中，我们提出了一个新的家庭的生成流的增强数据空间，目的是提高表现力，而不会大幅增加计算成本的采样和评估的下限的可能性。理论上，我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验，我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Innovative Drug-like Molecule Generation from Flow-based Generative Model
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
为了通过使用深度学习方法来设计给定生物分子的药物，最近发表了许多成功的模型。人们通常使用生成模型来设计特定蛋白质的新分子。LiGAN被认为是在卷积神经网络上开发的深度学习模型的基线。最近，GraphBP展示了其预测创新的“真实”化学品的能力，通过使用基于流的生成模型与图神经网络和多层感知，结合亲和力优于传统的分子对接方法。然而，这些方法都将蛋白质视为刚体，只包括与结合有关的蛋白质的很小一部分。然而，蛋白质的动力学对于药物结合是必不可少的。基于GraphBP，我们提出了产生更多的固体工作来自蛋白质数据库。将使用计算化学算法通过有效性和结合亲和力评价结果。
2022-11-12 cs.LG
Stochastic generative methods for stable and accurate closure modeling of chaotic dynamical systems
Massachusetts Institute of Technology（麻省理工学院）
针对传统确定性亚格子尺度模型在混沌湍流区域的耗散性与不稳定性问题，本研究提出基于随机微分方程的参数化和生成式闭合建模方法，在Lorenz-63系统验证了精度提升。
2025-04-13 cs.LG cs.NA math.NA
Generative Flows with Invertible Attentions
ETH Zürich（苏黎世联邦理工学院）；SMU（新加坡管理大学）；KU Leuven（鲁汶大学）
基于流的生成模型已经显示出通过一系列可逆变换显式学习数据的概率密度函数的出色能力。然而，生成流中的学习注意力研究仍然不足，而在其他领域已经取得了突破。为了填补这一空白，本文介绍了两种类型的可逆注意力机制，即，基于映射和基于转换器的注意力，用于无条件和有条件生成流。其关键思想是利用这两个注意力的掩蔽方案来学习生成流上下文中的长距离数据依赖性。掩蔽方案允许可逆的注意力模块与易处理的雅可比行列式，使其无缝集成在任何位置的基于流的模型。所提出的注意力机制导致更有效的生成流，由于他们的建模的长期数据依赖的能力。对多个图像合成任务的评价表明，所提出的注意流产生了有效的模型，并与最先进的无条件和有条件生成流进行了比较。
2022-03-31 cs.CV cs.LG
Deterministic Decomposition of Stochastic Generative Dynamics
The University of Tokyo（东京大学）；Zhejiang University（浙江大学）
本文提出Bridge Matching框架，通过分解生成动力学中的确定性与随机效应，实现可控的生成模型。
2026-05-16 cs.AI cs.LG
Generative Flows with Matrix Exponential
University of Science and Technology of China（中国科学技术大学）
生成流模型具有易于处理的精确似然和有效采样的性质，它由一系列可逆函数组成。在本文中，我们将矩阵指数生成流。矩阵指数是从矩阵到可逆矩阵的映射，这个性质适用于生成流。基于矩阵指数，我们提出了矩阵指数耦合层，这是仿射耦合层和矩阵指数可逆1 x 1卷积的一般情况，在训练过程中不会崩溃。我们修改了网络结构，使训练稳定，并显着加快训练过程。我们的实验表明，我们的模型在生成流模型中的密度估计上取得了很好的性能。
2020-07-19 cs.LG stat.ML
VFlow: More Expressive Generative Flows with Variational Data Augmentation
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
生成流是有前途的易处理的模型，密度建模，定义概率分布与可逆变换。然而，易处理性对生成流施加了架构约束，使得它们比其他类型的生成模型表现力更差。在这项工作中，我们研究了一个以前被忽视的约束，即由于可逆性，所有中间表示必须与原始数据具有相同的维数，从而限制了网络的宽度。我们通过用一些额外的维度来增强数据，并在变分推断框架下联合学习增强数据的生成流以及增强维度的分布来解决这个约束。我们的方法VFlow是生成流的推广，因此总是表现得更好。结合现有的生成流，VFlow在CIFAR-10数据集上实现了新的最先进的每维2.98位，比以前的模型更紧凑，可达到类似的建模质量。
2020-07-22 cs.LG stat.ML
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
Inria（法国国家信息与自动化研究所）
本文梳理生成建模中不同技术的高层数学原理，揭示最优传输与薛定谔桥、流匹配等标准方法之间的联系。
2026-06-29 cs.LG stat.ML
Deep Generative Modeling with Backward Stochastic Differential Equations
Shanghai AI Laboratory（上海人工智能实验室）
本文提出新型深度生成模型BSDE-Gen，结合倒向随机微分方程与深度神经网络生成高维复杂数据，提供了理论框架、模型架构、MMD损失函数及实验结果。
2023-04-08 cs.LG math.PR stat.ML
ProGen: Revisiting Probabilistic Spatial-Temporal Time Series Forecasting from a Continuous Generative Perspective Using Stochastic Differential Equations
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
ProGen提出利用随机微分方程和扩散生成模型进行概率时空预测，通过整合去噪分数模型与图神经网络，在四个交通数据集上超越现有确定性与概率模型。
2024-11-02 cs.LG stat.ML
Stochastic Parameterization of Column Physics using Generative Adversarial Networks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们展示了使用概率机器学习技术来开发大气柱物理的随机参数化。在对NASA的Modern-Era Retrospective analysis for Research and Applications，version 2（MERRA 2）数据进行适当的预处理以最大限度地减少MERRA 2估计垂直速度的高频，高波数分量的影响之后，我们使用生成对抗网络来学习非绝热源垂直剖面的概率分布。这可以被看作是对以前类似但确定性的方法的改进，这些方法试图减轻人类设计的物理参数化的缺点和气候模式中“物理”步骤的计算需求。
2022-11-30 cs.LG physics.ao-ph
SDYN-GANs: Adversarial Learning Methods for Multistep Generative Models for General Order Stochastic Dynamics
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Massachusetts Institute of Technology（麻省理工学院）；University of California Santa Barbara（加州大学圣巴巴拉分校）
我们引入对抗学习方法，用于$n^{th}$阶随机系统动态的数据驱动生成建模。我们的方法建立在生成对抗网络（GANs）上，生成模型类基于稳定的$m$步随机数值积分器。我们介绍了不同的配方和训练方法的基础上观察轨迹样本的随机动力学学习模型。我们开发了基于最大平均离散度（MMD）的鉴别器，使用条件分布和边缘分布的训练协议以及在不同时间尺度上学习动态响应的方法。我们展示了如何使用我们的方法来建模物理系统，学习力的法律，阻尼系数和噪声相关的参数。对抗性学习方法提供了为动态任务获得稳定生成模型的方法，包括长期预测和为随机系统开发模拟。
2023-02-07 cs.LG cs.NA math.DS
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University（哈佛大学）
本研究提出一种基于BSDE的新型扩散模型，通过适配现有分数函数确定目标分布的初始条件，证明了理论保证与Lipschitz网络的优势，可应用于扩散反演等多领域，为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
General Invertible Transformations for Flow-based Generative Modeling
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在本文中，我们提出了一类新的可逆变换的应用程序流为基础的生成模型。我们指出可逆逻辑和可逆神经网络中许多著名的可逆变换都可以从我们的命题导出。接下来，我们提出了两个新的耦合层，它们是基于流的生成模型的重要构建块。在数字数据的实验中，我们介绍了如何将这些新的耦合层可以使用在离散流（IDF），他们取得了更好的结果比标准的耦合层使用在IDF和RealNVP。
2021-07-12 cs.LG stat.ML
Generative Flows as a General Purpose Solution for Inverse Problems
Universidad Católica San Pablo（圣巴勃罗天主教大学）
由于生成流成功地对数据分布进行建模，因此已在逆问题中对其进行了探索。给定一个预先训练的生成流，以前的工作提出将潜变量的2范数最小化作为正则化项。其背后的直觉是确保高可能性的潜在变量产生最接近的恢复。然而，高似然潜变量可能会产生不切实际的样本，正如我们在实验中所示。因此，我们提出了一个求解器，直接产生高似然重建。我们假设我们的方法可以使生成流成为逆问题的通用求解器。此外，我们提出了1 × 1耦合函数在生成流中引入置换。它的优点是它的逆不需要在生成过程中计算。最后，我们评估我们的方法去噪，去模糊，修复和着色。我们观察到一个引人注目的改进，我们的方法比以前的作品。
2022-05-27 cs.CV cs.LG
Generative Modeling with Phase Stochastic Bridges
Georgia Tech（佐治亚理工学院）；Apple（苹果公司）
针对现有扩散模型依赖位置空间SDE逆向求解的生成范式，本文提出基于相空间动力学的生成建模框架，通过构建相空间路径测度实现早期生成，在小NFEs场景下图像生成性能优于基线且媲美带高效采样的扩散模型。
2024-05-12 cs.AI cs.LG
Emerging Convolutions for Generative Normalizing Flows
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）
生成流是有吸引力的，因为它们承认精确的似然优化和有效的图像合成。最近，Kingma & Dhariwal（2018）用Glow证明了生成流能够生成高质量的图像。我们将Glow中提出的1 x 1卷积推广到可逆的d x d卷积，因为它们在通道和空间轴上操作，所以更灵活。我们提出了两种方法来产生具有与标准卷积相同的感受野的可逆卷积：通过链接特定的自回归卷积来获得新兴卷积，并且在频域中解耦周期卷积。我们的实验表明，d x d卷积的灵活性显着提高了星系图像、CIFAR10和ImageNet上生成流模型的性能。
2019-05-20 cs.LG stat.ML
Exchangeable Generative Models with Flow Scans
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）
在这项工作中，我们开发了一种新的方法来生成密度估计可交换的，非独立同分布。数据所提出的框架，FlowScan，结合可逆的流转换与排序扫描，灵活地建模的数据，同时保持交换。与大多数现有方法不同，FlowScan利用集合内的内部依赖性来学习全局和局部结构。FlowScan代表了第一种能够将顺序方法应用于可交换密度估计而无需对所有可能的排列进行平均的方法。我们在点云和图像集建模方面实现了最先进的性能。
2019-09-18 cs.LG stat.ML
Random-Bridges as Stochastic Transports for Generative Models
Artificial Intelligence and Mathematics Research Lab（人工智能与数学研究实验室）；University College London（伦敦大学学院）
本文提出利用随机桥梁作为生成模型中的随机传输，通过条件化随机过程在固定时间点取目标分布，实现高效生成和模拟，实验表明其在生成质量与速度上优于传统方法。
2026-10-27 cs.LG math.PR
Stochastic Backpropagation and Approximate Inference in Deep Generative Models
Google DeepMind（谷歌DeepMind）
我们将深度神经网络和近似贝叶斯推断的思想结合起来，导出了一类广义的深度定向生成模型，并赋予了一种新的可扩展推理和学习算法。我们的算法引入了一个识别模型来表示近似的后验分布，并作为一个随机编码器的数据。我们开发随机反向传播-通过随机变量反向传播的规则-并使用它来开发一种算法，该算法允许联合优化生成和识别模型的参数。我们证明了几个真实世界的数据集，该模型生成逼真的样本，提供准确的插补的缺失数据，是一个有用的工具，高维数据可视化。
2014-05-30 cs.AI cs.LG stat.CO
Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data
Carnegie Mellon University（卡内基梅隆大学）
如何对包括但不限于语音和人体运动的序列数据的分布进行建模是一个重要的正在进行的研究问题。已经证明，通过在递归神经网络的隐状态中引入随机潜变量，可以显着提高模型容量。同时，WaveNet，配备了膨胀卷积，在自然语音生成任务中取得了惊人的经验表现。在本文中，我们结合了随机潜变量和扩张卷积的思想，并提出了一种新的体系结构来建模序列数据，称为随机WaveNet，其中随机潜变量被注入到WaveNet结构中。我们认为，随机WaveNet具有强大的分布建模能力和扩张卷积并行训练的优势。为了有效地推断潜变量的后验分布，基于WaveNet体系结构的特点，设计了一种新的推理网络结构。Stochastic WaveNet在自然语音建模方面获得了基准数据集上的最先进性能，并且还可以生成高质量的人类笔迹样本。
2018-06-15 cs.LG stat.ML
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
POLCA: Stochastic Generative Optimization with LLM
本文提出POLCA框架，通过生成语言模型作为优化器，结合数值奖励和文本反馈，解决复杂系统的随机生成优化问题，实现高效探索与利用的平衡，实验表明其在多种基准测试中表现优异。
2026-03-16 cs.AI cs.LG
Training Generative Adversarial Networks via stochastic Nash games
TU Delft（代尔夫特理工大学）
生成对抗网络（GANs）是一类具有两个对抗性神经网络的生成模型：生成器和神经网络。这两个神经网络通过对抗过程相互竞争，该过程可以建模为随机纳什均衡问题。由于相关的训练过程具有挑战性，因此设计可靠的算法来计算均衡是至关重要的。在本文中，我们提出了一个随机放松的前向-后向（SRFB）算法的GANs，我们证明了收敛到一个精确的解决方案时，越来越多的数据是可用的。我们还表明收敛的平均变体的SRFB算法的解决方案的邻域时，只有很少的样本。在这两种情况下，当博弈的伪梯度映射是单调的时，收敛性是有保证的。这一假设是文献中已知的最弱假设之一。此外，我们应用我们的算法的图像生成问题。
2021-05-21 cs.GT cs.LG math.OC
Generation Properties of Stochastic Interpolation under Finite Training Set
研究有限训练集下随机插值生成模型的理论性质，推导最优速度场和得分函数的闭式解，揭示确定性和随机生成过程的行为，并定义欠拟合与过拟合。
2026-06-09 cs.AI cs.LG
Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds
Heidelberg University（海德堡大学）
本文提出一种基于因子分解离散测度子流形上连续归一化流的离散分布生成模型，通过嵌入元单纯形与数据驱动平均逼近非因子分解分布，并利用测地线流匹配实现高效训练，避免了传统离散化问题。
2024-02-12 cs.LG stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）
本文提出哈密顿速度预测器，并据此构建HSM分数匹配方法与HGFs生成模型，将扩散和流匹配统一为零力场特例，实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Stochastic Thermodynamics and SDE-based Generative Models
本文在随机热力学框架下，为基于SDE的生成模型（如扩散模型和薛定谔桥）定义了轨迹层面的功、热和熵产生，并推广了Jarzynski恒等式和类第二定律不等式。
2026-06-18 cond-mat.stat-mech cs.LG eess.SP
Xaurora: Generative Weather Forecasting with Denoising Stochastic Interpolants from a Foundation Model Prior
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
本研究将确定性基础模型Aurora扩展为生成式集合预测模型Xaurora，通过去噪随机插值法结合回放缓冲区训练SDE轨迹，实现高效概率预报，在13分钟内生成有技巧的15天预报，并接近最先进水平。
2026-10-07 cs.LG physics.ao-ph
Unfolding Time: Generative Modeling for Turbulent Flows in 4D
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
本研究提出4D生成式扩散模型与物理信息引导技术，解决了以往模型无法生成湍流序列的问题，能够采样真实的流态子序列，为分析湍流时间演化提供新途径。
2024-07-29 cs.LG physics.flu-dyn
Potential Flow Generator with $L_2$ Optimal Transport Regularity for Generative Models
Brown University（布朗大学）
我们提出了一个具有$L_2$最优传输规律的势流生成器，它可以很容易地集成到各种生成模型中，包括不同版本的GANs和基于流的模型。我们显示的正确性和鲁棒性的势流发生器在几个二维问题，并说明了“接近”的概念，由于$L_2$最佳运输规则。随后，我们证明了潜在的流发生器在图像翻译任务中的有效性与未配对的训练数据从MNIST数据集和CelebA数据集。
2019-08-29 cs.CV cs.LG stat.ML
Glow: Generative Flow with Invertible 1x1 Convolutions
OpenAI
基于流的生成模型（Dinh等人，2014）由于精确对数似然的易处理性、精确潜变量推断的易处理性以及训练和合成两者的并行性，在概念上是有吸引力的。在本文中，我们提出了Glow，这是一种使用可逆1x1卷积的简单生成流。使用我们的方法，我们证明了一个显着的改善，在标准基准的对数似然。也许最引人注目的是，我们证明了一个生成模型优化的平原对数似然目标是能够有效的逼真的合成和操作的大图像。我们模型的代码可在https://github.com/openai/glow上获得
2018-07-10 cs.AI cs.LG stat.ML
Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
信息瓶颈（IB）目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型，如正常化流的IB。由于规范化流使用可逆网络架构（INN），因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中，首先，我们开发的理论和方法的IB-INN，一类有条件的规范化流程，INN的训练使用IB目标：引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB，同时保持INN的生成能力完好无损。其次，我们研究了这些模型的实验性质，特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点，但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲，我们的不确定性估计在这种混合制度相比，传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Modeling stochastic eye tracking data: A comparison of quantum generative adversarial networks and Markov models
OsloMet – Oslo Metropolitan University（奥斯陆都会大学）；Simula Research Laboratory（西穆拉研究实验室）
本文比较QGANs与马尔可夫模型在随机眼动速度数据建模中的表现，发现QGANs具分布逼近潜力，但马尔可夫模型复现真实分布更准确。
2024-08-01 cs.LG cs.NE quant-ph
Parameter-Conditioned Sequential Generative Modeling of Fluid Flows
Stanford University（斯坦福大学）；Texas A & M University（德克萨斯农工大学）
与模拟流体流动相关联的计算成本可能使得在多个流动条件下运行许多模拟是不可行的。基于生成式建模的概念，我们引入了一种新的方法来学习神经网络模型，能够对流体流动进行有效的参数化模拟。评估其模拟二维和三维流体流动的能力，训练的模型被证明可以在各种流动条件下捕获流场的局部和全局特性。此外，由训练模型生成的流动模拟被示出为比相应的计算流体动力学模拟快几个数量级。
2019-12-14 cs.LG physics.comp-ph stat.ML
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
Sorbonne Université and Université Paris Cité, CNRS, LPSM（索邦大学和巴黎cité大学，法国国家科学研究中心，巴黎高等师范学院）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
针对基于得分的生成模型训练优化性质不明问题，本文对两类场景下的随机梯度下降开展理论分析，推导收敛速率与误差边界，为实际权重选择提供理论指导。
2026-10-08 cs.LG stat.ML
