Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
Knowledge-Based Regularization in Generative Modeling
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）
先验领域知识可以极大地帮助学习生成模型。然而，将先验知识硬编码为特定的模型架构通常成本太高，因此我们通常不得不使用通用模型。在本文中，我们提出了一种方法，将先验知识的特征关系到通用生成模型的学习。为此，我们制定了一个正则化，使边缘的生成模型，以遵循规定的相对依赖的功能。它可以被纳入许多生成模型的现成学习方法中，包括变分自编码器和生成对抗网络，因为它的梯度可以使用标准的反向传播技术计算。通过在多种数据集和生成模型上的实验，我们证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology（香港科技大学）
本文考虑了双向生成建模的一般$f$ -发散公式，其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法，这种配方，其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中，我们表明，不同的分歧诱导类似的算法在梯度评估，除了不同的缩放。因此，本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究，证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Generator Matching: Generative modeling with arbitrary Markov processes
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；FAIR, Meta（元公司 FAIR）；Weizmann Institute of Science（魏茨曼科学研究所）
提出生成器匹配框架，利用任意马尔可夫过程的生成器进行生成式建模，统一扩散模型、流匹配等方法，并支持跳跃过程叠加，提升图像与多模态生成性能。
2025-02-27 cs.AI cs.LG
Autoregressive Quantile Networks for Generative Modeling
DeepMind（深度思维）
我们引入了自回归隐式分位数网络（AIQN），这是一种与常用方法根本不同的生成建模方法，它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进，而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中，我们使用AIQN扩展了PixelCNN模型，并使用Inception score，FID，非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到，AIQN产生了一个高度稳定的算法，提高了感知质量，同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
General Invertible Transformations for Flow-based Generative Modeling
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在本文中，我们提出了一类新的可逆变换的应用程序流为基础的生成模型。我们指出可逆逻辑和可逆神经网络中许多著名的可逆变换都可以从我们的命题导出。接下来，我们提出了两个新的耦合层，它们是基于流的生成模型的重要构建块。在数字数据的实验中，我们介绍了如何将这些新的耦合层可以使用在离散流（IDF），他们取得了更好的结果比标准的耦合层使用在IDF和RealNVP。
2021-07-12 cs.LG stat.ML
Defending Neural Backdoors via Generative Distribution Modeling
Duke University（杜克大学）
神经后门攻击是深度学习面临的一个严重安全威胁，而现有的防御方法能力有限，特别是对于复杂的后门触发器。在这项工作中，我们探索了所有可能的后门触发器的像素值所形成的空间。攻击者用来构建后门模型的原始触发器仅表示空间中的一个点。然后将其推广为有效触发器的分布，所有这些触发器都可以影响后门模型。因此，仅对触发分布的一个点进行建模的先前方法是不够的。获取整个触发器分布，例如，通过生成建模，是有效防御的关键。然而，现有的生成建模技术的图像生成不适用于后门的情况下，触发分布是完全未知的。在这项工作中，我们提出了最大熵阶梯近似器（MESA），一个算法的高维无采样生成建模，并使用它来恢复触发分布。我们还开发了一种防御技术，从后门模型中删除触发器。我们在Cifar 10/100数据集上的实验证明了MESA在建模触发分布方面的有效性和所提出的防御方法的鲁棒性。
2019-11-06 cs.LG stat.ML
Generative Flow Networks for Discrete Probabilistic Modeling
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
提出了一种新的高维离散数据概率建模算法--基于能量的生成流网络（EB-GFN）。基于生成流网络（GFlowNets）理论，我们通过随机数据构建策略对生成过程进行建模，从而将昂贵的MCMC探索分摊到从GFlowNet采样的固定数量的动作中。我们展示了GFlowNets如何近似执行大块Gibbs采样以在模式之间混合。我们提出了一个框架，共同训练一个GFlowNet的能量函数，使GFlowNet学习从能量分布采样，而能量学习与近似MLE目标与负样本从GFlowNet。我们证明了EB-GFN的各种概率建模任务的有效性。代码可在https://github.com/zdhNarsil/EB_GFN上公开获取。
2022-06-08 cs.LG stat.ML
Generative Marketing Mix Modeling: A Causal Inference Framework Linking GEO and GEM to Business Impact
The University of Tokyo（东京大学）；Mizuho-DL Financial Technology Co., Ltd.（瑞穗-DL金融科技有限公司）；NP-hard
针对生成式AI环境下营销数据缺失问题，提出GMMM因果推断框架，结合GEO与GEM数据估计业务影响，并通过英日模拟验证其性能。
2026-09-11 cs.AI cs.LG econ.EM
Foundations of Schrödinger Bridges for Generative Modeling
Department of Computer and Information Science（计算机与信息科学系）
本文研究了生成建模中施罗德inger桥的数学基础，通过最优传输、随机控制和路径空间优化，构建了从原理出发的施罗德inger桥工具包，并展示了其在生成建模中的应用。
2026-03-19 cs.AI cs.LG
Is Conditional Generative Modeling all you need for Decision-Making?
Massachusetts Institute of Technology（麻省理工学院）；Improbable AI Lab（Improbable AI实验室）；Operations Research Center（运筹学中心）；Computer Science and Artificial Intelligence Lab（计算机科学与人工智能实验室）
本文将决策问题重新表述为条件生成建模，提出回报条件扩散模型以规避动态规划，并展示其在离线RL基准上的优势及对约束和技能组合的泛化能力。
2023-07-10 cs.AI cs.LG
Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia（不列颠哥伦比亚大学）；University of Cambridge（剑桥大学）
本研究针对图像生成模型易产生幻觉的问题，提出可集成于各类生成建模技术的迭代流匹配方法，通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
Deep Generative Modeling for Protein Design
University of Toronto（多伦多大学）；Donnelly Centre for Cellular and Biomolecular Research（唐纳利细胞与生物分子研究中心）
深度学习方法在图像分类和自然语言处理等领域取得了重大突破，并在蛋白质设计领域取得了快速进展。已经开发了许多蛋白质的生成模型，包括所有已知的蛋白质序列，模型特定的蛋白质家族，或推断单个蛋白质的动力学。这些生成模型可以学习蛋白质表示，这些蛋白质表示通常比手工设计的特征更能提供蛋白质结构和功能的信息。此外，它们可以用于快速提出数百万种在表达水平，稳定性或其他属性方面与天然对应物相似的新蛋白质。蛋白质设计过程可以进一步由判别式预言机引导，以选择具有所需特性的概率最高的候选物。在这篇综述中，我们讨论了五类生成模型，已最成功的蛋白质建模，并提供了一个框架模型指导蛋白质设计。
2021-08-31 cs.AI cs.LG
Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science Technology Austria（奥地利科学技术研究所）
本文为分数匹配方法建立了统计样本复杂度界，证明用深度ReLU网络和随机梯度下降可准确估计分数函数，并给出其在因果发现和生成建模中的误差上界。
2023-10-27 cs.LG stat.ML
Generative Code Modeling with Graphs
Microsoft Research（微软研究院）
源代码的生成模型是一个有趣的结构化预测问题，需要对严格的语法和语义约束以及自然的、可能的程序进行推理。我们提出了一个新的模型，这个问题，使用一个图形来表示所生成的输出的中间状态。生成过程将语法驱动的扩展步骤与图形增强和神经消息传递步骤交织在一起。实验评估表明，我们的新模型可以生成语义上有意义的表达式，优于一系列强基线。
2019-04-16 cs.LG cs.PL stat.ML
Generative Modeling by Inclusive Neural Random Fields with Applications in Image Generation and Anomaly Detection
Tsinghua University（清华大学）
神经随机场（NRF），是指一类使用神经网络来实现随机场中的势函数的生成模型（也称为基于能源的模式）并不是新的，但由于进展缓慢而受到的关注较少。与生成对抗网络（GANs）等各种有向图模型不同，NRF为生成建模提供了一系列有趣的无向图模型。在本文中，我们提出了一种新的方法，包括NRF的方法，学习NRF连续数据（如图像），通过引入包括发散最小化辅助生成器和发展随机梯度采样在增广空间。基于新的方法，具体的包容性NRF模型的开发和深入评估两个重要的生成建模应用程序-图像生成和异常检测。所提出的模型在这两个应用程序中始终改善了最先进的结果。值得注意的是，除了卓越的样本生成之外，我们的包容性NRF方法的另一个好处是，与GANs不同，它可以直接为样本评估提供（非归一化）密度估计。这些贡献和成果，本文显着推进NRFs的学习和应用到一个新的水平，在理论和实证，这是从来没有得到过的。
2020-07-22 cs.LG stat.ML
GSHOT: Few-shot Generative Modeling of Labeled Graphs
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对深度图生成建模需要大量训练样本的问题，提出基于元学习的少样本带标签图生成框架GSHOT，通过迁移辅助数据集元知识和自步微调适配新数据集，在有限样本场景下生成图的保真度优于现有基线。
2023-12-14 cs.AI cs.LG
Is Generative Modeling-based Stylization Necessary for Domain Adaptation in Regression Tasks?
University of Waterloo（滑铁卢大学）
本文质疑回归任务中基于生成建模的输入级风格化的必要性，发现其作用有限，并提出非参数特征对齐方法 ImSty，在避免高计算开销的同时持续提升 SOTA 回归性能。
2023-06-02 cs.AI cs.CV cs.LG
Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Technical University of Applied Sciences Würzburg-Schweinfurt（应用科学大学魏玛-施维林分校）；Bielefeld University（比勒菲尔德大学）
本文提出一个概率框架，正式定义基于示例的解释，弥合深度生成建模与可解释性文献的鸿沟，以促进沟通、严谨性和研究进展。
2025-09-10 cs.CY cs.LG stat.ML
Permutation Invariant Graph Generation via Score-Based Generative Modeling
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
学习图结构数据的生成模型是具有挑战性的，因为图是离散的、组合的，并且底层数据分布对节点的排序是不变的。然而，大多数现有的生成模型的图是不恒定的选择的顺序，这可能会导致一个不希望的偏差，在学习的分布。为了解决这个困难，我们提出了一个置换不变的方法来建模图，使用最近的框架，基于分数的生成建模。特别地，我们设计了一个置换等变的多通道图神经网络来对输入图处的数据分布的梯度进行建模（也称为，功能）。这种置换等变梯度模型隐含地定义了图的置换不变分布。我们用分数匹配训练这个图神经网络，并用退火的Langevin动力学对其进行采样。在我们的实验中，我们首先证明了这种新的架构在学习离散图算法的能力。对于图生成，我们发现我们的学习方法在基准数据集上取得了比现有模型更好或相当的结果。
2020-03-02 cs.LG stat.ML
Applying Regularized Schrödinger-Bridge-Based Stochastic Process in Generative Modeling
Seoul National University（首尔国立大学）
与深度生成建模中现有的基于函数的模型相比，最近提出的扩散模型通过基于随机过程的方法实现了出色的性能。但由于离散化的时间步长较多，该方法需要较长的采样时间。基于薛定谔桥（SB）的模型试图通过训练分布之间的双向随机过程来解决这个问题。然而，与生成模型（如生成对抗网络）相比，它们的采样速度仍然很慢。由于双向随机过程的训练，它们需要相对较长的训练时间。因此，本研究试图减少所需的时间步长和训练时间，并提出了正则化项到现有的SB模型，使双向随机过程的一致性和稳定性与减少的时间步长。每个正则化项被集成到单个项中，以便在计算时间和内存使用方面实现更有效的训练。将该正则化随机过程应用于各种生成任务，得到了不同分布之间的期望平移，从而证实了基于具有更快采样速度的随机过程的生成建模的可能性。该代码可在https://github.com/KiUngSong/RSB上获得。
2022-08-15 cs.LG stat.ML
Conformal Generative Modeling on Triangulated Surfaces
California Institute of Technology（加州理工学院）
我们提出了共形生成建模，生成建模的框架近似离散三角形网格的2D表面。我们的方法利用离散共形几何的进步，开发一个简单的流形（如球体）的源三角形网格到目标三角形网格的映射。在考虑了网格离散化引起的误差之后，我们可以使用为简单流形开发的任何生成式建模方法作为即插即用的子例程。我们在多个复杂流形和多个生成式建模子程序上展示了我们的框架，我们表明我们的方法可以从样本中学习网格上分布的良好估计，并且还可以同时从同一底层流形的多个不同网格中学习。
2023-03-17 cs.CG cs.LG
Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling
University of Louisiana at Lafayette（路易斯安那州立大学）；Presidency College
本研究提出基于哈密顿力学的辛生成网络SGN，通过辛结构实现隐空间到数据空间的可逆保体积映射，无需雅可比行列式计算即可精确估计似然，并建立了含理论证明、复杂度分析等的完整理论框架，为后续研究与应用奠基。
2025-10-29 cs.LG stat.ML
Score-Based Generative Modeling through Stochastic Differential Equations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
从数据中创建噪声很容易;从噪声中创建数据是生成建模。我们提出了一个随机微分方程（RSDs），通过缓慢注入噪声，将复杂的数据分布平滑地转换为已知的先验分布，以及相应的逆时RSDs，通过缓慢去除噪声，将先验分布转换回数据分布。重要的是，逆时梯度仅取决于扰动数据分布的时间相关梯度场（\aka，分数）。通过利用基于分数的生成建模的进步，我们可以用神经网络准确地估计这些分数，并使用数值解算器来生成样本。我们表明，这个框架封装了以前的方法在基于分数的生成建模和扩散概率建模，允许新的采样程序和新的建模能力。特别是，我们引入了一个预测-校正框架来校正离散逆时模型演化中的错误。我们还推导出一个等价的神经ODE，它从与神经元相同的分布中采样，但另外还可以进行精确的似然计算，并提高采样效率。此外，我们提供了一种新的方法来解决逆问题的分数为基础的模型，类条件生成，图像修补和彩色化的实验证明。结合多个架构改进，我们在CIFAR-10上实现了破纪录的无条件图像生成性能，Inception评分为9.89，FID为2.20，竞争可能性为2.99 bits/dim，并首次从基于得分的生成模型中展示了1024 x 1024图像的高保真生成。
2021-02-10 cs.LG stat.ML
BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University（耶鲁大学）
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法，无需可逆网络，通过样本特定后验构建自适应提议并利用桥接采样估计密度，在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
Implicit Generative Modeling for Efficient Exploration
Oregon State University（俄勒冈州立大学）；Horizon Robotics（地平线机器人）
有效的探索仍然是强化学习中具有挑战性的问题，特别是对于那些来自环境的奖励稀疏的任务。探索这种环境的一种常用方法是引入某种“内在”奖励。在这项工作中，我们专注于模型的不确定性估计作为一个内在的奖励，有效的探索。特别是，我们引入了一个隐式生成建模方法来估计贝叶斯不确定性的代理的信念的环境动态。从我们的生成模型中进行的每次随机抽取都是一个神经网络，它将动态函数实例化，因此多次抽取将近似于后验，并且基于该后验的未来预测的方差被用作探索的内在奖励。我们设计了一个基于摊余Stein变分梯度下降的生成模型的训练算法。在实验中，我们将我们的实现与最先进的基于内在奖励的探索方法进行比较，包括两种基于动态模型集成的最新方法。在具有挑战性的探索任务中，我们的隐式生成模型在探索数据效率方面始终优于竞争方法。
2020-07-14 cs.LG stat.ML
Towards Controllable Agent in MOBA Games with Generative Modeling
AI Lab, Tencent（腾讯人工智能实验室）
我们提出了新的方法来开发动作可控代理，行为像一个人，并有能力与人类玩家在多人在线对战竞技场（MOBA）游戏。通过将控制问题建模为一个动作生成过程，我们设计了一个用于训练Agent的深层潜在对齐神经网络模型，以及相应的用于控制Agent动作的采样算法。特别是，我们提出了确定性和随机注意实现的核心潜在对齐模型。在《王者荣耀》游戏中的仿真和在线实验都证明了所提方法的有效性。
2021-12-15 cs.AI cs.LG
Generative Language Modeling for Automated Theorem Proving
OpenAI
我们探讨了基于transformer的语言模型在自动定理证明中的应用。这项工作的动机是一个主要的限制自动定理证明人相比，人类-原始数学术语的生成-可能是通过从语言模型生成寻址的可能性。我们提出了一个自动化的证明和证明助手，GPT-f，元形式化语言，并分析其性能。GPT-f发现了新的简短证明，这些证明被主Metamath库所接受，据我们所知，这是基于深度学习的系统第一次提供被正式数学社区采用的证明。
2020-09-07 cs.AI cs.CL cs.LG
Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds
Heidelberg University（海德堡大学）
本文提出一种基于因子分解离散测度子流形上连续归一化流的离散分布生成模型，通过嵌入元单纯形与数据驱动平均逼近非因子分解分布，并利用测地线流匹配实现高效训练，避免了传统离散化问题。
2024-02-12 cs.LG stat.ML
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi（德里印度理工学院）
时态图表示实体之间的动态关系，并且出现在许多现实生活应用中，如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中，我们全面回顾了神经时间依赖图表示学习和生成建模方法，提出了在最近的时间处理图。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University（哈佛大学）
本研究提出一种基于BSDE的新型扩散模型，通过适配现有分数函数确定目标分布的初始条件，证明了理论保证与Lipschitz网络的优势，可应用于扩散反演等多领域，为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Deep Generative Modeling with Backward Stochastic Differential Equations
Shanghai AI Laboratory（上海人工智能实验室）
本文提出新型深度生成模型BSDE-Gen，结合倒向随机微分方程与深度神经网络生成高维复杂数据，提供了理论框架、模型架构、MMD损失函数及实验结果。
2023-04-08 cs.LG math.PR stat.ML
Modeling documents with Generative Adversarial Networks
Aylien Ltd.（Aylien有限公司）
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型，该模型是基于最近提出的基于能量的GAN，而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
Generative Image Modeling Using Spatial LSTMs
University of Tübingen（图宾根大学）
对自然图像的分布进行建模具有挑战性，部分原因是可以扩展到数百个像素的强统计依赖性。递归神经网络已经成功地在许多问题中捕获了长距离依赖关系，但直到最近才找到了用于生成图像模型的方法。在这里，我们介绍了一个经常性的图像模型的基础上，多维长短期记忆单元，特别适合于图像建模，由于其空间结构。我们的模型可扩展到任意大小的图像，并且其可能性在计算上是易于处理的。我们发现，它优于最先进的几个图像数据集的定量比较，并产生有前途的结果时，用于纹理合成和修复。
2015-09-18 cs.CV cs.LG stat.ML
Looking Ahead and Back: Anticipatory Generative Modeling for Road-Network Trajectories
North China Electric Power University（华北电力大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对现有轨迹生成方法无法完成路网交叉口转向选择的问题，本文提出Foresight模型，通过“预测—选择—更新—再预测”循环实现路网轨迹的准确生成，实验表明其性能优于现有基准方法。
2026-10-12 cs.AI cs.LG
Generative Modeling with Flux Matching
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出流匹配方法，扩展了基于分数的模型，允许非保守向量场。该方法通过更弱的条件生成更灵活的模型，适用于高维图像数据，并开启生成建模的新方向。
2026-05-08 cs.AI cs.LG
Score-based Generative Modeling for Conditional Independence Testing
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院软件研究所）；Tongji University（同济大学）
针对现有基于生成模型的条件独立性测试在条件分布建模和训练稳定性上的不足，提出基于分数的生成建模方法，通过切片条件分数匹配和Langevin动力学采样实现精确的第一类错误控制与强测试功效，实验证明其显著优于现有方法。
2025-05-29 cs.AI cs.LG
Generative Modeling with Phase Stochastic Bridges
Georgia Tech（佐治亚理工学院）；Apple（苹果公司）
针对现有扩散模型依赖位置空间SDE逆向求解的生成范式，本文提出基于相空间动力学的生成建模框架，通过构建相空间路径测度实现早期生成，在小NFEs场景下图像生成性能优于基线且媲美带高效采样的扩散模型。
2024-05-12 cs.AI cs.LG
Generative Modeling of Approximately Periodic Time Series by a Posterior-Weighted Gaussian Process
Josef Ressel Centre for Intelligent and Secure Industrial Automation（约瑟夫·雷斯尔智能与安全工业自动化中心）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
本文提出一种随机生成模型，用于处理近似周期性时间序列，通过后验加权高斯过程分离重复内部结构与重复间变异性，实现生成分布在重复间平滑变化。
2026-05-13 cs.LG stat.ML
Residual Flows for Invertible Generative Modeling
University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Vector Institute（向量研究所）
基于流的生成模型通过可逆变换对概率分布进行参数化，并且可以通过极大似然进行训练。可逆残差网络提供了一个灵活的变换族，其中只需要Lipschitz条件而不是严格的结构约束来实现可逆性。然而，以前的工作训练可逆残差网络的密度估计依赖于有偏的对数密度估计，其偏差增加与网络的表达。我们给出了一个易于处理的无偏估计的日志密度使用“俄罗斯轮盘赌”估计，并减少了训练过程中所需的内存使用一个替代的无限系列的梯度。此外，我们提出了使用激活函数，避免导数饱和和推广的Lipschitz条件诱导混合规范，以提高可逆的残留块。由此产生的方法，称为残差流，实现了最先进的性能之间的密度估计基于流的模型，并优于网络，使用耦合块在联合生成和判别建模。
2020-07-24 cs.LG stat.ML
Compositional Generative Modeling: A Single Model is Not All You Need
MIT（麻省理工学院）
本文主张通过组合较小的生成模型来构建大型生成系统，该方法能提升数据效率、泛化至未见数据分布、为全新任务构建模型，并从数据中发现独立组合成分。
2024-06-03 cs.AI cs.CV cs.LG
A Logic-based Approach to Generatively Defined Discriminative Modeling
Tokyo Institute of Technology（东京工业大学）；Meijo University（名城大学）
条件随机场（CRF）通常是指定的图形模型，但在本文中，我们提出使用概率逻辑程序，并指定他们产生。我们的意图是，首先提供一个统一的方法，CRF复杂的建模，通过使用图灵完备语言和第二，提供一个方便的方式来实现生成判别对机器学习比较生成和判别模型，并选择最好的模型。我们实现了我们的方法作为D-PRISM语言修改PRISM，一个基于逻辑的概率建模语言生成建模，同时利用其动态规划机制，有效的概率计算。我们用逻辑回归、线性链CRF和CRF-CFG测试了D-PRISM，并在经验上证实了它们与生成对应物（即，朴素贝叶斯，HMM和PCFG。我们还介绍了新的CRF模型，CRF-BNC和CRF-LCG。它们分别是贝叶斯网络分类器和概率左角文法的CRF版本，并且易于在D-PRISM中实现。我们的经验表明，他们的表现优于他们的生成同行的预期。
2014-10-15 cs.LG
Generative Modeling via Tree Tensor Network States
University of Chicago（芝加哥大学）
在本文中，我们提出了一个密度估计框架的基础上树张量网络状态。所提出的方法包括确定树的拓扑结构与Chow-Liu算法，并获得一个线性方程组，通过素描技术定义的张量网络组件。为了考虑包含循环的图形模型，开发了草图功能的新选择。样本的复杂性保证，并进一步证实了数值实验。
2022-09-03 cs.LG quant-ph stat.ML
Universal Smoothed Score Functions for Generative Modeling
UC Berkeley（加州大学伯克利分校）；Prescient Design, Genentech, Roche（罗氏基因泰克Prescient Design部门）；NNAISENSE（NNAISENSE公司）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑了基于使用阶乘核平滑$\mathbb{R}^d$中感兴趣的未知密度的生成建模问题，阶乘核具有由Saremi和Srivastava（2022）引入的具有相等噪声水平的$M$独立高斯通道。首先，我们充分表征学习的时间复杂性所产生的平滑密度在$\mathbb{R}^{Md}$，称为M-密度，推导出一个通用的形式，其参数化的得分函数是由建设置换等变。接下来，我们通过分析高斯分布的条件数来研究采样M-密度的时间复杂度。这种谱分析给出了随着$M$的增加，M密度的“形状”的几何见解。最后，我们在CIFAR-10数据集上展示了这类生成模型的样本质量结果，其中我们报告了Fréchet起始距离（14.15），特别是在长期快速混合MCMC链上使用单一噪声水平获得的。
2023-03-21 cs.LG stat.ML
Counterfactual Generative Modeling with Variational Causal Inference
University of California, Berkeley（加州大学伯克利分校）；Genentech（基因泰克公司）
针对高维结果下个体反事实预测难题，提出变分贝叶斯因果推断框架，无需反事实样本即可端到端监督并解耦外生噪声，在多个基准上优于现有方法。
2025-03-18 cs.AI cs.LG math.ST
Parameter-Conditioned Sequential Generative Modeling of Fluid Flows
Stanford University（斯坦福大学）；Texas A & M University（德克萨斯农工大学）
与模拟流体流动相关联的计算成本可能使得在多个流动条件下运行许多模拟是不可行的。基于生成式建模的概念，我们引入了一种新的方法来学习神经网络模型，能够对流体流动进行有效的参数化模拟。评估其模拟二维和三维流体流动的能力，训练的模型被证明可以在各种流动条件下捕获流场的局部和全局特性。此外，由训练模型生成的流动模拟被示出为比相应的计算流体动力学模拟快几个数量级。
2019-12-14 cs.LG physics.comp-ph stat.ML
Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings
Toronto Metropolitan University（多伦多都会大学）
该研究构建类别增量学习数学框架，从理论上证明判别式建模因任务混淆无法达到最优，而生成式建模可克服该问题，并据此评估多种主流策略。
2024-10-28 cs.LG
Generative Modeling in Protein Design: Neural Representations, Conditional Generation, and Evaluation Standards
The University of Sydney（悉尼大学）；VinUniversity
本文系统综述了蛋白质研究中的生成AI，涵盖序列、几何和多模态表示，生成架构如SE(3)等价扩散、流匹配和混合预测生成系统，以及从结构预测到蛋白质-配体相互作用的任务设置，并提出评估最佳实践和开放挑战。
2026-03-27 cs.AI cs.LG
Symmetry-Aware Generative Modeling through Learned Canonicalization
Mila（米拉）；McGill University（麦吉尔大学）
本文提出通过学习规范化网络生成对称密度，避免传统不变先验与等变生成过程的局限，提升分子建模的样本质量和推理速度。
2026-04-12 cs.LG
Generative modeling with projected entangled-pair states
Ghent University（根特大学）
我们认为，并证明，投影纠缠对状态（PEPS）优于矩阵产品状态显着的任务生成建模的数据集与内在的二维结构，如图像。我们的方法建立在最近推出的算法采样PEPS，它允许有效的优化和采样的分布。
2022-02-16 cond-mat.stat-mech cs.CV cs.LG
Generative Modeling with Bayesian Sample Inference
School of Computation, Information；Technology \& Munich Data Science Institute, Technical University of Munich
本文提出一种基于贝叶斯采样推断的生成模型，通过迭代高斯后验推断提升样本质量，并在ImageNet32上优于BFNs和变分扩散模型。
2026-08-17 cs.LG stat.ML
Diffusion map particle systems for generative modeling
Massachusetts Institute of Technology（麻省理工学院）
提出扩散映射粒子系统（DMPS），结合扩散映射与LAWGD实现无需离线训练、少调参的生成建模，在中等维度数据上表现更优。
2024-12-18 cs.LG stat.CO stat.ML
A Generative Modeling Approach to Limited Channel ECG Classification
IBM Almaden Research Center（IBM阿尔马登研究中心）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
处理时间序列是医疗保健中各种应用的核心，特别是多通道心电图（ECG）是一种高度流行的诊断模式，依赖于强大的序列建模。虽然递归神经网络（RNN）在使用时间序列数据进行自动诊断方面取得了重大进展，但当使用有限的通道集训练模型时，它们的表现很差。现有解决方案的一个关键限制是，它们仅依赖于判别模型，而判别模型在这种情况下往往泛化能力很差。为了克服这一局限性，我们开发了一种生成式建模方法来进行有限通道ECG分类。该方法首先使用Seq2Seq模型来隐式地生成丢失的信道信息，然后使用潜在表示来执行实际的监督任务。这种解耦使得能够使用无监督数据，并且还为后续的判别学习提供高度鲁棒的度量空间。我们对Physionet数据集的实验清楚地证明了我们的方法在疾病预测中优于标准RNN的有效性。
2018-06-14 cs.LG stat.ML
Mirror Flow Matching with Heavy-Tailed Priors for Generative Modeling on Convex Domains
本文提出基于正则化镜像映射和Student-t先验的Mirror Flow Matching方法，解决了凸域生成建模中重尾分布导致的动力学不适定和先验耦合表现差的问题，并提供了理论保证和实验验证。
2025-10-10 cs.LG stat.ML
