Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows
Technische Universität Berlin（柏林工业大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
我们提出了一个算法来估计的反向和正向Kullback-Leibler发散的路径梯度的任意明显可逆规范化流。由此产生的路径梯度估计器是直接实现的，具有较低的方差，并导致不仅更快的训练收敛，而且更好的整体近似结果相比，标准的总梯度估计。我们还证明了路径梯度训练不太容易受到模式崩溃的影响。根据我们的研究结果，我们预计，路径梯度估计将成为新的标准方法，训练规范化流变分推理。
2022-07-17 cs.LG stat.ML
Spatially-Heterogeneous Causal Bayesian Networks for Seismic Multi-Hazard Estimation: A Variational Approach with Gaussian Processes and Normalizing Flows
Johns Hopkins University（约翰斯·霍普金斯大学）；Data Science and AI Institute, Johns Hopkins University（约翰斯·霍普金斯大学数据科学与人工智能学院）
本文提出空间异质因果贝叶斯网络 Spatial-VCBN，结合高斯过程与归一化流建模地震效应随地理位置变化的因果机制，在三次地震评估中 AUC 最高提升 35.2%，为灾害评估和应急资源分配提供支持。
2025-04-05 cs.LG stat.AP stat.ML
Path-Gradient Estimators for Continuous Normalizing Flows
Technische Universität Berlin（柏林工业大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
最近的工作已经建立了一个简单的变分高斯分布的路径梯度估计，并认为路径梯度是特别有益的制度，其中的变分分布接近确切的目标分布。然而，在许多应用中，这种状态不能通过简单的高斯变分分布来达到。在这项工作中，我们克服了这个关键的限制，提出了一个路径梯度估计的更有表现力的变分家庭的连续规范化流。我们概述了一个有效的算法来计算这个估计，并建立其优越的性能经验。
2022-06-17 cs.LG stat.ML
Personalized Public Policy Analysis in Social Sciences using Causal-Graphical Normalizing Flows
Chalmers University of Technology（查尔姆斯理工大学）
结构方程/因果模型（SEM/SCM）被广泛应用于流行病学和社会科学中，以识别和分析平均因果效应（ACE）和条件ACE（CACE）。传统的因果效应估计方法，如逆概率加权（IPW）和最近的回归与残差（RWR）被广泛使用-因为它们避免了识别SCM参数的挑战性任务-估计ACE和CACE。然而，在传统的估计方法可以用于反事实推理之前，还有很多工作要做，并且有利于社会科学中的个性化公共政策分析（P $^3$ A）。当医生依靠个性化医疗在实验室环境（相对封闭系统）中为患者量身定制治疗时，P $^3$ A从这种定制中汲取灵感，但将其适用于开放的社会系统。在本文中，我们开发了一种反事实推理方法，我们将其命名为因果图形规范化流（c-GNF），以促进P $^3$ A。首先，我们展示了c-GNF如何在不对函数形式做任何假设的情况下捕获底层SCM。其次，我们提出了一种新的去量化技巧来处理离散变量，这是一般规范化流的限制。第三，我们在实验中证明，c-GNF在估计ATE的偏差和方差方面与IPW和RWR表现相当，当真实的函数形式是已知的，并且当它们是未知的时更好。第四，也是最重要的一点，我们用c-GNF进行反事实推理，展示了有前途的实证表现。由于IPW和RWR，像其他传统方法一样，缺乏反事实推理的能力，c-GNF可能会在定制个性化治疗，促进P $^3$ A，优化社会干预方面发挥重要作用-与现有方法的“一刀切”方法…
2022-04-30 cs.AI cs.LG stat.ML
Fast and Unified Path Gradient Estimators for Normalizing Flows
Zuse Institute Berlin（柏林Zuse研究所）；dida Datenschmiede GmbH（dida Datenschmiede有限公司）；Prescient Design, Genentech, Roche（罗氏基因泰克Prescient Design）；TU Berlin（柏林工业大学）
针对归一化流路径梯度估计器计算成本高且难以扩展用于最大似然训练的问题，提出一种快速且适用于多种架构的统一路径梯度估计器，显著提升了计算效率，并展现出正则化效果与更低的方差。
2024-03-23 cs.LG stat.ML
Out-of-Distribution Adaptation in Offline RL: Counterfactual Reasoning via Causal Normalizing Flows
Mississippi State University（密西西比州立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对离线强化学习的分布外适应问题，提出 MOOD-CRL，利用因果归一化流学习结构因果模型并生成反事实数据，显著优于无模型与基于模型方法。
2024-05-06 cs.AI cs.LG
STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation
Apple（苹果公司）
本文提出STARFlow2，通过归一化流与预训练视觉语言模型结合，实现高效的多模态生成，采用深度浅层流设计和统一FAE潜在空间，提升生成效率与性能。
2026-05-08 cs.CV cs.LG
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
通过链接一系列可微可逆变换，规范化流（NF）提供了一种后验近似，精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换，以实现更大的灵活性。我们提出了一种替代方案：梯度提升归一化流（GBNF）模型的密度连续添加新的NF组件与梯度提升。在boosting框架下，每个新的NF分量优化样本加权似然目标，从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构，其灵活性随着添加更多组件而增加。此外，GBNF提供了一个更广泛的，而不是严格的更深入的方法，以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性，密度估计，并通过耦合GBNF与变分自编码器，生成的图像建模。我们的研究结果表明，GBNF优于其非增强模拟，并且在某些情况下，用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
Invertible Monotone Operators for Normalizing Flows
Korea University（高丽大学）；Sungkyunkwan University（成均馆大学）
规范化流通过学习将简单分布转换为复杂分布的可逆转换来建模概率分布。由于基于ResNet的规范化流的架构比基于耦合的模型更灵活，近年来基于ResNet的规范化流得到了广泛的研究。尽管它们的架构灵活，但众所周知，当前基于ResNet的模型受到Lipschitz常数的约束。在本文中，我们提出的单调制定，以克服使用单调算子的Lipschitz常数的问题，并提供了深入的理论分析。此外，我们构造了一个激活函数称为级联皮拉（CPila），以改善梯度流。由此产生的模型，单调流，在多个密度估计基准（MNIST，CIFAR-10，ImageNet 32，ImageNet 64）上表现出优异的性能。代码可在https://github.com/mlvlab/MonotoneFlows上获得。
2022-10-15 cs.LG
PINF: Continuous Normalizing Flows for Physics-Constrained Deep Learning
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
针对 Fokker-Planck 方程的概率密度归一化难题，提出 Physics-Informed Normalizing Flows（PINF），将扩散通过特征线方法融入连续归一化流，实现无网格、无因果依赖的高维含时与稳态方程高效求解。
2023-09-26 cs.AI cs.LG
Sensitivity Analysis to Unobserved Confounding with Copula-based Normalizing Flows
IDA, Linköping University（IDA，_linköping大学）
提出基于 copula 的因果图归一化流 $ρ$-GNF，通过敏感性参数 $ρ$ 估计未观测混杂下的平均因果效应（ACE）及其界限，并提供贝叶斯版本推导后验分布和可信区间。
2025-08-12 cs.LG stat.ME stat.ML
Learning normalizing flows from Entropy-Kantorovich potentials
McGill University（麦吉尔大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们从熵正则化最优运输的双重角度来研究学习连续规范化流的问题，其中连续规范化流被转换为标量势函数的梯度。这个公式使我们能够训练一个双目标组成的标量势函数，并消除了显式计算归一化流在训练过程中的负担。在训练之后，归一化流很容易从势函数中恢复。
2020-06-10 cs.LG stat.ML
STARFlow-V: End-to-End Video Generative Modeling with Normalizing Flows
Apple（苹果公司）
STARFlow-V基于归一化流提出端到端视频生成模型，具备端到端学习、鲁棒因果预测和原生似然估计等优势，实现了高质量自回归视频生成。
2025-11-26 cs.CV cs.LG
Bidirectional Normalizing Flow: From Data to Noise and Back
MIT（麻省理工学院）；Tsinghua University（清华大学）
本文提出BiFlow，一种无需精确解析反演的双向归一化流框架，通过学习反向模型提升生成质量并加速采样，实现更灵活的损失函数和架构，在生成建模中取得优异性能。
2025-12-11 cs.CV cs.LG
Adaptive Epsilon Adversarial Training for Robust Gravitational Wave Parameter Estimation Using Normalizing Flows
本研究提出自适应ε对抗训练方法，结合ResNet与逆自回归流，在引力波参数估计中显著提升归一化流模型对FGSM和PGD攻击的鲁棒性，降低NLL损失并避免过拟合。
2024-12-17 cs.LG
Causal Autoregressive Flows
Gatsby Unit, UCL（伦敦大学学院盖茨比单元）；King’s College London（伦敦国王学院）；University of Helsinki（赫尔辛基大学）
两个明显不相关的领域--规范化流和因果关系--最近在机器学习社区受到了相当大的关注。在这项工作中，我们强调了一个简单的家庭自回归规范化流和可识别的因果模型之间的内在对应关系。我们利用的事实，自回归流架构定义了一个排序的变量，类似于因果排序，表明他们非常适合执行一系列的因果推断任务，从因果发现，使干预和反事实的预测。首先，我们证明了因果模型来自仿射和加性自回归流与固定的顺序变量是可识别的，即因果影响的真实方向可以恢复。这提供了在因果发现中众所周知的加性噪声模型的一般化。其次，我们推导出一个基于似然比的因果方向的二元测度，利用流模型可以估计数据的归一化对数密度的事实。第三，我们表明，流自然允许直接评估的干预和反事实查询，后一种情况下是可能的，由于流的可逆性。最后，通过对合成数据和真实数据的一系列实验，表明所提出的方法优于目前的因果发现方法，以及准确的干预和反事实预测。
2021-02-24 cs.LG stat.ML
Self Normalizing Flows
University of Amsterdam（阿姆斯特丹大学）；Bosch（博世）
雅可比行列式项的有效梯度计算是许多机器学习设置中的核心问题，尤其是在归一化流框架中。因此，大多数提出的流模型要么限制到一个函数类，容易评估的雅可比行列式，或其有效的估计。然而，这些限制限制了这种密度模型的性能，通常需要显著的深度来达到期望的性能水平。在这项工作中，我们提出了自规范化流，这是一个灵活的框架，用于通过在每一层学习近似逆来替换梯度中的昂贵项来训练规范化流。这降低了从$\mathcal{O}(D^3)$到$\mathcal{O}(D^2)$的每一层的精确更新的计算复杂性，允许训练否则在计算上不可行的流架构，同时还提供有效的采样。我们的实验表明，这种模型是非常稳定的，并优化到类似的数据似然值作为其精确的梯度对应物，同时训练更快，并超越功能约束的同行的性能。
2021-06-09 cs.LG cs.NE stat.ML
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；University of Helsinki（赫尔辛基大学）
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的，因为采样过程是不可微的。连续松弛（例如分类分布的Gumbel-Softmax）支持基于梯度的优化，但不为离散观测定义有效的概率质量。在实践中，选择松弛量是困难的，并且需要优化与期望目标不一致的目标，这会导致问题，特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布，允许直接优化证据下限，并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Order-based Structure Learning with Normalizing Flows
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
提出OSLow框架，利用自回归归一化流和可微置换学习放宽加性噪声模型假设，在拓扑排序上搜索以强制无环性，在合成和真实数据上优于基线方法。
2024-02-17 cs.LG stat.ME
A deep causal inference model for interpretable travel behaviour analysis
Toronto Metropolitan University（多伦多都会大学）；Laboratory of Innovations in Transportation (LiTrans)（交通创新实验室）
本文提出深度因果推断模型CAROLINA，融合因果推断、深度学习与离散选择建模，用于可解释出行行为分析，并通过生成式反事实模型预测人类行为，实验证明其在因果发现、预测和政策评估上有效。
2026-11-03 cs.LG
Randomized Value Functions via Multiplicative Normalizing Flows
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
随机价值函数提供了一个很有前途的方法，有效地探索在复杂的环境中的高维状态和动作空间的挑战。与传统的点估计方法不同，随机价值函数在动作空间值上保持后验分布。这可以防止代理的行为策略过早地利用早期估计并陷入局部最优。在这项工作中，我们利用变分贝叶斯神经网络的最新进展，并将其与传统的深度Q网络（DQN）和深度确定性策略梯度（DDPG）相结合，以实现高维域的随机价值函数。特别是，我们增加DQN和DDPG与乘法规范化流，以跟踪丰富的近似后验分布的参数的价值函数。这允许代理通过随机梯度方法以计算高效的方式执行近似Thompson采样。我们证明了我们的方法的好处，通过在高维环境中的经验比较。
2019-06-28 cs.LG stat.ML
A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model
Baidu Research（百度研究院）
研究了两个生成式流模型的协同学习问题，即基于联合合成的实例迭代更新两个模型。第一流模型是通过应用可逆变换序列将初始简单密度变换为目标密度的归一化流。第二个流动模型是朗之万流动，其运行基于梯度的MCMC的有限步骤以实现基于能量的模型。我们从提出一个生成框架开始，该框架使用归一化流作为摊销采样器来训练基于能量的模型，以初始化基于能量的模型的MCMC链。在每次学习迭代中，我们通过使用归一化流初始化，然后对当前基于能量的模型进行短期朗之万流修正来生成合成示例。然后，将合成样本作为基于能量的模型的公平样本，利用极大似然学习梯度更新模型参数，而归一化流则通过最大化易处理的似然来直接从合成样本中学习。在短期非混合MCMC情形下，基于能量的模型的估计遵循极大似然扰动，短期Langevin流和归一化流形成了一个双流生成器，我们称之为CoopFlow.我们提供了一个understating的CoopFlow算法的信息几何，并表明它是一个有效的发电机，因为它收敛到一个时刻匹配估计。我们证明了训练的CoopFlow能够合成逼真的图像，重建图像，并在图像之间进行插值。
2022-05-13 cs.LG stat.ML
Continuous normalizing flows on manifolds
规范化流是从复杂的多峰分布中获得可重新参数化样本的一种强有力的技术。不幸的是，目前的方法只适用于最基本的几何形状，当底层空间具有非平凡拓扑时，这些方法就不适用了，这限制了它们对大多数真实世界数据的适用性。利用微分几何和几何控制理论的基本思想，我们描述了最近引入的神经常微分方程和连续归一化流可以扩展到任意光滑流形。我们提出了一个通用的方法参数化这些空间上的向量场，并演示了如何进行基于梯度的学习。此外，我们提供了一个可扩展的无偏估计量的分歧，在这个广义的设置。在多种空间选择上进行的实验经验性地展示了定义的框架从复杂分布中获取可重新参数化样本的能力。
2021-03-14 cs.LG stat.ML
SCOUT: Cyclic Causal Discovery Under Soft Interventions with Unknown Targets
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
SCOUT提出一种新框架，通过最大化数据对数似然恢复图结构，利用合同残差流和神经样条流，实现从软干预数据中学习非线性循环因果关系，优于现有方法。
2026-05-15 cs.LG
Graph-Augmented Normalizing Flows for Anomaly Detection of Multiple Time Series
Pennsylvania State University（宾夕法尼亚州立大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）
异常检测是针对各种各样的数据类型的广泛研究的任务;其中，多个时间序列频繁地出现在应用中，包括例如电网和交通网络。然而，检测多个时间序列的异常是一个具有挑战性的课题，因为组成序列之间存在复杂的相互依赖关系。我们假设异常发生在低密度区域的分布和探索使用规范化流的无监督异常检测，因为他们的质量优越的密度估计。此外，我们提出了一种新的流量模型，通过施加贝叶斯网络之间的组成系列。贝叶斯网络是一种有向无环图（DAG），它对因果关系进行建模;它将序列的联合概率分解为易于评估的条件概率的乘积。我们把这种图增强的归一化流方法称为GANF，并提出了DAG与流参数的联合估计。我们在真实世界的数据集上进行了广泛的实验，并证明了GANF在密度估计，异常检测和时间序列分布漂移识别方面的有效性。
2022-05-08 cs.LG stat.ML
Representational aspects of depth and conditioning in normalizing flows
MIT（麻省理工学院）；Carnegie Mellon（卡内基梅隆大学）
规范化流是生成建模中最流行的范例之一，特别是对于图像，主要是因为我们可以有效地评估数据点的可能性。这对于评估模型的拟合和易于训练都是期望的，因为最大化可能性可以通过梯度下降来完成。然而，训练规范化流也有困难：产生好样本的模型通常需要非常深-这伴随着消失/爆炸梯度问题。一个非常相关的问题是，它们通常条件很差：由于它们被参数化为来自$\mathbb{R}^d \to \mathbb{R}^d$的可逆映射，并且典型的训练数据（如图像）直观上是低维的，因此学习的映射通常具有接近奇异的雅可比矩阵。在我们的论文中，我们解决了代表性方面的深度和规范化流的条件：无论是一般的可逆架构，并为一个特定的共同架构，仿射耦合。我们证明，$Θ(1)$仿射耦合层足以准确地表示置换或$1 \times 1$卷积，如在GLOW中使用的，表示分区的选择不是深度的瓶颈。我们还表明，浅仿射耦合网络是Wasserstein距离的通用逼近器，如果病态是允许的，并实验研究相关的现象，涉及填充。最后，我们展示了一般流架构的深度下界，每层的神经元很少，有界Lipschitz常数。
2021-06-25 cs.LG stat.ML
Empirical evaluation of normalizing flows in Markov Chain Monte Carlo
University of Ljubljana（卢布尔雅那大学）
本文系统评估多种归一化流架构在MCMC中的应用，发现收缩残差流为最佳通用模型，并证明基于流的MCMC在合适架构下优于经典MCMC。
2025-10-09 cs.LG stat.CO stat.ML
Sliced Iterative Normalizing Flows
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们开发了一种迭代（贪婪）深度学习（DL）算法，该算法能够将任意概率分布函数（PDF）转换为目标PDF。该模型基于一系列1D切片的迭代最优传输，在每个切片上将边缘PDF与目标相匹配。正交切片的轴被选择为在每次迭代时使用Wasserstein距离来最大化PDF差异，这使得算法能够很好地扩展到高维。作为该算法的特例，我们引入了两个切片迭代归一化流（SINF）模型，该模型从数据映射到潜在空间（GIS），反之亦然（SIG）。我们表明，SIG能够生成高质量的图像数据集样本，这些样本与GAN基准相匹配，而GIS在密度估计任务上获得了与密度训练的NF相比具有竞争力的结果，并且在小训练集上训练时更稳定，更快，并且实现了更高的$p(x)$。SINF方法显著偏离当前DL范例，因为它是贪婪的并且不使用诸如最小梯度、随机梯度下降和通过深层的梯度反向传播的概念。
2021-06-14 cs.LG stat.ML
CaPulse: Detecting Anomalies by Tuning in to the Causal Rhythms of Time Series
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Squirrel AI
CaPulse提出基于因果的异常检测框架，通过结构因果模型和周期化归一化流应对标签稀缺等挑战，在七个数据集上AUROC提升3%-17%。
2025-08-06 cs.LG
Free-form Flows: Make Any Architecture a Normalizing Flow
Heidelberg University（海德堡大学）
提出一种基于变量替换公式梯度估计器的训练过程，打破了解析可逆性约束，使任意保维神经网络均可作为生成模型，并在分子生成和逆问题基准中取得优异或具竞争力的结果。
2024-04-24 cs.LG stat.ML
Stable Training of Normalizing Flows for High-dimensional Variational Inference
School of Informatics and Data Science, Hiroshima University（广岛大学信息与数据科学学院）
本文针对深度 Real NVPs 在高维变分推断中因随机梯度高方差而训练不稳定的问题，提出尺度软阈值处理与样本双射软对数变换的组合方法，并在数千维后验上验证了稳定训练和更准确的边际似然估计。
2024-02-26 cs.LG stat.ML
Learning Joint Articulatory-Acoustic Representations with Normalizing Flows
University of British Columbia（不列颠哥伦比亚大学）
声道的发音几何配置和所得到的语音声音的声学特性被认为具有很强的因果关系。本文旨在通过可逆神经网络模型找到元音发音域和声域之间的联合潜在表示，同时保留各自的域特定特征。我们的模型利用卷积自动编码器架构和规范化的基于流的模型，以允许正向和反向映射在半监督的方式，中间矢状声道几何形状的两个自由度的发音合成器与1D声波模型和梅尔频谱图表示的合成语音之间。我们的方法在实现发音到声学以及声学到发音映射方面取得了令人满意的性能，从而证明了我们在实现两个域的联合编码方面的成功。
2020-10-01 cs.LG cs.SD eess.AS
Normalizing Flows for Interventional Density Estimation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出干预归一化流，一种结合双流与一步偏差校正的全参数深度学习方法，用于从观测数据估计干预后潜在结果的密度，兼具表达力与高效性。
2023-06-20 cs.AI cs.LG stat.ME
TrajFlow: A Generative Framework for Occupancy Density Estimation Using Normalizing Flows
Department of Computer Science University of Minnesota（计算机科学系明尼苏达大学）；Department of Civil Environmental and Geo- Engineering University of Minnesota（土木环境与地球工程系明尼苏达大学）
针对智能交通与自动驾驶中智能体运动不确定性导致的轨迹预测难题，提出基于归一化流的生成框架TrajFlow，通过边缘分布建模与神经常微分方程架构，提升预测准确率并支持连续采样与下游任务适配。
2025-08-02 cs.LG
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Simulation-based parameter estimation via a combination of embedded normalizing flows and implied empirical probabilities under moment restrictions
The Catholic University of America（美国天主教大学）
针对物理系统计算模拟模型，提出含嵌入归一化流和经验似然估计两步的参数估计框架，利用一阶梯度方法更新参数，其参数化嵌入归一化流的逆可作替代模型，用于量化模型差异与敏感性分析。
2026-07-29 cs.LG stat.ME
Neural Galerkin Normalizing Flow for Transition Probability Density Functions of Diffusion Models
CSQI, École Polytechnique Fédérale de Lausanne（CSQI，洛桑联邦理工学院）
本文提出基于神经伽辽金正则化流的方法，通过求解对应的福克-普朗克方程近似扩散过程的转移概率密度函数，利用正则化流保证结构保持性和正性约束，数值结果表明该方法能有效捕捉真实解的关键特征。
2026-06-28 cs.LG cs.NA math.NA
Path Gradients after Flow Matching
Freie Universität Berlin（柏林自由大学）
针对已知目标能量的分子平衡采样，本文提出用路径梯度微调经Flow Matching初始化的CNF，在不增加模型、预算和采样的情况下将采样效率最高提升三倍并保留流结构。
2025-10-20 cs.LG stat.ML
TRADE: Transfer of Distributions between External Conditions with Normalizing Flows
Heidelberg University（海德堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出 TRADE 方法，将依赖外部参数的分布学习建模为边值问题，利用归一化流和未归一化密度梯度在不同条件间传播分布信息，从而在无需限制性架构或基于能量训练的情况下，高效学习参数依赖分布，并在贝叶斯推断、分子模拟和物理晶格模型等任务中取得优异效果。
2025-03-07 cs.LG
Computing Optimal Transport Maps and Wasserstein Barycenters Using Conditional Normalizing Flows
ETH Zurich（苏黎世联邦理工学院）
本文提出一种利用条件归一化流高效计算高维最优传输映射和Wasserstein重心的新方法，通过基于梯度的传输成本最小化直接求解原始问题，突破了以往方法难以处理数百个输入分布的计算瓶颈。
2025-05-28 cs.LG stat.ML
Deterministic Langevin Monte Carlo with Normalizing Flows for Bayesian Inference
Tsinghua University（清华大学）；University of California（加利福尼亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个通用的贝叶斯推断算法昂贵的可能性，取代随机项的朗之万方程与确定性的密度梯度项。粒子密度是从当前的粒子位置使用归一化流（NF），这是可微的，并在高维具有良好的泛化性能进行评估。我们利用NF预处理和基于NF的Metropolis-Hastings更新来加快收敛速度。我们在各种例子中表明，该方法是有竞争力的最先进的采样方法。
2022-10-13 cond-mat.stat-mech cs.LG physics.data-an
Learning and Generalization in Overparameterized Normalizing Flows
Microsoft Research India（微软印度研究院）
在监督学习中，已知当使用具有足够小的学习率和合适的初始化的随机梯度下降训练时，具有一个隐藏层的过参数化神经网络可证明且有效地学习和泛化。相比之下，过度参数化在无监督学习中的好处还没有得到很好的理解。归一化流（NF）是无监督学习中一类重要的采样和密度估计模型。在本文中，我们从理论和实证分析这些模型时，底层神经网络是一个隐藏层过参数化网络。我们的主要贡献有两个方面：（1）一方面，我们提供了理论和经验证据，证明对于具有一个隐藏层网络的约束NF（这类NF是许多NF构造的基础），过度参数化会损害训练。(2)另一方面，我们证明了无约束NF，最近推出的模型，可以有效地学习任何合理的数据分布在最小的假设下，当底层网络是overparametrized，并有一个隐藏层。
2022-03-23 cs.AI cs.LG
RECLAIM: Cyclic Causal Discovery Amid Measurement Noise
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
RECLAIM通过最大似然估计和残差归一化流处理循环因果和测量噪声，理论保证一致性和实验证明有效性。
2026-03-21 cs.LG stat.ML
Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models
University of Notre Dame（圣母大学）
从数据中快速推断数值模型参数是生成广泛应用的预测模型的重要前提。使用基于采样的方法，如马尔可夫链蒙特卡罗可能会变得棘手时，每个可能性评估是计算昂贵的。变分推理与归一化流相结合的新方法的特征在于计算成本仅随潜在变量空间的维度线性增长，并且依赖于基于梯度的优化而不是采样，为关于模型参数的贝叶斯推理提供了更有效的方法。此外，通过用离线训练的代理模型（诸如神经网络）替换真实模型，可以减轻频繁评估昂贵的可能性的成本。然而，这种方法可能会产生显着的偏见时，替代品是不够准确的后验模式。为了在不牺牲推理精度的前提下降低计算成本，本文提出了一种基于自适应代理的流标准化算法（Normalizing Flow with Adaptive Surrogate，NoFAS），该算法通过交替更新流标准化参数和代理模型参数来优化流模型。我们还提出了一个有效的样本加权方案的代理模型训练，保持全球的准确性，同时有效地捕捉高后验密度区域。我们展示了NoFAS对各种基准的推理和计算优势，包括基础模型缺乏可识别性的情况。用于本研究的源代码和数值实验可在https://github.com/cedricwangyu/NoFAS上获得。
2022-04-28 cs.LG stat.ML
Neural Ordinary Differential Equations on Manifolds
University of Amsterdam（阿姆斯特丹大学）；Aiconic
规范化流是从复杂的多峰分布中获得可重新参数化样本的一种强有力的技术。不幸的是，当前的方法在底层空间具有非平凡拓扑时不足，并且仅适用于最基本的几何形状。最近，基于神经常微分方程的欧几里德空间中的规范化流显示出很大的希望，但也受到同样的限制。利用微分几何和几何控制理论的思想，我们描述了如何神经常微分方程可以扩展到光滑流形。我们展示了向量场如何提供一个通用框架，参数化这些空间上的可逆映射的灵活类，我们说明了如何梯度为基础的学习可以执行。因此，我们定义了一个通用的方法来建立规范化流流形。
2020-06-11 cs.LG stat.ML
Causal Integrated Gradients: Scalable Feature Attribution Along Causal Paths
KU Leuven（KU Leuven（天主教鲁汶大学））；Laboratory of Multi-omics Integrative Bioinformatics（多组学整合生物信息学实验室）；KU Leuven Institute for Single Cell Omics (LISCO)（KU Leuven单细胞组学研究所（LISCO））；Department of Electrical Engineering, KU Leuven（KU Leuven电气工程系）；Department of Development and Regeneration, KU Leuven（KU Leuven发育与再生系）
该研究提出因果集成梯度（CIG）和因果期望梯度（CEG），将因果结构融入基于梯度的特征归因，在保持计算效率的同时，能更准确识别上游驱动因素，优于DeepSHAP等现有方法。
2026-10-19 cs.AI cs.LG q-bio.QM
Latent Reasoning with Normalizing Flows
University of Pennsylvania（宾夕法尼亚大学）；UC San Diego（圣地亚哥大学）；Meta
提出NF-CoT框架，通过归一化流在LLM内部建模连续潜在思维，保留自回归生成、概率采样、KV缓存解码和似然估计等优势，在代码生成任务中提升通过率并降低推理成本。
2026-06-04 cs.CL cs.LG
Advances in Black-Box VI: Normalizing Flows, Importance Weighting, and Optimization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）
最近的研究已经看到了一些与黑盒VI相关的进展，但自动后验推理的现状尚不清楚。一个这样的进步是使用归一化流来定义深度潜变量模型的灵活后验密度。另一个方向是蒙特卡罗方法的整合，以达到两个目的：第一，获得更严格的变分优化目标，第二，通过采样来定义丰富的变分族。然而，无论是流量和变分蒙特卡罗方法仍然相对未开发的黑箱VI。此外，在实用方面，有几个优化的考虑因素，如步长方案，参数初始化和梯度估计的选择，在现有文献中没有明确的指导。在本文中，我们假设黑盒VI是最好的解决方案，通过精心组合的众多算法组件。我们评估组件相关的优化，流量和蒙特卡罗方法的基准30模型从斯坦模型库。这些算法组件的组合显着推进了最先进的“开箱即用”变分推理。
2020-10-23 cs.LG stat.ML
Effects of Distributional Biases on Gradient-Based Causal Discovery in the Bivariate Categorical Case
TUM（慕尼黑技术大学）；Ruhr University Bochum（博德姆鲁尔大学）；Institute for Neural Computation, Faculty for Computer Science（神经计算研究所，计算机科学学院）
该研究识别出双变量分类场景下影响基于梯度的因果发现的两类分布偏差，验证了相关模型易受其影响，提出消除因果分解竞争可提升模型鲁棒性。
2025-09-01 cs.LG stat.ML
Deterministic Langevin Unconstrained Optimization with Normalizing Flows
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本研究受朗之万方程启发提出确定性朗之万优化（DLO）方法，借助归一化流密度估计实现黑箱函数的无梯度全局优化，在多类测试任务上表现优于或比肩现有最优方法。
2023-10-01 cs.LG math.OC
A Neural Framework for Generalized Causal Sensitivity Analysis
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；UCLA（加州大学洛杉矶分校）；University of Cambridge（剑桥大学）
本文提出神经框架 NeuralCSA，利用条件归一化流学习干预引起的潜在分布偏移，在多种敏感性模型、二值或连续处理及多种因果查询下推断有效因果界限。
2024-04-09 cs.LG stat.ML
CITRIS: Causal Identifiability from Temporal Intervened Sequences
University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Qualcomm AI Research（高通人工智能研究院）
从视觉观察中理解动力系统的潜在因果因素被认为是复杂环境中智能体推理的关键一步。在本文中，我们提出了CITRIS，一个变分自编码器框架，学习因果关系表示的图像中，潜在的因果因素可能被干预的时间序列。与最近的文献相比，CITRIS利用时间性和观察干预目标来识别标量和多维因果因素，如3D旋转角度。此外，通过引入规范化流程，CITRIS可以很容易地扩展到利用和解开已经预训练的自动编码器获得的表示。扩展以前的结果标量因果因素，我们证明了可识别性在一个更一般的设置，其中只有一些组件的因果因素的干预措施的影响。在3D渲染图像序列的实验中，CITRIS在恢复潜在的因果变量方面优于以前的方法。此外，使用预训练的自动编码器，CITRIS甚至可以推广到因果因素的不可见实例，为因果表示学习的模拟到真实泛化开辟了未来的研究领域。
2022-06-15 cs.AI cs.LG stat.ME
Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme
Colorado School of Mines（科罗拉多矿业学院）；University of California, Los Angeles（加州大学洛杉矶分校）
归一化流（NF）是将所选概率分布转换为正态分布的映射。这种流是机器学习和数据科学中用于数据生成和密度估计的常用技术。使用NF获得的密度估计需要一个变量变换公式，该公式涉及NF变换的雅可比行列式的计算。为了可追踪地计算这个行列式，连续归一化流（CNF）使用神经常微分方程估计映射及其雅可比行列式。最优输运（OT）理论已被成功地用于帮助寻找CNF，通过将它们公式化为OT问题，并将用于强制执行标准正态分布的软惩罚作为目标度量。基于OT的CNF的缺点是添加了超参数$α$，其控制软惩罚的强度并且需要显著的调谐。我们提出了JKO-Flow，一种无需调整$α$即可求解基于OT的CNF的算法。这是通过将OT CNF框架集成到Wasserstein梯度流框架中来实现的，也称为JKO方案。代替调整$α$，我们重复地解决固定的$α$的最优化问题，有效地执行具有时间步长$α$的JKO更新。因此，我们得到了一个“分而治之”的算法，通过反复解决简单的问题，而不是解决一个潜在的更难的问题与大$α$。
2022-11-30 cs.LG math.OC
Differentiable Causal Discovery from Interventional Data
Mila, Université de Montréal（蒙特利尔大学Mila）；Element AI；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
从数据中学习因果有向无环图是一项具有挑战性的任务，涉及解决组合问题，其解决方案并不总是可识别的。一个新的工作路线重新制定这个问题作为一个连续的约束优化，这是通过增广拉格朗日方法来解决。然而，大多数基于这种想法的方法不使用介入数据，这可以显着缓解可识别性问题。这项工作构成了一个新的一步，在这个方向上提出了一个理论基础的方法，基于神经网络，可以利用介入数据。我们说明了连续约束框架的灵活性，利用表达神经架构，如规范化流程。我们表明，我们的方法相比，在各种设置，包括完美和不完美的干预，目标节点甚至可能是未知的最先进的。
2020-11-03 cs.LG stat.ML
