Sylvester Normalizing Flows for Variational Inference
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）
变分推断依赖于灵活的近似后验分布。规范化流提供了一个通用的配方来构建灵活的变分后验。我们引入西尔维斯特规范化流，这可以被看作是一个推广的平面流。Sylvester规范化流消除了平面流中众所周知的单单元瓶颈，使单个转换更加灵活。我们比较了西尔维斯特规范化流对平面流和逆自回归流的性能，并证明了它们在几个数据集上的表现。
2019-02-20 cs.AI cs.LG stat.ME
PINF: Continuous Normalizing Flows for Physics-Constrained Deep Learning
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
针对 Fokker-Planck 方程的概率密度归一化难题，提出 Physics-Informed Normalizing Flows（PINF），将扩散通过特征线方法融入连续归一化流，实现无网格、无因果依赖的高维含时与稳态方程高效求解。
2023-09-26 cs.AI cs.LG
Wavelet Flow: Fast Training of High Resolution Normalizing Flows
York University（约克大学）；Borealis AI（北极光人工智能）；Ryerson University（瑞尔森大学）；Samsung AI Centre Toronto（三星人工智能中心多伦多分部）；Vector Institute（向量研究所）
规范化流是一类概率生成模型，它允许快速密度计算和有效采样，并且在模拟图像等复杂分布时有效。当前方法的一个缺点是其显著的训练成本，有时需要数月的GPU训练时间才能实现最先进的结果。本文介绍了小波流，一个多尺度，规范化的流架构的基础上小波。小波流具有信号尺度的显式表示，其固有地包括较低分辨率信号的模型和较高分辨率信号的条件生成，即，超分辨率。小波流的一个主要优点是能够为高分辨率数据构建生成模型（例如，1024 x 1024图像），这是不切实际的与以前的模型。此外，在标准（低分辨率）基准测试中，Wavelet Flow在每维比特数方面与之前的归一化流具有竞争力，同时训练速度最多快15倍。
2020-10-26 cs.CV cs.LG
AUTM Flow: Atomic Unrestricted Time Machine for Monotonic Normalizing Flows
Emory University（埃默里大学）；University of Kentucky（肯塔基大学）
非线性单调变换被广泛地用于规范流，以构造从简单分布到复杂分布的可逆三角映射。在现有的文献中，通常通过限制函数类或模型参数来强制单调性，并且由于无法获得封闭形式的逆变换，因此逆变换通常通过求根算法来近似。在本文中，我们介绍了一种新的积分为基础的方法称为“原子无限制时间机器（AUTM）”，配备了无限制的被积和易于计算的显式逆。AUTM提供了一个通用的和有效的方法来设计规范化流显式逆和不受限制的函数类或参数。在理论上，我们提出了一个建设性的证明，AUTM是普遍的：所有单调正规化流可以被视为AUTM流的限制。我们提供了一个具体的例子来说明如何近似任何给定的单调规范化流使用AUTM流保证收敛。结果表明，AUTM可以用来将现有的流转化为一个新的配备显式逆和无限制的参数。在高维密度估计、变分推理和图像生成方面对新方法的性能进行了评估。实验表明，优越的速度和内存效率的AUTM。
2022-06-05 cs.AI cs.CV cs.LG
Temporal-Conditioned Normalizing Flows for Multivariate Time Series Anomaly Detection
本文提出时间条件归一化流框架，通过建模时间依赖性与不确定性，实现多变量时间序列的高效异常检测。
2026-03-10 cs.AI cs.LG
AltUB: Alternating Training Method to Update Base Distribution of Normalizing Flow for Anomaly Detection
KAIST（韩国科学技术院）
由于异常数据量的有限性，无监督异常检测在各个实际领域受到了广泛关注。其主要方法之一是归一化流，该归一化流追求将作为图像的复杂分布可逆地变换为作为N（0，I）的简单分布。事实上，基于FastFlow和CFLOW-AD等规范化流的算法在无监督异常检测任务上建立了最先进的性能。然而，我们调查这些算法转换正常的图像到不N（0，I）作为其目的地，但任意的正态分布。此外，它们的性能通常不稳定，这对于无监督任务非常关键，因为没有提供验证数据。为了突破这些观察结果，我们提出了一个简单的解决方案AltUB，它引入了交替训练来更新异常检测的规范化流的基础分布。AltUB有效地提高了规范化流程性能的稳定性。此外，我们的方法在MVTec AD数据集上实现了异常分割任务的最新性能，AUROC为98.8%。
2022-10-26 cs.AI cs.LG
Equivariant Finite Normalizing Flows
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；York University（约克大学）；Vector Institute（向量研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
生成式建模试图揭示产生观测数据的潜在因素，这些数据通常可以建模为自然对称性，这些对称性通过对某些变换定律的不变性和等变性来表现自己。然而，目前的方法来表示这些对称性是在形式主义的连续规范化流，需要建设的等变向量场-抑制其简单的应用到传统的高维生成建模领域，如自然图像。在本文中，我们专注于使用离散层构建等变归一化流。首先从理论上证明了作用在紧空间上的紧群的等变映射的存在性。我们进一步介绍了三个新的等变流：$G$ -剩余流，$G$ -耦合流，和$G$ -逆自回归流提升经典的残差，耦合，逆自回归流等变映射到一个指定的组$G$。我们构造的$G$ -剩余流也是普适的，在这个意义上，我们证明了一个$G$ -等变的同构可以精确映射的$G$ -剩余流。最后，我们补充了我们的理论见解与演示实验-第一次-在图像数据集，如CIFAR-10和显示$G$ -等变有限规范化流导致提高数据效率，更快的收敛，并改善似然估计。
2022-08-12 cs.AI cs.LG
Learning normalizing flows from Entropy-Kantorovich potentials
McGill University（麦吉尔大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们从熵正则化最优运输的双重角度来研究学习连续规范化流的问题，其中连续规范化流被转换为标量势函数的梯度。这个公式使我们能够训练一个双目标组成的标量势函数，并消除了显式计算归一化流在训练过程中的负担。在训练之后，归一化流很容易从势函数中恢复。
2020-06-10 cs.LG stat.ML
VQ-Flows: Vector Quantized Local Normalizing Flows
Verisk Analytics（Verisk分析公司）；University of Maryland, College Park（马里兰大学帕克分校）；Motive Technologies, Inc.（Motive科技公司）
规范化流为生成式建模提供了一种优雅的方法，可以对未知数据分布进行有效的采样和精确的密度评估。然而，目前的技术有显着的限制，在他们的表现力时，数据分布是支持低维流形或具有非平凡的拓扑结构。我们引入了一种新的统计框架，用于学习混合的本地归一化流作为数据流形上的“图表”。我们的框架增强了最近的方法的表达能力，同时保留了规范化流的签名属性，即它们允许精确的密度评估。我们通过矢量量化自动编码器（VQ-AE）和使用条件流的分布来学习数据流形的图表的合适的图集。我们通过实验验证，我们的概率框架使现有的方法更好地模拟复杂流形上的数据分布。
2022-06-18 cs.AI cs.LG stat.ML
$α$-Graph: Attention-Infused Normalizing Flow Approach to Tractable Graph Modeling
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）；Washington State University Vancouver（华盛顿州立大学温哥华分校）
本文提出基于注意力注入的归一化流图建模方法$\alpha$-Graph，通过可逆注意力机制和可学习查询的条件流，实现显式可处理的图结构建模，在三个基准上达到最先进性能。
2026-09-09 cs.CV cs.LG
Projected Latent Markov Chain Monte Carlo: Conditional Sampling of Normalizing Flows
Department of Electrical and Computer Engineering（电气与计算机工程系）；Duke University（杜克大学）
我们介绍了投影隐马尔可夫链蒙特卡罗（PL-MCMC），一种从归一化流学习的高维条件分布中采样的技术。我们证明了一个大都会黑斯廷斯实施PL-MCMC渐近样本从与规范化流的确切条件分布。作为一种条件采样方法，PL-MCMC支持蒙特卡洛期望最大化（MC-EM）训练，从不完整的数据中规范化流。通过对各种数据集的缺失数据任务应用规范化流的实验测试，我们证明了PL-MCMC对规范化流的条件采样的有效性。
2021-02-26 cs.LG stat.ML
Copula-Based Normalizing Flows
Ruhr University（鲁尔大学）
规范化流通过将数据转换为高斯基分布的样本来学习分布，已经证明了强大的密度近似。但是它们的表达能力受到这种基本分布选择的限制。因此，我们建议将基础分布推广到一个更精细的copula分布，以更准确地捕捉目标分布的属性。在第一个实证分析中，我们证明了这种替换可以显着提高香草规范化流程的灵活性，稳定性和有效性的重尾数据。我们的研究结果表明，这些改进与学习流的局部Lipschitz稳定性增加有关。
2021-07-15 cs.AI cs.LG stat.ML
Towards Climate Variable Prediction with Conditioned Spatio-Temporal Normalizing Flows
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本研究提出将条件归一化流应用于气候科学的遥感数据产品进行时空预测，利用其精确似然计算和不确定性估计等优势，实验证明该方法在长时间推演中优于基线模型并具备稳定外推能力。
2024-05-31 cs.AI cs.LG
Fair Normalizing Flows
ETH Zurich（苏黎世联邦理工学院）；DeepMind（深度思维）
公平表示学习是一种有吸引力的方法，它通过对敏感数据进行编码来保证下游预测器的公平性。不幸的是，最近的研究表明，强对抗性预测器仍然可以通过从这些表示中恢复敏感属性来表现出不公平性。在这项工作中，我们提出了公平规范化流（FNF），一种新的方法，提供更严格的公平性保证学习表示。具体来说，我们考虑一个实际的设置，我们可以估计敏感群体的概率密度。其关键思想是将编码器建模为经过训练的归一化流，以最小化不同组的潜在表示之间的统计距离。FNF的主要优点是它的精确似然计算允许我们保证任何潜在的敌对下游预测器的最大不公平性。我们通过实验证明了FNF在各种具有挑战性的现实数据集上执行各种组公平概念以及其他有吸引力的属性（如可解释性和迁移学习）的有效性。
2022-03-17 cs.AI cs.LG
Normalizing Flows for Interventional Density Estimation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出干预归一化流，一种结合双流与一步偏差校正的全参数深度学习方法，用于从观测数据估计干预后潜在结果的密度，兼具表达力与高效性。
2023-06-20 cs.AI cs.LG stat.ME
Normalizing Flows with Iterative Denoising
Apple Machine Learning Research（苹果机器学习研究）
本文提出iTARFlow，通过迭代去噪提升归一化流生成模型性能，展现其在图像生成中的潜力。
2026-04-21 cs.AI cs.CV
InFlow: Robust outlier detection utilizing Normalizing Flows
HZDR – Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；TU Dresden（德累斯顿工业大学）；CASUS（高级系统理解中心）
规范化流是重要的深度生成模型，提供易于处理的概率分布和有效的密度估计。然而，众所周知，它们在检测分布外（OOD）输入时会失败，因为它们直接在其潜在空间中对输入表示的局部特征进行编码。在本文中，我们解决了这个过度自信的问题，规范化流，证明流，如果扩展的注意力机制，可以可靠地检测离群值，包括对抗攻击。我们的方法不需要离群数据进行训练，我们通过报告不同实验环境中最先进的性能来展示我们的方法用于OOD检测的效率。代码可在https://github.com/ComputationalRadiationPhysics/InFlow获得。
2021-11-16 cs.AI cs.CR cs.LG
Jacobian Determinant of Normalizing Flows
规范化流学习目标和基本分布之间的一个同构映射，而该映射的雅可比行列式形成另一个实值函数。本文证明了对于给定的分布，雅可比行列式映射是唯一的，因此流的似然目标具有唯一的全局最优解。特别地，一类流的似然性由单个数据点的自相关矩阵的特征值显式表示，与神经网络的参数化无关，它提供了似然性目标的理论最优值，并与概率PCA相关。此外，雅可比行列式是局部体积变化的度量，并且当MLE用于优化时被最大化。为了稳定规范化流训练，需要保持体积的膨胀和收缩之间的平衡，这意味着Lipschitz约束在非纯映射及其逆上。根据这些理论结果，提出了常化流程设计的若干原则。并在高维数据集（如CelebA-HQ 1024 × 1024）上进行了数值实验，以证明训练的稳定性得到了提高。
2021-02-17 cs.AI cs.LG stat.ML
Stochastic Normalizing Flows for Inverse Problems: a Markov Chains Viewpoint
TU Berlin（柏林工业大学）
为了克服拓扑约束并提高规范化流架构的表达能力，Wu，Köhler和Noé引入了随机规范化流，将确定性，可学习的流转换与随机采样方法相结合。在本文中，我们考虑随机正规化流从马尔可夫链的角度来看。特别是，我们取代一般马尔可夫核的过渡密度，并建立通过Radon-Nikodym衍生物，允许将分布没有密度在一个健全的方式证明。此外，我们推广了逆问题中所需的后验分布采样的结果。数值例子表明了所提出的条件随机规范化流的性能。
2022-02-07 cs.LG math.PR
Noise Flow: Noise Modeling with Conditional Normalizing Flows
York University（约克大学）；Borealis AI（Borealis人工智能公司）；Samsung AI Center（三星人工智能中心）
图像噪声的建模与合成是计算机视觉应用中的一个重要方面。文献中广泛使用的长期存在的加性白高斯和异方差（信号相关）噪声模型只提供了真实传感器噪声的粗略近似。本文介绍了噪声流，一个强大的和准确的噪声模型的基础上，最近归一化流架构。噪声流结合了完善的基本参数噪声模型（例如，信号相关的噪声）与规范化流网络的灵活性和表现力。其结果是一个单一的，全面的，紧凑的噪声模型包含少于2500个参数，但能够代表多个相机和增益因子。Noise Flow显著优于现有的噪声模型，比相机校准的噪声水平函数提高了0.42 nats/像素，这意味着采样噪声的可能性提高了52%。Noise Flow是第一次认真尝试超越简单的参数模型，利用深度学习和数据驱动的噪声分布的力量。
2019-08-22 cs.CV cs.LG eess.IV
Diffusion Normalizing Flow
Georgia Institute of Technology（佐治亚理工学院）
提出了一种基于随机微分方程的生成式建模方法--扩散归一化流。该算法由两个神经SDEs组成：一个是前向滤波器，它逐渐向数据中添加噪声，将数据转换为高斯随机噪声;一个是后向滤波器，它逐渐去除噪声，从数据分布中采样。通过联合训练两个神经系统的随机微分方程，以最小化量化两者之间差异的公共成本函数，后向随机微分方程收敛到一个扩散过程，该过程以高斯分布开始，以所需的数据分布结束。我们的方法是密切相关的归一化流量和扩散概率模型，可以被看作是两者的结合。与归一化流相比，扩散归一化流能够学习具有尖锐边界的分布。与扩散概率模型相比，扩散归一化流需要更少的离散化步骤，从而具有更好的采样效率。我们的算法在高维数据密度估计和图像生成任务中都表现出了有竞争力的性能。
2021-10-14 cs.LG
Solving time dependent Fokker-Planck equations via temporal normalizing flow
Institute of Computational Mathematics and Scientific/Engineering Computing, AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院计算数学与科学工程计算研究所）
在这项工作中，我们提出了一个自适应学习方法的时间归一化流的基础上解决时间依赖的福克-普朗克（TFP）方程。众所周知，这些方程的解是概率密度函数，因此我们的方法依赖于用时间归一化流对目标解进行建模。然后基于TFP损失函数训练时间归一化流，而不需要任何标记的数据。作为一种机器学习方案，该方法是无网格的，可以很容易地应用到高维问题。我们提出了各种测试问题，以显示学习方法的有效性。
2022-03-22 cs.LG
Riemannian Continuous Normalizing Flows
University of Oxford（牛津大学）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
规范化流已经显示出很大的承诺，灵活的概率分布建模在计算上易于处理的方式。然而，虽然数据通常在黎曼流形（如球面、鸟居和双曲空间）上自然地描述，但大多数归一化流隐含地假设平坦几何，使它们在这些情况下要么被错误指定，要么不适合。为了克服这个问题，我们引入黎曼连续规范化流，一个模型，它允许参数化的灵活概率测度光滑流形定义流的解决方案，常微分方程。我们表明，这种方法可以导致合成和真实世界的数据相比，标准流量或以前引入的预测流量的大幅改善。
2020-12-09 cs.LG stat.ML
Invertible Monotone Operators for Normalizing Flows
Korea University（高丽大学）；Sungkyunkwan University（成均馆大学）
规范化流通过学习将简单分布转换为复杂分布的可逆转换来建模概率分布。由于基于ResNet的规范化流的架构比基于耦合的模型更灵活，近年来基于ResNet的规范化流得到了广泛的研究。尽管它们的架构灵活，但众所周知，当前基于ResNet的模型受到Lipschitz常数的约束。在本文中，我们提出的单调制定，以克服使用单调算子的Lipschitz常数的问题，并提供了深入的理论分析。此外，我们构造了一个激活函数称为级联皮拉（CPila），以改善梯度流。由此产生的模型，单调流，在多个密度估计基准（MNIST，CIFAR-10，ImageNet 32，ImageNet 64）上表现出优异的性能。代码可在https://github.com/mlvlab/MonotoneFlows上获得。
2022-10-15 cs.LG
Resampling Base Distributions of Normalizing Flows
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
规范化流是一种流行的近似概率分布的模型。然而，它们的可逆性限制了它们对目标分布建模的能力，这些目标分布的支持具有复杂的拓扑结构，例如玻尔兹曼分布。已经提出了几种方法来解决这个问题，但其中许多方法牺牲了可逆性，从而牺牲了对数似然的可追踪性以及其他期望的属性。为了解决这些局限性，我们引入了一个基础分布的学习拒绝抽样的基础上规范化流，允许得到的规范化流模型复杂的分布，而不放弃双射性。此外，我们开发了合适的学习算法，使用最大化的对数似然和优化的库尔贝克-莱布勒散度，并将其应用于各种样本问题，即近似二维密度，密度估计的表格数据，图像生成和建模玻尔兹曼分布。在这些实验中，我们的方法与基线竞争或优于基线。
2022-02-24 cs.AI cs.LG stat.ML
A Method to Model Conditional Distributions with Normalizing Flows
University of Chicago（芝加哥大学）
在这项工作中，我们研究了使用规范化流模型的条件分布。特别是，我们使用我们提出的方法来分析逆问题的可逆神经网络通过最大化后验似然。我们的方法只使用一个单一的损失，是很容易的训练。这是对先前方法的改进，该方法用可逆神经网络解决类似的逆问题，但涉及几个损失项与ad-hoc加权的组合。此外，我们的方法提供了一个自然的框架，将条件规范化流，因此，我们可以训练一个可逆的网络进行条件生成。我们分析了我们的方法，并与以前的方法进行了仔细的比较。简单的实验表明了该方法的有效性，更全面的实验评估正在进行中。
2019-11-05 cs.CV cs.LG stat.ML
Gradient-based Causal Structure Learning with Normalizing Flow
University of Adelaide（阿德莱德大学）；School of Computer Science（计算机科学学院）
在本文中，我们提出了一种基于分数的归一化流方法DAG-NF来学习输入观测数据的依赖关系。受计算机视觉中Grad-CAM的启发，我们使用输出对输入的雅可比矩阵作为因果关系，并且该方法可以推广到任何神经网络，特别是对于基于流的生成神经网络，例如掩蔽自回归流（MAF）和连续归一化流（CNF），其计算输入数据和目标分布的对数似然损失和分布的发散。该方法扩展了NOTEARS算法，对图的连续邻接矩阵施加了重要的酰基性约束，大大降低了图的搜索空间的计算复杂性。
2020-10-07 cs.LG
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with Short-run Langevin Flow for Approximate Inference
研究了自顶向下生成器模型潜空间中的归一化流，其中归一化流模型充当生成器的先验信息模型。我们建议联合学习的潜在空间规范化流先验模型和自上而下的发电机模型的马尔可夫链蒙特卡罗（MCMC）为基础的极大似然算法，其中一个短期的朗之万采样从棘手的后验分布进行推断的潜变量为每个观察到的例子，使规范化流先验和发电机的参数可以更新与推断的潜变量。我们表明，在非收敛的短期MCMC的情况下，有限步Langevin动力学是一个流的近似推理模型和学习目标实际上遵循的极大似然估计（MLE）的扰动。我们进一步指出，学习框架旨在（i）匹配潜在空间归一化流和短期Langevin流产生的聚合后验，以及（ii）使模型偏离MLE，使得短期Langevin流推断接近真实后验。大量的实验结果验证了所提出的潜在空间归一化流模型在图像生成、图像重建、异常检测、有监督图像修复和无监督图像恢复等任务中的有效性。
2023-01-23 cs.LG stat.ML
Generalized Normalizing Flows via Markov Chains
TU Berlin（柏林工业大学）
规范化流、扩散规范化流和变分自编码器是功能强大的生成模型。本章提供了一个统一的框架来处理这些方法通过马尔可夫链。我们认为随机规范化流作为一对马尔可夫链履行一些属性，并显示有多少国家的最先进的数据生成模型适合这个框架。事实上，数值模拟表明，包括随机层提高了网络的表达能力，并允许从单峰分布生成多峰分布。马尔可夫链的观点使我们能够耦合确定性层作为可逆的神经网络和随机层作为Metropolis-Hasting层，Langevin层，变分自编码器和扩散归一化流在数学上健全的方式。我们的框架建立了一个有用的数学工具，结合各种方法。
2022-07-20 cs.LG math.PR
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
通过链接一系列可微可逆变换，规范化流（NF）提供了一种后验近似，精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换，以实现更大的灵活性。我们提出了一种替代方案：梯度提升归一化流（GBNF）模型的密度连续添加新的NF组件与梯度提升。在boosting框架下，每个新的NF分量优化样本加权似然目标，从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构，其灵活性随着添加更多组件而增加。此外，GBNF提供了一个更广泛的，而不是严格的更深入的方法，以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性，密度估计，并通过耦合GBNF与变分自编码器，生成的图像建模。我们的研究结果表明，GBNF优于其非增强模拟，并且在某些情况下，用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
Time-changed normalizing flows for accurate SDE modeling
Univ Brest（布雷斯特大学）；IMT Atlantique（大西洋电信学院）
本文提出时变归一化流TCNF，通过对Brown运动作时间形变来建模传统动态归一化流无法表示的SDE，并推广已有方法、提升推断与预测性能。
2024-01-15 cs.LG stat.ML
The Expressive Power of a Class of Normalizing Flow Models
University of California San Diego（加州大学圣地亚哥分校）
规范化流最近受到了极大的关注，因为它们允许灵活的生成建模以及简单的似然计算。虽然已经提出了各种各样的流模型，但对这些模型的表示能力几乎没有正式的理解。在这项工作中，我们研究了一些基本的规范化流程，并严格建立其表达能力的界限。我们的研究结果表明，虽然这些流是高度表达在一个维度上，在更高的维度，他们的代表性的权力可能是有限的，特别是当流量有适度的深度。
2020-05-31 cs.LG stat.ML
Graph Normalizing Flows
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们介绍图规范化流程：一个新的，可逆的图神经网络模型的预测和生成。在有监督的任务上，图规范化流的执行类似于消息传递神经网络，但内存占用显著减少，允许它们扩展到更大的图。在无监督的情况下，我们结合图规范化流与一种新的图形自动编码器，以创建一个生成模型的图结构。我们的模型是置换不变的，生成整个图形与一个单一的前馈通过，并实现竞争力的结果与最先进的自回归模型，同时更适合并行计算架构。
2019-05-30 cs.LG stat.ML
Categorical Normalizing Flows via Continuous Transformations
University of Amsterdam（阿姆斯特丹大学）
尽管它们很受欢迎，但到目前为止，分类数据上的标准化流的应用仍然有限。当前使用反量化将离散数据映射到连续空间的实践是不适用的，因为分类数据没有内在顺序。相反，分类数据具有复杂和潜在的关系，必须进行推断，例如单词之间的同义关系。在本文中，我们研究了\emph{Categorical Normalizing Flows}，即规范化流的分类数据。通过将连续空间中分类数据的编码问题转化为变分推理问题，我们联合优化了连续表示和模型似然。使用因子分解解码器，我们引入了一个归纳偏差来模拟归一化流中的任何交互。因此，与具有联合解码器相比，我们不仅简化了优化，而且还可以扩展到大量类别，这在离散归一化流中是不可能的。基于分类规范化流，我们提出了一个图上的置换不变生成模型GraphCNF。GraphCNF实现了一种三步方法，逐步建模节点、边和邻接矩阵，以提高效率。在分子生成方面，GraphCNF优于基于最先进技术的单次和自回归流。
2021-01-21 cs.LG stat.ML
Whitening Convergence Rate of Coupling-based Normalizing Flows
Heidelberg University（海德堡大学）
基于耦合的规范化流（例如RealNVP）是一个流行的规范化流架构家族，在实践中工作得非常好。这需要理论上的理解。现有的工作表明，这样的流量弱收敛到任意的数据分布。然而，他们没有说明在实践中使用的更严格的收敛标准，最大似然损失。对于第一次，我们对这种收敛性做了一个定量的陈述：我们证明了所有基于耦合的归一化流都对数据分布进行白化（即对角化协方差矩阵），并推导出相应的收敛界，该收敛界在流的深度上显示出线性收敛速度。数值实验证明了我们的理论的影响，并在开放的问题点。
2022-10-25 cs.LG stat.ML
InvertibleNetworks.jl: A Julia package for scalable normalizing flows
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）；Devito Codes（Devito Codes公司）；Rice University（莱斯大学）；Shearwater GeoServices（希尔沃特地球服务公司）；Computational Geosciences Inc（计算地球科学公司）
该论文介绍Julia包InvertibleNetworks.jl，利用归一化流的可逆性降低内存需求，实现高维分布的可扩展密度估计与采样，并应用于地震成像、医学成像和CO2监测等领域。
2023-12-20 cs.LG
Fractal Flow: Hierarchical and Interpretable Normalizing Flow via Topic Modeling and Recursive Strategy
School of Mathematics Harbin Institute of Technology（哈尔滨工业大学数学学院）；School of Mathematics and Institute for Artificial Intelligence Harbin Instiute of Technology（哈尔滨工业大学数学学院和人工智能研究院）；School of Earth and Space Sciences and Institute for Artificial Intelligence Peking University（北京大学地球和空间科学学院和人工智能研究院）
本文提出分形流，通过结合Kolmogorov-Arnold网络、Latent Dirichlet Allocation和递归模块化设计，构建层次化可解释的归一化流，在多个数据集上实现潜在聚类、可控生成和更高估计精度。
2025-08-27 cs.LG stat.ML
Latent Normalizing Flows for Discrete Sequences
Harvard University（哈佛大学）
规范化流是连续随机变量的一类强大的生成模型，显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时，也期望这些益处，但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型，该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下，我们发现，这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性，我们提出了几个规范化的流架构，以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明，一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能，和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows
Leibniz University Hanover（汉诺威莱布尼茨大学）
在制造过程中，检测制造错误对于确保产品质量和安全标准至关重要。由于许多缺陷很少发生，并且它们的特性大多是先验未知的，因此它们的检测仍然是一个开放的研究问题。为此，我们提出了DifferNet：它利用卷积神经网络提取的特征的连续性，使用归一化流来估计它们的密度。规范化流非常适合处理低维数据分布。然而，他们与图像的高维性作斗争。因此，我们采用多尺度特征提取器，使归一化流程能够为图像分配有意义的可能性。基于这些可能性，我们开发了一个评分功能，表明缺陷。此外，将分数传播回图像实现逐像素定位。为了实现高鲁棒性和高性能，我们在训练和评估中采用了多个转换。与大多数其他方法相比，我们的方法不需要大量的训练样本，并且在低至16张图像的情况下表现良好。我们证明了具有挑战性的和新提出的MVTec AD和磁瓦缺陷数据集的性能优于现有的方法。
2020-08-28 cs.CV cs.LG eess.IV
Complex normalizing flows can almost be information Kähler-Ricci flows
Department of Mathematics, Purdue University（数学系，普渡大学）
本文探讨复正则化流与近凯勒-里奇流之间的联系，通过log determinant与里奇曲率的关联，揭示了统计行为与几何特征的桥梁。
2026-06-23 cs.LG math.DG
Latent Variable Modelling with Hyperbolic Normalizing Flows
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
近似后验分布的选择在随机变分推理（SVI）中起着核心作用。一个有效的解决方案是使用归一化流\cut{defined on Euclidean spaces}来构造灵活的后验分布。然而，现有的规范化流的一个关键限制是，它们被限制在欧几里德空间，并且不适合对具有底层层次结构的数据进行建模。为了解决这个基本的限制，我们提出了规范化流的双曲空间的第一个扩展。我们首先提升规范化流双曲空间使用耦合变换定义的切丛，称为切线耦合（$\mathcal{TC}$）。我们进一步介绍了包裹双曲面耦合（$\mathcal{W}\mathbb{H}C$），一个完全可逆的和可学习的变换，明确利用双曲空间的几何结构，允许表达后验，同时是有效的采样。我们证明了我们的新的归一化流的双曲VAE和欧几里得归一化流的功效。我们的方法提高了密度估计的性能，以及表现出分层结构的真实世界图数据的重建。最后，我们表明，我们的方法可以用来权力的生成模型在分层数据使用双曲型潜变量。
2020-08-13 cs.LG stat.ML
normflows: A PyTorch Package for Normalizing Flows
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文介绍了normflows，一个基于PyTorch的Python包，用于构建和集成归一化流模型，支持多种常见架构，便于在机器学习中应用。
2023-06-26 cs.LG
Enabling Causal Discovery in Post-Nonlinear Models with Normalizing Flows
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所）；Deakin University（迪肯大学）
针对Post-Nonlinear因果模型中可逆性约束难以捕捉的问题，提出基于归一化流的因果发现方法CAF-PoNo，通过精确重构隐藏噪声实现双变量与多变量因果发现，性能优于现有先进方法。
2024-08-29 cs.AI cs.LG stat.ME
Nonlinear Isometric Manifold Learning for Injective Normalizing Flows
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；KU Leuven（荷语鲁汶大学）；JARA-ENERGY（JARA能源研究所）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
本研究针对单射归一化流的流形数据建模问题，提出用等距自编码器设计带显式逆的嵌入，分离流形学习与密度估计，简化模型调优，在平坦流形数据集上实现高质量数据生成。
2023-05-08 cs.LG
Flowification: Everything is a Normalizing Flow
University of Geneva（日内瓦大学）
规范化流的两个关键特征是它是可逆的（特别是维保持），并且当样本沿着网络传播时，它会监控数据点的可能性的变化量。最近，已经引入了放松这两个条件的规范化流的多个概括。另一方面，神经网络只对输入执行前向传递，既没有神经网络的逆的概念，也没有其似然贡献之一。在本文中，我们认为，某些神经网络架构可以丰富的随机逆通，他们的可能性贡献可以监测的方式，他们属于广义的概念，规范化流上述。我们称之为富集流动化。我们证明了仅包含线性层，卷积层和可逆激活（如LeakyReLU）的神经网络可以在图像数据集上的生成设置中进行流化和评估。
2023-01-26 cs.LG stat.ML
Multi-Resolution Continuous Normalizing Flows
Mila（米拉）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Deep Render（深度渲染公司）；Polytechnique Montréal（蒙特利尔综合理工学院）
最近的工作表明，神经常微分方程（ODE）可以作为图像的生成模型，使用连续归一化流（CNFs）的角度。这种模型提供精确的似然计算和可逆生成/密度估计。在这项工作中，我们引入了一个多分辨率的变种，这样的模型（MRCNF），通过表征的条件分布所需的额外信息，以生成一个精细的图像，这是一致的粗图像。我们引入了一个决议之间的转换，允许没有变化的日志可能性。我们表明，这种方法可以为各种图像数据集产生可比的似然值，在更高的分辨率下具有更好的性能，参数更少，仅使用1个GPU。此外，我们还研究了（多分辨率）连续规范化流的分布特性，并发现它们与其他基于可能性的生成模型相似。
2021-10-05 cs.CV cs.LG eess.IV
Convolutional Normalizing Flows
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯后验推理广泛应用于各种机器学习问题中。变分推理提供了一种近似后验分布的方法，但它的表达能力是有限的，因此是所得近似的准确性。近年来，由于神经网络结构的灵活性，出现了使用神经网络来逼近变分后验分布的趋势。构造灵活的变分分布的一种方法是通过归一化流将简单的密度弯曲成复杂的密度，其中所得到的密度可以解析地评估。然而，在规范化流的灵活性和高效转换的计算成本之间存在权衡。在本文中，我们提出了一个简单而有效的架构规范化流，ConvFlow，基于卷积的随机输入向量的维度。对合成和真实世界后验推理问题的实验表明了该方法的有效性和效率。
2018-07-09 cs.LG
Semi-Supervised Learning with Normalizing Flows
New York University（纽约大学）
规范化流通过可逆神经网络转换潜在分布，以实现灵活且令人愉快的简单生成建模方法，同时保留精确的可能性。我们提出了FlowGMM，一个端到端的方法，生成半监督学习规范化流，使用潜在的高斯混合模型。FlowGMM的独特之处在于其简单性，标记和未标记数据的统一处理，具有精确的可能性，可解释性和图像数据之外的广泛适用性。我们在广泛的应用中，包括AG-News和Yahoo Answers文本数据，表格数据和半监督图像分类，显示了有希望的结果。我们还表明，FlowGMM可以发现可解释的结构，提供实时优化的功能可视化，并指定良好校准的预测分布。
2019-12-30 cs.LG stat.ML
Normalizing Flows to Reconstruct Pseudo-PDFs
William & Mary（威廉玛丽学院）
研究用归一化流方法从合成矩阵元数据重建部分子分布函数，结合高斯过程先验与可逆神经网络，学习后验分布，架构保留物理约束和外推特性。
2026-07-29 cs.LG hep-lat hep-ph
Recovering Weak Signals with Normalizing Flows
ASTRON, Netherlands Institute for Radio Astronomy（荷兰射电天文研究所（ASTRON））
针对弱信号被强干扰掩盖的问题，提出利用归一化流模型，基于统计不变性和最小初始抑制假设，有效恢复校准过程中丢失的信号成分，并通过模拟数据验证了其有效性。
2026-09-09 astro-ph.CO astro-ph.IM cs.AI
Decorrelation with conditional normalizing flows
University of Geneva（日内瓦大学）
许多物理分析的灵敏度可以通过构造优先选择信号事件的判别式来增强。如果这些判别式与一组受保护的属性不相关，则它们变得更加有用。在本文中，我们表明，一个规范化的保护属性的条件流可以用来找到一个去相关表示的任何判别式。由于规范化流是可逆的，因此所得判别式的分离能力在受保护属性的任何固定值下都不会改变。我们证明了我们的方法的有效性，通过建立监督射流标记，产生几乎没有雕刻的质量分布的背景。
2022-12-15 cs.LG hep-ph
Normalizing Flows: An Introduction and Review of Current Methods
Borealis AI（Borealis人工智能公司）
规范化流是生成模型，它产生易于处理的分布，其中采样和密度评估都可以是高效和准确的。这篇调查文章的目标是对围绕分布学习的规范化流的构建和使用的文献进行连贯和全面的回顾。我们的目标是提供上下文和解释的模型，审查当前的最先进的文献，并确定开放的问题和有前途的未来方向。
2020-06-06 cs.LG stat.ML
