The Expressive Power of a Class of Normalizing Flow Models
University of California San Diego(加州大学圣地亚哥分校)
规范化流最近受到了极大的关注,因为它们允许灵活的生成建模以及简单的似然计算。虽然已经提出了各种各样的流模型,但对这些模型的表示能力几乎没有正式的理解。在这项工作中,我们研究了一些基本的规范化流程,并严格建立其表达能力的界限。我们的研究结果表明,虽然这些流是高度表达在一个维度上,在更高的维度,他们的代表性的权力可能是有限的,特别是当流量有适度的深度。
2020-05-31 cs.LG stat.ML
Graph Normalizing Flows
University of Toronto(多伦多大学);Vector Institute(矢量研究院);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
我们介绍图规范化流程:一个新的,可逆的图神经网络模型的预测和生成。在有监督的任务上,图规范化流的执行类似于消息传递神经网络,但内存占用显著减少,允许它们扩展到更大的图。在无监督的情况下,我们结合图规范化流与一种新的图形自动编码器,以创建一个生成模型的图结构。我们的模型是置换不变的,生成整个图形与一个单一的前馈通过,并实现竞争力的结果与最先进的自回归模型,同时更适合并行计算架构。
2019-05-30 cs.LG stat.ML
Categorical Normalizing Flows via Continuous Transformations
University of Amsterdam(阿姆斯特丹大学)
尽管它们很受欢迎,但到目前为止,分类数据上的标准化流的应用仍然有限。当前使用反量化将离散数据映射到连续空间的实践是不适用的,因为分类数据没有内在顺序。相反,分类数据具有复杂和潜在的关系,必须进行推断,例如单词之间的同义关系。在本文中,我们研究了\emph{Categorical Normalizing Flows},即规范化流的分类数据。通过将连续空间中分类数据的编码问题转化为变分推理问题,我们联合优化了连续表示和模型似然。使用因子分解解码器,我们引入了一个归纳偏差来模拟归一化流中的任何交互。因此,与具有联合解码器相比,我们不仅简化了优化,而且还可以扩展到大量类别,这在离散归一化流中是不可能的。基于分类规范化流,我们提出了一个图上的置换不变生成模型GraphCNF。GraphCNF实现了一种三步方法,逐步建模节点、边和邻接矩阵,以提高效率。在分子生成方面,GraphCNF优于基于最先进技术的单次和自回归流。
2021-01-21 cs.LG stat.ML
Whitening Convergence Rate of Coupling-based Normalizing Flows
Heidelberg University(海德堡大学)
基于耦合的规范化流(例如RealNVP)是一个流行的规范化流架构家族,在实践中工作得非常好。这需要理论上的理解。现有的工作表明,这样的流量弱收敛到任意的数据分布。然而,他们没有说明在实践中使用的更严格的收敛标准,最大似然损失。对于第一次,我们对这种收敛性做了一个定量的陈述:我们证明了所有基于耦合的归一化流都对数据分布进行白化(即对角化协方差矩阵),并推导出相应的收敛界,该收敛界在流的深度上显示出线性收敛速度。数值实验证明了我们的理论的影响,并在开放的问题点。
2022-10-25 cs.LG stat.ML
Fractal Flow: Hierarchical and Interpretable Normalizing Flow via Topic Modeling and Recursive Strategy
School of Mathematics Harbin Institute of Technology(哈尔滨工业大学数学学院);School of Mathematics and Institute for Artificial Intelligence Harbin Instiute of Technology(哈尔滨工业大学数学学院和人工智能研究院);School of Earth and Space Sciences and Institute for Artificial Intelligence Peking University(北京大学地球和空间科学学院和人工智能研究院)
本文提出分形流,通过结合Kolmogorov-Arnold网络、Latent Dirichlet Allocation和递归模块化设计,构建层次化可解释的归一化流,在多个数据集上实现潜在聚类、可控生成和更高估计精度。
2025-08-27 cs.LG stat.ML
Latent Variable Modelling with Hyperbolic Normalizing Flows
McGill University(麦吉尔大学);Mila(米拉研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所)
近似后验分布的选择在随机变分推理(SVI)中起着核心作用。一个有效的解决方案是使用归一化流\cut{defined on Euclidean spaces}来构造灵活的后验分布。然而,现有的规范化流的一个关键限制是,它们被限制在欧几里德空间,并且不适合对具有底层层次结构的数据进行建模。为了解决这个基本的限制,我们提出了规范化流的双曲空间的第一个扩展。我们首先提升规范化流双曲空间使用耦合变换定义的切丛,称为切线耦合($\mathcal{TC}$)。我们进一步介绍了包裹双曲面耦合($\mathcal{W}\mathbb{H}C$),一个完全可逆的和可学习的变换,明确利用双曲空间的几何结构,允许表达后验,同时是有效的采样。我们证明了我们的新的归一化流的双曲VAE和欧几里得归一化流的功效。我们的方法提高了密度估计的性能,以及表现出分层结构的真实世界图数据的重建。最后,我们表明,我们的方法可以用来权力的生成模型在分层数据使用双曲型潜变量。
2020-08-13 cs.LG stat.ML
Flowification: Everything is a Normalizing Flow
University of Geneva(日内瓦大学)
规范化流的两个关键特征是它是可逆的(特别是维保持),并且当样本沿着网络传播时,它会监控数据点的可能性的变化量。最近,已经引入了放松这两个条件的规范化流的多个概括。另一方面,神经网络只对输入执行前向传递,既没有神经网络的逆的概念,也没有其似然贡献之一。在本文中,我们认为,某些神经网络架构可以丰富的随机逆通,他们的可能性贡献可以监测的方式,他们属于广义的概念,规范化流上述。我们称之为富集流动化。我们证明了仅包含线性层,卷积层和可逆激活(如LeakyReLU)的神经网络可以在图像数据集上的生成设置中进行流化和评估。
2023-01-26 cs.LG stat.ML
Semi-Supervised Learning with Normalizing Flows
New York University(纽约大学)
规范化流通过可逆神经网络转换潜在分布,以实现灵活且令人愉快的简单生成建模方法,同时保留精确的可能性。我们提出了FlowGMM,一个端到端的方法,生成半监督学习规范化流,使用潜在的高斯混合模型。FlowGMM的独特之处在于其简单性,标记和未标记数据的统一处理,具有精确的可能性,可解释性和图像数据之外的广泛适用性。我们在广泛的应用中,包括AG-News和Yahoo Answers文本数据,表格数据和半监督图像分类,显示了有希望的结果。我们还表明,FlowGMM可以发现可解释的结构,提供实时优化的功能可视化,并指定良好校准的预测分布。
2019-12-30 cs.LG stat.ML
Normalizing Flows: An Introduction and Review of Current Methods
Borealis AI(Borealis人工智能公司)
规范化流是生成模型,它产生易于处理的分布,其中采样和密度评估都可以是高效和准确的。这篇调查文章的目标是对围绕分布学习的规范化流的构建和使用的文献进行连贯和全面的回顾。我们的目标是提供上下文和解释的模型,审查当前的最先进的文献,并确定开放的问题和有前途的未来方向。
2020-06-06 cs.LG stat.ML
A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model
Baidu Research(百度研究院)
研究了两个生成式流模型的协同学习问题,即基于联合合成的实例迭代更新两个模型。第一流模型是通过应用可逆变换序列将初始简单密度变换为目标密度的归一化流。第二个流动模型是朗之万流动,其运行基于梯度的MCMC的有限步骤以实现基于能量的模型。我们从提出一个生成框架开始,该框架使用归一化流作为摊销采样器来训练基于能量的模型,以初始化基于能量的模型的MCMC链。在每次学习迭代中,我们通过使用归一化流初始化,然后对当前基于能量的模型进行短期朗之万流修正来生成合成示例。然后,将合成样本作为基于能量的模型的公平样本,利用极大似然学习梯度更新模型参数,而归一化流则通过最大化易处理的似然来直接从合成样本中学习。在短期非混合MCMC情形下,基于能量的模型的估计遵循极大似然扰动,短期Langevin流和归一化流形成了一个双流生成器,我们称之为CoopFlow.我们提供了一个understating的CoopFlow算法的信息几何,并表明它是一个有效的发电机,因为它收敛到一个时刻匹配估计。我们证明了训练的CoopFlow能够合成逼真的图像,重建图像,并在图像之间进行插值。
2022-05-13 cs.LG stat.ML
Normalizing Flows Across Dimensions
University of Massachussets(马萨诸塞大学)
具有底层结构的真实世界数据,例如人脸图片,被假设为位于低维流形上。这种多方面的假设激发了最先进的生成算法,学习低维数据表示。不幸的是,一个流行的生成模型,规范化流,不能利用这一点。规范化流是基于连续的变量转换,通过设计,无法学习低维表示。在本文中,我们介绍了噪声内射流(NIF),一个泛化的归一化流,可以跨维度。NIF使用内射变换将潜在空间显式映射到高维数据空间中的可学习流形。我们进一步采用加性噪声模型来解释与流形的偏差,并确定生成过程的随机逆。从经验上讲,我们证明了我们的方法在现有流架构中的简单应用可以显着提高样本质量并产生可分离的数据嵌入。
2020-06-23 cs.LG stat.ML
Graphical Normalizing Flows
ULiège(列日大学)
规范化流通过将基本分布与一系列双射神经网络相结合来模拟复杂的概率分布。最先进的架构依赖于耦合和自回归变换来将可逆函数从标量提升到向量。在这项工作中,我们重新审视这些转换作为概率图形模型,显示它们减少到贝叶斯网络与预定义的拓扑结构和可学习的密度在每个节点。从这个新的角度来看,我们提出了图形规范化流,一个新的可逆变换,无论是规定的或可学习的图形结构。该模型提供了一种很有前途的方式注入领域知识的规范化流,同时保持贝叶斯网络的可解释性和规范化流的表示能力。我们发现,图形条件发现相关的图形结构时,我们不能hypothesize. In此外,我们分析的效果$\ell_1$ -惩罚上恢复的结构和质量的密度估计。最后,我们表明,图形条件导致有竞争力的白盒密度估计。我们的实现可以在https://github.com/AWehenkel/DAG-NF上获得。
2021-02-12 cs.LG stat.ML
Joint Manifold Learning and Density Estimation Using Normalizing Flows
University of Tehran(德黑兰大学)
基于流形假设,真实世界的数据通常位于低维流形上,而作为基于可能性的生成模型的归一化流由于其结构约束而无法找到该流形。因此,出现了一个有趣的问题:$\textit{"Can we find sub-manifold(s) of data in normalizing flows and estimate the density of the data on the sub-manifold(s)?"}$。在本文中,我们介绍了两种方法,即每像素惩罚对数似然和分层训练,回答上述问题。我们提出了一种单步方法,用于联合流形学习和密度估计,通过将流归一化为流形和非流形部分而获得的变换空间进行分离。这是通过用于学习数据的子流形的每像素惩罚似然函数完成的。规范化流假设转换后的数据是高斯化的,但这种强加的假设不一定是真的,特别是在高维中。为了解决这个问题,采用分层训练方法来改善子流形上的密度估计。结果验证了所提出的方法的优越性,同时流形学习和密度估计使用归一化流生成的图像质量和似然性。
2022-06-07 cs.LG stat.ML
Flexible Tails for Normalizing Flows
School of Mathematics University of Bristol(数学学院 英国布里斯托尔大学)
针对标准归一化流难以表示重尾分布的问题,提出使用高斯基分布加可生成重尾的最终变换层的尾部变换流(TTF),实验证明其在高维度或大尾重场景下性能优于现有重尾基分布方案。
2025-06-12 cs.LG stat.ML
On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows
Heidelberg University(海德堡大学)
本文提出理论框架证明条件良好的基于耦合的归一化流具分布普适性,而保体积流非普适且需修复表达能力,弥合了实证与理论差距。
2025-01-29 cs.LG stat.ML
Ordering Dimensions with Nested Dropout Normalizing Flows
University of Edinburgh(爱丁堡大学)
规范化流的潜在空间必须与其输出空间具有相同的维数。如果我们想学习低维的、语义上有意义的表示,这个约束就提出了一个问题。最近的工作提供了紧凑的表示,通过拟合流约束到流形,但还没有定义一个密度的流形。在这项工作中,我们考虑流的数据空间中的完全支持,但有序的潜变量。与PCA类似,前导潜在维度定义了一系列靠近数据的流形。我们注意到之间的权衡流动的可能性和质量的顺序,取决于参数化的流量。
2020-06-15 cs.LG stat.ML
Stochastic Normalizing Flows
University of California at Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所);University of Queensland(昆士兰大学)
我们引入随机规范化流,连续规范化流的扩展极大似然估计和变分推断(VI)使用随机微分方程(SDES)。使用粗糙路径理论,底层的布朗运动被视为一个潜在的变量和近似,使有效的训练神经SDES随机神经常微分方程。这些随机微分方程可用于构造有效的马尔可夫链,以从给定数据集的底层分布中采样。此外,通过考虑具有指定平稳分布的目标SDES族,我们可以将VI应用于随机MCMC中的超参数优化。
2020-02-25 cs.LG stat.ML
Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila;Google(谷歌);CIFAR
在这项工作中,我们提出了一个新的家庭的生成流的增强数据空间,目的是提高表现力,而不会大幅增加计算成本的采样和评估的下限的可能性。理论上,我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验,我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Normalizing Flows on Tori and Spheres
DeepMind;New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院)
规范化流是在高维中构建表达性分布的强大工具。到目前为止,大部分的文献都集中在学习流的欧氏空间。然而,有些问题,例如涉及角度的问题,是在具有更复杂几何形状的空间上定义的,例如环面或球体。在本文中,我们提出并比较表达和数值稳定的流动等空间。我们的流是递归地建立在空间的维度上的,从圆、闭区间或球体上的流开始。
2020-07-01 cs.LG stat.ML
Implicit Normalizing Flows
Tsinghua University(清华大学);Peking University(北京大学)
规范化流通过显式可逆变换$\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$定义概率分布。在这项工作中,我们提出了隐式规范化流(ImpFlows),它通过允许映射被隐式地定义为方程$F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$的根来概括规范化流。ImpFlows建立在剩余流(ResFlows)的基础上,在表达性和易处理性之间取得了适当的平衡。通过理论分析,我们证明了ImpFlow的函数空间严格比ResFlows丰富。此外,对于具有固定块数量的任何ResFlow,存在ResFlow具有不可忽略的近似误差的一些函数。但是,该函数可以通过单个块ImpFlow精确表示。我们提出了一个可扩展的算法来训练和从ImpFlows中抽取样本。从经验上讲,我们评估ImpFlow的几个分类和密度建模任务,ImpFlow优于ResFlow的所有基准上的参数相当数量。
2021-03-17 cs.LG stat.ML
On the expressivity of bi-Lipschitz normalizing flows
Université Paris-Dauphine, PSL(巴黎第九大学(巴黎多芬大学),PSL大学);LAMSADE(LAMSADE实验室);CEREMADE(CEREMADE实验室)
该研究探讨双Lipschitz归一化流的表达能力,指出若干难以用其逼近的目标分布,通过总变分距离下界刻画其表达局限性,并提出使用更复杂隐分布等潜在改进方案。
2024-03-07 cs.LG stat.ML
Free-form Flows: Make Any Architecture a Normalizing Flow
Heidelberg University(海德堡大学)
提出一种基于变量替换公式梯度估计器的训练过程,打破了解析可逆性约束,使任意保维神经网络均可作为生成模型,并在分子生成和逆问题基准中取得优异或具竞争力的结果。
2024-04-24 cs.LG stat.ML
Continuous normalizing flows on manifolds
规范化流是从复杂的多峰分布中获得可重新参数化样本的一种强有力的技术。不幸的是,目前的方法只适用于最基本的几何形状,当底层空间具有非平凡拓扑时,这些方法就不适用了,这限制了它们对大多数真实世界数据的适用性。利用微分几何和几何控制理论的基本思想,我们描述了最近引入的神经常微分方程和连续归一化流可以扩展到任意光滑流形。我们提出了一个通用的方法参数化这些空间上的向量场,并演示了如何进行基于梯度的学习。此外,我们提供了一个可扩展的无偏估计量的分歧,在这个广义的设置。在多种空间选择上进行的实验经验性地展示了定义的框架从复杂分布中获取可重新参数化样本的能力。
2021-03-14 cs.LG stat.ML
Individual Survival Curves with Conditional Normalizing Flows
Télécom Paris(巴黎电信学院);BNP Paribas(法国巴黎银行)
生存分析或事件时间建模是一个经典的统计问题,因其在流行病学、人口统计学或精算科学中的实际应用而引起了人们的兴趣。从机器学习的角度来看,该主题的最新进展关注的是精确的个体预测,而不是人口研究,这是由个体化医学的兴起推动的。我们在这里介绍了一种基于条件归一化流的事件发生时间密度估计,作为一种建模高度灵活和个性化的条件生存分布的方法。我们使用了一种新的层次化的正规化流的制定,使灵活的条件分布的有效拟合,而不会过度拟合,并显示如何规范化流制定可以有效地适应审查设置。我们在一个合成数据集、四个开放的医疗数据集和一个常见的金融问题的例子上对所提出的方法进行了实验验证。
2021-07-27 cs.LG stat.ML
Training Normalizing Flows from Dependent Data
Hasso Plattner Institute for Digital Engineering(哈索·普拉特纳数字工程研究所);University of Potsdam(波茨坦大学);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
本文针对归一化流学习算法假设数据独立的问题,提出纳入数据点间依赖关系的似然目标与灵活高效的学习算法,在合成与真实数据上改善密度估计和生成效果,并提升全基因组关联研究的统计功效。
2023-05-30 cs.LG stat.ML
Variational Determinant Estimation with Spherical Normalizing Flows
University of Amsterdam(阿姆斯特丹大学)
本文介绍了变分行列式估计(VDE),最近提出的行列式估计发现arXiv:2005.06553v2的变分扩展。我们的估计显着降低了方差,即使是低样本量相结合(重要性加权)变分推理和家庭的归一化流,允许密度估计超球体。在紧变分界的理想情况下,VDE成为零方差估计量,并且单个样本足以进行精确(对数)行列式估计。
2021-01-08 cs.LG stat.ML
Variational Autoencoders with Normalizing Flow Decoders
National Chiao Tung University(国立交通大学)
最近提出的归一化流模型,如辉光已被证明能够生成高质量,高维图像与相对较快的采样速度。然而,由于它们固有的限制性结构,它们必须非常深,以便有效地进行训练。在本文中,我们建议结合辉光与底层的变分自编码器,以抵消这个问题。我们证明了我们提出的模型在图像质量和测试可能性方面与Glow具有竞争力,同时需要更少的训练时间。
2020-04-12 cs.LG stat.ML
Flows for Flows: Training Normalizing Flows Between Arbitrary Distributions with Maximum Likelihood Estimation
University of Geneva(日内瓦大学)
正规化流是从一个已知密度的基分布和一个具有易处理的雅可比矩阵的自同构构造的。归一化流的基密度可以通过不同的归一化流来参数化,从而允许在任意分布之间找到映射。我们演示和探索这种方法的实用性,并显示它是特别有趣的情况下,有条件的规范化流和引入最佳的运输约束的地图上使用规范化流构建。
2022-11-04 cs.LG
Boosting Trust Region Policy Optimization by Normalizing Flows Policy
Columbia University(哥伦比亚大学)
我们提出了改进的信赖域策略搜索与规范化流的政策。我们说明了当信任区域由KL发散约束构造时,规范化流策略生成远离前一策略的“中心”的样本,这可能使更好的探索,并有助于避免坏的局部最优。通过广泛的比较,我们表明,规范化流政策显着改善基线架构,特别是在高维任务与复杂的动态。
2019-02-01 cs.AI cs.LG stat.ML
Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows
Technische Universität Berlin(柏林工业大学);BIFOLD - Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);RIKEN Center for AIP(理化学研究所先进智能项目中心)
我们提出了一个算法来估计的反向和正向Kullback-Leibler发散的路径梯度的任意明显可逆规范化流。由此产生的路径梯度估计器是直接实现的,具有较低的方差,并导致不仅更快的训练收敛,而且更好的整体近似结果相比,标准的总梯度估计。我们还证明了路径梯度训练不太容易受到模式崩溃的影响。根据我们的研究结果,我们预计,路径梯度估计将成为新的标准方法,训练规范化流变分推理。
2022-07-17 cs.LG stat.ML
Efficient CDF Approximations for Normalizing Flows
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所);Borealis AI(Borealis人工智能公司);York University(约克大学)
规范化流模型的一个复杂的目标分布在一个简单的基础分布上操作的双射变换。因此,它们能够对许多重要的统计量进行易于处理的计算,特别是似然性和样本。尽管有这些吸引人的属性,更复杂的推理任务的计算,例如复杂区域上的累积分布函数(CDF)(例如,多面体)仍然具有挑战性。传统的CDF近似使用Monte-Carlo技术是无偏的,但具有无界的方差和低样本效率。相反,我们建立在规范化流的同构特性的基础上,并利用发散定理来估计目标空间中的闭合区域上的CDF,其\emph{boundary}上的通量由规范化流引起。我们描述了确定性和随机的情况下,这个估计:而确定性的变量迭代地提高了估计战略细分的边界,随机变量提供无偏估计。我们在流行的流架构和UCI基准数据集上的实验表明,与传统的估计器相比,样本效率有显着的提高。
2022-08-31 cs.LG stat.ML
Set Flow: A Permutation Invariant Normalizing Flow
Zalando Research(Zalando研究院)
我们提出了一个生成模型,定义在有限的可交换的,潜在的高维数据集。由于该架构是RealNVP的扩展,因此它继承了其所有有利的属性,例如可逆性和允许精确的对数似然评估。我们表明,这种架构是能够学习有限的非独立同分布。集合数据分布,学习集合的实体之间的统计依赖性,并且能够以计算高效的方式训练和采样可变的集合大小。在3D点云上的实验显示了最先进的可能性。
2019-09-06 cs.LG stat.ML
OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport
Emory University(埃默里大学);University of California, Los Angeles(加州大学洛杉矶分校)
归一化流是任意概率分布和标准正态分布之间的可逆映射;它可用于密度估计和统计推断。计算流遵循变量变换公式,因此需要映射的可逆性和计算其雅可比行列式的有效方法。为了满足这些要求,标准化流程通常由精心选择的组件组成。连续归一化流(CNF)是通过求解神经常微分方程(ODE)获得的映射。神经常微分方程的动力学几乎可以任意选择,同时确保可逆性。此外,流的雅可比矩阵的对数行列式可以通过沿流积分动力学雅可比矩阵的迹来获得。我们提出的OT-Flow方法解决了两个限制CNF更广泛使用的关键计算挑战。首先,OT-Flow利用最优传输(OT)理论来正则化CNF并强制执行更容易集成的直线轨迹。其次,OT-Flow的特点是精确的跟踪计算,其时间复杂度等于现有CNF中使用的跟踪估计器。在五个高维密度估计和生成建模任务中,OT-Flow的表现与最先进的CNF竞争,而平均需要四分之一的权重,训练时间加速8倍,推理加速24倍。
2021-03-23 cs.LG stat.ML
Normalizing Flows for Probabilistic Modeling and Inference
DeepMind
规范化流提供了一种定义表达性概率分布的通用机制,只需要指定一个(通常是简单的)基本分布和一系列双射变换。最近有很多关于规范化流的工作,从提高流的表达能力到扩展流的应用。我们认为,该领域现已成熟,需要一个统一的视角。在这篇综述中,我们试图通过概率建模和推理的镜头描述流来提供这样一个视角。我们特别强调流程设计的基本原则,并讨论基本主题,如表达能力和计算权衡。我们还扩大了概念框架的流量,将它们与更一般的概率变换。最后,我们总结了流在生成建模、近似推理和监督学习等任务中的使用。
2021-04-08 cs.LG stat.ML
Deep Diffeomorphic Normalizing Flows
Microsoft Research AI(微软研究院人工智能部门);University of Pittsburgh(匹兹堡大学)
标准化流(NF)通过估计应用于从已知分布中提取的样本的可逆变换来对一般概率密度进行建模。我们介绍了一种新的NF类型,称为深度同构规范化流(DDNF)。非纯流是一个可逆函数,其中函数及其逆函数都是光滑的。我们使用一个常微分方程(ODE)由一个随时间变化的光滑向量场来构造流。我们使用一个神经网络参数化的光滑向量场和一个递归神经网络(RNN)的ODE近似的解决方案。RNN中的每个单元都是实现一个欧拉积分步骤的残差网络。我们的流的架构,使高效的似然评估,简单的流反演,并在高度灵活的密度估计的结果。端到端训练的DDNF在一系列密度估计和变分推断任务上使用最先进的方法实现了有竞争力的结果。最后,我们的方法带来了黎曼几何的概念,我们相信,可以打开一个新的研究方向神经密度估计。
2018-11-22 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);Canadian Institute For Advanced Research (CIFAR)(加拿大高级研究院)
我们重新解释神经网络中的乘性噪声作为辅助随机变量,增加贝叶斯神经网络的变分设置中的近似后验。我们表明,通过这种解释,它是有效的和简单的,以提高近似采用规范化流,同时仍然允许局部重新参数化和一个听话的下限。在实验中,我们表明,这种新的近似,我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Viscos Flows: Variational Schur Conditional Sampling With Normalizing Flows
Huawei R&D UK(华为英国研发中心);University College London(伦敦大学学院)
我们提出了一种在只有部分观测可用时对预训练的归一化流进行条件采样的方法。我们推导出一个下界的条件变量对数概率使用舒尔补充性质的精神高斯条件采样。我们的推导依赖于分区流的域,以这样一种方式,流的限制子域保持双射,这是至关重要的舒尔补应用程序。从变分条件流的模拟,然后修正到解决一个等式约束。我们的贡献是三方面的:a)我们提供了详细的见解变分分布的选择; b)我们讨论了如何划分流的输入空间,以保持双射性; c)我们提出了一套方法来优化变分分布。我们的数值结果表明,我们的抽样方法可以成功地应用于可逆残差网络的推理和分类。
2021-10-15 cs.LG stat.ML
A Linear Systems Theory of Normalizing Flows
New York University(纽约大学)
Normalizing Flows算法是一类基于变变量极大似然优化的无监督学习算法。它们提供学习复杂非线性数据的因子分解分量表示,同时产生可以评估似然性和生成样本的密度函数。尽管有这些不同的产品,规范化流的应用主要集中在采样和似然性上,很少强调特征表示。缺乏理论基础,留下了许多关于如何解释和应用模型的学习组件的开放问题。我们使用线性系统理论的透镜提供了一个新的规范化流的理论视角,表明最优流学习表示输入空间每个区域的局部协方差。利用这一见解,我们开发了一种新的算法,从学习的模型中提取可解释的组件表示,其中组件对应于笛卡尔维度,并根据其流形意义进行缩放。此外,我们强调了以前未解决的学习算法的稳定性问题,提供了一个理论基础的解决方案来调解问题。利用玩具流形学习数据集以及MNIST图像数据集进行的实验为我们的理论和工具提供了令人信服的支持。
2020-02-14 cs.LG stat.ML
SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows
Technical University of Denmark(丹麦技术大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学)
规范化流和变分自编码器是可以表示复杂密度函数的强大生成模型。然而,它们都对模型施加了约束:归一化流使用双射变换来建模密度,而VAE学习不可逆的随机变换,因此通常不能提供对边际可能性的易处理估计。在本文中,我们将介绍SurVAE流:一个模块化的框架,可组合的转换,包括VAE和规范化流程。SurVAE流通过满射变换弥合了规范化流和VAE之间的差距,其中变换在一个方向上是确定性的-从而允许精确的似然计算,并且在相反方向上是随机的-因此提供了相应似然的下限。我们表明,最近提出的几种方法,包括去量化和增强的归一化流,可以表示为SurVAE流。最后,我们介绍了常见的操作,如最大值,绝对值,排序和随机置换的可组合层SurVAE流。
2020-10-30 cs.LG stat.ML
Anomaly Detection in Trajectory Data with Normalizing Flows
Federal University of Ceará(塞阿拉联邦大学);National Department of Public Security(国家公共安全部)
异常数据模式的检测在实际应用中既重要又具有挑战性。在空间数据的背景下,识别意外的轨迹带来了额外的困难,如高维和不同的模式长度。我们的目标是从概率密度估计的角度来解决这样的问题,因为它提供了一个无监督的过程来识别出的分布样本。更具体地说,我们追求一种基于标准化流的方法,这是一种最近的框架,可以使用神经网络从数据中进行复杂的密度估计。我们的建议计算精确的模型似然值,规范化流的一个重要特征,为轨迹的每一段。然后,我们将片段的可能性聚合成单个连贯的轨迹异常分数。这样的策略使得能够处理具有不同长度的可能大的序列。我们评估我们的方法,命名为聚合异常检测与规范化流(GRADINGS),使用真实世界的轨迹数据,并比较它与更传统的异常检测技术。在所进行的计算实验中获得的有希望的结果表明的分级的可行性,特别是考虑自回归归一化流的变体。
2020-04-13 cs.LG stat.ML
Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows
Borealis AI;Simon Fraser University(西蒙弗雷泽大学);York University(约克大学);Vector Institute(向量研究所)
规范化流将简单的基础分布转换为复杂的目标分布,并已被证明是数据生成和密度估计的强大模型。在这项工作中,我们提出了一种新型的归一化流驱动的差分变形的维纳过程。其结果是,我们得到了一个丰富的时间序列模型,其可观察的过程继承了许多有吸引力的性质,其基础过程,如有效的计算似然和边际。此外,我们的连续处理提供了一个自然的框架,不规则的时间序列与一个独立的到达过程,包括简单的插值。我们说明了流行的随机过程所提出的模型的理想属性,并证明了其优越的灵活性,在一系列的实验合成和真实世界的数据变RNN和潜在的ODE基线。
2021-07-13 cs.LG stat.ML
Bridging Stochastic Flow Maps and Boltzmann Generators with Normalizing Flows
Flatiron Institute(熨斗研究所);University of Cambridge(剑桥大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出NF$^2$M,结合随机流映射与归一化流构建玻尔兹曼生成器,通过逐步重加权去噪转换提升采样效率与样本质量,在肽系统上验证了有效性。
2026-09-29 cs.LG stat.ML
Density Deconvolution with Normalizing Flows
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所);University of Edinburgh(爱丁堡大学)
密度反卷积是估计仅给定噪声破坏样本的概率密度函数的任务。如果噪声是正态分布的,我们可以通过极大似然将高斯混合模型拟合到底层密度,但是希望利用归一化流的优越密度估计性能并允许任意噪声分布。由于这两个调整导致一个棘手的可能性,我们诉诸摊销变分推断。我们证明了这种方法中涉及的一些问题,然而,对真实数据的实验表明,流量已经可以超过高斯混合密度反卷积。
2020-07-13 cs.LG stat.ML
Interpreting diffusion score matching using normalizing flow
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
评分匹配(SM)及其相关的Stein差异(SD)在模型训练和评估方面取得了巨大的成功。然而,最近的研究表明,它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配(或Stein差异)与扩散矩阵合并,这被称为扩散分数匹配(DSM)(或扩散Stein差异(DSD))。然而,缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中,我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说,我们从理论上证明,DSM(或DSD)是等价于原始的分数匹配(或斯坦差异)的归一化流,其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外,我们还建立了它与黎曼流形的联系,并进一步将其推广到连续流,其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
Decorrelation with conditional normalizing flows
University of Geneva(日内瓦大学)
许多物理分析的灵敏度可以通过构造优先选择信号事件的判别式来增强。如果这些判别式与一组受保护的属性不相关,则它们变得更加有用。在本文中,我们表明,一个规范化的保护属性的条件流可以用来找到一个去相关表示的任何判别式。由于规范化流是可逆的,因此所得判别式的分离能力在受保护属性的任何固定值下都不会改变。我们证明了我们的方法的有效性,通过建立监督射流标记,产生几乎没有雕刻的质量分布的背景。
2022-12-15 cs.LG hep-ph
Sylvester Normalizing Flows for Variational Inference
University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
变分推断依赖于灵活的近似后验分布。规范化流提供了一个通用的配方来构建灵活的变分后验。我们引入西尔维斯特规范化流,这可以被看作是一个推广的平面流。Sylvester规范化流消除了平面流中众所周知的单单元瓶颈,使单个转换更加灵活。我们比较了西尔维斯特规范化流对平面流和逆自回归流的性能,并证明了它们在几个数据集上的表现。
2019-02-20 cs.AI cs.LG stat.ME
Density estimation on smooth manifolds with normalizing flows
Technical University of Denmark(丹麦技术大学)
我们提出了一个框架,学习拓扑非平凡流形上的概率分布,利用规范化流。目前的方法主要集中在与欧几里得空间同胚的流形上,在学习的模型上强制强结构先验,或者使用不容易扩展到高维的操作。相比之下,我们的方法通过将多个局部模型“粘合”在一起来学习数据流形上的分布,从而定义数据流形的开放覆盖。我们证明了我们的方法对已知流形的合成数据的效率,以及未知拓扑的高维流形,其中我们的方法具有更好的样本效率和竞争力或优越的性能对基线在一些任务。
2022-07-09 cs.LG stat.ML
Latent Normalizing Flows for Discrete Sequences
Harvard University(哈佛大学)
规范化流是连续随机变量的一类强大的生成模型,显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时,也期望这些益处,但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型,该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下,我们发现,这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性,我们提出了几个规范化的流架构,以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明,一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能,和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
Normalizing flows for novelty detection in industrial time series data
Ascent Robotics Inc.(Ascent机器人公司)
基于流的深度生成模型通过一组可逆变换将简单的基本分布转换为复杂分布来学习数据分布。由于可逆性,这些模型可以通过计算它们在学习分布下的确切可能性来对看不见的数据样本进行评分。这使得基于流的模型成为新颖性检测的完美工具,这是一种异常检测技术,通过对正常数据的学习模型进行评分,将看不见的数据样本分类为正常或异常。我们表明,归一化流可以用作时间序列中的新奇检测器。两个基于流的模型,掩蔽自回归流和自由形式的雅可比矩阵的可逆动力学约束的自回归MADE网络,测试的合成数据和电机电流数据从工业机械,并取得了良好的效果,优于传统的新颖性检测方法,局部异常因子。
2019-06-17 cs.LG stat.ML
NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity
Seoul National University(首尔国立大学)
规范化流(NF)已经成为深度生成模型的一种重要方法,可以进行分析概率密度估计和有效合成。然而,基于流的网络被认为是低效的参数复杂性,因为降低了表达的双射映射,这使得模型不可行昂贵的参数。我们提出了一种称为NanoFlow的替代参数化方案,它使用单个神经密度估计器来模拟多个转换阶段。因此,我们提出了一个有效的参数分解方法和流指示嵌入的概念,这是关键的缺失组件,使密度估计从一个单一的神经网络。在音频和图像模型上进行的实验证实,我们的方法为具有显着次线性参数复杂度的可扩展NF提供了一种新的参数有效的解决方案。
2020-10-23 cs.LG stat.ML
Path-Gradient Estimators for Continuous Normalizing Flows
Technische Universität Berlin(柏林工业大学);BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);RIKEN Center for AIP(理化学研究所人工智能研究中心)
最近的工作已经建立了一个简单的变分高斯分布的路径梯度估计,并认为路径梯度是特别有益的制度,其中的变分分布接近确切的目标分布。然而,在许多应用中,这种状态不能通过简单的高斯变分分布来达到。在这项工作中,我们克服了这个关键的限制,提出了一个路径梯度估计的更有表现力的变分家庭的连续规范化流。我们概述了一个有效的算法来计算这个估计,并建立其优越的性能经验。
2022-06-17 cs.LG stat.ML
Efficient sampling generation from explicit densities via Normalizing Flows
Institut de Física d´Altes Energies (IFAE) - Barcelona Institute of Science and Technology (BIST)(高能物理研究所(IFAE)-巴塞罗那科学技术研究院(BIST));Aplicaciones en Informática Avanzada (AIA)(高级信息技术应用公司(AIA));University of Geneva(日内瓦大学)
对于许多应用,例如计算不同幅度的期望值,从已知的概率密度函数(目标密度)采样是至关重要的,但通过逆变换具有挑战性。在这些情况下,拒绝和重要性采样需要合适的建议密度,可以有效地进行评估和采样。我们将提出一种基于归一化流的方法,提出一种解决方案,用于解决由于目标密度在流变换区域中具有0值而导致的反向Kullback-Leibler发散爆炸的常见问题。该方法的性能将证明使用多模复密度函数。
2020-03-23 cs.LG stat.ML
VQ-Flows: Vector Quantized Local Normalizing Flows
Verisk Analytics(Verisk分析公司);University of Maryland, College Park(马里兰大学帕克分校);Motive Technologies, Inc.(Motive科技公司)
规范化流为生成式建模提供了一种优雅的方法,可以对未知数据分布进行有效的采样和精确的密度评估。然而,目前的技术有显着的限制,在他们的表现力时,数据分布是支持低维流形或具有非平凡的拓扑结构。我们引入了一种新的统计框架,用于学习混合的本地归一化流作为数据流形上的“图表”。我们的框架增强了最近的方法的表达能力,同时保留了规范化流的签名属性,即它们允许精确的密度评估。我们通过矢量量化自动编码器(VQ-AE)和使用条件流的分布来学习数据流形的图表的合适的图集。我们通过实验验证,我们的概率框架使现有的方法更好地模拟复杂流形上的数据分布。
2022-06-18 cs.AI cs.LG stat.ML
Copula-Based Normalizing Flows
Ruhr University(鲁尔大学)
规范化流通过将数据转换为高斯基分布的样本来学习分布,已经证明了强大的密度近似。但是它们的表达能力受到这种基本分布选择的限制。因此,我们建议将基础分布推广到一个更精细的copula分布,以更准确地捕捉目标分布的属性。在第一个实证分析中,我们证明了这种替换可以显着提高香草规范化流程的灵活性,稳定性和有效性的重尾数据。我们的研究结果表明,这些改进与学习流的局部Lipschitz稳定性增加有关。
2021-07-15 cs.AI cs.LG stat.ML