Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila;Google(谷歌);CIFAR
在这项工作中,我们提出了一个新的家庭的生成流的增强数据空间,目的是提高表现力,而不会大幅增加计算成本的采样和评估的下限的可能性。理论上,我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验,我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Continuous normalizing flows on manifolds
规范化流是从复杂的多峰分布中获得可重新参数化样本的一种强有力的技术。不幸的是,目前的方法只适用于最基本的几何形状,当底层空间具有非平凡拓扑时,这些方法就不适用了,这限制了它们对大多数真实世界数据的适用性。利用微分几何和几何控制理论的基本思想,我们描述了最近引入的神经常微分方程和连续归一化流可以扩展到任意光滑流形。我们提出了一个通用的方法参数化这些空间上的向量场,并演示了如何进行基于梯度的学习。此外,我们提供了一个可扩展的无偏估计量的分歧,在这个广义的设置。在多种空间选择上进行的实验经验性地展示了定义的框架从复杂分布中获取可重新参数化样本的能力。
2021-03-14 cs.LG stat.ML
Flows for Flows: Training Normalizing Flows Between Arbitrary Distributions with Maximum Likelihood Estimation
University of Geneva(日内瓦大学)
正规化流是从一个已知密度的基分布和一个具有易处理的雅可比矩阵的自同构构造的。归一化流的基密度可以通过不同的归一化流来参数化,从而允许在任意分布之间找到映射。我们演示和探索这种方法的实用性,并显示它是特别有趣的情况下,有条件的规范化流和引入最佳的运输约束的地图上使用规范化流构建。
2022-11-04 cs.LG
Continual Repeated Annealed Flow Transport Monte Carlo
DeepMind(深度思维);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
提出CRAFT方法,结合SMC采样器与归一化流变分推断,通过KL散度优化温度间传输,在格点场理论等任务上显著提升了采样精度。
2023-04-06 cond-mat.stat-mech cs.LG hep-lat
Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference
Columbia Business School(哥伦比亚大学商学院)
该研究将连续归一化流与参数子模型结合,嵌入Wasserstein梯度流引入几何结构,提出几何感知归一化Wasserstein流因果推断方法,可最小化有限样本下方差,均方误差低于传统方法,提升了因果推断性能。
2024-02-01 cs.LG stat.ML
Sampling Boltzmann distributions via normalizing flow approximation of transport maps
本文通过传输映射的归一化流近似方法,建立了参考测度与真实玻尔兹曼分布之间的归一化流,证明其在Wasserstein距离下的存在性,并通过数值模拟验证了该方法的有效性。
2026-03-15 cs.LG cs.NA math.NA
Normalizing Flows Across Dimensions
University of Massachussets(马萨诸塞大学)
具有底层结构的真实世界数据,例如人脸图片,被假设为位于低维流形上。这种多方面的假设激发了最先进的生成算法,学习低维数据表示。不幸的是,一个流行的生成模型,规范化流,不能利用这一点。规范化流是基于连续的变量转换,通过设计,无法学习低维表示。在本文中,我们介绍了噪声内射流(NIF),一个泛化的归一化流,可以跨维度。NIF使用内射变换将潜在空间显式映射到高维数据空间中的可学习流形。我们进一步采用加性噪声模型来解释与流形的偏差,并确定生成过程的随机逆。从经验上讲,我们证明了我们的方法在现有流架构中的简单应用可以显着提高样本质量并产生可分离的数据嵌入。
2020-06-23 cs.LG stat.ML
Expressivity of Bi-Lipschitz Normalizing Flows: A Score-Based Diffusion Perspective
Center for Industrial Mathematics, University of Bremen(工业数学中心,不莱梅大学);Department of Theoretical Physics and Applied Mathematics, University of Cambridge(理论物理与应用数学系,剑桥大学)
本文从分数扩散模型的角度研究双 Lipschitz 正则化流的表达性,通过概率流ODE分析其分布逼近能力,并推导扩散运输的确定性收敛保证。
2026-05-07 cs.LG cs.NA math.NA
Training Normalizing Flows from Dependent Data
Hasso Plattner Institute for Digital Engineering(哈索·普拉特纳数字工程研究所);University of Potsdam(波茨坦大学);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
本文针对归一化流学习算法假设数据独立的问题,提出纳入数据点间依赖关系的似然目标与灵活高效的学习算法,在合成与真实数据上改善密度估计和生成效果,并提升全基因组关联研究的统计功效。
2023-05-30 cs.LG stat.ML
Implicit Normalizing Flows
Tsinghua University(清华大学);Peking University(北京大学)
规范化流通过显式可逆变换$\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$定义概率分布。在这项工作中,我们提出了隐式规范化流(ImpFlows),它通过允许映射被隐式地定义为方程$F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$的根来概括规范化流。ImpFlows建立在剩余流(ResFlows)的基础上,在表达性和易处理性之间取得了适当的平衡。通过理论分析,我们证明了ImpFlow的函数空间严格比ResFlows丰富。此外,对于具有固定块数量的任何ResFlow,存在ResFlow具有不可忽略的近似误差的一些函数。但是,该函数可以通过单个块ImpFlow精确表示。我们提出了一个可扩展的算法来训练和从ImpFlows中抽取样本。从经验上讲,我们评估ImpFlow的几个分类和密度建模任务,ImpFlow优于ResFlow的所有基准上的参数相当数量。
2021-03-17 cs.LG stat.ML
Path-Gradient Estimators for Continuous Normalizing Flows
Technische Universität Berlin(柏林工业大学);BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);RIKEN Center for AIP(理化学研究所人工智能研究中心)
最近的工作已经建立了一个简单的变分高斯分布的路径梯度估计,并认为路径梯度是特别有益的制度,其中的变分分布接近确切的目标分布。然而,在许多应用中,这种状态不能通过简单的高斯变分分布来达到。在这项工作中,我们克服了这个关键的限制,提出了一个路径梯度估计的更有表现力的变分家庭的连续规范化流。我们概述了一个有效的算法来计算这个估计,并建立其优越的性能经验。
2022-06-17 cs.LG stat.ML
On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows
Heidelberg University(海德堡大学)
本文提出理论框架证明条件良好的基于耦合的归一化流具分布普适性,而保体积流非普适且需修复表达能力,弥合了实证与理论差距。
2025-01-29 cs.LG stat.ML
Simulation-based parameter estimation via a combination of embedded normalizing flows and implied empirical probabilities under moment restrictions
The Catholic University of America(美国天主教大学)
针对物理系统计算模拟模型,提出含嵌入归一化流和经验似然估计两步的参数估计框架,利用一阶梯度方法更新参数,其参数化嵌入归一化流的逆可作替代模型,用于量化模型差异与敏感性分析。
2026-07-29 cs.LG stat.ME
Semi-Discrete Normalizing Flows through Differentiable Tessellation
Meta AI
离散分布和连续分布之间的映射是一项艰巨的任务,许多人不得不求助于随机方法。我们提出了一种基于镶嵌的方法,直接学习连续空间中的量化边界,并完成精确的似然评估。这是通过使用一个简单的同胚与一个有效的对数行列式雅可比参数化的凸多面体上构造规范化流。我们在两个应用程序设置中探索这种方法,从离散映射到连续,反之亦然。首先,Voronoi反量化允许自动学习多维空间中的量化边界。区域之间的边界和距离的位置可以编码量化的离散值之间的有用的结构关系。其次,Voronoi混合模型具有接近恒定的计算成本的似然估计的混合成分的数量无关。从经验上讲,我们在一系列结构化数据模式中显示了对现有方法的改进。
2022-12-11 cs.LG stat.ML
A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with Short-run Langevin Flow for Approximate Inference
研究了自顶向下生成器模型潜空间中的归一化流,其中归一化流模型充当生成器的先验信息模型。我们建议联合学习的潜在空间规范化流先验模型和自上而下的发电机模型的马尔可夫链蒙特卡罗(MCMC)为基础的极大似然算法,其中一个短期的朗之万采样从棘手的后验分布进行推断的潜变量为每个观察到的例子,使规范化流先验和发电机的参数可以更新与推断的潜变量。我们表明,在非收敛的短期MCMC的情况下,有限步Langevin动力学是一个流的近似推理模型和学习目标实际上遵循的极大似然估计(MLE)的扰动。我们进一步指出,学习框架旨在(i)匹配潜在空间归一化流和短期Langevin流产生的聚合后验,以及(ii)使模型偏离MLE,使得短期Langevin流推断接近真实后验。大量的实验结果验证了所提出的潜在空间归一化流模型在图像生成、图像重建、异常检测、有监督图像修复和无监督图像恢复等任务中的有效性。
2023-01-23 cs.LG stat.ML
Normalizing flows as approximations of optimal transport maps via linear-control neural ODEs
Technische Universität München(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Genoa(热那亚大学)
本文提出通过线性控制神经ODE将归一化流作为最优传输映射的近似,构建离散测度下的近似最优控制问题,基于庞特里亚金极大值原理设计迭代数值方案,在二维示例验证了方法有效性。
2024-12-02 cs.LG math.OC
Copula-Based Normalizing Flows
Ruhr University(鲁尔大学)
规范化流通过将数据转换为高斯基分布的样本来学习分布,已经证明了强大的密度近似。但是它们的表达能力受到这种基本分布选择的限制。因此,我们建议将基础分布推广到一个更精细的copula分布,以更准确地捕捉目标分布的属性。在第一个实证分析中,我们证明了这种替换可以显着提高香草规范化流程的灵活性,稳定性和有效性的重尾数据。我们的研究结果表明,这些改进与学习流的局部Lipschitz稳定性增加有关。
2021-07-15 cs.AI cs.LG stat.ML
Robust normalizing flows using Bernstein-type polynomials
Australian National University(澳大利亚国立大学);University of Toronto(多伦多大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
由于样本数据会受到扰动,例如,仪器误差或添加的随机噪声。由于流模型是典型的非线性算法,它们放大了这些初始误差,导致泛化能力差。本文提出了一个框架来构建规范化流(NF),它表现出更高的鲁棒性,对这种初始错误。为此,我们利用伯恩斯坦型多项式的灵感来自伯恩斯坦基础的最佳稳定性。此外,与现有的NF框架相比,我们的方法提供了令人信服的优势,如近似误差的理论上限,更高的可解释性,适用于压缩支持的密度,以及在没有训练不稳定性的情况下采用更高次多项式的能力。我们进行了全面的理论分析,并通过在真实世界和合成数据集上的实验,实证证明了所提出的技术的有效性。
2022-10-09 cs.LG stat.ML
Fast and Unified Path Gradient Estimators for Normalizing Flows
Zuse Institute Berlin(柏林Zuse研究所);dida Datenschmiede GmbH(dida Datenschmiede有限公司);Prescient Design, Genentech, Roche(罗氏基因泰克Prescient Design);TU Berlin(柏林工业大学)
针对归一化流路径梯度估计器计算成本高且难以扩展用于最大似然训练的问题,提出一种快速且适用于多种架构的统一路径梯度估计器,显著提升了计算效率,并展现出正则化效果与更低的方差。
2024-03-23 cs.LG stat.ML
Variational Inference with Continuously-Indexed Normalizing Flows
University of Oxford(牛津大学)
连续索引流(CIF)最近在各种密度估计任务上实现了对基线归一化流的改进。CIF不具有封闭形式的边缘密度,因此,与标准流不同,不能直接插入到变分推断(VI)方案中,以产生更具表现力的近似后验族。然而,我们在这里展示了如何CIF可以作为辅助VI计划的一部分,以自然的方式制定和训练表达后验近似。我们利用多层CIF的条件独立结构来构建所需的辅助推理模型,我们根据经验证明了模型证据的低方差估计。然后,我们证明了优势的CIF基线流量VI问题时,感兴趣的后验分布具有复杂的拓扑结构,获得改进的结果,在贝叶斯推断和代理极大似然设置。
2021-06-14 cs.LG stat.ML
Preferential Normalizing Flows
University of Helsinki(赫尔辛基大学)
提出仅基于偏好问题将专家信念密度作为归一化流获取的方法,引入泛函先验解决概率质量坍缩或发散问题,实证表明可作为函数空间最大后验估计推断出密度。
2024-10-16 cs.LG stat.ML
Annealed Flow Transport Monte Carlo
University College London(伦敦大学学院);DeepMind(深度思维)
退火重要性抽样(AIS)及其序贯蒙特卡罗(SMC)扩展是估计概率分布归一化常数的最新方法。我们在这里提出了一种新的蒙特卡罗算法,退火流传输(AFT),建立在AIS和SMC,并将它们与归一化流(NF),以提高性能。该方法不仅使用重要性抽样(IS)、马尔可夫链蒙特卡罗(MCMC)和重新定位步骤(如SMC中那样)来传输一组粒子,而且还依赖于按顺序学习的NF来将粒子推向连续退火的目标。我们提供极限定理的归一化常数和期望相对于目标分布的蒙特卡罗估计。此外,我们表明,连续时间缩放限制的人口版本的AFT是由费曼-卡茨措施,简化了法律的控制扩散的表达NF。我们通过实验证明了我们的方法在各种应用中的优点和局限性。
2021-07-09 cond-mat.stat-mech cs.LG math.ST
Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University(海德堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
信息瓶颈(IB)目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型,如正常化流的IB。由于规范化流使用可逆网络架构(INN),因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中,首先,我们开发的理论和方法的IB-INN,一类有条件的规范化流程,INN的训练使用IB目标:引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB,同时保持INN的生成能力完好无损。其次,我们研究了这些模型的实验性质,特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点,但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲,我们的不确定性估计在这种混合制度相比,传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Randomized Value Functions via Multiplicative Normalizing Flows
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
随机价值函数提供了一个很有前途的方法,有效地探索在复杂的环境中的高维状态和动作空间的挑战。与传统的点估计方法不同,随机价值函数在动作空间值上保持后验分布。这可以防止代理的行为策略过早地利用早期估计并陷入局部最优。在这项工作中,我们利用变分贝叶斯神经网络的最新进展,并将其与传统的深度Q网络(DQN)和深度确定性策略梯度(DDPG)相结合,以实现高维域的随机价值函数。特别是,我们增加DQN和DDPG与乘法规范化流,以跟踪丰富的近似后验分布的参数的价值函数。这允许代理通过随机梯度方法以计算高效的方式执行近似Thompson采样。我们证明了我们的方法的好处,通过在高维环境中的经验比较。
2019-06-28 cs.LG stat.ML
Potential Matching Optimal Transport: Continuous Normalizing Flows for Exact $p$-Wasserstein Dynamics
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院)
本研究提出PMOT势匹配最优传输框架,结合CNF与广义Benamou-Brenier形式,实现$p$-最优传输的精确动力学建模,在合成基准、高维表格数据及颜色变换任务中表现出良好性能。
2026-08-07 cs.LG cs.NA math.NA
Universal Approximation of Residual Flows in Maximum Mean Discrepancy
University of California San Diego(加州大学圣地亚哥分校)
规范化流是一类灵活的深度生成模型,提供简单的似然计算。尽管它们在经验上取得了成功,但对它们的表现力几乎没有理论上的理解。在这项工作中,我们研究了剩余流,一类由Lipschitz剩余块组成的归一化流。我们证明了剩余流在最大平均偏差下是普适逼近器。我们提供了上界的残差块的数量,以实现在不同的假设下近似。
2021-06-25 cs.LG stat.ML
Rare event modeling with self-regularized normalizing flows: what can we learn from a single failure?
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);University of Michigan(密歇根大学)
针对罕见故障数据稀缺导致生成模型过拟合或欠拟合的问题,提出自正则化校准归一化流(CalNF),在数据受限故障建模中达最优性能,并首次揭示西南航空调度危机根因。
2025-02-28 cs.LG stat.ML
Sliced Iterative Normalizing Flows
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们开发了一种迭代(贪婪)深度学习(DL)算法,该算法能够将任意概率分布函数(PDF)转换为目标PDF。该模型基于一系列1D切片的迭代最优传输,在每个切片上将边缘PDF与目标相匹配。正交切片的轴被选择为在每次迭代时使用Wasserstein距离来最大化PDF差异,这使得算法能够很好地扩展到高维。作为该算法的特例,我们引入了两个切片迭代归一化流(SINF)模型,该模型从数据映射到潜在空间(GIS),反之亦然(SIG)。我们表明,SIG能够生成高质量的图像数据集样本,这些样本与GAN基准相匹配,而GIS在密度估计任务上获得了与密度训练的NF相比具有竞争力的结果,并且在小训练集上训练时更稳定,更快,并且实现了更高的$p(x)$。SINF方法显著偏离当前DL范例,因为它是贪婪的并且不使用诸如最小梯度、随机梯度下降和通过深层的梯度反向传播的概念。
2021-06-14 cs.LG stat.ML
Learning and Generalization in Overparameterized Normalizing Flows
Microsoft Research India(微软印度研究院)
在监督学习中,已知当使用具有足够小的学习率和合适的初始化的随机梯度下降训练时,具有一个隐藏层的过参数化神经网络可证明且有效地学习和泛化。相比之下,过度参数化在无监督学习中的好处还没有得到很好的理解。归一化流(NF)是无监督学习中一类重要的采样和密度估计模型。在本文中,我们从理论和实证分析这些模型时,底层神经网络是一个隐藏层过参数化网络。我们的主要贡献有两个方面:(1)一方面,我们提供了理论和经验证据,证明对于具有一个隐藏层网络的约束NF(这类NF是许多NF构造的基础),过度参数化会损害训练。(2)另一方面,我们证明了无约束NF,最近推出的模型,可以有效地学习任何合理的数据分布在最小的假设下,当底层网络是overparametrized,并有一个隐藏层。
2022-03-23 cs.AI cs.LG
Differentially Private Normalizing Flows for Privacy-Preserving Density Estimation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院)
标准化流模型已经成为密度估计问题的流行解决方案,能够生成高质量的合成数据以及精确的概率密度估计。然而,在个人直接与训练数据相关联的情况下,发布这样的模型会引起隐私问题。在这项工作中,我们提出了使用规范化的流模型,提供明确的差分隐私保证作为一种新的方法来保护隐私的密度估计的问题。我们使用基准数据集经验性地评估了我们的方法的有效性,并且我们证明了我们的方法大大优于以前的最先进的方法。我们还展示了我们的算法可以应用到差分私有异常检测的任务。
2021-03-25 cs.AI cs.CR cs.DS
Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation
Department of Computer Science and Engineering University of Notre Dame(计算机科学与工程系诺特达姆大学);Department of Pediatrics Stanford University(儿科系斯坦福大学);Department of Applied and Computational Mathematics and Statistics University of Notre Dame(应用与计算数学与统计系诺特达姆大学)
针对非线性非高斯系统,提出基于条件归一化流的状态滤波方法,结合MLP、Transformer或Mamba-SSM生成条件嵌入,并引入最优传输动力学损失缓解过参数化,在自动驾驶和COVID-19联合估计中验证有效性。
2026-06-06 cs.LG stat.ML
AlignFlow: Cycle Consistent Learning from Multiple Domains via Normalizing Flows
Stanford University(斯坦福大学)
给定来自多个域的数据集,一个关键的挑战是有效地利用这些数据源来建模目标域。这个问题的变体已经在许多方面得到了研究,如跨域翻译和领域自适应。我们提出了AlignFlow,一个生成式建模框架,通过一个规范化的流程对每个域进行建模。规范化流程的使用允许a)通过对抗训练、最大似然估计或两种方法的混合来指定学习目标的灵活性;以及b)学习和精确推断生成模型的潜在空间中的共享表示。我们推导出一组统一的条件下,AlignFlow是边际一致的不同的学习目标。此外,我们表明,AlignFlow保证确切的周期一致性映射数据点从源域到目标,并返回到源域。从经验上讲,AlignFlow在图像到图像的转换和无监督领域自适应方面优于相关基线,并且可以用于使用学习的表示在各个领域中同时插值。
2019-12-21 cs.LG cs.NE stat.ML
Matching Normalizing Flows and Probability Paths on Manifolds
Weizmann Institute of Science(魏茨曼科学研究所);University College London(伦敦大学学院);Meta AI Research(Meta人工智能研究院)
连续归一化流(CNFs)是一类通过求解常微分方程(ODE)将先验分布转换为模型分布的生成模型。我们提出了通过最小化概率路径发散(PPD)来训练流形上的CNF,PPD是由CNF产生的概率密度路径和目标概率密度路径之间的一种新的发散族,PPD使用对数质量守恒公式来表示,该公式是一个线性一阶偏微分方程,它将对数目标概率和CNF的定义向量场联系起来. PPD与现有方法相比具有几个关键优点:它回避了每次迭代求解ODE的需要,易于应用于流形数据,可扩展到高维,并且与在有限时间内插值纯噪声和数据的目标路径的大家族兼容。理论上,PPD被证明是限制古典概率发散。从经验上讲,我们证明了通过最小化PPD学习的CNFs在现有低维流形基准上实现了最先进的似然性和样本质量结果,并且是生成模型扩展到适度高维流形的第一个例子。
2022-07-11 cs.LG stat.ML
Stable Training of Normalizing Flows for High-dimensional Variational Inference
School of Informatics and Data Science, Hiroshima University(广岛大学信息与数据科学学院)
本文针对深度 Real NVPs 在高维变分推断中因随机梯度高方差而训练不稳定的问题,提出尺度软阈值处理与样本双射软对数变换的组合方法,并在数千维后验上验证了稳定训练和更准确的边际似然估计。
2024-02-26 cs.LG stat.ML
Normalizing Flows for Knockoff-free Controlled Feature Selection
University of Michigan(密歇根大学)
受控特征选择旨在发现响应所依赖的特征,同时将错误发现率(FDR)限制在预定义的水平。最近,已经提出了多种基于深度学习的方法来通过Model-X敲除框架执行受控特征选择。然而,我们证明,这些方法往往无法控制FDR有两个原因。首先,这些方法通常学习不准确的特征模型。第二,仿冒品有效所需的“互换”属性通常没有得到很好的执行。我们提出了一个新的程序称为FlowSelect进行控制功能选择,不遭受这两个问题。为了更准确地对特征进行建模,FlowSelect使用归一化流,这是用于密度估计的最先进方法。FlowSelect没有强制执行“交换”属性,而是使用一种新颖的基于MCMC的过程来直接计算每个特征的p值。渐进地,FlowSelect计算有效的p值。从经验上讲,FlowSelect始终控制合成和半合成基准上的FDR,而竞争的基于仿制品的方法则没有。FlowSelect还在这些基准测试中展示了更强大的功能。此外,FlowSelect还能从GWAS数据中正确推断出与特定大豆性状相关的遗传变异。
2022-10-21 cs.LG stat.ML
Robust Optimization in Causal Models and G-Causal Normalizing Flows
ETH Zurich(苏黎世联邦理工学院)
本文提出一种满足通用逼近性质的G-因果归一化流,用于因果模型中的数据增强,以最小化G-因果Wasserstein距离,并在因果回归和投资组合优化中优于非因果生成模型。
2025-10-17 cs.AI cs.LG q-fin.PM
Universal Approximation for Log-concave Distributions using Well-conditioned Normalizing Flows
Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
规范化流是一类广泛使用的潜在变量生成模型,具有易于处理的可能性。仿射耦合(Dinh et al,2014-16)模型是一种特别常见的归一化流类型,其潜变量到可观测变量变换的雅可比矩阵是三角形的,允许在线性时间内计算可能性。尽管仿射耦合被广泛使用,但体系结构的特殊结构使得理解它们的表示能力具有挑战性。直到最近,三篇平行论文才解决了普遍近似的问题(Huang等人,2020;Zhang等人,2020;Koehler等人,2020年)--他证明了合理的规则分布可以用仿射耦合任意地近似--尽管网络具有接近奇异的雅可比矩阵。由于病态雅可比矩阵是基于似然性训练的障碍,因此基本问题仍然存在:哪些分布可以使用条件良好的仿射耦合流来近似?在本文中,我们表明,任何对数凹分布可以近似使用条件良好的仿射耦合流。在证明技术方面,我们发现并利用仿射耦合架构,欠阻尼朗之万动力学(一种常用于从吉布斯测度采样的随机微分方程)和Hénon映射(一种出现在辛同态研究中的结构化动力系统)之间的深层联系。我们的研究结果还通知训练仿射耦合的实践:我们近似填充版本的输入分布与iid高斯-一个战略,克勒等人。(2020)经验上观察到导致更好的条件流,但迄今没有理论基础。因此,我们的证明可以被视为在训练规范化流时高斯填充的好处提供了理论证据。
2021-07-07 cs.LG stat.ML
Building Normalizing Flows with Stochastic Interpolants
Center for Cosmology and Particle Physics(宇宙学与粒子物理中心);New York University(纽约大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
提出了一种基于任意一对基概率密度和目标概率密度之间的连续时间归一化流的生成模型。该流的速度场是从在有限时间内在基底和目标之间插值的随时间变化的密度的概率流推断的。与传统的归一化流推断方法的基础上的最大似然原理,这需要昂贵的反向传播通过ODE求解器,我们的插值方法导致一个简单的二次损失的速度本身表示的期望,很容易服从经验估计。该流可用于从基础或目标生成样本,并估计沿插值的任何时间的可能性。此外,可以优化流以最小化插值密度的路径长度,从而为构建最优运输地图铺平道路。在基地是一个高斯密度的情况下,我们还表明,我们的归一化流的速度也可以用来构建一个扩散模型采样的目标,以及估计其得分。然而,我们的方法表明,我们可以完全绕过这种扩散和工作的概率流的水平更简单,开辟了一条途径的方法完全基于常微分方程作为替代那些基于随机微分方程。对密度估计任务的基准测试表明,学习流可以以一小部分成本匹配并超过传统的连续流,并且与CIFAR-10和ImageNet $32\times32$上的图像生成扩散进行了很好的比较。该方法的规模从头算ODE流以前无法达到的图像分辨率,证明了$128\times128$。
2023-03-09 cs.LG stat.ML
Marginal Tail-Adaptive Normalizing Flows
Ruhr University(鲁尔大学);Center of Computer Science, Bochum(波鸿计算机科学中心)
学习分布的尾部行为是一个众所周知的难题。根据定义,来自尾部的样本数量很少,而深度生成模型(如规范化流)往往专注于学习分布的主体。在本文中,我们专注于提高规范化流的能力,以正确捕获尾部行为,从而形成更准确的模型。我们证明了自回归流的边缘尾性可以通过其基分布的边缘的尾性来控制。这种理论上的洞察力使我们产生了一种基于灵活的基础分布和数据驱动的线性层的新型流。实证分析表明,该方法提高了精度-特别是在分布的尾部-并且能够生成重尾数据。我们展示了它的应用程序的天气和气候的例子,其中捕捉尾部的行为是必不可少的。
2022-06-27 cs.LG math.ST stat.ML
Convolutional Normalizing Flows for Deep Gaussian Processes
Tencent(腾讯);National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
深度高斯过程(DGP)是GP模型的分层组合,它成功地提高了单层模型的表达能力。然而,它是不可能执行精确的推理DGP,这激发了最近的发展变分推理为基础的方法。不幸的是,这些方法要么产生有偏见的后验信念,要么很难评估其收敛性。本文介绍了一种新的方法来指定灵活的,任意复杂的,可扩展的近似后验分布。后验分布是通过一个归一化流(NF),通过一系列可逆变换将一个简单的初始概率转换为一个更复杂的概率。此外,开发了一种新的卷积归一化流(CNF),以提高时间效率和捕获层之间的依赖性。实证评估表明,CNF DGP优于最先进的DGP近似方法。
2021-05-26 cs.LG
Non-Vacuous Certification of Transport MCMC via Oscillation-Controlled Normalizing Flows
China Sanya Science and Education Innovation Park, Wuhan University of Technology, Sanya 572025, China(中国三亚科技教育创新园,武汉理工大学,三亚572025,中国);School of Civil Engineering and Architecture, Wuhan University of Technology, Wuhan 430070, China(武汉理工大学土木工程与建筑学院,武汉430070,中国)
提出振荡控制归一化流框架,首次为传输MCMC采样器提供严格的非平凡谱隙界,通过谱归一化、基于覆盖的经验振荡界和振荡正则化训练,在多个后验分布上实现可认证的采样效率。
2026-05-31 cs.LG stat.CO stat.ME
Training Energy-Based Normalizing Flow with Score-Matching Objectives
National Tsing Hua University(国立清华大学);NVIDIA Corporation(英伟达公司);Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于能量的归一化流(EBFlow),利用分数匹配目标训练以绕过雅可比行列式计算,从而支持任意线性层并提升训练效率,实验表明其在速度和负对数似然上均优于最大似然方法。
2023-10-28 cs.LG stat.ML
InfoCNF: An Efficient Conditional Continuous Normalizing Flow with Adaptive Solvers
Rice University(莱斯大学);NVIDIA(英伟达);University of Toronto(多伦多大学);California Institute of Technology(加州理工学院)
连续规范化流(CNF)由于其可逆性和精确的似然估计,已成为广泛任务的有前途的深度生成模型。然而,由于模型所生成的高维潜在代码需要与输入数据具有相同的大小,因此针对条件图像生成和下游预测任务对感兴趣的信号调节CNF是低效的。在本文中,我们提出了InfoCNF,一个有效的条件CNF,分区的潜在空间成一个类特定的监督代码和一个无监督的代码,共享所有类之间的标签信息的有效利用。由于分区策略(略微)增加了函数求值(NFE)的数量,InfoCNF还采用门控网络来学习其常微分方程(ODE)求解器的容错能力,以获得更好的速度和性能。我们的经验表明,InfoCNF提高了测试精度的基线,同时产生可比的似然分数,并减少CIFAR10上的NFE。此外,在InfoCNF中对时间序列数据应用相同的分区策略有助于提高外推性能。
2019-12-09 cs.CV cs.LG stat.ML
Gaussian-Channel Regularity and Distribution Learning with Flow Matching
The Hong Kong Polytechnic University(香港理工大学);Wuhan University(武汉大学);Northeast Normal University(东北师范大学)
本文从理论上研究了基于线性插值和流匹配目标函数的连续归一化流从有限样本学习概率分布的收敛性,在目标分布具有有界支撑、强对数凹或为高斯混合的条件下,建立了Wasserstein-2距离的非渐近误差界。
2026-11-17 cs.LG stat.ML
Lévy-Flow Models: Heavy-Tail-Aware Normalizing Flows for Financial Risk Management
本文提出Lévy-流模型,用Lévy过程分布替代标准高斯分布,提升重尾数据建模能力,在金融风险管理中实现更精确的风险评估和密度估计。
2026-03-31 cs.LG
Conditional Approximate Normalizing Flows for Joint Multi-Step Probabilistic Forecasting with Application to Electricity Demand
Stanford University(斯坦福大学);McGill University(麦吉尔大学)
一些现实世界的决策问题需要同时对多个步骤进行概率预测。然而,概率预测的方法可能无法捕捉随着误差积累而存在于长期范围内的基本时间序列中的相关性。一个这样的应用是在网格环境中的不确定性下的资源调度,这需要预测电力需求,这是固有的噪声,但往往是循环的。在本文中,我们引入了条件近似归一化流(CANF),使概率多步时间序列预测时,相关性是目前在较长的时间范围。我们首先证明了我们的方法在估计玩具分布密度方面的有效性,发现与高斯混合模型相比,CANF将KL分歧提高了三分之一,同时仍然适合显式条件反射。然后,我们使用一个公开的家庭用电量数据集,以展示联合概率多步预测CANF的有效性。实证结果表明,条件近似归一化流优于其他方法的多步预测精度,并导致高达10倍的更好的调度决策。我们的实现可以在https://github.com/sisl/JointDemandForecasting上获得。
2022-01-14 cs.LG
Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme
RWTH Aachen University(亚琛工业大学);University of Göttingen(哥廷根大学);TU Berlin(柏林工业大学)
提出一种基于WFR JKO方案的重加权归一化流神经采样算法,证明其指数收敛性,并在多模态目标上验证了有效性。
2026-10-08 cs.LG cs.NA math.NA
Normalizing Flows for Conformal Regression
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文提出通过训练归一化流学习优化距离度量,以局部化保形预测区间,提高效率,并兼容现有自适应策略。
2024-06-26 cs.LG math.PR stat.ML
Causal normalizing flows: from theory to practice
Saarland University(萨尔大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文提出基于自回归归一化流的因果建模框架,证明给定因果顺序时的可识别性,并支持 do 干预与反事实推理,实验验证其在混合数据和部分因果图知识场景中的有效性。
2023-12-08 cs.AI cs.LG stat.ME
Short-Term Density Forecasting of Low-Voltage Load using Bernstein-Polynomial Normalizing Flows
HTWG Konstanz - University of Applied Sciences(康斯坦茨应用科学大学HTWG);TU Berlin(柏林工业大学);Birds on Mars GmbH(火星上的鸟有限公司);University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科学大学);Bosch.IO GmbH(博世物联网有限公司)
针对低压负荷预测波动性大、传统点估计难以体现不确定性的问题,提出基于Bernstein多项式归一化流的短期密度预测方法,经363个智能电表用户验证,效果优于多种基线方法。
2023-06-15 cs.LG stat.AP stat.ME
Normalizing flow sampling with Langevin dynamics in the latent space
IRIT/INP-ENSEEIHT(IRIT/法国国立图卢兹高等电子工程、电子、计算机、水力与电信学院);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学)
针对标准 Normalizing flows 在复杂多峰分布上因 Jacobian 范数爆炸导致的病态行为,提出一种基于 MALA 的 MCMC 算法,在潜空间采样后映射回目标域,无需特定训练即可兼容任何预训练 NF 网络。
2023-05-20 cs.LG stat.ML
Multivariate Probabilistic Forecasting of Intraday Electricity Prices using Normalizing Flows
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学);University of Cologne(科隆大学);JARA-ENERGY(于利希-亚琛研究联盟能源部)
电力在不同的市场上交易,有不同的时间范围和规定。由于可再生能源的更高渗透率,短期日内交易变得越来越重要。在德国,日内电价通常围绕欧洲电力交易所(EPEX)现货市场的前一天价格以独特的小时模式波动。这项工作提出了一种概率建模方法,建模当天的价格差异,提前一天的合同。该模型捕捉新兴的每小时的模式,考虑四个15分钟的间隔,在每个前一天的价格区间作为一个四维联合概率分布。所得到的非平凡的多变量价格差分布使用归一化流来学习,即,一种结合了条件多元密度估计和概率回归的深度生成模型。此外,这项工作讨论了不同的外部影响因素的影响,基于文献的见解和影响分析,使用可解释的人工智能(XAI)。归一化流相比,历史数据和概率预测使用高斯copula和高斯回归模型的知情选择。在不同的模型中,归一化流以最高的精度识别趋势,并具有最小的预测区间。XAI分析和实证实验都强调,价差实现的即时历史和前一天价格的增量对价差影响最大。
2023-03-10 cs.LG
Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学);AITHYRA;HEC Montréal(蒙特利尔HEC)
针对玻尔兹曼生成器中归一化流最大似然训练不稳定、计算成本高的问题,提出基于回归的RegFlow训练方法,采用最优输运耦合或预训练流构造目标,结合前向后向自洽损失提升稳定性,在分子构象采样任务上优于传统方法。
2025-10-30 cs.AI cs.LG stat.ML
Towards Recurrent Autoregressive Flow Models
Stanford University(斯坦福大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
由非平稳分布产生的随机过程很难用常规模型(如高斯过程)表示。这项工作提出了递归自回归流作为一种方法对一般的随机过程建模与规范化流。所提出的方法定义了一个条件分布的每个变量在一个连续的过程中,通过调节参数的归一化流与循环神经连接。复杂的条件关系通过递归网络参数学习。在这项工作中,我们提出了一个循环流动池的初始设计和方法,训练模型,以匹配观察到的经验分布。我们证明了这类模型的有效性,通过一系列的实验中,模型训练三个复杂的随机过程。我们强调我们目前的配方的缺点,并提出一些潜在的解决方案。
2020-06-17 cs.LG stat.ML