Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows
Lancaster University(兰卡斯特大学)
本文提出马尔可夫流匹配方法,将 FM 训练的 CNF 作为非局部转移核嵌入自适应 MCMC,并结合回火机制,以更低计算成本实现多模态推断。
2024-10-28 cs.LG stat.ME stat.ML
Path Gradients after Flow Matching
Freie Universität Berlin(柏林自由大学)
针对已知目标能量的分子平衡采样,本文提出用路径梯度微调经Flow Matching初始化的CNF,在不增加模型、预算和采样的情况下将采样效率最高提升三倍并保留流结构。
2025-10-20 cs.LG stat.ML
The Coupling Within: Flow Matching via Distilled Normalizing Flows
本文提出规范化流匹配(NFM),通过蒸馏预训练的规范化流模型的耦合来训练学生模型,从而在性能和效率上均优于传统方法。
2026-03-09 cs.CV cs.LG
Potential Matching Optimal Transport: Continuous Normalizing Flows for Exact $p$-Wasserstein Dynamics
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院)
本研究提出PMOT势匹配最优传输框架,结合CNF与广义Benamou-Brenier形式,实现$p$-最优传输的精确动力学建模,在合成基准、高维表格数据及颜色变换任务中表现出良好性能。
2026-08-07 cs.LG cs.NA math.NA
Positive Difference Distribution for Image Outlier Detection using Normalizing Flows and Contrastive Data
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Heidelberg(海德堡大学)
针对生成模型似然难以检测图像异常值的问题,本文利用无标签对比数据训练自监督特征与归一化流,提出等价于学习两类特征密度归一化正差的概率异常值得分,并在基准上验证其优于多种方法。
2023-04-26 cs.LG
SCORENF: Score-based Normalizing Flows for Sampling Unnormalized distributions
Department of Electrical Engineering, IIT Kanpur, India(印度IIT坎浦尔电子工程系)
本文提出ScoreNF,结合归一化流与独立Metropolis-Hastings模块,实现非归一化分布的高效无偏采样,并在小训练集下保持高性能,同时评估模式覆盖与崩溃。
2026-09-29 cs.LG hep-lat quant-ph
Normalizing flows for novelty detection in industrial time series data
Ascent Robotics Inc.(Ascent机器人公司)
基于流的深度生成模型通过一组可逆变换将简单的基本分布转换为复杂分布来学习数据分布。由于可逆性,这些模型可以通过计算它们在学习分布下的确切可能性来对看不见的数据样本进行评分。这使得基于流的模型成为新颖性检测的完美工具,这是一种异常检测技术,通过对正常数据的学习模型进行评分,将看不见的数据样本分类为正常或异常。我们表明,归一化流可以用作时间序列中的新奇检测器。两个基于流的模型,掩蔽自回归流和自由形式的雅可比矩阵的可逆动力学约束的自回归MADE网络,测试的合成数据和电机电流数据从工业机械,并取得了良好的效果,优于传统的新颖性检测方法,局部异常因子。
2019-06-17 cs.LG stat.ML
Anomaly Detection in Trajectory Data with Normalizing Flows
Federal University of Ceará(塞阿拉联邦大学);National Department of Public Security(国家公共安全部)
异常数据模式的检测在实际应用中既重要又具有挑战性。在空间数据的背景下,识别意外的轨迹带来了额外的困难,如高维和不同的模式长度。我们的目标是从概率密度估计的角度来解决这样的问题,因为它提供了一个无监督的过程来识别出的分布样本。更具体地说,我们追求一种基于标准化流的方法,这是一种最近的框架,可以使用神经网络从数据中进行复杂的密度估计。我们的建议计算精确的模型似然值,规范化流的一个重要特征,为轨迹的每一段。然后,我们将片段的可能性聚合成单个连贯的轨迹异常分数。这样的策略使得能够处理具有不同长度的可能大的序列。我们评估我们的方法,命名为聚合异常检测与规范化流(GRADINGS),使用真实世界的轨迹数据,并比较它与更传统的异常检测技术。在所进行的计算实验中获得的有希望的结果表明的分级的可行性,特别是考虑自回归归一化流的变体。
2020-04-13 cs.LG stat.ML
A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model
Baidu Research(百度研究院)
研究了两个生成式流模型的协同学习问题,即基于联合合成的实例迭代更新两个模型。第一流模型是通过应用可逆变换序列将初始简单密度变换为目标密度的归一化流。第二个流动模型是朗之万流动,其运行基于梯度的MCMC的有限步骤以实现基于能量的模型。我们从提出一个生成框架开始,该框架使用归一化流作为摊销采样器来训练基于能量的模型,以初始化基于能量的模型的MCMC链。在每次学习迭代中,我们通过使用归一化流初始化,然后对当前基于能量的模型进行短期朗之万流修正来生成合成示例。然后,将合成样本作为基于能量的模型的公平样本,利用极大似然学习梯度更新模型参数,而归一化流则通过最大化易处理的似然来直接从合成样本中学习。在短期非混合MCMC情形下,基于能量的模型的估计遵循极大似然扰动,短期Langevin流和归一化流形成了一个双流生成器,我们称之为CoopFlow.我们提供了一个understating的CoopFlow算法的信息几何,并表明它是一个有效的发电机,因为它收敛到一个时刻匹配估计。我们证明了训练的CoopFlow能够合成逼真的图像,重建图像,并在图像之间进行插值。
2022-05-13 cs.LG stat.ML
Gradient-based Causal Structure Learning with Normalizing Flow
University of Adelaide(阿德莱德大学);School of Computer Science(计算机科学学院)
在本文中,我们提出了一种基于分数的归一化流方法DAG-NF来学习输入观测数据的依赖关系。受计算机视觉中Grad-CAM的启发,我们使用输出对输入的雅可比矩阵作为因果关系,并且该方法可以推广到任何神经网络,特别是对于基于流的生成神经网络,例如掩蔽自回归流(MAF)和连续归一化流(CNF),其计算输入数据和目标分布的对数似然损失和分布的发散。该方法扩展了NOTEARS算法,对图的连续邻接矩阵施加了重要的酰基性约束,大大降低了图的搜索空间的计算复杂性。
2020-10-07 cs.LG
Sliced Score Matching: A Scalable Approach to Density and Score Estimation
Stanford University(斯坦福大学);Tsinghua University(清华大学)
分数匹配是一种用于估计非归一化统计模型的流行方法。然而,到目前为止,它一直局限于简单的,浅的模型或低维数据,由于难以计算的对数密度函数的海森。我们表明,这种困难可以通过将分数投影到随机向量上进行比较来减轻。这个目标,称为切片分数匹配,只涉及海森矢量产品,这可以很容易地实现使用反向模式自动微分。因此,与分数匹配相比,切片分数匹配适用于更复杂的模型和更高维的数据。在理论上,我们证明了切片得分匹配估计的相合性和渐近正态性。此外,我们证明了切片分数匹配可以用于学习隐式分布的深度分数估计。在我们的实验中,我们证明了切片分数匹配可以有效地学习基于能量的深度模型,并且可以为应用程序(如隐式分布的变分推理和训练Wasserstein自动编码器)生成准确的分数估计。
2019-06-27 cs.LG stat.ML
Sliced Iterative Normalizing Flows
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们开发了一种迭代(贪婪)深度学习(DL)算法,该算法能够将任意概率分布函数(PDF)转换为目标PDF。该模型基于一系列1D切片的迭代最优传输,在每个切片上将边缘PDF与目标相匹配。正交切片的轴被选择为在每次迭代时使用Wasserstein距离来最大化PDF差异,这使得算法能够很好地扩展到高维。作为该算法的特例,我们引入了两个切片迭代归一化流(SINF)模型,该模型从数据映射到潜在空间(GIS),反之亦然(SIG)。我们表明,SIG能够生成高质量的图像数据集样本,这些样本与GAN基准相匹配,而GIS在密度估计任务上获得了与密度训练的NF相比具有竞争力的结果,并且在小训练集上训练时更稳定,更快,并且实现了更高的$p(x)$。SINF方法显著偏离当前DL范例,因为它是贪婪的并且不使用诸如最小梯度、随机梯度下降和通过深层的梯度反向传播的概念。
2021-06-14 cs.LG stat.ML
Boltzmann Generators for Condensed Matter via Riemannian Flow Matching
Freie Universität Berlin(柏林自由大学);Microsoft Research(微软研究院);Flatiron Institute(熨斗研究所)
本文提出利用黎曼流匹配将周期性特征融入连续归一化流,实现高效准确的凝聚相系统平衡分布采样,验证了在单原子冰中训练大规模系统并获得高精度自由能估计的能力。
2026-03-30 cond-mat.stat-mech cs.LG physics.comp-ph
Normalizing flow neural networks by JKO scheme
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
提出JKO-iFlow神经ODE流网络,基于JKO格式展开Wasserstein梯度流,支持高效逐块训练并降低内存成本,在合成与真实数据上性能优于现有流与扩散模型。
2024-02-16 cs.LG stat.ML
Score matching enables causal discovery of nonlinear additive noise models
EPFL(洛桑联邦理工学院);Amazon Web Services(亚马逊云科技)
本文演示了如何从非线性加性(高斯)噪声模型中的数据分布的分数中恢复因果图。使用分数匹配算法作为一个积木,我们展示了如何设计新一代的可扩展的因果发现方法。为了展示我们的方法,我们还提出了一种新的有效方法来近似分数的雅可比矩阵,从而能够恢复因果图。从经验上讲,我们发现,新的算法,称为SCORE,是最先进的因果发现方法的竞争力,同时显着更快。
2022-03-08 cs.LG stat.ML
Hamiltonian Score Matching and Generative Flows
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
本文提出哈密顿速度预测器,并据此构建HSM分数匹配方法与HGFs生成模型,将扩散和流匹配统一为零力场特例,实验证明其竞争力。
2024-10-27 cs.LG stat.ML
Smooth Normalizing Flows
Freie Universität Berlin(柏林自由大学);Rice University(莱斯大学)
规范化流是物理系统中概率分布建模的一个很有前途的工具。虽然最先进的流精确地近似分布和能量,但物理学中的应用还需要平滑能量来计算力和高阶导数。此外,这样的密度通常定义在非平凡拓扑上。最近的一个例子是玻尔兹曼发生器,用于生成肽和小蛋白质的3D结构。这些生成模型利用了内部坐标空间(二面角,角度和键),这是超环面和紧凑间隔的产物。在这项工作中,我们介绍了一类光滑的混合变换工作在紧区间和超环面。混合变换在实践中使用寻根方法来反转它们,这到目前为止阻止了双向流训练。为此,我们表明,参数梯度和力的逆可以计算从正向评价通过反函数定理。我们证明了两个优势,这样的流畅:他们允许训练力匹配模拟数据,并可用于分子动力学模拟的潜力。
2021-11-30 cs.LG physics.chem-ph stat.ML
Tightening the Score Matching Gap for Diffusion Models
针对扩散模型的得分匹配间隙问题,该研究利用得分估计器正则性与反向过程收缩性,推导三类指标的更紧边界,揭示低噪声尺度下得分近似质量对缩窄间隙的关键作用。
2026-07-07 cs.LG stat.ML
Building Normalizing Flows with Stochastic Interpolants
Center for Cosmology and Particle Physics(宇宙学与粒子物理中心);New York University(纽约大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
提出了一种基于任意一对基概率密度和目标概率密度之间的连续时间归一化流的生成模型。该流的速度场是从在有限时间内在基底和目标之间插值的随时间变化的密度的概率流推断的。与传统的归一化流推断方法的基础上的最大似然原理,这需要昂贵的反向传播通过ODE求解器,我们的插值方法导致一个简单的二次损失的速度本身表示的期望,很容易服从经验估计。该流可用于从基础或目标生成样本,并估计沿插值的任何时间的可能性。此外,可以优化流以最小化插值密度的路径长度,从而为构建最优运输地图铺平道路。在基地是一个高斯密度的情况下,我们还表明,我们的归一化流的速度也可以用来构建一个扩散模型采样的目标,以及估计其得分。然而,我们的方法表明,我们可以完全绕过这种扩散和工作的概率流的水平更简单,开辟了一条途径的方法完全基于常微分方程作为替代那些基于随机微分方程。对密度估计任务的基准测试表明,学习流可以以一小部分成本匹配并超过传统的连续流,并且与CIFAR-10和ImageNet $32\times32$上的图像生成扩散进行了很好的比较。该方法的规模从头算ODE流以前无法达到的图像分辨率,证明了$128\times128$。
2023-03-09 cs.LG stat.ML
How to Train Your Energy-Based Models
Stanford University(斯坦福大学);Google Research(谷歌研究院)
基于能量的模型(EBM),也称为非归一化概率模型,指定概率密度或质量函数,直到未知的归一化常数。与大多数其他概率模型不同,EBM不限制归一化常数的可处理性,因此对参数化更灵活,并且可以模拟更具表现力的概率分布族。然而,EBM的未知归一化常数使得训练特别困难。我们的目标是提供一个友好的介绍现代循证医学培训的方法。我们首先解释使用马尔可夫链蒙特卡罗(MCMC)的最大似然训练,然后详细说明无MCMC的方法,包括分数匹配(SM)和噪声压缩估计(NCE)。我们强调这三种方法之间的理论联系,并结束了一个简短的调查替代培训方法,这仍然是积极的研究。我们的教程针对的是对生成模型有基本了解的观众,他们希望应用EBM或在这个方向上开始研究项目。
2021-02-17 cs.LG stat.ML
Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow Matching on Assignment Manifolds
Heidelberg University(海德堡大学)
本文提出一种基于因子分解离散测度子流形上连续归一化流的离散分布生成模型,通过嵌入元单纯形与数据驱动平均逼近非因子分解分布,并利用测地线流匹配实现高效训练,避免了传统离散化问题。
2024-02-12 cs.LG stat.ML
Operator-Informed Score Matching for Markov Diffusion Models
Newcastle University(新castle大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出算子信息得分匹配方法,利用马尔可夫加噪过程的谱分解,仅用数据样本均值同时估计所有边际分布的得分函数,为低维生成提供独立方法,并改进高维神经得分估计器。
2025-05-24 cs.LG stat.ML
Score-matching-based Structure Learning for Temporal Data on Networks
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);University of Cambridge(剑桥大学)
本文提出PICK算法,通过改进父节点查找子程序提升分数匹配在处理独立同分布及时序网络数据时的效率与准确性。
2026-04-12 cs.LG stat.ML
Generalizing Score-based generative models for Heavy-tailed Distributions
STIM, Mines Paris(STIM, Mines巴黎);LPSM, Sorbonne Université(LPSM,索邦大学)
本文提出一种统一的生成框架,通过正常化流捕捉厚尾行为并作为SGM的初始化先验,从而在理论上克服了现有方法的局限。
2026-05-14 cs.LG stat.ML
Principled Interpolation in Normalizing Flows
University of Campinas(坎皮纳斯大学);Leuphana University(勒芬那大学);Norwegian University of Science and Technology(挪威科技大学)
针对归一化流中线性插值偏离数据流形的问题,本文提出将高斯基分布替换为概率单纯形上的 Dirichlet 分布和超球面上的 von Mises-Fisher 分布,从而在保持生成性能的同时显著提升插值质量。
2025-04-08 cs.LG stat.ML
Gaussian-Channel Regularity and Distribution Learning with Flow Matching
The Hong Kong Polytechnic University(香港理工大学);Wuhan University(武汉大学);Northeast Normal University(东北师范大学)
本文从理论上研究了基于线性插值和流匹配目标函数的连续归一化流从有限样本学习概率分布的收敛性,在目标分布具有有界支撑、强对数凹或为高斯混合的条件下,建立了Wasserstein-2距离的非渐近误差界。
2026-11-17 cs.LG stat.ML
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL(太平洋西北国家实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校);UC San Diego(圣地亚哥大学)
本文提出利用去噪分数匹配损失作为局部内在维度估计器,通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Maximum Likelihood Training of Score-Based Diffusion Models
Stanford University(斯坦福大学);University of Edinburgh(爱丁堡大学)
基于分数的扩散模型通过反转将数据扩散为噪声的随机过程来合成样本,并且通过最小化分数匹配损失的加权组合来训练。基于分数的扩散模型的对数似然可以通过与连续归一化流的连接来可追踪地计算,但是对数似然不能通过分数匹配损失的加权组合来直接优化。我们表明,对于一个特定的加权方案,客观上界的负对数似然,从而使近似极大似然训练的分数为基础的扩散模型。我们根据经验观察到,极大似然训练一致地提高了基于分数的扩散模型在多个数据集、随机过程和模型架构中的似然性。我们最好的模型在CIFAR-10和ImageNet 32 x32上实现了2.83和3.76 bits/dim的负对数似然,而没有任何数据增强,与这些任务中最先进的自回归模型相当。
2021-10-21 cs.LG stat.ML
Flow Matching for Scalable Simulation-Based Inference
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Nottingham(诺丁汉大学);University of Tübingen(蒂宾根大学)
本文提出流匹配后验估计(FMPE),利用连续归一化流实现可扩展的仿真推断,在引力波推断任务中相比离散流方法训练时间减少30%且精度显著提升。
2023-10-27 cs.LG
Flow-matching -- efficient coarse-graining of molecular dynamics without forces
Freie Universität Berlin(柏林自由大学);Microsoft Research AI4Science(微软研究院AI4Science)
粗粒度(CG)分子模拟已经成为一个标准的工具,研究分子过程的时间和长度尺度上无法达到全原子模拟。参数化CG力场以匹配全原子模拟主要依赖于力匹配或相对熵最小化,这需要分别来自具有全原子或CG分辨率的昂贵模拟的许多样本。在这里,我们提出了流匹配,这是一种新的CG力场训练方法,它通过利用归一化流(一种生成式深度学习方法)结合了两种方法的优点。流匹配首先训练归一化流以表示CG概率密度,这相当于在不需要迭代CG模拟的情况下最小化相对熵。随后,该流程根据学习的分布生成样本和力,以便经由力匹配来训练期望的CG自由能模型。即使不需要来自全原子模拟的力,流匹配在数据效率方面也优于经典力匹配一个数量级,并且产生可以捕获小蛋白质折叠和展开转变的CG模型。
2023-02-05 cs.LG physics.bio-ph physics.chem-ph
InfoCNF: An Efficient Conditional Continuous Normalizing Flow with Adaptive Solvers
Rice University(莱斯大学);NVIDIA(英伟达);University of Toronto(多伦多大学);California Institute of Technology(加州理工学院)
连续规范化流(CNF)由于其可逆性和精确的似然估计,已成为广泛任务的有前途的深度生成模型。然而,由于模型所生成的高维潜在代码需要与输入数据具有相同的大小,因此针对条件图像生成和下游预测任务对感兴趣的信号调节CNF是低效的。在本文中,我们提出了InfoCNF,一个有效的条件CNF,分区的潜在空间成一个类特定的监督代码和一个无监督的代码,共享所有类之间的标签信息的有效利用。由于分区策略(略微)增加了函数求值(NFE)的数量,InfoCNF还采用门控网络来学习其常微分方程(ODE)求解器的容错能力,以获得更好的速度和性能。我们的经验表明,InfoCNF提高了测试精度的基线,同时产生可比的似然分数,并减少CIFAR10上的NFE。此外,在InfoCNF中对时间序列数据应用相同的分区策略有助于提高外推性能。
2019-12-09 cs.CV cs.LG stat.ML
WeaNF: Weak Supervision with Normalizing Flows
University of Vienna(维也纳大学)
一个流行的方法,以减少需要昂贵的人工注释的大型数据集是弱监督,这引入了噪声标签,覆盖和偏见的问题。克服这些问题的方法要么依赖于判别模型,用特定于弱监督的成本函数进行训练,要么依赖于最近的生成模型,试图对自动注释过程的输出进行建模。在这项工作中,我们探索了弱监督生成建模的一个新方向:不是对注释过程的输出(标签函数匹配)进行建模,而是对标签函数覆盖的输入端数据分布(特征空间)进行生成建模。具体来说,我们通过使用归一化流来估计每个弱标记源或标记函数的密度。我们的方法的一个组成部分是多个同时匹配的标记函数的基于流的建模,因此捕获了标记函数重叠和相关性等现象。我们分析了各种常用的弱监督数据集上的有效性和建模能力,并表明弱监督规范化流与标准弱监督基线相比是有利的。
2022-05-02 cs.CL cs.LG
Normalizing Trajectory Models
Apple(苹果公司)
本文提出轨迹归一化模型,通过精确的似然训练建模反向步骤作为条件归一化流,实现高效生成并在文本到图像任务中展现优越性能。
2026-05-12 cs.CV cs.LG
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University(俄罗斯高等经济大学)
本文提出通过隐式和去噪分数匹配方法改进收敛速率,并利用微分估计对数密度Hessian,为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
Target Score Matching
Google DeepMind(谷歌DeepMind);Isomorphic Labs(同构实验室)
针对去噪分数匹配在低噪声水平下分数估计较差的局限,本文提出目标分数恒等式与目标分数匹配回归损失,利用已知的目标分数知识,获得在低噪声水平下具有良好性质的分数估计。
2024-02-13 cs.LG stat.CO stat.ML
Normalizing Flows with Multi-Scale Autoregressive Priors
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);TU Darmstadt(达姆施塔特工业大学)
基于流的生成模型是一类重要的精确推理模型,它允许有效的推理和采样,用于图像合成。由于对流层的设计的效率约束,例如其中大约一半的像素不经历进一步变换的分离耦合流层,与依赖于条件逐像素生成的自回归模型相比,它们对于建模长范围数据依赖性具有有限的表现力。在这项工作中,我们通过多尺度自回归先验(mAR)在其潜在空间中引入通道依赖关系来提高基于流的模型的表示能力。我们的mAR先验模型与分裂耦合流层(mAR-SCF)可以更好地捕捉复杂的多模态数据的依赖性。由此产生的模型在MNIST、CIFAR-10和ImageNet上实现了最先进的密度估计结果。此外,我们表明,mAR-SCF允许改进的图像生成质量,与最先进的基于流的模型相比,FID和Inception分数有所提高。
2020-04-08 cs.CV cs.LG stat.ML
Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows
Leibniz University Hanover(汉诺威莱布尼茨大学)
在制造过程中,检测制造错误对于确保产品质量和安全标准至关重要。由于许多缺陷很少发生,并且它们的特性大多是先验未知的,因此它们的检测仍然是一个开放的研究问题。为此,我们提出了DifferNet:它利用卷积神经网络提取的特征的连续性,使用归一化流来估计它们的密度。规范化流非常适合处理低维数据分布。然而,他们与图像的高维性作斗争。因此,我们采用多尺度特征提取器,使归一化流程能够为图像分配有意义的可能性。基于这些可能性,我们开发了一个评分功能,表明缺陷。此外,将分数传播回图像实现逐像素定位。为了实现高鲁棒性和高性能,我们在训练和评估中采用了多个转换。与大多数其他方法相比,我们的方法不需要大量的训练样本,并且在低至16张图像的情况下表现良好。我们证明了具有挑战性的和新提出的MVTec AD和磁瓦缺陷数据集的性能优于现有的方法。
2020-08-28 cs.CV cs.LG eess.IV
Equivariant flow matching
Freie Universität Berlin(柏林自由大学);Microsoft Research AI4Science(微软研究院AI4Science);Rice University(莱斯大学)
本文提出等变流匹配这一新训练目标,利用目标能量的物理对称性实现等变连续归一化流的高效无模拟训练,在小分子和多粒子系统上显著提升了采样效率与可扩展性。
2023-11-23 cs.LG physics.chem-ph physics.comp-ph
Learning Non-linear Wavelet Transformation via Normalizing Flow
Department of Physics(物理系);The Hong Kong University of Science and Technology(香港科技大学)
小波变换是现代数据分析和信号处理的基石。它的数学本质是一个可逆的变换,在频域中从快速模式中分辨出慢模式。这种可逆变换可以通过设计的归一化流模型来学习。通过将广义提升方案作为耦合层、类似于下采样的因子输出层以及在模型的不同级别上共享参数,可以训练归一化流程以过滤不同级别上的高频元素,从而将传统的线性小波变换扩展到可学习的非线性深度学习模型。在本文中,提出了一种方法来建立这样的流,随着数值分析的学习转换。然后,我们证明了该模型的图像无损压缩的能力,显示它可以实现SOTA压缩分数,同时实现了一个小的模型大小,大量的泛化能力,并能够处理高维数据。
2022-01-27 cs.AI cs.CV cs.LG
Uncertainty quantification in medical image segmentation with normalizing flows
University of Copenhagen(哥本哈根大学);Cerebriu A/S
由于诸如部分体积和解剖定义的变化等因素,医学图像分割本质上是一项模糊的任务。虽然在大多数情况下,分割的不确定性是围绕感兴趣的结构的边界,也可以有相当大的评分者之间的差异。条件变分自编码器(cVAE)类提供了一种原则性的方法来推断以输入图像为条件的合理分割的分布。从这样的分布的样本估计的分割不确定性可以比使用像素级概率分数更有信息性。在这项工作中,我们提出了一种新的条件生成模型,是基于条件规范化流(cFlow)。基本思想是通过在编码器之后引入cFlow变换步骤来增加cVAE的表达能力。这产生了潜在的后验分布的改进的近似,允许模型捕获更丰富的分割变化。通过这一点,我们表明,从我们的条件生成模型获得的样本的质量和多样性得到了增强。我们的模型,我们称之为cFlow Net的性能进行了评估,在两个医学成像数据集上,与最近的基于cVAE的模型相比,在定性和定量测量方面都有了实质性的改善。
2020-08-04 cs.CV cs.LG stat.ML
Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学);AITHYRA;HEC Montréal(蒙特利尔HEC)
针对玻尔兹曼生成器中归一化流最大似然训练不稳定、计算成本高的问题,提出基于回归的RegFlow训练方法,采用最优输运耦合或预训练流构造目标,结合前向后向自洽损失提升稳定性,在分子构象采样任务上优于传统方法。
2025-10-30 cs.AI cs.LG stat.ML
Quantum Dynamics via Score Matching on Bohmian Trajectories
Beijing National Laboratory for Condensed Matter Physics(北京凝聚态物理实验室);Institute of Physics, Chinese Academy of Sciences, Beijing 100190, China(中国科学院物理研究所,北京100190,中国)
本文通过学习Bohm轨迹上的分数函数,求解时间依赖的薛定谔方程,展示了基于分数驱动的归一化流框架在量子动力学中的应用。
2026-04-28 cs.LG physics.chem-ph physics.comp-ph
Adversarial score matching and improved sampling for image generation
University of Montreal(蒙特利尔大学);Microsoft Research Lab(微软研究院实验室)
去噪得分匹配与退火Langevin采样(DSM-ALS)最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数,然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服,但在Fréchet Inception Distance(生成模型的标准度量)下,这种方法的表现似乎比生成对抗网络(GANs)更差。我们表明,这种明显的差距消失时,使用分数网络去噪的最终Langevin样本。此外,我们提出了对DSM-ALS的两项改进:1)一致退火采样作为退火Langevin采样的更稳定的替代方案,以及2)混合训练公式,由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构,我们提升了分数匹配方法,并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);NVIDIA(英伟达)
本文提出潜在目标分数匹配方法,通过利用联合分数降低方差,提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Simplifying Flow Matching Transformations with Low-Rank Mixture Models
Stanford Intelligent Systems Laboratory in the Department of Aeronautics and Astronautics at Stanford University(斯坦福大学航空航天系智能系统实验室);Industrial and Systems Engineering Department at King Fahd University of Petroleum and Minerals(科威特石油矿物大学工业与系统工程系)
提出用概率主成分分析混合模型作为归一化流的潜变量密度,通过KL散度对齐数据分布,简化流变换,加速训练并提升生成质量。
2026-06-29 cs.LG
Variations and Relaxations of Normalizing Flows
New York University(纽约大学)
本综述探讨了结合 VAEs 和 score-based diffusion 等方法来放宽 Normalizing Flows 严格双射性约束的研究,以解决其维度限制和质量泄漏问题,从而在表达能力、训练速度、样本效率和似然 tractability 间取得平衡。
2023-09-08 cs.AI cs.LG
IL-flOw: Imitation Learning from Observation using Normalizing Flows
McGill University(麦吉尔大学)
我们提出了一个算法,逆强化学习(IRL)从专家状态观察。我们的方法将奖励建模与策略学习相结合,这与最先进的对抗方法不同,后者需要在策略搜索期间更新奖励模型,并且已知是不稳定的,难以优化。我们的方法IL-flOw通过对状态-状态转换进行建模来恢复专家策略,通过使用在演示轨迹上训练的深度密度估计器来生成奖励,避免了对抗方法的不稳定问题。我们证明,使用状态转移对数概率密度作为前向强化学习的奖励信号可以转化为匹配专家演示的轨迹分布,并通过实验显示出真实奖励信号的良好恢复以及运动观察和机器人连续控制任务模仿的最新结果。
2022-05-19 cs.AI cs.LG cs.RO
Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm
AIR & CST, Tsinghua University(人工智能研究院与计算科学与技术系,清华大学)
本文指出用去噪分数匹配优化扩散模型条件输入会打破其与精确分数匹配的等价性,产生偏向更高分数范数的偏差,该偏差也存在于预训练扩散模型优化数据分布场景中,还会影响多个跨领域相关工作。
2025-11-13 cs.CV cs.LG
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心);University of California Berkeley(加州大学伯克利分校);Berkeley AI Research(伯克利人工智能研究院);Helen Wills Neuroscience Institute(海伦·威尔斯神经科学研究所)
基于能量的模型(EBM)将非归一化对数概率分配给数据样本。该功能具有多种应用,例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢,因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地,去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本,这些模型学习速度快,并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而,这种模型在高维数据的高质量样本合成中的演示缺乏。最近,\citet{song2019generative}已经表明,通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时,可以实现出色的样本合成。在这里,我们提供的分析和经验证据表明,当数据维度很高时,使用多个噪声水平进行训练是必要的。利用这一洞察力,我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术(如GANs)相当的数据生成性能,并为EBM设定了新的基线。该模型还提供了密度信息,并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University(莫纳什大学);Amazon(亚马逊)
该研究指出去噪得分匹配(DSM)存在固有的异方差性,推导了理想加权函数并给出实用近似方案,为各向同性高斯扩散的启发式权重提供了理论依据,在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
FMMI: Flow Matching Mutual Information Estimation
Applied AI Institute(应用人工智能研究所);Institute of Numerical Mathematics, RAS(俄罗斯科学院数值数学研究所);National Research Nuclear University MEPhI(国立研究型核大学MEPhI(莫斯科工程物理学院))
FMMI通过学习归一化流来估计互信息,提供了一种高效且精确的MI估计方法,适用于高维数据和广泛的真实MI值范围。
2026-02-09 cs.IT cs.LG math.IT
A Variational Perspective on Diffusion-Based Generative Models and Score Matching
University of Montreal(蒙特利尔大学);Mila(米拉)
基于离散时间扩散的生成模型和分数匹配方法在高维图像数据建模方面显示出了良好的效果。最近,Song等人(2021)表明,将数据转换为噪声的扩散过程可以通过学习得分函数(即扰动数据的对数密度的梯度)来逆转。他们建议将学习的得分函数插入到逆公式中,以定义生成扩散过程。尽管在经验上取得了成功,但这一程序仍然缺乏理论基础。在这项工作中,我们直接接近(连续时间)生成扩散,并推导出一个变分框架的似然估计,其中包括连续时间规范化流作为一个特殊情况下,可以看作是一个无限深的变分自编码器。在这个框架下,我们证明了最小化分数匹配损失相当于最大化Song等人(2021)提出的插入式反向搜索的可能性下限,弥合了理论差距。
2021-09-30 cs.LG
FANFOLD: Graph Normalizing Flows-driven Asymmetric Network for Unsupervised Graph-Level Anomaly Detection
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出 FANFOLD,通过在图级异常检测中结合知识蒸馏与归一化流构建非对称网络,以源-目标损失计算异常分数,并在15个数据集上验证其优越性。
2024-06-29 cs.AI cs.LG
Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
LY Corporation(LY公司);Sakana AI;University of Tsukuba(筑波大学)
本文提出结合 Stein 恒等式的局部曲率平滑分数匹配方法 LCSS,以避免高代价 Jacobian 迹计算,并在多项图像生成指标及 1024×1024 高分辨率生成中验证其效果。
2024-12-06 cs.CV cs.LG