A Novel Framework Using Variational Inference with Normalizing Flows to Train Transport Reversible Jump Proposals
Department of Statistics and Data Science, Southern University of Science and Technology, Shenzhen, Guangdong, China（统计与数据科学系，南方科技大学，深圳，广东，中国）
本文提出一种基于变分推断与规范化流的新型框架，用于高效训练可逆跳跃提案，提升跨维贝叶斯推断效率。
2026-02-02 cs.LG stat.ML
Quantum Normalizing Flows for Anomaly Detection
Institute for Information Processing (tnt/L3S), Leibniz Universität Hannover（汉诺威莱布尼茨大学信息处理研究所（tnt/L3S））
本文提出量子归一化流用于异常检测，通过双射映射学习数据分布，在示例数据集上达到与经典方法（如孤立森林、LOF、单类SVM）相当的竞争力。
2024-07-22 cs.LG quant-ph
Building Normalizing Flows with Stochastic Interpolants
Center for Cosmology and Particle Physics（宇宙学与粒子物理中心）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
提出了一种基于任意一对基概率密度和目标概率密度之间的连续时间归一化流的生成模型。该流的速度场是从在有限时间内在基底和目标之间插值的随时间变化的密度的概率流推断的。与传统的归一化流推断方法的基础上的最大似然原理，这需要昂贵的反向传播通过ODE求解器，我们的插值方法导致一个简单的二次损失的速度本身表示的期望，很容易服从经验估计。该流可用于从基础或目标生成样本，并估计沿插值的任何时间的可能性。此外，可以优化流以最小化插值密度的路径长度，从而为构建最优运输地图铺平道路。在基地是一个高斯密度的情况下，我们还表明，我们的归一化流的速度也可以用来构建一个扩散模型采样的目标，以及估计其得分。然而，我们的方法表明，我们可以完全绕过这种扩散和工作的概率流的水平更简单，开辟了一条途径的方法完全基于常微分方程作为替代那些基于随机微分方程。对密度估计任务的基准测试表明，学习流可以以一小部分成本匹配并超过传统的连续流，并且与CIFAR-10和ImageNet $32\times32$上的图像生成扩散进行了很好的比较。该方法的规模从头算ODE流以前无法达到的图像分辨率，证明了$128\times128$。
2023-03-09 cs.LG stat.ML
Stochastic Normalizing Flows
Tongji University（同济大学）；FU Berlin（柏林自由大学）
在机器学习和统计力学中，指定为归一化常数的概率分布的采样是一个重要的问题。虽然经典的随机抽样方法，如马尔可夫链蒙特卡罗（MCMC）或朗之万动力学（LD）可能会受到缓慢的混合时间，有越来越多的兴趣使用规范化流，以了解一个简单的先验分布的转换到给定的目标分布。在这里，我们提出了一种广义的和组合的方法来采样目标密度：随机归一化流（SNF）-确定性可逆函数和随机采样块的任意序列。我们发现，随机性克服了可逆性约束导致的归一化流的表达性限制，而采样步骤之间的可训练变换提高了纯MCMC/LD沿流的效率。通过调用非平衡统计力学的思想，我们推导出一个有效的训练过程，通过该过程，采样器和流的参数都可以端到端进行优化，并且通过该过程，我们可以计算精确的重要性权重，而不必边缘化随机块的随机性。我们说明了代表性的权力，抽样效率和渐近正确性的SNFs在几个基准，包括应用到采样分子系统的平衡。
2020-10-26 cs.LG physics.chem-ph physics.data-an
Normalizing Flows for Conformal Regression
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文提出通过训练归一化流学习优化距离度量，以局部化保形预测区间，提高效率，并兼容现有自适应策略。
2024-06-26 cs.LG math.PR stat.ML
WaveNODE: A Continuous Normalizing Flow for Speech Synthesis
Seoul National University（首尔大学）
近年来，已经提出了各种基于流的生成模型来实时生成高保真波形。然而，这些模型要么需要一个训练有素的教师网络，要么需要大量的流程步骤，这使得它们的内存效率很低。在本文中，我们提出了一种新的生成模型称为WaveNODE利用连续规范化流的语音合成。与传统模型不同，WaveNODE对用于流操作的函数没有限制，因此允许使用更灵活和复杂的函数。此外，可以优化WaveNODE以最大化可能性，而不需要任何教师网络或辅助损失项。我们的实验表明，WaveNODE实现了与传统的基于流的声码器相比，具有更少的参数相当的性能。
2020-07-02 cs.CL cs.LG cs.SD
Designing losses for data-free training of normalizing flows on Boltzmann distributions
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
最近已经通过归一化流实现了在高维中生成玻尔兹曼分布，这使得能够快速准确地计算所生成的密度，从而无偏地估计期望。然而，当前的实现依赖于准确的训练数据，其通常来自计算上昂贵的模拟。因此，存在通过仅依赖于目标密度来训练具有不完整数据或没有数据的模型的明显动机，目标密度可以从物理能量模型（直到常数因子）获得。为此，我们分析了基于Kullback-Leibler分歧的标准损失的性质。我们展示了他们的局限性，特别是一个强大的倾向模式坍塌在高维分布优化。然后，我们提出了策略，以减轻这些问题，最重要的是一个新的损失函数良好的理论基础和适当的优化性能。作为一个基准的3D分子构型的生成，我们在几个任务上显示，第一次，不完美的预训练模型可以在没有训练数据的情况下进一步优化。
2023-01-13 cond-mat.stat-mech cs.LG
Parallel Backpropagation for Inverse of a Convolution with Application to Normalizing Flows
IIIT Hyderabad（印度理工学院海得拉巴分校）
本文针对归一化流中卷积求逆反向传播计算复杂度高的问题，提出运行时间为 $O(\sqrt{n})$ 的并行反向传播算法及 GPU 实现，并将卷积求逆用于前向过程以加速采样，构建的 Inverse-Flow 模型在标准数据集上以相近的每维比特数显著缩短了采样时间。
2025-03-12 cs.CV cs.LG cs.MM
IL-flOw: Imitation Learning from Observation using Normalizing Flows
McGill University（麦吉尔大学）
我们提出了一个算法，逆强化学习（IRL）从专家状态观察。我们的方法将奖励建模与策略学习相结合，这与最先进的对抗方法不同，后者需要在策略搜索期间更新奖励模型，并且已知是不稳定的，难以优化。我们的方法IL-flOw通过对状态-状态转换进行建模来恢复专家策略，通过使用在演示轨迹上训练的深度密度估计器来生成奖励，避免了对抗方法的不稳定问题。我们证明，使用状态转移对数概率密度作为前向强化学习的奖励信号可以转化为匹配专家演示的轨迹分布，并通过实验显示出真实奖励信号的良好恢复以及运动观察和机器人连续控制任务模仿的最新结果。
2022-05-19 cs.AI cs.LG cs.RO
Computing excited states of molecules using normalizing flows
Center for Free-Electron Laser Science CFEL, Deutsches Elektronen-Synchrotron DESY（自由电子激光科学中心 CFEL，德意志电子同步辐射研究中心）；Department of Chemistry, Universität Hamburg（汉堡大学化学系）；Center for Ultrafast Imaging, Universität Hamburg（超快成像中心，汉堡大学）；Department of Physics, Universität Hamburg（汉堡大学物理系）；Department of Mathematics, Universität Hamburg（汉堡大学数学系）
针对高激发离域分子振动态计算依赖坐标选择的难题，提出基于归一化流学习最优振动坐标的新方法，提升了能谱精度与基组收敛性，且坐标可跨基组截断迁移，适用于高维系统振动光谱计算。
2025-05-16 cs.LG physics.chem-ph
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows
LAMSADE, CNRS（法国国家科学研究中心LAMSADE实验室）；Université Paris-Dauphine-PSL（巴黎第九大学（巴黎多菲纳大学））
提出 PR-divergences 训练框架，将用户指定的精确率-召回率权衡转化为 $f$-散度最小化，并提升 BigGAN 在 ImageNet 上的精确率或召回率。
2023-11-01 cs.LG
Comparing normalizing flows and diffusion models for prosody and acoustic modelling in text-to-speech
Amazon TTS Research（亚马逊语音合成研究部）
本文比较了文本转语音中基于 L1/L2 损失的传统方法与 Normalizing Flows 和 Diffusion 模型在韵律和 mel-spectrogram 预测上的表现，发现流模型在频谱图预测上最优，且流与扩散韵律预测器均显著优于 L2 模型。
2023-07-31 cs.CL cs.LG eess.AS
A Theoretical Framework for an Efficient Normalizing Flow-Based Solution to the Electronic Schrodinger Equation
Technion - Israel Institute of Technology（以色列理工学院）
针对变分蒙特卡洛中采样效率低的问题，提出基于行列式点过程基础分布和置换群子群等变流层的归一化流拟设，可高效采样且满足量子力学性质，为求解电子薛定谔方程提供高效理论框架。
2025-01-19 cs.CE cs.LG physics.chem-ph
MixFlows: principled variational inference via mixed flows
University of British Columbia（不列颠哥伦比亚大学）
本文提出混合变分流（MixFlows），通过重复应用映射构建新变分族，提供高效采样与无偏ELBO估计，具备类似MCMC的收敛保证，实验证明其后验近似更可靠且样本质量媲美先进MCMC。
2025-06-02 cs.LG stat.CO stat.ML
Canonical normalizing flows for manifold learning
ETH Zürich（苏黎世联邦理工学院）
提出一种规范流形学习流方法，通过最小化非对角流形度量元素的 $\ell_1$-范数来学习稀疏且正交的规范内在基，从而实现更紧凑的潜在空间表示并提升目标分布的近似效果。
2025-03-05 cs.LG math.DG stat.CO
AdaCat: Adaptive Categorical Discretization for Autoregressive Models
University of California Berkeley（加州大学伯克利分校）
自回归生成模型可以估计复杂的连续数据分布，如RL环境中的轨迹展开，图像强度和音频。大多数最先进的模型将连续数据离散化到几个箱中，并使用箱上的分类分布来近似连续数据分布。其优点是分类分布可以很容易地表达多个模式，并且可以直接优化。然而，这样的近似不能表达密度的急剧变化，而不使用更多的箱，使其参数效率低下。我们提出了一种高效的，富有表现力的，多模态参数化称为自适应分类离散化（AdaCat）。AdaCat自适应地离散自回归模型的每个维度，这允许模型将密度分配到感兴趣的精细区间，从而提高参数效率。AdaCat可以推广分类回归和基于分位数的回归。AdaCat是任何基于离散化的分布估计器的简单插件。在实验中，AdaCat改进了真实世界表格数据、图像、音频和轨迹的密度估计，并改进了基于模型的离线RL的规划。
2022-08-03 cs.AI cs.LG stat.ML
Flow Perturbation++: Multi-Step Unbiased Jacobian Estimation for High-Dimensional Boltzmann Sampling
State Key Laboratory of Information Photonics（信息光子学与光通信国家重点实验室）；Optical Communications, Beijing University of Posts（光通信，北京邮电大学）；School of Physical Science（物理科学学院）；Technology, Beijing University of Posts（技术学院，北京邮电大学）
流扰动++通过离散化概率流ODE实现多步无偏雅可比估计，提升高维玻尔兹曼采样的效率与稳定性。
2026-01-29 cs.LG
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Maximum Likelihood Training of Score-Based Diffusion Models
Stanford University（斯坦福大学）；University of Edinburgh（爱丁堡大学）
基于分数的扩散模型通过反转将数据扩散为噪声的随机过程来合成样本，并且通过最小化分数匹配损失的加权组合来训练。基于分数的扩散模型的对数似然可以通过与连续归一化流的连接来可追踪地计算，但是对数似然不能通过分数匹配损失的加权组合来直接优化。我们表明，对于一个特定的加权方案，客观上界的负对数似然，从而使近似极大似然训练的分数为基础的扩散模型。我们根据经验观察到，极大似然训练一致地提高了基于分数的扩散模型在多个数据集、随机过程和模型架构中的似然性。我们最好的模型在CIFAR-10和ImageNet 32 x32上实现了2.83和3.76 bits/dim的负对数似然，而没有任何数据增强，与这些任务中最先进的自回归模型相当。
2021-10-21 cs.LG stat.ML
Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions
University of Amsterdam（阿姆斯特丹大学）；Technical University of Denmark（丹麦技术大学）
生成流和扩散模型主要是在有序数据上训练的，例如自然图像。本文介绍了两个扩展的流和扩散的分类数据，如语言或图像分割：Argmax流和多项式扩散。Argmax流由连续分布（如归一化流）和argmax函数的组合定义。为了优化这个模型，我们学习了argmax的概率逆，将分类数据提升到连续空间。多项式扩散在扩散过程中逐渐添加分类噪声，为此学习生成去噪过程。我们证明，我们的方法优于现有的去量化方法的文本建模和建模图像分割图的对数似然。
2021-10-22 cs.CL cs.LG stat.ML
CInC Flow: Characterizable Invertible 3x3 Convolution
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；École Normale Supérieure (ENS) Paris-Saclay（巴黎萨克雷高等师范学院）
规范化流是生成建模的GANs的重要替代方案，可以直接在数据集的最大似然上进行优化。它们还允许计算对应于图像的确切的潜在向量，因为它们由可逆变换组成。然而，对变换可逆性的要求阻止了标准的和表达性的神经网络模型，例如CNN被直接使用。提出了涌现卷积，以使用一对掩蔽的CNN层来构造可逆的3 $\times$ 3 CNN层，这使得它们效率低下。我们研究的条件，使3 $\times$ 3 CNN是可逆的，使他们能够构建表达规范化流。我们推导出填充CNN可逆的充分必要条件。我们的可逆性条件很简单，在训练过程中很容易保持。由于我们只需要一个单一的CNN层为每个有效的可逆CNN层，我们的方法比新兴的卷积更有效。我们还提出了一种耦合方法，四耦合。我们对我们的方法进行了基准测试，并显示出与紧急卷积相似的性能结果，同时提高了模型的效率。
2021-07-03 cs.AI cs.CV cs.LG
Self-supervised In-context Operator Learning for Stochastic Mean-Field Control
Purdue University（普渡大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出首个无网格自监督神经算子NFIST，通过结合概率流ODE与可逆归一化流Transformer解决随机平均场控制问题，可实现未见任务的一次前向求解，在多任务上展现零样本泛化并降低计算成本。
2026-08-20 cs.LG cs.SY eess.SY
NAE: Normalizing AutoEncoder
该研究针对流自编码器的训练损失次优问题，提出归一化自编码器（NAE），采用条件损失对齐梯度，在多类基准任务上实现了最先进的生成性能。
2026-08-13 cs.LG
Towards Flexibility and Interpretability of Gaussian Process State-Space Model
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Future Network of Intelligence Institute（未来网络智能研究院）；Universidad Autónoma de Madrid（马德里自治大学）；Cognizant AI（高知特人工智能）
针对标准GPSSM因初步核函数导致表示能力受限的问题，提出TGPSSM模型，利用参数化normalizing flow丰富GP先验，并结合可扩展变分推断与约束优化算法，提升了模型的灵活性、可解释性与推断性能。
2023-04-06 cs.LG eess.SP
Relaxed Quantization for Discretized Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（TNO智能成像）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm（高通）
神经网络量化由于其对在资源受限的设备上部署大型模型的巨大影响而成为一个重要的研究领域。为了训练网络，可以有效地离散化而不损失性能，我们引入了可微量化过程。可微性可以通过将网络的权重和激活上的连续分布转换为量化网格上的分类分布来实现。这些随后被放松到连续的替代，可以允许有效的基于梯度的优化。我们进一步表明，随机舍入可以被看作是一个特殊的情况下，所提出的方法，根据这种提法的量化网格本身也可以优化与梯度下降。我们通过实验验证了我们的方法在MNIST，CIFAR 10和Imagenet分类上的性能。
2018-10-03 cs.LG stat.ML
Training Invertible Linear Layers through Rank-One Perturbations
Freie Universität Berlin（柏林自由大学）；Rice University（莱斯大学）
许多类型的神经网络层依赖于矩阵属性，例如可逆性或正交性。在使用基于梯度的随机优化器进行优化的过程中保持这些属性是一项具有挑战性的任务，通常通过重新参数化受影响的参数或直接在流形上进行优化来解决。这项工作提出了一种新的方法来训练可逆线性层。代替直接优化网络参数，我们训练秩一扰动，并将它们添加到实际的权重矩阵很少。此P $^{4}$ Inv更新允许跟踪逆和行列式，而无需显式计算它们。我们展示了如何这样的可逆块改善混合，从而得到的归一化流的模式分离。此外，我们概述了如何P $^4$的概念可以用来保留其他属性的可逆性。
2020-12-01 cs.LG math.OC physics.chem-ph
DFM: Interpolant-free Dual Flow Matching
Panasonic AI Lab（松下人工智能实验室）；Panasonic Holdings Corporation（松下控股公司）
针对连续正则化流求解ODE计算代价高且依赖插值的问题，提出无插值的对偶流匹配方法，通过联合优化前向与反向向量场促进双射性，在SMAP无监督异常检测中取得SOTA性能。
2024-10-11 cs.AI cs.LG stat.ML
Optimizing Retinal Prosthetic Stimuli with Conditional Invertible Neural Networks
Institute of Imaging & Computer Vision, RWTH Aachen University（亚琛工业大学成像与计算机视觉研究所）；Department of Ophthalmology, RWTH Aachen University（亚琛工业大学眼科系）
针对视网膜假体刺激受电极分辨率和细胞特异性限制效果不佳的问题，提出用基于归一化流的条件可逆神经网络以无监督方式优化刺激，在仿真测试中多项指标的视觉重建质量优于对比方法。
2024-07-15 cs.CV cs.LG
PIVONet: A Physically-Informed Variational Neuro ODE Model for Efficient Advection-Diffusion Fluid Simulation
Division of Engineering Science University of Toronto（工程科学系 马他大学）
PIVONet结合神经ODE与连续归一化流，通过变分方法实现高效且能捕捉湍流的流体模拟。
2026-01-06 cs.CE cs.LG
ODE$_t$(ODE$_l$): Shortcutting the Time and the Length in Diffusion and Flow Models for Faster Sampling
Panasonic AI Lab（松下人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Panasonic DX-CPS（松下DX-CPS）
针对扩散与流模型采样计算复杂度高的问题，提出ODE$_t$(ODE$_l$)方法，通过架构重布线与长度一致性训练实现任意时间步、网络块数采样，可降延迟减内存，生成性能更优。
2025-11-18 cs.CV cs.LG
VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation
Google Research, Brain Team（谷歌研究院大脑团队）
原则上，可以建模和预测未来事件序列的生成模型可以学习捕获复杂的现实世界现象，例如物理交互。然而，视频预测的一个核心挑战是未来是高度不确定的：过去对事件的一系列观察可能意味着许多可能的未来。虽然最近的一些作品已经研究了概率模型，可以代表不确定的未来，这样的模型要么是非常昂贵的计算像素级自回归模型的情况下，或不直接优化数据的可能性。据我们所知，我们的工作是第一个提出多帧视频预测与规范化流，它允许直接优化的数据可能性，并产生高质量的随机预测。我们描述了一种建模的潜在空间动态的方法，并证明了基于流的生成模型提供了一个可行的和有竞争力的方法生成建模的视频。
2020-02-12 cs.AI cs.CV cs.LG
Multi-Lattice Sampling of Quantum Field Theories via Neural Operator-based Flows
University of Geneva（日内瓦大学）
针对从玻尔兹曼分布采样格点场构型的问题，提出基于神经算子的时间依赖流，通过离散化为向量场诱导连续归一化流，在二维$ϕ^4$理论验证其对未训练格点的泛化性，且小格点预训练可加速目标格点训练。
2024-11-07 cs.LG hep-lat stat.ML
Maximum Entropy Reinforcement Learning via Energy-Based Normalizing Flow
National Tsing Hua University（国立清华大学）；NVIDIA Corporation（英伟达公司）
本文提出 EBFlow 框架，用基于能量的归一化流统一 MaxEnt RL 的策略评估与改进，实现无 Monte Carlo 的 soft 价值计算、多模态动作建模和高效采样，并在 MuJoCo 与 Isaac Gym 任务中优于基线。
2024-10-26 cs.LG
Training Neural ODEs Using Fully Discretized Simultaneous Optimization
Department of Computing, Imperial College London（帝国理工学院计算系）
针对神经常微分方程训练计算成本高的问题，提出基于配点法的完全离散化联立优化方案，结合IPOPT求解器及ADMM分解框架，经Van der Pol振子验证收敛更快，为高效训练提供新路径。
2025-02-21 cs.LG math.OC
Sequential-in-time training of nonlinear parametrizations for solving time-dependent partial differential equations
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文将时间序列训练方法统一为OtD和DtO两类数值分析方案，借此建立新的稳定性与后验误差分析，揭示切空间坍缩等过拟合现象，并阐明自然梯度下降与OtD方案的联系。
2024-04-01 cs.LG cs.NA math.NA
Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling
Sandia National Labs（沙伊国家实验室）
本研究针对连续时间深度学习模型训练时变权重的难题，提出基于多项式基的低维权重参数化策略，实验证明勒让德多项式基可在模型表达性与训练效率间实现良好权衡。
2025-07-29 cs.LG math.OC
Zero-Shot Size Transfer for Neural ODEs on Sparse Random Graphs: Graphon Limits and Adjoint Convergence
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
针对稀疏随机图上的图神经微分方程，理论证明了零样本尺寸迁移原则，建立了前向与伴随系统的收敛率，并验证了离散-优化与优化-离散训练的一致性。
2026-06-26 cs.AI cs.LG cs.NA
