Probabilistically Plausible Counterfactual Explanations with Normalizing Flows
Wrocław University of Science and Technology（沃拉布大学科学与技术学院）；Poznań University of Technology（波兹南技术大学）
PPCEF通过结合归一化流和概率优化，生成高维表格中高质量且概率合理的反事实解释，提升模型解释性和AI系统公平性。
2024-08-07 cs.AI cs.LG stat.ME
A deep generative model for probabilistic energy forecasting in power systems: normalizing flows
Liège University（列日大学）；Mines ParisTech（巴黎高等矿业学院）
最终用途部门的直接电气化以及可再生能源的更高份额是到2050年实现碳中和社会的支柱之一。然而，与传统发电厂相比，可再生能源受到不确定性的影响，这对它们与电力系统的相互作用提出了挑战。基于情景的概率预测模型已成为装备决策者的重要工具。本文向电力系统预测从业者介绍了一种最新的深度学习技术，即归一化流，以产生准确的基于马尔可夫链的概率预测，这对于面对电力系统应用中的新挑战至关重要。该技术的优势在于通过最大化可能性来直接学习底层过程的随机多变量分布。通过使用2014年全球能源预测竞赛的开放数据进行全面的实证评估，我们证明了这种方法与其他最先进的深度学习生成模型具有竞争力：生成对抗网络和变分自编码器。通过考虑使用几个补充指标的能源零售商和质量的案例研究，在预测值方面适当地比较了基于天气的风能，太阳能和负荷情景的模型。数值实验简单，易于重现。因此，我们希望它将鼓励其他预测从业者在电力系统应用中测试和使用归一化流，例如电力市场上的投标，调度具有高可再生能源渗透率的电力系统，虚拟电力计划或微电网的能源管理，以及机组承诺。
2021-09-21 cs.LG cs.SY eess.SY
TabResFlow: A Normalizing Spline Flow Model for Probabilistic Univariate Tabular Regression
Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim（信息系统与机器学习实验室（ISMLL）、希尔德斯海姆大学）；VWFS Data Analytics Research Center（VWFS数据分析研究中心）
针对表格回归中点估计过度自信、传统概率模型假设固定分布的局限，提出专为单变量表格回归设计的TabResFlow归一化样条流模型，在9个基准数据集上似然得分超现有模型，推理速度更快，且在真实任务中AURC指标表现更优。
2025-08-23 cs.AI cs.LG
Wavelet Flow: Fast Training of High Resolution Normalizing Flows
York University（约克大学）；Borealis AI（北极光人工智能）；Ryerson University（瑞尔森大学）；Samsung AI Centre Toronto（三星人工智能中心多伦多分部）；Vector Institute（向量研究所）
规范化流是一类概率生成模型，它允许快速密度计算和有效采样，并且在模拟图像等复杂分布时有效。当前方法的一个缺点是其显著的训练成本，有时需要数月的GPU训练时间才能实现最先进的结果。本文介绍了小波流，一个多尺度，规范化的流架构的基础上小波。小波流具有信号尺度的显式表示，其固有地包括较低分辨率信号的模型和较高分辨率信号的条件生成，即，超分辨率。小波流的一个主要优点是能够为高分辨率数据构建生成模型（例如，1024 x 1024图像），这是不切实际的与以前的模型。此外，在标准（低分辨率）基准测试中，Wavelet Flow在每维比特数方面与之前的归一化流具有竞争力，同时训练速度最多快15倍。
2020-10-26 cs.CV cs.LG
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；NVIDIA（英伟达）
随着3D点云成为多种视觉和图形应用的首选表示，合成或重建高分辨率、高保真度点云的能力变得至关重要。尽管最近深度学习模型在点云的判别任务中取得了成功，但生成点云仍然具有挑战性。本文提出了一个原则性的概率框架，通过将它们建模为分布的分布来生成3D点云。具体来说，我们学习了一个两级分布层次结构，其中第一级是形状的分布，第二级是给定形状的点的分布。这个公式允许我们对形状进行采样，并从形状中采样任意数量的点。我们的生成模型名为PointFlow，它通过连续的归一化流来学习分布的每个级别。规范化流的可逆性使得在训练期间能够计算可能性，并且允许我们在变分推理框架中训练我们的模型。从经验上讲，我们证明了PointFlow在点云生成方面具有最先进的性能。我们还表明，我们的模型可以忠实地重建点云，并以无监督的方式学习有用的表示。该代码将在https://github.com/stevenygd/PointFlow上提供。
2019-09-02 cs.CV cs.LG
Graph-based Normalizing Flow for Human Motion Generation and Reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）
数据驱动的人体骨骼运动建模方法在交互式媒体和社交机器人中有着广泛的应用。在这些领域中，由于例如错过的标记检测，对于从不完美的输入数据生成高保真样本和鲁棒地重建运动仍然存在挑战。在本文中，我们提出了一个概率生成模型来合成和重建长时间的运动序列的条件下，过去的信息和控制信号，如个人移动的路径。我们的方法通过引入一个新的基于图的模型来适应现有的工作MoGlow。该模型利用时空图卷积网络（ST-GCN）有效地捕获多尺度下骨骼运动数据的空间结构和时间相关性。我们评估的模型上的混合物的动作捕捉数据集的人类运动与脚步和骨骼长度分析。结果表明，我们的模型在重建丢失的标记，并取得可比的结果，产生现实的未来构成的优势。当输入是不完美的，我们的模型表现出改进的鲁棒性的生成。
2021-04-07 cs.CV cs.LG
A Novel Application of Conditional Normalizing Flows: Stellar Age Inference with Gyrochronology
University of Toronto（多伦多大学）；Lafayette College（拉斐特学院）
针对低质量主序星年龄测量难题，提出将条件归一化流应用于陀螺年代学，基于疏散星团测光数据实现了与标准技术精度相当的年龄推断，验证了概率数据驱动方法拓展恒星定年适用性的潜力。
2023-07-17 astro-ph.EP astro-ph.IM astro-ph.SR
Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
提出深度学习框架，利用拉普拉斯近似和归一化流从OCO-2光谱中快速、准确地检索大气CO2浓度，并量化不确定性，相比传统方法加速数个数量级且精度更高。
2026-09-16 cs.LG stat.AP
Graphical Normalizing Flows
ULiège（列日大学）
规范化流通过将基本分布与一系列双射神经网络相结合来模拟复杂的概率分布。最先进的架构依赖于耦合和自回归变换来将可逆函数从标量提升到向量。在这项工作中，我们重新审视这些转换作为概率图形模型，显示它们减少到贝叶斯网络与预定义的拓扑结构和可学习的密度在每个节点。从这个新的角度来看，我们提出了图形规范化流，一个新的可逆变换，无论是规定的或可学习的图形结构。该模型提供了一种很有前途的方式注入领域知识的规范化流，同时保持贝叶斯网络的可解释性和规范化流的表示能力。我们发现，图形条件发现相关的图形结构时，我们不能hypothesize. In此外，我们分析的效果$\ell_1$ -惩罚上恢复的结构和质量的密度估计。最后，我们表明，图形条件导致有竞争力的白盒密度估计。我们的实现可以在https://github.com/AWehenkel/DAG-NF上获得。
2021-02-12 cs.LG stat.ML
TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression
Wrocław University of Science and Technology（沃拉夫大学科学与技术学院）
TreeFlow结合树集成与归一化流，实现对回归输出复杂分布的建模，取得多模态数据集上的SOTA结果。
2023-07-26 cs.LG
Positive Difference Distribution for Image Outlier Detection using Normalizing Flows and Contrastive Data
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Heidelberg（海德堡大学）
针对生成模型似然难以检测图像异常值的问题，本文利用无标签对比数据训练自监督特征与归一化流，提出等价于学习两类特征密度归一化正差的概率异常值得分，并在基准上验证其优于多种方法。
2023-04-26 cs.LG
Improving Aleatoric Uncertainty Quantification in Multi-Annotated Medical Image Segmentation with Normalizing Flows
Eindhoven University of Technology（埃因霍温理工大学）
量化医学图像分割应用中的不确定性是必不可少的，因为它通常与重要的决策有关。在量化图像分割架构中的不确定性方面已经做出了令人信服的尝试，例如，学习以输入图像为条件的密度分割模型。在这一领域的典型工作限制这些学习的密度是严格的高斯。在本文中，我们建议通过引入归一化流（NF）来使用更灵活的方法，这使得学习的密度更加复杂，并有助于对不确定性进行更准确的建模。我们通过采用ProbabilityU-Net并使用NF增强后验密度来证明这一假设，使其更具表达力。我们分别对多注释和单注释LIDC-IDRI和Kvasir-SEG分割数据集进行的定性和定量（GED和IoU）评估显示出明显的改进。这在任意不确定性的量化和高达14%的预测性能提高中最为明显。这一结果强烈表明，一个更灵活的密度模型，应认真考虑在架构，试图捕捉分割模糊通过密度建模。这种改进的建模的好处将增加人们对注释和分割的信心，并使该技术在实践中得到广泛采用。
2021-08-05 cs.CV cs.LG
Variational Autoencoder with Normalizing flow for X-ray spectral fitting
Department of Physics & Astronomy University of Southampton（物理与天文学系 英国南安普顿大学）；Laboratoire d’astrophysique EPFL（天体物理学实验室 EPFL）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密松天体物理中心）
本文提出一种基于变分自编码器和归一化流的模型，用于高效X射线光谱拟合，实现快速且精确的光谱重建。
2026-01-12 cs.LG
Pseudo-Rehearsal for Continual Learning with Normalizing Flows
Sapienza University of Rome（罗马第一大学）
每当神经网络在接受新任务训练时覆盖过去的知识时，就会发生灾难性遗忘（CF）。处理CF的常见技术包括权重的正则化（使用例如，它们对过去任务的重要性），以及排练策略，其中网络不断地根据过去的数据进行重新训练。生成模型也适用于后者，以便拥有无穷无尽的数据来源。在本文中，我们提出了一种新的方法，结合了正则化和基于生成的排练方法的优势。我们的生成模型包括一个归一化流（NF），一个概率和可逆的神经网络，在网络的内部嵌入上训练。通过保持一个单一的NF条件的任务，我们表明，我们的内存开销保持不变。此外，利用NF的可逆性，我们提出了一种简单的方法来正则化网络的嵌入相对于过去的任务。我们表明，我们的方法相对于文献中最先进的方法表现良好，具有有限的计算能力和内存开销。
2021-08-05 cs.CV cs.LG stat.ML
VQ-Flows: Vector Quantized Local Normalizing Flows
Verisk Analytics（Verisk分析公司）；University of Maryland, College Park（马里兰大学帕克分校）；Motive Technologies, Inc.（Motive科技公司）
规范化流为生成式建模提供了一种优雅的方法，可以对未知数据分布进行有效的采样和精确的密度评估。然而，目前的技术有显着的限制，在他们的表现力时，数据分布是支持低维流形或具有非平凡的拓扑结构。我们引入了一种新的统计框架，用于学习混合的本地归一化流作为数据流形上的“图表”。我们的框架增强了最近的方法的表达能力，同时保留了规范化流的签名属性，即它们允许精确的密度评估。我们通过矢量量化自动编码器（VQ-AE）和使用条件流的分布来学习数据流形的图表的合适的图集。我们通过实验验证，我们的概率框架使现有的方法更好地模拟复杂流形上的数据分布。
2022-06-18 cs.AI cs.LG stat.ML
Embedded-model flows: Combining the inductive biases of model-free deep learning and explicit probabilistic modeling
OnePlanet Research Center（OnePlanet研究中心）；imec-the Netherlands（荷兰微电子研究中心（imec荷兰分部））；Google Research（谷歌研究院）；Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
规范化流作为通用密度估计器已经显示出巨大的成功。然而，许多现实世界的应用程序需要使用特定于领域的知识，规范化流不能很容易地将其合并。我们提出了嵌入式模型流（EMF），它交替通用转换与结构化层，嵌入特定领域的归纳偏见。这些层是通过将用户指定的可微概率模型转换为等效的双射变换来自动构建的。我们还引入了门控结构层，它允许绕过模型中无法捕获数据统计信息的部分。我们证明，电磁场可以用来诱导理想的属性，如多模态，层次耦合和连续性。此外，我们表明，电动势使一个高性能的变分推断的形式，在变分架构中嵌入的结构的先验模型。在我们的实验中，我们表明，这种方法优于国家的最先进的方法在常见的结构化推理问题。
2022-03-15 cs.LG stat.ML
How to Train Your Energy-Based Models
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
基于能量的模型（EBM），也称为非归一化概率模型，指定概率密度或质量函数，直到未知的归一化常数。与大多数其他概率模型不同，EBM不限制归一化常数的可处理性，因此对参数化更灵活，并且可以模拟更具表现力的概率分布族。然而，EBM的未知归一化常数使得训练特别困难。我们的目标是提供一个友好的介绍现代循证医学培训的方法。我们首先解释使用马尔可夫链蒙特卡罗（MCMC）的最大似然训练，然后详细说明无MCMC的方法，包括分数匹配（SM）和噪声压缩估计（NCE）。我们强调这三种方法之间的理论联系，并结束了一个简短的调查替代培训方法，这仍然是积极的研究。我们的教程针对的是对生成模型有基本了解的观众，他们希望应用EBM或在这个方向上开始研究项目。
2021-02-17 cs.LG stat.ML
Jacobian Determinant of Normalizing Flows
规范化流学习目标和基本分布之间的一个同构映射，而该映射的雅可比行列式形成另一个实值函数。本文证明了对于给定的分布，雅可比行列式映射是唯一的，因此流的似然目标具有唯一的全局最优解。特别地，一类流的似然性由单个数据点的自相关矩阵的特征值显式表示，与神经网络的参数化无关，它提供了似然性目标的理论最优值，并与概率PCA相关。此外，雅可比行列式是局部体积变化的度量，并且当MLE用于优化时被最大化。为了稳定规范化流训练，需要保持体积的膨胀和收缩之间的平衡，这意味着Lipschitz约束在非纯映射及其逆上。根据这些理论结果，提出了常化流程设计的若干原则。并在高维数据集（如CelebA-HQ 1024 × 1024）上进行了数值实验，以证明训练的稳定性得到了提高。
2021-02-17 cs.AI cs.LG stat.ML
Latent Reasoning with Normalizing Flows
University of Pennsylvania（宾夕法尼亚大学）；UC San Diego（圣地亚哥大学）；Meta
提出NF-CoT框架，通过归一化流在LLM内部建模连续潜在思维，保留自回归生成、概率采样、KV缓存解码和似然估计等优势，在代码生成任务中提升通过率并降低推理成本。
2026-06-04 cs.CL cs.LG
Multivariate Scenario Generation of Day-Ahead Electricity Prices using Normalizing Flows
Forschungszentrum Jülich GmbH（于利希研究中心）；University of Cologne（科隆大学）；Norwegian University of Life Sciences（挪威生命科学大学）；RWTH Aachen University（亚琛工业大学）
提出基于 normalizing flow 的日前电力价格概率预测方法，通过条件特征生成全天价格场景，并引入扩展特征集与周期性重训练以适应市场变化，生成高质量场景并实现准确预测。
2024-03-22 cs.LG
Normalizing Flows are Capable Models for Continuous Control
Department of Computer Science（计算机科学系）
本文提出一种归一化流架构，可无缝集成到强化学习算法中作为策略、Q函数和占用度量，在模仿学习、离线、目标条件和无监督RL中取得更高性能。
2026-06-26 cs.LG
Marginalization Consistent Probabilistic Forecasting of Irregular Time Series via Mixture of Separable flows
ISMLL University of Hildesheim（ISMLL海德堡大学）；Institute of Mathematics TU Berlin（柏林技术大学数学研究所）
针对不规则时间序列概率预测中的边缘化不一致问题，提出MOSES，用潜在Gaussian Processes混合与可分离归一化流实现可解析边缘化，在四个数据集上兼顾准确的联合与边缘预测。
2025-05-11 cs.LG
Multivariate Latent Recalibration for Conditional Normalizing Flows
Department of Computer Science, University of Mons（蒙斯大学计算机科学系）
针对多变量条件分布校准问题，提出潜在重校准方法，在条件归一化流潜在空间中学习变换，生成带显式密度且高效的重校准分布，实验证明其提升校准误差与负对数似然。
2025-10-24 cs.LG
Conditional Normalizing Flow Surrogate for Monte Carlo Prediction of Radiative Properties in Nanoparticle-Embedded Layers
Aalto University（阿尔托大学）
本文提出基于条件归一化流的概率代理模型，以蒙特卡洛与Mie理论数据训练，用于预测纳米颗粒散射介质的反射率、吸收率和透射率，兼具高精度与可靠不确定性量化能力。
2025-08-27 cs.LG physics.optics stat.ML
Bayesian Gaussian Process ODEs via Double Normalizing Flows
South China University of Technology（南方科技大学）；Tsinghua University（清华大学）；Xiamen University（厦门大学）；Columbia University（哥伦比亚大学）
针对标准GPODE表示复杂场景能力受限的问题，提出利用双重归一化流重参数化ODE向量场并优化后验推断，显著提升了模型准确性与不确定性估计能力。
2025-08-07 cs.LG stat.ML
Variational Mixture of Normalizing Flows
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
在过去的几年里，深度生成模型，如生成对抗网络\autocite{GAN}、变分自编码器\autocite{vaepaper}及其变体，已经被广泛用于复杂数据分布建模的任务。尽管这些早期的方法取得了出色的样本质量，但它们对目标分布\emph{implicitly}进行建模，因为它们诱导的概率密度函数无法明确获得。这一事实使得这些方法不适合需要例如用学习的分布对数据的新实例进行评分的任务。规范化流通过利用概率密度函数的变量变化公式，并通过使用设计为具有易处理且易于计算的雅可比矩阵的变换，克服了这一限制。虽然灵活，这个框架缺乏（直到最近\autocites{semisuplearning_nflows, RAD}）一种方法来引入离散结构（如在混合物中发现的）的模型，它允许构建，在无监督的情况下。本工作克服了这一点，通过使用归一化流作为混合模型中的组件，并为这样的模型设计了一个端到端的训练过程。该过程基于变分推断，并使用由神经网络参数化的变分后验。正如将变得清楚的那样，该模型自然地适用于（多模态）密度估计、半监督学习和聚类。该模型在两个合成数据集和一个真实数据集上进行了说明。关键词：深度生成模型，规范化流，变分推断，概率建模，混合模型。
2020-09-01 cs.LG stat.ML
Constructive conditional normalizing flows
本文提出通过连续方程的流来同时近似条件采样中的映射和其推动测度，利用感知机神经网络作为速度场，并提供基于极坐标分解的显式构造方法。
2026-05-12 cs.LG math.AP math.OC
Short-Term Density Forecasting of Low-Voltage Load using Bernstein-Polynomial Normalizing Flows
HTWG Konstanz - University of Applied Sciences（康斯坦茨应用科学大学HTWG）；TU Berlin（柏林工业大学）；Birds on Mars GmbH（火星上的鸟有限公司）；University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；Bosch.IO GmbH（博世物联网有限公司）
针对低压负荷预测波动性大、传统点估计难以体现不确定性的问题，提出基于Bernstein多项式归一化流的短期密度预测方法，经363个智能电表用户验证，效果优于多种基线方法。
2023-06-15 cs.LG stat.AP stat.ME
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Conditional Normalizing Flows for Active Learning of Coarse-Grained Molecular Representations
Institute of Nanotechnology, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院纳米技术研究所）；Institute of Theoretical Informatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院理论信息学研究所）
本文提出以粗粒化空间为条件的归一化流，并结合主动学习粗粒化模拟来缓解模式崩溃、高效学习分子 Boltzmann 分布，在丙氨酸二肽上实现最高约216.2倍加速。
2024-05-24 cs.AI cs.LG physics.chem-ph
Comparing normalizing flows and diffusion models for prosody and acoustic modelling in text-to-speech
Amazon TTS Research（亚马逊语音合成研究部）
本文比较了文本转语音中基于 L1/L2 损失的传统方法与 Normalizing Flows 和 Diffusion 模型在韵律和 mel-spectrogram 预测上的表现，发现流模型在频谱图预测上最优，且流与扩散韵律预测器均显著优于 L2 模型。
2023-07-31 cs.CL cs.LG eess.AS
Diffusion models for probabilistic programming
Swiss Data Science Center（瑞士数据科学中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出DMVI方法，利用扩散模型作为变分近似实现概率编程语言中的自动化近似推断，在保持相近计算成本和减少手动调优的同时，后验推断准确度优于现有方法。
2023-11-21 cs.LG stat.ML
Denoising diffusion probabilistic models for probabilistic energy forecasting
Uliege（列日大学）；Réseau de Transport d’Électricité (RTE)（法国输电网络公司）
针对能源预测中生成高质量间歇性可再生能源时间序列样本的需求，首次将去噪扩散概率模型应用于能源预测，经2014年全球能源预测竞赛数据验证，效果与前沿生成模型相当。
2023-04-06 cs.AI cs.LG
TrackFlow: Multi-Object Tracking with Normalizing Flows
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；GoatAI S.r.l.（GoatAI有限责任公司）；IIT-CNR（意大利国家研究委员会工业技术研究所）
针对多模态检测跟踪中多代价融合需调参、假设代价独立不符合实际的问题，提出TrackFlow方法，用归一化流建模正确关联的条件联合概率，以负对数似然作为关联代价，在模拟和真实基准上提升了多种检测跟踪算法的性能。
2023-08-22 cs.AI cs.CV cs.LG
A Deep Learning Approach to Probabilistic Forecasting of Weather
Argonne National Laboratory（阿贡国家实验室）
我们讨论了一种基于两个链式机器学习步骤的概率预测方法：降维步骤，以保留预测量信息的方式将预测信息的降维映射学习到低维空间;以及密度估计步骤，使用概率机器学习规范化流技术来计算减少的预测因子和预测量的联合概率密度。然后将该联合密度重新归一化以产生条件预测分布。在该方法中，概率校准测试扮演着正则化过程的角色，防止在第二步中过度拟合，而从第一步开始的有效降维是预测清晰度的来源。我们使用一个22年的1小时的节奏时间序列的天气研究和预报（WRF）模拟数据的地面风网格上的方法进行验证。
2022-03-24 cs.LG physics.ao-ph stat.ML
Delving into Discrete Normalizing Flows on SO(3) Manifold for Probabilistic Rotation Modeling
Peking University（北京大学）
本文提出一种结合Mobius变换耦合层与四元数仿射变换的SO(3)流形离散归一化流，有效解决了旋转概率建模中的分布表达问题，并在条件与无条件任务上显著优于基线。
2023-04-08 cs.CV
Learning Generative Models using Denoising Density Estimators
CSEM（瑞士电子与微技术中心）；University of Maryland（马里兰大学）；ETHZ（苏黎世联邦理工学院）
学习概率模型，可以估计给定样本集的密度，并从该密度生成样本，是无监督机器学习的基本挑战之一。我们引入了一个新的生成模型的基础上去噪密度估计（DDE），这是标量函数参数化的神经网络，有效地训练代表核密度估计的数据。利用DDE，我们的主要贡献是一种新的技术，通过直接最小化KL发散来获得生成模型。我们证明，我们的算法获得生成模型是保证收敛到正确的解决方案。我们的方法不需要特定的网络架构，在规范化流程，也不使用常微分方程求解器在连续规范化流程。实验结果表明，在生成模型训练中，密度估计和竞争性能有了很大的改善。
2020-06-09 cs.CV cs.LG stat.ML
RegFlow: Probabilistic Flow-based Regression for Future Prediction
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Tooploox；Jagiellonian University（雅盖隆大学）；Warsaw University of Technology（华沙理工大学）
预测给定系统的未来状态或动作仍然是智能的一个基本但尚未解决的挑战，特别是在复杂和非确定性场景的范围内，例如对人类行为进行建模。现有的方法提供的结果下，关于单峰的未来状态的强有力的假设，或者，充其量，假设特定的概率分布，往往不适合现实生活中的条件。在这项工作中，我们引入了一个强大而灵活的概率框架，允许模型未来的预测几乎没有约束的方式或潜在的概率分布。为了实现这一目标，我们利用超网络架构和训练连续规范化流模型。由此产生的方法被称为RegFlow，在几个基准数据集上实现了最先进的结果，显著优于竞争方法。
2020-11-30 cs.AI cs.LG stat.ML
Uncertainty-aware Multi-fidelity Closure via Conditional Normalizing Flows
Pacific Northwest National Laboratory（太平洋西北国家实验室）
提出基于条件归一化流的不确定性感知多保真度框架，通过学习低保真度到高保真度系数的概率映射，解决降阶模型中的闭合问题，在涡旋合并问题中验证了残差学习优于直接学习。
2026-08-24 cs.LG physics.comp-ph
Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows
Lancaster University（兰卡斯特大学）
本文提出马尔可夫流匹配方法，将 FM 训练的 CNF 作为非局部转移核嵌入自适应 MCMC，并结合回火机制，以更低计算成本实现多模态推断。
2024-10-28 cs.LG stat.ME stat.ML
Can denoising diffusion probabilistic models generate realistic astrophysical fields?
Harvard University（哈佛大学）
基于分数的生成模型已经成为生成对抗网络（GANs）的替代品，并对涉及学习和从复杂图像分布中采样的任务进行规范化。在这项工作中，我们调查的能力，这些模型产生的领域在两个天体物理背景下：暗物质质量密度场的宇宙学模拟和星际尘埃的图像。我们使用三种不同的度量标准来检查采样宇宙场相对于真实场的保真度，并确定要解决的潜在问题。我们展示了在灰尘上训练的模型在去噪灰尘图像中的概念验证应用。据我们所知，这是这类模型在星际介质中的首次应用。
2022-11-22 astro-ph.CO astro-ph.GA astro-ph.IM
Probabilistic Autoencoder
Berkeley Center for Cosmological Physics（伯克利宇宙物理中心）；University of California（加利福尼亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
主成分分析（PCA）最小化给定的一类线性模型的固定分量维数的重建误差。概率PCA通过学习PCA潜在空间权重的概率分布来添加概率结构，从而创建生成模型。自编码器（AE）在一类固定潜在空间维数的非线性模型中最小化重建误差，并在固定维数下优于PCA。在这里，我们介绍了概率自动编码器（PAE），它使用归一化流（NF）学习AE潜在空间权重的概率分布。PAE快速且易于训练，并且在下游任务中实现小的重建误差、高样本质量和良好的性能。我们比较PAE变分AE（VAE），表明PAE训练速度更快，达到较低的重建误差，并产生良好的样本质量，而不需要特殊的调整参数或训练过程。我们进一步证明了PAE是一个强大的模型，用于在修复和去噪应用的逆问题的贝叶斯推理的背景下执行概率图像重建的下游任务。最后，我们确定潜在的空间密度从NF作为一个有前途的离群值检测度量。
2022-09-19 cs.LG stat.ML
Normalizing Flows on the Product Space of SO(3) Manifolds for Probabilistic Human Pose Modeling
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Stuttgart（斯图加特大学）
提出 HuProSO3 归一化流，在 SO(3) 流形乘积空间上建模三自由度人体关节联合分布，实现精确似然评估并在三类应用中提升建模精度。
2024-04-08 cs.CV
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
FG-NeRF: Flow-GAN based Probabilistic Neural Radiance Field for Independence-Assumption-Free Uncertainty Estimation
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；UC San Diego（加利福尼亚大学圣迭戈分校）
针对现有概率神经辐射场依赖独立性假设影响复杂场景性能的问题，提出基于Flow-GAN的FG-NeRF，通过均值偏移概率残差模型和图像块对抗学习实现无显式似然的场景分布建模，在合成与真实数据集上取得更优渲染精度和不确定性估计效果。
2023-10-04 cs.CV
Distributional Gradient Boosting Machines
Georg-August-Universität Göttingen（哥廷根大学）
我们提出了一个统一的概率梯度提升框架的回归任务，模型和预测作为协变量的函数的单变量响应变量的整个条件分布。我们的似然为基础的方法允许我们要么建模参数分布的所有条件矩，或近似的条件累积分布函数通过归一化流。作为底层的计算骨干，我们的框架是基于XGBoost和LightGBM。对整个条件分布进行建模和预测极大地增强了现有的基于树的梯度提升实现，因为它允许创建概率预测，从该概率预测可以导出感兴趣的预测区间和分位数。实证结果表明，我们的框架达到了最先进的预测精度。
2022-04-02 cs.LG stat.ML
Probabilistic Learning of Multivariate Time Series with Temporal Irregularity
City University of Hong Kong（香港城市大学）
针对非均匀间隔、变量错位的多元时间序列，提出端到端概率框架，用动态条件连续归一化流和分解对数似然建模联合分布及依赖关系，实验证明其更优且适应性更强。
2025-02-15 cs.AI cs.LG
A Probabilistic Consensus-Driven Approach for Robust Counterfactual Explanations
Wrocław University of Science and Technology（沃拉布大学科学与技术学院）；Tooploox；Poznań University of Technology（波兹南技术大学）
本文提出一种联合建模数据分布与模型决策空间的概率共识方法，通过条件归一化流生成稳健反事实解释，单参数控制鲁棒性，实验显示在保持其他指标性能的同时实现更强的鲁棒性。
2026-04-19 cs.AI cs.LG
Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of British Columbia（不列颠哥伦比亚大学）
由于深度模糊和遮挡的存在，单目图像中的三维人体姿态估计是一个高度不适定的问题。然而，大多数现有的作品忽略了这些模糊性，只估计一个单一的解决方案。相比之下，我们生成了一组不同的假设，代表了可行的3D姿势的完整后验分布。为此，我们提出了一个规范化的流为基础的方法，利用确定性的3D到2D的映射来解决模糊的逆2D到3D的问题。此外，通过将2D检测器的不确定性信息作为条件，有效地对不确定检测和遮挡进行建模。成功的进一步关键是学习的3D姿态先验和M中最佳损失的泛化。我们在两个基准数据集Human3.6M和MPI-INF-3DHP上评估了我们的方法，在大多数指标上优于所有可比方法。该实现在GitHub上可用。
2021-08-02 cs.CV
Learning Probabilistic Multi-Modal Actor Models for Vision-Based Robotic Grasping
Stanford University（斯坦福大学）
许多以前的作品方法基于视觉的机器人抓取训练的价值网络，评估把握建议。这些方法需要在运行时进行优化，以从价值网络中推断出最佳操作。因此，推理时间随着动作空间维数的增加而呈指数增长。我们提出了一种替代方法，通过直接训练神经密度模型来近似输入图像中成功抓取姿势的条件分布。我们构造了一个神经网络，结合高斯混合和归一化流，它能够表示多模态，复杂的概率分布。我们在仿真和真实机器人上证明，与使用交叉熵方法（CEM）进行推理的价值网络相比，所提出的演员模型在4维动作空间的自上而下的抓取上实现了类似的性能。与最先进的CEM方法相比，我们的演员模型将推理时间减少了3倍。我们相信，演员模型将发挥重要作用时，这些方法扩展到更高维的动作空间。
2019-04-15 cs.LG cs.RO
Ensemble weather forecast post-processing with a flexible probabilistic neural network approach
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）；Slovenian Environment Agency（斯洛文尼亚环境局）
本研究提出一种结合归一化流的神经网络集合天气预报后处理方法，可联合处理多地点多提前量预报，在EUPPBench基准温度预报任务中达SOTA，还通过变体对比阐明了性能优势的原因。
2023-04-27 cs.LG physics.ao-ph
From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective
School of Computing and Engineering University of Huddersfield（计算与工程学院赫德斯菲尔德大学）
本文以概率潜变量模型为统一框架，梳理从经典模型到变分自编码器、扩散模型等现代生成式AI的演进脉络，揭示共享原理与推断策略差异，为生成式AI提供理论路线图。
2025-08-18 cs.AI cs.LG
Transflower: probabilistic autoregressive dance generation with multimodal attention
Inria（法国国家信息与自动化研究所）；Ensta ParisTech（巴黎高等先进技术学院）；University of Bordeaux（波尔多大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
舞蹈需要熟练的复杂动作的组成，遵循音乐的节奏，音调和音色特征。形式上，生成以一段音乐为条件的舞蹈可以表示为以音频信号为条件的高维连续运动信号的建模问题。在这项工作中，我们做了两个贡献，以解决这个问题。首先，我们提出了一种新的概率自回归架构，该架构使用多模态Transformer编码器，以以前的姿势以及音乐上下文为条件，对未来姿势的分布进行建模。其次，我们介绍了目前最大的3D舞蹈运动数据集，获得了各种运动捕捉技术，包括专业和休闲舞者。使用这个数据集，我们通过客观指标和用户研究将我们的新模型与两个基线进行比较，并表明建模概率分布的能力以及能够参与大运动和音乐背景对于产生有趣，多样化和逼真的舞蹈是必要的。
2022-06-11 cs.GR cs.LG cs.SD
