$α$-Flow: A Unified Framework for Continuous-State Discrete Flow Matching Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
针对现有连续状态离散流匹配(CS-DFM)模型在表示与几何假设上的差异,本研究提出统一框架$α$-Flow,基于信息几何理论证明其最优性,在多离散生成任务中显著优于离散状态模型。
2025-04-14 cs.LG stat.ML
Graph Normalizing Flows
University of Toronto(多伦多大学);Vector Institute(矢量研究院);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
我们介绍图规范化流程:一个新的,可逆的图神经网络模型的预测和生成。在有监督的任务上,图规范化流的执行类似于消息传递神经网络,但内存占用显著减少,允许它们扩展到更大的图。在无监督的情况下,我们结合图规范化流与一种新的图形自动编码器,以创建一个生成模型的图结构。我们的模型是置换不变的,生成整个图形与一个单一的前馈通过,并实现竞争力的结果与最先进的自回归模型,同时更适合并行计算架构。
2019-05-30 cs.LG stat.ML
Variational Inference with Continuously-Indexed Normalizing Flows
University of Oxford(牛津大学)
连续索引流(CIF)最近在各种密度估计任务上实现了对基线归一化流的改进。CIF不具有封闭形式的边缘密度,因此,与标准流不同,不能直接插入到变分推断(VI)方案中,以产生更具表现力的近似后验族。然而,我们在这里展示了如何CIF可以作为辅助VI计划的一部分,以自然的方式制定和训练表达后验近似。我们利用多层CIF的条件独立结构来构建所需的辅助推理模型,我们根据经验证明了模型证据的低方差估计。然后,我们证明了优势的CIF基线流量VI问题时,感兴趣的后验分布具有复杂的拓扑结构,获得改进的结果,在贝叶斯推断和代理极大似然设置。
2021-06-14 cs.LG stat.ML
CFlowNets: Continuous Control with Generative Flow Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Zhejiang University(浙江大学);Tianjin University(天津大学)
生成流网络(GFlowNets)作为一种新兴的技术,可以作为强化学习的替代方法用于探索性控制任务。GFlowNet的目标是在终止状态上生成与奖励成比例的分布,并以主动学习的方式对不同的候选者进行采样。GFlowNets需要形成一个DAG,并通过遍历轨迹中每个节点的流入和流出来计算流匹配损失。目前还没有实验表明GFlowNets可以用来处理连续任务。在本文中,我们提出了生成连续流网络(CFlowNets),可应用于连续控制任务。首先,我们提出了CFlowNets的理论公式。然后,提出了CFlowNets的训练框架,包括动作选择过程、流近似算法和连续流匹配损失函数。然后,我们从理论上证明了流近似的误差界。随着流样本数量的增加,误差迅速减小。最后,在连续控制任务上的实验结果证明了CFlowNets与许多强化学习方法相比的性能优势,特别是在探索能力方面。
2023-03-04 cs.LG
OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport
Emory University(埃默里大学);University of California, Los Angeles(加州大学洛杉矶分校)
归一化流是任意概率分布和标准正态分布之间的可逆映射;它可用于密度估计和统计推断。计算流遵循变量变换公式,因此需要映射的可逆性和计算其雅可比行列式的有效方法。为了满足这些要求,标准化流程通常由精心选择的组件组成。连续归一化流(CNF)是通过求解神经常微分方程(ODE)获得的映射。神经常微分方程的动力学几乎可以任意选择,同时确保可逆性。此外,流的雅可比矩阵的对数行列式可以通过沿流积分动力学雅可比矩阵的迹来获得。我们提出的OT-Flow方法解决了两个限制CNF更广泛使用的关键计算挑战。首先,OT-Flow利用最优传输(OT)理论来正则化CNF并强制执行更容易集成的直线轨迹。其次,OT-Flow的特点是精确的跟踪计算,其时间复杂度等于现有CNF中使用的跟踪估计器。在五个高维密度估计和生成建模任务中,OT-Flow的表现与最先进的CNF竞争,而平均需要四分之一的权重,训练时间加速8倍,推理加速24倍。
2021-03-23 cs.LG stat.ML
Mixed Variational Flows for Discrete Variables
University of British Columbia(不列颠哥伦比亚大学)
本文提出MAD Mix变分流,通过保测离散可逆映射直接建模离散分布,无需连续嵌入,实验表明其近似更可靠且训练更快。
2024-02-26 cs.LG stat.CO stat.ML
GraphNVP: An Invertible Flow Model for Generating Molecular Graphs
Tokyo Institute of Technology(东京工业大学);Preferred Networks, Inc.(Preferred Networks公司)
我们提出了GraphNVP,这是第一个可逆的,规范化的基于流的分子图生成模型。我们将图的生成分解为两个步骤:(i)邻接张量和(ii)节点属性的生成。这种分解产生的确切的似然最大化图结构的数据,结合两个新的可逆流。我们的经验表明,我们的模型有效地生成有效的分子图,几乎没有重复的分子。此外,我们观察到,学习的潜在空间可用于生成具有所需化学性质的分子。
2019-05-28 cs.AI cs.LG stat.ML
Purrception: Variational Flow Matching for Vector-Quantized Image Generation
Purrception结合连续方法的几何意识与离散监督的分类监督,通过学习代码本索引的类别后验和连续嵌入空间中的速度场,实现对潜在代码的不确定性量化和温度控制生成。
2026-03-14 cs.AI cs.CV cs.LG
Multi-Resolution Continuous Normalizing Flows
Mila(米拉);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Deep Render(深度渲染公司);Polytechnique Montréal(蒙特利尔综合理工学院)
最近的工作表明,神经常微分方程(ODE)可以作为图像的生成模型,使用连续归一化流(CNFs)的角度。这种模型提供精确的似然计算和可逆生成/密度估计。在这项工作中,我们引入了一个多分辨率的变种,这样的模型(MRCNF),通过表征的条件分布所需的额外信息,以生成一个精细的图像,这是一致的粗图像。我们引入了一个决议之间的转换,允许没有变化的日志可能性。我们表明,这种方法可以为各种图像数据集产生可比的似然值,在更高的分辨率下具有更好的性能,参数更少,仅使用1个GPU。此外,我们还研究了(多分辨率)连续规范化流的分布特性,并发现它们与其他基于可能性的生成模型相似。
2021-10-05 cs.CV cs.LG eess.IV
Continuous Temporal Graph Networks for Event-Based Graph Data
Xi’an Jiaotong University(西安交通大学);LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司);CRRC Zhuzhou Institute Co., Ltd.(中车株洲所有限公司)
时态图数据的连续时间动态建模越来越受到人们的关注。以前的方法通过指定神经网络的离散层将时间演化的关系信息编码为低维表示,而真实世界的动态图通常随时间连续变化。因此,我们提出了连续时态图网络(CTGN)来捕获时态图数据的连续动态。我们使用的链接开始时间戳和链接持续时间作为不断变化的信息来模拟节点的连续动态。其核心思想是使用神经常微分方程(ODE)来描述动态图上节点表示的连续动态性。利用一种新的图神经网络对常微分方程进行参数化。现有的动态图网络可以看作是CTGN的一种特殊离散化。在转换和归纳任务上的实验结果证明了我们所提出的方法在竞争基线上的有效性。
2022-05-31 cs.LG
Sparse Flows: Pruning Continuous-depth Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
连续深度学习架构能够学习灵活的概率模型,用于神经常微分方程(ODE)的预测建模,以及用于连续归一化流的生成建模。在这项工作中,我们设计了一个框架,通过修剪它们的网络架构来破译这些连续深度模型的内部动态。我们的实证结果表明,修剪提高了生成建模中神经常微分方程的泛化能力。我们的经验表明,改进是因为修剪有助于避免模式崩溃和平坦的损失表面。此外,修剪可以找到有效的神经ODE表示,与原始网络相比,参数减少了98%,而不会损失准确性。我们希望我们的研究结果将激励进一步研究现代连续深度模型的性能-大小权衡。
2021-11-18 cs.AI cs.LG
Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
本文将Wasserstein空间上的Riemannian梯度流扩展为SGD流和SVRG流,通过构建SDEs并利用Fokker-Planck方程推导流,证明了与欧几里得设定一致的收敛速率。
2025-11-04 cs.LG
FlowCast-ODE: Continuous Hourly Weather Forecasting with Dynamic Flow Matching and ODE Solver
ColorfulClouds Technology Co.,Ltd.(ColorfulClouds技术有限公司);School of Systems Science, Beijing Normal University(北京师范大学系统科学学院);D-ITET, ETH Zurich(ETH Zurich的D-ITET)
针对数据驱动逐小时天气预报的长期误差累积及ERA5数据集时间不连续问题,提出FlowCast-ODE框架,以动态流匹配结合ODE求解器实现连续预报,性能优于基线且擅长极端事件预测。
2025-09-30 cs.LG
Backpropagating Verifier Rewards Through Continuous Flow Language Models
Tufts University(塔夫茨大学)
本研究针对连续流语言模型的RL后训练不足问题,提出名为Method的后训练框架,通过设计特殊评判器绕过不可微解码步骤,在四项推理任务上优于同类基线方法。
2026-10-13 cs.LG
PINF: Continuous Normalizing Flows for Physics-Constrained Deep Learning
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
针对 Fokker-Planck 方程的概率密度归一化难题,提出 Physics-Informed Normalizing Flows(PINF),将扩散通过特征线方法融入连续归一化流,实现无网格、无因果依赖的高维含时与稳态方程高效求解。
2023-09-26 cs.AI cs.LG
Flowette: Flow Matching with Graphette Priors for Graph Generation
CSIRO’s Data61(CSIRO数据61);Australian National University(澳大利亚国立大学)
本文提出Flowette框架,通过图神经网络基于transformer学习图表示上的速度场,结合最优传输耦合和正则化,利用图ettes先验结构模型提升图生成性能,实验证明结合结构先验和流训练的有效性。
2026-10-28 cs.AI cs.LG
Temporal Lifting as Latent-Space Regularization for Continuous-Time Flow Models in AI Systems
Red Dawn Academic Press(红日学术出版社)
本文提出了一种时间提升方法,用于连续时间流模型中的潜在空间正则化,以稳定物理信息神经网络等人工智能系统架构。
2026-01-27 cs.AI cs.LG
Mixed Continuous and Categorical Flow Matching for 3D De Novo Molecule Generation
University of Pittsburgh(匹兹堡大学)
本文提出FlowMol,一种用于3D从头分子生成的流匹配模型,通过将流匹配扩展到分类数据并比较SimplexFlow与简化方法,实现了优于先前流匹配方法的性能,同时引发了对先验分布设计的思考。
2024-04-30 cs.LG q-bio.BM
WaveNODE: A Continuous Normalizing Flow for Speech Synthesis
Seoul National University(首尔大学)
近年来,已经提出了各种基于流的生成模型来实时生成高保真波形。然而,这些模型要么需要一个训练有素的教师网络,要么需要大量的流程步骤,这使得它们的内存效率很低。在本文中,我们提出了一种新的生成模型称为WaveNODE利用连续规范化流的语音合成。与传统模型不同,WaveNODE对用于流操作的函数没有限制,因此允许使用更灵活和复杂的函数。此外,可以优化WaveNODE以最大化可能性,而不需要任何教师网络或辅助损失项。我们的实验表明,WaveNODE实现了与传统的基于流的声码器相比,具有更少的参数相当的性能。
2020-07-02 cs.CL cs.LG cs.SD
Semi-Equivariant Continuous Normalizing Flows for Target-Aware Molecule Generation
Verily Research(Verily研究院)
我们提出了一种算法,用于学习给定目标的分子的条件生成模型。具体地说,给定一个希望结合的受体分子,条件模型生成可能与之结合的候选配体分子。该分布应该对作用于配体和受体的刚体变换$\textit{jointly}$不变;它也应该对配体或受体原子的排列不变。我们的学习算法是基于一个连续的规范化流程。我们建立了半等方差条件的流动,保证上述条件分布的不变性条件。我们提出了一个图神经网络架构,实现这一流程,并有效地学习,尽管配体和受体之间的巨大差异的大小。我们在CrossDocked 2020数据集上评估了我们的方法,与竞争方法相比,结合亲和力得到了显着改善。
2022-11-09 cs.LG q-bio.QM