Asymptotically unbiased estimation of physical observables with neural samplers
Technische Universität Berlin(柏林工业大学);Berlin Big Data Center(柏林大数据中心);RIKEN Center for AIP(理化学研究所人工智能中心);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Berliner Zentrum für Maschinelles Lernen(柏林机器学习中心);Korea University(高丽大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
我们提出了一个通用框架,用于使用生成神经采样器估计可观测量,重点关注提供精确采样概率的现代深度生成神经网络。在这个框架中,我们提出了渐近无偏估计的一般可观,包括那些明确依赖于配分函数,如自由能或熵,并得出相应的方差估计。通过对二维伊辛模型的数值实验,证明了它们的实用性,并突出了其优于现有方法的优越性。我们的方法极大地增强了生成神经采样器对现实世界物理系统的适用性。
2020-02-13 cond-mat.stat-mech cs.LG stat.ML
Multilevel Generative Samplers for Investigating Critical Phenomena
BIFOLD;Technische Universität Berlin(技术大学柏林);Università degli Studi di Torino(都灵大学);INFN Torino(托斯卡纳国家研究所);University of Bonn(波恩大学);Helmholtz Institute for Radiation and Nuclear Physics (HISKP)(辐射和核物理研究所);Deutsches Elektronen-Synchrotron (DESY)(德国电子同步辐射光源);RIKEN Center for AIP(理化学研究所AIP中心)
本文提出RiGCS,一种结合多层级蒙特卡洛与生成模型的重整化采样器,利用临界尺度不变性高效采样近临界系统,在128x128伊辛模型上有效样本量提升数个数量级。
2025-03-13 cs.LG hep-lat stat.ML
Adaptivity and Convergence of Probability Flow ODEs in Diffusion Generative Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文为概率流 ODE 采样器建立理论保证,证明在准确估计分数函数时,其收敛速率可达 $O(k/T)$,优于随环境维度增长的现有结果,突显其利用目标分布低维结构加速采样的能力。
2025-01-31 cs.LG stat.ML
Restart Sampling for Improving Generative Processes
MIT(麻省理工学院);Google Research(谷歌研究院)
本文提出Restart采样算法,通过在正向加噪与反向ODE之间交替来平衡离散化误差和误差收缩,在扩散模型中显著提升采样速度与样本质量,并改善文本到图像生成中的质量与多样性权衡。
2023-11-01 cs.CV cs.LG stat.CO
Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);FAIR, Meta AI(Meta AI FAIR实验室);McGill University(麦吉尔大学)
针对高维密度采样中需完整轨迹计算、学习信号仅在终止时刻存在导致信用分配迟缓的问题,提出扩散生成流采样器DGFS,借助流函数将学习分解为短轨迹片段并利用中间信号,实验证明其归一化常数估计更准确。
2024-03-09 cs.AI cs.LG stat.CO
Stein Neural Sampler
Purdue University(普渡大学);UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校)
我们提出了两种新的采样器,从一个给定的(未归一化)概率密度生成高质量的样本。受生成对抗网络成功的启发,我们使用深度神经网络构建采样器,将参考分布转换为目标分布。训练计划的开发,以尽量减少两个变化的斯坦差异,这是设计用于与非归一化密度。一旦经过训练,我们的采样器就能够立即生成样本。我们表明,所提出的方法在理论上是合理的,经验较少的收敛问题相比,传统的采样方法,根据我们的实证研究。
2021-02-09 cs.LG stat.ML
Conditional sampling within generative diffusion models
Linköping University(林雪平大学);Uppsala University(乌普萨拉大学)
本文综述生成式扩散模型中的条件采样计算方法,梳理利用联合分布或带显式似然的预训练边缘分布构建条件采样器的关键技术。
2025-02-19 cs.LG stat.ML
Generative diffusion posterior sampling for informative likelihoods
Division of Statistics and Machine Learning(统计与机器学习系)
本文提出一种新的扩散后验SMC采样器,通过构建与扩散模型相关的观测路径来提升异常值和高信息量似然条件下的采样统计效率。
2025-08-22 cs.LG cs.SY eess.SY
Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference
IRIT/INP-ENSEEIHT(图卢兹信息学研究所/国立图卢兹综合理工学院-ENSEEIHT);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学)
提出一种结合变量分裂与深度生成先验的随机 PnP-SGS 后验采样算法,无需显式先验即可提供贝叶斯估计及置信区间,并在图像处理任务中验证有效性。
2023-04-21 cs.CV cs.LG stat.ML
Towards Fast Stochastic Sampling in Diffusion Generative Models
Bosch Center for Artificial Intelligence(博世人工智能中心);University of California, Irvine(加利福尼亚大学欧文分校)
针对扩散模型推理时样本生成缓慢的问题,提出约化分裂积分器在增广空间中实现快速随机采样,在 CIFAR-10 上仅需 100 次 NFE 即达到 2.36 的 FID 分数,优于最佳基线。
2024-02-13 cs.LG stat.ML
Denoising Diffusion Samplers
University of Cambridge(剑桥大学);DeepMind(深度思维)
本文提出 Denoising Diffusion Samplers(DDS),通过近似目标密度向高斯扩散过程的时间反演,实现非归一化密度采样与归一化常数估计,并给出理论联系及实验验证。
2023-08-16 cs.LG stat.ML
Adaptive Destruction Processes for Diffusion Samplers
Constructor University(Constructor大学);HSE University(俄罗斯高等经济大学);University of Edinburgh(爱丁堡大学);CNRS(法国国家科学研究中心);École polytechnique(巴黎政治学院);LMO, Université Paris-Saclay(巴黎萨克雷大学)
本文将扩散采样器视为离散时间策略,提出解耦生成与破坏方差并同时训练两个过程,在少步数条件下实现更快收敛和更好采样质量,并通过消融实验和GAN潜在空间采样验证了方法的稳定性与可扩展性。
2025-06-02 cs.LG stat.ML
No Trick, No Treat: Pursuits and Challenges Towards Simulation-free Training of Neural Samplers
University of Cambridge(剑桥大学);Cornell University(康奈尔大学);Xaira Therapeutics(赛拉治疗公司);Microsoft Research(微软研究院)
本文研究神经采样器的免模拟训练,提出基于时间依赖归一化流的改进方法,但发现其仍出现严重模式坍缩,并系统证明缺乏 Langevin 预条件时多数方法失效,最后提出结合 Parallel Tempering 与生成模型的强基线以指导未来研究。
2025-04-09 cs.LG stat.ML
Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler
Central South University(中南大学);Tongji University(同济大学)
本文提出SA-Roundtrip深度生成先验,结合自注意力双向GAN学习数据内在维度,并在低维潜在空间用HMC-pCN算法进行贝叶斯推断,在CT重建实验中优于现有方法并实现精确不确定性量化。
2023-10-24 cs.AI cs.LG math.PR
Generative Distributionally Robust Optimization
Telfer School of Management, University of Ottawa(渥太华大学泰尔弗管理学院);Department of Electrical and Computer Engineering, Western University(西安大略大学电气与计算机工程系)
研究提出生成式分布鲁棒优化(GDRO)框架,接受可采样条件生成器为名义模型,通过采样器-辛科恩配对限制最坏情况法则,可直接有限样本近似和可微实现,相比名义决策降低了罕见上下文库存遗憾和SocialGAN导航碰撞。
2026-07-29 cs.AI cs.LG math.OC
Generative Particle Variational Inference via Estimation of Functional Gradients
Oregon State University(俄勒冈州立大学);Horizon Robotics(Horizon Robotics(地平线机器人))
最近,基于粒子的变分推理(ParVI)方法已经获得了兴趣,因为它们可以避免变分推理中常见的任意参数假设。然而,许多ParVI方法不允许从后验任意采样,并且少数允许这样采样的方法遭受次优性。本文提出了一种从后验分布中学习近似采样的新方法。我们构造了一个神经采样器,该神经采样器是用经验采样分布和目标分布之间的KL发散的函数梯度来训练的,假设梯度位于再生核希尔伯特空间内。我们的生成ParVI(GPVI)方法保持了ParVI方法的渐近性能,同时提供了生成采样器的灵活性。通过精心构建的实验,我们表明GPVI优于以前的生成ParVI方法,如摊销SVGD,并与ParVI以及黄金标准方法(如Hamiltonian Monte Carlo)竞争,以拟合精确已知和难以处理的目标分布。
2021-08-10 cs.LG stat.ML
Convergence of Deterministic and Stochastic Diffusion-Model Samplers: A Simple Analysis in Wasserstein Distance
INRIA, Ecole Normale Supérieure PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院巴黎文理研究大学)
本文针对扩散生成模型的随机与确定性采样器,提出统一分析框架,首次推导Heun采样器Wasserstein收敛界、改进Euler采样器结果,结合相关成果收紧误差界。
2025-11-13 cs.LG stat.ML
Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems
University of Basel(巴塞尔大学);Ecole Polytechnique, IP Paris(巴黎高等理工学院);University of California Irvine(加州大学尔湾分校);Rice University(里奇大学)
本文提出利用基于分数的生成模型驱动的预条件兰格朗日动力学,解决无限维线性贝叶斯反问题,推导误差估计并保证全局收敛性。
2025-11-30 cs.LG cs.NA math.NA
Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning
Dartmouth College(达特茅斯学院)
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法是基于迭代调整的神经网络参数,使输出变化沿Stein变分梯度,最大限度地减少库尔贝克-莱布勒散度与目标分布。我们的方法适用于任何由其非归一化密度函数指定的目标分布,并且可以训练任何黑盒架构,这些架构在我们想要适应的参数方面是可微的。作为该方法的应用,我们提出了一种用于训练深度能量模型的摊销MLE算法,其中神经采样器被自适应地训练以近似似然函数。我们的方法模拟了深度能量模型和神经采样器之间的对抗游戏,并获得了与最先进的结果相竞争的逼真图像。
2016-11-26 cs.LG stat.ML
Transformers as In-Context Samplers: From Closed-Form Diffusion to Estimation-Free Sampling
Augusta University(奥古斯塔大学);University of Virginia(弗吉尼亚大学);Qualcomm AI Research(高通人工智能研究)
本文证明冻结的Transformer可通过上下文样本模拟生成采样器,实现闭式扩散和能量基采样,并在预训练模型中观察到U形能量模式,揭示了上下文学习在数据生成中的新能力。
2026-09-14 cs.AI cs.LG stat.AP
Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces
University of Edinburgh(爱丁堡大学);CIFAR Fellow(卡尔·弗里德里希·列文森研究员)
提出离策略训练技术改进离散扩散采样器性能,并首次引入离散域的数据到能量薛定谔桥训练,应用于图像生成模型的离散潜在空间中的无数据后验采样。
2026-05-28 cs.LG stat.ML
A Reverse-BSDE Diffusion Sampler
FGV EMAp
该研究将反向时间扩散采样器重新表述为前向-后向随机微分方程,证明其与原方法等价并分解近似误差,经合成目标实验验证,该方法对复杂全局结构目标的采样具有良好前景。
2026-08-07 cs.LG math.PR stat.ML
Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models
The Chinese University of Hong Kong(香港中文大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
该研究针对扩散生成模型理论基础不完善的问题,采用基础非渐近方法,在$\ell_2$精度分数估计下,推导了确定性与随机采样器的收敛速率,还设计了加速变体提升收敛速度。
2024-03-07 cs.IT cs.LG math.IT
Training Neural Samplers with Reverse Diffusive KL Divergence
University of Cambridge(剑桥大学);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);University College London(伦敦大学学院)
针对反向KL散度模式寻找行为导致难以近似多模态分布的问题,提出反向扩散KL散度目标,训练神经采样器一步高效生成样本,在多种Boltzmann分布上显著提升采样性能。
2025-03-03 cs.LG stat.ML
Particle Denoising Diffusion Sampler
University of Oxford(牛津大学);CNRS(法国国家科学研究中心);ENS Ulm(巴黎高等师范学院乌尔姆校区)
针对未归一化概率密度采样及归一化常数计算问题,提出基于新型分数匹配损失的迭代粒子方案PDDS,可在温和假设下给出渐近一致估计。
2024-06-15 cs.LG stat.CO stat.ML
Score-based constrained generative modeling via Langevin diffusions with boundary conditions
Institute for Analysis and Scientific Computing, TU Wien(维也纳技术大学分析与科学计算研究所);Department of Mathematical Sciences, Chalmers University of Technology and the University of Gothenburg(查尔姆斯理工大学数学科学系)
针对基于SDE的分数生成模型难满足约束的问题,提出带边界速度镜面反射的欠阻尼朗之万约束生成模型,构建高效最优收敛采样器,并对比两类反射扩散约束模型。
2025-10-28 cs.LG cs.NA math.NA
Stochastic Runge-Kutta Methods: Provable Acceleration of Diffusion Models
University of Pennsylvania(宾夕法尼亚大学)
针对扩散模型采样计算成本高且加速理论不足的问题,提出基于随机龙格-库塔的无训练SDE扩散采样加速算法,可证明降低维度依赖的计算复杂度,实验验证了其效率。
2024-10-07 cs.LG stat.ML
Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
本文首次为分数不匹配扩散采样器提供显式维度依赖的性能保证,揭示渐近偏差与累积不匹配成正比,并据此设计偏差最优零样本条件采样器,适用于线性条件模型及多种目标分布。
2025-03-26 cs.LG stat.ML
Amortised Inference through One-Step Implicit Sampling
University of Edinburgh(爱丁堡大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);CIFAR(加拿大高级研究所)
针对高维贝叶斯后验采样的多步低效问题,提出一步隐式采样器(OSIS),基于短时MCMC动力学实现一步摊销推断,性能优于多步摊销采样器和非摊销MCMC且采样效率更高。
2026-10-12 cs.LG stat.ML
Stop the Sampler! Classifier-Based Adaptive Stopping for Sampling Kernels
Stanford University(斯坦福大学)
提出将MCMC轨迹终止作为可学习组件,利用非循环生成流网络训练状态依赖分类器,在保证详细平衡条件下自适应停止采样,显著缩短轨迹长度并改善模式覆盖与混合。
2026-07-20 cs.LG stat.ML
Improved off-policy training of diffusion samplers
Mila, Université de Montréal(米拉-蒙特利尔大学);Jagiellonian University(雅盖隆大学);KAIST(韩国科学技术院);Ciela Institute(塞拉研究所);Dreamfold(德里姆福尔德公司);CIFAR(加拿大高级研究院);University of Edinburgh(爱丁堡大学)
该研究针对扩散模型的离策略训练问题,提出结合重放缓冲区的目标空间局部搜索探索策略,提升了样本质量,同时阐明了现有算法的相对优势并质疑了过往部分结论,相关代码已公开。
2026-08-31 cs.LG stat.ML
From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training
California Institute of Technology(加州理工学院);NVIDIA(英伟达);Zuse Institute Berlin(柏林泽尼克研究所);dida Datenschmiede GmbH(dida数据隐私公司);Jagiellonian University(雅盖隆大学);Mila, Université de Montréal(蒙特利尔大学机器学习研究所);University of Edinburgh(爱丁堡大学);CIFAR Fellow, Learning in Machines and Brains(CIFAR Fellow, 机器学习与大脑学习)
本文提出通过渐近等价性将离散时间策略转化为连续时间扩散采样器,提升训练效率和采样性能。
2026-02-04 cs.LG stat.ML
Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence
Universidad Carlos III(卡洛斯三世大学)
本文提出 dual-ISL 无似然目标,通过交换 ISL 中目标与模型分布角色构造凸优化问题,并基于 Bernstein 多项式投影给出显式密度近似及理论收敛保证,实验表明其在收敛速度、训练稳定性和防模式坍塌方面优于经典隐式生成方法。
2025-11-05 cs.AI cs.LG math.PR
Adaptive teachers for amortized samplers
Mila(米拉研究所);KAIST(韩国科学技术院);Recursion(Recursion公司);University of Edinburgh(爱丁堡大学)
该研究针对摊销采样器的高效探索挑战,提出用自适应训练分布(教师)指导采样器(学生)训练,经多任务验证可提升样本效率与模式覆盖范围。
2026-09-01 cs.LG stat.ML
Prediction of rare feature combinations in population synthesis: Application of deep generative modelling
Technical University of Denmark(丹麦技术大学)
在群体综合应用中,当考虑具有多个属性的群体时,一个基本问题是估计特征属性的稀有组合。毫不奇怪,要可靠地表示这种多变量分布的稀疏区域,特别是原始样本中不存在的属性组合,是非常困难的。在文献中,这通常被称为采样零点,迄今为止还没有提出系统的解决方案。本文提出了两种来自深度生成模型家族的机器学习算法,用于解决人口合成问题,并特别关注采样零的问题。具体来说,我们引入了Wasserstein生成对抗网络(WGAN)和变分自动编码器(VAE),并将这些算法用于大规模人口合成应用。该模型实现了丹麦旅游调查的功能空间超过60个变量。该模型进行了验证,在交叉验证计划和一组新的指标的抽样零问题的评估。结果表明,这些模型是如何能够恢复采样零点,同时保持真正不可能的组合,结构零点,在一个相对较低的水平估计。特别地,对于低维实验,VAE,边际采样器和完全随机采样器分别产生5%,21%和26%,更多的结构零点由WGAN产生,而对于高维情况下,这些数字分别上升到44%,2217%和170440%。这项研究直接支持基于代理的系统的开发,特别是在需要详细的社会经济或地理代表性的情况下。
2019-09-17 cs.LG stat.AP stat.ML
BridgeTwist: Twisting Schrödinger Bridges for Training-Free Conditional Sampling
Tsinghua University(清华大学)
提出BridgeTwist,一种针对预训练薛定谔桥生成模型的无训练条件采样器,在类条件、文本提示图像生成及图像修复等任务上性能优于无训练基线,与专门逆问题求解器竞争力相当。
2026-10-14 cs.LG stat.ML
ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models
Beijing Institute of Technology(北京理工大学)
多变量时间序列预测因其在智能交通、人工智能等方面的广泛应用而受到广泛关注。生成模型在时间序列建模中取得了令人印象深刻的结果,因为它们可以建模数据分布并考虑噪声。然而,由于生成模型的函数形式的限制或对超参数的敏感性,许多现有的工作不能被广泛使用。在本文中,我们提出了ScoreGrad,一个基于连续能量生成模型的多变量概率时间序列预测框架。ScoreGrad由时间序列特征提取模块和基于条件随机微分方程的分数匹配模块组成。该预测可以通过迭代求解逆时矩来实现。据我们所知,ScoreGrad是第一个用于时间序列预测的基于连续能量的生成模型。此外,ScoreGrad在六个真实世界的数据集上实现了最先进的结果。超参数和采样器类型对性能的影响也进行了探讨。代码可在https://github.com/yantijin/ScoreGradPred上获得。
2021-06-18 cs.LG stat.ML
Unifying Generative Models with Path Integrals
Università degli Studi di Milano(米兰大学);INFN(意大利国家核物理研究院)
该研究将生成建模表述为路径积分,提出MSRJD形式的图示微扰理论,为确定性采样器提供无随机采样成本的单圈修正,还推导了响应加权得分匹配目标与EFT幂次计数下的对称等变漂移设计。
2026-08-14 cs.LG hep-ph stat.ML
The Ray Tracing Sampler: Bayesian Sampling of Neural Networks for Everyone
University of Arizona(亚利桑那大学)
研究基于光线追踪推导MCMC采样方法,其对随机梯度加热恢复力强且能跨似然障碍。用此方法在单消费级GPU上对多种神经网络架构输出后验分布采样,还证明多种先验采样器是广义光线追踪框架特殊情况,且提供相关代码文档。
2026-07-29 astro-ph.IM stat.ML
Generative Bayesian Optimization: Generative Models as Acquisition Functions
CSIRO’s Data61(CSIRO的数据61)
本文提出利用生成模型作为批量贝叶斯优化的候选解采样器,通过直接优化偏好信号生成高效的获取函数,适用于高维和组合优化问题。
2026-05-14 cs.LG stat.ML
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington(华盛顿大学)
我们开发了一个框架,近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法,它在后验中整合变量以改善混合。不幸的是,对于许多复杂的模型,整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究,其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明,我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡,从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Convergence Analysis for General Probability Flow ODEs of Diffusion Models in Wasserstein Distances
本文首次在精确分数估计和对数凹分布假设下,利用同步耦合分析技术,证明了一般概率流ODE采样器在2-Wasserstein距离下的非渐近收敛性及迭代复杂度。
2025-02-15 cs.LG math.PR stat.ML
Accelerating Convergence of Score-Based Diffusion Models, Provably
The Chinese University of Hong Kong(香港中文大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
针对基于分数的扩散模型采样速度慢且加速技术理论基础不足的问题,提出免训练的加速确定性与随机采样算法,分别将收敛速率提升至O(1/T²)和O(1/T),且无需目标分布满足对数凹性或平滑性。
2024-03-06 cs.AI cs.IT cs.LG
not-so-BigGAN: Generating High-Fidelity Images on Small Compute with Wavelet-based Super-Resolution
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of Edinburgh(爱丁堡大学)
用于高分辨率图像生成的最先进模型,如BigGAN和VQVAE-2,需要大量的计算资源和/或时间(512个TPU-v3内核)来进行训练,这使得大型研究社区无法实现。另一方面,基于GAN的图像超分辨率模型,如ESRGAN,不仅可以将图像升级到高维,而且可以有效地进行训练。在本文中,我们提出了一个不那么大的GAN(nsb-GAN),这是一个简单但具有成本效益的两步训练框架,用于高维自然图像的深度生成模型(DGMs)。首先,我们通过在小波域中训练采样器来生成低频段的图像。然后,我们超解决这些图像从小波域回到像素空间与我们的新的小波超分辨率解码器网络。基于小波的下采样方法比基于像素的方法保留更多的结构信息,导致低分辨率采样器的显著更好的生成质量(例如,64x64)。由于采样器和解码器可以并行训练,并且在比端到端模型低得多的维度空间上操作,因此训练成本大大降低。在ImageNet 512 x512上,我们的模型实现了10.59的Fréchet Inception Distance(FID)-击败了基准BigGAN模型-计算量的一半(256个TPU v3核心)。
2020-10-25 cs.CV eess.IV stat.ML
Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics
ELLIS Unit Linz, LIT AI Lab, Johannes Kepler University Linz, Austria(林茨ELLIS单元、LIT AI实验室、林茨约瑟夫·冯·海德里希大学,奥地利);Department of Electrical & Computer Engineering, Georgia Institute of Technology(电气与计算机工程系,佐治亚理工学院);NXAI Lab & NXAI GmbH, Linz, Austria(NXAI实验室及NXAI GmbH,林茨,奥地利)
本文提出两种内存高效的离散扩散采样器训练方法(基于策略梯度和自归一化神经重要性采样),实现无偏采样,在组合优化和伊辛模型基准上超越自回归方法。
2025-07-08 cond-mat.stat-mech cs.AI cs.LG
Progressive Distillation for Fast Sampling of Diffusion Models
Google Research(谷歌研究院)
扩散模型最近在生成建模方面表现出了很大的希望,在感知质量和密度估计方面优于GANs和自回归模型。剩下的缺点是它们的采样时间很慢:生成高质量的样本需要数百或数千个模型评估。在这里,我们做了两个贡献,以帮助消除这个缺点:首先,我们提出了新的参数化的扩散模型,提供了更高的稳定性时,使用几个采样步骤。其次,我们提出了一种方法来提取一个训练的确定性扩散采样器,使用许多步骤,到一个新的扩散模型,需要一半的采样步骤。然后,我们继续逐步将此蒸馏过程应用于我们的模型,每次所需的采样步骤数量减半。在CIFAR-10、ImageNet和LSUN等标准图像生成基准测试中,我们从最先进的采样器开始,最多可执行8192步,并且能够在不损失太多感知质量的情况下提取到仅需4步的模型;例如,在CIFAR-10上通过4步实现FID 3.0。最后,我们表明,完整的渐进蒸馏过程并不需要更多的时间比它需要训练的原始模型,从而代表了一个有效的解决方案,生成建模使用扩散在训练和测试时间。
2022-06-07 cs.AI cs.LG stat.ML
Learning Implicit Generative Models with the Method of Learned Moments
DeepMind(深度心智)
提出了一种用于训练大规模隐式生成模型的矩量法(MoM)算法。在这种情况下,矩估计遇到两个问题:通常很难定义学习模型参数所需的数百万个矩,并且很难确定在指定矩时哪些属性是有用的。为了解决第一个问题,我们引入了矩网络,并将矩定义为网络的隐藏单元和网络输出相对于其参数的梯度。为了解决第二个问题,我们使用渐近理论来强调矩的必要性-即它们应该最小化估计模型参数的渐近方差-并引入一个目标来学习更好的矩。通过这种学习矩方法(MoLM)创建的目标序列可以训练高质量的神经图像采样器。在CIFAR-10上,我们证明了MoLM训练的生成器比使用梯度惩罚正则化和频谱归一化对抗目标训练的生成器实现了更高的初始得分和更低的Frechet初始距离。这些生成器还在CelebA上实现了近乎完美的多尺度结构相似性得分,并可以创建128 x128图像的高质量样本。
2018-06-28 cs.LG stat.ML
Probability flow ODEs in score-based and reflected diffusion models
University of Oxford(牛津大学)
本文为基于分数和反射扩散模型的概率流常微分方程采样器提供理论分析,确定流存在条件,揭示稳定性与速度误差的关系,并给出设计原则,通过数值实验验证。
2026-10-06 cs.LG math.PR stat.ML
Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods
University of Texas at Austin(德克萨斯大学奥斯汀分校);NTUA(雅典国立技术大学);Yale University(耶鲁大学);UOA(雅典大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究提出分析组合问题解生成器的新理论框架,证明存在满足表达性、参数可处理、优化无次优驻点的生成模型,适用于多类经典组合问题,并提出可缓解梯度消失的正则化方法。
2023-11-07 cs.AI cs.DS cs.LG
Generative Bayesian Filtering and Parameter Learning
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Department of Statistics, University of Chicago(芝加哥大学统计系)
本文提出生成式贝叶斯滤波(GBF)框架,将生成式贝叶斯计算扩展到动态状态空间模型,并引入生成式-Gibbs采样器进行参数学习,在不可处理密度场景下显著优于现有免似然方法。
2025-11-06 stat.CO stat.ME stat.ML
Generative Bayesian Hyperparameter Tuning
Department of Statistics(统计系);INSPER;Chicago Booth(芝加哥布斯商学院);University of Chicago(芝加哥大学);Volgenau School of Engineering(沃尔格瑙工程学院);George Mason University(乔治梅森大学)
本文提出了一种生成性贝叶斯超参数调优方法,结合优化近似和传输映射技术,实现快速超参数评估与不确定性量化。
2025-12-23 stat.CO stat.ML
PhyloGFN: Phylogenetic inference with generative flow networks
McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
本文提出PhyloGFN,将生成流网络(GFlowNets)框架用于系统发育推断,在真实基准数据集上产生多样高质量进化假设,边际似然估计具竞争力,贴合目标分布优于变分推断方法。
2026-09-01 cs.LG q-bio.PE stat.ML
Minimax Optimality of the Probability Flow ODE for Diffusion Models
University of Michigan(密歇根大学);The Chinese University of Hong Kong(香港中文大学)
本文为基于概率流ODE的扩散模型采样器建立了首个端到端理论框架,针对次高斯且密度β-Hölder光滑的目标分布提出光滑正则化分数估计器,证明其在总变差距离上达到近最小最大最优速率。
2025-03-12 cs.IT cs.LG math.IT