DiffPTS: Rethinking Diffusion ELBO for Probabilistic Time Series Forecasting
DiffPTS通过重新推导位置-尺度噪声模型下的ELBO,提出统一联合训练目标,实现端到端优化,在概率时间序列预测中平均CRPS/MSE降低超14.53%/16.55%。
2026-10-15 cs.AI cs.LG
Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems
Aalto University(阿尔托大学)
本文提出将扩散模型用作偏微分方程的神经算子,通过条件生成解或恢复未观测状态,并在多个真实动力系统中优于其他神经算子,同时能处理部分可识别系统。
2024-12-15 cs.AI cs.LG
Stochastic Diffusion: A Diffusion Probabilistic Model for Stochastic Time Series Forecasting
School of Computing and Information Systems, The University of Melbourne(计算与信息系统学院,墨尔本大学);Department of Surgery (Otolaryngology), The University of Melbourne(外科部门(耳鼻喉科),墨尔本大学);School of Mathematics and Statistics, The University of Melbourne(数学与统计学学院,墨尔本大学)
本文提出随机扩散模型StochDiff,通过在每个时间步学习随机潜在空间中的数据驱动先验,捕捉复杂时间动态与固有不确定性,从而提升高度随机多元时间序列的预测能力,并在真实数据集及手术引导应用中验证其有效性。
2025-11-06 cs.AI cs.LG
SegDiff: Image Segmentation with Diffusion Probabilistic Models
Tel-Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
扩散概率方法用于最先进的图像生成。在这项工作中,我们提出了一种方法来扩展这样的模型进行图像分割。该方法是端到端学习的,而不依赖于预先训练的骨干。通过对两个编码器的输出求和来合并输入图像和分割图的当前估计中的信息。然后使用附加的编码层和解码器来使用扩散模型迭代地细化分割图。由于扩散模型是概率性的,因此它被应用多次,并且结果被合并到最终分割图中。新方法在Cityscapes验证集、Vaihingen建筑分割基准和MoNuSeg数据集上产生了最先进的结果。
2022-09-07 cs.AI cs.CV cs.LG
Hardware-efficient tractable probabilistic inference for TinyML Neurosymbolic AI applications
Aalto University, Department of Electronics and Nanoengineering(艾尔沃斯大学电子与纳米工程系)
本文提出一个软硬件协同框架,通过训练硬件高效的确定性可处理概率电路并进行n次根压缩,在TinyML硬件上实现神经符号AI推理,在FPGA上显著降低资源占用并在ESP32上实现4.67倍加速。
2025-07-07 cs.LG cs.PF
Improved Denoising Diffusion Probabilistic Models
OpenAI
去噪扩散概率模型(DDPM)是一类最近被证明可以产生优秀样本的生成模型。我们表明,通过一些简单的修改,DDPM也可以实现有竞争力的对数似然,同时保持高样本质量。此外,我们发现,反向扩散过程的学习方差允许采样的数量级较少的前向传递与样本质量的差异可以忽略不计,这是很重要的实际部署这些模型。我们还使用精确度和召回率来比较DDPM和GANs覆盖目标分布的程度。最后,我们证明了这些模型的样本质量和可能性随着模型容量和训练计算而平滑地扩展,使它们易于扩展。我们在https://github.com/openai/improved-diffusion上发布代码
2021-02-18 cs.AI cs.LG stat.ML
ProbLP: A framework for low-precision probabilistic inference
KU Leuven(鲁汶大学);MICAS;DTAI
贝叶斯推理是智能边缘设备中概率推理的一种强大机制。在这样的推断期间,低精度算术表示可以实现改进的能量效率。然而,其对推理准确性的影响尚未被理解。此外,通用硬件本身不支持低精度表示。为了解决这个问题,我们提出了ProbLP,这是一个自动分析和设计低精度概率推理硬件的框架。它会根据最坏情况下的误差范围和硬件能量模型自动选择适当的节能表示。它为所产生的推理网络生成定制硬件,利用并行,流水线和低精度操作。该框架在几个嵌入式传感基准上进行了验证。
2021-02-27 cs.AR cs.LG cs.NA
Graffe: Graph Representation Learning via Diffusion Probabilistic Models
本文提出自监督扩散图表示学习模型Graffe,通过图编码器生成紧凑表示以引导扩散解码器去噪,并从理论上证明去噪目标可最大化数据与表示间的条件互信息,在多个图与节点分类任务上取得领先性能。
2025-05-08 cs.AI cs.LG
Path Structured Multimarginal Schrödinger Bridge for Probabilistic Learning of Hardware Resource Usage by Control Software
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Pennsylvania(宾夕法尼亚大学);Iowa State University(爱荷华州立大学)
本研究利用路径结构化多边缘薛定谔桥问题的最新求解算法,实现控制软件硬件资源使用的概率学习,可线性收敛地预测时变资源分布,在模型预测控制案例中验证了有效性,可推广至各类软件的信息物理相关性能预测。
2023-10-03 cs.LG cs.SY eess.SY
Diffusion-LAM: Probabilistic Limited Area Weather Forecasting with Diffusion
Linköping University(林雪平大学);SMHI(瑞典气象和水文研究所)
本文提出Diffusion-LAM,一种以边界数据为条件的概率有限区域天气模型,并在MEPS数据集上验证了其提供准确概率预报的潜力。
2025-04-10 cs.LG physics.ao-ph
Denoising Diffusion Probabilistic Models for Styled Walking Synthesis
Durham University(杜伦大学)
对于许多图形应用程序来说,为数字人生成逼真的运动是耗时的。近年来,数据驱动的运动合成方法通过深度生成模型取得了坚实的进展。这些结果提供了高质量的运动,但通常在运动风格的多样性受到影响。我们首次提出了一个框架,使用去噪扩散概率模型(DDPM)来合成风格化的人体运动,将两个任务集成到一个管道中,与传统的运动合成方法相比,增加了风格的多样性。实验结果表明,我们的系统可以生成高质量和多样化的步行运动。
2022-09-29 cs.AI cs.CV cs.GR
Universal Diffusion-Based Probabilistic Downscaling
本文提出一种通用扩散降尺度框架,通过无需特定模型微调将确定性低分辨率天气预报转化为概率高分辨率预测,评估结果显示其在提升空间分辨率和不确定性表示方面具有显著优势。
2026-04-20 cs.LG
Denoising Diffusion Probabilistic Models
UC Berkeley(加州大学伯克利分校)
我们提出了高品质的图像合成结果,使用扩散概率模型,一类潜变量模型的启发,从非平衡态热力学的考虑。我们最好的结果是通过训练加权变分界,根据扩散概率模型和去噪得分匹配与朗之万动力学之间的一种新的连接设计的,我们的模型自然承认一个渐进的有损解压缩方案,可以解释为一个泛化的自回归解码。在无条件CIFAR10数据集上,我们获得了9.46的Inception评分和3.17的最新FID评分。在256x256 LSUN上,我们获得了与ProgressiveGAN相似的样本质量。我们的实现可以在https://github.com/hojonathanho/diffusion上获得
2020-12-16 cs.LG stat.ML
Probabilistic Algorithms for Ising Machines from Optimization to Generative AI
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文综述了面向Ising机器的概率算法,涵盖从模拟退火到PAOA等方法,并探讨了生成式AI与Ising机器的相互促进,提出了加速下一代硬件应用的协同设计框架。
2026-10-06 cond-mat.dis-nn cond-mat.stat-mech cs.ET
NU-Wave: A Diffusion Probabilistic Model for Neural Audio Upsampling
MINDs Lab Inc.(MINDs实验室公司);Seoul National University(首尔国立大学)
在这项工作中,我们引入了NU-Wave,这是第一个神经音频上采样模型,可以从粗略的16 kHz或24 kHz输入中产生采样率为48 kHz的波形,而以前的作品只能产生高达16 kHz的波形。NU-Wave是第一个基于神经声码器设计的音频超分辨率扩散概率模型。NU-Wave生成高质量音频,在信噪比(SNR)、对数频谱距离(LSD)和ABX测试准确度方面实现高性能。在所有情况下,NU-Wave都优于基线模型,尽管模型容量(3.0M参数)比基线(5.4-21%)小得多。我们的模型的音频样本可以在https://mindslab-ai.github.io/nuwave上获得,代码将很快提供。
2021-06-17 cs.AI cs.LG eess.AS
Generalised Scale-Space Properties for Probabilistic Diffusion Models
Saarland University(萨尔兰大学)
本文从尺度空间研究视角分析概率扩散模型,证明其在演化概率分布上满足广义尺度空间性质,并探讨漂移-扩散在深度学习与模型驱动解释中的异同及其与渗透滤波器的关系。
2023-09-18 cs.LG eess.IV
On Fast Sampling of Diffusion Probabilistic Models
UC San Diego(加州大学圣地亚哥分校);NVIDIA(英伟达)
在这项工作中,我们提出了快速采样的扩散概率模型,一个统一的框架。Fastertip概括了以前的方法,并产生了新的算法,提高了样本质量。我们系统地研究了在此框架下的快速采样方法,在不同的领域,不同的数据集,并与不同数量的条件信息提供的生成。我们发现特定方法的性能取决于数据域(例如,图像或音频)、采样速度和采样质量之间的权衡以及条件信息的量。我们还为从业者提供了关于方法选择的见解和食谱。
2021-06-23 cs.LG
Sifting through the Noise: A Survey of Diffusion Probabilistic Models and Their Applications to Biomolecules
Virginia Tech(弗吉尼亚理工大学)
本文综述了扩散概率模型的理论及其在生物分子结构与序列预测和设计中的应用,介绍了常见应用模式及在生成与预测任务中的显著成果,帮助研究人员全面理解其关键作用。
2024-05-31 cs.AI cs.LG q-bio.BM
Mixed-State Quantum Denoising Diffusion Probabilistic Model
University of Southern California(南加州大学)
针对QuDDPM需高保真度置换单元导致近期实现困难的问题,提出MSQuDDPM模型,通过退极化噪声信道与参数化量子电路消除该需求,并引入多项优化技术,成功应用于量子系综生成任务。
2025-03-04 cs.AI cs.LG quant-ph
Improved probabilistic regression using diffusion models
Ludwig-Maximilians-Universität München(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Tromsø(特罗姆斯大学);DLR-German Aerospace Center(德国航空航天中心)
本文提出一种基于扩散模型的非参数概率回归框架,通过建模扩散噪声的完整分布来增强不确定性量化,在多种回归任务中优于现有基线。
2025-10-06 cs.LG
Effective Probabilistic Time Series Forecasting with Fourier Adaptive Noise-Separated Diffusion
AMSS, Chinese Academy of Sciences(中国科学院自动化研究所);AMAP, Alibaba Group(阿里巴巴集团)
本研究提出FALDA概率时间序列预测框架,基于DMRR框架结合傅里叶分解与轻量去噪器DEMA,降低认知不确定性,在六个基准上长期预测表现优于现有方法,且比SOTA点预测方法性能最高提升9%。
2025-05-16 cs.LG
CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding
Tsinghua University(清华大学);School of Software(软件学院)
本文提出CogDPM,将扩散概率模型与预测编码理论结合,利用扩散模型的分层采样能力估计精度权重,并在英国降水和ERA地表风数据集上验证其优于现有业务模型和深度预测模型。
2024-05-03 cs.AI cs.LG cs.NE
Generalised Diffusion Probabilistic Scale-Spaces
Saarland University(萨尔大学)
本文提出扩散概率模型的广义尺度空间理论,揭示其与漂移-扩散及经典扩散、渗透滤波器的概念和实证联系,弥补理论背景研究不足。
2024-06-06 cs.CV cs.LG eess.IV
Conditional Diffusion Probabilistic Model for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究院);Academia Sinica(中央研究院)
语音增强是许多面向用户的音频应用的关键组成部分,然而当前系统仍然遭受失真和不自然的输出。虽然生成模型在语音合成中显示出了强大的潜力,但在语音增强方面仍然落后。这项工作利用扩散概率模型的最新进展,并提出了一种新的语音增强算法,将观察到的噪声语音信号的特性到扩散和逆过程。更具体地说,我们提出了一个广义的公式的扩散概率模型命名为条件扩散概率模型,在其逆过程中,可以适应非高斯真实噪声的估计语音信号。在我们的实验中,我们证明了所提出的方法与代表性的生成模型相比具有很强的性能,并研究了我们的模型对其他具有训练过程中看不到的噪声特征的数据集的泛化能力。
2022-02-10 cs.LG cs.SD eess.AS
Diffusion Probabilistic Modeling for Video Generation
University of California Irvine(加州大学欧文分校)
去噪扩散概率模型是一类很有前途的新的生成模型,它标志着高质量图像生成的一个里程碑。本文展示了它们顺序生成视频的能力,在感知和概率预测指标方面超过了以前的方法。我们提出了一个自回归,端到端优化的视频扩散模型的灵感来自神经视频压缩的最新进展。该模型通过使用由逆扩散过程生成的随机残差来校正确定性下一帧预测,从而连续地生成未来帧。我们将这种方法与涉及自然和基于模拟的视频的四个数据集上的五个基线进行比较。我们发现所有数据集的感知质量都有显着改善。此外,通过引入适用于视频的连续排序概率分数(CRPS)的可扩展版本,我们表明,我们的模型在概率帧预测能力方面也优于现有方法。
2022-12-08 cs.CV cs.LG stat.ML
Efficiency vs. Fidelity: A Comparative Analysis of Diffusion Probabilistic Models and Flow Matching on Low-Resource Hardware
本研究通过比较流匹配与扩散模型在低资源硬件上的性能,发现流匹配在效率和保真度上更优,适合实时生成任务。
2025-11-24 cs.LG
Counterfactual Probabilistic Diffusion with Expert Models
本文提出ODE-Diff框架,通过提取不完美专家模型的高层信号作为结构化先验,结合时间序列扩散模型预测复杂动力系统中的反事实分布,在数据稀缺时实现了更可靠可解释的因果推断,并在多项实验中优于强基线。
2025-09-11 cs.AI cs.LG stat.ME
Generating observation guided ensembles for data assimilation with denoising diffusion probabilistic model
Japan Atomic Energy Agency(日本原子能机构);The University of Tokyo(东京大学);University of Hyogo(兵库县立大学)
该研究利用去噪扩散概率模型基于含噪稀疏观测生成伪集合,并借助其方差提升仿真模型不完善时的数据同化性能。
2023-08-13 cs.LG physics.comp-ph
DiffFinger: Advancing Synthetic Fingerprint Generation through Denoising Diffusion Probabilistic Models
针对真实指纹数据采集的隐私与多样性难题,本文提出DiffFinger,利用DDPM生成高质量、多样且逼真的合成指纹,效果可媲美真实训练数据。
2024-03-15 cs.AI cs.CV cs.LG
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而,所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现,导致额外的存储器使用和复杂的控制逻辑,这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案,修剪整个过滤器甚至层,以降低灵活性为代价实现高效实现。在这里,我们提出了一种灵活的新的修剪机制,便于在不同的粒度(权重,内核,过滤器/特征映射)修剪,同时保持有效的内存组织(例如,修剪每个输出神经元的k-out-of-n权重,或修剪每个特征映射的k-out-of-n内核)。我们将该算法称为动态概率剪枝(DPP)。DPP利用Gumbel-softmax松弛进行可微的n取k采样,促进端到端优化。我们表明,DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时,可以实现具有竞争力的压缩率和分类准确性。相关地,DPP的非基于幅度的性质允许修剪和权重量化的联合优化,以便进一步压缩网络,我们也展示了这一点。最后,我们提出了新的信息理论指标,显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
Hardware implementation of timely reliable Bayesian decision-making using memristors
The Chinese University of Hong Kong(香港中文大学);Shun Hing Institute of Advanced Engineering, The Chinese University of Hong Kong(香港中文大学信兴高等工程研究所);Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学)
针对传统硬件实现贝叶斯定理成本高、延迟大的问题,提出基于忆阻器的概率计算方法,开发轻量级贝叶斯算子,应用于自动驾驶场景解析,实现低延迟高可靠决策,性能优于人类及现有系统。
2025-01-13 cs.AR cs.LG
Contractive Diffusion Probabilistic Models
Columbia University(哥伦比亚大学)
针对扩散概率模型中分数匹配可能无法保证的问题,提出收缩扩散概率模型(CDPMs),利用后向采样收缩性质缩小分数匹配与离散化误差,通过简单变换利用预训练权重且无需重训练,稳步提升了基线模型性能。
2024-10-12 cs.LG
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University(哈佛大学)
神经网络对输入中的小扰动非常敏感,这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型(DDPM)作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前,向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描,并找到了高达88%的原始模型的准确性,构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG
Improving Probabilistic Diffusion Models With Optimal Diagonal Covariance Matching
Imperial College London(伦敦帝国学院);University College London(伦敦大学学院);University of Manchester(曼彻斯特大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tubingen(蒂宾根大学);IMPRS-IS(马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院)
针对扩散模型协方差预测近似误差大的问题,提出基于无偏目标最优协方差匹配(OCM)的对角协方差学习方法,直接回归最优解析对角协方差,有效提升常用扩散模型的采样效率、召回率与似然。
2025-02-19 cs.LG
DynG-Diff: A State-Aware Dynamic Guidance Diffusion Framework for Probabilistic Time Series Forecasting
Zhejiang Gongshang University(浙江工商大学);Sussex Artificial Intelligence Institute(萨塞克斯人工智能研究所);School of Information and Electronic Engineering(信息与电子工程学院);University of Auckland(奥克兰大学);School of Computer Science(计算机科学学院)
本文针对概率多元时间序列预测中现有扩散方法的信息异质性问题,提出DynG-Diff框架,通过两阶段训练、状态感知策略网络及动态权重设计,实现更优预测性能与鲁棒性。
2026-09-03 cs.LG
From Independent to Correlated Diffusion: Generalized Generative Modeling with Probabilistic Computers
Department of Electrical and Computer Engineering, University of California, Santa Barbara(加州大学圣塔芭芭拉分校电气与计算机工程系)
本文提出一种基于概率计算机的通用生成建模方法,通过引入马尔可夫链蒙特卡洛动态替代独立噪声注入,利用Ising耦合结构实现更符合目标系统的空间相关性建模。
2026-08-11 cs.ET cs.LG
A Note on the Convergence of Denoising Diffusion Probabilistic Models
Université Laval(拉瓦尔大学);University College London(伦敦大学学院)
该研究针对扩散模型收敛性问题,基于Mbacke等人2023年的工作,推导了数据生成分布与扩散模型学习分布间Wasserstein距离的定量上界,无需对得分函数假设,适用于有界空间任意分布且无指数依赖,证明初等。
2024-09-15 cs.LG
Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial Auto-Encoders
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Azure AI(微软Azure人工智能)
针对扩散模型步骤多、成本高的问题,提出截断扩散概率模型,通过学习隐含噪声分布并减少逆向步骤来加速生成,其本质是由扩散过程和可学习隐式先验赋能的对抗自编码器,在显著减少步骤下持续提升生成性能。
2023-09-07 cs.LG stat.ML
PRISM: Probabilistic and Robust Inverse Solver with Measurement-Conditioned Diffusion Prior for Blind Inverse Problems
Johns Hopkins University(约翰霍普金斯大学);Tsinghua University(清华大学)
本文提出PRISM,一种结合测量条件扩散先验与后验采样的概率鲁棒逆求解器,用于盲逆问题,并在盲图像去模糊中同时提升图像和模糊核恢复性能。
2025-09-19 cs.CV cs.LG eess.IV
CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
Stanford University(斯坦福大学);Mitsubishi UFJ Trust Investment Technology Institute(三菱日联信托投资技术研究所);Japan Digital Design(日本数字设计公司)
时间序列中缺失值的插补在医疗保健和金融领域有许多应用。虽然自回归模型是时间序列插补的自然候选者,但基于分数的扩散模型最近在许多任务(例如图像生成和音频合成)中优于包括自回归模型在内的现有对应模型,并且将有希望用于时间序列插补。在本文中,我们提出了基于条件分数的扩散模型插补(CSDI),一种新的时间序列插补方法,利用基于观测数据的条件分数的扩散模型。与现有的基于分数的方法不同,条件扩散模型被明确地训练用于插补,并且可以利用观察值之间的相关性。在医疗保健和环境数据上,CSDI比现有的流行性能指标的概率估算方法提高了40-65%。此外,与最先进的确定性插补方法相比,CSDI的确定性插补将误差降低了5-20%。此外,CSDI还可以应用于时间序列插值和概率预测,与现有的基线相比具有竞争力。该代码可在https://github.com/ermongroup/CSDI上获得。
2021-10-27 cs.LG stat.ML
RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction
Meituan(美团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);UCAS(中国科学院大学)
本文提出循环扩散概率模型RDPM,通过循环令牌预测在离散值域上执行扩散过程,以少量推理步骤实现高质量生成,并统一连续信号与文本的优化策略,推动多模态生成统一模型发展。
2024-12-25 cs.AI cs.CV cs.LG
A Theoretical Justification for Image Inpainting using Denoising Diffusion Probabilistic Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提供了一个理论上的理由,样本恢复使用基于扩散的图像修复在线性模型设置。虽然大多数修复算法需要重新训练,每个新的面具,我们证明了基于扩散的修复推广以及看不见的面具,而无需重新训练。我们分析了最近提出的一种流行的基于扩散的修复算法,称为RePaint(Lugmayr等人,2022),并表明,它有一个偏差,由于错位,阻碍样品恢复,即使在两个国家的扩散过程。出于我们的分析,我们提出了一个修改后的RePaint算法,我们称之为RePaint $^+$,可证明恢复底层的真实样本,并享有线性收敛速度。它通过纠正反向过程的漂移和色散中存在的未对准误差来实现这一点。据我们所知,这是基于扩散的图像修复算法的第一个线性收敛结果。
2023-02-02 cs.AI cs.LG math.ST
A Probabilistic Formulation of Offset Noise in Diffusion Models
本文提出一种新的扩散模型,通过概率框架自然引入额外噪声,解决极端亮度值生成问题,实验表明在高维场景中性能更优。
2026-04-09 cs.LG stat.ML
Double-Diffusion: Balancing Speed, Accuracy, and Uncertainty in Probabilistic Forecasting for Urban Sensor Networks
University of New South Wales(新南威尔士大学);University of Maryland(马里兰大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
提出Double-Diffusion方法,结合闭式图热先验与去噪扩散模型,通过短预热链从先验开始去噪,实现快速、准确且具有不确定性的概率预测,在四个真实数据集上取得最佳CRPS。
2026-10-21 cs.LG
TreeGRNG: Binary Tree Gaussian Random Number Generator for Efficient Probabilistic AI Hardware
提出TreeGRNG,一种基于二叉树的GRNG,用低成本常数比较器替代算术单元,在保持分布精度的同时实现每样本能耗降低3.7倍、单位面积吞吐量提升5.8倍,并支持灵活调整采样分布形状。
2026-06-16 cs.AR cs.LG
Diffusion models for probabilistic programming
Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院)
本文提出DMVI方法,利用扩散模型作为变分近似实现概率编程语言中的自动化近似推断,在保持相近计算成本和减少手动调优的同时,后验推断准确度优于现有方法。
2023-11-21 cs.LG stat.ML
Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations
AI Center, University of Tübingen(图宾根大学AI中心);Hertie Institute for AI in Brain Health, University of Tübingen(图宾根大学赫蒂脑健康人工智能研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对ODE参数优化易陷入局部极小值的问题,提出扩散退火正则化技术,通过迭代降低概率积分器噪声参数,提升梯度优化收敛性,并在霍奇金-赫胥黎模型上验证了有效性。
2024-07-19 cs.LG
Quantum-Assisted Learning of Hardware-Embedded Probabilistic Graphical Models
Quantum Artificial Intelligence Laboratory, NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心量子人工智能实验室);Department of Computer Science, University College London(伦敦大学学院计算机科学系);Cambridge Quantum Computing Limited(剑桥量子计算有限公司);SGT Inc.(SGT公司);Instituto de Matemáticas Aplicadas, Universidad de Cartagena(卡塔赫纳大学应用数学系);Exploration Technology Directorate, NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心探索技术部);USRA Research Institute for Advanced Computer Science(美国航天研究所高级计算机科学研究所)
主流的机器学习技术,如深度学习和概率编程,严重依赖于从通常难以处理的概率分布中进行采样。人们对使用量子计算技术作为采样引擎来加速这些任务或使其更有效的潜在优势越来越感兴趣。然而,在我们评估它们的实际性能之前,必须克服最先进的量子退火机中的一些紧迫挑战。物理硬件实现中量子比特之间的局部相互作用导致的稀疏连接性被认为是构建强大的生成式无监督机器学习模型的质量的最严重限制。在这里,我们使用嵌入技术来为数据集添加冗余,从而提高量子退火机的建模能力。我们通过在一个手写数字的二进制数据集和两个合成数据集上训练硬件嵌入式图形模型来说明我们的发现,实验中的数据集高达940个量子位。我们的模型可以在量子硬件中训练,而无需完全了解指定相应量子吉布斯分布的有效参数;因此,这种方法避免了在每次迭代时推断有效温度的需要,加快了学习速度;它还减轻了控制参数中噪声的影响,使其对参考吉布斯分布的偏差具有鲁棒性。我们的方法证明了使用量子退火器实现生成模型的可行性,并且它为在机器学习相关任务上对这些量子技术进行基准测试提供了合适的框架。
2018-01-25 cs.LG quant-ph
SpecSTG: A Fast Spectral Diffusion Framework for Probabilistic Spatio-Temporal Traffic Forecasting
The University of Sydney(悉尼大学);Riken AIP(理化学研究所先进智能项目)
SpecSTG提出一种快速谱扩散框架,通过傅里叶表示和快速谱图卷积利用空间依赖,在交通预测的点估计和不确定性量化上均优于现有方法,且训练验证速度提升至3.33倍。
2024-08-06 cs.LG
HydroDiffusion: Diffusion-Based Probabilistic Streamflow Forecasting with a State Space Backbone
Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室);University of Oklahoma(俄克拉荷马大学);Cornell University(康奈尔大学);International Computer Science Institute(国际计算机科学研究所)
HydroDiffusion是一种基于状态空间框架的扩散式概率径流预测模型,通过单次通过联合去噪多日轨迹,提升预测一致性与准确性,展现优于现有方法的预测能力。
2025-12-13 cs.LG physics.geo-ph
Pyramidal Denoising Diffusion Probabilistic Models
Korea Advanced Institute of Science and Technology(KAIST)(韩国科学技术院(KAIST))
近年来,扩散模型在图像生成方面表现出了令人瞩目的性能,并在各种计算机视觉任务中得到了广泛的研究。不幸的是,训练和评估扩散模型消耗大量的时间和计算资源。为了解决这个问题,在这里,我们提出了一种新的金字塔扩散模型,可以生成高分辨率的图像,从更粗糙的分辨率图像开始使用{ \em单一}分数函数训练的位置嵌入。这使得神经网络能够更轻,并且还能够在不损害其性能的情况下实现时间有效的图像生成。此外,我们表明,该方法也可以有效地用于多尺度超分辨率问题,使用一个单一的评分函数。
2022-09-30 cs.CV cs.LG stat.ML
UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models
Durham University(杜伦大学)
我们提出了一种新的不成对的图像到图像的翻译方法,使用去噪扩散概率模型,而不需要对抗训练。我们的方法,不成对的图像翻译与去噪扩散概率模型(UNIT-DDPM),训练生成模型来推断联合分布的图像在两个域作为马尔可夫链通过最小化的去噪得分匹配目标条件的其他域。特别是,我们同时更新两个域的翻译模型,我们生成的目标域图像的去噪马尔可夫链蒙特卡罗方法,条件是输入源域图像,基于朗之万动力学。我们的方法为图像到图像的翻译提供了稳定的模型训练,并生成了高质量的图像输出。这使得最先进的Fréchet Inception Distance(FID)在几个公共数据集上的性能,包括彩色和多光谱图像,显着优于当代对抗性图像到图像转换方法。
2021-04-12 cs.CV cs.LG eess.IV
Improving Denoising Diffusion Probabilistic Models via Exploiting Shared Representations
Rice University(莱斯大学)
本文提出 SR-DDPM,通过共享核心参数与任务特定层,利用少样本表示学习改进多任务图像生成,在标准数据集上以 FID 和 SSIM 指标超越无条件及条件 DDPM。
2023-11-27 cs.AI cs.CV cs.LG
SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping
Google Research(谷歌研究院);Tokyo University of Agriculture and Technology(东京农工大学)
通过对扩散噪声分布进行自适应处理,改进了基于去噪扩散概率模型(DDPM)的神经声码器。在这项研究中,我们提出了SpecGrad,适应扩散噪声,使其随时间变化的频谱包络变得接近的条件对数梅尔频谱图。通过时变滤波的这种适应改善了声音质量,特别是在高频段中。它在时频域中进行处理,以保持与传统的基于DDPM的神经声码器几乎相同的计算成本。实验结果表明,SpecGrad在分析合成和语音增强两种情况下都比传统的基于DDPM的神经声码器产生更高保真的语音波形。音频演示可在wavegrad.github.io/specgrad/上获得。
2022-08-04 cs.LG cs.SD eess.AS